本文来自微信公众号：云系数（ID：gh_0068c4e23a81），作家：曹亚孟，原文标题：《从1纳秒到2天，谈IT系统的延长打算》，题图来自：视觉中国

序论一、为什么要谈延长

我一直就念念写一篇时刻分析著作，先容从1纳秒运转，IT系统内经历了若干次一瞬青春、若干种驹光过隙。最近看了一册谈IT时刻架构的电子书（thebyte.com.cn），其2.1章节便是“了解万般延长打算”，我一时技痒，决定写下这篇著作。

了解掌持IT系统中各式常见动作的延长打算，并不是卖弄手段和自满专科性。这些延长打算，和性能调优、经过和资源优化齐有着普遍的关联：各式时刻评估和居品设想，齐必须恰当IT时延的自然轨则。

居品优化、时刻评估的款式论必须和IT时刻常知趣聚，智商作念出有可行性的判断和行为。比如，因为有光速收敛，且北京到广州的直线距离是1800km，咱们就算再舍得砸钱买开拓，也不可能让北京到广州的延长低于6毫秒。

序论二、空泛打算也够用

限于篇幅和时候原因，本文对这些延长打算也并未止境严谨的考据，止境是纳秒和微秒区的延长，更是珍摄联系而已。还好我手头有本拆解操作系统的纸质书，也有通义千问这类AI帮我找数据。

这些“延长打算”并莫得明确的界说表率，有些打算只是一两个具体的软硬件动作，而有些延长打算是一套齐全的逻辑事件，是以这些延长打算唯一“参考价值”，但莫得明确的“可比性”。

这些空泛参考的延长打手脚念科普，就足以隐匿一些离谱的设想问题。比如咱们作念个时延排序：纳秒级内存不管具体数值是否精准，这几个时延的差值齐是十倍以上的。

脊椎动物能称霸生物圈的秘诀便是“普遍且纯确切体型”，而节肢动物、软体动物体型一变大就会畅通缓缓。脊椎动物祖上积德，演化出了包裹了髓鞘的神经，信号传输速率是节肢和软体动物的100倍。咱们东说念主类保持着接近2米的普遍体型，靠低延长神经指点，不错纯真出掌打死体型几毫米的蚊子。

一、低于20纳秒

唯一CPU能保持20纳秒以下的延长，99%的使命没经验埋怨CPU的速率慢。

物理学中对时候的界说有个最小模范，叫作念“普朗克时候”，意为科学界限内不存在比其更短的时候模范了。IT系统中的“普朗克时候”，便是“CPU时钟周期”。用1秒钟（1G纳秒）除以CPU的主频就能获取CPU的时钟周期，一般CPU的主频约为3G左右，是以IT系统中的最短时候周期约为0.3纳秒。

CPU需要从寄存器、一级缓存、二级缓存、三级缓存中读取数据智商进行估量，CPU估量的内容也不啻步于“与或非浅薄运算”，还会作念一些分支估量和加锁解锁。这些使命的延长约为1—20纳秒，且受到不同架构、不同硬件、不同教唆集和编译器的影响。这1—20纳秒的速率如实拖了CPU的后腿，但和后续各式微秒、毫秒的使命比，几乎是快如闪电。

我对GPU硬件的了解未几，传奇NVLink C2C接口的团结延长能达到5纳秒，如实唯一这样低的延长，智商保证CPU和GPU同期操作内存时的数据一致性。

99%的诓骗法子只消莫得Bug、没弱鸡到汗颜的垃圾代码，齐不会触发CPU的性能瓶颈。我使命中遭遇止境消耗CPU的任务，多是科学估量、及时生成3D分享舆图的游戏做事端、编解码这类业务。

二、20到500纳秒

唯一主板总线、内存、PCIE接口能保持500纳秒以下的延长，操作系统也运转温煦这个延长量级的行为动作。

不同主频、不同世代的内存，其打听时延会有一定的互异，日常作念科普预估时，CPU通过总线打听内存的时延约为80到100纳秒。

PCIE5.0接口自身的打听时延能收敛在50纳秒左右，然则这只是是接口自身的时延，接口对端的开拓可能速率很快或者很慢。当PCIE接口对接GPU时，读写延长便是50纳秒，但对接一块网卡或者SSD时，读写延长便是微秒级了。

操作系统玩来玩去，温煦的便是CPU、内存和IO接口。因为内存和IO接口能达到50到100纳秒的打听速率，是以操作系统发起系统调用的时候，也能收敛在500纳秒以内。肃肃这只是发起系统调用的时候，并不代表调用凯旋或者超时失败。Linux系统中可缔造的进度时候片最小长度约为CPU时钟周期的100倍，也不祥能归结到该时候周期内。

三、1到20微秒

在1到20微秒的区间里，咱们还是不错完成内存读写、收集封包和大部分系统调用。

当在统一个进度内操作统一份内存数据时，比如从内存中范例读取1MB数据，不祥需要3微秒，且跟着内存工艺的来源，该时候还在减少。咱们作念各式性能优化时，只消把负载从硬盘挪到内存，性能就有大幅度擢升，便是因为是内存的寻址定位和读写速率，比SSD要快上十倍，比机械硬盘要快上数百倍。

关于和内存操作强联系的系统调用，比如进度收敛、内存束缚，齐不错在10微秒内完成。序论第二段还是提到，既然有基于收集的散播式块存储，为什么莫得基于收集的散播式内存？因为操作系统处理缺页中断时，留给分拨内存的时候窗口唯一几微秒，要是依赖收集作念了个“散播式内存”，详情会系统恭候超时，然后OOM kill掉这个进度。

网卡将数据封包后发到网线、将光电信号振荡为数据包齐有延长。普通以太网卡的延长稀薄了15微秒，RDMA（InfiniBand）网卡的操作延长不祥是2微秒，RDMA（RoCE）网卡的操作延长也不错低于5微秒。因此客户在必须在GPU群集里作念散播式显存池时，只可采纳富贵的RDMA收集。此外，传奇某些云厂商还在研发速率更快的网卡。

四、20到500微秒

在20到500微秒这个时候段里，终于运转出现一些读者们更老练、更容易不雅测的扮装了，比如系统高下文切换、SSD盘随即读写、同数据中心的内网延长、内存型数据库的通例查询速率。

从工程师的视角看，此时此刻终于是可不雅测的了。不管是操作系统如故一些诓骗法子，它们的时候戳齐不错纪录到微秒。咱们作念系统调优运转温煦高下文切换的频率，下文提到的ping测的时候戳便是微秒，Redis的慢查询界说标准亦然微秒。

SSD盘的随即读取数据时，定位到数据的延长不祥是15微秒，从SSD盘范例读取1M的数据，用时不稀薄50微秒。SSD盘微秒级的反应速率，和传统SATA盘毫秒级的反应速率，完全就不是一个量级。因此不错引出一个梗头：15年前的DBA通常在优化机械硬盘的磁头，然则跟着SSD的普及，大齐数据库优化使命平直脱色了。

同数据中心的内网延长，一般能收敛在500微秒以下。在公有云语境中，同可用区两台云主机互ping，不错不雅测到不稀薄500微秒的延长。已知每一次网卡收发齐有几微秒到十几微秒的延长，一条链路要经过多台交换机，外加VPC封包解包也有延长，这个测试数值便是相对合理的。请肃肃，VPC收集内通常使用散播式网关，要是云主机ping测网关，可能是本宿主机的OVS代为卤莽了，延长会低于100毫秒。

内存型数据库和基于SSD盘的数据库作念一些通例查询操作，比如在极少据库里内查询很短的Key值，其操作过程便是从内存中读取数据，然后给读到的数据加个浅薄的包头包尾，这个过程唯一几十微秒。Nginx在还是开拓的相连中，领路一个浅薄的HTTP苦求，也能达到这个延长标准。

五、0.5到10毫秒

打听时延恰当0.5到10毫秒的IT行为好多，但常见的就三大类：无线局域网、机械硬盘和同城收集。

按照5G收集的界说标准，其5G空口延长需要低于1毫秒。（“空口”便是“空中接口”，便是“空气版网线”加上天线网卡）。Wifi收集的标准版块好多，我的电脑和Wifi5路由器实测的团结延长在10毫秒左右。一个温煦收集延长的诓骗，用户平直用5G收集就会比用Wifi的速率更快。

2019年推出5G收集时，好多东说念主把低时延当作念关键居品卖点，然则大部分收集诓骗不太介意5G空口节俭的10毫秒延长，是以咱们一直没找到爆款5G诓骗。

机械硬盘的寻址速率，理念念化情况下是2毫秒，但实测通常能到10毫秒。当做事法子需要机械硬盘作念读写定位操作时，不管操作的数据量有多小，齐要作念好10毫秒延长的准备。依赖机械硬盘的数据库或大数据群集，其查询操作被机械硬盘连累，平日延长会达到10毫秒以上。但这些重IO负载的诓骗一般会频繁读写大齐数据，是以就会只估量IO带宽，不会刻意温煦读写延长了。

我的书中先容IaaS云居品时，屡次提到同Region不同AZ的宗旨。AZ有两种，第一种是统一地域、随机能错开供电的AZ，这种AZ的直线距离很近，延长不稀薄3毫秒；第二种AZ是同城但不同地域，错开了上游电站的AZ，这种AZ的延长约为3到10毫秒。土产货Region和土产货CDN灭亡的个东说念主用户，也能达到10毫秒以内的收集延长。

六、10到440毫秒的收集延长

IT系统中大于10毫秒的时刻延长，最常见的便是广域网通信延长。网卡封包只是个微秒级操作，是以收集延长主要受限于光速和本质收集拓扑的长度。客户看似无法承受一丝点的收集延长，但那齐是被供应商惯出来的，其实各人齐能承受很高的收集延长。

光纤中的光速是每秒钟20万公里，但因为收集拓扑不是直线，转发开拓也比较多，是以咱们作念收集延长预估时，不管是云内同Region裸纤、通例收集灭亡如故普通的远程专线，一般齐不错按照“直线距离每加多50公里就加多1毫秒延长”进行延长估算。也有极少数例外，比如跨大洋海缆布设时走直线、转发开拓也比较少，是以传输速率稀薄了每毫秒50公里。

广域网通信主要影响到的是客户端自然东说念主的感受。通例的收集诓骗，比如打听网页、在线往来、棋牌游戏、追剧、看直播，不错合计是对收集延长莫得条目，100毫秒延长的带宽足以灭亡宇宙。关于东说念主跟东说念主之间快速交互的业务场景，比如竞技网游、云游戏云桌面、视频会议，客户能通达交互的时候周期约为80毫秒。这个交互周期包括客户端估量、做事端估量、两次收集来回传输数据，一般留给收集延长的时候约为20毫秒。

自然厂商齐在宣传视频会议不卡顿，但那是在北上广之间不卡顿。要是连麦两边必须保持很远的物理距离（比如中好意思、中欧），用户也就习气了数百毫秒的高延长。

相聚上头两种需求，要是咱们将收集延长收敛在20毫秒，在北京、上海、广州、武汉、成齐、沈阳、西安画几个1000公里的大圆圈，这几个圆圈足灭亡90%的国内网民，延长也足以倨傲99.9%的业务需求。各人习气用CDN加快，主要不是为了缩小收集延长，而是因为CDN带宽的价钱比BGP带宽更低廉。各式CDN比延长大赛，其实是云厂商在盲目内讧。

当用户能给与收集延长大于100毫秒时，咱们就不错用一国收集来灭亡全球了。距离中国最远的国度是阿根廷，2.2万公里的距离便是440毫秒的延长。关于看视频、看网页、翰墨聊天、棋牌游戏这类需求来说，440毫秒的延长并非不可给与，各人不信的话不错灵通阿根廷的网站看一看。

东数西算的西部节点，本来因为自然的延长问题，只可定位成价钱偏低的冷备节点。然则国运来谁齐挡不住，对话式大模子的交互过程不条目快速及时反应，这些电费低廉收集缓缓的西部节点，蓦地就能扛起线上及时业务的重负了。

七、大于10毫秒的团结延长

上一节的内容太多了，是以我将大于10毫秒的团结延长单独整理成了一个章节。各人看下文内容也能发现，延长稀薄10毫秒的业务，大多是被收集传输延长连累的。

TCP是严谨的有景况条约，客户端需要三次持手智商和做事端开拓相连，每次持手齐要加上一次收集延时。在健康踏实的收集里，开拓一次TCP相连需要50到200毫秒，而在劣质收集中（比如4G信号时断时续的地铁里），开拓一个TCP相连可能需要几秒钟。TLS加密条约（前身是SSL条约）一般亦然基于TCP条约进行通信，是以TLS一次持手也需要相似漫长的时候。

比拟之下，UDP传输数据报文莫得持手过程，客户端平直对着做事端抛数据就行了，UDP比拟TCP自然节俭60%的收集延长。这些年好多轻量级立异通信神态（比如Quic、WebRTC、DTLS和一些IOT条约），便是在用UDP取代TCP，那些底本由TCP完成的校验和流控等使命，富足改由诓骗层自行完成。

DNS领路既不错基于TCP也不错基于UDP，且在本收集乃至本机由多级缓存，是以DNS的领路时候能收敛在50毫秒以内。但HTTP_DNS实质上是HTTP，且一般作念了TLS加密，其领路速率就要参考TCP的通信延长了。

除了广域网传输延长除外，也有一种常见的迁徙冻结延长。当云厂商需要“无缝迁徙”云主机时，需要在云主机迁徙的短暂冻结系统，以保证新旧主机的内存一致性。这个迁徙操作并不是完全确切无缝无感，而是会导致云主机的系统hang机100到200毫秒，而云主机内的GuestOS很难感知到时候被暂停过的。

八、从1秒到2天

从1秒钟秒到2天，这些时候刻度属于工程师们温煦的范围，这些使命和居品设想的关联不大，但当咱们濒临各式时刻实施使命时，就需要掌持从1秒到2天的万般IT时刻，智商幸免违背学问为难工程师。

在宿主机上冷启动一个通例容器，需要破钞1到5秒的时候；要是将一台云主机重启，需要破钞5—10秒时候；要是新建一台云主机，需要5到15秒时候。在关闭内存校验、跳过磁盘检查的情况下，要是一台物理做事器重启或冷启动，需要破钞30到120秒的时候。因为好多IT做事的健康检查周期是5到30秒，是以重启云主机和重启物理机的影响并不交流。

自动监控系统发现故障的时候一般为15到90秒，这个告警阈值不可缔造的比15秒更短，太短的告警阈值会频繁的触发误报，最终导致工程师忽略确切的故障。参照一些SRE时刻实施标准，1分钟发现故障、5分钟定位故障、10分钟束缚故障便是自然东说念主工程师遏制故障的生理极限了。

云厂商采购的机柜、带宽这类云资源，一般便是99.9%的SLA，这代表着全年允许故障时候是8.6小时；云厂商将不踏实的资源包装成云居品后，一般对外高兴99.95%的SLA，全年允许故障时候是4.3个小时。最贵的硬件保修是维保方高兴4小时内（连堵车齐探究到）带着备件到机房现场替换，云厂商一般采购的是“报修后下一使命日上门”做事，但也有更低廉但速率更慢的批量寄修维保做事。

国际收集保养时，收集工程师需要通常调换BGP路由播送。这个调换使命一般需要恭候24小时路由收效、再不雅察24小时阐发调换后果，作念一次调换的累计时候至少2天。是以读者一又友们不要看到国际带宽不错自主发送BGP播送，就误以为调换收集是个很浅薄的高频操作。

竣事语

写了了这些延长、读这篇著作，齐不是太容易的事，但有难度也灵验途的知识，才更有含金量啊。

为了撰写本文，我有益齐全的读了一册谈系统旨趣的书；我借助了AI征集了好多联系信息，但AI给的谜底，我齐要再复核检查来源信息网页。

我很了了，至少90%的居品司理不知说念自家居品的常见动作反应延长。但咱们也莫笑居品司理是水货，因为90%的法子员也不温煦我方写的软件有多高的打听延长。

但这个使命特殊灵验，当咱们对一个IT做事建议有可行性的性能需求时，或者要在性能不变的前提下作念资本优化时，齐需要掌持了解这些和性能关系的延长信息。

本文来自微信公众号：云系数（ID：gh_0068c4e23a81），作家：曹亚孟

本内容为作家落寞不雅点，不代表虎嗅态度。未经允许不得转载，授权事宜请推敲 hezuo@huxiu.com

正在改动与念念要改动世界的东说念主，齐在 虎嗅APP