液冷真正进入实战的是“持续运行”

高密度AI服务器越来越以直接液冷(DLC)为前提时,设计者的关注容易集中在方式选择上。但实际产生影响的是让冷却系统稳定持续运行的运维要求。运行压力、冷却液温度、漏液测试、监控传感器——这些地方一旦缺失,再高密度的机柜也会因热问题停机。本文基于一次信息整理液冷运维侧必须掌握的数值和标准。

运行压力:设计要提高到哪里

液冷系统(TCS:Technology Cooling System)回路的典型运行压力在140-450kPa(20-65psi)范围内。这个压力区间是决定管道、接头、快接头(QD)等部件耐压规格的起点。压力设得越高,越容易确保流量,但漏液风险和部件成本也会上升。设计需要在这一权衡中确定运行点。

漏液测试:标准要求的安全率

电气设备安全标准 IEC 62368-1要求,在通常运行压力的3倍、单一故障时2倍压力下进行漏液测试。也就是说,如果运行压力按450kPa设计,测试就需要考虑到约1,350kPa级别。在液体与电气共存的液冷中,这一漏液测试安全率会直接约束部件选择和机箱设计。确定运行压力,也是在同时确定测试压力。

冷却液温度等级:ASHRAE的W1-W5

冷却液“允许到多高温度”也会左右设计。ASHRAE分级定义设施侧冷却液温度等级,W1为17 C,W2为27 C,W3为32 C,W4为45 C,W5为45 C以上。允许温度越高的等级,越容易利用外气或干式冷却器降温,并降低冷水机负荷和耗电;但设备侧热设计会更严苛。在哪个等级运行,需要与所在地气候和PUE目标一起判断。

冷却液本身的管理:浓度与生物污染

冷却液不是加入后就结束,而是会随时间成为管理对象。乙二醇类冷却液在浓度25%以上时,被认为不会发生细菌增殖。浓度需要同时考虑防冻、黏度和抑制生物污染。浓度下降会提高流路内生物膜产生风险,降低换热效率和可靠性。冷却液选择和浓度管理,需要从设计阶段就纳入运维阶段的保养项目。

液冷承担多少热量:热回收比例设计

同样叫“液冷”,根据IT设备发热中有多少由液体承担,构成也会变化。在Hybrid Basic构成中,CPU/GPU冷板回收IT设备热量70-75%的例子存在。剩余部分由风冷承担。另一方面,Full Liquid分类中,直接由冷板冷却的部件比例接近100%。液体承担比例越高,空调负荷越低,但把内存、VRM等周边部件也纳入液冷路径会提高设计难度。

监控:避免停机的传感器要求

运行稳定性由监控来保障。液冷的最低传感器要求,可把ASHRAE DCIM Tier 2相当水平作为参考。只有持续监控温度、压力、流量和漏液,才能在停机前发现异常。传感器要求看似附带规格,实际上是“让高密度机柜不停机”的核心要求。

标准化的当前位置:OCP回路要求

这些运维要求也正在作为行业标准完善。OCP(Open Compute Project)的冷却液文件于2019年10月9日以Revision 1.0发布初版,之后在2022年11月发布Cold Plate Cooling Loop Requirements Rev 2。Rev 2的对象包括冷却液、冷板、机箱内管路、机柜歧管、QD和CDU,显示出把整个冷却系统作为一组连续要求来把握的方向。与其把运维要求封闭为自家公司规格,不如沿着标准设计,才能保留多源采购和互操作空间。标准化整体图景由相关文章讨论。

部件量产实绩这一基础

满足运维要求的部件是否能够量产,也是设计者需要观察的点。冷板大厂Boyd拥有累计向hyperscaler交付500万片液冷冷板的实绩。能够满足数值要求,并且稳定供应的供应商正在出现,这正是液冷运维变得现实的基础。

液冷运维要求检查清单
01

压力与漏液测试

TCS回路运行压力为140-450kPa。IEC 62368-1要求以运行压力3倍(单一故障时2倍)进行漏液测试。运行点决定测试压力。

02

冷却液温度等级

ASHRAE的W1(17 C)到W5(45 C以上)。高等级可降低冷水机负荷,但设备侧热设计更严苛,需要按所在地和PUE选择。

03

冷却液管理

乙二醇类在浓度25%以上可抑制细菌增殖。浓度下降会导致生物膜和效率下降,是运维阶段的保养项目。

04

热回收与监控

Hybrid Basic由CPU/GPU回收70-75%热量,Full Liquid接近100%。监控可把ASHRAE DCIM Tier 2相当水平作为参考。

对业务的启示与确认点

采用液冷时,需要确认的不是方式名称,而是运维要求。运行压力与漏液测试安全率是否与部件规格一致,冷却液温度等级是否符合所在地和PUE目标,浓度管理和监控传感器是否纳入保养计划,以及这些要求是否沿着OCP等标准保留多源采购空间——这些才是核心。液冷不是导入时的一次性选择。越把它视为持续运行所需的要求设计,就越接近不停机的数据中心。

参考FactCard