Servidor de placa fría totalmente refrigerado por líquido

 

Para avanzar aún más en el desarrollo de la tecnología de refrigeración líquida y madurar el ecosistema, Inspur Information, en colaboración con Intel, se ha centrado en optimizar los diseños de refrigeración líquida para servidores de alta densidad de propósito general.

 

Además de la adopción generalizada en la industria del enfriamiento líquido de CPU y GPU, se han realizado exploraciones e investigaciones en profundidad sobre el enfriamiento líquido para memoria de alta potencia, unidades de estado sólido (SSD), tarjetas de red OCP, fuentes de alimentación, tarjetas PCIe y módulos ópticos.

 

Este esfuerzo ha dado como resultado la consecución de la mayor cobertura de refrigeración líquida de la industria, el cumplimiento de diversos requisitos de implementación para diferentes niveles de cobertura de refrigeración líquida y el suministro de capacidades de infraestructura general y soporte técnico diverso para clientes en industrias como Internet y las telecomunicaciones.

 

Este desarrollo de un sistema de placa fría totalmente refrigerado por líquido se basa en el servidor informático de alta densidad i24 de cuatro nodos y 2U de Inspur Information. Cada nodo refrigerado por líquido admite dos procesadores escalables Intel Xeon de quinta generación, combinados con 16 módulos de memoria DDR5, una tarjeta de expansión PCIe y una tarjeta de red OCP 3.0. El sistema completo puede admitir hasta ocho SSD, lo que satisface las necesidades de almacenamiento de los clientes y, al mismo tiempo, logra una potencia informática de alta densidad.Los principales componentes que generan calor del servidor incluyen la CPU, la memoria, las tarjetas de E/S, los discos duros locales y la fuente de alimentación del chasis.

 

La solución de refrigeración líquida permite que aproximadamente el 95 % del calor del sistema se elimine directamente mediante líquido a través del contacto de la placa fría con la fuente de calor. El 5 % restante del calor se elimina mediante el agua de refrigeración en el intercambiador de calor aire-líquido ubicado detrás de la fuente de alimentación, lo que permite lograr una captura de calor líquido de casi el 100 % a nivel del sistema.

 

 

I Composición del sistema y disposición de la tubería

 

1. Descripción general del sistema de servidor totalmente refrigerado por líquido

El sistema de servidor de cuatro nodos 2U con refrigeración líquida completa consta de nodos, chasis, plano medio y módulos SSD. La conexión entre los nodos y los componentes del chasis se realiza mediante conexiones ciegas para agua, energía y señales a través de conectores rápidos, conectores de energía y de señal.

 

▲ Figura 1. Servidor refrigerado por onda completa de cuatro nodos y 2U

 

2. Descripción general del servidor de nodo único con refrigeración líquida completa

El nodo de servidor completamente refrigerado por líquido consta de una carcasa de nodo, una placa base, chips de CPU, módulos de memoria, una placa fría de memoria, una placa fría de CPU, una placa fría de E/S, una fuente de alimentación y el intercambiador de calor trasero para la fuente de alimentación.

 

▲ Figura 2. Nodo de servidor completamente refrigerado por líquido

 

 

II Selección del patrón de flujo y cálculo del caudal

 

Para simplificar la complejidad del diseño de la ruta de flujo, este servidor totalmente refrigerado por líquido utiliza un diseño de ruta de flujo en serie para el refrigerante. El refrigerante fluye desde los componentes de bajo consumo a los componentes de alto consumo para la disipación del calor. La dirección de flujo detallada se muestra en el diagrama y la tabla a continuación.

 

▲ Ruta de flujo en serie de un servidor de cuatro nodos con refrigeración líquida completa de 2U

 

▲ Tabla 3. Secuencia de flujo del medio de enfriamiento

 

El caudal del refrigerante completamente líquidocondujoservidor mDebe cumplir con los requisitos de refrigeración del sistema:

• Para garantizar la confiabilidad a largo plazo del material de la tubería del lado secundario, la temperatura del agua de retorno en el lado secundario no debe superar los 65 grados.
• Para garantizar que todos los componentes del servidor completamente refrigerado por líquido cumplan con los requisitos de enfriamiento dentro de las condiciones límite definidas, se seleccionan una placa fría de cobre y PG25 para el análisis del diseño del caudal.

 

Para cumplir con el requisito de que la temperatura del agua de retorno en el lado secundario no supere los 65 grados, el caudal mínimo de PG25 por nodo, Qmin, se calcula utilizando la siguiente fórmula:

 

Qmin=Ps / (ρ * C * ∆T) ≈ 1,3 LPM

 

 

III Diseño de componentes clave de la placa fría del servidor totalmente refrigerado por líquido

 

1. Diseño de la placa fría de la CPU

El módulo de placa de enfriamiento de CPU es un diseño de referencia optimizado en función de los requisitos de diseño de placa de enfriamiento del procesador escalable Xeon de quinta generación de Intel. Tiene en cuenta factores como la refrigeración, el rendimiento estructural, la tasa de rendimiento, el costo y la compatibilidad con diferentes materiales. La placa de enfriamiento de CPU se compone principalmente de un soporte de aluminio para placa de enfriamiento de CPU, una placa de enfriamiento de CPU y conectores de placa de enfriamiento.

 

▲ Figura 4. Módulo de placa fría de CPU

 

2. Diseño de refrigeración líquida con memoria

El diseño de refrigeración líquida de la memoria adopta una innovadora solución de refrigeración líquida con disipador térmico durmiente, llamada así por los módulos de memoria que están dispuestos como durmientes en una vía de tren. Esta solución combina la refrigeración por aire tradicional y la refrigeración por placa fría. El disipador térmico, que tiene tubos de calor integrados (o placas de aluminio/cobre puro, cámara de vapor, etc.), transfiere el calor desde los módulos de memoria a ambos extremos. Luego, el calor se transfiere a la placa fría a través de almohadillas térmicas seleccionadas y, finalmente, el refrigerante dentro de la placa fría se lleva el calor, logrando la refrigeración de la memoria.

 

La memoria y el disipador de calor se pueden ensamblar en la unidad de mantenimiento más pequeña fuera del sistema (denominada en adelante módulo de memoria). La placa de enfriamiento de memoria cuenta con una estructura de fijación del módulo de memoria para garantizar un buen contacto entre el disipador de calor y la placa de enfriamiento de memoria. Esta estructura de fijación se puede asegurar con tornillos o se puede mantener sin herramientas según sea necesario. La parte superior de la placa de enfriamiento de memoria enfría la memoria, mientras que la parte inferior puede enfriar otros componentes que generan calor en la placa base, como las VR. Para simplificar el diseño de la placa de enfriamiento de memoria, se puede diseñar un soporte adaptador entre la memoria y la placa base para cumplir con las restricciones de altura de las diferentes placas base.

 

▲ Figura 5. Solución de refrigeración líquida del disipador de calor Sleeper

 

En comparación con las soluciones de refrigeración líquida con memoria de tubos existentes en el mercado, la solución de refrigeración líquida con disipador térmico durmiente tiene las siguientes ventajas principales:

 

Fácil mantenimiento:El mantenimiento de la memoria es tan sencillo como el mantenimiento de un módulo de memoria refrigerado por aire, sin necesidad de quitar el disipador de calor ni los sujetadores. Esto mejora enormemente la eficiencia y la confiabilidad del ensamblaje de la memoria refrigerada por líquido, lo que reduce los posibles daños a los chips de memoria y a las almohadillas térmicas durante el desmontaje y el reensamblaje en el sistema.

 

Buena compatibilidad:El rendimiento de disipación de calor de esta solución no se ve afectado por los diferentes espesores de los chips de memoria y el espaciado de la memoria. Es compatible con un espaciado de memoria mínimo de 7,5 mm o más. El diseño desacoplado del disipador de calor y la placa fría permite la reutilización y estandarización de la refrigeración líquida de la memoria.

 

Mayor relación costo-beneficio:El disipador de calor de la memoria se puede seleccionar en función del consumo de energía de la memoria, con diferentes procesos y tecnologías de enfriamiento, y la cantidad se puede configurar según sea necesario según la memoria. En un escenario de espacio de memoria de 7,5 mm, puede satisfacer las necesidades de enfriamiento de los módulos de memoria que superan los 30 W.

 

Facilidad de fabricación y montaje:No hay tubos de refrigeración líquida entre las ranuras de memoria, lo que elimina la necesidad de realizar complejas soldaduras de tubos y controles de procesos. Se pueden utilizar los procesos tradicionales de fabricación de disipadores de calor refrigerados por aire y placas frías de CPU generales. Al ensamblar el disipador de calor, el rendimiento de disipación de calor no es sensible a las tolerancias entre el disipador de calor y la placa base en la dirección perpendicular al plano del chip de memoria, lo que evita un mal contacto térmico y facilita el ensamblaje.

 

Buena confiabilidad:La solución de refrigeración líquida para la memoria evita posibles daños a los chips de memoria y a las almohadillas térmicas durante el montaje y puede soportar múltiples inserciones y extracciones. Además, evita el riesgo de fallos en el contacto de la señal causados ​​por la inclinación entre la memoria y las ranuras después de instalar las soluciones de refrigeración líquida para la memoria y los tubos, lo que mejora significativamente la fiabilidad del sistema.

 

3. Diseño de refrigeración líquida del disco duro

La innovadora solución de enfriamiento líquido de la unidad de estado sólido (SSD) utiliza un disipador de calor con tubos de calor incorporados para transferir calor desde el área del disco duro a la placa fría fuera del área del disco duro a través del contacto directo con almohadillas térmicas, logrando así el intercambio de calor.

 

Esta solución de refrigeración líquida SSD consta principalmente de un módulo SSD equipado con un disipador de calor, una placa de enfriamiento SSD, un mecanismo de bloqueo del módulo de disco duro y un soporte de disco duro. El mecanismo de bloqueo del módulo de disco duro está fijado en el soporte de disco duro para proporcionar una fuerza de precarga adecuada, lo que garantiza la confiabilidad del contacto a largo plazo entre el módulo SSD y la placa de enfriamiento SSD. Para facilitar la instalación del bucle de la placa de enfriamiento del disco duro en un espacio reducido, el soporte del disco duro está diseñado con un método de instalación tipo cajón en la dirección de profundidad del servidor.

 

▲ Figura 6. Solución innovadora de refrigeración líquida para unidades de estado sólido

 

Las características avanzadas de esta solución en comparación con los intentos de refrigeración líquida de discos duros existentes en la industria incluyen:

 

• Admite más de 30 intercambios en caliente sin apagar el sistema.
• No hay riesgo de daños por corte en los materiales de la interfaz térmica durante la instalación del disco duro; el diseño del mecanismo de bloqueo garantiza la confiabilidad del contacto a largo plazo.
• Requisitos de procesamiento bajos para la solución de enfriamiento líquido; solo se necesitan técnicas tradicionales de enfriamiento por aire y procesamiento de placa fría de CPU.
• Diseño sin agua entre los discos duros; varios discos duros pueden compartir la misma placa fría, lo que reduce la cantidad de uniones y disminuye el riesgo de fugas.
• Se adapta de forma flexible a sistemas con diferentes espesores y cantidades de unidades de estado sólido (SSD).

 

4. Diseño de refrigeración líquida para tarjetas PCIe/OCP

 

Solución de refrigeración líquida PCIe

La solución de refrigeración líquida de la tarjeta PCIe se basa en la tarjeta PCIe refrigerada por aire existente. Se logra la refrigeración del módulo óptico y de los chips principales de la tarjeta PCIe mediante el desarrollo de un módulo de refrigeración de la tarjeta PCIe que puede entrar en contacto con la placa de refrigeración del sistema. El calor del módulo óptico se transfiere a través de tubos de calor al módulo de refrigeración principal del chip de la tarjeta PCIe y, a continuación, el módulo de refrigeración intercambia calor con la placa de refrigeración de E/S a través de un material de interfaz térmica adecuado.

 

La tarjeta PCIe refrigerada por líquido consta principalmente de un clip de disipador de calor QSFP, un módulo de refrigeración de chip PCIe y la propia tarjeta PCIe. El clip de disipador de calor QSFP está diseñado con la elasticidad adecuada para garantizar una flotación adecuada cuando el disipador de calor QSFP y la carcasa del módulo de refrigeración PCIe se acoplan, lo que proporciona una buena experiencia de usuario, evita daños en el módulo óptico y garantiza un contacto estable para una refrigeración eficaz.

 

▲ Figura 7. Módulo de refrigeración líquida de la tarjeta PCle

 

Solución de refrigeración líquida OCP3.0

La solución de refrigeración líquida de la tarjeta OCP3.0 es similar a la de la tarjeta PCIe, en la que se utiliza un disipador térmico refrigerado por líquido personalizado para la tarjeta OCP3.0. El calor generado por los chips de la tarjeta se transfiere al disipador térmico refrigerado por líquido y, finalmente, el calor se disipa a través del contacto entre el disipador térmico y la placa fría de E/S del sistema.

 

El módulo de refrigeración líquida OCP3.0 consta principalmente del módulo disipador de calor, la tarjeta OCP3.0 y su soporte. Debido a las limitaciones de espacio, se utiliza un tornillo de resorte como mecanismo de bloqueo para garantizar la confiabilidad del contacto a largo plazo entre el módulo disipador de calor y la placa de enfriamiento de E/S después de ensamblar la tarjeta OCP3.0 refrigerada por líquido.

 

▲ Figura 8. Módulo de refrigeración líquida OCp3.0

 

Teniendo en cuenta la facilidad de mantenimiento futuro y la necesidad de múltiples intercambios en caliente de la tarjeta OCP3.0, el diseño del mecanismo de bloqueo y la selección de materiales de interfaz térmica se han optimizado para mejorar la confiabilidad general y la facilidad de operación y mantenimiento.

 

Solución de placa fría IO

La placa fría IO es una placa fría multifuncional que no solo disipa el calor de los componentes de calentamiento dentro del área IO de la placa base, sino que también enfría la tarjeta PCIe refrigerada por líquido y la tarjeta OCP3.0 refrigerada por líquido.

 

▲ Figura 9. Placa fría 10

 

▲ Figura 10. Posición de la tarjeta PCle refrigerada por líquido, OCP3.0 refrigerado por líquido y placa fría de E/S

 

La placa de enfriamiento de E/S se compone principalmente del cuerpo de la placa de enfriamiento de E/S y los canales de tubos de cobre. El cuerpo de la placa de enfriamiento de E/S está hecho de aleación de aluminio, mientras que los tubos de cobre son responsables de los canales de fluido de enfriamiento y de mejorar la disipación de calor. El diseño específico debe optimizarse en función de la disposición de la placa base y los requisitos de enfriamiento de los componentes. Los módulos disipadores de calor de la tarjeta PCIe refrigerada por líquido y la tarjeta OCP3.0 refrigerada por líquido entran en contacto con la placa de enfriamiento de E/S a lo largo de la dirección de la flecha. La selección del material para los canales de fluido de enfriamiento debe tener en cuenta la compatibilidad con el fluido de enfriamiento de la tubería del sistema y los materiales humectantes.

 

Esta solución de refrigeración líquida con placa fría IO cumple con los requisitos de ensamblaje multidimensional de múltiples componentes. El uso combinado de materiales de cobre y aluminio resuelve problemas de compatibilidad de materiales, garantiza la eficacia de la refrigeración, ayuda a reducir el peso de la placa fría en un 60 % y reduce los costos.

 

5. Diseño de placa fría de fuente de alimentación

La solución de enfriamiento líquido de la fuente de alimentación implica enfriar el aire de escape del ventilador de la fuente de alimentación conectando un intercambiador de calor aire-líquido externo a la fuente de alimentación enfriada por aire existente, reduciendo así el precalentamiento del sistema del entorno externo del centro de datos.

 

El intercambiador de calor trasero de la fuente de alimentación tiene una estructura de múltiples capas, con canales y aletas apiladas unas sobre otras. El tamaño del intercambiador de calor trasero de la fuente de alimentación debe equilibrar los requisitos de refrigeración, el peso y el costo, al tiempo que garantiza que no interfiera con la función de inserción/extracción del cable de alimentación y que cumpla con las limitaciones de espacio del gabinete del sistema. El intercambiador de calor trasero de la fuente de alimentación se monta de forma independiente en el soporte del nodo.

 

▲ Figura 11. Intercambiador de calor trasero de la fuente de alimentación

 

Esta innovadora solución de refrigeración líquida para fuentes de alimentación elimina la necesidad de desarrollar nuevas fuentes de alimentación refrigeradas por líquido, lo que acorta el ciclo de desarrollo y reduce los costos de desarrollo. Su excelente versatilidad le permite adaptarse de manera flexible a soluciones de suministro de energía de múltiples proveedores, lo que permite ahorrar más del 60 % en comparación con las fuentes de alimentación refrigeradas por líquido personalizadas.

 

Para aplicaciones que involucran gabinetes completos, la refrigeración líquida de la fuente de alimentación también puede utilizar una solución de intercambiador de calor aire-líquido centralizado. Esto implica sellar las puertas delanteras y traseras del gabinete y colocar un intercambiador de calor aire-líquido centralizado en la parte inferior del gabinete, reemplazando la estructura del intercambiador de calor aire-líquido distribuido detrás de la fuente de alimentación por una centralizada.

 

El intercambiador de calor aire-líquido centralizado consta de aletas corrugadas de aluminio recubiertas con una capa hidrófila para mejorar el intercambio de calor, combinadas con tuberías de cobre con un alto coeficiente de transferencia de calor. Puede proporcionar al menos 8 kW de capacidad de enfriamiento con una diferencia de temperatura de 10 grados. La ruta de flujo del intercambiador de calor se optimiza mediante simulación para manejar más flujo con baja resistencia. Cuenta con un diseño anticondensación y una detección integral de fugas para eliminar los riesgos de seguridad. Un diseño de bisagra especial cumple con los requisitos de carga elevada y un diseño de conexión con ranura para tarjeta facilita la instalación y el mantenimiento.

 

Dado que más del 95 % del calor de un solo servidor refrigerado por líquido se gestiona mediante la placa de refrigeración, menos del 5 % del calor debe gestionarse mediante el intercambiador de calor aire-líquido. Cada nodo requiere solo 40-50 W de intercambio de calor aire-líquido, y un solo intercambiador de calor aire-líquido centralizado admite una capacidad de intercambio de calor de 8 kW, lo que permite refrigerar no menos de 150 nodos, a un coste mucho menor que el de 150 intercambiadores de calor aire-líquido distribuidos.

 

Esta solución permite que las fuentes de alimentación del servidor permanezcan inalteradas, y el calor generado se recoge y se intercambia de manera uniforme mediante el intercambiador de calor aire-líquido centralizado en la parte trasera del gabinete. El calor forma una circulación autónoma dentro del gabinete, sin afectar el entorno del centro de datos, logrando así un verdadero "Rack como una computadora".