Diseño de red de clústeres de IA: Spine-Leaf, RoCE y NIC

El diseño de la red del clúster de IA es el proceso de dimensionar las NIC del servidor GPU, el ancho de banda de la columna -hoja, el índice de sobresuscripción, la configuración de RoCE, la óptica y el cableado para que el tráfico de entrenamiento distribuido siga siendo predecible a medida que el clúster escala. Si se equivoca cualquiera de estos, la red - y no la GPU - se convierte en el cuello de botella.

Por qué las redes de clústeres de IA son diferentes

En un centro de datos empresarial tradicional, la red maneja una combinación de tráfico de usuarios, acceso al almacenamiento, virtualización y administración de norte-sur. El tráfico del este-oeste existe, pero rara vez es la carga dominante. En un grupo de IA, la situación cambia. Los servidores GPU que ejecutan gradientes de intercambio de entrenamiento distribuido y sincronizan parámetros durante cada paso del trabajo. Esta comunicación es parte del cálculo, no un efecto secundario del mismo.

Si una GPU de 30 000 dólares pasa el 30 % de su tiempo esperando en la red durante todas las-operaciones de reducción, el clúster efectivamente paga para que el 30 % de su capacidad informática permanezca inactiva. Ésa es la razón económica por la que las redes de IA reciben tanta atención.

Tres características de la carga de trabajo impulsan el diseño:

• Tráfico intenso del este-oeste.Las operaciones de comunicación colectiva como todo-reducir, todo-reunir y reducir-dispersar producen ráfagas sincronizadas en muchos nodos simultáneamente.
• Sensibilidad de latencia-de cola.Un único nodo lento retrasa todo el paso de entrenamiento. La latencia predecible es más importante que la latencia promedio.
• Escalar-el crecimiento.Los clústeres que comienzan con 32 GPU suelen crecer hasta 256 o 1024 en 18 meses. El tejido debe escalar sin rediseño.

Por qué Spine-Leaf se adapta a los clústeres de IA

Spine-leaf es la estructura estándar para centros de datos de hiperescala porque proporciona a cada ruta de servidor-a-servidor el mismo número de saltos y el mismo ancho de banda teórico. Para las cargas de trabajo de IA, esta uniformidad se traduce directamente en tiempos de pasos de entrenamiento más predecibles.

En una topología de columna-hoja, los servidores de GPU se conectan a conmutadores de hoja y cada hoja se conecta a cada columna. Cualquier comunicación de GPU-a-GPU cruza exactamente una hoja, una columna y una hoja más. No hay capas de agregación que introduzcan latencia variable o puntos de estrangulamiento.

Latencia predecible

El enrutamiento de rutas múltiples-de igual-costo (ECMP) distribuye los flujos entre los conmutadores principales. Cuando se configura correctamente con enrutamiento adaptativo o equilibrio de carga dinámico, esto evita las colisiones de hash que causan que algunos flujos sean mucho más lentos que otros - un problema conocido en estructuras ECMP estáticas que transportan pocos pero grandes flujos, que es exactamente lo que genera el entrenamiento de IA.

Alto ancho de banda de bisección

El ancho de banda de bisección es el rendimiento disponible entre dos mitades iguales del clúster. El entrenamiento de IA se beneficia de diseños sin-bloqueo o casi-sin-bloqueo donde la capacidad de enlace ascendente de la hoja-a la-columna es igual o casi igual a la capacidad del enlace descendente que enfrentan los servidores. El IETF define y analiza estos conceptos enRFC 7938, que cubre estructuras Clos enrutadas BGP-ampliamente utilizadas en centros de datos de gran-escala.

Escalamiento horizontal-más sencillo

Agregue más hojas para agregar más servidores. Agregue más espinas para agregar más ancho de banda de bisección. Para clústeres de más de unos pocos miles de GPU, una topología super-spine (5-etapa Clos) o optimizada para rieles extiende el mismo principio una capa más.

Componentes centrales de una red de clústeres de IA

Servidores GPU y NIC

La NIC es donde la estructura se encuentra con el host. En los clústeres de IA, la selección de NIC impulsa todo lo relacionado con la velocidad del puerto del switch -, la elección de óptica y la densidad del cableado.

Criterios de selección para cargas de trabajo de IA:

• Velocidad del puerto:200G, 400G u 800G por puerto. Coincide con la generación de GPU y el ancho de banda PCIe.
• Generación PCIe:Una NIC de 400G necesita PCIe Gen5 x16 para evitar la limitación del lado del host. Límites de PCIe Gen4 x16 a ~256 Gbps utilizables.
• Soporte RDMA y RoCEv2:Requerido para que el kernel-omita bibliotecas de comunicación de GPU como NCCL.
• GPUDirect RDMA:Permite dirigir GPU-a-NIC DMA, eliminando copias de la memoria del host.
• Capacidad multi-ferrocarril:Muchos servidores de IA utilizan 4 u 8 NIC por nodo, una por par de GPU, para topologías optimizadas para ferrocarriles.

Un servidor típico de 8 GPU hoy en día utiliza 4 NIC de 400 G (una por cada dos GPU) u 8 NIC de 400 G (una por GPU), según la carga de trabajo y el presupuesto. Arquitecturas de referencia deDocumentación de redes NVIDIACubra las compensaciones del diseño en detalle.

Interruptores de hoja y columna

Los criterios de selección de conmutadores para tejidos de IA difieren de la selección empresarial. El tamaño del búfer, el comportamiento de control de la congestión y la telemetría son más importantes que la amplitud de las funciones.

• Por-velocidad y base del puerto:Un conmutador ASIC de 51,2 Tbps ofrece 64 puertos 800G o 128 puertos 400G. Radix determina qué tan plana puede ser la tela.
• Arquitectura de búfer:Los buffers profundos absorben las ráfagas incast pero agregan latencia. Los buffers poco profundos reducen la latencia pero requieren un control preciso de la congestión.
• Conjunto de funciones de RoCE:Marcado ECN, PFC, DCQCN o control de congestión equivalente y manejo adecuado de las colas de prioridad de extremo a extremo.
• Telemetría:Telemetría de red en banda (INT), informes de profundidad por-cola y contadores de resolución de microsegundos-para marcas ECN y pausas PFC.

Cableado de óptica, DAC y AOC

En 400G y 800G, la planta de cableado se convierte en un verdadero problema de ingeniería. Los factores de forma, los presupuestos de enlaces y las configuraciones de ruptura necesitan una planificación temprana.

• DAC (cobre de conexión directa):Hasta ~3 metros para 400G, menor costo y menor potencia. Pesado y voluminoso a escala.
• AOC (cable óptico activo):Hasta ~30 metros, más delgado que DAC, pero de longitud-fija y consume energía óptica en ambos extremos.
• Ópticas enchufables:Requerido más allá de la distancia AOC. Los factores de forma QSFP-DD y OSFP dominan 400G/800G. Los conjuntos de fibra MPO/MTP manejan las conexiones de fibra-en paralelo.

Para enlaces entre bastidores y cableado estructurado a 400G/800G, la óptica paralela sobre terminaciones MPO ahora es estándar. La elección entre cables troncales y conjuntos de conexiones depende de la asignación de puertos de su switch - consulte nuestraGuía de cable de conexión MPOpara la lógica de selección práctica, y la más ampliaComparación entre troncales y rupturas de MPOal planificar ejecuciones de hoja-a-lomo.

RoCE y Ethernet sin pérdidas en AI Fabrics

RoCEv2 (RDMA sobre Ethernet convergente v2) es el transporte Ethernet dominante para cargas de trabajo de IA. Permite que las NIC muevan datos directamente entre regiones de memoria de la GPU sin la participación del kernel en ninguno de los extremos. NCCL, la biblioteca de comunicación GPU subyacente a casi todos los marcos de entrenamiento distribuidos, utiliza RoCEv2 cuando InfiniBand no está disponible.

RoCE funciona bien cuando se configura correctamente. Falla feo cuando se configura incorrectamente. ElAsociación Comercial InfiniBandpublica las especificaciones de RoCE, y la mayoría de los proveedores de NIC y conmutadores publican guías de configuración detalladas que se deben seguir de principio a fin.

Por qué es importante el comportamiento sin pérdidas

RDMA se diseñó asumiendo un transporte sin pérdidas. Cuando los paquetes caen, la recuperación de RDMA es costosa - retroceder-retransmisión-N puede detener un paso de entrenamiento durante milisegundos, lo cual es enorme en relación con el presupuesto de RDMA a escala de microsegundos-.

Para aproximarse al comportamiento sin pérdidas en Ethernet, la estructura utiliza dos mecanismos que funcionan juntos:

• PFC (Control de flujo prioritario, IEEE 802.1Qbb):Un conmutador detiene el tráfico entrante en una cola de prioridad específica cuando se llena su búfer. Este es un mecanismo de último-recurso.
• ECN (Notificación explícita de congestión, RFC 3168):Los conmutadores marcan paquetes cuando las colas se acercan a un umbral. La NIC reduce su velocidad de envío antes de que los buffers se llenen, idealmente evitando PFC por completo.

El objetivo es que ECN se encargue de casi toda la gestión de la congestión, con PFC como red de seguridad. Si observa pausas frecuentes de PFC en el tráfico-estado estable, sus umbrales de ECN son incorrectos o su estructura es de tamaño insuficiente.

Fallos comunes de implementación de RoCE

Cómo diseñar una red de clústeres de IA: un marco de trabajo

Esta es la sección que omiten la mayoría de los artículos sobre redes de IA. Los siete pasos siguientes le brindan entradas y salidas concretas en cada etapa.

Paso 1: definir la carga de trabajo y la escala

Entradas:Tipo de carga de trabajo (entrenamiento previo,-ajuste fino, inferencia, mixta), recuento de GPU objetivo hoy, recuento de GPU objetivo en 18 meses, rango de tamaño del modelo.

Producción:Un perfil de carga de trabajo que informa la velocidad de la NIC y la tolerancia a la sobresuscripción. El entrenamiento previo a gran escala de modelos de frontera exige tejidos 400G+ sin bloqueo. Las cargas de trabajo de ajuste-pueden tolerar una sobresuscripción de 2:1. Los grupos de inferencia a menudo necesitan un ancho de banda menor pero una latencia de cola más baja.

Paso 2: elija la velocidad de la NIC y el recuento por servidor

Lógica de decisión:

• Entrenamiento previo de modelos grandes, servidores de 8 GPU → 4 a 8 NIC de 400 G por servidor o 4 de 800 G
• Capacitación-a mediana escala, servidores de 8 GPU → 2 a 4 NIC de 400 G por servidor
• Servicio de inferencia → 1 o 2 NIC de 200 G o 400 G por servidor, según el paralelismo del modelo

Verifique el ancho de banda PCIe en el host. Un solo puerto 400G requiere PCIe Gen5 x16 para funcionar a velocidad de línea; duplicar a 800G requiere Gen6 o dividirse en dos ranuras.

Paso 3: dimensionar la capa de la hoja

Ejemplo resuelto - 32-clúster de nodos, 8 GPU por nodo, 4 × NIC de 400 G por nodo:

• Total de puertos-de cara al servidor necesarios: 32 × 4=128 puertos a 400G
• Ancho de banda de enlace descendente por nodo: 4 × 400=1.6 Tbps
• Ancho de banda total del enlace descendente del clúster: 32 × 1.6=51.2 Tbps

Utilizando un conmutador hoja de 400G de 64 puertos (capacidad total de 25,6 Tbps), cada hoja puede conectar 32 puertos de servidor y utilizar los 32 puertos restantes como enlaces ascendentes. Con 4 hojas se cubren los 128 puertos del servidor. Cada hoja aporta 32 × 400G=12.8 Tbps de enlace ascendente hacia la columna.

Paso 4: dimensionar la capa del lomo

Para un diseño sin-bloqueo (1:1), la capacidad total del enlace ascendente debe ser igual a la capacidad total del enlace descendente. Desde el paso 3:

• Enlace ascendente de hoja total requerido: 4 hojas × 12,8 Tbps=51.2 Tbps
• Si cada columna tiene 32 × puertos 400G=12.8 Tbps, necesita 4 columnas
• Cada hoja se conecta a las 4 columnas mediante 8 enlaces ascendentes por columna (8 × 400G × 4=12.8 Tbps por hoja - coincidencias)

Si se utilizan conmutadores centrales de 64 puertos y 400 G, cada columna tiene capacidad adicional para hacer crecer el clúster, lo que resulta útil para el plan de 18 meses del Paso 1.

Paso 5: establezca el índice de sobresuscripción

Paso 6: Separe el tráfico de computación, almacenamiento y administración

Tres opciones, en orden de aislamiento creciente:

• Tejido compartido con clases de QoS:Computación, almacenamiento y administración en prioridades DSCP separadas. Costo más bajo; requiere una configuración cuidadosa de QoS.
• VLAN/VRF separadas lógicamente:Mismo hardware, planos de control separados. Útil para clústeres multi-inquilino.
• Tejidos físicamente separados:NIC, conmutadores y cableado dedicados para computación versus almacenamiento. Costo más alto; común en grupos de modelos de frontera-donde cualquier disputa es inaceptable.

El tráfico de almacenamiento para la IA es en sí mismo pesado. Las escrituras de puntos de control - para un modelo grande pueden mover cientos de gigabytes en ráfagas cortas. Planifíquelo explícitamente. Una planta de cableado estructurado de alta-densidad que utilizaCables troncales MPO/MTPsimplifica la ejecución de estructuras paralelas en la misma infraestructura física.

Paso 7: validar antes de la producción

Las pruebas-a nivel de red detectan algunos problemas. Las pruebas de nivel de carga de trabajo-captan el resto.

• Ancho de banda:iperf3 o ib_send_bw entre cada par de nodos; debe alcanzar el 90%+ de la velocidad de la línea NIC.
• Estado latente:ib_read_lat o similar; Distribución de cheques, no solo promedio. P99.9 importa más que la media.
• Pérdida de paquetes:Ejecute una prueba de inmersión de 24-horas bajo carga; cualquier pérdida distinta de cero en la clase de tráfico RoCE es un problema.
• Comportamiento de marcado ECN:Verificar que aparezcan las marcas antes de que se dispare el PFC; si las pausas de PFC son frecuentes en estado estable, vuelva a sintonizar.
• Comunicación colectiva:Ejecute pruebas NCCL (all_reduce_perf, all_gather_perf) en el tamaño completo del clúster. Compare con los números de referencia del proveedor.
• Prueba-de nivel laboral:Ejecute un trabajo de capacitación representativo durante 4 a 6 horas. Observe que los valores sostenidos de utilización de GPU - inferiores al 50 % en un modelo del tamaño adecuado- suelen indicar un problema de red.

Red de centro de datos tradicional frente a AI Spine-Leaf Fabric

Ethernet RoCE vs InfiniBand: Guía de decisión rápida

La pregunta surge en casi todos los proyectos de clústeres de IA. Ambos funcionan. La elección suele reducirse a la idoneidad operativa, no al puro rendimiento.

• Elija InfiniBand si:Su equipo ya opera tejidos InfiniBand, desea el camino más sencillo hacia un transporte sin pérdidas o está comprando una arquitectura de referencia de proveedor totalmente-integrada.
• Elija Ethernet RoCE si:Su equipo de operaciones es nativo de Ethernet-, desea opciones de conmutación de múltiples-proveedores, necesita integrar la estructura de IA con las redes de centros de datos existentes o prevé escalar más allá de lo que las topologías InfiniBand actuales admiten de manera limpia.

El Consorcio Ultra Ethernet, formado en 2023, está trabajando activamente para estandarizar las mejoras de Ethernet específicamente para cargas de trabajo de IA. Para la mayoría de los clústeres nuevos en 2026, Ethernet RoCE es un valor predeterminado defendible a menos que exista una razón específica para elegir lo contrario.

Errores comunes a evitar

Actualización de conmutadores sin comprobar las NIC

Una estructura de conmutador de 800G no hace nada por usted si sus NIC funcionan a 400G o su PCIe host se queda sin ancho de banda. Diseñe primero el lado del host y luego el lado del interruptor. PCIe Gen5 x16 limita un solo puerto a aproximadamente 504 Gbps de rendimiento mundial -real - cómodo para 400 G, marginal para 800 G.

Optimización de la velocidad del puerto pero ignorando la densidad del cableado

En las salidas de 64-puertos 400G, el cableado debajo de cada conmutador puede volverse físicamente inmanejable sin planificación. Utilice cables multiconector cuando corresponda, dirija las fibras a través de rutas estructuradas y estandarice los tipos de conectores. La calidad y la terminación del conector son importantes a altas velocidades: nuestroGuía de tipos de conectores de fibra óptica.cubre las compensaciones entre LC, MPO y factores de forma emergentes de alta-densidad.

Tratar a RoCE como una solución Plug-and-Play

El mayor error de diseño en los clústeres de IA reales es no elegir el interruptor incorrecto - sino subestimar cuánto trabajo de configuración de RoCE de extremo a extremo se requiere. Presupuestar tiempo para ajustar los umbrales de ECN, las prioridades de PFC y la coherencia de MTU. Planifique una fase de validación dedicada antes de ejecutar cualquier carga de trabajo de producción.

Mezclar todo el tráfico en una estructura sin QoS

La replicación del almacenamiento, los agentes de monitoreo y el tráfico de administración pueden arruinar los tiempos de los pasos de capacitación si comparten buffers con el tráfico informático. Sepárelos físicamente o aplique clases estrictas de QoS con prioridades y configuración ECN separadas.

Construyendo solo para el clúster actual

La mayoría de los clústeres de IA crecen entre 4 y 8 veces dentro de los dos años posteriores a su implementación inicial. Elija la capacidad de base y columna vertebral del switch que permita una expansión no-disruptiva. Tirar cables en un centro de datos de IA en vivo es costoso; planificar la capacidad de conductos y parches en el momento de la implementación es económico.

Cuándo pasar de 400G a 800G

Hay NIC y conmutadores de 800G disponibles, pero son más caros por puerto. Considere dar un paso al frente cuando:

• Las necesidades de ancho de banda por-GPU superan lo que 400G pueden proporcionar - por ejemplo, H100 y las GPU más nuevas con NVLink 5 esperan un mayor ancho de banda externo
• NCCL -reduce los tiempos de escala mal con el tamaño del clúster, lo que indica saturación de la red
• La densidad del cable a 400G se está volviendo físicamente inmanejable - menos puertos de 800G pueden reemplazar más puertos de 400G
• Se espera que la próxima generación de GPU en su hoja de ruta la necesite dentro de la ventana de depreciación del clúster.
• Estás creando un clúster de entrenamiento de modelo-de vanguardia en el que cualquier tiempo de inactividad informática cuesta significativamente más que la actualización óptica.

Para la mayoría de los clústeres de producción en 2026, 400G sigue siendo el equilibrio adecuado entre costo, madurez del ecosistema y capacidad.. 800G tiene sentido en el extremo superior y como inversión futura para los clústeres que se construyen hoy y que se espera que funcionen durante 4 a 5 años.

Conclusión

La red de clústeres de IA más potente no es la que tiene los conmutadores más rápidos. Es aquel en el que la elección de la NIC, el tamaño de la hoja/lomo, la sobresuscripción, la configuración de RoCE, la separación del tráfico y el cableado físico se apoyan entre sí y con la carga de trabajo para la que fueron elegidos.

Empiece por la carga de trabajo y el plan de crecimiento de 18-meses. Calcule las necesidades de ancho de banda en cada capa utilizando números reales, no solo reglas generales. Configure RoCE de un extremo-a-de un extremo y valídelo con puntos de referencia de comunicación colectiva reales. Presupuesto para la planta de cableado: en 400G y 800G, la capa física ya no es trivial.

El clúster que mantiene sus GPU ocupadas con una utilización superior al 95 % en cada paso del entrenamiento es el que prestó atención a todas estas capas. El clúster que viene con un conmutador más rápido y una estructura más lenta pasará años explicando por qué las GPU están inactivas.

Lectura adicional

• RFC 7938 - BGP en centros de datos-de gran escala
• Asociación comercial InfiniBand - especificaciones RoCE
• Documentación de redes NVIDIA
• Guía de instalación de cables de fibra óptica
• Explicación de la pérdida de inserción frente a la pérdida de retorno