InfiniBand vs RoCE para redes de inferencia de IA

ElegirInfiniBandcuándo su carga de trabajo de inferencia vive o muere según la latencia de cola predecible, y elijaROCE(RDMA sobre Ethernet convergente) cuando desee un rendimiento de clase RDMA-en una estructura Ethernet, puede escalar, compartir y operar con el equipo que ya tiene. Ninguna opción gana en todas partes. La decisión correcta depende de su patrón de inferencia, sus objetivos de latencia p99 y p999, la escala de GPU, el presupuesto y cuánta experiencia en ajuste de Ethernet sin pérdidas-tiene realmente su equipo.

Por qué la red es más importante de lo que esperan los equipos de inferencia

Durante años, la inferencia se trató como la mitad fácil de la historia de la GPU: un modelo cargado en un solo nodo, solicitudes atendidas de forma independiente, muy poco tráfico hacia el este-oeste. Esa imagen ahora está desactualizada. La inferencia moderna está cada vez más extendida y varios patrones ejercen una presión real sobre la tela.

• Paralelismo tensorialdivide una sola capa entre GPU, por lo que cada paso del token desencadena todas-reducción o todas-operaciones de recopilación entre ellas. Se trata de tráfico cruzado-de GPU frecuente, sensible-a la latencia, que las GPU bloquean mientras esperan.
• Paralelismo de tuberíaspasa activaciones de una etapa a la siguiente, a menudo entre nodos, agregando dependencias entre-nodos a cada paso hacia adelante.
• Prellenado y decodificación desagregadossepara la fase de precarga de computación-pesada de la fase de decodificación sensible-a la latencia y luego mueve la caché KV entre ellas. Esas transferencias son grandes y en ráfagas, y cualquier retraso se muestra directamente como una latencia más lenta del tiempo-hasta el-primer-token y entre-token.
• Recuperación-generación aumentada (RAG)añade tráfico del este-oeste a los servicios vectoriales y de búsqueda. Por lo general, la latencia-es menos crítica que las operaciones colectivas, pero aun así carga la estructura, especialmente con un volumen de consultas elevado.
• Servicio multi-inquilinocoloca a muchos modelos y usuarios en el mismo tejido, donde las microrráfagas y los efectos-vecinos ruidosos se convierten en el riesgo dominante.

Cuando la red es el cuello de botella, los síntomas son costosos: mayor tiempo-para-el primer-token, las GPU se detiene mientras esperan datos, el rendimiento colapsa en ráfagas y p95 y p99 inestables. Y aquí está la parte que supera los puntos de referencia: la latencia promedio lo oculta todo. La inferencia de producción se juzga por la cola, no por la media.

InfiniBand vs RoCE: tabla resumen para la inferencia de IA

¿Qué es InfiniBand?

InfiniBand es un tejido de red-diseñado desde el principio para ofrecer baja latencia, alto rendimiento y comunicación sin pérdidas. No es una versión más rápida de Ethernet. Viene con sus propios adaptadores de canal de host, conmutadores, administrador de subred, ecosistema de cableado y modelo de control de congestión-. Su valor definitorio es el comportamiento determinista: muchas GPU pueden comunicarse con requisitos de tiempo ajustados y la estructura sigue comportándose de manera consistente incluso cuando el tráfico colectivo es intenso.

Las plataformas InfiniBand modernas-orientadas a la IA amplían esa base con capacidades dirigidas directamente a grandes grupos de GPU. La línea Quantum InfiniBand de NVIDIA, por ejemplo, añadeenrutamiento adaptable, computación en-red y control de congestión basado en telemetría-, que ayudan a que la estructura distribuya el tráfico de manera inteligente y aísle la carga de un inquilino de la de otro. Por inferencia, InfiniBand gana su lugar cuando la carga de trabajo no puede tolerar fluctuaciones o cuando varios nodos GPU deben intercambiar datos de manera rápida y consistente.

Las compensaciones-son el costo, la concentración del ecosistema y la especialización operativa. Una estructura InfiniBand dedicada significa conmutadores, adaptadores, cables o módulos ópticos dedicados, e ingenieros que se sienten cómodos con la gestión de la estructura InfiniBand. Para una organización que ya ejecuta grandes conjuntos de Ethernet, incorporar una estructura separada agrega complejidad de adquisiciones, planificación de repuestos-y gastos generales de monitoreo.

¿Qué es RoCE (RDMA sobre Ethernet convergente)?

RoCE lleva RDMA, movimiento directo de datos de memoria-a-memoria con una baja sobrecarga de CPU, a redes Ethernet. RoCEv2, la versión utilizada en los centros de datos modernos, se puede enrutar a través de redes IP de capa 3 y fue estandarizada por laAsociación Comercial InfiniBand. Esa enrutabilidad es lo que permite que RoCE encaje naturalmente en los diseños de la columna vertebral-de la hoja de Ethernet y al mismo tiempo reutilice las NIC, los conmutadores, la óptica y las herramientas de monitoreo familiares.

El problema es que los transportes RDMA suponen una red casi-sin pérdidas. Si se suelta un paquete, el transporte vuelve a adoptar un comportamiento de retransmisión que arruina la latencia de cola. Entonces, RoCE necesita que Ethernet debajo se comporte como una estructura sin pérdidas, y eso depende de una configuración cuidadosa de dos mecanismos en particular:Control de flujo prioritario (IEEE 802.1Qbb), que detiene una sola clase de tráfico para evitar caídas, yNotificación explícita de congestión (ECN), que señala la congestión con antelación para que los remitentes reduzcan la velocidad antes de que los buffers se desborden. Si a esto le sumamos la gestión de colas, la asignación de búfer y el mapeo de QoS, queda claro que RoCE de alto-rendimiento no es una Ethernet ordinaria.

Bien hecho, RoCE ofrece suficiente latencia y rendimiento para una amplia gama de servicios de inferencia de producción, y muchas cargas de trabajo de inferencia están menos sincronizadas que la capacitación distribuida, lo que favorece a RoCE. Si se hace mal, produce pérdida de paquetes, bloqueo-de-línea, propagación de congestión y colas inestables, todo lo cual se traduce directamente en una calidad de servicio degradada.

Latencia InfiniBand vs RoCE: ¿Cuál es mejor para la inferencia p99?

Ambos tejidos pueden ofrecer redes de alto-ancho de banda y baja-latencia. Se diferencian en cómo llegan allí. InfiniBand es determinista por construcción, por lo que la fluctuación se mantiene baja incluso bajo carga mixta. RoCE puede igualarlo para muchas cargas de trabajo, pero el resultado depende de la estructura Ethernet y de qué tan bien esté sintonizada.

Desde una perspectiva de implementación, el verdadero problema en producción rara vez es el ancho de banda máximo. Hay fluctuación en el tráfico mixto, en ráfagas y de múltiples-inquilinos. Un tejido RoCE que supera una prueba de rendimiento limpia de estilo iperf- aún puede no alcanzar su objetivo p99 en el momento en que las microrráfagas y la contención entran en escena. Esa brecha entre un punto de referencia de laboratorio y un SLA de producción es donde residen la mayoría de las sorpresas.

InfiniBand tiende a tener ventaja cuando:

• El servicio tiene objetivos estrictos de latencia p99 o p999.
• La inferencia abarca múltiples nodos de GPU con paralelismo de tensor o canalización, o utiliza precarga y decodificación desagregadas.
• La utilización de la GPU es muy sensible al retraso de la red, por lo que las paradas son costosas.
• El clúster ejecuta una pequeña cantidad de cargas de trabajo de alta-prioridad donde la previsibilidad supera la flexibilidad.

RoCE suele ser suficientemente bueno cuando:

• Las solicitudes son en su mayoría independientes o el acoplamiento es flojo.
• El trabajo se ejecuta dentro de un nodo o de un pequeño número de nodos.
• El rendimiento por lotes es más importante que la latencia de cola ultra-baja.
• El equipo ya opera Ethernet y la flexibilidad de costos o proveedores es una prioridad.
• El clúster admite múltiples inquilinos o cargas de trabajo mixtas.

Costo de RoCE versus InfiniBand: ¿Qué impulsa realmente el costo total de propiedad?

A menudo se considera que RoCE es la opción más barata, pero el precio del cambio es una pequeña parte del panorama. Una comparación realista analiza todo el conjunto: adaptadores de red o HCA, conmutadores, módulos ópticos, DAC, AOC y cableado de fibra, topología de rack, alimentación y refrigeración, sistema operativo de red, monitoreo y telemetría, tiempo de ingeniería, repuestos, soporte de proveedores y el camino hacia 400G u 800G.

InfiniBand generalmente conlleva un costo inicial más alto porque requiere un tejido dedicado y componentes especializados. En entornos donde el comportamiento determinista es la principal prioridad, puede reducir el esfuerzo de ajuste y solución de problemas que exige una estructura Ethernet sin pérdidas. RoCE reduce el costo de hardware cuando se puede reutilizar un conjunto de Ethernet existente, con el soporte de puente de centro de datos adecuado, pero centra el esfuerzo en diseñar, validar, monitorear y solucionar problemas de la estructura sin pérdidas. Un diseño RoCE de bajo coste-se vuelve caro rápidamente si provoca una latencia inestable y repetidos combates contra incendios.

Los costos y riesgos se concentran en la capa física a medida que aumentan las velocidades. En 400G y 800G, la óptica domina tanto la factura como los modos de falla. La mayoría de los puertos-de alta velocidad aterrizan enQSFP-DD o factores de forma comparables, y haciendo coincidir el derechoÓptica monomodo-o multimodoa su alcance real es una de las formas más sencillas de evitar gastar demasiado en una estructura que no necesita módulos de larga-distancia.

Dicho sin rodeos: RoCE no es la opción más barata si su equipo carece de experiencia en Ethernet-sin pérdidas. Los ahorros en hardware pueden consumirse rápidamente por el costo de ingeniería que supone mantener estable la tela.

Escalabilidad y operaciones

La escalabilidad es más que el número de puertos. Incluye la facilidad con la que se implementa, monitorea, expande y recupera la estructura cuando algo falla.

InfiniBand es sólido cuando el clúster está diseñado como un tejido dedicado de alto-rendimiento desde el primer día. Ofrece un comportamiento consistente a escala, pero espera herramientas específicas de InfiniBand-, como un administrador de subred y una administración de estructura unificada, y personal que se sienta cómodo con los conceptos de InfiniBand. Eso lo convierte en una opción natural para los clústeres de IA centralizados creados en torno a cargas de trabajo de GPU.

RoCE se adapta a los diseños de centros de datos Ethernet: topologías de hoja-spine, enrutamiento IP, ECMP y prácticas de monitoreo familiares. Es exactamente por eso que resulta atractivo para el estilo-de nube y la infraestructura de GPU multi-inquilino. La disciplina que exige es coherencia. PFC, ECN, QoS, administración de buffer y control de congestión deben diseñarse de manera coherente en todo el camino, porque una pequeña configuración incorrecta en una esquina de la estructura puede propagar y degradar muchas cargas de trabajo a la vez. La capa física también debe escalarse limpiamente; alta-densidadCableado troncal y multiconector MPO y MTPmantiene manejable el tejido del lomo de una hoja en crecimiento en lugar de convertir cada expansión en un rompecabezas de cableado.

Vale la pena señalar el punto-de la imagen reflejada: InfiniBand es difícil de justificar cuando la inferencia se mantiene principalmente dentro de un solo nodo y la estructura apenas se ejercita.

Qué red para cada carga de trabajo de inferencia

Cuando RoCE es lo suficientemente bueno y cuando se vuelve riesgoso

RoCE es lo suficientemente bueno para solicitudes independientes o poco acopladas, trabajo por lotes-orientado al rendimiento y clústeres multi-inquilino donde se puede ajustar el aislamiento, especialmente cuando el equipo domina el puente Ethernet del centro de datos. Se vuelve riesgoso de maneras específicas y reconocibles:

• Tormentas de PFC.Las tramas de pausa se propagan ascendentes y congelan el tráfico que no tuvo nada que ver con la congestión original.
• Bloqueo-de-línea principal.El mapeo de prioridad aproximado permite que una clase congestionada detenga a otras que comparten una cola.
• Desajuste ECN.Marca demasiado tarde y obtendrás gotas; Si marca demasiado agresivamente, acelerará el rendimiento innecesariamente.
• Congestión de microrráfagas.Las ráfagas de menos de -segundos desbordan los buffers, pero permanecen invisibles para monitorear esas muestras con una resolución de un-segundo.
• Configuración inconsistente.Las configuraciones no coincidentes entre la hoja y el lomo hacen que la congestión se propague en lugar de permanecer local.

Ninguna de estas son razones para evitar RoCE. Son razones para diseñar el tejido sin pérdidas de manera coherente de principio a fin e invertir en telemetría-de grano fino y con reconocimiento de microráfagas-antes de escalar.

Cuándo vale la pena InfiniBand y cuándo estás comprando de más

InfiniBand vale su prima para objetivos estrictos p99 y p999, servicio multi-nodo estrechamente acoplado y cargas de trabajo-de misión crítica donde las penalizaciones de SLA son altas, especialmente en un clúster de GPU dedicado diseñado alrededor de la estructura. Probablemente esté comprando de más cuando la inferencia permanece dentro de un nodo, cuando el trabajo está orientado al rendimiento-por lotes, cuando necesita el mismo tejido para transportar también almacenamiento, administración y tráfico de nube multi-inquilino, o cuando simplemente carece de la capacidad operativa para ejecutar bien InfiniBand.

Los costos que no aparecen en la cotización del conmutador son reales: concentración del ecosistema, los gastos generales de ejecutar una segunda estructura en paralelo con su red Ethernet y una planificación separada para repuestos, ópticas y monitoreo.

Cómo probar InfiniBand vs RoCE antes de elegir

No decida sobre la reputación del protocolo o una hoja de especificaciones. Decida un punto de referencia que se asemeje a la producción. Una secuencia práctica:

• Definir el SLA en colas.Establezca p50, p95, p99 y p999 para la latencia de tiempo-hasta-el primer-token y entre-token, no solo un promedio.
• Reproduce tráfico realista.Utilice modelos de tamaños mixtos y en ráfagas y simultaneidad de múltiples-inquilinos en lugar de un único flujo limpio.
• Carga hasta la congestión.Empuje el material hasta que esté realmente firme y luego mida la utilización de la GPU. Si las GPU se estancan en la red, la estructura es su cuello de botella.
• Mire los contadores correctos.Realice un seguimiento de tramas de pausa, marcas ECN, caídas de paquetes, retransmisiones, contadores de errores de puerto y, en 400G y 800G, errores FEC.
• Validar la capa física.La fibra limpia y correctamente instalada es importante;cuidadosa instalación de fibrapreviene los errores intermitentes y difíciles-de-diagnosticar a los que son propensos los enlaces de alta-velocidad.

Si RoCE mantiene su objetivo p99 bajo una carga realista, competitiva y de múltiples inquilinos con contadores estables, es una opción sólida y rentable. Si solo pasa pruebas limpias de flujo único-, todavía no has probado lo que decide tu SLA.

Errores comunes que se deben evitar

• Asumiendo que toda inferencia es una red ligera.Algunas inferencias son simples e independientes; algunos están distribuidos, son sensibles a la latencia-y consumen ancho de banda-. Tratarlo todo como si fuera fácil conduce a una infraestructura insuficiente.
• Comparando solo la latencia promedio.La inferencia de producción depende de la cola. Evalúe siempre p95, p99 y p999 en condiciones de tráfico realista.
• Tratar a RoCE como Ethernet plug-and-play.RoCE de alto-rendimiento necesita un diseño de tejido deliberado-sin pérdidas, control de congestión y observabilidad continua.
• Elegir InfiniBand sólo porque es más rápido.La mejor opción de rendimiento no siempre es la mejor opción de negocio. Si la carga de trabajo no necesita un comportamiento determinista, RoCE puede ofrecer un mejor valor.
• Ignorando la capa física.En 400G y 800G, la limpieza de los cables, la óptica, los conectores y la fibra crean errores intermitentes que son difíciles de encontrar y costosos de solucionar.

Conclusión

Para la inferencia de IA, InfiniBand y RoCE son válidos y atienden a diferentes prioridades. Elija InfiniBand cuando necesite la red de baja-latencia más consistente para inferencias en tiempo real-, sensibles a SLA-o estrechamente acopladas. Elija RoCE cuando necesite un tejido escalable, basado en Ethernet-y rentable-para inferencia por lotes, servicios de GPU multi-inquilino, cargas de trabajo RAG e infraestructura flexible.

La decisión debe comenzar con la carga de trabajo, el objetivo de latencia, la escala del clúster, su capacidad operativa y la hoja de ruta de actualización, no con el protocolo. Si su clúster debe mantener un p99 estricto bajo una carga pesada, InfiniBand merece una seria consideración. Si su objetivo es escalar la inferencia de manera económica en un centro de datos Ethernet, RoCE suele ser el camino más práctico. De cualquier manera, compara la carga similar a la producción-antes de comprometerte.