La inteligencia artificial está remodelando el diseño de los centros de datos. La mayor parte de la atención se centra en las GPU, los aceleradores y la refrigeración, pero la capa que decide silenciosamente si el resto de la construcción tiene éxito es el cableado. En un clúster de IA, la capa física determina si realmente se pueden alcanzar 400G y 800G, si los enlaces de alta-velocidad se mantienen lo suficientemente limpios para pasar el tráfico, si el flujo de aire sobrevive a un rack completamente poblado y si su próximo salto de velocidad es un intercambio de tarjeta o una actualización enorme.
Esta guía está escrita para equipos de infraestructura y redes ópticas-. Explica qué hace que el cableado de IA sea diferente, los requisitos que importan con números reales, cómo comparar DAC, AOC y fibra estructurada, un flujo de trabajo de planificación-a-paso, qué preparar antes de una migración de 400G u 800G y una lista de verificación que realmente puedes usar. Las referencias técnicas aquí se basan en los estándares actuales IEEE 802.3 y ANSI/TIA-942.
Por qué las cargas de trabajo de IA cambian los requisitos de cableado del centro de datos
Los centros de datos empresariales tradicionales se construyeron en torno a un tráfico de aplicaciones bastante predecible, gran parte de él de norte-sur, moviéndose entre usuarios, aplicaciones y redes externas. Los grupos de IA invierten ese patrón. Durante el entrenamiento y la inferencia a gran-escala, el flujo dominante es de este-oeste: las GPU intercambian constantemente gradientes y activaciones entre sí a través de operaciones colectivas como all-reducción, generalmente a través de una estructura de acceso remoto directo a memoria (RDMA).
Esto es visible en los diseños de referencia de los proveedores. NVIDIA construye la red informática GPU como una estructura de columna vertebral-hoja- basada en RDMA mediante untopología optimizada-para que cualquier GPU esté como máximo a un salto de cualquier otra, que es lo que mantiene la comunicación multi-GPU eficiente a escala. La consecuencia del cableado es la cantidad de puertos: un solo nodo de ocho-GPU puede presentar ocho puertos de 400G (u 800G) este-oeste, y un módulo de entrenamiento con varios conmutadores de hoja por rack multiplica la fibra troncal y los parches muy rápidamente.
Cuando la capa física no-está planificada, los problemas no aparecen el primer día. Aparecen más tarde, como vías congestionadas que obstruyen el flujo de aire, como aislamiento de fallas que lleva horas en lugar de minutos y como reelaboración durante el primer ciclo de actualización. Un detalle que parece trivial, como una polaridad MPO invertida o un extremo contaminado, puede desconectar todo un riel. Para la infraestructura de IA, el cableado pertenece a la arquitectura desde el principio, no como la última tarea antes de la puesta en servicio.
Cableado de centro de datos tradicional o preparado para IA-
La brecha entre el cableado tradicional y el cableado preparado para la IA-es un cambio en las prioridades de diseño, no solo un mayor número de cables. Los diseños tradicionales se optimizan para la conectividad actual; Los diseños preparados para IA- se optimizan para acelerar la migración, la densidad, la calidad del enlace predecible y la capacidad de servicio durante múltiples ciclos de actualización.
| factor de diseño | Cableado tradicional para centros de datos | Cableado de centro de datos preparado para IA- |
|---|---|---|
| Patrón de tráfico | Predecible, a menudo con viento norte-sur | Tráfico intenso de GPU-a-GPU de este-oeste a través de estructuras RDMA |
| Planificación de velocidad | Tamaño para las velocidades de red actuales | Planeado para 400G y 800G, con camino hacia 1,6T |
| Densidad | Densidad moderada de puertos y fibras. | Fibra paralela de alta-densidad, base 8 y base 16 MTP/MPO |
| Gestión de cables | Tratada principalmente como organización. | Tratado como parte del flujo de aire, el tiempo de actividad y el mantenimiento. |
| Ruta de actualización | A menudo es necesario volver a-tirar del cable | Modular: intercambiar ópticas y casetes, mantener la planta de fibra |
| Mantenimiento | Seguimiento manual, más lento | Probado, etiquetado, documentado y con vías definidas |
El objetivo es una planta de fibra que pueda absorber al menos un salto de velocidad y una ampliación de capacidad sin necesidad de rediseñar.
Requisitos clave de cableado para centros de datos de IA
Planifique la capa física para 400G y 800G, no solo la velocidad actual
Los clústeres de IA ascienden rápidamente en la escala de velocidad, desde 100G hasta 400G, 800G y, finalmente, 1,6T. Las interfaces 400G y 800G ahora están formalmente estandarizadas:IEEE 802.3df, aprobado en 2024, define la MAC, la capa física y los parámetros de gestión para Ethernet de 400 Gb/s y 800 Gb/s, incluidos tipos de medios físicos como 800GBASE-SR8 y 800GBASE-DR8. En lo que respecta al equipo, 400G normalmente reside en factores de forma QSFP-DD o QSFP112, mientras que 800G usa OSFP o QSFP-DD800. Si está comparando el empaquetado del transceptor y el mapeo de carriles, estoDescripción técnica de QSFP-DDes un punto de partida útil.
La regla práctica: tamaño, tipo de fibra, número de fibras y base del conector para que la planta sobreviva al siguiente salto. Una troncal dimensionada únicamente para la velocidad del puerto actual se convierte en el cuello de botella en el momento en que el silicio del conmutador y la óptica avanzan.
Utilice fibra MTP/MPO de alta-densidad para la conectividad de clúster-de GPU
Los enlaces de IA de alta-velocidad son ópticas paralelas, y las ópticas paralelas se asignan directamente a los recuentos de fibra. Un enlace 400G-DR4 utiliza cuatro carriles u ocho fibras, normalmente terminadas en un casquillo MPO-12. Un enlace 800G-SR8 o 800G-DR8 utiliza ocho carriles o dieciséis fibras, a menudo un MPO-16 con extremos APC. Los troncales MTP/MPO de base 8 y base 16 combinados con casetes consolidan cientos de estos enlaces por rack y convierten la implementación en movimientos repetibles y probados en fábrica en lugar de empalmes en el campo. PreterminadoCables troncales MTP/MPOy los conjuntos de ruptura (MPO a LC o MPO a MPO) son la columna vertebral de este enfoque.
La densidad aún debe planificarse, no maximizarse. Empaquetar fibra en un bastidor sin pensar en el llenado del camino y el flujo de aire crea contra-presión en el escape del equipo y hace que sea imposible dar servicio a los puertos. Establece índices de cumplimiento y reglas de administración de holgura-antes, no después, de la primera instalación.
Gestione la pérdida de inserción, la limpieza del conector y la polaridad
La óptica de IA de alta-velocidad es menos indulgente que los enlaces anteriores. La señalización PAM4 utilizada en 400G y 800G funciona con presupuestos de pérdida de canal más ajustados que los enlaces NRZ más antiguos, y cada par MPO o LC acoplado agrega pérdida de inserción, a menudo unas pocas décimas de decibelio por conexión. A través de un canal estructurado con varios puntos de conexión y una longitud de fibra, ese presupuesto desaparece rápidamente, por lo que el número de conectores es una variable de diseño, no una idea de último momento. Vale la pena comprender la distinción entre pérdida de inserción y pérdida de retorno, y por qué ambas son importantes en ópticas paralelas, antes de finalizar un canal; esta explicacion enpérdida de inserción en redes de fibraCubre la mecánica.
La contaminación es una de las principales causas de fallas en los enlaces de campo, por lo que cada extremo debe inspeccionarse y limpiarse antes de acoplarse. La polaridad necesita un esquema explícito (método A, B o C) y los enlaces paralelos monomodo-generalmente utilizan conectores APC en ángulo para controlar la pérdida de retorno. El radio de curvatura es importante en paneles densos, donde la fibra-insensible a la curvatura compra margen. La confiabilidad aquí es tanto una disciplina de instalación y mantenimiento como una elección de componentes.
Diseñe una arquitectura de cableado estructurado-estructurado, modular y escalable
La infraestructura de IA cambia en un ciclo corto, por lo que una planta que es difícil de modificar ralentiza cada implementación futura. El cableado estructurado, construido a partir de troncales, casetes, gabinetes y rutas definidas, permite a los equipos agregar capacidad o re-reencarrilar una estructura sin-volver a tirar del cable.ANSI/TIA-942 especifica los requisitos mínimos de infraestructura de telecomunicaciones para centros de datosy una topología de cableado destinada a adaptarse a aplicaciones futuras, que es exactamente la postura que necesita una construcción de IA. Con esta base, la mayoría de las mejoras de velocidad se convierten en una cuestión de intercambiar ópticas y casetes en lugar de reconstruir la capa física.
Enrutamiento de cables para flujo de aire y refrigeración en bastidores de alta-densidad
Los bastidores de IA se calientan. La densidad de potencia en los racks de GPU más densos puede superar los 100 kW y, en esos niveles, el cableado congestionado provoca directamente recirculación y puntos calientes localizados.La guía ASHRAE TC 9.9 enmarca el control térmico alrededor de la entrada del equipo de TI y una separación limpia entre pasillos-calientes y fríos-, y el cableado lo respalda o lo contrarresta. En la práctica, eso significa rutas de fibra aéreas siempre que sea posible, separación clara de energía y datos, administradores verticales y horizontales dimensionados para el número real de cables, holgura disciplinada y enrutamiento que nunca bloquee el escape trasero o un gabinete de chimenea. La gestión de cables que mantiene los enlaces rastreables también reduce los errores humanos durante movimientos y cambios.
¿DAC, AOC o fibra estructurada? Una matriz de selección de cableado para centros de datos de IA
No existe un medio mejor para un clúster de IA; la elección correcta está impulsada por el alcance y el rol. Dentro de un rack, el cobre de corto-alcance aún gana en costo, energía y latencia. A medida que los enlaces abarcan filas y pasillos, la fibra monomodo-se convierte en la columna vertebral escalable. La siguiente matriz compara las opciones comunes de la forma en que realmente las pondera una revisión de diseño.
| Opción | Alcance típico | Velocidad típica | donde cabe | Medios y conector | Costo y poder | Caso de uso más adecuado- |
|---|---|---|---|---|---|---|
| DAC pasivo | Hasta unos 3 m | Hasta 400G (por ejemplo 400G-CR8) | Intra-rack y-rack adyacente en la parte superior-de-rack | Cobre Twinax, extremos integrados | Menor costo, menor potencia, menor latencia | GPU o servidor para hojear dentro del mismo rack o del siguiente |
| AOC | Desde unos pocos metros hasta unos 30 m, en algunos casos más largos | 400G y 800G | Dentro de una fila, en bastidores cercanos | Núcleo multimodo, extremos de transceptor fijos | Baja potencia, sin limpieza de extremos de campo | Enlaces de servidor permanente-a-hoja fuera del alcance de DAC |
| Fibra estructurada multimodo (OM4/OM5) | Decenas de metros, hasta unos 100 m, más corto a 800G | 400G y 800G SR/VR | Lomo-de hoja dentro de una sala | OM4/OM5 con MTP/MPO y LC | Reutilizable y útil | Enlaces cortos de hoja-a-lomo y de fila-a-fila |
| Fibra estructurada monomodo-(OS2) | 500 ma 2 km (DR/FR), hasta 10 km (LR) | 400G y 800G DR/FR/LR | Columna vertebral, entre-sala, entre-edificio | OS2 con MTP/MPO (APC) y LC/APC | Mayor alcance y escalabilidad | Enlaces ascendentes de columna vertebral, cross-hall y estructuras de GPU más grandes |
Esta es también la razón por la que una afirmación general como "siempre se prefiere la fibra" necesita una advertencia: la fibra es la base escalable de la estructura, pero un DAC pasivo sigue siendo la mejor opción de ingeniería para un salto de un-metro dentro de un rack.
Cómo planificar el cableado del centro de datos de IA, paso a paso
Paso 1: Mapear la carga de trabajo de IA y la topología de red
Comience con la carga de trabajo. Un módulo de entrenamiento grande, una flota de inferencia de alto-rendimiento, un clúster de HPC y una implementación con mucho almacenamiento-no comparten el mismo perfil de tráfico. Luego, mapee dónde se conectan las redes de administración de computación de GPU (este-oeste), almacenamiento, norte-sur y-fuera de-banda. Es posible que una implementación de inferencia pura no necesite una gran estructura este-oeste, mientras que un módulo de entrenamiento de múltiples-rack sí lo necesitará. Diseñe según el flujo de tráfico real, no solo la elevación del rack.
Paso 2: bloquear los objetivos de velocidad actuales y futuros
Definir tanto la primera fase como la siguiente. Si una cápsula funciona con 400G hoy y 800G el próximo año, la planta de fibra debe dimensionarse para 800G ahora. Más allá de ese horizonte, el trabajo sobre Ethernet de clase terabit-ya está en marcha: elEl grupo de trabajo IEEE P802.3dj está definiendo el funcionamiento de 200G, 400G, 800G y 1,6 Tb/s utilizando señalización de 200 Gb/s-por-carril. Saber hacia dónde se dirige la hoja de ruta le indica cuánta fibra y capacidad de ruta debe reservar.
Paso 3: seleccione medios y conectores con margen
La pregunta OS2-versus-OM4 es principalmente una pregunta de alcance. OM4 está bien para enlaces de columna de hoja de menos de 100 m, pero el alcance se reduce a medida que aumenta la velocidad, por lo que una vez que los enlaces cruzan filas o pasillos, o cuando desea un espacio libre de 800G DR/FR, OS2 monomodo es la base más segura. Revisando ellímites de distancia de fibra multimodo OM1 a OM5hace que la compensación-sea concreta. Haga coincidir la base MPO (12 versus 16) con el mapa de fibra óptica y planifique la polaridad con anticipación; para paneles de alta-densidad estoGuía de selección de MTP vs MPOcubre las diferencias que importan. Cuando la velocidad del transceptor y del puerto no coincidan, planifique conexiones (MPO a LC) en lugar de improvisar en el momento de la instalación.
Paso 4: Planifique juntos la densidad del bastidor, los recorridos y el flujo de aire
El diseño del rack, el enrutamiento de los cables y la refrigeración son una decisión en un entorno de IA de alta-densidad, no tres. Antes de la instalación, cuente cuántos cables entran y salen de cada rack, decida dónde se ubicarán los paneles de conexión, planifique la holgura y confirme que un técnico pueda alcanzar y reemplazar un puerto sin alterar los enlaces activos. Deje espacio libre de crecimiento en las bandejas y llene las proporciones. Un rack que parece limpio en el momento de la puesta en servicio queda inservible después de dos ciclos de actualización si las vías se alcanzaron al máximo el primer día.
Paso 5: Probar, documentar y mantener según las especificaciones
Pruebe cada vínculo con la especificación del proyecto, lo que para fibra de alta-velocidad significa prueba de pérdida de inserción-, OTDR cuando corresponda, verificación de polaridad e inspección del extremo. Documente cada puerto, troncal, casete y vía, incluido el esquema de polaridad, la longitud y la pérdida medida, con etiquetas que se correspondan con los -dibujos construidos. Entonces el mantenimiento se vuelve rutinario: limpieza de los extremos, auditorías periódicas y control de cambios y etiquetas. siguiendo el sonidoPráctica de instalación de cables de fibra óptica.para la tensión de tracción y el radio de curvatura protege el presupuesto de pérdidas que usted probó.
Qué prepararse antes de una migración de 400G u 800G
Las migraciones fallan en la capa física con más frecuencia que en la óptica. Antes de realizar el corte, realice lo siguiente:
- Confirme el tipo y el recuento de fibras, y verifique que el OM4 existente aún alcance la velocidad objetivo, ya que la distancia admitida disminuye a medida que aumenta la velocidad de la línea.
- Verifique que la base del conector coincida con la nueva óptica (MPO-12 versus MPO-16) y que el esquema de polaridad aún se mantenga de extremo a extremo.
- Vuelva a calcular el presupuesto de pérdida de enlaces para PAM4, luego reduzca el número de conexiones donde pueda y vuelva a-inspeccionar cada extremo.
- Confirme la ruta y la capacidad de la bandeja para el cableado agregado y confirme el espacio térmico del bastidor para ópticas de mayor-potencia.
- Prepare casetes, troncales, etiquetas y un plan de prueba con anticipación para que la transición sea un intercambio-, no una repetición-.
Errores comunes que se deben evitar
Dimensionamiento sólo para el ancho de banda actual.Una planta construida para las velocidades actuales caduca rápidamente. Cree un camino realista hacia una mayor velocidad y una mayor densidad de puertos.
Tratar la gestión de cables como cosmética.Un cableado ordenado es útil, pero la gestión se trata realmente del flujo de aire, el acceso y el aislamiento de fallas, no de la apariencia.
Sacrificar el acceso de mantenimiento por la densidad.La alta-densidad no es "lo más compacta posible". Si un técnico no puede rastrear y reemplazar una conexión de manera segura, el diseño le costará durante las operaciones reales.
Compra de componentes de forma aislada.Cables, conectores, paneles, transceptores, bastidores y vías forman un canal. Una pieza que parece barata por sí sola puede tapar toda la tela cuando se escala.
Lista de verificación de preparación de cableado listo para IA-
Analice esto antes de escalar las GPU. Cada elemento tiene una condición de aprobación concreta, no un sí o un no vago.
- Margen de velocidad:¿Puede la fibra instalada soportar al menos un salto de velocidad (por ejemplo, de 400G a 800G) sin volver a tirar, y el número de fibras está adaptado al mapa de carriles de la óptica (ocho o dieciséis fibras)?
- Presupuesto de pérdidas:¿Está cada canal de alta-velocidad dentro de su asignación de pérdida-de inserción PAM4, con el recuento de conexiones y la inspección de extremo verificados?
- Densidad versus servicio:¿Puede un técnico llegar, rastrear y reemplazar cualquier puerto sin perturbar un riel activo?
- Flujo de aire:¿Los caminos mantienen despejados los escapes traseros y la contención del pasillo, y están separados la energía y los datos?
- Documentación:¿Se prueban y registran todos los enlaces con su esquema de polaridad, longitud y pérdida, y se etiquetan para que coincidan con los-dibujos creados?
- Escala:¿La topología optimizada de hoja-columna vertebral y riel-se extiende al siguiente módulo sin un rediseño?
- Ajuste de medios:¿Se elige el medio de cada enlace en función del alcance, la velocidad, el impacto térmico y la capacidad de servicio, con DAC en-rack y OS2 en todas las salas?
Si varias respuestas son negativas, rediseñe la capa física antes de que aumenten las cargas de trabajo de IA, no después de la primera expansión.
Preguntas frecuentes
P: ¿Qué cableado necesitan las redes de IA de 400G y 800G?
R: Funcionan con óptica paralela sobre fibra MTP/MPO. Un enlace 400G-DR4 utiliza ocho fibras, normalmente una MPO-12, mientras que 800G-SR8 o 800G-DR8 utiliza dieciséis fibras, a menudo una MPO-16 con APC. OM4 u OM5 cubren un alcance corto, OS2 cubre un alcance más largo y el DAC pasivo maneja los saltos en rack más cortos. Las interfaces en sí están definidas en IEEE 802.3df.
P: ¿Es mejor la fibra monomodo-o multimodo para los centros de datos de IA?
R: Depende de la distancia. El OM4 u OM5 multimodo es rentable-para enlaces de columna-hoja de menos de aproximadamente 100 m, pero la distancia admitida se reduce a 800G. OS2 de modo único-es la mejor base una vez que los enlaces cruzan filas o pasillos, o cuando desea un alcance de 800G DR/FR y un futuro espacio libre de 1,6T. Muchas estructuras grandes se estandarizan en OS2 por ese motivo.
P: ¿Cuándo debería un centro de datos de IA utilizar DAC, AOC u transceptores ópticos?
R: Utilice DAC pasivo para enlaces de hasta aproximadamente tres metros dentro o entre bastidores adyacentes, donde ofrece el menor costo, potencia y latencia. Utilice AOC para enlaces permanentes desde unos pocos metros hasta aproximadamente decenas de metros. Utilice transceptores conectables con fibra estructurada cuando necesite alcance, reutilización y capacidad de dar servicio al enlace.
P: ¿Cómo se calcula el presupuesto de pérdida de cableado para enlaces de alta-velocidad?
R: Comience desde la asignación de pérdida de inserción de canal-que especifica el estándar del transceptor (por ejemplo, 800GBASE-SR8 o 800GBASE-DR8). Resta la atenuación de la fibra multiplicada por la longitud, más la pérdida de cada par de conectores acoplados, que suele ser unas pocas décimas de decibelio, más cualquier empalme, y mantén el margen en reserva. Los presupuestos de PAM4 son más ajustados que los enlaces NRZ más antiguos, por lo que el recuento de conexiones y la limpieza del extremo deciden directamente si un canal pasa.
P: ¿Cómo afecta el cableado a la refrigeración en racks de IA de alta-densidad?
R: Los haces de cables congestionados obstruyen el flujo de aire, crean-contrapresión en el escape del equipo y provocan recirculación y puntos calientes, lo cual es importante en densidades de rack de GPU que pueden superar los 100 kW. Los conductos aéreos, la alimentación y los datos separados, los administradores del tamaño adecuado y las rutas que mantienen limpios el escape y la contención protegen el diseño de refrigeración.
P: ¿Sigue siendo el cobre adecuado para los centros de datos de IA?
R: Sí, para abreviar, en-rack y conexiones de rack adyacentes-, donde DAC es la opción eficiente. Los tramos más largos y de alta-densidad se trasladan a la fibra para obtener ancho de banda, alcance y escalabilidad.
P: ¿Por qué los conectores MTP/MPO son comunes en el cableado de IA?
R: Llevan entre ocho y veinticuatro-fibras en un solo casquillo, que es exactamente lo que necesitan las ópticas paralelas, y permiten troncales pre-preterminados para instalaciones rápidas, repetibles y de alta-densidad.
Conclusiones clave
Las cargas de trabajo de IA están reescribiendo los requisitos de cableado de los centros de datos en torno a un mayor ancho de banda, fibra paralela más densa, presupuestos de pérdidas ajustados, enrutamiento que tiene en cuenta el flujo de aire-y ciclos de actualización cortos. La capa física no hará que las GPU sean más rápidas por sí sola, pero una capa incorrecta limita el rendimiento, la confiabilidad y la velocidad de actualización de todo el entorno.
El principio de diseño más seguro es planificar la planta de fibra, la capacidad de la ruta, la arquitectura de parcheo y el modelo de documentación antes de que lleguen los bastidores de GPU, no después del primer ciclo de expansión. Construya para al menos un salto de velocidad, elija los medios por función en lugar de por hábito y trate la limpieza, la polaridad y el flujo de aire del conector como restricciones de diseño de primera-clase. Antes de implementar o ampliar, revise su cableado actual con la lista de verificación anterior; Para cableado estructurado y componentes MTP/MPO, explore nuestrasoluciones de fibra optica.
