Lomo 100G QSFP28-Diseño de hoja: evite errores de puerto

Una estructura de hoja espinal-de 100G es una de las formas más confiables de conectar servidores de 25G, enlaces ascendentes de 100G, clústeres de almacenamiento y cargas de trabajo pesadas del este-oeste-en un centro de datos moderno. El atractivo de QSFP28 es su flexibilidad: un solo puerto puede transportar un enlace nativo de 100G o dividirse en cuatro conexiones de servidor de 25G, por lo que un conmutador puede servir tanto al borde de acceso como al núcleo de la estructura.

Los cambios rápidos son la parte fácil. Un diseño de 100G vive o muere según las decisiones tomadas antes de la orden de compra: cómo se asigna cada puerto, cómo se ve la tasa de sobresuscripción en condiciones normales y de falla, qué ópticas coinciden con los tendidos de cable reales, cuánto calor agregan esas ópticas y si la estructura puede crecer hasta 400G sin una gran actualización.

Esta guía es una referencia de planificación-neutral para los equipos de red e infraestructura. Las figuras a continuación siguen las especificaciones Ethernet IEEE 802.3 actuales y los acuerdos de fuentes múltiples-ópticas pertinentes, pero cada conmutador y transceptor tiene su propia hoja de datos, así que confirme los números exactos para el hardware que compra.

Cómo leer los ejemplos de esta guía.A menos que se indique lo contrario, asumen servidores-de un solo servidor con una NIC de 25 G cada uno, 48 puertos de host por hoja, enlaces ascendentes de hoja-a-spine de 100 G, una malla completa en la que cada hoja se conecta a cada columna vertebral y corrección de errores de reenvío habilitada cuando la óptica lo requiere. La conexión dual-, las NIC más rápidas o diferentes recuentos de puertos cambiarán cada número que sigue.

¿Qué es una red Leaf de 100G Spine-?

Spine-leaf es una arquitectura de centro de datos-de dos niveles creada a partir de conmutadores de hoja y conmutadores de columna. Los conmutadores hoja se ubican en la parte superior de cada bastidor y proporcionan puertos orientados al servidor-más enlaces ascendentes a la columna vertebral. Los interruptores de columna forman la columna vertebral de alta-velocidad. Cada hoja se conecta a cada lomo, por lo que el tráfico entre los estantes se mueve de una hoja a otra a lo largo de un camino de igual-longitud.

El diseño es popular porque ofrece:

• Longitud de recorrido igual y predecible entre dos bastidores cualesquiera
• Compatibilidad nativa con tráfico intenso del este-oeste
• Todos los enlaces ascendentes activos a través de ECMP en lugar de bloqueados por el árbol de expansión
• Escalado horizontal simple - agregue hojas para puertos, agregue lomos para capacidad

En una estructura de 100G, los enlaces de hoja-a-spine se ejecutan a 100G, mientras que los puertos orientados al servidor-se ejecutan a 10G, 25G, 50G o 100G, según la carga de trabajo. Hoy en día, el acceso de 25G con enlaces ascendentes de 100G es la combinación empresarial más común.

Diseño físico versus diseño lógico

El "diseño de red" cubre dos capas que son fáciles de combinar. Esta guía se concentra en la capa física y de capacidad - puertos, óptica, sobresuscripción y cableado - porque eso es a lo que se compromete cuando compra hardware. Pero la capa lógica decide cómo la estructura dirige el tráfico y da forma a varias opciones físicas.

En el lado físico, se encuentran la selección de conmutadores y puertos, velocidades de NIC, sobresuscripción, óptica, cableado, alimentación y refrigeración. En el lado lógico se encuentra el equilibrio de carga ECMP-entre enlaces ascendentes; una superposición como VXLAN con un plano de control BGP EVPN para las Capas 2 y 3 multiinquilino sobre una capa subyacente enrutada; referencia-dual con MLAG o MC-LAG y LACP en el borde de acceso; y falla-tamaño del dominio. Para las estructuras RDMA, también debe diseñar una red casi-sin pérdidas, como se explica a continuación. Resuelva el modelo lógico con anticipación, porque afecta los recuentos de enlaces ascendentes, la cantidad de espinas que desea para el ancho de ECMP y si las hojas se implementan como pares MLAG.

Paso 1 - Definir la velocidad del servidor y la carga de trabajo

Comience con la carga de trabajo, no con la óptica. Un clúster de virtualización general, una estructura de almacenamiento y un módulo de entrenamiento de IA tienen necesidades muy diferentes, y el diseño correcto sigue el tráfico.

Servidores de 25G con enlaces ascendentes de 100G

Para la mayoría de los entornos de nube empresarial y{0}}privada, el acceso de 25 G con enlaces ascendentes de hoja-a-spine de 100 G es el punto ideal: un gran salto con respecto a 10 G y al mismo tiempo mantener los costos de NIC, cable y conmutador razonables. Una compilación típica combina enlaces descendentes de 25 G, enlaces ascendentes de 100 G y una proporción de 2:1 a 3:1 para computación general, con una sobresuscripción más baja reservada para niveles sensibles-al almacenamiento y a la latencia. Se adapta a la virtualización, la nube privada, los niveles web y la mayor parte de los centros de datos empresariales.

100G nativo para almacenamiento, IA y HPC

Algunas cargas de trabajo necesitan 100G nativo para el servidor: almacenamiento distribuido y NVMe-oF, IA y capacitación en aprendizaje automático-, HPC, análisis a gran-escala y RDMA de baja-latencia. En este caso, la sobresuscripción debe ser baja - a menudo sin-bloqueo o cerca de él - porque el problema es el patrón de tráfico, no solo el volumen.

Las cargas de trabajo de IA, HPC y RDMA generan tráfico denso y sincronizado de todo-a-todo el este-oeste: muchos nodos transmiten a muchos nodos al mismo tiempo, por lo que la suavización estadística que le ahorra en un tejido de virtualización ya no se aplica. RDMA sobre Ethernet convergente (RoCE) agrega una segunda restricción, porque espera una estructura casi-sin pérdidas, lo que en la práctica significa control de flujo prioritario (PFC) y notificación de congestión explícita (ECN) sintonizados de extremo a extremo. Una estructura que deja caer fotogramas bajo congestión observará el colapso del rendimiento de RoCE, por lo que estos clústeres generalmente se crean en 1:1 con una cuidadosa configuración de búfer y congestión.

Paso 2 - Cómo calcular los puertos de conmutador de hoja y columna vertebral para una estructura de 100 G

La planificación portuaria comienza en la hoja, no en la columna. Trabaja desde los servidores:

1. Cuente los puertos orientados al servidor-por bastidor.
2. Decida si cada uno es 25G nativo, 100G nativo o un carril de fuga.
3. Reserve los puertos QSFP28 para enlaces ascendentes de columna.
4. Agregue puertos de repuesto para crecimiento, redundancia, prueba y reemplazo.
5. Vuelva a calcular la sobresuscripción después de asignar la ruptura, no antes.

Contar los puertos orientados al servidor-

Para cada bastidor, determine el número de servidores, la velocidad de las NIC, las NIC por servidor, de conexión única- o dual-y los repuestos necesarios. Un bastidor de 48 servidores con una NIC de 25G cada uno necesita 48 puertos de host. Doble- esos servidores a un par de hojas y el número de puertos de acceso en el par se duplica.

Reserva puertos de enlace ascendente y observa el doble-conteo

Después de los puertos del host, reserve los puertos QSFP28 para la columna vertebral. Aquí es donde se esconde el error más común: si se utilizan los mismos puertos QSFP28 para la conexión 4x25G, ya no están disponibles como enlaces ascendentes. El mayor error de planificación no es contar mal los enlaces ascendentes de 100G, sino sobreestimar los puertos de enlace ascendente que quedan una vez que la ruptura los ha consumido. Asigne una ruptura antes de las matemáticas de sobresuscripción, o la proporción que calculó es ficción.

Un ejemplo resuelto ayuda. Tome una hoja común de 1U con 48 puertos de host SFP28 y 8 puertos QSFP28:

Con seis enlaces ascendentes que transportan los 1200 G de tráfico de acceso, la hoja funciona en proporción 2:1 y dos puertos QSFP28 permanecen en reserva. Asigne a cada puerto una función única y explícita en una hoja de cálculo antes de dimensionar cualquier otra cosa.

Dejar capacidad sobrante

No consuma todos los puertos el primer día. Reserve espacio para nuevos servidores, columnas adicionales, enlaces de prueba temporales, intercambios de puertos- fallidos, escuchas de monitoreo y migración. Un poco de capacidad no utilizada es mucho más barata que un rediseño.

Paso 3 - Calcular la sobresuscripción, incluido N-1

La sobresuscripción compara el ancho de banda total del servidor-en una hoja con su ancho de banda total de enlace ascendente en la columna vertebral:

Relación de sobresuscripción=ancho de banda total de enlace descendente/ancho de banda total de enlace ascendente

Para la hoja de arriba, 48 x 25G=1,200G hacia abajo y 6 x 100G=600G hacia arriba, lo que da 1200 / 600=2:1. Eso significa el doble de ancho de banda de acceso teórico que el ancho de banda de enlace ascendente - generalmente está bien para la computación general, donde los servidores rara vez transmiten todos a velocidad de línea a la vez, pero es una limitación real para el almacenamiento, la IA, HPC y RDMA.

Siempre revisa el caso N-1

Una tela puede lucir saludable en funcionamiento normal y ahogarse durante una falla. Considere una hoja con ocho enlaces ascendentes de 100 G distribuidos uniformemente en cuatro espinas - dos por espina, 800 G en total, por lo que 1200 G de acceso dan 1,5:1. Si se pierde una columna, la hoja cae dos enlaces ascendentes a 600G, lo que eleva la proporción a 2:1 durante la interrupción. Si su objetivo es "no peor que 2:1 incluso en caso de fallo", debe comenzar cerca de 1,5:1. Calcule tanto la relación normal como la relación N-1 después de perder una columna o un enlace ascendente; el segundo número es el que muerde durante el mantenimiento.

Rangos de planificación por carga de trabajo

No existe una relación universal, así que trate lo siguiente como rangos de planificación, no como estándares, y valídelos con el tráfico medido cuando pueda:

En una actualización, revise la utilización actual del enlace ascendente, los patrones pico y este-oeste, los flujos de almacenamiento y las ventanas de respaldo antes de comprometerse con una proporción.

Paso 4 - Elija ópticas y cables QSFP28

Las interfaces QSFP28 100G están estandarizadas por IEEE 802.3 - elenmienda 802.3bmagregó 100GBASE-SR4, junto con el LR4 PHY de modo único-. Seleccione la óptica por distancia, tipo de fibra, conector, alimentación y compatibilidad del interruptor, y resista el uso predeterminado del alcance más largo: el alcance que no necesita generalmente significa costo y energía que no necesita. Haga coincidir el módulo con la ejecución con un margen razonable.

DAC y AOC para enlaces cortos de servidor

Para conexiones en-rack y-rack adyacente, son prácticos los cables de cobre de conexión directa-QSFP28 (DAC) y ópticos activos (AOC). El DAC pasivo se adapta a los saltos más cortos - unos pocos metros - al menor costo y potencia, mientras que AOC extiende el alcance y es más liviano y flexible donde el cobre a granel se convierte en un problema. Para acceso 25G, el DAC o AOC de ruptura QSFP28 a 4x SFP28 es común cuando el conmutador admite ruptura.

100GBASE-SR4 para enlaces ascendentes multimodo cortos

SR4 transporta 100Gocho fibras de multimodo paraleloutilizando un conector MPO/MTP, lo que lo convierte en una opción rentable-para tiradas cortas de hoja-a-lomo dentro de una fila. Su alcance depende del grado de fibra - aproximadamente 70 m en OM3 y 100 m en OM4 -, por lo que vale la pena saber el alcance que puede esperarFibra multimodo OM3, OM4 y OM5en tu piso. La principal limitación de la planificación es el cableado paralelo: los parches MPO y la polaridad deben resolverse de antemano.

CWDM4 o FR para modo único-corre hasta aproximadamente 2 km

Para enlaces entre-filas, entre-salas o entre-salas, las ópticas de modo único-como CWDM4 o FR son una mejor opción. El100G CWDM4 MSAdefine un alcance de 2 km a través de un único par de fibras monomodo-con un conector LC dúplex y FEC. Debido a que utilizan fibra dúplex en lugar de MPO paralela, las ópticas CWDM4 y FR a menudo entran en una planta monomodo-de forma más limpia que SR4 - y, en esas distancias, la elección entreFibra monomodo-OS1 y OS2comienza a importar para su presupuesto de pérdidas. Las variantes monomodo-más cortas, como DR, cubren aproximadamente 500 m, donde eso es todo lo que necesitas.

100GBASE-LR4 para campus y DCI

LR4 es la opción de largo-alcance, con capacidad para 100Ghasta aproximadamente 10 km a través de fibra monomodo-dúplexpara enlaces de interconexión de campus, edificio-a-edificio o-centro de datos-. Úselo sólo donde la distancia realmente lo requiera; Las ópticas de largo-alcance en saltos cortos dentro del-centro de datos-simplemente agregan costo, energía y calor sin mejorar el tejido.

Comparación de óptica QSFP28 100G

La tabla resume dónde encaja cada opción. Trate los tramos como cifras de planificación típicas y confirme los números exactos, el grado de fibra y los requisitos de FEC en la hoja de datos de cada módulo.

Ejemplos resueltos: telas pequeñas, medianas y grandes

Estos son modelos de planificación simplificados, no planos. El número de lomos generalmente se elige para dividir los enlaces ascendentes de manera uniforme y establecer el ancho del ECMP: dos lomos es el mínimo práctico para la redundancia, cuatro brindan una granularidad N-1 más fina y una mejor distribución de la carga, y ocho se adaptan a tejidos grandes. El recuento de hojas aumenta con los puertos de servidor que necesita.

Tela pequeña

• interruptores de 8 hojas
• 2 interruptores de columna
• 48 puertos de servidor de 25G por hoja
• 4 enlaces ascendentes de 100G por hoja
• 384 puertos de servidor 25G con un único-puerto

Por hoja: 1200 G hacia abajo, 400 G hacia arriba, es decir, 3:1. Funciona para computación general, pero ajustado para almacenamiento pesado o IA. Agregue enlaces ascendentes o recorte el acceso por hoja si necesita una proporción más baja.

Tela media

• interruptores de 16 hojas
• 4 interruptores de columna
• 48 puertos de servidor de 25G por hoja
• 6 enlaces ascendentes de 100G por hoja
• 768 puertos de servidor 25G de un solo-puerto

Por hoja: 1200 G hacia abajo, 600 G hacia arriba, es decir, 2:1. Un equilibrio sólido para la virtualización y las cargas de trabajo empresariales, y cuatro columnas distribuyen ECMP mejor que dos.

Tela grande

• interruptores de 32 hojas
• 8 interruptores de columna
• 48 puertos de servidor de 25G por hoja
• 8 enlaces ascendentes de 100G por hoja
• 1536 puertos de servidor 25G con un único-puerto

Por hoja: 1200 G hacia abajo, 800 G hacia arriba, es decir, 1,5:1. Más margen de enlace ascendente, pero más óptica, fibra, costo, energía y cableado que administrar. A esta escala, la documentación es parte del diseño: el etiquetado, los mapas de puertos, la polaridad, las ópticas de repuesto, el flujo de aire y el monitoreo deben planificarse antes de la instalación.

Planificación de ruptura QSFP28 (100G a 4x25G)

Breakout es la parte más útil y más incomprendida del diseño QSFP28. Cuando el conmutador, el cable y la configuración lo permiten, un puerto QSFP28 se divide en cuatro enlaces SFP28 de 25G, conectando cuatro servidores de 25G desde un único puerto de 100G. Se gana su lugar cuando necesita una alta densidad de 25G, tiene muchos puertos QSFP28, desea reducir el costo por conexión de servidor o está construyendo una estructura de transición de 25G/100G, utilizando QSFP28 a 4x SFP28 DAC, AOC oCables de conexión MTP/MPOdependiendo de la distancia.

El problema es que la ruptura consume puertos QSFP28. Si un conmutador QSFP28 de 32-puertos dedica 16 puertos a una conexión 4x25G, esos 16 puertos admiten 64 servidores, pero solo quedan 16 puertos QSFP28 para enlaces ascendentes, almacenamiento, interconexiones y repuestos. La regla general es contar primero los puertos de ruptura y luego contar lo que queda para los enlaces ascendentes.

Antes de comprometerse, confirme algunas cosas y decida con anticipación si cada ejecución debe ser unatronco o un conjunto de ruptura:

• ¿Qué puertos admiten la separación? ¿Existen restricciones de grupo-de puertos?
• ¿Habilitar la ruptura deshabilita los puertos adyacentes?
• ¿El sistema operativo del switch admite el modo que necesita?
• ¿DAC, AOC o óptica de ruptura para cada ejecución?
• ¿Se necesitan los cuatro carriles ahora o sólo más tarde?
• ¿Cómo afectará la ruptura a un futuro paso a servidores nativos de 100G?

Alimentación, refrigeración y gestión de cables

Una estructura de 100G produce más que ancho de banda -: produce calor, carga de flujo de aire y densidad del cable. El presupuesto de energía debe cubrir el chasis y los ventiladores del switch, los módulos ópticos QSFP28 (y DAC o AOC cuando se utilicen), suministros redundantes, capacidad a nivel de rack-y margen de crecimiento. La refrigeración debe tener en cuenta el diseño de los pasillos frío- y frío-, el flujo de aire constante-de-de atrás-a-el frente, los paneles ciegos, la obstrucción de cables, la temperatura ambiente y el monitoreo de la temperatura del módulo-, porque una columna vertebral repleta de ópticas es una carga térmica real.

El cableado escala rápidamente: 16 hojas a 4 lomos ya son 64 enlaces de hoja-a-lomo, cada uno de los cuales debe etiquetarse, enrutarse, probarse y documentarse. Un tejido de malla completa-es mucho más fácil de construir y mantener con elementos pre-preterminados.Cableado troncal MPO/MTPque con fibra terminada-en campo. Los equipos también deben establecer las convenciones de conectores y polaridades desde el principio; eldiferencias prácticas entre MTP y MPOVale la pena confirmarlo antes de realizar el pedido. La documentación descuidada no cuesta nada el primer día y mucho durante la primera interrupción.

Diseñando para una actualización de 400G

Diseñe la tela con una ruta de actualización realista. No necesitas 400G en todas partes el primer día, pero debes evitar opciones que hagan que la mudanza sea dolorosa más adelante. Comience a pensar en la preparación de 400G cuando los enlaces ascendentes de la columna vertebral ya estén muy cargados, cuando agregar más columnas vertebrales de 100G se vuelva incómodo, cuando los recuentos de rutas ECMP se acerquen a los límites de la plataforma o cuando la IA, el almacenamiento o el crecimiento del este-oeste se estén acelerando.

La estrategia habitual es actualizar primero la columna vertebral: las hojas mantienen sus enlaces ascendentes de 100 G, mientras que una columna vertebral de mayor-capacidad - utiliza puertos comoQSFP-DD- agrega espacio libre, a menudo con puertos de 400G divididos en 4x100G hacia las hojas existentes. La trayectoria más amplia la marca la industria: laHoja de ruta de la Alianza Ethernetahora funciona a través de 400G, 800G y más, impulsado en gran medida por la IA. Cuando evalúe los interruptores, verifique que la plataforma admita las velocidades, la óptica, los modos de conexión y las características de software que necesitará una actualización gradual.

Cuando un diseño de hoja de lomo-de 100 g no es la elección correcta

Este diseño no es universal y en algunos casos se requiere algo más. Un puñado de servidores en uno o dos racks rara vez justifican una construcción de hoja completa-, donde un par de conmutadores redundantes es más simple y económico. Los grupos de entrenamiento de IA muy grandes pueden superar lo que manejan bien un acceso de 100G y una estructura de columna de 100G, aterrizando en estructuras de 400G u 800G - o incluso una red InfiniBand dedicada - desde el principio. Y si casi todo el tráfico se dirige al norte-sur hacia una puerta de enlace en lugar de al este-oeste entre bastidores, las ventajas este-oeste de la hoja vertebral-importan menos, por lo que la topología debe justificarse por motivos operativos y de crecimiento en lugar de asumirse. Haga coincidir la arquitectura con el tráfico y la escala, y no al revés.

Errores comunes en el diseño de la hoja del lomo 100G-

• Contando los puertos QSFP28 dos veces.Un puerto es una conexión de 4x25G o un enlace ascendente de 100G, nunca ambos. Asigne a cada puerto una función.
• Elección de ópticas por máximo alcance.Un mayor alcance añade costo y potencia; Haga coincidir la óptica con la distancia y el tipo de fibra real.
• Ignorando N-1.Verifique la proporción durante el funcionamiento normal y después de perder una columna.
• Olvidando la potencia óptica y el calor.Una columna llena de módulos QSFP28 es una carga térmica genuina, así que incluya la óptica en las matemáticas de energía y refrigeración.
• Tratar el cableado como una ocurrencia de último momento.El enrutamiento, el etiquetado, la polaridad y la documentación pertenecen al diseño, no a la instalación.
• Diseñando sólo para la velocidad del servidor actual.Si el acceso de 25G cambia a 100G, deje espacio para 100G nativo o una columna vertebral de 400G.

Conclusión

Un buen diseño de hoja de columna-de 100G es la suma de decisiones tomadas antes de que llegue el hardware: definir la carga de trabajo, contar los puertos correctamente, calcular la sobresuscripción tanto en condiciones normales como de falla, elegir ópticas por distancia, planificar la ruptura deliberadamente, presupuestar energía y refrigeración, y dejar espacio para 400G. Para la mayoría de los centros de datos empresariales, el acceso de 25G con enlaces ascendentes QSFP28 de 100G sigue siendo un sólido equilibrio entre rendimiento, costo y escala, mientras que el almacenamiento, la IA y la HPC simplemente exigen una menor sobresuscripción y una validación más estricta. El enfoque confiable no cambia: diseñar desde el servidor hacia afuera, probar las matemáticas en condiciones normales y N-1 y documentar cada enlace antes de la implementación.