Supermicro lanza una solución de caché KV junto con IBM y NVIDIA

• La solución de caché KV (clave-valor) integra servidores de almacenamiento Supermicro Petascale, software IBM Storage Scale, software de inferencia NVIDIA Dynamo y switches Ethernet NVIDIA Spectrum-X.
• Las pruebas de rendimiento demuestran que la solución de caché KV reduce el tiempo hasta el primer token (TTFT) en ventanas de contexto largo, en comparación con sistemas que no cuentan con caché KV.
• Los clientes pueden mejorar drásticamente la eficiencia de la inferencia mediante una mayor utilización de las GPU, un mayor rendimiento y una mejor escalabilidad de la infraestructura.

SAN JOSE, Calif., 5 de noviembre de 2026 /PRNewswire/ -- Supermicro, Inc. (NASDAQ: SMCI), un proveedor de soluciones de TI totales de IA, empresas, almacenamiento y 5G/Edge que presenta Data Center Building Block Solutions® (DCBBS), anunció hoy una nueva solución de almacenamiento de caché KV con IBM y NVIDIA. La solución conjunta integra servidores de almacenamiento todo flash Supermicro Petascale que utilizan procesadores AMD EPYC serie 9005 ("Turín"), software IBM Storage Scale, junto con el software de marco de inferencia NVIDIA Dynamo y redes Ethernet Spectrum-X.

En conjunto, estas tecnologías pueden reducir drásticamente el tiempo que tardan los modelos de IA en comenzar a generar una respuesta; una ventaja fundamental a medida que las empresas adoptan flujos de trabajo de IA basados en agentes y con contextos extensos. Ampliar la capacidad de la memoria caché KV más allá de la memoria local de la GPU permite mejorar tanto la utilización de la GPU como el rendimiento de la inferencia, garantizando al mismo tiempo una alta disponibilidad del contenido de dicha memoria y una escalabilidad sin interrupciones. El resultado es una arquitectura de inferencia más escalable y resiliente, que ofrece experiencias de IA más rápidas y con una mayor capacidad de respuesta.

"A medida que las cargas de trabajo de IA evolucionan desde el entrenamiento hacia la inferencia, las empresas y los proveedores de nube de nueva generación que despliegan cargas de trabajo de inferencia de alto rendimiento, típicas de la IA basada en agentes y de la IA generativa con contextos extensos y múltiples turnos de interacción, necesitan eliminar los cuellos de botella para mejorar la eficiencia de las GPU", afirmó Charles Liang, presidente y consejero delegado de Supermicro. "Nuestra solución, desarrollada junto con IBM y NVIDIA, demuestra claramente estas ventajas en términos de rendimiento".

Para ver un resumen en vídeo de este lanzamiento, haga clic aquí.

Las cargas de trabajo de inferencia constan de dos fases: precarga y decodificación. Durante la fase de pregarga, el texto de entrada se convierte en tokens y es procesado por el modelo de lenguaje de gran tamaño (LLM) para generar los estados intermedios de clave-valor (KV) necesarios para la inferencia. Al almacenar estos estados KV previamente calculados en una memoria caché KV persistente, el sistema puede reutilizarlos en lugar de volver a calcular el mismo contexto para solicitudes posteriores. Los flujos de trabajo basados en agentes, los asistentes de programación, los sistemas RAG con contexto extenso, la IA multimodal y las aplicaciones que requieren múltiples interacciones pueden generar una cantidad considerable de estados KV al procesar grandes bases de código, documentos, conversaciones, imágenes y otros tipos de contexto. Esto supera rápidamente la capacidad de memoria de las GPU y CPU, lo que hace necesario trasladar la memoria caché KV a un almacenamiento en red compartido de alta capacidad.

La solución de memoria caché KV, desarrollada por Supermicro, IBM y NVIDIA, proporciona esta capa de almacenamiento persistente, lo que ayuda a mejorar la eficiencia, el rendimiento y la escalabilidad de la inferencia, al tiempo que reduce los cálculos redundantes.

Entre los principales beneficios para el cliente que ofrece esta solución de memoria caché KV, se incluyen:

• Validación de soluciones conjuntas: Supermicro, IBM y NVIDIA llevaron a cabo pruebas exhaustivas a nivel de clúster para medir el rendimiento, incluyendo escenarios de alta concurrencia y tráfico de red con interferencias de otros procesos.
• Rendimiento de inferencia notablemente más rápido y consistente: En pruebas conjuntas realizadas por Supermicro y NVIDIA con un modelo de lenguaje de gran tamaño (LLM) de 120.000 millones de parámetros, el uso de una caché KV persistente permitió obtener un tiempo TTFT hasta 56 veces más rápido en prompts de 130.000 tokens.^[1] Al aumentar la longitud de la entrada de 30.000 a 130.000 tokens, el TTFT solo se incrementó en 0,377 segundos con la caché KV, frente a los 29,55 segundos registrados sin ella; esto garantiza un rendimiento más consistente para cargas de trabajo que requieren un contexto extenso.
• Mayor utilización y rendimiento de la GPU: Al mantener el contexto reutilizado con frecuencia fuera de la memoria de la GPU, la solución ayuda a reducir el tiempo de inactividad de la GPU, aumentar el rendimiento de la inferencia y admitir una mayor concurrencia sin necesidad de incrementar proporcionalmente los recursos de GPU.
• Resiliencia empresarial y operaciones de IA confiables: Una caché KV persistente y de alta disponibilidad ayuda a proteger el estado de inferencia almacenado en caché, al tiempo que proporciona acceso compartido entre nodos y clústeres de GPU, lo que favorece la creación de servicios de IA más resilientes y eficientes en cuanto a almacenamiento a gran escala.
• Infraestructura de IA validada y lista para usar: Supermicro, IBM y NVIDIA han validado conjuntamente esta arquitectura integrada, sometiéndola a pruebas en escenarios de alta concurrencia y de interferencia entre cargas de trabajo. La solución combina NVIDIA Dynamo, el software IBM Storage Scale, los sistemas Supermicro Petascale y la tecnología de red NVIDIA Spectrum-X.
• Servicios de implementación acelerada: Los servicios de integración en rack en fábrica y de implementación in situ de Supermicro permiten reducir el tiempo de puesta en marcha de esta solución, pasando de semanas a días.

"Las empresas necesitan una forma sustancialmente mejor de escalar la inferencia de IA. IBM, Supermicro y NVIDIA ofrecen, de forma conjunta, una solución de caché KV resiliente y de alto rendimiento que ayuda a los clientes a maximizar sus inversiones en GPU, escalar de manera independiente a la capacidad de cómputo y mejorar significativamente la eficiencia de la infraestructura", afirmó Sam Werner, director general de IBM Storage. "Esta colaboración representa un paso importante para hacer que la inferencia de IA empresarial sea más escalable, fiable y rentable".

"La IA basada en agentes y las aplicaciones de contexto extenso dependen de la reutilización eficiente del contexto a lo largo de múltiples pasos; NVIDIA Dynamo ayuda a orquestar la inferencia distribuida, permitiendo que las empresas obtengan un mayor rendimiento útil de cada GPU", señaló Shruti Koparkar, responsable de productos de inferencia de IA en NVIDIA. "Al combinar NVIDIA Dynamo y la tecnología Ethernet Spectrum-X con los servidores de almacenamiento Supermicro Petascale e IBM Storage Scale, esta solución de caché KV crea un nivel de almacenamiento compartido de alto rendimiento. Esto permite reducir el cómputo redundante, mejorar el tiempo hasta el primer token y ayudar a los clientes a escalar servicios de inferencia de IA resilientes".

Para obtener más información sobre las soluciones de Supermicro e IBM, haga clic aquí; y para leer el IBM Redbook titulado Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference, haga clic aquí.

Acerca de Super Micro Computer, Inc.
Supermicro (NASDAQ: SMCI) es un líder mundial en soluciones de TI totales optimizadas para aplicaciones. Fundada y operativa en San José, California, Supermicro se compromete a ofrecer innovación pionera en el mercado para infraestructura empresarial, de nube, de inteligencia artificial y de telecomunicaciones/TI de borde 5G. Somos un proveedor de soluciones totales de TI con servidores, IA, almacenamiento, IoT, sistemas de conmutación, software y servicios de soporte. La experiencia en diseño de placas base, energía y chasis de Supermicro permite aún más nuestro desarrollo y producción, permitiendo la innovación de próxima generación desde la nube hasta el borde para nuestros clientes globales. Nuestros productos se diseñan y fabrican internamente (en EE.UU., Taiwán y los Países Bajos), aprovechando las operaciones globales para lograr escala y eficiencia y optimizados para mejorar el TCO y reducir el impacto ambiental (Green Computing). La cartera galardonada de Server Building Block Solutions® permite a los clientes optimizar su carga de trabajo y aplicación exactas seleccionando entre una amplia familia de sistemas creados a partir de nuestros bloques de construcción flexibles y reutilizables que admiten un conjunto integral de factores de forma, procesadores, memoria, GPU, almacenamiento, redes, energía y soluciones de enfriamiento (aire acondicionado, enfriamiento por aire gratuito o enfriamiento líquido).

Supermicro, Server Building Block Solutions y We Keep IT Green son marcas comerciales y/o marcas comerciales registradas de Super Micro Computer, Inc.

Todas las demás marcas, nombres y marcas comerciales son propiedad de sus respectivos dueños.

¹Resultados detallados en IBM Redbook: https://www.redbooks.ibm.com/docs/MD260021/MD260021.html