El 5 de octubre de 2026, la empresa de software de IA empresarial Iterate Studio Inc. lanzó Lifeboat, un motor de inferencia para modelos de lenguaje grande con computación confidencial integrada. SiliconANGLE informó en exclusiva que el software afirma alojar entre dos y seis veces más sesiones concurrentes de agentes de IA por cada unidad de procesamiento gráfico.
El problema que Lifeboat ataca es de memoria y planificación. Una pregunta de chatbot suele disparar una llamada al modelo; un agente que resuelve una tarea puede hacer docenas, y su ventana de contexto crece en cada paso. Cientos de agentes en hardware compartido llenan rápido la caché clave-valor. Iterate.ai sostiene que motores estándar se atascan con cuatro o cinco peticiones de contexto largo a la vez.
Los equipos que chocan con ese límite suelen comprar más GPU o mover el trabajo a servicios cloud por token, entregando datos a un tercero. Brian Sathianathan, cofundador y CTO de Iterate.ai, dijo que bancos, aseguradoras y sistemas de salud quieren ejecutar agentes sobre sus propios datos «dentro de sus propias paredes» sin duplicar el gasto en GPU.
El enfoque empieza por planificación justa y control de admisión: cada sesión recibe su cuota de GPU para que un agente pesado de documentos no ahogue a los interactivos. Optimizaciones de la caché clave-valor duplican su capacidad efectiva mientras los pesos del modelo se mantienen a precisión completa, según la compañía. En modelos mezcla-de-expertos solo se cargan los expertos que cada agente necesita. Cada sesión corre en una cápsula de seguridad propia con filtrado, presupuestos de tokens y ejecución en sandbox.
En pruebas propias, una sola Nvidia RTX PRO 6000 Blackwell ejecutando Qwen 30B-A3B sostuvo 2.048 sesiones concurrentes con Lifeboat y todas las peticiones completadas. El mismo motor sin las optimizaciones de Lifeboat se quedó en la mitad y gestionó 4.965 tokens por segundo frente a 8.714 con ellas activas.
La brecha más amplia apareció en una corrida de presión de memoria: 128 sesiones enviando peticiones de 18.000 tokens. Lifeboat mantuvo el percentil 99 de tiempo hasta el primer token en 1,5 segundos; la línea base necesitó 189 segundos.
«Antes de que cualquier empresa compre más GPU para sus agentes, debería averiguar qué pueden hacer las que ya posee», dijo Jon Nordmark, cofundador y CEO de Iterate.ai. «Un centro de datos o neo-cloud que duplica las sesiones concurrentes por tarjeta recupera capacidad sin añadir racks ni energía».
La edición superior Confidential Computing no sirve una petición hasta que pasa la atestación de hardware. Esa comprobación cubre entornos de ejecución de confianza en procesadores AMD e Intel, más el modo de computación confidencial de Nvidia en H100, B200, GB300 y otras GPU soportadas. Los pesos del modelo quedan sellados dentro del TEE y cifrados en uso, ya sea en una máquina virtual confidencial en la nube o en hardware del cliente.
El acceso anticipado a Lifeboat atrajo miles de descargas en días, según la empresa, y el motor está en disponibilidad general. Una licencia Developer gratuita cubre uso no comercial y de evaluación en hasta dos servidores de inferencia en un solo nodo. El soporte profesional pasa a la licencia Standard a 49,99 dólares al mes. Las funciones de atestación están en Confidential Computing a 499,99 dólares al mes; ambas tiers comerciales ofrecen siete días de prueba sin tarjeta.
Nordmark y Sathianathan presentaron la plataforma Generate y la asociación con NetApp en theCUBE durante la conferencia Insight de NetApp la semana previa al lanzamiento, situando Lifeboat en una narrativa más amplia de agentes empresariales on-prem.
Para operadores, el mensaje competitivo es densidad y soberanía de datos: más sesiones por vatio y por rack, con atestación cuando el regulador o el cliente lo exigen. Lifeboat no inventa nuevos modelos; reempaqueta el cuello de botella de inferencia de agentes como producto de infraestructura.
Riesgos a vigilar: las cifras de 2.048 sesiones y el ratio 2–6× son mediciones del vendedor en un modelo MoE concreto; compradores deberán reproducir tests con sus propias cargas, longitudes de contexto y políticas de admisión antes de firmar contratos anuales.
En un mercado donde el gasto en GPU para agentes crece más rápido que el de chatbots clásicos, cualquier ganancia real de densidad alivia presión sobre supply chains de HBM y energía. Lifeboat se posiciona frente a motores open-source genéricos y a clouds por token que no ofrecen TEE en el mismo paquete.
Neural Pulse recomienda a CIOs comparar Lifeboat con baselines vLLM/TensorRT-LLM en las mismas GPU, medir p99 de TTFT bajo presión de contexto largo y exigir evidencias de atestación en el entorno objetivo (cloud CVM vs on-prem).
En resumen, el 5 de octubre marca un lanzamiento concreto en la guerra de densidad de agentes: no un modelo nuevo, sino un runtime que promete más sesiones concurrentes, menos tokens desperdiciados y cifrado en uso para sectores regulados.
