DeepSeek libera DeepInfer, el motor de inferencia detrás de sus servicios en producción

Resumen

• DeepSeek publicó como código abierto DeepInfer, el framework de inferencia que usa en sus propios servicios en producción, según SiliconANGLE.
• Según The Decoder, DeepInfer es la base del modelo V4.1-Flash, que describe como el más rápido y barato de la compañía, y está construido sobre vLLM.
• The Decoder afirma que el sistema reduce los costos de cómputo y el consumo de energía al ejecutar modelos de IA.
• Bloomberg Technology informa que la compañía abre el software que usa para ejecutar sus modelos a gran escala, lo que podría abaratar y facilitar su uso a las empresas.
• SiliconANGLE cita a DeepSeek describiendo como el problema central de un framework de inferencia llegar a una gran base de usuarios a un precio razonable; los tres medios no publican cifras de ahorro verificadas por terceros.