DeepSeek abre DeepInfer, el motor con que sirve sus modelos: un clúster procesa 155 billones de tokens al día

DeepSeek publicó el 20 de octubre en GitHub DeepInfer, el sistema de inferencia que usa en sus propios servicios, con licencia Apache 2.0, informó SiliconANGLE. Funciona con GPU Blackwell de NVIDIA y con los chips Ascend 950 de Huawei, y por ahora solo carga DeepSeek-V4.1-Flash. La empresa dice que uno de sus clústeres sirve 155 billones de tokens diarios; no liberó el manejo de caché ni el balanceo de carga.