[ Stack tecnológico ]
KServe
El estándar de serving de modelos en Kubernetes, con autoscaling y scale-to-zero.
KServe expone un modelo como un recurso InferenceService de Kubernetes: declaramos el formato (scikit-learn, XGBoost, PyTorch, TensorFlow, ONNX, Hugging Face o un contenedor personalizado) y la ubicación de los pesos, y KServe aprovisiona el servidor, el endpoint HTTP/gRPC y el autoscaling, incluido el scale-to-zero mediante Knative. Gestiona el despliegue canary con reparto del tráfico, los transformers de pre/posprocesamiento, la explicabilidad y el serving de LLM con vLLM. Lo elegimos para servir modelos en producción sobre un clúster de Kubernetes existente sin depender de un proveedor cloud.
[ Por qué KServe en Dexon ]
Lo que esta tecnología hace bien y por qué la utilizamos.
Uso típico: Serving de modelos de ML y LLM en producción, inferencia multimodelo, plataforma MLOps interna.
- 01
InferenceService: un CRD declarativo, del archivo de pesos al endpoint.
- 02
Autoscaling según el tráfico y scale-to-zero, con la GPU liberada cuando no hay carga.
- 03
Canary y reparto del tráfico entre versiones, rollback inmediato.
- 04
Runtimes listos para usar: scikit-learn, XGBoost, PyTorch, ONNX, Triton, vLLM para los LLM.
[ Tecnologías complementarias ]
Las piezas que solemos utilizar en paralelo.
Un stack rara vez existe por sí solo. Estas son las tecnologías que Dexon asocia con más frecuencia a esta, por hábitos de pipeline, similitud de uso o dominio interno. Haga clic en una pieza para ver su alcance.
[ Confianza ]
- 0+
- proyectos a medida entregados
- 30
- ingenieros, diseñadores, jefes de proyecto
- 80 %
- formados en las mejores escuelas francesas
- 24 h
- tiempo medio de respuesta
[ Confían en nosotros ]
Más de 100 empresas francesas y europeas confían en nosotros.
[ Prensa ]
Hablan de nosotros.
Cobertura en la prensa nacional francesa: BFM Business, Le Figaro, Challenges, La Tribune y CNews. Una mirada externa a nuestro trabajo y a nuestras innovaciones.
