[ Stack technique ]
vLLM
Le moteur d'inférence open source pour servir des LLM à haut débit sur vos GPU.
vLLM est un moteur d'inférence et de serving pour grands modèles de langage : PagedAttention gère le cache KV par pages comme une mémoire virtuelle, et le continuous batching remplit le GPU en permanence, ce qui multiplie le débit par rapport à une boucle de génération naïve. Il expose une API compatible OpenAI, charge les modèles Hugging Face, et supporte quantization (FP8, AWQ, GPTQ), parallélisme tensoriel, prefix caching et multi-LoRA. C'est notre choix quand un modèle open weights doit être servi en production, sur infrastructure propre, à coût maîtrisé.
[ Pourquoi vLLM chez Dexon ]
Ce que cette techno fait bien, et pourquoi nous la mobilisons.
Usage typique : Serving de LLM open weights en production, inférence souveraine on-premise, traitement batch de documents.
- 01
PagedAttention : cache KV paginé, mémoire GPU exploitée sans fragmentation.
- 02
Continuous batching : débit maximal sous charge, latence stable par requête.
- 03
API compatible OpenAI : les clients existants basculent sans réécriture.
- 04
Quantization, parallélisme multi-GPU, prefix caching, décodage spéculatif et multi-LoRA.
[ Technologies complémentaires ]
Les briques que nous mobilisons souvent en parallèle.
Une stack existe rarement seule. Voici les technologies que Dexon associe le plus souvent à celle-ci, par habitude de pipeline, similarité d'usage ou maîtrise interne. Cliquez sur une brique pour voir son périmètre.
[ Réassurance ]
- 0+
- projets livrés sur mesure
- 30
- ingénieurs, designers, chefs de projet
- 80 %
- issus des meilleures écoles FR
- 24 h
- délai moyen de réponse
[ Ils nous font confiance ]
Plus de 100 entreprises françaises et européennes nous accordent leur confiance.
[ Presse ]
Ils parlent de nous.
Couverture nationale par BFM Business, Le Figaro, Challenges, La Tribune et CNews. Une lecture extérieure de notre travail et de nos innovations.
