[ Stack technique ]
NVIDIA TensorRT
Le compilateur d'inférence NVIDIA qui tire le maximum d'un GPU en production.
TensorRT compile un réseau, le plus souvent importé depuis ONNX, en un moteur optimisé pour un GPU NVIDIA précis : fusion de couches et de tenseurs, sélection automatique des kernels les plus rapides pour l'architecture cible, précision réduite FP16, INT8 avec calibration ou FP8. Le moteur s'exécute côté serveur via Triton ou en embarqué sur Jetson, et TensorRT-LLM applique la même approche aux grands modèles de langage avec in-flight batching et cache KV paginé. C'est notre choix quand la cible est un GPU NVIDIA fixé et que chaque milliseconde de latence compte.
[ Pourquoi NVIDIA TensorRT chez Dexon ]
Ce que cette techno fait bien, et pourquoi nous la mobilisons.
Usage typique : Détection vidéo à forte cadence, serving LLM à haut débit, inférence embarquée sur Jetson.
- 01
Fusion de couches et kernels auto-tunés pour l'architecture GPU cible.
- 02
Précision FP16, INT8 avec calibration et FP8 : latence et mémoire réduites.
- 03
TensorRT-LLM : in-flight batching, cache KV paginé et quantification pour servir des LLM.
- 04
Même outillage du datacenter à Jetson : intégré à Triton, DeepStream et Torch-TensorRT.
[ Technologies complémentaires ]
Les briques que nous mobilisons souvent en parallèle.
Une stack existe rarement seule. Voici les technologies que Dexon associe le plus souvent à celle-ci, par habitude de pipeline, similarité d'usage ou maîtrise interne. Cliquez sur une brique pour voir son périmètre.
[ Réassurance ]
- 0+
- projets livrés sur mesure
- 30
- ingénieurs, designers, chefs de projet
- 80 %
- issus des meilleures écoles FR
- 24 h
- délai moyen de réponse
[ Ils nous font confiance ]
Plus de 100 entreprises françaises et européennes nous accordent leur confiance.
[ Presse ]
Ils parlent de nous.
Couverture nationale par BFM Business, Le Figaro, Challenges, La Tribune et CNews. Une lecture extérieure de notre travail et de nos innovations.
