Retour au blog

SageMaker AI : router le cache KV sans mélanger les contextes

Article créé le 18 novembre 2026 · Publication analysée le 17 novembre 2026 · Source : AWS

AWS annonce un mode de routage pour les endpoints temps réel SageMaker AI qui dirige une requête vers l’instance détenant la plus longue partie correspondante de son prompt dans le cache KV. La fonction vise les conversations multi-tours, les longs contextes partagés et les charges élevées. Pour les projets d’Intelligence Artificielle Belgique et France, ce gain potentiel de latence ne dispense ni de séparer les contextes, ni de mesurer le bénéfice sur les données et les charges réellement autorisées.

1. Ce qui change dans le routage

Le conteneur vLLM publie les événements de stockage et d’éviction du cache ; SageMaker AI maintient alors un index géré pour orienter la requête vers une instance disposant déjà du contexte utile. AWS précise que cet index ne contient pas les prompts, les identifiants de jetons ni les tenseurs KV, mais des empreintes tronquées à sens unique associées aux instances. Si aucun cache utile n’est disponible ou si les instances correspondantes sont occupées, le service revient à un routage tenant compte de la charge.

2. Choisir le bon périmètre d’essai

Cette option s’applique aux endpoints GPU compatibles, avec au moins deux instances ou copies de composant d’inférence, et requiert un conteneur AWS vLLM pris en charge. Elle concerne les requêtes OpenAI-compatible Completions ou Chat Completions. Pour un pilote RAG, commencez par une base documentaire fictive et des conversations sans données personnelles : un prompt court ou une faible pression sur le cache peut rendre un routage par préfixe plus simple et suffisant.

3. Analyse Underside · isoler les clients et les droits

Un cache améliore une exécution ; il ne doit pas devenir un raccourci entre périmètres métiers. Dans une intégration Odoo Belgique, Odoo France ou Odoo Entreprise, séparez les jeux d’essai par organisation et vérifiez que les droits de lecture sont appliqués avant la recherche et avant la construction du contexte. Conservez les validations d’écriture dans l’ERP : l’optimisation d’inférence n’autorise pas un agent à confirmer une commande, une facture ou un paiement.

4. Recetter performance, repli et preuve

Comparez sur le même trafic de test le temps jusqu’au premier jeton, le débit, le taux de succès et le taux d’atteinte du cache. Simulez l’éviction, le remplacement d’une instance et l’absence de correspondance, puis vérifiez que le repli maintient le service sans modifier les droits ni perdre les dossiers en attente. Gardez la configuration d’endpoint, la version du conteneur, la version du modèle et les résultats de recette dans le dossier d’exploitation.

Décidez à partir d’une mesure métier : coût et délai par dossier correctement traité, accès refusés inclus. Faites valider le cloisonnement des contextes avant d’exposer un flux Odoo à la production.

Cadrer une IA d’entreprise gouvernée

Lire l’annonce technique officielle AWS · Lire l’annonce produit AWS