Mémoire cache des réponses

La mémoire cache des réponses sert une complétion de clavardage répétée depuis le stockage : aucun appel au fournisseur, aucune retenue, aucuns frais. C’est une mémoire cache à correspondance exacte, désactivée par défaut et activée clé d’inférence par clé d’inférence — un choix fait pour la clé, non pour l’organisation. Ce n’est pas la mise en cache des invites des fournisseurs, qui tarife les préfixes d’invite répétés et apparaît sous cached_tokens(Modèles et fournisseurs en donne les prix).

L’activer

{"cache_enabled": true, "cache_ttl_seconds": 3600}

cache_enabled et cache_ttl_seconds (de 60 à 86 400 ; 3 600 par défaut) avec POST /v1/keys ou PATCH /v1/keys/:hash, ou le bouton Mise en cache de la page Clés. Clés d’inférence seulement. La désactiver arrête les consultations aussitôt ; ce qui est conservé expire selon sa durée de vie, ou disparaît tout de suite avec DELETE /v1/cache.

Ce qu’est une réponse en cache

Une complétion de clavardage sans diffusion en continu identique à une précédente de la même organisation : le même model demandé et le même corps, hormis user, metadata, stream, stream_options, session_id, routing_stability et prompt_cache_key, qui ne changent rien à ce que le modèle répond. Un champ dont nous ne sommes pas sûrs rend deux requêtes différentes, ce qui coûte une absence en cache, jamais une mauvaise réponse. La consultation a lieu après chaque garde et chaque filtre d’acheminement : une réponse en cache est refusée pour tout ce qui ferait refuser une requête ordinaire, et n’est servie que tant que l’acheminement atteint encore le modèle qui a répondu.

• x-cache: HIT — servie depuis la mémoire cache : usage.cost à 0, usage.cached: true, les comptes de jetons de l’original, sous un nouvel identifiant de génération que les journaux et l’enregistrement diffusé marquent comme réponse en cache.
• x-cache: MISS — servie par le fournisseur et conservée, sauf si la réponse s’est terminée en erreur ou dépasse 1 Mo.
• x-cache: BYPASS — la requête a envoyé x-cache: bypass : servie par le fournisseur, rien de conservé.
• Aucun en-tête — la requête ne pouvait pas être mise en cache.

• La même réponse, quelle que soit la température. Activer la mise en cache, c’est faire ce choix.
• Jamais mises en cache : les requêtes diffusées en continu, les outils serveur, MCP et connectés (déclarés, ou le réglage connected_tools d’une clé), tout plugins (recherche Web, analyse de fichiers, modération, réparation des réponses, routeur automatique), n supérieur à 1, un run_id, et toute partie de message qui n’est pas du texte (images, fichiers, audio).
• Limites. Une seule organisation ; les réponses de plus de 1 Mo ne sont pas conservées, ni au-delà de 10 000 entrées actives par organisation.

La vue de l’organisation

GET renvoie available, entries et bytes. DELETE vide la mémoire cache pour toutes les clés (propriétaires et administrateurs, ou Paramètres) : la requête suivante de chaque clé coûte ce que coûte une absence en cache.