La passerelle LLM BYOK pour tous les modèles
Vos clés de fournisseur, un point d’accès compatible OpenAI pour tous les modèles. Bascule automatique, plafonds par clé, caviardage. 0 % de majoration.
294+ modèles de 16+ fournisseurs, sur vos propres clés de fournisseur, au prix catalogue du fournisseur.
Vos propres clés : chaque requête passe par votre compte chez le fournisseur, qui vous facture au prix catalogue, et Autonomous Relay n’ajoute rien. Vos clés sont chiffrées en AES-256-GCM sous une clé de données protégée par Google Cloud KMS.
Pourquoi une passerelle plutôt que les fournisseurs en direct
Un seul client pour tous les fournisseurs
Un SDK compatible OpenAI et une seule URL de base, au lieu d’un SDK et d’une intégration par fournisseur.
Une bascule que vous n’écrivez pas
Nommez une chaîne de repli dans la requête. Quand un fournisseur échoue ou dépasse le délai, le suivant en bonne santé prend le relais avant qu’un seul octet n’atteigne votre client.
Un seul grand livre pour les dépenses
Un plafond sur chaque clé et le coût de chaque requête enregistré, au lieu d’une facture distincte de chaque fournisseur en fin de mois.
Un point d’accès compatible OpenAI pour tous les fournisseurs
Texte, images, audio et appels d’outils derrière un seul point de terminaison compatible OpenAI. Gardez vos chaînes de modèle; changez l’URL de base. Tout parcourir
Bascule automatique entre fournisseurs
Acheminement selon l’état de santé, avec repli automatique. Quand un fournisseur se dégrade, le prochain saut est déjà choisi — vos utilisateurs ne voient jamais la reprise. Comment fonctionne le repli
0 % de majoration et plafonds par clé
0 % de majoration sur l’inférence. Plafonds de dépense par clé, réservations réglées dans un grand livre que vous pouvez reconstituer au cent près. Voir les tarifs
Des garde-fous avant qu’une requête parte
Les garde-fous décident quels fournisseurs peuvent voir une invite : listes d’autorisation, régions de données et caviardage des renseignements personnels avant tout envoi. Voir les garde-fous
Deux lignes à changer.
N’importe quel client compatible OpenAI. Déclarez une chaîne de repli et le routeur choisit le prochain saut en bon état avant que vos utilisateurs s’en aperçoivent. Démarrage rapide
Questions
- Qui me facture l’inférence ?
- Votre fournisseur, directement, au prix catalogue, sur votre propre clé. Autonomous Relay n’ajoute aucune majoration. Solo est gratuit; Pro, Équipe et Affaires coûtent 29 $, 99 $ et 399 $ par mois par organisation, prix fixe.
- Comment mes clés de fournisseur sont-elles conservées ?
- Chiffrées en AES-256-GCM sous une clé de données propre à chaque clé, elle-même protégée par une clé maîtresse conservée dans Google Cloud KMS. L’API ne renvoie jamais une clé enregistrée.
- Conservez-vous mes requêtes ?
- Non. Les requêtes et les réponses traversent la passerelle en mémoire, sans être enregistrées ni journalisées. Nous conservons les métadonnées de chaque requête (modèle, fournisseur, jetons, coût) pendant 24 mois. Ce que conserve un fournisseur relève de votre propre entente avec lui.
- Que se passe-t-il quand un fournisseur se dégrade ?
- L’acheminement tient compte de la santé. Quand un fournisseur échoue ou dépasse le délai, la requête passe au candidat suivant de votre chaîne de repli, avant qu’un seul octet n’ait atteint votre client.
- Comment fonctionnent les plafonds de dépense ?
- Chaque clé d’API peut porter un plafond. Une requête est réservée sur ce plafond avant de s’exécuter puis réglée à son coût réel, de sorte qu’une clé ne peut pas dépasser sa limite, et chaque réservation et règlement est inscrit dans un grand livre.
- Qu’apporte Team par rapport à Solo ?
- Solo comprend des clés illimitées, la bascule, des plafonds de dépense par clé, et le caviardage des renseignements personnels et la détection d’injection intégrés. Team ajoute les garde-fous avec motifs personnalisés, mode blocage et budgets, les espaces de travail et rapports clients, les alertes d’utilisation, l’exportation du grand livre, et les préréglages et classificateurs.