La passerelle IA qui s'exécute là où se trouvent vos données.

Débit du centre de données, en tant que service Python.

vLLM est conçu pour un service à haut débit sur des clusters GPU et est livré avec un large ensemble de dépendances Python. Choisissez-le pour un service à l'échelle du cluster. OneVeer cible un seul nœud que vous contrôlez, s'exécute comme un serveur natif plutôt que comme un service Python et ajoute les couches de passerelle, de politique et de fournisseur que vLLM laisse à d'autres outils.

Un coureur local pour les développeurs individuels.

Ollama facilite l'exécution d'un modèle sur un ordinateur portable et est construit sur la même pile llama.cpp/ggml. OneVeer est conçu pour présenter des modèles locaux aux applications et aux équipes : clés d'application avec autorisations et limites de modèle, catalogue publié, routage des fournisseurs avec repli et budgets, modèles de garde, rédaction de PII, arrêt d'urgence, métriques Prometheus et exportation OpenTelemetry.

Le propre serveur HTTP de llama.cpp.

Un excellent moteur brut avec une couche de gestion minimale, généralement un modèle par processus. OneVeer enveloppe le même moteur avec un traitement par lots continu sur les modèles résidents, un échange à chaud et une expulsion LRU, un placement automatique, des caches d'invite et de réponse, des encodeurs et de la parole, ainsi que la passerelle complète qui l'entoure.

Routage et comptage devant des modèles servis par ailleurs.

Des passerelles telles que LiteLLM, Portkey, Kong AI Gateway ou Cloudflare AI Gateway acheminent et mesurent les requêtes vers des modèles servis ailleurs, par des fournisseurs de cloud ou par des moteurs locaux, et ajoutent des clés, une journalisation et parfois des garde-fous, mais elles n'exécutent pas elles-mêmes les modèles. OneVeer exécute des modèles et des routes vers les fournisseurs à partir du même processus, donc une politique, un cache et une piste d'audit couvrent les deux chemins.

Rapide également à la deuxième demande.

Les requêtes simultanées partagent une boucle de décodage. Une requête terminée conserve son cache KV, donc le tour suivant ne traite que les nouveaux jetons. Une requête déterministe identique est rejouée à partir du cache de réponses sans charger le modèle.

Il est temps de lancer le premier token sur un RTX 4080 SUPER avec Qwen2.5-0.5B-Instruct Q4_K_M, un modèle de 0,5 milliard de paramètres. Les modèles plus grands sont plus lents. · modes de chargement : simple, swap, multi · cache de réponses : exact ou sémantique

Recherchez et triez à partir des mêmes fichiers GGUF.

Les encodeurs de la famille BERT servent à l'intégration, à la classification et au reclassement. Les vecteurs reviennent normalisés L2, prêts pour toute pile de récupération.

Transcrivez et parlez.

Whisper transcrit les fichiers et l'audio en direct. Piper et Kokoro lisent le texte à haute voix. Les travailleurs audio s'exécutent en tant que processus privés sans port ouvert. La traduction vocale est disponible via les déploiements de fournisseurs.

Les agents peuvent appeler des outils sur des modèles locaux.

Envoyer OpenAI tools à un modèle local. OneVeer analyse les appels d'outil du modèle hors du flux et renvoie la norme tool_calls delta. Les résultats des outils remontent au tour suivant et une règle de routage peut envoyer des demandes d'outils où vous le souhaitez.

# example stream · local model
data: {"choices":[{"delta":{"tool_calls":[{"index":0,"type":"function",
  "function":{"name":"lookup_order","arguments":"{\"order_id\":\"4471\"}"}}]}}]}

data: {"choices":[{"delta":{},"finish_reason":"tool_calls"}]}

Sachez où est passé le temps.

Chaque demande est une trace, avec des étendues pour le routage, le chargement du modèle, la mise en file d'attente, le pré-remplissage, la génération et chaque tentative de fournisseur. L'exportation reste désactivée jusqu'à ce que vous l'activiez.

Grattez-le comme toute autre chose.

Requêtes, jetons, réutilisation du cache rapide, santé et dépenses du fournisseur.

# example scrape
oneai_active_requests 3
oneai_loaded_models 2
oneai_prompt_tokens_total 1284112
oneai_prompt_tokens_cached_total 902331
oneai_completion_tokens_total 412907
oneai_errors_total 21
oneai_gateway_external_providers 1
oneai_proxy_provider_health{provider="deepseek"} 2

Observez le fonctionnement du matériel.

CPU, mémoire, GPU, disque et réseau pour la machine serveur, avec la part propre de OneVeer affichée séparément.

Performance · interface réelle, thème sombre

Utilisation que vous pouvez expliquer.

Jetons, requêtes, accès au cache, erreurs et dépenses sur le trafic local et celui des fournisseurs, par modèle et par jour. Téléchargez n'importe quelle vue au format CSV.

Activité · données de démonstration, pas une référence