Das KI-Gateway, das dort läuft, wo Ihre Daten gespeichert sind.

Rechenzentrumsdurchsatz als Python-Dienst.

vLLM ist für die Bereitstellung mit hohem Durchsatz auf GPU-Clustern konzipiert und verfügt über einen großen Python-Abhängigkeitssatz. Wählen Sie es für die Bereitstellung im Clustermaßstab. OneVeer zielt auf einen einzelnen von Ihnen kontrollierten Knoten ab, läuft als ein nativer Server und nicht als Python-Dienst und fügt die Gateway-, Richtlinien- und Anbieterebenen hinzu, die vLLM anderen Tools überlässt.

Ein lokaler Läufer für einzelne Entwickler.

Ollama erleichtert die Ausführung eines Modells auf einem Laptop und basiert auf demselben llama.cpp/ggml-Stack. OneVeer ist für die Bereitstellung lokaler Modelle vor Anwendungen und Teams konzipiert: Anwendungsschlüssel mit Modellzuweisungen und -beschränkungen, ein veröffentlichter Katalog, Anbieterrouting mit Fallback und Budgets, Schutzmodelle, PII-Redaktion, ein Notstopp, Prometheus-Metriken und OpenTelemetry-Export.

llama.cpps eigener HTTP-Server.

Eine ausgezeichnete Roh-Engine mit einer minimalen Verwaltungsschicht, typischerweise einem Modell pro Prozess. OneVeer umhüllt die gleiche Engine mit kontinuierlichem Batching über residente Modelle, Hot-Swap und LRU-Eviction, automatische Platzierung, Prompt- und Response-Caches, Encoder und Sprache sowie das vollständige Gateway um sie herum.

Leitungsführung und Messung vor anderswo bedienten Modellen.

Gateways wie LiteLLM, Portkey, Kong AI Gateway oder Cloudflare AI Gateway leiten und messen Anfragen an Modelle, die anderswo, von Cloud-Anbietern oder lokalen Engines, bereitgestellt werden, und fügen Schlüssel, Protokollierung und manchmal Leitplanken hinzu, führen aber selbst keine Modelle aus. OneVeer führt Modelle und Routen zu Anbietern aus demselben Prozess aus, sodass eine Richtlinie, ein Cache und ein Audit-Trail beide Pfade abdecken.

Auch bei der zweiten Anfrage schnell.

Gleichzeitige Anforderungen teilen sich eine Decodierungsschleife. Eine abgeschlossene Anfrage behält ihren KV-Cache, sodass in der nächsten Runde nur neue Token verarbeitet werden. Eine identische deterministische Anfrage wird aus dem Antwortcache wiederholt, ohne das Modell zu laden.

Zeit für den ersten Token auf einer RTX 4080 SUPER mit Qwen2.5-0.5B-Instruct Q4_K_M, einem 0,5-Milliarden-Parameter-Modell. Größere Modelle sind langsamer. · Lademodi: Single, Swap, Multi · Antwortcache: exakt oder semantisch

Suche und Triage anhand derselben GGUF-Dateien.

Encoder der BERT-Familie dienen der Einbettung, Klassifizierung und Neubewertung. Die Vektoren kommen L2-normalisiert zurück und sind für jeden Abrufstapel bereit.

Transkribieren und sprechen.

Whisper transkribiert Dateien und Live-Audio. Piper und Kokoro lesen den Text laut vor. Audio-Worker werden als private Prozesse ohne offenen Port ausgeführt. Sprachübersetzung ist über Anbieterbereitstellungen verfügbar.

Agenten können Tools für lokale Modelle aufrufen.

Senden Sie OpenAI tools zu einem lokalen Modell. OneVeer analysiert die Toolaufrufe des Modells aus dem Stream und gibt den Standard zurück tool_calls Deltas. Werkzeugergebnisse werden in der nächsten Runde zurückgegeben, und eine Routing-Regel kann Werkzeuganfragen an einen beliebigen Ort senden.

# example stream · local model
data: {"choices":[{"delta":{"tool_calls":[{"index":0,"type":"function",
  "function":{"name":"lookup_order","arguments":"{\"order_id\":\"4471\"}"}}]}}]}

data: {"choices":[{"delta":{},"finish_reason":"tool_calls"}]}

Wissen, wo die Zeit geblieben ist.

Jede Anfrage ist ein Trace mit Spannen für Routing, Modellladen, Warteschlangen, Vorabfüllung, Generierung und jeden Anbieterversuch. Der Export bleibt deaktiviert, bis Sie ihn aktivieren.

Kratzen Sie es wie alles andere ab.

Anfragen, Token, Wiederverwendung des Prompt-Cache, Anbieterstatus und Ausgaben.

# example scrape
oneai_active_requests 3
oneai_loaded_models 2
oneai_prompt_tokens_total 1284112
oneai_prompt_tokens_cached_total 902331
oneai_completion_tokens_total 412907
oneai_errors_total 21
oneai_gateway_external_providers 1
oneai_proxy_provider_health{provider="deepseek"} 2

Beobachten Sie, wie die Hardware funktioniert.

CPU, Arbeitsspeicher, GPU, Festplatte und Netzwerk für die Servermaschine, wobei der eigene Anteil von OneVeer separat angezeigt wird.

Leistung · Aktuelle Benutzeroberfläche, dunkles Thema

Verwendung, die Sie erklären können.

Tokens, Anfragen, Cache-Treffer, Fehler und Ausgaben für lokalen Datenverkehr und Anbieterdatenverkehr, nach Modell und Tag. Laden Sie jede Ansicht als CSV herunter.

Aktivität · Demonstrationsdaten, kein Benchmark