AI-gatewayen som körs där din data finns.

Datacentergenomströmning, som en Python-tjänst.

vLLM är byggd för högkapacitetsservering på GPU-kluster och kommer med en stor Python-beroendeuppsättning. Välj den för servering i klusterskala. OneVeer riktar sig mot en enda nod som du kontrollerar, körs som en inbyggd server snarare än en Python-tjänst och lägger till gateway-, policy- och leverantörsskikten som vLLM lämnar till andra verktyg.

En lokal löpare för enskilda utvecklare.

Ollama gör det enkelt att köra en modell på en bärbar dator och är byggd på samma llama.cpp/ggml-stack. OneVeer är byggd för att sätta lokala modeller framför applikationer och team: applikationsnycklar med modellbeviljande och gränser, en publicerad katalog, leverantörsdirigering med reserv och budgetar, skyddsmodeller, PII-redigering, ett nödstopp, Prometheus-mått och OpenTelemetry-export.

llama.cpps egen HTTP-server.

En utmärkt råmotor med ett minimalt hanteringsskikt, vanligtvis en modell per process. OneVeer omsluter samma motor med kontinuerlig batchning över inhemska modeller, hot swap och LRU-avhysning, automatisk placering, prompt- och svarscacher, kodare och tal, plus hela gatewayen runt den.

Dirigering och mätning framför modeller som serveras på annat håll.

Gateways som LiteLLM, Portkey, Kong AI Gateway eller Cloudflare AI Gateway rutt- och mätarförfrågningar till modeller som serveras någon annanstans, av molnleverantörer eller av lokala motorer, och lägger till nycklar, loggning och ibland skyddsräcken, men de kör inte modeller själva. OneVeer kör modeller och rutter till leverantörer från samma process, så en policy, en cache och en revisionsspår täcker båda vägarna.

Snabbt på den andra begäran också.

Samtidiga förfrågningar delar en avkodningsslinga. En färdig begäran behåller sin KV-cache, så nästa tur behandlar bara nya tokens. En identisk deterministisk begäran spelas upp från svarscachen utan att ladda modellen.

Dags för första token på en RTX 4080 SUPER med Qwen2.5-0.5B-Instruct Q4_K_M, en modell med 0,5 miljarder parametrar. Större modeller är långsammare. · laddningslägen: singel, swap, multi · svarscache: exakt eller semantisk

Sök och triage från samma GGUF-filer.

BERT-familjens kodare tjänar inbäddningar, klassificering och omrangering. Vektorer kommer tillbaka L2-normaliserade, redo för alla hämtningsstack.

Transkribera och tala.

Whisper transkriberar filer och liveljud. Piper och Kokoro läser text högt. Ljudarbetare körs som privata processer utan öppen port. Talöversättning är tillgänglig via leverantörsdistributioner.

Agenter kan anropa verktyg på lokala modeller.

Skicka OpenAI tools till en lokal modell. OneVeer analyserar modellens verktygsanrop ur strömmen och returnerar standard tool_calls delta. Verktygsresultat går tillbaka vid nästa sväng, och en routingregel kan skicka verktygsbegäranden var du än väljer.

# example stream · local model
data: {"choices":[{"delta":{"tool_calls":[{"index":0,"type":"function",
  "function":{"name":"lookup_order","arguments":"{\"order_id\":\"4471\"}"}}]}}]}

data: {"choices":[{"delta":{},"finish_reason":"tool_calls"}]}

Vet var tiden tog vägen.

Varje begäran är ett spår, med spann för routing, modellbelastning, köbildning, förfyllning, generering och varje leverantörsförsök. Exporten är avstängd tills du slår på den.

Skrapa det som allt annat.

Förfrågningar, tokens, prompt-cacheåteranvändning, leverantörens hälsa och utgifter.

# example scrape
oneai_active_requests 3
oneai_loaded_models 2
oneai_prompt_tokens_total 1284112
oneai_prompt_tokens_cached_total 902331
oneai_completion_tokens_total 412907
oneai_errors_total 21
oneai_gateway_external_providers 1
oneai_proxy_provider_health{provider="deepseek"} 2

Se hur hårdvaran fungerar.

CPU, minne, GPU, disk och nätverk för servermaskinen, med OneVeers egen del visas separat.

Prestanda · faktiskt gränssnitt, mörkt tema

Användning kan du förklara.

Tokens, förfrågningar, cacheträffar, fel och utgifter för lokal trafik och leverantörstrafik, efter modell och dag. Ladda ner valfri vy som CSV.

Aktivitet · demonstrationsdata, inte ett riktmärke