AI-gatewayen som kjører der dataene dine bor.

Datasentergjennomstrømning, som en Python-tjeneste.

vLLM er bygget for visning med høy ytelse på GPU-klynger og kommer med et stort Python-avhengighetssett. Velg den for servering i klyngeskala. OneVeer retter seg mot en enkelt node du kontrollerer, kjører som én innebygd server i stedet for en Python-tjeneste, og legger til gateway-, policy- og leverandørlagene som vLLM overlater til andre verktøy.

En lokal løper for individuelle utviklere.

Ollama gjør det enkelt å kjøre en modell på en bærbar datamaskin og er bygget på samme llama.cpp/ggml-stabel. OneVeer er bygget for å sette lokale modeller foran applikasjoner og team: applikasjonsnøkler med modellbevilgninger og grenser, en publisert katalog, leverandørruting med fallback og budsjetter, vaktmodeller, PII-redaksjon, en nødstopp, Prometheus-målinger og OpenTelemetry-eksport.

llama.cpps egen HTTP-server.

En utmerket råmotor med et minimalt styringslag, vanligvis én modell per prosess. OneVeer pakker den samme motoren med kontinuerlig batching på tvers av residente modeller, hot swap og LRU-utkastelse, automatisk plassering, prompt- og responsbuffere, kodere og tale, pluss hele gatewayen rundt den.

Ruting og måling foran modeller servert andre steder.

Gatewayer som LiteLLM, Portkey, Kong AI Gateway eller Cloudflare AI Gateway rute- og målerforespørsler til modeller servert andre steder, av skyleverandører eller av lokale motorer, og legger til nøkler, logging og noen ganger autovern, men de kjører ikke modeller selv. OneVeer kjører modeller og ruter til leverandører fra samme prosess, så én policy, én cache og én revisjonsspor dekker begge banene.

Raskt på den andre forespørselen også.

Samtidige forespørsler deler én dekodesløyfe. En ferdig forespørsel beholder sin KV-cache, så neste tur behandler bare nye tokens. En identisk deterministisk forespørsel spilles av fra svarbufferen uten å laste modellen.

Tid for første token på en RTX 4080 SUPER med Qwen2.5-0.5B-Instruct Q4_K_M, en modell med 0,5 milliarder parametere. Større modeller er tregere. · lastemoduser: enkelt, bytte, multi · responsbuffer: eksakt eller semantisk

Søk og triage fra de samme GGUF filene.

BERT-familiekodere tjener innbygging, klassifisering og omrangering. Vektorer kommer tilbake L2-normalisert, klare for enhver gjenfinningsstabel.

Transkribere og snakke.

Whisper transkriberer filer og levende lyd. Piper og Kokoro leser tekst høyt. Lydarbeidere kjører som private prosesser uten åpen port. Taleoversettelse er tilgjengelig gjennom leverandørdistribusjoner.

Agenter kan ringe verktøy på lokale modeller.

Send OpenAI tools til en lokal modell. OneVeer analyserer modellens verktøykall ut av strømmen og returnerer standard tool_calls deltaer. Verktøyresultater går tilbake ved neste sving, og en rutingregel kan sende verktøyforespørsler hvor enn du måtte velge.

# example stream · local model
data: {"choices":[{"delta":{"tool_calls":[{"index":0,"type":"function",
  "function":{"name":"lookup_order","arguments":"{\"order_id\":\"4471\"}"}}]}}]}

data: {"choices":[{"delta":{},"finish_reason":"tool_calls"}]}

Vet hvor tiden ble av.

Hver forespørsel er ett spor, med spenn for ruting, modellbelastning, kødannelse, forhåndsutfylling, generering og hvert leverandørforsøk. Eksporten forblir av til du slår den på.

Skrap den som alt annet.

Forespørsler, tokens, gjenbruk av prompt-cache, leverandørhelse og forbruk.

# example scrape
oneai_active_requests 3
oneai_loaded_models 2
oneai_prompt_tokens_total 1284112
oneai_prompt_tokens_cached_total 902331
oneai_completion_tokens_total 412907
oneai_errors_total 21
oneai_gateway_external_providers 1
oneai_proxy_provider_health{provider="deepseek"} 2

Se maskinvarearbeidet.

CPU, minne, GPU, disk og nettverk for servermaskinen, med OneVeers egen del vist separat.

Ytelse · faktisk grensesnitt, mørkt tema

Bruk kan du forklare.

Tokens, forespørsler, hurtigbuffertreff, feil og forbruk på tvers av lokaltrafikk og leverandørtrafikk, etter modell og dag. Last ned en hvilken som helst visning som CSV.

Aktivitet · demonstrasjonsdata, ikke en målestokk