Verilerinizin bulunduğu yerde çalışan AI ağ geçidi.

Python hizmeti olarak veri merkezi verimi.

vLLM, GPU kümelerinde yüksek verimli hizmet sunmak üzere tasarlanmıştır ve geniş bir Python bağımlılık kümesiyle birlikte gelir. Küme ölçeğinde sunum için bunu seçin. OneVeer, kontrol ettiğiniz tek bir düğümü hedefler, Python hizmeti yerine tek bir yerel sunucu olarak çalışır ve vLLM'nin diğer araçlara bıraktığı ağ geçidi, politika ve sağlayıcı katmanlarını ekler.

Bireysel geliştiriciler için yerel bir koşucu.

Ollama, bir modeli dizüstü bilgisayarda çalıştırmayı kolaylaştırır ve aynı llama.cpp/ggml yığını üzerine kurulmuştur. OneVeer, yerel modelleri uygulamaların ve ekiplerin önüne koymak için tasarlanmıştır: model hibeleri ve limitleri içeren uygulama anahtarları, yayınlanmış bir katalog, geri dönüş ve bütçelerle sağlayıcı yönlendirmesi, koruma modelleri, PII redaksiyonu, acil durdurma, Prometheus ölçümleri ve OpenTelemetry dışa aktarımı.

llama.cpp'nin kendi HTTP sunucusu.

Minimum yönetim katmanına sahip, genellikle süreç başına bir model olan mükemmel bir ham motor. OneVeer, yerleşik modeller arasında sürekli gruplama, çalışırken değiştirme ve LRU tahliyesi, otomatik yerleştirme, istem ve yanıt önbellekleri, kodlayıcılar ve konuşmanın yanı sıra etrafındaki tam ağ geçidiyle aynı motoru sarar.

Başka yerde sunulan modellerin önünde yönlendirme ve ölçüm.

LiteLLM, Portkey, Kong AI Gateway veya Cloudflare AI Gateway gibi ağ geçitleri, istekleri başka bir yerde, bulut sağlayıcıları veya yerel motorlar tarafından sunulan modellere yönlendirir ve ölçer ve anahtarlar, günlük kaydı ve bazen korkuluklar ekler, ancak modelleri kendileri çalıştırmazlar. OneVeer, modelleri ve sağlayıcılara rotaları aynı süreçten çalıştırır; böylece her iki yolu da tek bir politika, bir önbellek ve bir denetim izi kapsar.

İkinci istekte de hızlı olun.

Eşzamanlı istekler bir kod çözme döngüsünü paylaşır. Bitmiş bir istek KV önbelleğini korur, böylece bir sonraki turda yalnızca yeni belirteçler işlenir. Benzer bir deterministik istek, model yüklenmeden yanıt önbelleğinden tekrar oynatılır.

0,5 milyar parametreli bir model olan Qwen2.5-0.5B-Instruct Q4_K_M ile RTX 4080 SUPER'de ilk token'a ulaşma zamanı. Daha büyük modeller daha yavaştır. · yükleme modları: tek, takas, çoklu · yanıt önbelleği: tam veya anlamsal

Aynı GGUF dosyalarından arama yapın ve önceliklendirme yapın.

BERT ailesi kodlayıcılar yerleştirme, sınıflandırma ve yeniden sıralamaya hizmet eder. Vektörler, herhangi bir geri alma yığınına hazır olarak L2-normalize edilmiş olarak geri gelir.

Yaz ve konuş.

Whisper, dosyaları ve canlı sesi yazıya döker. Piper ve Kokoro metni yüksek sesle okudu. Ses çalışanları, açık bağlantı noktası olmayan özel işlemler olarak çalışır. Konuşma çevirisi, sağlayıcı dağıtımları aracılığıyla kullanılabilir.

Temsilciler yerel modellerdeki araçları çağırabilir.

OpenAI'yi gönder tools yerel bir modele OneVeer, modelin araç çağrılarını akıştan ayrıştırır ve standardı döndürür tool_calls deltalar. Araç sonuçları bir sonraki turda geri alınır ve bir yönlendirme kuralı, araç isteklerini seçtiğiniz yere gönderebilir.

# example stream · local model
data: {"choices":[{"delta":{"tool_calls":[{"index":0,"type":"function",
  "function":{"name":"lookup_order","arguments":"{\"order_id\":\"4471\"}"}}]}}]}

data: {"choices":[{"delta":{},"finish_reason":"tool_calls"}]}

Zamanın nereye gittiğini bilin.

Her istek, yönlendirme, model yükleme, kuyruğa alma, önceden doldurma, oluşturma ve her sağlayıcı girişimi için aralıkları olan bir izlemedir. Siz açana kadar dışa aktarma kapalı kalır.

Başka herhangi bir şey gibi kazıyın.

İstekler, belirteçler, bilgi istemi önbelleğinin yeniden kullanımı, sağlayıcı sağlığı ve harcama.

# example scrape
oneai_active_requests 3
oneai_loaded_models 2
oneai_prompt_tokens_total 1284112
oneai_prompt_tokens_cached_total 902331
oneai_completion_tokens_total 412907
oneai_errors_total 21
oneai_gateway_external_providers 1
oneai_proxy_provider_health{provider="deepseek"} 2

Donanım çalışmasını izleyin.

Sunucu makinesi için CPU, bellek, GPU, disk ve ağ; OneVeer'nin kendi paylaşımı ayrı ayrı gösterilmiştir.

Performans · gerçek arayüz, karanlık tema

Kullanımı açıklayabilirsiniz.

Modele ve güne göre yerel ve sağlayıcı trafiğindeki jetonlar, istekler, önbellek isabetleri, hatalar ve harcamalar. Herhangi bir görünümü CSV olarak indirin.

Faaliyet · gösterim verileri, kıyaslama değil