Brama AI działająca tam, gdzie znajdują się Twoje dane.

Przepustowość centrum danych jako usługa w języku Python.

vLLM jest zbudowany do obsługi wysokiej przepustowości w klastrach GPU i zawiera duży zestaw zależności Pythona. Wybierz ją do obsługi na skalę klastra. OneVeer celuje w pojedynczy węzeł, który kontrolujesz, działa jako jeden serwer natywny, a nie jako usługa w języku Python, i dodaje warstwy bramy, zasad i dostawcy, które vLLM pozostawia innym narzędziom.

Lokalny biegacz dla indywidualnych deweloperów.

Ollama ułatwia uruchamianie modelu na laptopie i jest zbudowana na tym samym stosie llama.cpp/ggml. OneVeer został stworzony z myślą o przedstawianiu lokalnych modeli aplikacjom i zespołom: klucze aplikacji z przydziałami modeli i limitami, opublikowany katalog, routing dostawców z rezerwami i budżetami, modele ochronne, redagowanie danych osobowych, zatrzymanie awaryjne, metryki Prometheus i eksport OpenTelemetry.

Własny serwer HTTP llama.cpp.

Doskonały surowy silnik z minimalną warstwą zarządzania, zazwyczaj jeden model na proces. OneVeer obejmuje ten sam silnik z ciągłym przetwarzaniem wsadowym pomiędzy modelami rezydentnymi, wymianą podczas pracy i eksmisją LRU, automatycznym rozmieszczaniem, pamięcią podręczną podpowiedzi i odpowiedzi, koderami i mową, a także pełną bramą wokół niego.

Trasowanie i pomiary przed modelami obsługiwanymi gdzie indziej.

Bramy takie jak LiteLLM, Portkey, Kong AI Gateway lub Cloudflare AI Gateway kierują i mierzą żądania do modeli obsługiwanych gdzie indziej, przez dostawców usług w chmurze lub przez lokalne silniki, a także dodają klucze, logowanie, a czasem poręcze, ale same nie obsługują modeli. OneVeer uruchamia modele i trasy do dostawców z tego samego procesu, więc jedna polityka, jedna pamięć podręczna i jedna ścieżka audytu obejmują obie ścieżki.

Szybko także na drugie żądanie.

Równoczesne żądania współdzielą jedną pętlę dekodowania. Ukończone żądanie zachowuje pamięć podręczną KV, więc w następnej turze przetwarzane są tylko nowe tokeny. Identyczne żądanie deterministyczne jest odtwarzane z pamięci podręcznej odpowiedzi bez ładowania modelu.

Czas na pierwszy token na RTX 4080 SUPER z Qwen2.5-0.5B-Instruct Q4_K_M, modelem o parametrach 0,5 miliarda. Większe modele są wolniejsze. · tryby ładowania: pojedynczy, zamiana, wiele · pamięć podręczna odpowiedzi: dokładna lub semantyczna

Wyszukaj i segreguj te same pliki GGUF.

Kodery z rodziny BERT służą do osadzania, klasyfikacji i zmiany rankingu. Wektory wracają w normalizacji L2, gotowe do dowolnego stosu pobierania.

Przepisz i mów.

Whisper transkrybuje pliki i dźwięk na żywo. Piper i Kokoro czytają tekst na głos. Pracownicy audio działają jako procesy prywatne bez otwartego portu. Tłumaczenie mowy jest dostępne w ramach wdrożeń dostawców.

Agenci mogą wywoływać narzędzia w modelach lokalnych.

Wyślij OpenAI tools do modelu lokalnego. OneVeer analizuje wywołania narzędzi modelu ze strumienia i zwraca standard tool_calls delty. Wyniki narzędzi wracają w następnej turze, a reguła routingu może wysyłać żądania narzędzi w dowolne miejsce.

# example stream · local model
data: {"choices":[{"delta":{"tool_calls":[{"index":0,"type":"function",
  "function":{"name":"lookup_order","arguments":"{\"order_id\":\"4471\"}"}}]}}]}

data: {"choices":[{"delta":{},"finish_reason":"tool_calls"}]}

Wiedzieć, gdzie minął czas.

Każde żądanie to jeden ślad obejmujący routing, ładowanie modelu, kolejkowanie, wstępne wypełnianie, generowanie i każdą próbę dostawcy. Eksport pozostaje wyłączony, dopóki go nie włączysz.

Zeskrob to jak wszystko inne.

Żądania, tokeny, ponowne wykorzystanie pamięci podręcznej podpowiedzi, stan dostawcy i wydatki.

# example scrape
oneai_active_requests 3
oneai_loaded_models 2
oneai_prompt_tokens_total 1284112
oneai_prompt_tokens_cached_total 902331
oneai_completion_tokens_total 412907
oneai_errors_total 21
oneai_gateway_external_providers 1
oneai_proxy_provider_health{provider="deepseek"} 2

Obserwuj pracę sprzętu.

Procesor, pamięć, procesor graficzny, dysk i sieć dla serwera, z udziałem własnym OneVeer pokazanym osobno.

Wydajność · aktualny interfejs, ciemny motyw

Zastosowanie, które możesz wyjaśnić.

Tokeny, żądania, trafienia w pamięci podręcznej, błędy i wydatki w ruchu lokalnym i u dostawców, według modelu i dnia. Pobierz dowolny widok jako plik CSV.

Działalność · dane demonstracyjne, a nie punkt odniesienia