O gateway de IA que funciona onde seus dados residem.

Taxa de transferência do data center, como um serviço Python.

vLLM foi desenvolvido para atendimento de alto rendimento em clusters de GPU e vem com um grande conjunto de dependências do Python. Escolha-o para veiculação em escala de cluster. OneVeer tem como alvo um único nó que você controla, é executado como um servidor nativo em vez de um serviço Python e adiciona as camadas de gateway, política e provedor que vLLM deixa para outras ferramentas.

Um executor local para desenvolvedores individuais.

Ollama facilita a execução de um modelo em um laptop e é construído na mesma pilha llama.cpp/ggml. OneVeer foi desenvolvido para colocar modelos locais na frente de aplicativos e equipes: chaves de aplicativo com concessões e limites de modelo, um catálogo publicado, roteamento de provedor com fallback e orçamentos, modelos de proteção, redação de PII, parada de emergência, métricas Prometheus e exportação OpenTelemetry.

O próprio servidor HTTP de llama.cpp.

Um excelente mecanismo bruto com uma camada mínima de gerenciamento, normalmente um modelo por processo. OneVeer envolve o mesmo mecanismo com lote contínuo entre modelos residentes, hot swap e despejo de LRU, posicionamento automático, caches de prompt e resposta, codificadores e fala, além do gateway completo em torno dele.

Roteamento e medição na frente de modelos atendidos em outros lugares.

Gateways como LiteLLM, Portkey, Kong AI Gateway ou Cloudflare AI Gateway roteiam e medem solicitações para modelos atendidos em outro lugar, por provedores de nuvem ou por mecanismos locais, e adicionam chaves, registros e, às vezes, proteções, mas eles próprios não executam modelos. OneVeer executa modelos e rotas para provedores do mesmo processo, portanto, uma política, um cache e uma trilha de auditoria cobrem ambos os caminhos.

Rápido no segundo pedido também.

Solicitações simultâneas compartilham um loop de decodificação. Uma solicitação concluída mantém seu cache KV, portanto, o próximo turno processa apenas novos tokens. Uma solicitação determinística idêntica é reproduzida do cache de resposta sem carregar o modelo.

É hora do primeiro token em um RTX 4080 SUPER com Qwen2.5-0.5B-Instruct Q4_K_M, um modelo de 0,5 bilhão de parâmetros. Modelos maiores são mais lentos. · modos de carregamento: único, swap, multi · cache de resposta: exato ou semântico

Pesquisa e triagem dos mesmos arquivos GGUF.

Os codificadores da família BERT servem para incorporação, classificação e reclassificação. Os vetores voltam normalizados em L2, prontos para qualquer pilha de recuperação.

Transcreva e fale.

Whisper transcreve arquivos e áudio ao vivo. Piper e Kokoro lêem o texto em voz alta. Os trabalhadores de áudio são executados como processos privados sem porta aberta. A tradução de fala está disponível por meio de implantações de provedores.

Os agentes podem chamar ferramentas em modelos locais.

Enviar OpenAI tools para um modelo local. OneVeer analisa as chamadas de ferramenta do modelo fora do fluxo e retorna padrão tool_calls deltas. Os resultados da ferramenta retornam na próxima curva e uma regra de roteamento pode enviar solicitações de ferramenta para onde você escolher.

# example stream · local model
data: {"choices":[{"delta":{"tool_calls":[{"index":0,"type":"function",
  "function":{"name":"lookup_order","arguments":"{\"order_id\":\"4471\"}"}}]}}]}

data: {"choices":[{"delta":{},"finish_reason":"tool_calls"}]}

Saiba para onde foi o tempo.

Cada solicitação é um rastreamento, com intervalos para roteamento, carregamento de modelo, enfileiramento, preenchimento prévio, geração e todas as tentativas do provedor. A exportação permanece desativada até você ativá-la.

Raspe como qualquer outra coisa.

Solicitações, tokens, reutilização de cache imediato, integridade e gastos do provedor.

# example scrape
oneai_active_requests 3
oneai_loaded_models 2
oneai_prompt_tokens_total 1284112
oneai_prompt_tokens_cached_total 902331
oneai_completion_tokens_total 412907
oneai_errors_total 21
oneai_gateway_external_providers 1
oneai_proxy_provider_health{provider="deepseek"} 2

Observe o trabalho do hardware.

CPU, memória, GPU, disco e rede para a máquina servidora, com o compartilhamento do próprio OneVeer mostrado separadamente.

Desempenho · interface real, tema escuro

Uso você pode explicar.

Tokens, solicitações, ocorrências de cache, erros e gastos no tráfego local e do provedor, por modelo e por dia. Baixe qualquer visualização como CSV.

Atividade · dados de demonstração, não uma referência