بوابة الذكاء الاصطناعي التي تعمل حيث توجد بياناتك.

إنتاجية مركز البيانات، كخدمة بايثون.

تم تصميم vLLM لتقديم إنتاجية عالية على مجموعات GPU ويأتي مع مجموعة تبعية كبيرة لـ Python. اختره للخدمة على نطاق المجموعة. يستهدف OneVeer عقدة واحدة تتحكم فيها، ويعمل كخادم أصلي واحد بدلاً من خدمة Python، ويضيف طبقات البوابة والسياسة والموفر التي يتركها vLLM إلى أدوات أخرى.

عداء محلي للمطورين الأفراد.

تعمل شركة Olma على تسهيل تشغيل نموذج على جهاز كمبيوتر محمول، وهي مبنية على نفس حزمة llama.cpp/ggml. تم تصميم OneVeer لوضع النماذج المحلية أمام التطبيقات والفرق: مفاتيح التطبيق مع منح النماذج وحدودها، وكتالوج منشور، وتوجيه الموفر مع الاحتياطي والميزانيات، ونماذج الحماية، وتنقيح معلومات تحديد الهوية الشخصية، وإيقاف الطوارئ، ومقاييس Prometheus، وتصدير OpenTelemetry.

خادم HTTP الخاص بـ llama.cpp.

محرك خام ممتاز مع الحد الأدنى من طبقة الإدارة، وعادةً ما يكون نموذجًا واحدًا لكل عملية. يشتمل OneVeer على نفس المحرك من خلال التجميع المستمر عبر النماذج المقيمة، والتبديل السريع وإخلاء LRU، والوضع التلقائي، وذاكرة التخزين المؤقت للمطالبة والاستجابة، وأجهزة التشفير والكلام، بالإضافة إلى البوابة الكاملة المحيطة به.

التوجيه والقياس أمام النماذج المقدمة في أماكن أخرى.

تقوم بوابات مثل LiteLLM أو Portkey أو Kong AI Gateway أو Cloudflare AI Gateway بتوجيه طلبات القياس إلى النماذج التي يتم تقديمها في أماكن أخرى، بواسطة موفري الخدمات السحابية أو بواسطة المحركات المحلية، وإضافة المفاتيح والتسجيل وأحيانًا حواجز الحماية، لكنها لا تقوم بتشغيل النماذج بنفسها. يقوم OneVeer بتشغيل النماذج والمسارات إلى موفري الخدمة من نفس العملية، لذا فإن سياسة واحدة وذاكرة تخزين مؤقت واحدة ومسار تدقيق واحد يغطي كلا المسارين.

سريع على الطلب الثاني أيضا.

تشترك الطلبات المتزامنة في حلقة فك تشفير واحدة. يحتفظ الطلب النهائي بذاكرة التخزين المؤقت KV الخاصة به، لذا فإن المنعطف التالي يعالج فقط الرموز المميزة الجديدة. يتم إعادة تشغيل طلب حتمي متطابق من ذاكرة التخزين المؤقت للاستجابة دون تحميل النموذج.

حان الوقت لأول رمز مميز على RTX 4080 SUPER باستخدام Qwen2.5-0.5B-Instruct Q4_K_M، وهو نموذج ذو 0.5 مليار معلمة. النماذج الأكبر حجما أبطأ. · أوضاع التحميل: مفردة، مبادلة، متعددة. · استجابة مخبأة: دقيقة أو دلالية

البحث والفرز من نفس ملفات GGUF.

تعمل أجهزة تشفير عائلة BERT على عمليات التضمين والتصنيف وإعادة الترتيب. تعود المتجهات إلى مستوى L2 الطبيعي، وتكون جاهزة لأي مكدس استرجاع.

نسخ والتحدث.

يقوم Whisper بنسخ الملفات والصوت المباشر. يقرأ بايبر وكوكورو النص بصوت عالٍ. يعمل عمال الصوت كعمليات خاصة بدون منفذ مفتوح. ترجمة الكلام متاحة من خلال عمليات نشر الموفر.

يمكن للوكلاء استدعاء الأدوات على النماذج المحلية.

أرسل OpenAI tools إلى نموذج محلي. يقوم OneVeer بتوزيع استدعاءات أداة النموذج خارج الدفق وإرجاع المعيار tool_calls دلتا. تعود نتائج الأداة في المنعطف التالي، ويمكن لقاعدة التوجيه إرسال طلبات الأداة أينما تختار.

# example stream · local model
data: {"choices":[{"delta":{"tool_calls":[{"index":0,"type":"function",
  "function":{"name":"lookup_order","arguments":"{\"order_id\":\"4471\"}"}}]}}]}

data: {"choices":[{"delta":{},"finish_reason":"tool_calls"}]}

تعرف أين ذهب الوقت.

كل طلب عبارة عن تتبع واحد، مع امتدادات للتوجيه، وتحميل النموذج، والانتظار، والتعبئة المسبقة، والتوليد، وكل محاولة من الموفر. يظل التصدير متوقفًا حتى تقوم بتشغيله.

كشطها مثل أي شيء آخر.

الطلبات والرموز المميزة وإعادة استخدام ذاكرة التخزين المؤقت السريعة وصحة الموفر والإنفاق.

# example scrape
oneai_active_requests 3
oneai_loaded_models 2
oneai_prompt_tokens_total 1284112
oneai_prompt_tokens_cached_total 902331
oneai_completion_tokens_total 412907
oneai_errors_total 21
oneai_gateway_external_providers 1
oneai_proxy_provider_health{provider="deepseek"} 2

مشاهدة عمل الأجهزة.

وحدة المعالجة المركزية والذاكرة ووحدة معالجة الرسومات والقرص والشبكة لجهاز الخادم، مع عرض حصة OneVeer بشكل منفصل.

الأداء · واجهة فعلية، سمة داكنة

الاستخدام يمكنك شرحه.

الرموز المميزة، والطلبات، ونتائج ذاكرة التخزين المؤقت، والأخطاء، والإنفاق عبر حركة المرور المحلية والمزودة، حسب النموذج واليوم. قم بتنزيل أي طريقة عرض كملف CSV.

النشاط · بيانات العرض التوضيحي، وليست معيارًا