جسر الاستنتاج: جسر المتصفح للوصول إلى LLM المحلي والسحابي
جسر الاستدلال، الذي تم بناؤه بواسطة samsamskies (SamSamskies)، هو ملحق لمتصفح Chrome يقوم بتنفيذ واجهة برمجة التطبيقات التجريبية لمزود الاستدلال لربط تطبيقات الويب و LLMs. يقوم بحقن كائن window.inference موحد حتى تتمكن الصفحات من طلب استجابات الذكاء الاصطناعي مباشرة من خلال المتصفح، داعمًا النص المتدفق عبر window.inference.request() والتوجيه إلى OpenAI باستخدام مفتاح مخزن أو إلى حالات Ollama المحلية. يستهدف مطوري الويب، وباحثي الذكاء الاصطناعي، والمستخدمين المهتمين بالخصوصية، حيث يحتفظ بمفاتيح API داخل الملحق ويقدم عناصر تحكم في الأذونات لكل أصل للوصول الأكثر أمانًا إلى النماذج.
كيف يكشف عن واجهة AI قياسية لصفحات الويب
يحقن واجهة برمجة تطبيقات جانب المتصفح من خلال توفير كائن window.inference الذي يمكن للصفحات استدعاؤه مباشرة. يدعم الامتداد الدردشة النصية المتدفقة من خلال window.inference.request()، بحيث يمكن لتطبيقات الويب استهلاك الرموز عند وصولها. يتم التحقق من الطلبات داخل الامتداد قبل أي نشاط شبكي، مما يمنع الصفحات من إعادة توجيه الحمولة العشوائية. تتيح هذه الطريقة لواجهات الويب العمل كعملاء LLM دون تضمين بيانات اعتماد المزود في نصوص الصفحة.
كيف يفصل بين بيانات الاعتماد ويسيطر على الوصول
مطالبات إذن لكل أصل تطلب من المستخدمين السماح أو الرفض أو تذكر الوصول لكل مزود ونموذج، مما يوفر تحكمًا دقيقًا لكل موقع. يتم تخزين مفاتيح API في عامل خدمة الامتداد بحيث لا ترى نصوص الصفحة بيانات الاعتماد أبدًا. يقوم الامتداد أيضًا بإزالة رؤوس Origin وReferer لتسهيل الاتصالات المحلية، ويقيد الحقن في السياقات العليا الآمنة لتقليل التعرض للصفحات غير الآمنة.
أين تلتقي النماذج المحلية ومفاتيح السحابة
سطح API موحد يدعم كل من خوادم Ollama المحلية وخيار OpenAI الخاص بك، بحيث يمكن للمطورين إنشاء نماذج أولية مع أي مزود. يتعامل الامتداد مع إزالة الرؤوس والتوجيه المحلي لتجاوز الحواجز الشائعة لـ CORS للتخمين المحلي، مما يلغي الحاجة إلى وكيل إضافي أثناء الاختبار. يدعم البث وواجهة واحدة تجعل تكامل النماذج الأولية يتصرف بشكل متسق عبر أنواع المزودين.
الحدود العملية التي يجب على المطورين التخطيط لها
بني كمرجع تجريبي، يقيد الامتداد الحقن في الإطارات العليا ولا يعمل على صفحات file: أو في الإطارات الفرعية، لذا فإن التكاملات التي تعتمد على الإطارات المدمجة تحتاج إلى تصاميم بديلة. يستهدف فقط المتصفحات المستندة إلى Chromium، ويضع المطور هذا كتنفيذ مرجعي رسمي لاقتراح واجهة مزود الاستدلال، لذا يجب على الفرق التعامل مع الأداة كنقطة انطلاق بدلاً من مكون إنتاج نهائي.
جسر عملي يركز على المطورين مع تنازلات تجريبية
الامتداد هو خيار عملي للمطورين والباحثين الذين يقومون بتجريب تدفقات العمل من المتصفح إلى LLM والذين يقبلون أدوات وتجميعات تجريبية. توقع تعديل كود التطبيق وإجراء اختبارات في بيئات محكومة. كنصيحة عملية، قم بتحديد الأذونات المسموح بها للمضيفين في بيئة التطوير واحتفظ بنقاط نهاية النموذج على شبكات معزولة أثناء الاختبار. الأداة تعمل كمرجع عملي لتنفيذ واجهة برمجة التطبيقات المقترحة للمتصفح.
