جان: مساعد محلي يركز على الخصوصية للعمل على نموذج اللغة الكبير على الجهاز
جان، الذي طوره دليل فريق جان، هو مساعد مكتبي يركز على الخصوصية يعمل على نماذج لغوية كبيرة على جهاز ماك الخاص بالمستخدم من أجل تفاعلات خاصة وغير متصلة بالإنترنت. يعمل كبيئة تنفيذ محلية مع متصفح نموذج مدمج ودعم استعلام الوثائق، بالإضافة إلى التوافق مع العملاء الخارجيين. تستهدف التطبيق الأفراد المهتمين بالخصوصية، والباحثين، والمطورين الذين يحتاجون إلى الذكاء الاصطناعي المحلي لاستجواب الوثائق، وصياغة، والترميز، وسير العمل التجريبية.
ما هي المهام الحقيقية التي يتعامل معها الأداة للمستخدمين؟
تنتج التطبيق مخرجات محادثات، أسئلة وأجوبة حول الوثائق، مساعدة في البرمجة، وتوليد محتوى قصير من خلال نماذج مفتوحة المصدر قابلة للاختيار. تشمل أسماء النماذج المدعومة Llama 3، Mistral، Phi-3، وDeepSeek، وتعرض الواجهة خيارات النماذج من مركز مدمج حتى يتمكن المستخدمون من تجربة نماذج متعددة لمهام محددة. تشمل سير العمل النموذجية صياغة النصوص، تلخيص الملاحظات، تصحيح الشفرات، والبحث في الملفات الخاصة عن إجابات.
ما مدى موثوقية مخرجاتها للعمل العملي؟
تعتمد جودة المخرجات على النموذج المختار وخصوصية الطلب؛ تستهدف النماذج المختلفة توازنات مختلفة بين الإيجاز والحقائق. تستخدم الأداة نماذج المجتمع في تنسيقات قياسية، لذا تعكس الردود المولدة بيانات التدريب وسلوك كل نموذج. بالنسبة للقرارات القانونية أو التقنية أو الواقعية ذات المخاطر العالية، خطط للتحقق من النتائج مع مصادر مستقلة واعتبر الإجابات المولدة كنقاط انطلاق بدلاً من بيانات موثوقة.
ما المدخلات، التنسيقات، والأجهزة التي تحتاجها؟
يقبل التطبيق حزم النماذج في تنسيقات مفتوحة شائعة ويسحب النماذج من مركز النماذج المدمج المرتبط بالمستودعات العامة. يدعم محركات مثل وقت التشغيل المتوافق مع GGUF ومسارات تسريع GPU بما في ذلك Metal لسلسلة M من Apple وTensorRT لمسرعات NVIDIA. بعد التنزيلات الأولية، تعمل الأداة بدون الوصول إلى الشبكة، وتُخزن سجلات الدردشة بالإضافة إلى الوثائق المستوردة محليًا في مجلد يتحكم فيه المستخدم.
ما مدى ملاءمتها لعمليات المطورين والبحث الحالية؟
يوفر مكون الخادم المحلي نقطة نهاية متوافقة مع API يمكن للتطبيقات الأخرى الاستعلام عنها، لذا يمكن أن تعمل الأداة كخلفية خاصة للبرامج النصية والخدمات المحلية. تستخدم الإضافات بروتوكول سياق النموذج لإضافة مهام مثل إجراءات الوكلاء وتنفيذ الشفرات، وتتيح رخصة AGPLv3 تدقيق داخلي لها. تسلط تقارير المجتمع الضوء على سهولة التثبيت مقارنة بالعديد من أنظمة LLM المحلية، على الرغم من أن المسؤولين يتعاملون مع تحديثات النماذج وفحوصات التوافق.
من يجب أن يختار هذه الأداة وماذا تتوقع بعد ذلك
جان هو خيار عملي للأشخاص والفرق الذين يفضلون التحكم في البيانات والذين يقبلون إدارة النماذج بشكل عملي وصيانة التوافق بين الحين والآخر. توقع اختبار النماذج وتركيبات الأجهزة للعثور على حل وسط مقبول بين السرعة وجودة الإخراج؛ تحقق من المخرجات الحرجة بشكل مستقل. التطبيق يناسب الباحثين والمهندسين الذين يفضلون الذكاء الاصطناعي المحلي ويمكنهم استثمار الوقت في اختيار النماذج وصيانتها.
