Ollama (محلي)
يتيح لك Ollama تشغيل نماذج LLM مفتوحة المصدر محليًا على جهازك الخاص. يتصل AISCouncil بنسخة Ollama المحلية الخاصة بك مباشرة من المتصفح -- لا حاجة لمفتاح API سحابي، وبياناتك لا تغادر جهازك أبدًا.
لماذا التشغيل محليًا؟
- خصوصية كاملة -- محادثاتك لا تغادر جهازك أبدًا
- لا تكاليف API -- مجاني للاستخدام، لا فوترة لكل رمز
- لا حدود سرعة -- محدود فقط بعتادك
- يعمل دون اتصال -- لا حاجة لاتصال إنترنت بعد تنزيل النموذج
- لا مفتاح API -- لا شيء للإدارة أو التدوير
تثبيت Ollama
- نزّل وثبّت Ollama من ollama.com
- اسحب نموذجًا واحدًا على الأقل:
# نماذج أغراض عامة شائعة
ollama pull llama3.3 # Meta Llama 3.3 (70B)
ollama pull llama3.2 # Meta Llama 3.2 (3B، خفيف)
ollama pull mistral # Mistral 7B
ollama pull gemma2 # Google Gemma 2
# نماذج التركيز على الكود
ollama pull codellama # Meta Code Llama
ollama pull deepseek-coder # DeepSeek Coder
ollama pull qwen2.5-coder # Alibaba Qwen 2.5 Coder
# نماذج الاستدلال
ollama pull deepseek-r1 # DeepSeek R1 (أحجام متنوعة)
# نماذج الرؤية
ollama pull llava # LLaVA (رؤية + لغة)
ollama pull llama3.2-vision # Llama 3.2 Vision
- ابدأ خادم Ollama (يعمل تلقائيًا بعد التثبيت على معظم الأنظمة):
ollama serve
يعمل الخادم على http://localhost:11434 افتراضيًا.
تكوين CORS
يفرض المتصفح قيود المصدر المشترك، لذا يجب السماح بأصل AISCouncil قبل أن يعمل Ollama. اضبط متغير البيئة OLLAMA_ORIGINS قبل بدء Ollama:
macOS / Linux:
OLLAMA_ORIGINS=* ollama serve
لجعله دائمًا (macOS/Linux)، أضف إلى ملف تعريف shell الخاص بك (~/.bashrc، ~/.zshrc):
export OLLAMA_ORIGINS=*
Windows (PowerShell):
$env:OLLAMA_ORIGINS="*"
ollama serve
Windows (بشكل دائم): اضبط OLLAMA_ORIGINS كمتغير بيئة نظام عبر خصائص النظام > متغيرات البيئة.
بدون هذا الإعداد، سيحظر المتصفح جميع الطلبات إلى Ollama API بخطأ CORS.
لا حاجة لمفتاح API
لا يتطلب Ollama مفتاح API. يستخدم AISCouncil قيمة عنصر نائب داخلية (ollama) لحقل المفتاح. لا تحتاج لإدخال أي شيء في إعدادات مفتاح API.
اكتشاف النماذج تلقائيًا
عند تحميل الصفحة، يستعلم AISCouncil عن GET /api/tags على نقطة نهاية Ollama لاكتشاف جميع النماذج المثبتة محليًا. تظهر هذه النماذج تلقائيًا في محدد النماذج عند اختيار Ollama كمزود.
لا توجد نماذج مشفرة -- كل ما سحبته محليًا سيكون متاحًا. إذا سحبت نماذج جديدة أثناء فتح التطبيق، أعد تحميل الصفحة لاكتشافها.
نقطة نهاية مخصصة
إذا كان Ollama يعمل على عنوان غير افتراضي (مثل منفذ مختلف، جهاز بعيد، أو خلف وكيل عكسي)، يمكنك تكوين نقطة النهاية:
- افتح الإعدادات > نموذج AI
- ابحث عن قسم Ollama
- أدخل URL نقطة النهاية المخصصة (مثل
http://192.168.1.100:11434)
يتم حفظ نقطة النهاية المخصصة في localStorage تحت المفتاح ais-ollama-endpoint.
إذا كنت تشغل Ollama على جهاز بعيد، تأكد من:
- خادم Ollama يرتبط بـ
0.0.0.0(ليس فقطlocalhost):OLLAMA_HOST=0.0.0.0 ollama serve OLLAMA_ORIGINS=*مضبوط على الجهاز البعيد- المنفذ (الافتراضي 11434) قابل للوصول من شبكة متصفحك
النماذج المدعومة
أي نموذج متاح في مكتبة نماذج Ollama يمكن استخدامه. الاختيارات الشائعة تشمل:
| الفئة | النماذج | الوصف |
|---|---|---|
| عام | Llama 3.3، Mistral، Gemma 2، Phi-3 | محادثة واستدلال متعدد الأغراض |
| كود | CodeLlama، DeepSeek Coder، Qwen 2.5 Coder، StarCoder | توليد وتحليل الكود |
| استدلال | DeepSeek R1، Qwen2.5 | استدلال سلسلة الأفكار |
| رؤية | LLaVA، Llama 3.2 Vision | فهم الصور |
| صغير | Phi-3 Mini، Gemma 2B، TinyLlama | أجهزة الموارد المنخفضة |
متطلبات العتاد
يعتمد أداء Ollama كليًا على عتادك المحلي:
| حجم النموذج | الرام المطلوب | GPU موصى به | نماذج مثال |
|---|---|---|---|
| 1-3B | 4 جيجابايت | اختياري | TinyLlama، Phi-3 Mini |
| 7-8B | 8 جيجابايت | 6+ جيجابايت VRAM | Mistral 7B، Llama 3.1 8B |
| 13B | 16 جيجابايت | 8+ جيجابايت VRAM | CodeLlama 13B |
| 70B | 64 جيجابايت | 40+ جيجابايت VRAM | Llama 3.3 70B |
لأفضل تجربة، استخدم نموذجًا يناسب VRAM لبطاقة الرسومات الخاصة بك. الاستدلال بالمعالج فقط يعمل لكنه أبطأ بكثير. النماذج المضغوطة إلى 4 بت (Q4) تتطلب تقريبًا نصف رام النسخ الكاملة الدقة.
الإعدادات
عند إنشاء ملف تعريف بوت، اختر Ollama كمزود واختر من نماذجك المتاحة محليًا. يستخدم Ollama واجهة Chat Completions API المتوافقة مع OpenAI مع تدفق SSE، لذا يتصرف بشكل مماثل للمزودين السحابيين من منظور واجهة المحادثة.
القيود
- يجب أن يكون Ollama قيد التشغيل وقابل للوصول من المتصفح
- جودة وسرعة النموذج تعتمد كليًا على عتادك المحلي
- دعم الرؤية واستدعاء الأدوات يختلف حسب النموذج -- ليست كل نماذج Ollama تدعم هذه الميزات
- قد تكون الاستجابة الأولى بعد تحميل النموذج بطيئة (النموذج يُحمّل في الذاكرة عند أول استخدام)
- لا تكامل واجهة تفكير/استدلال لنماذج الاستدلال المحلية (مخرجات الاستدلال تظهر مضمنة)
استكشاف الأخطاء وإصلاحها
| المشكلة | الحل |
|---|---|
| "فشل الجلب" أو خطأ CORS | اضبط OLLAMA_ORIGINS=* وأعد تشغيل Ollama |
| لا توجد نماذج في القائمة المنسدلة | تأكد من أن ollama serve يعمل وقد سحبت نموذجًا واحدًا على الأقل |
| استجابات بطيئة جدًا | قد لا يناسب النموذج VRAM لبطاقة الرسومات؛ جرب نموذجًا أصغر أو نسخة مضغوطة |
| رفض الاتصال | تحقق أن Ollama يعمل على المنفذ المتوقع (الافتراضي: 11434) |
| نقطة النهاية المخصصة لا تعمل | تأكد أن URL يتضمن البروتوكول (http://) وبدون شرطة مائلة زائدة |