إنتقل إلى المحتوى الرئيسي

Ollama (محلي)

يتيح لك Ollama تشغيل نماذج LLM مفتوحة المصدر محليًا على جهازك الخاص. يتصل AISCouncil بنسخة Ollama المحلية الخاصة بك مباشرة من المتصفح -- لا حاجة لمفتاح API سحابي، وبياناتك لا تغادر جهازك أبدًا.

لماذا التشغيل محليًا؟

  • خصوصية كاملة -- محادثاتك لا تغادر جهازك أبدًا
  • لا تكاليف API -- مجاني للاستخدام، لا فوترة لكل رمز
  • لا حدود سرعة -- محدود فقط بعتادك
  • يعمل دون اتصال -- لا حاجة لاتصال إنترنت بعد تنزيل النموذج
  • لا مفتاح API -- لا شيء للإدارة أو التدوير

تثبيت Ollama

  1. نزّل وثبّت Ollama من ollama.com
  2. اسحب نموذجًا واحدًا على الأقل:
# نماذج أغراض عامة شائعة
ollama pull llama3.3 # Meta Llama 3.3 (70B)
ollama pull llama3.2 # Meta Llama 3.2 (3B، خفيف)
ollama pull mistral # Mistral 7B
ollama pull gemma2 # Google Gemma 2

# نماذج التركيز على الكود
ollama pull codellama # Meta Code Llama
ollama pull deepseek-coder # DeepSeek Coder
ollama pull qwen2.5-coder # Alibaba Qwen 2.5 Coder

# نماذج الاستدلال
ollama pull deepseek-r1 # DeepSeek R1 (أحجام متنوعة)

# نماذج الرؤية
ollama pull llava # LLaVA (رؤية + لغة)
ollama pull llama3.2-vision # Llama 3.2 Vision
  1. ابدأ خادم Ollama (يعمل تلقائيًا بعد التثبيت على معظم الأنظمة):
ollama serve

يعمل الخادم على http://localhost:11434 افتراضيًا.

تكوين CORS

خطوة مطلوبة

يفرض المتصفح قيود المصدر المشترك، لذا يجب السماح بأصل AISCouncil قبل أن يعمل Ollama. اضبط متغير البيئة OLLAMA_ORIGINS قبل بدء Ollama:

macOS / Linux:

OLLAMA_ORIGINS=* ollama serve

لجعله دائمًا (macOS/Linux)، أضف إلى ملف تعريف shell الخاص بك (~/.bashrc، ~/.zshrc):

export OLLAMA_ORIGINS=*

Windows (PowerShell):

$env:OLLAMA_ORIGINS="*"
ollama serve

Windows (بشكل دائم): اضبط OLLAMA_ORIGINS كمتغير بيئة نظام عبر خصائص النظام > متغيرات البيئة.

بدون هذا الإعداد، سيحظر المتصفح جميع الطلبات إلى Ollama API بخطأ CORS.

لا حاجة لمفتاح API

لا يتطلب Ollama مفتاح API. يستخدم AISCouncil قيمة عنصر نائب داخلية (ollama) لحقل المفتاح. لا تحتاج لإدخال أي شيء في إعدادات مفتاح API.

اكتشاف النماذج تلقائيًا

عند تحميل الصفحة، يستعلم AISCouncil عن GET /api/tags على نقطة نهاية Ollama لاكتشاف جميع النماذج المثبتة محليًا. تظهر هذه النماذج تلقائيًا في محدد النماذج عند اختيار Ollama كمزود.

لا توجد نماذج مشفرة -- كل ما سحبته محليًا سيكون متاحًا. إذا سحبت نماذج جديدة أثناء فتح التطبيق، أعد تحميل الصفحة لاكتشافها.

نقطة نهاية مخصصة

إذا كان Ollama يعمل على عنوان غير افتراضي (مثل منفذ مختلف، جهاز بعيد، أو خلف وكيل عكسي)، يمكنك تكوين نقطة النهاية:

  1. افتح الإعدادات > نموذج AI
  2. ابحث عن قسم Ollama
  3. أدخل URL نقطة النهاية المخصصة (مثل http://192.168.1.100:11434)

يتم حفظ نقطة النهاية المخصصة في localStorage تحت المفتاح ais-ollama-endpoint.

الوصول عن بُعد

إذا كنت تشغل Ollama على جهاز بعيد، تأكد من:

  1. خادم Ollama يرتبط بـ 0.0.0.0 (ليس فقط localhost): OLLAMA_HOST=0.0.0.0 ollama serve
  2. OLLAMA_ORIGINS=* مضبوط على الجهاز البعيد
  3. المنفذ (الافتراضي 11434) قابل للوصول من شبكة متصفحك

النماذج المدعومة

أي نموذج متاح في مكتبة نماذج Ollama يمكن استخدامه. الاختيارات الشائعة تشمل:

الفئةالنماذجالوصف
عامLlama 3.3، Mistral، Gemma 2، Phi-3محادثة واستدلال متعدد الأغراض
كودCodeLlama، DeepSeek Coder، Qwen 2.5 Coder، StarCoderتوليد وتحليل الكود
استدلالDeepSeek R1، Qwen2.5استدلال سلسلة الأفكار
رؤيةLLaVA، Llama 3.2 Visionفهم الصور
صغيرPhi-3 Mini، Gemma 2B، TinyLlamaأجهزة الموارد المنخفضة

متطلبات العتاد

يعتمد أداء Ollama كليًا على عتادك المحلي:

حجم النموذجالرام المطلوبGPU موصى بهنماذج مثال
1-3B4 جيجابايتاختياريTinyLlama، Phi-3 Mini
7-8B8 جيجابايت6+ جيجابايت VRAMMistral 7B، Llama 3.1 8B
13B16 جيجابايت8+ جيجابايت VRAMCodeLlama 13B
70B64 جيجابايت40+ جيجابايت VRAMLlama 3.3 70B
تلميح

لأفضل تجربة، استخدم نموذجًا يناسب VRAM لبطاقة الرسومات الخاصة بك. الاستدلال بالمعالج فقط يعمل لكنه أبطأ بكثير. النماذج المضغوطة إلى 4 بت (Q4) تتطلب تقريبًا نصف رام النسخ الكاملة الدقة.

الإعدادات

عند إنشاء ملف تعريف بوت، اختر Ollama كمزود واختر من نماذجك المتاحة محليًا. يستخدم Ollama واجهة Chat Completions API المتوافقة مع OpenAI مع تدفق SSE، لذا يتصرف بشكل مماثل للمزودين السحابيين من منظور واجهة المحادثة.

القيود

  • يجب أن يكون Ollama قيد التشغيل وقابل للوصول من المتصفح
  • جودة وسرعة النموذج تعتمد كليًا على عتادك المحلي
  • دعم الرؤية واستدعاء الأدوات يختلف حسب النموذج -- ليست كل نماذج Ollama تدعم هذه الميزات
  • قد تكون الاستجابة الأولى بعد تحميل النموذج بطيئة (النموذج يُحمّل في الذاكرة عند أول استخدام)
  • لا تكامل واجهة تفكير/استدلال لنماذج الاستدلال المحلية (مخرجات الاستدلال تظهر مضمنة)

استكشاف الأخطاء وإصلاحها

المشكلةالحل
"فشل الجلب" أو خطأ CORSاضبط OLLAMA_ORIGINS=* وأعد تشغيل Ollama
لا توجد نماذج في القائمة المنسدلةتأكد من أن ollama serve يعمل وقد سحبت نموذجًا واحدًا على الأقل
استجابات بطيئة جدًاقد لا يناسب النموذج VRAM لبطاقة الرسومات؛ جرب نموذجًا أصغر أو نسخة مضغوطة
رفض الاتصالتحقق أن Ollama يعمل على المنفذ المتوقع (الافتراضي: 11434)
نقطة النهاية المخصصة لا تعملتأكد أن URL يتضمن البروتوكول (http://) وبدون شرطة مائلة زائدة