LLM-Council
Die LLM-Council-Funktion ermöglicht es Ihnen, mehrere KI-Modelle gleichzeitig abzufragen und ihre Antworten zu einer einzigen, qualitativ hochwertigeren Antwort zu kombinieren. Anstatt sich auf ein Modell zu verlassen, stellen Sie ein Council aus 2 oder mehr Modellen zusammen, die gemeinsam beraten.
Was ist ein Council?
Ein Council ist eine Gruppe von KI-Modell-Profilen, die bei jeder Nachricht zusammenarbeiten, die Sie senden. Jedes Council-Mitglied kann ein anderer Anbieter, ein anderes Modell und ein anderer System-Prompt sein. Wenn Sie eine Nachricht senden, antworten alle Mitglieder, überprüfen optional die Arbeit der anderen, und ein designierter Vorsitzender synthetisiert die endgültige Antwort.
Councils sind besonders mächtig für:
- Recherche -- mehrere Perspektiven zu einem Thema erhalten
- Code-Review -- verschiedene Modelle lassen sich gegenseitig überprüfen
- Entscheidungsfindung -- konkurrierende Standpunkte abwägen
- Qualitätssicherung -- Fehler erkennen, die ein einzelnes Modell übersehen könnte
7 Council-Stile
Jeder Council-Stil definiert, wie die Modelle interagieren. Wählen Sie den Stil, der am besten zu Ihrem Anwendungsfall passt.
Council (Standard)
Die standardmäßige 3-Phasen-Beratungspipeline:
- Phase 1 -- Fan-Out: Ihre Nachricht wird parallel an alle Mitglieder gesendet. Jedes Modell generiert seine eigene unabhängige Antwort.
- Phase 2 -- Peer-Review: Jedes Mitglied überprüft die Antworten der anderen Mitglieder und rangiert sie von besten zum schlechtesten mit Begründung.
- Phase 3 -- Vorsitzender-Synthese: Ein designierter Vorsitzender liest alle Antworten und Peer-Reviews und erstellt dann einen umfassenden Abschlussbericht.
Am besten für: Recherche, Analyse, komplexe Fragen, bei denen Sie gründliche Abdeckung wünschen.
Vergleichen
Alle Modelle antworten parallel, und ihre Antworten werden seite-weise in einem Raster angezeigt. Es gibt keine Abstimmung, kein Peer-Review und keinen Synthese-Schritt.
- Nur Phase 1 (Fan-Out)
- Antworten in Spalten angezeigt
- Kein Vorsitzender, keine endgültige Antwort
Am besten für: Vergleich von Modellfähigkeiten, Testen von Prompts über Modelle hinweg, Sehen, wie verschiedene Modelle dieselbe Frage angehen.
Arena
Modelle treten Kopf-an-Kopf gegeneinander an. Alle Modelle antworten, dann bestimmt das Peer-Review einen Gewinner. Die beste Antwort gewinnt.
Am besten für: Finden der einzelnen besten Antwort, wettbewerbsfähiges Benchmarking.
MoA (Mixture of Agents)
Geschichtete Verfeinerung, bei der jedes Modell auf der Ausgabe des vorherigen Modells aufbaut. Anstatt unabhängige parallele Antworten zu geben, verbessern Modelle iterativ die Arbeit der anderen.
Am besten für: Aufgaben, die von iterativer Verbesserung profitieren, wie Schreiben und Bearbeiten.
Router
Intelligentes Routing, das automatisch das beste Modell für jede Anfrage auswählt. Anstatt alle Modelle abzufragen, analysiert der Router Ihre Nachricht und sendet sie an das einzelne am besten geeignete Modell.
Am besten für: Kostenoptimierung, Routing verschiedener Fragetypen an spezialisierte Modelle.
Debatte
Modellen werden entgegengesetzte Seiten zugewiesen (FÜR und GEGEN) und argumentieren ihre Positionen:
- Eröffnungsargumente: Jedes Modell argumentiert für seine zugewiesene Seite
- Erwiderungen: Modelle reagieren auf die Argumente der Gegenseite (konfigurierbare Anzahl von Runden)
- Moderatoren-Urteil: Der Vorsitzende analysiert beide Seiten fair und fällt ein Urteil
Debatten-Seiten werden automatisch zugewiesen (abwechselnd) oder können manuell pro Mitglied gesetzt werden.
Am besten für: Erkunden kontroverser Themen, Stress-Testen von Ideen, Finden von Schwächen in Argumenten.
Sie können die Anzahl der Debatte-Runden in den Council-Einstellungen setzen. Mehr Runden bedeuten tiefere Argumentation, aber höhere API-Kosten.
Konsens
Modelle stimmen über die beste Antwort ab, ohne einen Synthese-Schritt:
- Alle Modelle antworten unabhängig (Fan-Out)
- Jedes Modell überprüft und rangiert die anderen Antworten (Peer-Review)
- Die Antwort mit der höchsten Stimmenpunktzahl wird als endgültige Antwort ausgewählt
Keine Vorsitzender-Synthese -- die gewinnende Antwort wird wie sie ist verwendet.
Am besten für: Wenn Sie die Wahl der Menge wollen, anstatt einer synthetisierten Zusammenfassung.
Ein Council erstellen
Mit dem Assistenten (Neue Benutzer)
- Wenn der Assistent erscheint, wählen Sie Cluster bei Schritt 0
- Wählen Sie Modelle aus dem Voreinstellungen-Tab oder fügen Sie benutzerdefinierte Modelle hinzu
- Verbinden Sie API-Schlüssel für jeden Anbieter (übersprungen für kostenlose Modelle)
- Konfigurieren Sie Council-Einstellungen: Name, Symbol, Stil und Mitglieder-Zusammenfassung
- Klicken Sie auf Bereit, um das Council zu erstellen
Aus Einstellungen (Bestehende Benutzer)
- Öffnen Sie Einstellungen und gehen Sie zum Tab Profil
- Fügen Sie Mitglieder mit dem Profil-Auswähler hinzu (jedes Mitglied referenziert ein gespeichertes Profil)
- Setzen Sie den Council-Stil aus dem Stil-Raster
- Konfigurieren Sie den Vorsitzenden, Abstimmungsmodus und Anzahl der Runden
- Speichern Sie das Profil
Council-Mitglieder sind immer Profil-Referenzen. Erstellen Sie zuerst einzelne Profile (eins pro Modell), dann stellen Sie sie zu einem Council zusammen. Dies lässt Sie dasselbe Profil über mehrere Councils hinweg wiederverwenden.
Council-Mitglieder
Jedes Council-Mitglied hat seine eigenen Einstellungen, die die Council-Standards überschreiben können:
| Einstellung | Beschreibung |
|---|---|
| Profil | Welches gespeicherte Profil (Anbieter + Modell) zu verwenden ist |
| System-Prompt | Überschreibt den Standard-System-Prompt des Mitglieds |
| Temperatur | Überschreibt Temperatur für dieses Mitglied |
| Max. Tokens | Überschreibt maximale Ausgabe-Tokens |
| Reasoning-Aufwand | Setzt Thinking/Reasoning-Level (Aus, Niedrig, Mittel, Hoch, Höchstes) |
| Debatten-Seite | Für Debatten-Stil: Für, Gegen oder Auto zuweisen |
Mitglieder werden mit A, B, C usw. zur Identifikation in der Council-Ausgabe beschriftet.
Vorsitzender-Rolle
Der Vorsitzende ist das Modell, das für die Synthese der endgültigen Antwort in Council-, Arena- und Debatten-Stilen verantwortlich ist. Standardmäßig ist das erste Mitglied (A) der Vorsitzende, aber Sie können dies in den Council-Einstellungen ändern.
Der Vorsitzende erhält:
- Die ursprüngliche Benutzernachricht
- Alle Mitglieder-Antworten aus Phase 1
- Alle Peer-Review-Rangfolgen aus Phase 2
- Anweisungen, einen umfassenden Forschungsbericht zu erstellen
Wählen Sie Ihr fähigstes Modell als Vorsitzenden. Der Vorsitzende leistet die schwerste Arbeit -- er muss alle anderen Antworten verarbeiten und eine kohärente Synthese erstellen.
Abstimmungsmodi
Wenn Peer-Review aktiviert ist, rangieren Mitglieder die Antworten der anderen. Der Abstimmungsmodus bestimmt, wie diese Rangfolgen gezählt werden:
| Modus | Wie es funktioniert |
|---|---|
| Gewichtet | Mitglieder erhalten Punkte basierend auf Rangposition. Erster Platz bekommt N Punkte, zweiter bekommt N-1, usw. |
| Pluralität | Nur Erstplatz-Stimmen zählen. Die Antwort mit den meisten Erstplatz-Rangierungen gewinnt. |
Stimmenpunktzahlen werden in der endgültigen Ausgabe neben der Antwort jedes Mitglieds angezeigt.
Kostenschätzung
Das Ausführen eines Councils vervielfacht die API-Nutzung um die Anzahl der Mitglieder und Phasen. Bevor Sie eine Nachricht senden, schätzt die Plattform die Kosten basierend auf:
- Anzahl der Mitglieder
- Anzahl der Phasen (variiert nach Stil)
- Erwartete Token-Anzahlen
- Pro-Modell-Preise aus der Registry
Die Kostenschätzung wird im Council-Ausgabe-Footer nach jeder Antwort angezeigt:
API-Aufrufe: 7 | Tokens: 24.531 | Geschätzte Kosten: 0,1847$
Councils mit vielen Mitgliedern und bezahlten Modellen können teuer sein. Vergleichs-Modus ist der günstigste (nur Phase 1), während volles Council oder Debatte mit mehreren Runden am teuersten ist.
Live-Streaming
Council-Beratung streamt in Echtzeit. Während Phase 1 sehen Sie, wie die Antwort jedes Mitglieds in einem Raster erscheint, während sie generiert wird. Status-Indikatoren zeigen, welche Mitglieder denken, streamen, fertig sind oder fehlgeschlagen sind.
Während Phase 3 streamt die Synthese des Vorsitzenden Token-für-Token, genau wie eine reguläre Chat-Antwort.
Beispiel-Anwendungsfälle
| Stil | Anwendungsfall | Beispiel-Mitglieder |
|---|---|---|
| Council | Forschungsbericht zu einem technischen Thema | Claude (analytisch) + GPT-4o (breit) + Grok (konträr) |
| Vergleichen | Testen eines Prompts über Modelle | Gemini Flash + Claude Haiku + GPT-4o mini |
| Arena | Finden der besten Code-Lösung | Claude Sonnet + GPT-4o + DeepSeek Coder |
| MoA | Polieren eines Blog-Posts | GPT-4o (Entwurf) + Claude (Bearbeitung) + Gemini (Politur) |
| Router | Gemischter täglicher Gebrauch | Mathe-Modell + Code-Modell + Kreativ-Modell |
| Debatte | Sollten wir Microservices verwenden? | 2 Modelle FÜR + 2 Modelle GEGEN |
| Konsens | Welches Framework verwenden? | 3-5 verschiedene Modelle stimmen ab |
Kostenlose Modell-Councils
Sie können Councils vollständig aus kostenlosen Modellen aufbauen (OpenRouter kostenlose Stufe, Gemini kostenlose Stufe). Die Plattform behandelt automatisch Ratenbegrenzung für kostenlose Modelle, indem sie Anfragen sequenziell statt parallel sendet.
Kostenlose Modelle haben niedrigere Ratenlimits (typischerweise 8 Anfragen pro Minute). Sequenzielle Ausführung bedeutet, dass Council-Beratung länger dauert, aber sie funktioniert zuverlässig ohne Ratenlimits zu treffen.