LLM Council

LLM Council 기능을 사용하면 여러 AI 모델을 동시에 쿼리하고 응답을 단일하고 더 높은 품질의 답변으로 결합할 수 있습니다. 하나의 모델에 의존하는 대신 2개 이상의 모델로 구성된 council을 구성하여 함께 심의합니다.

Council이란?

Council은 사용자가 보내는 각 메시지에서 함께 작동하는 AI 모델 프로필 그룹입니다. 각 council 멤버는 다른 제공업체, 모델 및 시스템 프롬프트일 수 있습니다. 메시지를 보내면 모든 멤버가 응답하고, 선택적으로 서로의 작업을 검토하며, 지정된 의장이 최종 답변을 종합합니다.

Council은 다음에 특히 강력합니다:

• 연구 -- 주제에 대한 여러 관점 얻기
• 코드 리뷰 -- 다른 모델이 서로의 작업을 확인
• 의사 결정 -- 경쟁하는 관점을 비교
• 품질 보증 -- 단일 모델이 놓칠 수 있는 오류 포착

7가지 Council 스타일

각 council 스타일은 모델이 상호 작용하는 방식을 정의합니다. 사용 사례에 가장 적합한 스타일을 선택하세요.

Council (기본값)

표준 3단계 심의 파이프라인:

1. 1단계 -- 팬아웃: 메시지가 모든 멤버에게 병렬로 전송됩니다. 각 모델이 자체적으로 독립적인 응답을 생성합니다.
2. 2단계 -- 피어 리뷰: 각 멤버가 다른 멤버의 응답을 검토하고 이유와 함께 최고에서 최악으로 순위를 매깁니다.
3. 3단계 -- 의장 종합: 지정된 의장 모델이 모든 응답과 피어 리뷰를 읽은 다음 포괄적인 최종 보고서를 작성합니다.

용도: 연구, 분석, 철저한 검토가 필요한 복잡한 질문.

Compare

모든 모델이 병렬로 응답하고 응답이 그리드에서 나란히 표시됩니다. 투표, 피어 리뷰 또는 종합 단계가 없습니다.

• 1단계만 (팬아웃)
• 응답이 열로 표시
• 의장 없음, 최종 답변 없음

용도: 모델 기능 비교, 모델 간 프롬프트 테스트, 다른 모델이 동일한 질문에 접근하는 방식 확인.

Arena

모델이 헤드투헤드로 경쟁합니다. 모든 모델이 응답한 다음 피어 리뷰가 승자를 결정합니다. 최고의 응답이 승리합니다.

용도: 단일 최고 답변 찾기, 경쟁 벤치마킹.

MoA (Mixture of Agents)

각 모델이 이전 모델의 출력을 기반으로 구축하는 계층적 정제. 독립적인 병렬 응답 대신 모델이 서로의 작업을 반복적으로 개선합니다.

용도: 반복적인 개선이 도움이 되는 작업, 예: 작성 및 편집.

Router

각 쿼리에 가장 적합한 모델을 자동으로 선택하는 스마트 라우팅. 모든 모델을 쿼리하는 대신 라우터가 메시지를 분석하고 가장 적절한 단일 모델로 보냅니다.

용도: 비용 최적화, 다른 유형의 질문을 특화된 모델로 라우팅.

Debate

모델에게 반대쪽(찬성 및 반대)을 할당하고 입장을 주장:

1. 개회 논증: 각 모델이 할당된 쪽을 주장
2. 반론: 모델이 반대쪽의 주장에 응답 (구성 가능한 라운드 수)
3. 중재자 평결: 의장이 양쪽을 공정하게 분석하고 평결 전달

토론 측은 자동 할당(교대)되거나 멤버별로 수동 설정할 수 있습니다.

용도: 논쟁적인 주제 탐색, 아이디어 스트레스 테스트, 주장의 약점 찾기.

팁

council 설정에서 토론 라운드 수를 설정할 수 있습니다. 라운드가 많을수록 더 깊은 논증이지만 API 비용이 높아집니다.

Consensus

종합 단계 없이 모델이 최고의 답변에 투표:

1. 모든 모델이 독립적으로 응답 (팬아웃)
2. 각 모델이 다른 응답을 검토하고 순위 매김 (피어 리뷰)
3. 가장 높은 투표 점수를 받은 응답이 최종 답변으로 선택됨

의장 종합 없음 -- 승리한 응답이 있는 그대로 사용됨.

용도: 종합된 요약보다 군중의 선택을 원할 때.

Council 만들기

마법사 사용 (새 사용자)

1. 마법사가 나타나면 0단계에서 Cluster 선택
2. 프리셋 탭에서 모델 선택 또는 사용자 정의 모델 추가
3. 각 제공업체에 대한 API 키 연결 (무료 모델은 건너뜀)
4. council 설정 구성: 이름, 아이콘, 스타일 및 멤버 요약
5. Ready 클릭하여 council 생성

설정에서 (기존 사용자)

1. 설정 열고 프로필 탭으로 이동
2. 프로필 선택기를 사용하여 멤버 추가 (각 멤버는 저장된 프로필 참조)
3. 스타일 그리드에서 council 스타일 설정
4. 의장, 투표 모드 및 라운드 수 구성
5. 프로필 저장

정보

Council 멤버는 항상 프로필 참조입니다. 먼저 개별 프로필(모델당 하나)을 만든 다음 council로 조립합니다. 이를 통해 여러 councils에서 동일한 프로필을 재사용할 수 있습니다.

Council 멤버

각 council 멤버는 council 기본값을 재정의할 수 있는 자체 설정이 있습니다:

설정	설명
프로필	사용할 저장된 프로필 (제공업체 + 모델)
시스템 프롬프트	멤버의 기본 시스템 프롬프트 재정의
온도	이 멤버의 온도 재정의
최대 토큰	최대 출력 토큰 재정의
추론 노력	사고/추론 수준 설정 (끔, 낮음, 보통, 높음, 최고)
토론 측	토론 스타일용: 찬성, 반대 또는 자동 할당

멤버는 council 출력에서 식별을 위해 A, B, C 등으로 레이블이 지정됩니다.

의장 역할

의장은 council, arena 및 토론 스타일에서 최종 답변을 종합하는 모델입니다. 기본적으로 첫 번째 멤버(A)가 의장이지만 council 설정에서 변경할 수 있습니다.

의장은 다음을 받습니다:

• 원래 사용자 메시지
• 1단계의 모든 멤버 응답
• 2단계의 모든 피어 리뷰 순위
• 포괄적인 연구 보고서를 작성하는 지침

팁

가장 유능한 모델을 의장으로 선택하세요. 의장이 가장 무거운 작업을 수행합니다 -- 다른 모든 응답을 처리하고 일관된 종합을 생성해야 합니다.

투표 모드

피어 리뷰가 활성화되면 멤버가 서로의 응답 순위를 매깁니다. 투표 모드는 순위가 집계되는 방식을 결정합니다:

모드	작동 방식
가중치	멤버가 순위 위치에 따라 점수 획득. 1위는 N점, 2위는 N-1점 등.
다수결	1위 투표만 계산. 가장 많은 1위 순위를 받은 응답이 승리.

투표 점수는 각 멤버의 응답 옆에 최종 출력에 표시됩니다.

비용 추정

Council 실행은 멤버 수와 단계 수만큼 API 사용량을 곱합니다. 메시지를 보내기 전에 플랫폼은 다음을 기반으로 비용을 추정합니다:

• 멤버 수
• 단계 수 (스타일에 따라 다름)
• 예상 토큰 수
• 레지스트리의 모델별 가격

비용 추정은 각 응답 후 council 출력 푸터에 표시됩니다:

API 호출: 7 | 토큰: 24,531 | 예상 비용: $0.1847

경고

많은 멤버와 유료 모델이 있는 Council은 비용이 많이 들 수 있습니다. 비교 모드가 가장 저렴하고(1단계만), 여러 라운드의 전체 council 또는 토론이 가장 비쌉니다.

실시간 스트리밍

Council 심의가 실시간으로 스트리밍됩니다. 1단계에서는 각 멤버의 응답이 생성되면서 그리드에 나타나는 것을 볼 수 있습니다. 상태 표시기는 어떤 멤버가 사고 중, 스트리밍 중, 완료 또는 실패인지 보여줍니다.

3단계에서는 의장의 종합이 일반 채팅 응답처럼 토큰별로 스트리밍됩니다.

사용 사례 예시

스타일	사용 사례	예시 멤버
Council	기술 주제에 대한 연구 보고서	Claude (분석적) + GPT-4o (광범위) + Grok (반론)
Compare	모델 간 프롬프트 테스트	Gemini Flash + Claude Haiku + GPT-4o mini
Arena	최고의 코드 솔루션 찾기	Claude Sonnet + GPT-4o + DeepSeek Coder
MoA	블로그 게시물 다듬기	GPT-4o (초안) + Claude (편집) + Gemini (폴리시)
Router	혼합 일일 사용	수학 모델 + 코드 모델 + 창작 모델
Debate	마이크로서비스를 사용해야 할까?	찬성 2개 모델 + 반대 2개 모델
Consensus	어떤 프레임워크를 사용할까?	3-5개 다양한 모델 투표

무료 모델 Councils

무료 모델(OpenRouter 무료 티어, Gemini 무료 티어)만으로 councils를 구축할 수 있습니다. 플랫폼은 무료 모델에 대한 속도 제한을 자동으로 처리하기 위해 병렬 대신 순차적으로 요청을 보냅니다.

노트

무료 모델은 낮은 속도 제한(일반적으로 분당 8회 요청)이 있습니다. 순차 실행은 council 심의에 더 오래 걸리지만 속도 제한에 도달하지 않고 안정적으로 작동합니다.