모니터링 & 분석¶

Squad는 에이전트 팀의 성능을 이해할 수 있도록 실시간 모니터링, 상세 실행 이력, 분석 기능을 제공합니다.

모니터링 대시보드¶

Squad 모니터링 대시보드는 실행 중 제어 센터 역할을 합니다. 일곱 개의 탭으로 정보를 구성합니다:

개요 탭¶

개요 탭은 Squad의 현재 상태 요약을 보여줍니다. 어떤 Squad에서든 에이전트가 도구 실행 승인을 기다리고 있으면, 탭 상단(주요 지표 위)에 승인 대기 중 섹션이 고정 표시됩니다. 이 섹션은 모든 Squad의 대기 중인 요청을 한곳에 집계하므로, 다른 Squad를 보고 있는 동안에도 승인 요청을 놓치지 않을 수 있습니다.

각 행에는 에이전트 ID, 승인을 요청한 도구 이름, 위험 수준 배지(safe, low, medium, high, critical)가 표시됩니다. 행을 클릭하면 해당 요청에 대한 승인 대화상자가 열립니다. 대기 중인 승인이 모두 처리되면 섹션은 자동으로 사라집니다.

주요 지표¶

대시보드 상단에 세 가지 핵심 지표가 한눈에 표시됩니다:

• 활성/전체 에이전트 — 전체 구성된 에이전트 중 현재 실행 중인 수
• 세션 토큰 — 현재 세션에서 모든 에이전트가 소비한 누적 토큰 수
• 실행 단계 — Squad 실행의 현재 단계 (유휴, 계획 중, 실행 중, 집계 중 등)

에이전트 활동¶

주요 지표 아래에 에이전트 활동 섹션이 있고, 섹션 헤더의 목록/그리드 토글로 두 가지 레이아웃 중 하나를 선택할 수 있습니다.

목록 보기는 에이전트를 단일 목록으로 나열합니다. 각 행에는 Squad 이름, 에이전트 이름, 상태 배지, 현재 작업 미리보기가 표시되며, 긴급도 순으로 정렬됩니다(실행 중, 승인 대기 중, 오류, 유휴 순).

그리드 보기는 에이전트를 카드 형태로 반응형 그리드에 표시합니다(모바일 1열, 태블릿 2열, 데스크탑 3열). 각 카드에는 에이전트 이름, 상태, 토큰 사용량, 마지막 활동이 표시됩니다.

두 보기 모두 같은 필터를 사용합니다:

• 이름 필터 — 에이전트 이름으로 필터링합니다 (대소문자 구분 없이, 150ms 디바운스 적용).
• 상태 칩 — Running, Waiting, Error 칩을 클릭하면 해당 상태의 에이전트만 표시됩니다. 칩에는 해당 상태의 에이전트 수가 표시되며, 해당 상태의 에이전트가 없으면 칩 자체가 사라집니다.

행이나 카드를 클릭하면 /squad/{squadId}/agent/{agentId} 경로의 에이전트 상세 뷰로 이동합니다. 에이전트가 없으면 빈 상태 메시지가 표시되고, 필터가 활성화되어 있지만 일치하는 항목이 없으면 "일치 항목 없음" 메시지가 표시됩니다.

실행 타임라인¶

에이전트 활동 섹션 아래에 실행 타임라인이 있는데, 각 에이전트의 상태 전환을 가로 방향 수영 레인으로 보여줍니다. 각 색상 블록은 전환 하나를 나타내며, 해당 상태에서 머문 시간에 비례해 너비가 결정됩니다.

색상은 에이전트 상태에 대응합니다. 실행 중은 녹색, 오류는 빨간색, 생성됨은 노란색/황색, 완료는 파란색, 유휴는 회색입니다. 블록에 마우스를 올리면 상태 레이블, 지속 시간, 타임스탬프, 오류 원인(해당하는 경우)이 담긴 툴팁이 표시됩니다.

수영 레인 아래의 시간 축은 가장 이른 기록 이벤트부터 현재까지의 상대 타임스탬프를 보여줍니다. 아직 상태 전환이 기록되지 않은 경우 안내 메시지가 표시되고, 에이전트가 실행되면 자동으로 채워집니다.

활동 피드¶

Squad 이벤트의 시간순 로그로, 다음을 포함합니다:

• 에이전트 세션 시작/중지
• 태스크 할당, 시작, 완료 또는 실패
• 메모리 업데이트
• 워크스페이스 파일 변경
• 예산 경고 및 초과

피드는 실시간으로 업데이트되며 최근 200개 항목을 유지합니다. 피드에 나타나는 이벤트 유형:

• 에이전트 시작, 완료 또는 오류
• 태스크 생성 또는 완료
• 전체 실행 완료

예산 미터¶

예산 미터(개요 탭 상단에 표시)는 Squad에 구성된 토큰 및 비용 한도에 대한 실시간 진행률을 표시합니다. Squad가 실행 중일 때 애니메이션됩니다. 한도 설정에 대한 자세한 내용은 예산 & 안전을 참조하세요.

채팅 탭¶

채팅 탭은 Squad와 대화형으로 상호작용하기 위한 인터페이스를 제공합니다. 다음 용도로 사용합니다:

• Squad에 새 태스크 또는 질문 전송
• 에이전트 실행 중 스트리밍 응답 모니터링
• 현재 세션의 대화 이력 검토

태스크 보드¶

태스크 보드 탭은 현재 실행의 모든 태스크를 칸반 스타일로 보여줍니다:

각 태스크 카드에 표시되는 정보:

• 태스크 제목과 할당된 에이전트
• 우선순위 수준 (색상 코드)
• 다른 태스크에 대한 의존성
• 결과 요약 또는 오류 메시지 (해당하는 경우)

태스크 카드를 클릭하면 전체 설명, 출력, 로그, 토큰 사용량이 포함된 태스크 상세 패널이 열립니다. 이 패널에서 태스크를 직접 관리할 수도 있습니다:

• 수정: 태스크가 대기, 준비, 할당 상태일 때 제목, 설명, 우선순위, 의존성, 재시도 상한을 편집합니다. 에이전트가 이미 태스크를 실행 중이면 설명, 우선순위, 재시도 상한만 편집할 수 있습니다.
• 재시도: 실패하거나 취소된 태스크를 다시 큐에 넣습니다. 재시도 횟수를 모두 소진한 태스크는 버튼이 추가 시도 재시도로 바뀌며, 이는 명시적으로 선택해야 합니다.
• 재할당: 대기, 준비, 할당 상태인 태스크를 다른 에이전트에게 재할당하거나 할당을 해제합니다.
• 삭제: 태스크를 삭제합니다. 에이전트가 실제로 작업 중인 태스크를 삭제하려면 먼저 해당 작업을 취소하도록 확인을 요청합니다.

워크스페이스 탭¶

워크스페이스 탭은 Squad 워크스페이스 디렉터리의 파일 탐색기를 제공합니다. 다음을 수행할 수 있습니다:

• 에이전트가 생성한 디렉터리와 파일 탐색 및 미리보기
• 로그, 플랜, 태스크 출력, 생성된 산출물 확인

토론 탭¶

토론 탭은 Squad 토론의 시작 화면입니다. 여러 에이전트가 공유 주제에 순서를 정해 응답하는 구조화된 대화 공간으로, 오케스트레이터가 발언 순서와 예산을 관리합니다. 탭에는 생성 패널, 진행 중 목록, 완료 히스토리가 있습니다. 토론을 열면 /squad/<squad-id>/discussion/<discussion-id> 전용 페이지로 이동하므로, 탭 안의 카드에 갇히지 않고 대화록이 콘텐츠 영역 전체를 사용합니다.

토론 만들기¶

탭 왼쪽의 새 토론 시작 카드가 생성 폼입니다. 토론 주제 입력란(탭을 열면 자동으로 포커스되며 최대 1,024바이트)에 질문이나 과제를 적고, 모드와 턴 예산(1~100회)을 정합니다. 참여자는 기본으로 Squad의 전체 에이전트로 설정되며, 일부만 선택하는 것도 가능합니다. 토론 만들기를 누르면 룸이 열립니다. 룸을 만드는 것과 시작하는 것은 별개이므로, 에이전트가 발언을 시작해야 할 때 룸 헤더의 시작 버튼이나 빈 대화록에 표시되는 시작 동작을 누릅니다.

토론 룸 페이지¶

룸은 헤더 한 줄과 그 아래 전체 높이 대화록으로 구성되며, 에이전트별 채팅 페이지와 같은 구조입니다.

헤더 왼쪽은 정체성을 담당합니다. 토론 탭으로 돌아가는 뒤로 가기 버튼, 주제(클릭하면 같은 Squad의 다른 토론으로 전환할 수 있고 진행 중 토론이 완료 토론보다 위에 표시됩니다), 상태 배지, 턴 카운터, 참여자 아바타 스택이 있습니다. 현재 발언 중인 에이전트는 아바타에 링 표시가 붙으므로 산출물 패널을 닫아 두어도 발언 순서를 따라갈 수 있습니다.

헤더 오른쪽은 동작을 담당합니다. 모드·턴 예산·스트리밍을 요약한 설정 칩(클릭하면 네 가지 설정이 모두 들어 있는 팝오버가 열립니다), 현재 상태에 맞는 라이프사이클 버튼 하나(재생 아이콘이 붙은 시작 또는 재개, 실행 중에는 일시정지이며 종료된 룸에는 표시되지 않습니다), 중지·새로고침·내보내기·삭제가 들어 있는 더 보기 메뉴(앱의 다른 곳과 같은 메뉴 컨트롤), 산출물 패널 토글이 있습니다. 대화록이 아직 비어 있는 대기 중이거나 일시정지된 룸은 대화록 안에도 같은 시작 또는 재개 동작을 표시합니다.

종료된 토론의 헤더에는 비활성 상태로 남아 있는 컨트롤이 없습니다. 설정 칩은 계속 열리지만 읽기 전용이므로 룸이 어떤 설정으로 진행되었는지 확인할 수 있습니다.

대화록¶

각 에이전트 턴은 발언자 표시줄 아래에 답변을 표시합니다. 스트리밍이 켜져 있으면 에이전트가 쓰는 동안 답변이 토큰 단위로 나타납니다. 도구를 사용했거나 인라인 사고 블록을 포함한 턴에는 본문 위에 접이식 활동 캡슐이 하나 붙습니다. 채팅 화면이 쓰는 것과 같은 캡슐로, 도구 호출과 그 결과를 나열하며 턴이 아직 진행 중일 때는 에이전트가 도구를 호출한 순간부터 해당 호출을 진행 중 상태로 보여 주므로 긴 도구 호출이 빈 대기 시간으로 남지 않습니다. 턴이 끝나면 캡슐은 접힌 채로 유지되며 필요할 때 펼쳐 볼 수 있습니다.

어떤 룸이 열려 있는지는 URL이 결정하므로, 룸 링크를 새 창에 붙여 넣거나 북마크할 수 있습니다. 존재하지 않거나 이미 삭제된 ID는 Squad로 돌아가는 링크와 함께 "찾을 수 없음" 화면을 표시합니다.

산출물 패널¶

오른쪽 패널에는 아래에서 설명하는 Phase 3 산출물 네 가지(결론, 인계, 내보내기, 분석)가 들어 있습니다. 헤더 토글로 좁은 스트립으로 접을 수 있으며, 접힘 상태는 재시작 후에도 유지됩니다.

처음 토글하기 전까지는 룸 상태가 기본값을 결정합니다. 진행 중이거나 일시정지된 룸은 대화록을 읽는 것이 목적이므로 패널이 접힌 상태로 열리고, 종료된 룸은 결론이 목적이므로 펼쳐진 상태로 열립니다. 한 번 토글한 뒤에는 선택한 값이 모든 룸에 적용되므로, 읽고 있는 도중에 토론이 종료되더라도 패널이 마음대로 다시 열리지 않습니다.

너비 960px 미만에서는 패널이 두 번째 열 대신 오버레이 드로어로 표시됩니다. 이때는 사용자가 열었을 때만 나타납니다. 드로어는 대화록을 덮기 때문에 방의 상태나 넓은 창에서 선택한 펼침 상태가 드로어를 자동으로 열지 않습니다.

토론 모드¶

두 가지 모드 프리셋을 제공합니다:

전략 선택기¶

모드 토글 아래에 선택적으로 전략을 지정할 수 있습니다. 기본값으로 두면 모드에 따라 엔진이 자동으로 결정되고, 직접 지정하면 오케스트레이터가 해당 엔진을 사용합니다:

기본값 설정은 Moderated 모드를 사회자 전략으로, Brainstorm 모드를 결정론적인 Brainstorm (레거시) 전략으로 매핑합니다. 명시적으로 전략을 지정하면 이 매핑을 무시하고, 사용자가 기본값으로 되돌리거나 룸이 중지될 때까지 해당 전략이 유지됩니다.

토론 상태¶

상태 배지는 오케스트레이터의 상태를 반영합니다: idle, running, paused, awaiting user, completed, cancelled, error. 룸 헤더에는 현재 상태에서 허용되는 전환만 노출됩니다. 시작·일시정지·재개 중 하나가 기본 버튼으로 표시되고, 룸이 아직 종료되지 않은 동안에는 중지가 더 보기 메뉴에 들어 있습니다.

사용자 메시지 주입¶

토론이 진행 중일 때 입력창에 메시지를 입력하면 에이전트 발언 대기열에 추가됩니다. 메시지는 다음 턴 경계에서 처리됩니다. 최대 10개까지 대기할 수 있으며, 입력창 위의 스트립에서 취소 아이콘을 클릭해 소비 전에 제거할 수 있습니다.

종료 조건과 자동 완료¶

다음 조건 중 하나를 만족하면 토론이 종료됩니다:

• 턴 예산 소진 (상태가 awaiting user로 전환되며, 메시지를 주입하면 다음 예산 사이클이 다시 시작됩니다).
• 사용자가 중지 버튼 클릭 (상태: cancelled, 이유: UserStopped).
• 합의 게이트 작동: Moderated 모드에서 오케스트레이터가 3턴마다 사회자 에이전트에게 그룹이 합의에 도달했는지 묻습니다. 신뢰도가 0.8 이상이면 completed로 전환되며 이유는 ConsensusReached입니다.
• 유휴 감시자(watchdog) 작동: 새 메시지도, 대기 중인 입력도 없이 5분이 지나면 IdleTimeout 이유로 자동 완료됩니다.
• awaiting user 상태에서 대기 메시지 없이 10분이 경과하면 BudgetExhausted 이유로 자동 완료됩니다.

종료 이유는 히스토리 패널의 토론 카드에 상태 배지로 표시됩니다.

결론 합성¶

토론에 메시지가 하나 이상 있으면 Phase 3 패널의 결론 합성 버튼으로 사회자 에이전트에게 LLM 호출을 시작할 수 있습니다. 사회자는 전체 대화록(매우 긴 경우에는 앞부분+뒷부분 발췌)을 읽고, 요약·핵심 사항·결정·액션 아이템(담당 에이전트 선택 포함)으로 구성된 구조화된 결론을 반환합니다. 결론은 룸에 저장되며 산출물 패널의 결론 탭에 렌더링됩니다. 언제든지 다시 합성할 수 있으며, 새 호출 결과가 이전 결론을 덮어씁니다.

Squad 실행으로 인계¶

결론이 합성된 후 실행 시작 버튼을 클릭하면 토론 결과를 Squad 실행 엔진으로 인계합니다. 백엔드가 주제·요약·결정·액션 아이템을 요청 문자열로 조합해 submit_squad_request에 제출합니다. 요청 문자열은 8 kB로 제한되어 플래너의 길이 검증을 항상 통과합니다. 성공 알림에 새 실행 ID가 표시되며, 클릭하면 실행 화면으로 이동합니다.

자동 승인 토글(기본값: 꺼짐)은 플래너의 분해 결과를 즉시 실행할지 검토 후 진행할지 결정합니다.

대화록 내보내기¶

산출물 패널의 내보내기 탭을 열고(헤더 더 보기 메뉴의 내보내기 항목이 이 탭을 바로 엽니다) 형식을 선택합니다:

다운로드 파일 이름은 discussion-{short-id}-{주제}.{확장자} 형식이며, 주제 부분은 영문 영숫자 40자로 제한됩니다.

토론 분석¶

Phase 3 패널에 토론별 분석 카드가 표시됩니다:

• 전체 메시지 수와 에이전트 발언 수
• 에이전트별 발언 횟수와 토큰 사용량 (프롬프트 + 컴플리션)
• 전체 대화록 토큰 사용량
• 합성 토큰 사용량 (대화록 합계와 별도로 표시되므로 결론 호출 비용을 따로 확인 가능)
• 토론 소요 시간 (종료 상태에 도달한 경우에만 표시)
• 전략 변경 이력 (각 턴에서 어떤 전략이 활성화되었는지)

토론 히스토리¶

토론 탭에는 Squad의 완료, 취소, 오류 상태 룸이 진행 중 목록 아래에 최신순으로 나열됩니다. 각 카드에는 주제, 상태 배지, 종료 이유, 참여자 수, 메시지 수, 타임스탬프가 표시됩니다. 카드를 클릭하면 해당 룸 페이지가 열리고 전체 대화록과 결론이 로드됩니다. 목록은 페이지당 최대 50개씩 표시되며 룸이 종료 상태에 도달하면 자동으로 갱신됩니다. 탭이 Squad 단위로 토론 이벤트를 구독하므로, 한 번도 열지 않은 룸을 포함해 진행 중 항목이 탭에 머무는 동안 계속 갱신됩니다.

실행 탭¶

실행 탭은 두 개의 열로 구성됩니다: 왼쪽의 실행 라이브러리 레일은 이 Squad의 과거 실행을 나열하고, 오른쪽은 선택된 실행의 전체 상세 보기를 표시합니다.

실행 라이브러리 레일¶

레일은 실행을 최신순으로 나열하며, 각 행에는 상태 아이콘, 플랜 제목 (기록된 플랜 제목이 없으면 원래 요청), 타임스탬프가 표시됩니다. 검색창에 입력하면 요청 텍스트, 플랜 제목, 상태로 필터링됩니다. 목록은 30초마다 자동으로 새로고침되며, 더 보기 버튼으로 이전 실행을 더 불러올 수 있습니다.

레일은 클릭 가능한 카드 목록이 아니라 리스트박스입니다. 방향키로 이동하는 단일 탭 스톱(로빙 탭인덱스)을 가지며, 위/아래 방향키로 인접한 행으로 이동하고, Home/End로 첫 번째/마지막 행으로 이동하며, Enter나 스페이스로 포커스된 행을 선택합니다. 이 덕분에 레일은 마우스 없이도 완전히 조작할 수 있습니다.

딥 링크¶

실행을 선택하면 해당 실행 ID가 ?execution=<id> 쿼리 파라미터에 기록되며, 탭 자체가 사용하는 #runs 해시와 함께 붙어 실행의 URL은 .../squad/<squad-id>?execution=<execution-id>#runs 형태가 됩니다. 이 기록은 새 히스토리 항목을 추가하는 대신 현재 항목을 대체하므로, 여러 실행을 훑어봐도 브라우저의 뒤로 가기 스택이 쌓이지 않습니다. 쿼리 파라미터가 포함된 URL을 불러오면 해당 실행이 미리 선택되며, 더 이상 일치하는 실행이 없는 ID는 오류 대신 오른쪽에 "실행을 찾을 수 없음" 상태를 표시합니다.

실행 상세¶

오른쪽에는 선택된 실행의 상세 정보가 위에서 아래로 일곱 개 섹션으로 렌더링됩니다:

1. 헤더: 플랜 제목(또는 요청), 복사 버튼이 있는 실행 ID, 상태 배지, 그리고 전체 토큰 수, 소요 시간, 완료 / 전체 태스크 수를 보여주는 세 개의 타일.
2. 실행 트레이스: 태스크마다 한 행씩, 그리고 실행이 플래너 모델을 기록했다면 플래너 행이 추가되어, 시간 축 위에 모델별 색상으로 표시됩니다. 같은 웨이브에서 실행된 태스크는 축 위에서 겹치며, 이후 웨이브는 이전 웨이브의 태스크가 모두 끝난 뒤에만 시작됩니다. 트레이스 위의 카운터는 모델 호출 수, 원장 이벤트 수, 태스크 수, 전체 소요 시간을 표시하며, 모델 범례는 색상과 모델 ID를 매핑합니다. "트레이스 표로 보기" 토글은 막대 그래프를 볼 수 없는 사용자에게 동일한 행을 접근성 있는 표로 제공합니다. 태스크 타임스탬프가 기록되기 전의 실행은 소요 시간 순으로 막대를 이어 배치하는 방식으로 대체되며, 위치가 실제 시점이 아니라 순서만 나타낸다는 안내가 함께 표시됩니다.
3. 리플레이: 실행에 저장된 이벤트 원장을 따라가는 스크러버로, 재생/일시정지, 1배/2배/4배속, 처음으로 되돌리기 컨트롤을 제공합니다. 스크러버를 움직이면 커서 이후의 트레이스 이벤트가 흐려지고, 선택된 이벤트 인스펙터가 해당 이벤트의 결정 텍스트, 수행 주체, 모델, 태스크, 웨이브, 토큰, 소요 시간, 네이티브 이벤트 이름, 타임스탬프를 보여줍니다. 이벤트 원장이 도입되기 전에 끝난 실행은 여기에서 스크러빙할 내용이 없는 스크러버 대신 설명이 담긴 빈 상태를 표시합니다.
4. 태스크: 태스크마다 카드 하나씩, 제목, 상태 배지, 태스크 ID, 에이전트, 시간 구간, 소요 시간, 토큰, 모델, 접을 수 있는 출력 또는 오류를 보여줍니다.
5. 원본 기록: 실행 뒤의 원본 증거들로, 각각 자체 접힘 영역 뒤에 놓입니다. 여기에는 생성된 마크다운 리포트(아직 생성되지 않았다면 리포트 생성 사용), 태스크별 기록을 예쁘게 출력한 JSON, 실행이 작성한 워크스페이스 파일(행을 클릭하면 워크스페이스 탭에서 열림), 이벤트 원장의 JSONL 다운로드가 포함됩니다. 원장이 없는 실행은 원장 다운로드가 비활성화됩니다.
6. 실행 로그: 에이전트와 심각도로 필터링할 수 있는 실행 로그.
7. 실행 프롬프트와 실행 출력: 원래 요청과 최종 결과를 그대로 보여주며, 각각 복사 버튼이 함께 제공됩니다.

분석 탭¶

분석 탭은 모든 실행에 걸친 추세를 종합하는 분석 대시보드를 담고 있습니다. 개별 실행의 상세 정보는 실행 탭에 있습니다.

분석 대시보드¶

분석 대시보드는 여러 실행의 데이터를 집계하여 성능 트렌드를 보여줍니다.

사용 가능한 지표¶

• 총 실행 수 — 완료, 실패, 취소된 실행의 수
• 성공률 — 성공적으로 완료된 실행의 비율
• 평균 소요 시간 — 밀리초 단위의 평균 실행 시간
• 총 토큰 — 누적 토큰 소비량

에이전트별 토큰 사용량¶

토큰이 에이전트 간에 어떻게 분배되는지 보여주는 분석. 어떤 에이전트가 가장 많은 리소스를 소비하는지, 분배가 기대에 부합하는지 확인할 수 있습니다.

일별 사용량¶

일별 실행 수와 토큰 사용량을 보여주는 막대 차트로, 시간에 따른 사용 트렌드를 파악하는 데 유용합니다.

기간 선택¶

기간별로 분석을 필터링합니다:

• 일 — 최근 24시간
• 주 — 최근 7일
• 월 — 최근 30일
• 전체 — 기록된 모든 이력