콘텐츠로 이동

API 서버

로컬 LLM을 외부 애플리케이션과 연동하기 위한 OpenAI 호환 API 서버를 설정하고 구성하는 방법을 알아봅니다.

그 옆에는 앱 자체를 제어하는 관리 API(기본값 http://127.0.0.1:8001/api/v1)가 있습니다. 전체 엔드포인트 목록은 /api/docs의 Swagger UI에서 볼 수 있고, 스키마만으로는 부족한 부분을 아래 문서가 다룹니다.

  • 이벤트 스트림: 이벤트 버스 위의 SSE와 WebSocket 전송, 이벤트 id로 이어받기, 유실과 지연을 알리는 방식.
  • Continuum Router: 로컬 모델과 클라우드 모델 앞에 놓이는 요청 라우팅 계층.
  • 폴백과 업스트림 라우팅: 라우터의 폴백 체인과 OpenRouter 같은 프로바이더의 자체 라우팅이 한 요청에서 겹치는 방식.
  • 에이전트 엔드포인트: 로컬 에이전트를 Chat Completions, Responses, A2A로 게시하고 호출하기.
  • 외부 접속 설정: 서버를 루프백이 아닌 주소에 안전하게 바인딩하기.
  • 모델 허브 미러: 미러에서 모델 다운로드 제공하기.
  • 설정 → Claude Code: 모델 별칭, 웹 검색, 검증 프로브.
  • MCP 엔드포인트: Backend.AI GO의 내장 도구를 외부 MCP 클라이언트에 노출하기.
  • Autonomous Agents: 프로바이더와 Hermes endpoint 34개, 런타임 가용성, 이벤트, scope, 운영 예제.
  • 자동화: 자동화 페이지 뒤의 /schedules와 /executions 엔드포인트. 내보내기와 가져오기, 그리고 그에 따르는 자격 증명 경고를 포함합니다.
  • 스쿼드: 95개 엔드포인트로 이루어진 다중 에이전트 스쿼드 표면, 이벤트, 사용 예.
  • 데이터 허브: 66개 엔드포인트로 이루어진 문서 코퍼스 표면, data:* 이벤트, 그리고 있을 법하지만 실제로는 없는 요청 필드들.
  • 메모리: 27개 엔드포인트로 이루어진 영속 사실 저장소, memory:* 이벤트, 전체 저장소 내보내기와 가져오기, 그리고 가져오기만 갖는 상향된 본문 제한.
  • 라우터 통계 집계 범위: 통계 페이지가 세는 것과 세지 않는 것.

선택한 로컬 파일

models_read 권한으로 인증한 클라이언트는 GET /api/v1/files/selected-info?path=...로 서버 파일의 정보를 조회하고 GET /api/v1/files/selected-read?path=...&maxBytes=...로 바이트를 읽을 수 있습니다. 경로는 서버의 업로드, 모델 또는 내보내기 디렉터리 안에 있어야 합니다. 정보 응답은 name과 size를 포함하며, 읽기 응답은 JSON 바이트 배열입니다. 필수 매개변수 maxBytes의 범위는 1부터 104857600(100 MiB)까지입니다. 용량을 초과하거나 허용 디렉터리를 벗어나는 파일은 거부합니다. 번역 기능을 활성화하지 않아도 사용할 수 있습니다.