클라우드 AI 통합¶

Backend.AI GO를 사용하면 로컬 모델과 클라우드 기반 API를 함께 사용할 수 있습니다.

설정 > 프로바이더에서 프로바이더를 설정합니다. 프로바이더를 활성화하고 모델을 선택하면 모델 선택 메뉴가 각 클라우드 모델에 프로바이더 배지를 표시합니다.

클라우드 API를 연동하는 이유¶

• 하이브리드 워크플로우: 민감한 데이터는 로컬 Llama 4로 처리하고, 복잡한 추론 작업은 GPT-5.4나 Claude Opus 4.8로 전환하여 처리할 수 있습니다.

• 통합 인터페이스: 로컬 모델이든 클라우드 모델이든 모든 모델과 한곳에서 대화할 수 있습니다. 탭이나 앱을 전환할 필요가 없습니다.

• 도구 활용: 클라우드 모델에서도 Backend.AI GO의 에이전트 시스템과 도구들을 로컬 모델처럼 그대로 사용할 수 있습니다.

지원되는 서비스¶

Backend.AI GO는 다양한 프로바이더를 지원합니다:

• OpenAI: GPT-5.4, GPT-5.2, GPT-4o (레거시).

• Anthropic: Claude Opus 4.8, Claude Sonnet 4.6, Claude Haiku 4.5.

• Google Gemini: Gemini 1.5 Pro, Gemini 1.5 Flash.

• OpenAI 호환 서비스: OpenAI API 방언을 사용하는 모든 서비스(Ollama, LocalAI, DeepSeek, Groq 등)에 연결할 수 있습니다.

• 원격 vLLM: 나만의 고성능 추론 서버에 연결할 수 있습니다.

모델 ID로 모델 추가하기¶

프로바이더의 모델 목록은 Backend.AI GO가 해당 프로바이더에서 찾아온 목록인데, 실제로 제공하는 모델보다 적게 보여 주는 프로바이더도 있습니다. Anthropic 키가 대표적인 경우로, 짧은 기본 목록만 표시되기 때문에 최신 Claude 모델은 직접 추가해야 하죠. 설정 > 프로바이더에서 프로바이더 카드의 모델 목록을 열고, 모델 ID로 추가 칸에 모델 ID(예: claude-opus-4-5)를 입력한 다음 추가를 누르면 됩니다.

저장하기 전에 Backend.AI GO는 해당 ID로 프로바이더에 토큰 하나짜리 요청을 보내 확인합니다:

• 프로바이더가 제공하는 모델: 모델이 추가되고 채팅용으로 선택되며, 목록에 직접 추가 표시가 붙습니다.

• 프로바이더가 제공하지 않는다고 응답한 모델(HTTP 404 또는 프로바이더의 "model not found" 오류): 아무것도 저장되지 않고, 입력 칸 아래에 이유가 표시됩니다.

• 확인할 수 있는 응답이 없는 경우(프로바이더에 연결할 수 없거나, 요청 한도에 걸렸거나, 서버 오류로 응답했거나, API 키를 거부했거나, Azure OpenAI와 에어갭 모드처럼 여기서 확인할 수 없는 경우): 모델은 그대로 추가되고, 확인 없이 추가했다는 안내가 입력 칸 아래에 표시됩니다. ID가 틀렸다면 해당 모델로 처음 채팅할 때 오류가 나는데, 그때 제거하면 됩니다.

모델 ID로 추가한 모델은 프로바이더의 모델을 새로고침해도 사라지지 않고, 찾아온 모델과 똑같이 라우터에 전달되므로 채팅과 API 서버 양쪽에서 사용할 수 있습니다. 제거하려면 모델 옆의 ×를 누르고 확인하면 됩니다. 설정 마법사의 모델 선택 단계에도 같은 입력 칸이 있는데, 여기서 추가한 모델은 설정 완료를 누를 때 확인되고 프로바이더가 제공하지 않는 모델은 마지막 단계에 따로 표시됩니다.

ChatGPT 계정으로 로그인하는 프로바이더는 모델 ID로 모델을 추가할 수 없습니다. 선택한 모델이 없으면 해당 계정이 사용할 수 있는 모든 모델이 이미 제공되기 때문입니다.

프로바이더를 다른 주소로 옮기기¶

서버를 지정해서 연결하는 프로바이더(vLLM, Ollama, LM Studio, 사용자 지정 OpenAI 호환 엔드포인트 등 직접 운영하는 서버 유형)는 주소를 Base URL에 저장합니다. 다른 주소로 옮기려면 프로바이더 카드에서 편집을 누르고 Base URL을 바꾼 뒤 저장하면 되고, 명령줄에서는 aigo provider update <id> --base-url <url>로 같은 작업을 할 수 있습니다.

옮긴 뒤에도 프로바이더 ID는 그대로라서, 해당 프로바이더를 사용하던 기본 모델과 에이전트, 스쿼드는 계속 동작합니다. 모델 목록은 이전 서버의 것이므로 비운 다음 새 서버에서 다시 읽어 오는데, 프로바이더를 추가할 때와 같은 방식입니다. 모델이 하나뿐인 서버는 해당 모델이 선택되고, 여러 개인 서버는 아무것도 선택되지 않은 상태로 모든 모델이 제공되죠. 모델 ID로 직접 추가한 모델은 그대로 남고, 라우터는 새 주소로 요청을 보내도록 다시 시작됩니다.

OpenAI, Anthropic, Gemini에서는 --base-url이 프로바이더 자체 API 앞에 두는 프록시 주소를 지정하며, 빈 값을 주면 프록시 주소가 지워집니다.

프로바이더 삭제하기¶

프로바이더를 삭제하면 해당 프로바이더를 가리키던 설정도 함께 바뀝니다. 대상은 설정 > 모델의 기본 모델, 에이전트마다 고른 모델, 스쿼드 에이전트마다 고른 모델이고, 모두 모델은 그대로 유지됩니다. 같은 모델을 선택해 둔 다른 활성 프로바이더가 정확히 하나 있으면 설정이 해당 프로바이더로 옮겨 가고, 그렇지 않으면 모델 이름만 남아서 해당 모델을 제공하는 프로바이더가 응답합니다. 그래서 삭제한 서버를 다시 추가해도 따로 고칠 설정이 없습니다.

삭제된 프로바이더의 모델로 채팅하던 중이었다면, 채팅 화면에 프로바이더가 삭제되었다는 안내가 나오고 다른 모델을 고를 때까지 메시지를 보내지 않습니다.

같은 모델을 두 프로바이더에서 쓸 때¶

같은 모델을 두 프로바이더가 함께 제공하는 경우가 있습니다. GPT-5.4를 OpenAI에 직접 연결해서도 쓰고 OpenAI 호환 게이트웨이를 거쳐서도 쓰는 식인데, 양쪽에서 모두 선택해 둘 수 있죠.

이때 모델 선택 메뉴에는 프로바이더마다 한 줄씩 나타나고 각 줄에 프로바이더 배지가 붙어서, 두 항목 모두 선택할 수 있습니다. 다만 어느 쪽을 골라도 요청은 같은 모델 이름으로 나가고 둘 중 어느 프로바이더가 실제로 처리할지는 라우터가 정합니다. 두 번째 줄을 고른다고 해서 요청이 두 번째 프로바이더로 고정되지는 않으니, 두 줄은 라우팅 선택지라기보다 같은 모델을 두 번 등록해 둔 상태로 보시면 됩니다.

보안¶

API 키는 운영체제의 네이티브 자격 증명 관리자(macOS Keychain, Windows 자격 증명 관리자)에 안전하게 저장됩니다. Backend.AI GO는 프로바이더의 API와 직접 통신하며, 사용자의 키나 데이터는 Lablup 서버로 전송되지 않습니다.