클라우드 AI 통합¶

Backend.AI GO를 사용하면 로컬 모델과 클라우드 기반 API를 함께 사용할 수 있습니다.

API > Providers에서 공급자를 설정합니다. 공급자를 활성화하고 모델을 선택하면 모델 선택 메뉴가 각 클라우드 모델에 공급자 배지를 표시합니다.

클라우드 API를 연동하는 이유¶

• 하이브리드 워크플로우: 민감한 데이터는 로컬 Llama 4로 처리하고, 복잡한 추론 작업은 GPT-5.4나 Claude Opus 4.8로 전환하여 처리할 수 있습니다.

• 통합 인터페이스: 로컬 모델이든 클라우드 모델이든 모든 모델과 한곳에서 대화할 수 있습니다. 탭이나 앱을 전환할 필요가 없습니다.

• 도구 활용: 클라우드 모델에서도 Backend.AI GO의 에이전트 시스템과 도구들을 로컬 모델처럼 그대로 사용할 수 있습니다.

지원되는 서비스¶

Backend.AI GO는 다양한 공급자를 지원합니다:

• OpenAI: GPT-5.4, GPT-5.2, GPT-4o (레거시).

• Anthropic: Claude Opus 4.8, Claude Sonnet 4.6, Claude Haiku 4.5.

• Google Gemini: Gemini 1.5 Pro, Gemini 1.5 Flash.

• OpenAI 호환 서비스: OpenAI API 방언을 사용하는 모든 서비스(Ollama, LocalAI, DeepSeek, Groq 등)에 연결할 수 있습니다.

• 원격 vLLM: 나만의 고성능 추론 서버에 연결할 수 있습니다.

같은 모델을 두 공급자에서 쓸 때¶

같은 모델을 두 공급자가 함께 제공하는 경우가 있습니다. GPT-5.4를 OpenAI에 직접 연결해서도 쓰고 OpenAI 호환 게이트웨이를 거쳐서도 쓰는 식인데, 양쪽에서 모두 선택해 둘 수 있죠.

이때 모델 선택 메뉴에는 공급자마다 한 줄씩 나타나고 각 줄에 공급자 배지가 붙어서, 두 항목 모두 선택할 수 있습니다. 다만 어느 쪽을 골라도 요청은 같은 모델 이름으로 나가고 둘 중 어느 공급자가 실제로 처리할지는 라우터가 정합니다. 두 번째 줄을 고른다고 해서 요청이 두 번째 공급자로 고정되지는 않으니, 두 줄은 라우팅 선택지라기보다 같은 모델을 두 번 등록해 둔 상태로 보시면 됩니다.

보안¶

API 키는 운영체제의 네이티브 자격 증명 관리자(macOS Keychain, Windows 자격 증명 관리자)에 안전하게 저장됩니다. Backend.AI GO는 공급자의 API와 직접 통신하며, 사용자의 키나 데이터는 Lablup 서버로 전송되지 않습니다.