클러스터 통합¶
Backend.AI GO는 Backend.AI Enterprise 생태계와 완벽하게 통합됩니다. 이를 통해 개별 연구자나 개발자는 로컬 프로토타이핑에서 대규모 클러스터 추론으로 워크플로우를 중단 없이 전환할 수 있습니다.
아키텍처¶
Backend.AI 클러스터에 연결할 때, 로컬 GO 인스턴스는 스마트 클라이언트 역할을 수행합니다.
- 인증 (Authentication): 단순한 API 토큰(OpenAI 등)과 달리, 클러스터 연결은 HMAC-SHA256 서명을 사용합니다. 이는 모든 요청이 사용자의 Secret Key로 암호화 서명됨을 의미하며, Secret Key 자체를 네트워크로 전송하지 않고도 요청의 무결성과 인증을 보장합니다.
- 세션 관리: 클러스터는 요청에 따라 "컴퓨트 세션(Compute Sessions)" 또는 "vFolder"를 동적으로 프로비저닝합니다.
- 라우팅: GO 내부의 Continuum Router는 프롬프트를 로컬에서 실행할지 클러스터로 전달할지 결정합니다.
클라우드 제공자(Provider)와의 차이점¶
"OpenAI"나 "Anthropic"을 제공자로 추가할 수 있지만, "Backend.AI 클러스터"는 메쉬 네트워크의 일급 시민(First-class citizen)으로 취급됩니다:
| 기능 | 클라우드 제공자 (예: OpenAI) | Backend.AI 클러스터 |
|---|---|---|
| 프로토콜 | 표준 HTTP/REST | Backend.AI RPC / Continuum Protocol |
| 인증 | Bearer Token (API Key) | HMAC-SHA256 (Access/Secret Keys) |
| 발견(Discovery) | 정적인 모델 목록 | 동적 모델 발견 |
| 프라이버시 | 퍼블릭 클라우드로 데이터 전송 | 엔터프라이즈 프라이빗 클라우드 내 데이터 유지 |
보안¶
- 제로 트러스트 (Zero-Trust): 어떤 지속적 연결도 안전하다고 가정하지 않습니다. 모든 요청은 개별적으로 서명됩니다.
- 키 저장소: 사용자의 Secret Key는 평문 파일이 아닌 운영체제의 보안 키체인(macOS Keychain, Windows Credential Locker, Linux Secret Service)에 안전하게 저장됩니다.
사용 시나리오¶
- 파인 튜닝 (Fine-tuning): 소규모 테스트에는 로컬 자원을 사용하고, 70B 파라미터 모델을 파인 튜닝할 때는 클러스터로 전환합니다.
- 배치 처리: 로컬 컴퓨터의 응답성을 유지하면서 무거운 배치 추론 작업을 클러스터로 오프로드합니다.
- 민감 데이터: 기밀 데이터를 퍼블릭 API로 보내는 대신 온프레미스 Backend.AI 클러스터에서 안전하게 처리합니다.