OpenAI 호환 서비스 (OpenAI-Compatible)¶

Backend.AI GO의 아키텍처는 OpenAI API 표준을 기반으로 구축되었습니다. 즉, OpenAI뿐만 아니라 "OpenAI 방언"을 사용하는 모든 서비스나 로컬 서버에 연결할 수 있습니다.

무엇을 연결할 수 있나요?¶

광범위한 도구 및 공급자 생태계와 연결할 수 있습니다:

• 로컬 추론 서버: Ollama, LocalAI, LM Studio, Text Generation WebUI (Oobabooga).

• 서드파티 API: Groq, DeepSeek, Together AI, Perplexity, Anyscale.

• 엔터프라이즈 게이트웨이: MLflow, Azure OpenAI (프록시 경유), 사내 기업용 게이트웨이.

연결 방법¶

1. 공급자 탭으로 이동합니다.

2. 공급자 추가를 클릭합니다.

3. OpenAI Compatible (또는 "Custom OpenAI")을 선택합니다.

4. 세부 정보를 입력합니다:

   • Base URL: API 엔드포인트의 전체 URL입니다 (보통 /v1으로 끝납니다).

     • 예시 (Ollama): http://localhost:11434/v1
     • 예시 (DeepSeek): https://api.deepseek.com/v1
     • 두 형태 모두 동작합니다. 이미 API 루트(/v1, /openai)로 끝나는 Base URL은 자동으로 인식되므로 /v1/v1/models처럼 경로가 중복되지 않습니다.

   • API Key: 인증 토큰입니다. 커스텀 엔드포인트에서는 선택 사항입니다. Ollama처럼 인증이 아예 필요 없는 자체 호스팅 서버가 많으므로, 필드를 비워둔 채로 연결 테스트를 눌러 엔드포인트가 정상적으로 응답하는지 확인할 수 있습니다. 서버가 키를 요구하지만 실제로 검증하지는 않는 경우라면 아무 문자열이나 입력해도 됩니다 (예: sk-dummy).

5. 모델 발견: Backend.AI GO는 엔드포인트에서 사용 가능한 모델 목록을 가져오려고 시도합니다. 자동 발견이 실패하면 모델 이름을 수동으로 입력해야 할 수도 있습니다.

예시¶

Ollama 연결하기¶

Ollama가 다른 컴퓨터(또는 로컬 포트)에서 실행 중인 경우:

• Base URL: http://<ip-address>:11434/v1
• API Key: ollama (또는 허용된 경우 비워둠)

Groq 연결하기¶

Groq의 LPU를 사용한 초고속 추론을 위해:

• Base URL: https://api.groq.com/openai/v1
• API Key: Groq API Key

이러한 유연성 덕분에 Backend.AI GO는 모든 AI 요구 사항을 위한 만능 프론트엔드가 됩니다.