콘텐츠로 이동

OpenAI 호환 서비스 (OpenAI-Compatible)

Backend.AI GO의 아키텍처는 OpenAI API 표준을 기반으로 구축되었습니다. 즉, OpenAI뿐만 아니라 "OpenAI 방언"을 사용하는 모든 서비스나 로컬 서버에 연결할 수 있습니다.

무엇을 연결할 수 있나요?

광범위한 도구 및 공급자 생태계와 연결할 수 있습니다:

  • 로컬 추론 서버: Ollama, LocalAI, LM Studio, Text Generation WebUI (Oobabooga).

  • 서드파티 API: Groq, DeepSeek, Together AI, Perplexity, Anyscale.

  • 엔터프라이즈 게이트웨이: MLflow, Azure OpenAI (프록시 경유), 사내 기업용 게이트웨이.

연결 방법

  1. 공급자(Providers) 탭으로 이동합니다.

  2. 공급자 추가(Add Provider)를 클릭합니다.

  3. OpenAI Compatible (또는 "Custom OpenAI")을 선택합니다.

  4. 세부 정보를 입력합니다:

    • Base URL: API 엔드포인트의 전체 URL입니다 (보통 /v1으로 끝납니다).

      • 예시 (Ollama): http://localhost:11434/v1
      • 예시 (DeepSeek): https://api.deepseek.com/v1

    • API Key: 인증 토큰입니다. 로컬에서 실행 중인 경우(Ollama 등), 아무 문자열이나 입력해도 되는 경우가 많습니다 (예: sk-dummy).

  5. 모델 발견: Backend.AI GO는 엔드포인트에서 사용 가능한 모델 목록을 가져오려고 시도합니다. 자동 발견이 실패하면 모델 이름을 수동으로 입력해야 할 수도 있습니다.

예시

Ollama 연결하기

Ollama가 다른 컴퓨터(또는 로컬 포트)에서 실행 중인 경우:

  • Base URL: http://<ip-address>:11434/v1
  • API Key: ollama (또는 허용된 경우 비워둠)

Groq 연결하기

Groq의 LPU를 사용한 초고속 추론을 위해:

  • Base URL: https://api.groq.com/openai/v1
  • API Key: Groq API Key

이러한 유연성 덕분에 Backend.AI GO는 모든 AI 요구 사항을 위한 만능 프론트엔드가 됩니다.