Continuum Router 및 API¶

Backend.AI GO는 단순한 채팅 앱을 넘어, 로컬 네트워크를 위한 강력한 AI API 게이트웨이 역할을 합니다.

Continuum Router란 무엇인가요?¶

Continuum Router는 내부에서 "교통 정리" 역할을 하는 컴포넌트입니다. 로컬 하드웨어에서 실행 중인 모델이나 클라우드 API를 통해 연결된 모델 등, 모든 AI 모델에 접근할 수 있는 단일 통합 진입점을 제공합니다.

더 자세한 기술 문서는 docs.continuum.lablup.ai를 참고하세요.

OpenAI 호환 API¶

Backend.AI GO는 OpenAI API 표준과 동일한 방식의 API를 제공합니다. 즉, OpenAI를 지원하는 모든 애플리케이션에서 백엔드 주소만 Backend.AI GO로 바꿔서 바로 사용할 수 있습니다.

• 엔드포인트: http://localhost:8000/v1 (기본값)
• 인증: 선택 사항 (설정에서 구성 가능)

예시: curl을 사용한 호출¶

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d 
  "{
    "model": "llama-3",
    "messages": [{"role": "user", "content": "안녕!"}]
  }"

외부 접속 설정¶

기본적으로 API는 사용자의 컴퓨터(127.0.0.1)에서만 접근할 수 있습니다. 태블릿이나 다른 노트북 등 로컬 네트워크 내의 다른 기기에서 모델을 사용하고 싶다면:

1. 설정 > 네트워크로 이동합니다.
2. 외부 접속 허용(Allow External Access)을 활성화합니다.
3. 라우터를 재시작합니다.
4. 다른 앱에서 내 컴퓨터의 로컬 IP 주소(예: http://192.168.1.10:8000/v1)를 사용합니다.