자동 발견 (Auto-Discovery)¶

개발 중인 기능

피어 투 피어(P2P) 자동 발견 기능은 현재 개발 중입니다. 로컬 모델 발견은 정상적으로 작동하지만, 로컬 네트워크상의 다른 GO 인스턴스를 자동으로 찾는 기능은 향후 업데이트에서 제공될 예정입니다.

분산 환경에서 모든 모델이나 서비스를 일일이 수동으로 설정하는 것은 매우 번거로운 일입니다. Backend.AI GO는 자원 관리를 단순화하기 위해 자동 발견(Auto-Discovery) 메커니즘을 활용합니다.

메쉬 내 서비스 발견 (Service Discovery)¶

노드(클러스터 또는 다른 GO 인스턴스)에 한 번 연결하면, 해당 노드에 있는 모든 모델을 개별적으로 등록할 필요가 없습니다.

핸드셰이크 (Handshake): 연결이 추가되면 Backend.AI GO는 초기 연결 확인을 수행합니다.
카탈로그 교환: 원격 노드는 현재 활성화된 "백엔드"(로드된 모델, 서비스) 목록을 전송합니다.
동적 업데이트:
- 원격 클러스터에 새로운 모델이 로드되면, 로컬 클라이언트에도 이를 알리거나 다음 새로고침 시 발견합니다.
- 이러한 원격 모델들은 채팅 인터페이스의 모델 선택기에서 제공자/노드 이름별로 그룹화되어 나타납니다.

로컬 컴퓨터에서의 "자동 발견"은 파일 시스템과 활성 프로세스를 모니터링하는 방식으로 작동합니다:

폴더 모니터링: models/ 디렉토리에 모델을 다운로드하면, Backend.AI GO는 자동으로 파일 유형(GGUF, safetensors 등)을 감지하고 적절한 실행기(llama.cpp, vLLM 등)를 결정합니다.
프로세스 바인딩: 모델이 로드되면 로컬 Continuum Router에 자신을 등록합니다. 라우터는 이 기능을 프론트엔드 UI에 알립니다.

원격 모델이 목록에 나타나지 않는 경우: