모델 다운로드하기¶

Backend.AI GO를 사용하면 세계 최대의 AI 모델 저장소인 Hugging Face에서 최신 오픈 소스 모델을 직접 탐색하고 다운로드할 수 있습니다.

Hugging Face란?¶

Hugging Face는 "AI 업계의 GitHub"와 같은 곳입니다. 전 세계의 연구자들과 개발자들이 자신이 학습시킨 모델을 공유하는 허브입니다. Backend.AI GO는 Hugging Face와 직접 통합되어 있어, 앱을 벗어나지 않고도 원하는 모델을 찾을 수 있습니다.

모델 검색하기¶

1. 사이드바에서 검색(Hugging Face 아이콘) 탭을 엽니다.

2. 상단의 검색창을 사용하여 특정 모델이나 조직 이름(예: Meta-Llama, Qwen)을 입력합니다.

3. 필터링: 태그를 사용하여 호환되는 모델을 찾을 수 있습니다. 다음을 확인하세요:

   • GGUF: 다양한 하드웨어에서 최적화된 형식입니다 (llama.cpp 기반).

   • MLX: Apple Silicon Mac을 위한 네이티브 형식입니다.

올바른 변체(양자화) 선택하기¶

모델은 보통 여러 가지 "양자화(Quantization)" 수준(예: Q4_K_M, Q8_0 등)으로 제공됩니다.

• 양자화란? 모델의 품질 손실을 최소화하면서 크기를 줄이고 실행 속도를 높이는 압축 기술입니다.

• 추천: 대부분의 사용자에게 Q4_K_M 또는 Q5_K_M이 성능과 지능의 "황금 밸런스"를 제공합니다.

• RAM 요구 사항: 선택한 모델의 파일 크기가 여러분의 컴퓨터 가용 RAM(또는 GPU VRAM)보다 작아야 합니다.

다운로드 관리하기¶

• 다운로드 대기열: 여러 모델의 다운로드를 동시에 시작할 수 있습니다. 대기열에 추가되어 하나씩 순서대로 처리됩니다.

• 진행 상황 확인: 다운로드 탭에서 실시간 진행률, 속도, 예상 남은 시간을 확인할 수 있습니다.

• 저장 위치: 기본적으로 모델은 애플리케이션 데이터 디렉토리에 저장됩니다. 설정에서 모델 저장 경로를 변경할 수 있습니다.

로컬 파일 가져오기 (Import)¶

이미 다른 곳에서 다운로드한 .gguf 파일이 있다면:

1. 모델(Models) 탭으로 이동합니다.

2. 가져오기(Import) 버튼을 클릭합니다.

3. 파일을 선택하면 Backend.AI GO가 여러분의 로컬 라이브러리에 해당 모델을 추가합니다.