모델 다운로드하기¶

Backend.AI GO를 사용하면 세계 최대의 AI 모델 저장소인 Hugging Face에서 최신 오픈 소스 모델을 직접 탐색하고 다운로드할 수 있습니다.

Hugging Face란?¶

Hugging Face는 "AI 업계의 GitHub"와 같은 곳입니다. 전 세계의 연구자들과 개발자들이 자신이 학습시킨 모델을 공유하는 허브입니다. Backend.AI GO는 Hugging Face와 직접 통합되어 있어, 앱을 벗어나지 않고도 원하는 모델을 찾을 수 있습니다.

모델 Browse하기¶

1. 사이드바에서 Browse (Hugging Face 아이콘) 탭을 엽니다.

2. 상단의 Browse창을 사용하여 특정 모델이나 조직 이름(예: Meta-Llama, Qwen)을 입력합니다.

3. 형식 필터링: 태그를 사용하여 호환되는 모델을 찾을 수 있습니다. 다음을 확인하세요:

   • GGUF: 다양한 하드웨어에서 최적화된 형식입니다 (llama.cpp 기반).

   • MLX: Apple Silicon Mac을 위한 네이티브 형식입니다.

모델 필터링¶

Backend.AI GO는 원하는 모델을 빠르게 찾을 수 있도록 필터링 옵션을 제공합니다.

기능별 필터¶

상단의 필터 바에서 기능별 모델 개수를 확인할 수 있습니다:

• 전체: 사용 가능한 모든 모델을 총 개수와 함께 표시합니다.

• 텍스트: 텍스트 생성 및 처리 모델입니다.

• 비전: 이미지 및 시각적 입력을 처리할 수 있는 모델입니다.

• 이미지: 이미지 생성 모델입니다 (DALL-E 스타일).

• 코드: 코드 생성 및 이해 모델입니다.

• 임베딩: 텍스트 임베딩 및 벡터 생성 모델입니다.

• TTS/STT: 텍스트-음성 변환 및 음성-텍스트 변환 모델입니다.

여러 기능을 동시에 선택하여 Browse 범위를 좁힐 수 있습니다. 각 필터 옆의 숫자는 해당 기능과 일치하는 모델 수를 나타냅니다.

고급 필터¶

고급 필터를 클릭하여 추가 필터링 옵션에 접근할 수 있습니다:

• 크기 범위: 파일 크기별로 모델을 필터링합니다:

  • < 4GB: 메모리가 제한된 기기에 적합한 소형 모델입니다.

  • 4-8GB: 좋은 성능을 가진 중형 모델입니다.

  • > 8GB: 고성능 하드웨어용 대형 모델입니다.

• 양자화 유형: 양자화 형식별로 필터링합니다:

  • Q4KM, Q4KS: 4비트 양자화 (가장 작고 빠름).

  • Q5KM, Q5KS: 5비트 양자화 (균형 잡힌 선택).

  • Q6K, Q80: 높은 정밀도 (더 나은 품질).

  • F16, F32: 전체/반정밀도 (최고 품질, 가장 큰 크기).

필터 프리셋¶

자주 사용하는 필터 조합을 프리셋으로 저장할 수 있습니다:

1. 원하는 필터를 설정합니다 (기능, 크기 범위, 양자화 유형).

2. 고급 필터 패널에서 프리셋으로 저장...을 클릭합니다.

3. 프리셋 이름을 입력하고 저장을 클릭합니다.

4. 저장된 프리셋은 프리셋 섹션에서 빠르게 접근할 수 있습니다.

프리셋을 삭제하려면 옆에 있는 휴지통 아이콘을 클릭하세요.

올바른 변체(양자화) 선택하기¶

모델은 보통 여러 가지 "양자화(Quantization)" 수준(예: Q4_K_M, Q8_0 등)으로 제공됩니다.

• 양자화란? 모델의 품질 손실을 최소화하면서 크기를 줄이고 실행 속도를 높이는 압축 기술입니다.

• 추천: 대부분의 사용자에게 Q4_K_M 또는 Q5_K_M이 성능과 지능의 "황금 밸런스"를 제공합니다.

• RAM 요구 사항: 선택한 모델의 파일 크기가 여러분의 컴퓨터 가용 RAM(또는 GPU VRAM)보다 작아야 합니다.

변체가 여러 개인 MLX 저장소¶

일부 Hugging Face 저장소는 파일 목록을 평평하게 두지 않고 MLX 양자화 수준마다 별도 하위 디렉토리로 나누어 배포합니다. 그래서 저장소 안에 2-bit/, 4-bit/, 6-bit/, 8-bit/ 폴더가 각각 들어있고, 폴더마다 가중치 전체와 자체 config.json을 담고 있는 경우가 있습니다.

Backend.AI GO는 이런 구조를 인식해 하위 디렉토리마다 크기, 파일 개수, 하드웨어 적합성 추정치를 담은 변체 카드로 따로 보여주는데, GGUF 양자화 그룹에 쓰는 카드와 동일합니다.

• 범위가 제한된 다운로드: 변체를 다운로드하면 그 변체 자체의 파일과, 변체가 아직 갖고 있지 않은 루트 레벨 설정 파일만 받아옵니다. 다른 변체에 속한 파일은 절대 받지 않습니다.

• 로컬 디렉토리 이름 규칙: 다운로드한 변체는 {저장소}-{변체} 형태의 자체 폴더에 저장됩니다(예: Qwen3.8-27B-Uncensored-MLX-6bit). 같은 저장소의 여러 변체가 서로 충돌하지 않고 라이브러리에서 각각 별개 모델로 표시됩니다.

다운로드 관리하기¶

• 다운로드 대기열: 여러 모델의 다운로드를 동시에 시작할 수 있습니다. 대기열에 추가되어 하나씩 순서대로 처리됩니다.

• 진행 상황 확인: 다운로드 탭에서 실시간 진행률, 속도, 예상 남은 시간을 확인할 수 있습니다.

• 저장 위치: 기본적으로 모델은 애플리케이션 데이터 디렉토리에 저장됩니다. 설정에서 모델 저장 경로를 변경할 수 있습니다.

디스크 공간 관리¶

Backend.AI GO는 모델을 위한 충분한 저장 공간을 확보할 수 있도록 디스크 공간 관리 기능을 제공합니다.

다운로드 전 공간 검증¶

다운로드를 시작하기 전에 애플리케이션은 자동으로 충분한 디스크 공간이 있는지 확인합니다:

• 자동 검사: 다운로드를 시작하기 전에 시스템이 필요한 크기(10% 안전 여유 포함)와 사용 가능한 공간을 비교하여 검증합니다.

• 명확한 경고: 공간이 부족한 경우, 필요한 공간, 사용 가능한 공간, 부족한 용량을 보여주는 명확한 알림을 받게 됩니다.

디스크 사용량 패널¶

설정 페이지에는 저장소의 시각적 개요를 제공하는 디스크 사용량 패널이 포함되어 있습니다:

• 세그먼트 진행 막대: 다운로드한 모델과 기타 파일에 대해 색상으로 구분된 세그먼트로 디스크 사용량 분석을 보여줍니다.

• 저장소 분석: 다운로드한 모든 모델의 총 크기와 모델 파일 수를 표시합니다.

• 마운트 포인트: 모델 저장에 사용되는 디스크 볼륨을 보여줍니다.

모델 디렉토리 마이그레이션¶

모델을 다른 위치(예: 외장 드라이브 또는 더 큰 파티션)로 이동해야 하는 경우, Backend.AI GO는 스마트 마이그레이션을 지원합니다:

• 동일 볼륨 이동: 소스와 대상이 동일한 디스크 볼륨에 있으면 이동이 즉시 완료됩니다(파일 시스템 이름 변경 작업).

• 교차 볼륨 복사: 다른 볼륨으로 이동할 때는 진행 상황 추적과 함께 파일이 복사되고, 검증 후 원본이 제거됩니다.

• 진행 상황 추적: 교차 볼륨 마이그레이션 중에 전송된 바이트, 처리된 파일, 현재 복사 중인 파일 등의 진행 상황을 모니터링할 수 있습니다.

다운로드 재시도 및 이어받기¶

Backend.AI GO는 다운로드 중단 상황을 안정적으로 처리합니다:

• 자동 재시도: 일시적인 네트워크 오류(타임아웃, 연결 끊김, 서버 오류 등)로 다운로드가 실패하면 시스템이 자동으로 최대 3회까지 지수적 백오프 지연을 두고 재시도합니다.

• 다운로드 이어받기: 다운로드가 중단된 경우(앱을 종료한 후에도), 중단된 지점부터 다시 이어받을 수 있습니다. 알림 센터에서 재시도 버튼을 클릭하면 다운로드를 계속할 수 있습니다.

• 수동 재시도: 영구적인 오류의 경우, 알림 센터에서 수동으로 다운로드를 재시도할 수 있습니다. 다운로드는 기존의 부분 다운로드 파일에서 이어서 진행됩니다.

• 진행 상황 보존: 부분 다운로드가 보존되므로 대용량 모델 파일의 다운로드 진행 상황을 잃어버리지 않습니다.

로컬 파일 가져오기 (Import)¶

이미 다른 곳에서 다운로드한 .gguf 파일이 있다면, Backend.AI GO는 두 가지 편리한 가져오기 방법을 제공합니다:

가져오기 대화상자 사용하기¶

1. 모델 탭으로 이동합니다.

2. 헤더의 가져오기 버튼을 클릭합니다.

3. 가져오기 대화상자가 두 가지 옵션과 함께 열립니다:

   • 드래그 앤 드롭: 파일 관리자에서 .gguf 파일을 드래그하여 드롭 영역에 놓으면 됩니다.

   • 파일 찾아보기: 드롭 영역을 클릭하거나 파일 찾아보기 버튼을 사용하여 파일 선택기를 엽니다.

4. 파일이 검증되고 진행 상황 표시와 함께 모델 디렉토리로 복사됩니다.

드래그 앤 드롭 기능¶

가져오기 대화상자는 전체 과정에서 시각적 피드백을 제공합니다:

• 드롭 영역 애니메이션: 파일을 드롭 영역 위로 드래그하면 맥동하는 점선 테두리가 표시됩니다.

• 파일 형식 검증: .gguf 파일만 허용됩니다. 유효하지 않은 파일 형식은 명확한 오류 메시지를 표시합니다.

• 진행 상황 추적: 각 파일의 업로드 진행률을 시각적 진행 막대로 확인할 수 있습니다.

• 오류 처리: 문제가 발생하면 명확한 오류 메시지와 함께 다시 시도할 수 있는 옵션이 표시됩니다.

키보드 접근성¶

드롭 영역은 키보드로 완전히 접근 가능합니다:

• Tab 키를 눌러 드롭 영역에 포커스를 맞춥니다.

• Enter 또는 Space 키를 눌러 파일 선택기를 엽니다.