콘텐츠로 이동

AI:GO란?

AI:GO는 macOS, Windows, Linux에서 동작하는 크로스 플랫폼 데스크톱 애플리케이션이자 개인용 AI 런타임입니다. 추론 엔진을 직접 빌드하거나 서버 프로세스를 일일이 띄우지 않아도 로컬 추론 서버, 모델 탐색, 작업 공간 에이전트, 문서 기반 검색, OpenAI 호환 API를 하나의 앱에서 바로 다룰 수 있습니다.

클라우드 AI의 문제점

ChatGPT나 Claude처럼 외부 서버에서만 돌아가는 클라우드 전용 AI 서비스는 실무나 개발 환경에서 몇 가지 분명한 제약을 안고 있습니다.

  • 프라이버시: 질문 내용과 소스 코드, 첨부 문서가 조직 네트워크 바깥의 외부 서버로 전송됩니다.
  • 반복 비용: 대화가 길어지거나 자동화 작업을 자주 돌릴수록 월 구독료와 토큰당 과금이 계속 불어납니다.
  • 네트워크 의존성: 출장 중인 기내나 폐쇄망 연구실, 인터넷 장애 상황에서는 작업이 그대로 멈춥니다.
  • 모델 통제 한계: 서비스 제공자가 임의로 모델 버전을 교체하거나 샘플링 동작을 바꾸더라도 사용자가 이전 환경을 고정하기 어렵습니다.

AI:GO의 해결책

AI:GO는 공개 가중치 언어·비전·음성·이미지 모델을 내 하드웨어에서 직접 실행해 데이터와 실행 환경의 주도권을 돌려주며, 더 큰 모델이 필요할 때는 클라우드 API나 다른 컴퓨터를 나란히 연결해 쓸 수 있게 설계되었습니다.

고성능 추론 엔진

추론은 앱 본체와 분리된 별도 서버 프로세스에서 돌아가므로 모델이 메모리를 초과해 종료되더라도 화면은 멈추지 않습니다. 데스크톱과 노트북에서는 llama.cpp(Metal, CUDA, ROCm, Vulkan, CPU)와 Apple MLX, macOS 26 이상의 Mac 기본 모델(Apple Intelligence 기반 Foundation Model), 로컬 이미지 생성을 맡는 stable-diffusion.cpp 및 MLX 이미지 파이프라인, 음성 인식을 처리하는 whisper.cpp를 지원하고, 고성능 서빙이 필요할 때는 vLLM이나 SGLang 컨테이너 엔진도 구동합니다.

통합된 사용자 경험

하나의 모델 창에서 내 장비 사양에 맞는 모델인지 바로 확인하며 Hugging Face 모델을 내려받을 수 있고, 추가 모델 폴더에 기존 LM Studio, Ollama, Hugging Face 캐시 경로를 등록하면 수십 기가바이트짜리 파일을 복사하지 않고 제자리에서 그대로 불러옵니다. 로컬 모델과 클라우드 프로바이더, 다른 PC를 묶는 P2P 네트워크 노드가 단일 OpenAI 호환 라우터 뒤에 놓이므로 도구를 바꾸지 않고 대화 도중에도 모델을 자유롭게 오갈 수 있습니다.

채팅과 에이전트, MCP 확장

일반 대화 외에도 권한 승인을 거쳐 파일과 일정, 외부 도구를 다루는 에이전트 작업 환경이 기본으로 들어 있습니다. 프로젝트 폴더를 연결해 코드를 읽고 고치는 코워크, 여러 에이전트가 역할을 나누어 협업하는 스쿼드, 내 문서를 색인해 답변 근거로 쓰는 데이터 허브 및 위키, 정해진 일정마다 실행되는 자동화, 화면과 폴더에서 일정·할 일을 추려 주는 살펴보기, 캘린더·미리 알림·이메일·연락처 커넥터는 물론 외부 도구 표준인 Model Context Protocol(MCP)까지 폭넓게 연결됩니다.

AI:GO와 Backend.AI의 차이점

AI:GO와 상위 프로젝트인 Backend.AI는 다루는 인프라 규모가 다르며, 필요에 따라 서로 연결해 쓸 수 있습니다.

Backend.AI란?

Backend.AI(Core 및 Enterprise)는 기업과 클라우드 사업자, 연구기관의 대규모 GPU 클러스터를 운영하는 AI 인프라 운영체제입니다.

  • 클러스터 스케줄링: 여러 노드에 걸친 수백~수천 개의 GPU를 묶고 분할해 배분합니다.
  • 멀티 테넌트 격리: 여러 팀과 사용자가 쿼터와 컨테이너 격리 아래 동시에 안전하게 자원을 나눠 씁니다.
  • 대규모 학습 및 서빙: 분산 학습과 파인 튜닝, 배치 파이프라인, 고가용성 모델 서빙을 전담합니다.

AI:GO의 역할

AI:GO는 노트북이나 워크스테이션, 개인 서버 한 대에서 곧바로 돌아가는 개인용 AI 데스크톱 클라이언트이자 로컬 서버입니다.

  • 온디바이스 실행: 별도 인프라 구축 없이 내 Mac이나 PC에서 양자화 모델과 원본 모델을 직접 띄웁니다.
  • 즉시 쓰는 작업 공간: 채팅, 이미지 생성, 문서 번역, 코워크, 스쿼드, 로컬 데이터 허브 검색을 그래픽 인터페이스로 바로 다룹니다.
  • 클러스터 연동: 단독으로도 동작하지만 Backend.AI 클러스터나 다른 AI:GO 노드를 연결하면 Solar-Open-100B, Qwen3.5-122B-A10B처럼 노트북 한 대로 버거운 대형 모델 작업만 외부 자원으로 넘기면서 동일한 화면에서 결과를 이어받을 수 있습니다.

누구를 위한 도구인가요?

  • 개발자: 로컬 OpenAI 호환 엔드포인트를 코딩 도구에 물리고, 도구 호출 스키마를 시험하거나 로컬 저장소에 코워크를 붙여 작업합니다.
  • 연구자: 모델 계열과 양자화 수준, 컨텍스트 길이를 바꿔 가며 재현 가능한 로컬 벤치마크로 비교합니다.
  • 작성자 및 분석가: 토큰 과금 부담 없이 초안을 다듬고, 용어집을 적용해 문서를 번역하며, 비공개 PDF를 데이터 허브에 넣어 질의합니다.
  • 보안이 중요한 조직: 기밀 문서와 소스 코드를 사내 로컬 네트워크나 폐쇄망 PC 바깥으로 내보내지 않고 AI 기능을 활용합니다.

이제 퀵스타트 가이드로 넘어가 AI:GO를 설치하고 첫 대화를 시작해 보세요.