로컬 AI(Ollama) 설치하고 ChatGPT 없이 무료로 쓰는 법

작성자:

회사 데이터를 챗GPT에 올렸다가 보안팀 경고를 받은 그날

몇 달 전, 부서 워크샵 결과를 정리하기 위해 중요하지 않은 사내 회의록을 무심코 ChatGPT에 복사해서 붙여넣었습니다. 요약은 기가 막히게 잘 되었지만, 다음 날 사내 보안팀으로부터 “외부 클라우드 AI 서비스에 문서를 업로드한 정황이 포착되었다”는 섬뜩한 경고 메일을 받았습니다. 아차 싶었죠. 편리함에 눈이 멀어 삼성전자나 애플 같은 대기업들이 왜 챗GPT 사내 사용을 금지했는지 망각했던 것입니다. 업무 효율은 이미 AI에 길들여져서 포기할 수 없고, 그렇다고 매번 보안 위반의 위험을 감수할 수도 없었습니다. 결국 인터넷 연결을 아예 끊고도 내 컴퓨터 안에서만 똑똑하게 돌아가는 ‘오프라인 로컬 AI’를 직접 구축하기로 마음먹었습니다. 복잡한 코딩이나 무거운 세팅 없이, 단 10분 만에 제 낡은 노트북을 강력하고 안전한 AI 비서로 탈바꿈시켜 준 ‘Ollama(올라마)’ 설치부터 파이썬 연동까지의 생생한 기록을 공유합니다.

목차

1. 내 PC를 오프라인 AI 서버로 만들기 위한 하드웨어 지표

로컬 AI는 클라우드 서버의 자원을 빌려 쓰는 것이 아니라, 오직 내 컴퓨터의 CPU와 RAM 자원만을 갉아먹으며(?) 작동합니다. 따라서 본인 PC의 스펙을 먼저 확인하는 것이 필수적입니다. 제가 직접 로컬 모델들을 쾌적하게 구동하며 테스트를 마친 환경은 다음과 같습니다.

  • 운영체제: Windows 11 Pro (Mac 사용자는 Apple Silicon M1/M2 칩셋에서 훨씬 더 부드럽게 돌아갑니다)
  • 메모리(RAM): 16GB (최소 권장 사양이며, 32GB 이상이면 매우 쾌적합니다)
  • 그래픽카드(GPU): NVIDIA RTX 3060 12GB (GPU가 없어도 CPU만으로 구동 가능하지만 속도 차이가 꽤 큽니다)
  • 사용 소프트웨어: Ollama 최신 버전, Python 3.12.2
  • 구동할 모델: Meta의 llama3 (8B 모델, 가벼우면서도 성능이 매우 뛰어납니다)

2. 실전 구축: Ollama 다운로드부터 파이썬 챗봇 연동까지

과거에는 로컬 AI를 돌리려면 GitHub에서 복잡한 코드를 클론(Clone)하고 알 수 없는 에러들과 싸워야 했습니다. 하지만 Ollama의 등장으로 이 모든 과정이 프로그램 하나 설치하는 것으로 끝납니다.

1단계: Ollama 공식 홈페이지에서 프로그램 설치

Ollama 공식 웹사이트(ollama.com)에 접속하여 본인의 운영체제에 맞는 설치 파일을 다운로드합니다. 설치 과정은 일반적인 프로그램과 똑같으며, 설치가 완료되면 화면 우측 하단 시스템 트레이에 귀여운 라마(Llama) 아이콘이 나타납니다. 이 아이콘이 보인다면 백그라운드에서 AI 서버가 조용히 돌기 시작했다는 뜻입니다.

2단계: 터미널에서 AI 모델 다운로드 및 실행

명령 프롬프트(CMD)나 PowerShell을 열고 아래의 마법 같은 명령어 한 줄을 입력합니다.

ollama run llama3

이 명령어를 치면, Ollama가 알아서 메타(Meta)의 최신 오픈소스 AI인 Llama 3 모델(약 4.7GB)을 다운로드하기 시작합니다. 다운로드가 완료되면 터미널 창이 >>> 형태의 프롬프트로 바뀌며, 바로 질문을 던질 수 있습니다. (예: “안녕? 넌 누구야?”)

3단계: 파이썬(Python) 코드로 나만의 자동화 챗봇 연동하기

터미널에서만 대화하는 것은 반쪽짜리 활용입니다. 사내 엑셀 문서 분석이나 자동화를 위해서는 파이썬과의 연동이 필수입니다. VS Code를 열고 파이썬 공식 라이브러리를 설치해 줍니다.

pip install ollama

그다음 local_ai.py라는 파일을 만들고 아래 코드를 작성합니다. 인터넷 연결(Wi-Fi)을 완전히 끄고 실행해 보세요. 놀라운 광경이 펼쳐집니다.

import ollama

def analyze_confidential_data(prompt_text):
print("🔒 [오프라인 모드] 내 PC에서 데이터를 분석 중입니다...\n")

# 내 컴퓨터 내부(localhost)에서 돌고 있는 Ollama 모델을 호출합니다.
response = ollama.chat(
    model='llama3',
    messages=[
        {'role': 'system', 'content': '너는 데이터 분석 전문가야. 간결하게 한국어로 답변해.'},
        {'role': 'user', 'content': prompt_text}
    ]
)

return response['message']['content']
if name == "main":
# 외부로 유출되면 안 되는 가상의 사내 데이터
secret_data = "2026년 1분기 영업이익은 150억, 2분기는 120억으로 전 분기 대비 하락했으나 신규 프로젝트 B의 매출이 30% 증가함."

my_prompt = f"다음 사내 데이터를 읽고 긍정적인 부분과 부정적인 부분을 1줄씩 요약해줘:\n\n{secret_data}"

result = analyze_confidential_data(my_prompt)
print("==== 🤖 로컬 AI 분석 결과 ====")
print(result)

💡 여기서 주의할 점: 한국어 성능 끌어올리기

Llama 3 기본 모델은 영어에는 천재지만 한국어 질문에는 가끔 영어로 대답하거나 어색한 번역투를 씁니다. 만약 완벽한 한국어 성능이 필요하다면, 명령어 창에 ollama run EEVE-Korean처럼 국내 개발자들이 한국어에 맞게 미세조정(Fine-tuning)한 모델을 다운받아 코드의 model='...' 부분만 교체해 주시면 퀄리티가 비약적으로 상승합니다.

3. 내 PC를 뻗게 만든 치명적 오류 2가지와 탈출구

처음 Ollama를 설치하고 “이제 챗GPT 구독료 굳었다!”라며 환호했지만, 실제로 업무에 적용하는 과정에서 뼈아픈 하드웨어의 한계와 네트워크 지식을 요구하는 벽에 부딪혔습니다.

첫 번째 절망: 욕심이 부른 참사, Out of Memory 블루스크린

Llama 3 모델 리스트를 보니 8B(파라미터 80억 개) 모델과 70B(파라미터 700억 개) 모델이 있었습니다. “당연히 용량 큰 게 똑똑하겠지?”라는 생각에 무턱대고 ollama run llama3:70b를 입력했습니다. 약 40GB에 달하는 모델이 다운로드된 후 첫 질문을 던지는 순간, 팬이 이륙하는 소리를 내더니 화면이 그대로 멈추고 파란색 블루스크린이 떠버렸습니다. 제 16GB RAM으로는 70B 모델의 거대한 가중치를 도저히 감당할 수 없었던 것입니다. 로컬 AI는 내 RAM 용량보다 작은 모델(통상 RAM의 절반 이하 사이즈)을 선택해야 한다는 뼈저린 교훈을 얻었고, 가벼운 8B 모델로 타협한 후에야 안정적인 구동이 가능했습니다.

두 번째 위기: Connection Refused (다른 PC에서 접속 불가 현상)

제 데스크톱에 Ollama를 띄워놓고, 회의실에 노트북을 들고 가 로컬망(같은 Wi-Fi)을 통해 데스크톱의 AI를 API로 호출하려 했습니다. 그런데 계속해서 127.0.0.1:11434 연결 거부됨 에러가 발생했습니다. 구글링 해보니, Ollama의 기본 보안 설정상 외부 기기의 접근을 완전히 차단해 둔 상태였습니다. 이를 해결하기 위해 데스크톱의 윈도우 환경 변수 설정에 들어가 OLLAMA_HOST=0.0.0.0 이라는 시스템 변수를 새로 추가하고 Ollama를 재시작했습니다. 그러자 노트북에서도 데스크톱의 GPU를 빌려 AI를 부드럽게 호출할 수 있었습니다.

4. 로컬 AI 도입 후 확인한 압도적 보안성과 수치 변화

제 PC에 이 시스템을 안착시키고 한 달간 실무에 적용해 본 결과는 제 업무 환경을 송두리째 바꿔놓았습니다.

  • 철통 보안과 심리적 안정감: 랜선을 아예 뽑고 Wi-Fi를 끈 상태에서도 사내 고객 클레임 엑셀 데이터 500건을 파이썬으로 밀어 넣어 감성 분석(긍정/부정 분류)을 진행했습니다. 외부 서버로 1바이트의 데이터도 나가지 않으니 보안팀의 눈치를 볼 필요가 완벽하게 사라졌습니다.
  • 비용 절감: 매달 챗GPT 플러스 모델과 OpenAI API 비용으로 지출하던 약 35,000원의 고정비가 정확히 0원으로 줄었습니다. 전기세가 조금 더 나오긴 하겠지만 미미한 수준입니다.
  • 처리 속도: 제 RTX 3060 환경을 기준으로, 1,000자 분량의 텍스트를 요약하는 데 걸리는 시간은 약 12초 내외입니다. 클라우드 API를 쓸 때 발생하던 네트워크 지연(Latency)이 없어서 체감 속도는 오히려 인터넷 너머의 AI보다 빠를 때도 있었습니다.

5. 3줄 요약 및 이런 분들께 강력하게 추천합니다

오늘 구축한 오프라인 로컬 AI 환경의 핵심을 정리합니다.

  1. Ollama를 설치하면 복잡한 세팅 없이 명령어 한 줄로 누구나 내 PC에 최신 AI를 띄울 수 있습니다.
  2. 보안이 생명인 기밀 데이터나 개인정보는 파이썬 ollama 라이브러리를 연동해 오프라인으로 처리하세요.
  3. 무조건 큰 모델이 좋은 것이 아니며, 본인의 PC RAM 용량(보통 16GB 기준 8B 모델)에 맞는 체급을 선택해야 PC가 뻗지 않습니다.

이 방식은 외부 유출이 절대 금지된 사내 데이터를 다루는 직장인, 개인정보가 포함된 환자 데이터를 분석하는 연구원, 토이 프로젝트 서버비를 한 푼이라도 아끼고 싶은 1인 개발자 분들께 저의 실패 경험을 걸고 강력하게 추천합니다. 반면, 인터넷 실시간 검색이 필요하거나, PC 스펙이 내장 그래픽을 쓰는 사무용 노트북 수준이라면, 굳이 로컬 AI를 고집하기보다 데이터를 익명화(마스킹) 처리한 뒤 ChatGPT 무료 버전을 쓰시는 것이 스트레스를 줄이는 지름길입니다.