Ollama-site

로컬 AI(Ollama) 설치하고 ChatGPT 없이 무료로 쓰는 법

작성자:

데이터를 챗GPT에 올렸다가 보안팀 경고를 받은 그날

몇 달 전, 부서 워크샵 결과를 요약하려고 사내 회의록 중 중요하지 않은 부분을 그냥 무심코 ChatGPT에 복사해 넣었습니다. 요약 결과는 기대 이상으로 깔끔했지만, 다음 날 보안팀에서 “외부 AI 서비스에 문서가 유출된 정황이 포착되었다”는 이메일을 받았습니다. 순간, 업무 편리함에 너무 의존한 나머지 대기업들이 왜 챗GPT 사용을 금지하는지 완전히 잊고 있었다는 생각이 들었습니다.

사실 최근 몇년간 대부분 업무 효율이 AI 덕분에 크게 올랐는데, 보안은 대부분 신경을 안썼을꺼에요. 저도 이번에 경각심을 느끼고 인터넷 연결 없이 내 컴퓨터 안에서만 작동하는 ‘오프라인 로컬 AI’를 직접 구축하기로 마음먹었습니다. 복잡한 코딩 없이 사용할 수 있다는 ‘Ollama(올라마)’ 설치 과정을 자세히 적어봅니다.

 

Ollama-site

 

목차

1. 내 PC를 오프라인 AI 서버로 만들기 위한 스펙확인

로컬 AI는 클라우드 서버 대신 자신의 컴퓨터 CPU와 RAM 자원을 직접 소모합니다. 그래서 제일 먼저 해야 할 일은 자신의 PC 사양을 체크하는 거에요. 제가 직접 여러 로컬 모델들을 돌려보면서 쾌적한 구동 환경을 확인한 사양은 다음과 같습니다.

  • 운영체제: Windows 11 Pro (참고로 Mac 사용자라면 Apple Silicon M1/M2 칩셋에서 훨씬 원활하게 작동합니다)
  • 메모리(RAM): 16GB (이 정도가 최소 권장 사양이고, 32GB 이상이라면 훨씬 여유롭습니다)
  • 그래픽카드(GPU): NVIDIA RTX 3060 12GB (GPU가 없어도 CPU만으로 돌아가긴 하지만 속도 면에서 큰 차이가 납니다)
  • 사용 소프트웨어: Ollama 최신 버전, Python 3.12.2
  • 구동할 모델: Meta의 llama3 8B 모델 (가볍지만 성능이 뛰어나 추천합니다)

2. Ollama 다운로드부터 파이썬 챗봇 연동까지

예전에는 로컬 AI를 돌리려면 GitHub에서 복잡한 코드를 직접 받아야 됐거든요? 그러다보면 예상치 못한 에러들을 해결하거나 방법을 찾아야 해서 꽤 오랜 시간이 걸렸는데 Ollama는 이런 과정을 거의 없앴습니다. 단 하나의 프로그램 설치로 끝나는데, 그만큼 사용 편의성이 크게 좋아졌다고 할 수 있겠죠.

1단계: Ollama 공식 홈페이지에서 프로그램 설치

ollama.com에 접속해서 운영체제에 맞는 설치 파일을 받아야 합니다. 사실 해보시면 알겠지만 설치 과정은 딱히 특별할 게 없고, 금방 끝납니다. 설치가 제대로 되면 우선 화면 오른쪽 아래 시스템 트레이 부분에 라마 아이콘이 하나 뜨는데, 이게 보이면 Ollama AI 서버가 백그라운드에서 돌아가고 있다는 뜻입니다.

2단계: 터미널에서 AI 모델 다운로드 및 실행

명령 프롬프트나 PowerShell에서 ollama run llama3 한 줄만 입력하면 됩니다. 이게 진짜 진짜 편한 점인데, 자동으로 Meta의 최신 Llama 3 모델(약 4.7GB)을 내려받습니다. 다운로드가 꽤 큰 편이라 인터넷 속도에 따라 시간이 좀 걸리긴 했어요. 완료 후 터미널 프롬프트가 >>>로 바뀌면 바로 질문을 던질 수 있는데, 이때부터는 인터넷 연결 없이도 쓸 수 있어서 마음껏 실험했습니다. 이런건 개꿀!

3단계: 파이썬(Python) 코드로 나만의 자동화 챗봇 연동하기

터미널에서 직접 대화하는 것 만으로는 당연히 사용 상 한계가 있으니 파이썬 연동은 필수입니다. VS Code를 열고 pip install ollama 명령어로 공식 라이브러리를 설치했는데, 이 부분은 문제 없었어요. 다만 자기 pc에 파이썬 버전이나 환경에 따라 의존성 문제로 라이브러리가 제대로 설치되지 않는 경우가 생각보다 많아서 그 점을 조시해야 합니다.

아래 코드를 local_ai.py라는 파일에 입력했습니다. 저는 인터넷을 완전히 끊은 상태에서 실행했는데, 실제로 로컬에서 AI가 돌아가는 걸 확인할 수 있어서 진짜 좋더군요. 

import ollama

def analyze_confidential_data(prompt_text):
print("🔒 [오프라인 모드] 내 PC에서 데이터를 분석 중입니다...n")

# 내 컴퓨터 내부(localhost)에서 돌고 있는 Ollama 모델을 호출합니다.
response = ollama.chat(
    model='llama3',
    messages=[
        {'role': 'system', 'content': '너는 데이터 분석 전문가야. 간결하게 한국어로 답변해.'},
        {'role': 'user', 'content': prompt_text}
    ]
)

return response['message']['content']
if name == "main":
# 외부로 유출되면 안 되는 가상의 사내 데이터
secret_data = "2026년 1분기 영업이익은 150억, 2분기는 120억으로 전 분기 대비 하락했으나 신규 프로젝트 B의 매출이 30% 증가함."

my_prompt = f"다음 사내 데이터를 읽고 긍정적인 부분과 부정적인 부분을 1줄씩 요약해줘:nn{secret_data}"

result = analyze_confidential_data(my_prompt)
print("==== 🤖 로컬 AI 분석 결과 ====")
print(result)

💡 여기서 주의할 점: 한국어 성능 끌어올리기

Llama 3 기본 모델을 쓰면 영어 질문에는 꽤 수준 높은 답변을 얻을 수 있지만, 한국어로 질문하면 종종 영어로 답하거나 어색한 직역체가 튀어나옵니다. 만약 여러분도 저처럼 한국어 자연스러움이 중요하다면, 명령어 창에 ollama run EEVE-Korean을 입력해 국내 개발자가 한국어에 맞게 미세조정한 모델을 내려받는 걸 추천합니다. 그리고 코드 내 model='...' 부분을 해당 모델명으로 바꾸면 체감 품질이 확연히 올라갑니다.

솔직히 말하면, 기본 Llama 3 모델을 다른 AI들과 비교하면 한국어 대응력은 아직 갈 길이 멀어서 업무용으로 쓰기엔 부족하다고 느꼈습니다.

3. 내 PC를 뻗게 만든 치명적 오류 2가지와 탈출구

Ollama 설치하고 나서 별 생각 없이 무작정 큰 모델부터 돌려봤다가 PC가 완전히 멈췄던 순간이 아직도 생생합니다. ‘챗GPT 구독료 아낀다’는 생각에 너무 성급했죠. 특히 하드웨어 한계와 네트워크 설정 문제는 생각보다 골치 아팠습니다.

첫 번째 절망: 욕심이 부른 참사, Out of Memory 블루스크린

모델 리스트를 보니 8B와 70B 두 가지가 있길래, ‘파라미터가 많으면 당연히 더 똑똑하겠지’ 하며 ollama run llama3:70b를 실행했습니다. 그런데 40GB 가까운 모델이 내려받아지고 나서 첫 질문을 던지는 순간, 팬이 미친 듯이 돌면서 화면이 멈추고 블루스크린이 떴습니다. 16GB RAM으로는 70B 모델을 감당할 수 없다는 사실을 알게되는 순간이기도 했죠.

그래서 전 PC에선 RAM 용량보다 훨씬 작은 모델, 보통 절반 이하 크기인 모델을 써야 안정적으로 작동한다는 교훈을 얻었습니다. 결국 안정성을 위해 8B 모델로 갈아탔는데, 이게 오히려 실사용에 훨씬 무리 없었습니다. 욕심 내다가 장비를 망가뜨릴 뻔한 셈이죠.

두 번째 위기: Connection Refused (다른 PC에서 접속 불가 현상)

데스크톱에 Ollama를 띄워놓고 회의실 노트북에서 로컬 네트워크로 데스크톱 AI를 호출하려 했는데, 127.0.0.1:11434 연결 거부됨 에러가 반복됐습니다. 알아보니 Ollama 기본 보안 설정이 외부 접속을 차단하는 구조였더군요.

이를 해결하려면 윈도우 환경 변수에 OLLAMA_HOST=0.0.0.0을 새로 추가하고 Ollama를 재시작해야 했습니다.

4. 로컬 AI 도입 후 확인한 압도적 보안성과 수치 변화

이렇게 실제 한 달 동안 로컬 AI를 실무에 적용하면서 체감한 점들을 정리해 보겠습니다.

  • 철통 보안과 심리적 안정감:아무래도 인터넷 연결을 완전히 끊은 상태에서 쓰니 마음이 편했어요. 엑셀 데이터 500건을 파이썬으로 분석해도 외부 서버로 1바이트도 새어나가지 않으니 보안팀 눈치를 볼 필요가 없어졌고, 업무 중 긴장감이 확 줄었습니다.
  • 비용 절감: 이전에는 매달 챗GPT 플러스와 OpenAI API 비용을 많이 써왔는데, 이제는 그 지출을 일부 줄일수 있게되었어요. 뭐 전기세가 좀 더 나오는 점은 있지만, 개인적으로 이 정도는 무시할 만한 수준이라 생각합니다.
  • 처리 속도: 제 게임을 위한 GPU인 RTX 3060 환경 기준으로 1,000자 분량 텍스트 요약에 약 12초 정도 걸립니다. 클라우드 API에서 겪던 네트워크 지연이 없어 오히려 체감 속도가 더 빠를 때도 있더군요.

5. 3줄 요약 및 이런 분들께 강력하게 추천합니다

이번에 제가 직접 구축한 로컬 AI 환경은 복잡한 세팅 없이 명령어 한 줄로 최신 AI를 내 PC에서 바로 실행할 수 있다는 점이 가장 큰 장점입니다. 특히 파이썬 ollama 라이브러리를 이용해 기밀 데이터나 개인정보를 완전히 오프라인에서 처리할 수 있다는 점이 마음에 들었습니다.

  1. Ollama 설치만으로 누구나 쉽게 최신 AI를 PC에 띄울 수 있습니다.
  2. 기밀과 개인정보는 파이썬 ollama 라이브러리로 완전 오프라인에서 다룹니다.
  3. 큰 모델이 무조건 좋은 게 아니라 PC 사양에 맞는 모델을 골라야 시스템이 버티더군요.