Stable Diffusion 로컬 설치 방법 무료 이미지 생성 실습

작성자:

내가 내 PC의 그래픽카드를 직접 혹사시키기로 결심한 이유

미드저니(Midjourney) 구독료가 한 달에 30달러를 넘어서면서, 블로그 썸네일과 웹소설 삽화를 만드는 데 드는 비용이 무시 못 할 수준이 됐습니다. 원하는 이미지가 나올 때까지 프롬프트를 계속 다듬어도 손동작이나 캐릭터 얼굴이 일관되게 유지되는 경우가 거의 없었죠. 이 과정에서 클라우드 서버 비용을 줄이고 싶다는 생각이 점점 커졌습니다. 그래서 ‘내 방구석 데스크톱 그래픽카드를 이용해 무료로 이미지를 무한 생성할 수 없을까?’라는 질문이 떠올랐습니다.

몇 날 며칠 해외 포럼과 깃허브를 뒤지면서 결국 오픈소스 AI인 ‘스테이블 디퓨전(Stable Diffusion)’을 직접 내 PC에 설치했습니다. 솔직히 까만 커맨드 창을 보고는 쉽게 포기할 뻔했는데, 막상 해보니 클릭 몇 번과 명령어 복사·붙여넣기로 끝나는 생각보다 간단한 과정이었어요. 유료 AI 구독료의 굴레에서 벗어나 무제한 무료 이미지 생성이 가능한 환경을 직접 구축한 경험을, 제가 겪은 삽질과 시행착오까지 솔직하게 풀어내려고 합니다.

목차

1. 내 PC가 AI 화가가 될 수 있을까? (테스트 환경 및 필수 스펙)

수십억 개 파라미터를 가진 이미지 생성 AI를 내 컴퓨터에서 돌리는 건, 내장 그래픽만 달린 일반 노트북으론 무리입니다. 외부 서버를 빌려 쓰지 않고 내 PC GPU 성능과 VRAM 용량에 따라 생성 속도와 해상도가 결정되기 때문입니다. 저는 NVIDIA GeForce RTX 3060 12GB 그래픽카드를 사용했는데, VRAM이 최소 8GB는 돼야 메모리 부족 에러가 덜 발생합니다. AMD 그래픽카드도 시도해봤지만 세팅이 너무 까다로워서 NVIDIA 환경을 강하게 추천합니다.

제 데스크톱 테스트 환경은 아래와 같습니다. 파이썬 버전이 조금만 달라도 라이브러리 충돌이 심하니, 공식 권장하는 Python 3.10.6을 꼭 맞춰야 합니다. Git for Windows도 필수라 설치하지 않으면 설치 과정에서 헛걸음할 수밖에 없습니다.

  • 운영체제: Windows 11 Pro
  • 그래픽카드(GPU): NVIDIA GeForce RTX 3060 12GB (메모리 부족 문제를 줄이려면 12GB 이상 권장)
  • 메모리(RAM): 32GB (최소 16GB는 돼야 버벅임 덜함)
  • 필수 소프트웨어 버전: Python 3.10.6, Git for Windows

2. 실전 설치 가이드: 파이썬 세팅부터 WebUI 구동까지

검은 터미널 창을 띄워 내 PC에 AI 화가를 직접 입주시키는 과정을 시작합니다. 가장 대중적이고 확장성이 뛰어난 ‘AUTOMATIC1111’ 버전을 기준으로 안내할 텐데, 이 버전이 여러 플러그인과 연동이 잘 되어 있어서 선택했습니다. 다만, 설치 환경에 따라 간혹 모바일이나 저사양 PC에서는 메뉴가 꼬이거나 실행 중 오류가 발생하는 경우가 있어 주의가 필요합니다.

1단계: Git과 Python 3.10.6 설치

우선 Git을 설치해야 하는데, 공식 홈페이지에서 Windows 버전을 받아 기본 설정대로 ‘Next’만 계속 눌러 설치하면 됩니다. 크게 복잡하지 않지만, 여기서 중요한 건 파이썬 버전입니다. AUTOMATIC1111 공식 안내에 따르면 꼭 Python 3.10.6 버전을 사용해야 라이브러리 충돌 없이 안정적으로 돌아갑니다. 최신 버전이 아니라는 점이 의아할 수 있지만, 다른 버전 쓰면 오류가 한참 나서 저도 직접 겪었습니다.

특히 파이썬 설치 시 처음 화면에서 맨 아래에 있는 Add Python 3.10 to PATH 옵션을 반드시 체크해야 합니다. 이걸 빼먹으면 터미널에서 파이썬 명령어가 통째로 인식되지 않아, 설치를 다시 해야 하는 번거로움이 생깁니다. 이 부분은 한참 시간을 허비했던 경험이 있어서 꼭 강조하고 싶습니다.

2단계: Stable Diffusion WebUI 소스코드 가져오기 (Clone)

다음은 설치 폴더를 정하는 단계입니다. 저는 C드라이브 최상단에 공간이 넉넉한 폴더를 만들고, 그곳에서 마우스 우클릭 후 ‘Open Git Bash here’를 선택했습니다. 물론 일반 명령 프롬프트(CMD)로도 무방하지만, Git Bash가 좀 더 편리합니다.

아래 명령어를 복사해 붙여넣고 실행하면, 5~10초 만에 stable-diffusion-webui 폴더가 통째로 복제됩니다. 너무 간단해 보이지만, 네트워크 상태에 따라 다운로드가 지연되거나 중단되는 경우도 있으니 참고하세요.

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

3단계: 모델(Checkpoint) 다운로드 및 폴더에 넣기

WebUI만 설치해도 그림을 그릴 수 없다는 점이 의외일 수 있는데, 여기에 딥러닝 모델 파일이 꼭 필요합니다. 이 파일들은 AI 화가의 ‘뇌’ 역할을 하며, 화풍을 결정하는 핵심 데이터입니다. 저는 ‘Civitai(시비타이)’라는 AI 그림 공유 사이트에서 실사풍과 애니풍 모델을 여러 개 받아봤습니다. 파일 확장자는 .safetensors로, 용량이 몇 기가바이트에 달하는 경우도 많으니 저장공간 관리를 미리 해야 합니다.

다운로드한 모델 파일들은 반드시 stable-diffusion-webuimodelsStable-diffusion 폴더 안에 그대로 복사해 넣어야 합니다. 폴더 경로를 잘못 지정하면 WebUI가 모델을 인식하지 못해 곤란한 상황이 벌어집니다. 저는 처음에 여기서 경로를 착각해 한참을 헤맸습니다.

4단계: 대망의 첫 실행 및 필수 라이브러리 자동 설치

마지막으로 stable-diffusion-webui 폴더 최상단에 있는 webui-user.bat 파일을 실행합니다. 그러면 검은 명령 프롬프트 창이 뜨면서, 자동으로 수 기가바이트에 달하는 딥러닝 필수 라이브러리(PyTorch 등)를 다운로드하고 설치합니다. 인터넷 속도와 PC 사양에 따라 10분에서 30분 정도 걸리는데, 저는 중간에 설치가 멈춘 것처럼 보여서 초반에 불안했습니다.

설치가 끝나면 터미널 창 마지막에 Running on local URL: http://127.0.0.1:7860라는 문구가 뜹니다. 이 주소를 웹 브라우저에 입력하면 직관적인 Stable Diffusion 인터페이스가 나타납니다. 다만, 모바일 환경에서는 메뉴가 제대로 작동하지 않거나 버튼이 튕기는 현상이 있어서 PC에서 실행하는 걸 추천합니다.

5단계: 첫 번째 이미지 생성 테스트

좌측 상단의 ‘Stable Diffusion checkpoint’ 드롭다운에서 아까 다운로드한 모델을 골라야 제대로 작동합니다. 저는 Prompt 입력란에 1girl, solo, masterpiece, best quality, wearing white shirt, standing in a sunny garden 문구를 넣고, 오른쪽 주황색 ‘Generate’ 버튼을 눌렀습니다. 제 그래픽카드가 계산을 시작한 뒤 10~20초 정도 지나자 화면에 단 하나뿐인, 꽤 선명한 고퀄 이미지가 나타났습니다. 이 부분은 PC 성능에 따라 체감 시간이 조금 달라질 수 있으니 참고하세요.

3. 설치 중 마주친 시뻘건 에러 창과 해결 방법 2가지

유튜브 영상들 보면 로컬 설치가 몇 번 클릭으로 끝나는 것처럼 나오지만, 제 경험은 그와 전혀 달랐습니다. 설치하면서 마주친 두 가지 대표적인 에러가 너무나 머리를 복잡하게 만들었고, 그 해결책도 단순하지 않았습니다.

첫 번째 문제: RuntimeError: CUDA out of memory (VRAM 부족)

처음 해상도를 1024×1024로 높여서 이미지를 생성했더니, 터미널에 붉은 글씨로 ‘CUDA out of memory’ 경고가 떴습니다. VRAM 12GB인 제 그래픽카드도 고해상도 이미지 연산에는 메모리가 턱없이 부족했습니다. 여러 검색 끝에 webui-user.bat 파일을 메모장으로 열어 set COMMANDLINE_ARGS= 뒤에 --xformers --medvram 명령어를 추가하는 방법을 알게 됐습니다. 특히 xformers 옵션은 메모리 사용량과 속도를 개선해주는데, 이 부분은 직접 써보기 전까지 반신반의했습니다. 그런데 막상 적용해 보니 메모리 부족 문제는 눈 녹듯 사라졌고, 고해상도 생성도 무리 없이 돌아갔습니다.

두 번째 문제: ModuleNotFoundError: No module named ‘torch’

처음 webui-user.bat 실행 시 파이토치 라이브러리를 찾지 못한다는 에러가 떴는데, 원인은 파이썬 설치할 때 ‘Add to PATH’ 옵션을 빼먹은 데 있었습니다. 이걸 모르고 한참 헤매다가, 파이썬을 완전히 삭제 후 다시 설치하면서 ‘Add to PATH’에 체크를 하니 문제가 해결됐습니다. 그리고 stable-diffusion-webui 폴더 안에 무심코 남겨둔 venv 폴더도 삭제했는데, 이게 꼬여서 오류를 유발했던 모양입니다. 이 과정을 거치니 라이브러리 설치가 제대로 진행됐고, 이후부터는 파이토치 관련 에러가 없었습니다.

4. 로컬 AI 도입 후 확인한 드라마틱한 비용 절감 수치

스테이블 디퓨전을 제 PC에 깔고 두 달 넘게 돌려보니, 비용 측면에서 확실히 체감할 만한 변화가 있었습니다. 먼저 매달 결제하던 미드저니 스탠다드 플랜 30달러(약 4만 원)를 바로 끊었죠. 1년이면 대략 48만 원을 아끼는 셈이라, 이 정도면 그냥 전기세 정도만 신경 쓰면 되니 경제적 부담이 크게 줄었습니다.

속도 면에서는 클라우드 환경과 비교가 안 됩니다. 제가 쓰는 그래픽카드가 혹사당하지만, 512×512 해상도 기준으로 한 장 만드는 데 걸리는 시간이 6~8초밖에 안 돼서 작업량이 폭발적으로 늘었어요. 특히 밤에 ‘Generate forever’ 기능을 켜두면 아침에 수백 장의 섬네일이 폴더에 쌓여 있어서, 일일이 대기열을 신경 쓸 필요가 없다는 점이 너무 편리했습니다.

디테일 조정 능력도 무시할 수 없는데, 단순 무작위 프롬프트 반복이 아니라 ControlNet 확장 기능으로 인물 포즈(뼈대)를 강제로 맞출 수 있고, inpaint 기능으로 손가락처럼 망가진 부분만 골라서 다시 그리게 하니 삽화 적중률이 기존 10% 미만에서 95% 이상으로 급상승했습니다. 프롬프트를 무턱대고 돌리던 시절과 비교하면 이건 완전 차원이 다르더군요.

하지만 여기서 한 가지 주의할 점도 있습니다. 모바일 환경에서 웹 UI 접속 시 메뉴가 꼬이거나 반응이 느려지는 문제가 종종 발생했어요. 이런 부분은 한참 뒤에야 발견해서 그때부터는 데스크톱에서만 작업했습니다. 이런 사소한 불편함이 있지만, 전체적으로 로컬 설치가 주는 비용 절감과 생산성 증가는 무시할 수 없습니다.

5. 핵심 3줄 요약 및 이런 분들께 강력히 권합니다

로컬 AI 환경 구축을 간단히 정리하면 이렇습니다.

  1. Python 3.10.6 버전 설치와 Git 설치 후, 소스코드를 Clone합니다. 여기서 Python 버전 확인은 꼭 하셔야 합니다. 안 그러면 라이브러리 충돌로 고전할 수 있어요.
  2. Civitai에서 원하는 화풍 모델을 내려받아 넣고, webui-user.bat를 실행하면 로컬 서버가 켜집니다. 간단해 보이지만, 처음엔 경로 문제 때문에 고생하는 분 많습니다.
  3. 고해상도 이미지 생성 시 VRAM 부족 에러가 생기면, --xformers 옵션을 추가해 메모리 효율을 끌어올릴 수 있습니다. 이 옵션 없으면 특히 VRAM 8GB 이하 환경에서 버벅거리는 걸 피할 수 없습니다.

이 세팅은 블로그, 유튜브 등에서 저작권 걱정 없이 일관된 이미지를 대량으로 써야 하는 크리에이터, 매달 미드저니 구독료가 부담인 1인 개발자, 웹소설 작가에게 특히 적합합니다. 단 한 번만 제대로 세팅한다면 무제한으로 아트워크를 뽑아낼 수 있으니까요.

하지만 내장 그래픽만 쓰는 사무용 노트북이거나, 터미널 창만 보면 머리가 아픈 분들에겐 이 과정이 너무 벅찰 수 있습니다. 오히려 구글 코랩 같은 클라우드 서비스를 쓰거나, 미드저니, DALL-E 3 같은 유료 웹툴을 유지하는 편이 속 편하긴 합니다. 저는 직접 설치하면서 겪은 여러 문제를 생각하면, 기술에 자신 없거나 시간이 부족한 분들은 무리하는 것보다 웹 서비스 유지가 정신 건강에 이롭다고 봅니다.