다짜고짜 따라 해보는 스테이블 디퓨전 ComfyUI
HS Ad 기사입력 2024.03.05 12:00 조회 449
 

생성형 AI의 시대에 살고 계신 여러분 안녕하신가요?

요즘 뉴스를 보든, 팀 회의에 들어가든, 친구들과 카톡에서 잡담을 하더라도 생성형 AI가 빠지는 곳이 없습니다. Chat GPT 텍스트 생성을 시작으로 스테이블 디퓨전과 미드저니를 중심으로 한 이미지 생성, 그리고 최근에는 SORA가 발표되며 동영상까지 AI가 생성하는 시대가 찾아왔습니다. 그러다 보니 'AI의 미래가 어떻다~', '기술이 얼마나 대단하다~'. '업무 효율성을 얼마나 늘릴 수 있다' 등 다양한 분석 글이 쏟아지고 있습니다. 하지만 정작 사용방법에 대한 글은 찾기 어려운 것 같습니다. 그래서 오늘은 누구나 저를 따라오면 스테이블 디퓨전을 사용할 수 있는 방법을 글로 작성해보려 합니다. 정말 정말 쉽고 남녀노소, 컴맹 누구든 괜찮습니다. 컴퓨터 사양이 좋지 않아도 괜찮습니다! 인터넷만 연결되어 있다면, 저를 따라서 스테이블 디퓨전을 체험할 수 있게 해 드리겠습니다!

이번 글에서는 구글에서 제공하는 클라우드 컴퓨터 Colab Pro를 이용해 스테이블 디퓨전(ComfyUI)을 설치하고 기초적인 사용법에 대해서 알아보는 시간을 가지겠습니다. 어려운 내용은 전부 빼고 최대한 쉽게 스테이블 디퓨전을 맛볼 수 있게 글을 작성하였으니 마음 편하게 따라와 주시면 좋겠습니다!

그럼 새로운 시대를 향한 첫걸음을 위한 준비물은 아래와 같습니다. 

1. 우리 모두 하나쯤은 가지고 있는 Google 계정

2. 10$ (Google Colab Pro 월 이용료)
AI 신세계를 향한 티켓값이 10$? 싸다 싸 결제 방법까지 친절하게 정리할 테니 걱정 마세요!

3. Google Drive 약 10GB의 여유공간 무료 제공 공간이 15GB입니다! 문제없으시죠?

 

 

자! 마음의 준비가 되셨나요?  그럼 시작해 보겠습니다! (Colab Pro 계정이 있으신 분은 건너뛰어도 됩니다.)

가장 먼저 Google에 로그인을 하시고 "Colab"을 검색해 주세요.


 
 Colab.google 두 번째 페이지로 접속해 주세요!


 
Open Colab 클릭!
 




이렇게 “노트 열기” 창이 열리는데요. 우선 Pro 버전으로 업그레이드를 해야 하기 때문에 취소 버튼을 눌러주세요.
 




우측 상단에 톱니바퀴 클릭! 톱니바퀴를 클릭하게 되면, 설정창이 나타납니다. 여기서 왼쪽 메뉴의 “Colab Pro”를 누르시고 가운데 “자세히 알아보기” 버튼을 눌러주세요.





Colab Pro 월 $9.99을 눌러주세요. 과거에는 Colab 무료 버전에서도 스테이블 디퓨전(ComfyUI)을 사용할 수 있었는데, 23년 10월 16일 기준, 스테이블 디퓨전(Stable Diffusion)을 사용하면 제재를 가한다는 정책이 변경되었습니다. Colab으로 스테이블 디퓨전을 사용하려면 Colab Pro 구독이 필요합니다. 아마도 스테이블 디퓨전의 GPU 사용량이 높아서 계속해서 무료로 제공하긴 어려웠던 모양입니다.





자! 이제 왼쪽 상단의 로고가 PRO로 변경된 걸 확인할 수 있으실 겁니다. 이제 바로 스테이블 디퓨전(ComfyUI) 설치까지 가보도록 할게요! 준비한 아래 링크로 접속해 주세요.
(https://colab.research.google.com/drive/1cBB2HPmOuTk8HM7GMADAdRA1uEfpc_wM?usp=sharing)

 


 

미리 작성된 스테이블 디퓨전(ComfyUI) 설치, 실행 코드가 있습니다. (공유된 코드는 ComfyUI git에서 제공하는 설치 코드에서 dependencies 이슈를 수정하고 Manager를 추가한 버전입니다.)
보이는 화면은 저의 구글 드라이브에 위치한 파일이기 때문에 Drive로 복사를 클릭하셔서 본인의 구글 드라이브로 가져가시면 됩니다. 클릭하면 바로 개인 Colab으로 연결됩니다.




왼쪽 상단에 “colab_comfyui_240303.ipynb의 사본”이라 뜬다면, 제대로 가져오신 겁니다. 본격적인 설치에 앞서서 Colab Pro버전에 맞게 GPU를 선택할 수 있습니다. RAM, 디스크 우측의 ▼를 클릭하면, 런타임 유형 변경을 선택할 수 있습니다. Pro에 맞게 조금 더 좋은 GPU를 일정 리소스만큼 사용할 수 있습니다. (리소스 다 쓸 경우 추가 구매 필요)





이제 설정도 끝났겠다! 우측 옵션을 모두 클릭하고 코드를 실행해 보겠습니다. 코드 실행은 왼쪽 상단의 ▶ 단추를 클릭하시면 됩니다. 구글 드라이브를 사용하게 설정하였기 때문에 액세스 권한을 요청하는 팝업창이 나타납니다. 연결, 승인을 눌러주세요.





Colab이 열심히 환경설치를 하고 있는 동안 우리는 스테이블 디퓨전 모델을 다운로드하러 가겠습니다.

 



통 최근에 스테이블 디퓨전을 처음 접하시는 분들은 SD XL 1.0 모델을 다운로드합니다. 하지만 오늘은 “맛보기”를 위한 날이기에 6.94GB의 SD XL 1.0 아닌 “Real Dream”이라는 2GB짜리 인물 중심으로 학습된 모델을 사용하겠습니다. 단순히 구글 클라우드 업로드 시간을 줄이기 위해 SD 1.5 기반의 저용량 모델을 선택한 것이기 때문에 “나는 XL 기반의 모델을 선택하고 싶다.” 하시면 아래 Civitai.com에 접속하셔서 마음에 드는 Checkpoint 모델을 다운로드하시면 됩니다.
Civitai.com: 세계 최대 이미지 AI생성 커뮤니티 https://civitai.com/models
 

출처: https://civitai.com/models/153568?modelVersionId=275455
 

모델을 다운로드할 때, 주의하실 점이 하나 있습니다. 오픈소스로 자유롭게 공유되고 있으나 작은 규모의 Checkpoint 모델도 2GB가 넘기 때문에 안에 어떤 악성코드, 바이러스를 포함하고 있을지 알 수 없습니다. 

그래서 이러한 위험을 방지하고 AI모델 데이터의 빠른 저장과 배포를 목적으로 개발된 형식이 Safetensor입니다. 안전과 속도를 위해서라도 Safetensor 형식을 확인하고 다운로드하여 주세요. Cvitai에서 다운로드하는 대부분의 모델은 Safetensor 형식입니다.


 



Checkpoint 모델을 다운로드하셨다면, 구글 드라이브에 올려줘야 합니다. Colab에서 환경설정이 끝났다면, Google Drive 접속하면 ComfyUI 폴더가 기다리고 있을 겁니다.





Models 하위 폴더인 Checkpoints 폴더에 다운로드한 Checkpoint 모델을 업로드해 주세요. 그럼 이제 실행작업만 남기고 모든 준비가 끝났습니다!





다시 Colab으로 돌아와서 실행을 위해 “Run ComfyUI with localtunnel” 실행 단추를 클릭해 줍니다.



결과창에 위와 같은 URL링크가 나타납니다. 클릭해 주세요!


 
두둥! Tunnel Password 입력 창이 나타납니다.

 


Password는 바로바로! Colab 실행창에 있던 ip주소입니다.


 

 

짠! 드디어 스테이블 디퓨전을 사용할 수 있는 ComfyUI에 접속했습니다. 
박수 ?????
이곳에서 새로운 시대를 향한 첫걸음 내딛을 수 있습니다. 그러면 하나하나 설명하기 전에 다짜고짜 생성을 한번 해볼까요? 예제로 작성되어 있는 프롬프트가 있습니다.

그러니 우리는 왼쪽 Load Checkpoint에서 구글 드라이브에 업로드했던 Checkpoint 모델을 선택해 줍니다. 그리고 우측 Quene Prompt를 클릭하면 예제로 작성된 프롬프트대로 이미지가 생성됩니다. 참고로 Save/Load는 생성물에 대한 버튼이 아니라 작성되어 있는 워크프로세스(아래 설명)를 저장하고 불러오는 버튼입니다.





어떠신가요? 프롬프트대로 이미지가 잘 생성되었나요? 지금 보이는 화면이 가장 기본 중에 기본인 스테이블 디퓨전의 작업 프
로세스입니다. 오늘은 딱! 눈에 보이는 프로세스만 이해하고 마치도록 하겠습니다. 전~~혀 어렵지 않습니다. 단순히 역할이 나눠진 플로우 차트로 이해하시면 됩니다.

우선 용어를 정리하면 Load Checkpoint, ClLP Text Encode, Ksampler 등 하나의 작업 창을 노드(Node)라고 부릅니다. 그리고 이러한 노드들의 집합을 워크프로세스라고 부릅니다. 우리는 다양한 노드를 조합하여 복잡한 워크프로세스를 제작할 수 있고 이를 통해 원하는 결과물을 생성 및 수정을 할 수 있습니다.





기본 워크프로세스에 존재하는 노드에 대해서 살펴보면, Load Checkpoint 노드는 말 그대로 Checkpoint 모델을 불러오는 노드입니다. 모델을 불러오기 위해서는 정확한 위치에 Checkpoint 모델이 존재해야 하고 ComfyUI 실행 중에 구글 드라이브 상에 모델을 추가한 경우에는 Colab에서 “Run ComfyUI with localtunnel”을 중단하고 재실행해야 적용됩니다.



 
다음은 ClLP Text Encode 노드입니다. 두 개의 노드가 있는데, Output이 Ksampler의 어떤 Input에 연결되어 있는지로 역할이 나뉩니다. 위에 있는 ClLP Text Encode는 생성하고자 하는 대상을 텍스트로 입력하는 긍정 프롬프트입니다. Ksampler의 positive input과 연결되어 있습니다.

반면에 아래에 위치한 ClLP Text Encode는 생성 대상에 없었으면 하는 내용을 텍스트로 입력하는 부정 프롬프트입니다. Ksampler의 negative input과 연결되어 있습니다. Output을 끌어서 바꾸게 된다면, 역할 역시 바꿀 수 있습니다.





Empty Latent Image 노드에서는 생성 이미지의 크기, 한 번의 작업에서 생성할 이미지의 개수를 정할 수 있습니다.






KSampler 노드는 스테이블 디퓨전 모델의 이미지 생성 메커니즘을 수행하는 노드입니다. 스테이블 디퓨전의 기본 원리를 상세히 다루진 않겠습니다만, Sampler는 노이즈가 가득한 임의의 이미지에서 프롬프트에 맞게 스탭 별로 노이즈를 제거해 가며 이미지를 생성하는 기능을 합니다. 그리고 seed, control_after_generate, step 등은 Sampler의 구동을 위한 설정 값(파라미터)입니다.

 

Seed는 생성할 때, 임의로 주어지는 시작점으로 값을 고정하게 되면 거의 동일한 이미지가 여러 번 생성됩니다.

Control_after_generate는 seed 값을 +-1씩 변경, 무작위, 고정을 설정할 수 있는 파라미터입니다. Steps은 몇 번의 샘플링을 할지 정할 수 있습니다. 높다고 하여 반드시 좋은 품질의 이미지가 나오는 것은 아닙니다. 일반적으로 20~30의 값을 사용합니다. sampler name은 샘플러 알고리즘 선택하는 것으로 모델 별로 권장하는 샘플러 알고리즘이 있습니다. 


colab ·  comfyui ·  HSAd ·  생성형AI ·  스테이블디퓨전 · 
이 기사에 대한 의견 ( 총 0개 )
2023년 광고 시장 결산 및 2024년 전망
2023년 연초 광고 시장에 드리웠던 불안한 예감은 현실이 됐다. 지난 2021년 20.4%라는 큰 성장 이후 2022년 5.4% 재 성장하며 숨 고르기로 다시 한번 도약을 준비하던 광고 시장이었다. 하지만 발표된 다수의 전망들은 2023년 광고 시장의 축소를 내다보고 있다. 한국방송광고진흥공사에 따르면 2023년 광고비는 전년 대비 3.1%p 하락으로 전망됐고, 이중 방송 광고비는 17.7% 감소가 예상됐다.
[월간 2024밈] 4월 편 - 잼얘해봐?
  오늘 점심 떵개했다?  HSAD 광고 사건  펠꾸 모음  카카오톡 미니 이모티콘  잼얘 해봐.   오늘 점심 떵개했다 음식을 맛있게 먹기로 유명한 유튜브 먹방 유튜버 떵개떵. 출처: 유튜브 떵개떵  음식을 맛있게 먹는 떵개떵의 이름에서 따와, 맛있는 음식을 먹으면 '떵개했다'라는 말을 사용해요! '오늘 점심
우리의 일상을 금연 동기 가득한 일상으로, “이렇게 참은 김에, 이참에, 금연 어떠세요?”
“금연에 관심이 있는 흡연자들이 금연을 실천할 수 있도록 행동 메시지를 개발해 주세요.”
우리가 사랑한 다이닝, 아웃백 ㅣ 脫 패밀리레스토랑을 위한 2024년 아웃백 리브랜딩 캠페인
“패밀리레스토랑 1등을 넘어 캐주얼다이닝이라는 새로운 시장을 정의, 리딩하고 싶습니다”
근데, 언제 봤다고 주인공이세요?
  눈 떠보니 '나'로 태어난 사람.   기억의 수첩을 뒤적여 본다. 맨 첫 장엔 무엇이 쓰여 있을까. 후뢰시맨 가면을 쓰고 엑스칼리버 장난감을 휘두르던 아이. 다섯 살 첫 기억에서 나는 악의 세력에 맞서는 정의로운 용사이자 세상의 주인공이었다. 좀 더 커서 마왕을 단칼에 썰어버릴 줄 알았던 나는, 거울 속 빨갛게 올라온 여드름 하나에도 어쩔 줄 몰라 하는 어른이 됐다. 정의로움으로 세상을 밝힐 줄 알았던 나는, 블로그
2023년 광고 시장 결산 및 2024년 전망
2023년 연초 광고 시장에 드리웠던 불안한 예감은 현실이 됐다. 지난 2021년 20.4%라는 큰 성장 이후 2022년 5.4% 재 성장하며 숨 고르기로 다시 한번 도약을 준비하던 광고 시장이었다. 하지만 발표된 다수의 전망들은 2023년 광고 시장의 축소를 내다보고 있다. 한국방송광고진흥공사에 따르면 2023년 광고비는 전년 대비 3.1%p 하락으로 전망됐고, 이중 방송 광고비는 17.7% 감소가 예상됐다.
REAL 100% AI를 활용해 제작한 ‘LG유플러스 브랜드 광고’를 소개합니다
HSAD에서 국내 최초로 100% AI를 활용해 제작한 LG유플러스의 브랜드 광고 캠페인을 선보입니다.
[월간 2024밈] 4월 편 - 잼얘해봐?
  오늘 점심 떵개했다?  HSAD 광고 사건  펠꾸 모음  카카오톡 미니 이모티콘  잼얘 해봐.   오늘 점심 떵개했다 음식을 맛있게 먹기로 유명한 유튜브 먹방 유튜버 떵개떵. 출처: 유튜브 떵개떵  음식을 맛있게 먹는 떵개떵의 이름에서 따와, 맛있는 음식을 먹으면 '떵개했다'라는 말을 사용해요! '오늘 점심
새로운 1:1 마케팅 도구 모바일 위젯
작년부터 웬만한 IT전문 블로그에서 빠짐없이 등장하는 기사가 바로 위젯, 그리고 위젯의 모바일판이 ‘모바일위젯’이다. 그만큼 이 작고 새로운 어플리케이션의 등장은 업계전방에 다양한 영향력을 행사하고 있다. 올해 2009년은 모바일에서도 본격적으로 위젯을 마케팅 도구로 상용하는 성공사례가 나타날 것이다.
사람, 마음을 ‘기술’하다
  어느 날, 우리 모두에게 미션이 생겼다.   업계 상관없이 맞이한 그 미션은 바로 ‘AI 시대에 대한 적응’이다. AI는 디지털로 인한 정보의 평등을 타고 빠르게 세상을 변화시키고 있다. 나름 비슷한 종류의 변화들에 힘껏 적응해 왔던 90년대생임에도 불구하고 어색하고 어려울 정도이다. AI를 어떻게 공부해야 할지부터 받아들이는 태도까지 정해진 것은 없으며 모두가 시대 변화의 과도기를 겪고 있다.
2023년 광고 시장 결산 및 2024년 전망
2023년 연초 광고 시장에 드리웠던 불안한 예감은 현실이 됐다. 지난 2021년 20.4%라는 큰 성장 이후 2022년 5.4% 재 성장하며 숨 고르기로 다시 한번 도약을 준비하던 광고 시장이었다. 하지만 발표된 다수의 전망들은 2023년 광고 시장의 축소를 내다보고 있다. 한국방송광고진흥공사에 따르면 2023년 광고비는 전년 대비 3.1%p 하락으로 전망됐고, 이중 방송 광고비는 17.7% 감소가 예상됐다.
REAL 100% AI를 활용해 제작한 ‘LG유플러스 브랜드 광고’를 소개합니다
HSAD에서 국내 최초로 100% AI를 활용해 제작한 LG유플러스의 브랜드 광고 캠페인을 선보입니다.
[월간 2024밈] 4월 편 - 잼얘해봐?
  오늘 점심 떵개했다?  HSAD 광고 사건  펠꾸 모음  카카오톡 미니 이모티콘  잼얘 해봐.   오늘 점심 떵개했다 음식을 맛있게 먹기로 유명한 유튜브 먹방 유튜버 떵개떵. 출처: 유튜브 떵개떵  음식을 맛있게 먹는 떵개떵의 이름에서 따와, 맛있는 음식을 먹으면 '떵개했다'라는 말을 사용해요! '오늘 점심
새로운 1:1 마케팅 도구 모바일 위젯
작년부터 웬만한 IT전문 블로그에서 빠짐없이 등장하는 기사가 바로 위젯, 그리고 위젯의 모바일판이 ‘모바일위젯’이다. 그만큼 이 작고 새로운 어플리케이션의 등장은 업계전방에 다양한 영향력을 행사하고 있다. 올해 2009년은 모바일에서도 본격적으로 위젯을 마케팅 도구로 상용하는 성공사례가 나타날 것이다.
사람, 마음을 ‘기술’하다
  어느 날, 우리 모두에게 미션이 생겼다.   업계 상관없이 맞이한 그 미션은 바로 ‘AI 시대에 대한 적응’이다. AI는 디지털로 인한 정보의 평등을 타고 빠르게 세상을 변화시키고 있다. 나름 비슷한 종류의 변화들에 힘껏 적응해 왔던 90년대생임에도 불구하고 어색하고 어려울 정도이다. AI를 어떻게 공부해야 할지부터 받아들이는 태도까지 정해진 것은 없으며 모두가 시대 변화의 과도기를 겪고 있다.
2023년 광고 시장 결산 및 2024년 전망
2023년 연초 광고 시장에 드리웠던 불안한 예감은 현실이 됐다. 지난 2021년 20.4%라는 큰 성장 이후 2022년 5.4% 재 성장하며 숨 고르기로 다시 한번 도약을 준비하던 광고 시장이었다. 하지만 발표된 다수의 전망들은 2023년 광고 시장의 축소를 내다보고 있다. 한국방송광고진흥공사에 따르면 2023년 광고비는 전년 대비 3.1%p 하락으로 전망됐고, 이중 방송 광고비는 17.7% 감소가 예상됐다.
REAL 100% AI를 활용해 제작한 ‘LG유플러스 브랜드 광고’를 소개합니다
HSAD에서 국내 최초로 100% AI를 활용해 제작한 LG유플러스의 브랜드 광고 캠페인을 선보입니다.
[월간 2024밈] 4월 편 - 잼얘해봐?
  오늘 점심 떵개했다?  HSAD 광고 사건  펠꾸 모음  카카오톡 미니 이모티콘  잼얘 해봐.   오늘 점심 떵개했다 음식을 맛있게 먹기로 유명한 유튜브 먹방 유튜버 떵개떵. 출처: 유튜브 떵개떵  음식을 맛있게 먹는 떵개떵의 이름에서 따와, 맛있는 음식을 먹으면 '떵개했다'라는 말을 사용해요! '오늘 점심
새로운 1:1 마케팅 도구 모바일 위젯
작년부터 웬만한 IT전문 블로그에서 빠짐없이 등장하는 기사가 바로 위젯, 그리고 위젯의 모바일판이 ‘모바일위젯’이다. 그만큼 이 작고 새로운 어플리케이션의 등장은 업계전방에 다양한 영향력을 행사하고 있다. 올해 2009년은 모바일에서도 본격적으로 위젯을 마케팅 도구로 상용하는 성공사례가 나타날 것이다.
사람, 마음을 ‘기술’하다
  어느 날, 우리 모두에게 미션이 생겼다.   업계 상관없이 맞이한 그 미션은 바로 ‘AI 시대에 대한 적응’이다. AI는 디지털로 인한 정보의 평등을 타고 빠르게 세상을 변화시키고 있다. 나름 비슷한 종류의 변화들에 힘껏 적응해 왔던 90년대생임에도 불구하고 어색하고 어려울 정도이다. AI를 어떻게 공부해야 할지부터 받아들이는 태도까지 정해진 것은 없으며 모두가 시대 변화의 과도기를 겪고 있다.