당장 써먹을 수 있는 Text to Image AI 활용법 #1
CHEIL WORLDWIDE 기사입력 2023.08.31 12:00 조회 1459
 제일기획 강태구 프로(Meta Lab)




Text to Image AI Tool을 통한 프롬프트 엔지니어링의 기본 이해

AI로 세상이 시끄럽다. LLM이니 Chat GPT니 하면서 새로운 것들이 계속해서 나오더니, 이제는 또 갑자기 프롬프트 엔지니어링의 시대라며 프롬프트 엔지니어링이 앞으로 개인 역량의 핵심이 될 것이라고 세상이 겁을 준다. 그런데 사실 프롬프트 엔지니어링이라는 용어는 듣기만큼 복잡한 것은 아니다. AI에 지시하고 대화하는 일종의 ‘소통법’일 뿐이다. 이번 칼럼에는 프롬프트의 기본 구조와 이를 구성하는 수식어들에 대해서 소개하고자 한다.

생성형 AI 프로그램을 몇 번 써본 이들은 ‘무슨 이론이냐. 해보면서 익히는 게 제일 아니냐’ 라고 생각하는 경우가 많을 것이다. 물론 틀린 말은 아니다. 하지만 최근 프롬프트 엔지니어링을 하는 데 있어 생성형 AI의 모델 버전이 올라감에 따라 이전에 잘 통하던 프롬프트 엔지니어링이 갑자기 달라지는 경우도 많다. 결과물도 이전과 달라지고, 더 나은 방법이 생기기도 한다. 이번 칼럼에는 프롬프트의 기초를 가장 쉽게 소개할 수 있는 Text to Image AI를 통해 이야기를 풀어가 보겠다. 사례에서 사용할 AI 프로그램은 쉽게 접할 수 있는 미드저니(Midjourney)를 골랐다.


프롬프트 엔지니어링이란?

미드저니에서 내린 정의가 가장 정확하기에 이를 빌려와 소개하자면, 프롬프트(Prompt)는 미드저니 봇(Midjourney Bot)이 이미지를 생성하기 위해 해석하는 짧은 텍스트 구문이다. 미드저니 봇은 프롬프트의 단어와 구를 토큰이라는 더 작은 조각으로 분해해 교육 데이터(이미지 데이터)와 비교한 다음 이미지를 생성하는 데 사용할 수 있다. 잘 만들어진 프롬프트는 독특하고 흥미로운 이미지를 만드는 데 도움을 준다.


프롬프트 엔지니어링의 구조와 작동 방법

모델에 따라 순서나 형태는 다르지만 대부분, 위와 같은 순서가 가장 잘 입력된다. 위와 같은 형태는 예를 들면 이런 식으로 구현된다.
사진, 웃고 있는 여성, 에드워드 호퍼 느낌, 파스텔 칼라, 8K 화질, 디테일을 매우 살려서 그려달라는 이야기다. 순서는 크게 상관없는 경우도 많지만 어떤 AI들은 텍스트의 순서가 중요도나 반영도에 영향을 미치기도 한다. 중요한 것은 주제와 디테일에 반영되는 것들이며, 이러한 프롬프트 수식어들을 분류하고 그 특성을 정리하면 다음과 같다.


프롬프트 엔지니어링 수식어 분류

내가 그리고 싶은 건 이거야 <주제어>

사용자가 만들고 싶은 그림의 주제다. 예를 들어 “A cat with a Hat” (모자 쓴 고양이)”가 주제어가 될 수 있다. 자유롭게 아무 이미지나 만들 것이 아니라면, 이미지 생성에서 정확하고 명료한 주제는 필수적이다. 다만 사용자가 감안해야 할 점은, Text-to-Image 시스템은 서술적인 텍스트와 연관하여 이미지를 훈련시키기 때문에 해당 시스템이 어떤 텍스트에 훈련이 덜 되어 있는 경우, 명료하게 입력한 주제 용어도 결과물에 잘 반영되지 않을 수 있다. 예를 들어 ‘한국인 남자’로 입력했는데 나온 것이 누가 봐도 한국인 같지 않은 경우도 해당 AI 모델이 ‘한국인 남자’라는 것에 대한 연관 이미지 훈련이 덜 되어 있는 경우로 볼 수 있다.




어떤 스타일로 그리면 좋을까? <스타일>

특정한 스타일의 이미지를 생성하기 위해 스타일 수식어를 프롬프트에 추가할 수 있다. “oil painting”이나 “mixed media” 같은 특정한 그림 스타일을 넣을 수도 있고, “#pixelart,” “hyper-realistic,” “abstract painting,” “surreal,” “Cubism”, “cubist,” “cabinet card,” “in the style of a cartoon,” 와 같은 예술 장르 등을 스타일 수식어로 넣어 이미지 결과물에 반영할 수도 있다.

예를 들어, ” by Francisco Goya”라는 수식어를 넣는다면 스페인의 미술가인 프란시스코 고야의 스타일로 디지털 이미지를 생성할 것이다. 스타일 수식어는 미술 시대, 학파, 스타일뿐만 아니라 미술 재료, 매체, 기법, 작가와 관련된 정보를 넣을 수도 있다.




내가 가진 이미지도 활용할 수 있어? <이미지 프롬프트>

이미지 프롬프트는 말 그대로 사용자가 이미 갖고 있는 이미지를 입력해 Text-to-Image 시스템의 이미지 생성에 활용하는 것을 말한다. 예를 들어 미드저니에는 디스코드(discord)에 내 얼굴 사진을 올린 뒤 그 올라간 URL을 프롬프트로 입력하는 기능이 있다. 이미지 프롬프트는 일반적으로 텍스트 입력 프롬프트에 추가되거나 혹은 별도의 배열로 제공되는 하나 또는 여러 개의 URL로 지정된다. 이미지 프롬프트는 활용되는 AI 모델에 따라 꼭 1개가 아닌 여러 개의 이미지로 구성될 수도 있으며, 반영 정도를 조정할 수도 있다. 가령 Stable Diffusion Model을 통해 내 얼굴과 연인 얼굴을 섞어 2세 얼굴을 미리 만들어 본다면, 나 20%, 연인 80%를 닮은 2세를 만들 수도 있다는 이야기다.



아주 멋지게 그려줘 <퀄리티 부스터>

퀄리티 부스터는 프롬프트에 추가되어 이미지의 미적 품질과 디테일 수준을 높이는 데 사용되는 수식어를 말한다. 대표적으로 “award-winning,” “masterpiece,” “highly detailed”, “awesome,” “#wow,” “epic,” “rendered in Unreal Engine.”과 같은 용어들이 있다. 이런 수식어를 넣어서 이미지 결과물을 더욱 풍성하게 만들 수 있다. 다만, 장점이 있으면 단점도 있듯이 이렇게 퀄리티를 높이려는 수식어를 쓰면, 이미지 풍성함은 높아지지만 그 대가로 주제 반영도가 약해질 수도 있기 때문에 주의해서 사용할 필요가 있다.


이건 정말 중요하니까 두 번 이야기할게 <용어 반복>

용어를 반복해서 입력하면 생성 시스템이 형성한 연관성을 강화할 수 있다. 다만 똑같은 단어를 두 번 쓰는 것이 아닌, 같은 모습을 표현하는 조금 다른 단어와 문장을 사용해야 효과가 있다. 다음 예처럼, “A cat that fight with a dog, fight each other “라는 프롬프트는 주제어 하나만 사용하는 것보다 좀더 명확한 결과물을 생성할 가능성이 높다. (가능성이 높을 뿐 항상 통하는 건 아니라는 점에 주의!) 서로 다른 표현과 동의어를 사용하면 Text-to-Image 시스템이 주제 용어와 관련된 신경망의 잠재 공간에서 더 잘 작용할 수 있게 해준다. 기술적으로 AI 모델들이 반복된 구문은 의도적으로 AI를 피드백 루프에 갇히도록 할 가능성이 있다 보니 다른 수식어보다 반영률이 높아질 수 있기 때문이다.


이 단어를 넣었더니 신기한 효과가! <마법의 용어들>

‘마법 용어’는 일종의 문학적 표현으로 이미지에 렌덤성을 강화해서 놀라운 결과물을 얻는 용어를 말한다. 쉽게 말해 ‘이 단어를 넣었더니 이미지가 엄청 재밌게 변했다’라는 것이다. 예를 들어, 트위터 사용자인 @jd_pressman은 “orchestra conductor leading a chorus of sound wave audio waveforms swirling around him on the orchestral stage”라는 프롬프트에 “control the soul”이라는 마법 용어를 추가했다.

이 프롬프트 작성자는 “더 많은 마법적이고 마법사 같은 이미지”를 얻기 위해 이런 단어를 추가했다고 말했다. 이런 일련의 ‘마법’ 용어는 결과 이미지에 예측할 수 없는 요소와 놀라움을 더하여 이미지 결과물의 다양성을 높이는 데 활용된다. 즉 랜덤으로 이미지가 나올 확률을 높인다는 이야기다. 이런 마법 용어는 프롬프트의 주제와 먼 용어일 수도 있으며, “feed the soul”과 “feel the sound”와 같이 비시각적인 특성인 촉각(체각), 청각(청각), 후각(후각), 미각(미각)과 관련된 용어일 수도 있다. 물론 정확도가 필요한 작업에선 이런 마법 단어를 쓰는 건 적절하지 않다. 어이없는 결과가 나올 수도 있기 때문이다.


이렇게 프롬프트 수식어들을 정리해 보았다. 결국 프롬프트 엔지니어링이란 여러 경험을 통해 이러한 수식어구를 조합해 나가며 어떤 것이 생성형 AI의 반응을 잘 끌어오는지 알아보는 작업이다.

이번에 소개한 기초적인 지식은 글로만 볼 땐 이해하기 어려울 수도 있다. 실제로 프로그램을 켜고 사용하며 익혀간다면 프롬프트 엔지니어링이 어떻게 구현되는지 이해가 빠를 것이다. 결국 실행과 경험이 바탕이 되어야만 효과적인 결과가 나온다는 삶의 원칙에는 AI도 예외가 아닌 셈이다. 많은 독자가 프롬프트 엔지니어링을 즐기며 익히고 멋진 작품을 만들어 내길 바란다.

[본 글은 JONAS OPPENLAENDER, (University of Jyväskylä, Finland)의 논문 ‘A Taxonomy of Prompt Modifiers for Text-To-Image Generation’ 을 참고, 발췌하여 소개하였습니다.]

 
AI ·  AI활용법 ·  ChatGPT ·  생성형AI ·  엔지니어링 ·  이미지프롬프트 ·  제일기획 ·  프롬프트 · 
이 기사에 대한 의견 ( 총 0개 )
2024년 광고 시장 결산 및 2025년 전망_2
 AI와 디지털이 주도하는 광고 시장 AI의 진화와 함께 KOBACO 집계기준 약 8% 성장한 디지털 광고 시장은 60%대 시장 점유율을 확보하며 전체 광고 시장의 대표 주자임을 확실히 각인시킨 해였다(그림 1). 경기 침체 속에서 AI 기술의 도입으로 타겟팅 및 효율성이 우수해진 디지털 미디어로 광고 수요가 전환되는 추세가 더욱 가속화되며 디지털 광고 시장이 전체 시장 성장을 주도할 것으로 전망된다.검색 광고 시장은 AI 기술
[캠페인 하이라이트] MCC 고베식당을 이야기하다
크리에이티브 컨설팅, 실행을 담보로 할 수 있을 것인가? ‘MCC 고베식당’ 프로젝트는 둘로 나뉘어진다. 바로 컨설팅과 실행이다. 그 둘이 함께 붙어 있기에 힘을 발휘한 프로젝트였고, 또한 둘로 나뉘어 있기에 어려운 프로젝트기도 했다. 2010년 4월 27일 매일유업에서 날아든 굵직한 숙제 하나. “우유하던 우리가 카레를 하려고 하는데, 어떻게 하면 잘 할지… 총체적으로 해봐!” 그렇게 시작된 숙제는 제일기획으로서는 새로운 ‘제품 컨설팅’ 의 영역이었다. 지금 이 시점, ‘ 크리에이티브 컨설팅’이라 명명된 우리만의 USP(Unique Selling Point)가 되어가고 있지만 초기만해도 가뜩이나 압도적 독점브랜드가 있는 시장 상황 속에 제품개발도 완결되지 않은, 유통도 가격도 결정되지 않은 실로 막막한 프로젝트였다.
2024년 광고 시장 결산 및 2025년 전망_1
글 김수영 프로 | 제일기획 미디어퍼포먼스 1팀 2024년은 제자리 걸음이었던 광고 시장이 한 발자국을 내디디며 앞으로 나아가는 해였다. 한국방송광고진흥공사(KOBACO)에 따르면 2023년 0.1% 증가로 사실상 답보 상태를 보였던 국내 광고 시장 총 광고비 매출액은 2024년 전년 대비 2.8% 성장한 것으로 전망됐다. 이는 내·외부 경제 불확실성과 소비자 행동 변화로 방송 광고비는 -10.8% 감소로 부진했지만
[월간 2023밈] 08월 편 - 그런날 있잖아 폭룡적 더위에 미칠 것 같은 날...
HS애드 광고 완전 폭룡적이다 MZ사진 그런날 있잖아... YCC에 참가하고 싶은 그런날... 기특해 죽겠어 복복복 유병재에게 질문을
가장 트렌디한 SNS 마케팅? K-POP 아이돌을 보라!
  글 디지털솔루션3팀 장한솔 CⓔM   K-POP 아이돌에게는 사실 어느 정도의 성공 공식이 있다고 해도 과언이 아닙니다. 이지리스닝, 청량, 풋풋, 첫사랑 등 대중적으로 사랑받을 수 있는 정체성을 갖고 있는 그룹들이 성공한 사례가 많기 때문인데요. 다만 이렇게 같은 카테고리 안에서도 정체성의 가치를 뻗어 나가며 그룹색을 구축해나가는 그룹들이 있습니다. 핵심은 바로 ‘SNS와 디지털 매체를 활용한 이색 프로모션&rs