[AI 프롬프트] 메타코드 강의 4일차_Image to Image, Inpaint

[Image 2 Image]

앞 시간에 'Text 2 Image'를 했다면 이번에는 Image to Image이다.

실무에서는 Text 2 Image 를 통해서 스케치를 대략적으로 그리고, Image 2 Image를 통해서 이미지 보정을 한다.

Image 2 Image에서 prompt 옵션들을 조정하는 것이 중요하다.

 

T2I에서 output으로 얻은 이미지 파일을 input으로 넣어서 새로운 필감의 이미지를 얻게된다.

input image와 동일한 사진을 얻기위한 prompt를 역으로 구할 수 있다. 우측 상단 CLIP 모양의 아이콘

# 실제 수정작업 중에는 CLIP의 결과가 아닌 실제 T2I에서 프롬프팅했던 단어들을 넣는 것이 좋다.

이제 더 높은 퀄리티의 사진을 뽑아내기 위해서 'ControlNet' Unit을 추가해보자!

Enable 선택후에 위에서 output으로 얻은 사진을 넣고, Lineart나 Canny, SoftEdge와 같이 해당 사진에 대해서 보정을 해줄 수 있는 일종의 Sketch역할을 하는 이미지를 함께 프로프팅하면서, text로 프로프팅할때 보다 더 높은 성능을 보여준다.

Prompt를 Dog로 변경하게 되면, input이미지와 굉장히 유사하다는 점을  확인할 수 있다. Diffusion 모델은 아예 새롭게 이미지를 생성한다기 보다, 기존 이미지의 pixel color들을 참조하여 가지고 온다. 배경의 색상, 질감들을 알아서 본떠오고, 심지어 후드 색상까지도 그대로 가지고 왔다.

Checkpoint를 무엇을 쓰냐에 따라서 그림체 형태를 변경할 수 있다.
ControlNet을 사용해야 원본의 형태를 유지하기 쉽다.

 

[Inpaint 배우기]

왼쪽에서는 배경들을 모두 paint하고 prompt에는 buildings를 입력한 결과

배경만 자연스럽게 바뀌는 모습을 관찰할 수 있고, 여전히 기존 pixel들의 색상을 따라가는 모습을 알 수 있다.

앞선 결과에서 오른쪽 배경만 paint 후, country라는 프롬프트를 입력한 결과

마치 동화 삽화와 같이  '도시로 상경한 강아지' 같은 느낌의 컨셉을 만들어 보았다. 우리가 원하는 영역에만 변화를 주는 작업은 Text였다면 마음처럼 되지도 않을 뿐더러, 굉장히 많은 시작이 소요될 것이다. 하지만 Inpaint 기능을 통해서 우리가 원하는 영역을 설정하고 그 영역에만 조작할 수 있는 강력한 tool이 될 수 있다.

또한 세세한 프롬프팅이 불가능한 경우 위와 같이 'black t-shirt'를 입히고 싶었지만, 제대로 결과물이 나오지 않는 경우는 하단의 inpaint sketch를 통해서 그림판에 원하는 부분에 대한 색상과 영역에 칠하고 다시 inpaint에서 해당 영역을 정확히 지정해 주면, 자연스러운 질감으로 변경해줄 수 있다.

 

이제는 우리가 질감, 스타일의 checkpoint를 다운로드하여 Lola로 원하는 필터를 씌우고 Inpaint, Inpaint sketch를 통하여 세세한 보정 작업까지도 가능하다.