Stable Diffusion Sketch 밑그림 기반 그림 생성방법

ControlNet에서는 Sketch를 이용하면
밑그림을 어느정도 완성한 그림이 있을 경우
그걸 가지고 그림을 그려줄 수 있는 기능이 있는데
해심은 최소한의 기반은 되어있어야 잘 기능하므로

기본이 되어있는 그림과
아예 창조의 영역으로 들어가야 하는
그림 두 개를 가지고 테스트를 해 보자

이미지에는 잘렸는데 컨트롤넷에서는
Preprocessor – t2ia_sketch_pidi
Model – control_v11p_sd15_sdribble
를 사용해주면 되고

스케치를 사용해서 이미지를 생성해보니
구도는 동일하게 유지하면서
나머지 부분은 프롬프트에 의해 변경되는 것이 보이는데
멀쩡한 이미지만 있으면 정말 간단히 완성할 수 있다

반면 동일한 내용을 img2img로 수행하려 했을 경우
Denoising Strength를 높게 주면 구도가 변형되고
0.5 정도로 낮게 설정하면 구도는 동일하지만
이미지가 변형이 덜 되어 퀄리티가 낮은 것이 보이고

이 부분은 이미지를 확장하면서도
깔끔하게 처리되지 않는 경우가 많아서
멀쩡하게 만들려면 과정이 지저분해지게 된다

여기에 스케치의 대부분이 배경의 흰색인 경우가 많아
배경이 잘 적용되지 않기 때문에
이미지를 생성한 후 배경을 교체하는 작업도 필요하다

이미지 하나를 가지고
Sketch / img2img 를 사용해서 찍어낸 것을 비교해보면
스케치의 경우에는 구도 유지하면서
깔끔하게 다른 이미지를 만들어 낸 것이 보이지만

img2img는 구도를 유지하려다 보니
옷이나 바지가 원본 그림과 큰 차이 없이
지저분하게 완성된 것이 보인다

반면 매우 단순한 이미지를 사용하는 경우에는
img2img는 사람도 쉽게 추가하면서
기존 이미지를 잘 개선했지만

Sketch는 정확히 뭘 그려야 하는지도
모르는 모습을 보여준다

정리해보자면 스케치만 그린 상태에서
이미지를 완성하는 데에는 Sketch가 굉장히 탁월하며
실제 사진이 아닐 때에는 Openpose가
자세를 제대로 잡지 못하는 경향이 있는데
Sketch는 이 부분에서도 깔끔하게 자세를 잡아준다

반면 제공한 창조적으로 변형을 가해야 할 경우에는
엉망으로 나오는 경우가 많기 때문에
이 경우에는 Sketch를 쓰는 것이 의미가 없다

Automatic1111 WebUI 사용법 정리글