Stable Diffusion Reference를 이용한 특정 이미지 기반 생성방법

WebUI 에서 다음과 같은 이미지를 생성했는데
캐릭터는 마음에 들건만
포즈가 마음에 들지 않기 때문에

캐릭터는 최대한 유지시키면서
다른 동작을 취하게 바꿔보려고 하는데

먼저 컨트롤넷에서 Preprocessor를
reference_only로 선택해준 뒤
참고할 이미지를 넣어주자
(reference_adain, reference_adain+attn 도 있지만
reference_only가 가장 나음)

이후 참고한 이미지와 유사하게
프롬프트를 작성해준 뒤 이미지를 생성해주면
꽤 비슷하게 이미지가 나오는 것이 보이는데

이후에는 img2img로 보내서 화질을 계속 올려주면
비슷한 느낌으로 완성시킬 수 있다

여기서 컨트롤넷의 reference를
간단한 느낌의 LORA 정도로 생각할 수도 있을텐데
똑같은 것과 비슷한 것은 차이가 크기 때문에

이미지의 캐릭터가 마음에 들어서
비슷한 수준이 아닌 동일한 캐릭터를 만들고 싶다면
하나의 이미지로도 LORA를 생성할 수 있으므로
이런 걸 참조해서 만들어주면 되겠다

Automatic1111 WebUI 사용법 정리글