Stable Diffusion 손가락 멀쩡하게 뽑는 방법

Stable Diffusion 손가락 멀쩡하게 뽑는 방법

Stable Diffusion WebUI 에서 이미지 생성 시
손가락이 참 이상하게 나오는 경향이 있는데
달리3의 경우에는 손가락 문제를 거의 개선해서
딱히 작업을 해줄 것이 없지만

Stable Diffusion의 경우에는
손가락 타율이 많이 낮기 때문에
가능한 모든 작업을 해 줘야 한다

Checkpoint 바꾸기

Pastel-Mix (SD1.5) / MeinaMix (SD1.5) / Reproduction (SDXL)
세 Checkpoint를 사용해서 이미지를 만들어 봤는데
Pastel-Mix의 경우에는 23년 초에 나온
Stable Diffusion 초기 모델이라
손가락이 하나같이 개판인 반면

MeinaMix의 경우에는
반년동안 개량이 많이 되어서
손가락 타율이 많이 개선된 것이 보이고

최근에 나온 신규 모델인 SDXL 기반 Reproduction은
손가락이 매우 멀쩡하게 나오는 것이 보인다

SDXL을 쓰라는 결론이 될 수도 있겠지만
SDXL은 1.5 기반 모델보다 기본 요구 사양이 높고
현재는 개량이 덜 되어 그림 퀄리티가 좀 낮기 때문에
장단이 명확한 상태다

그리고 그림 이쁘게 잘 뽑고 싶다면
최근에 나온 모델 아무거나 쓰면 되는 건 아니고

괜찮은 모델을 다운 받아본 뒤
손가락 나오게 모델 여러개를 돌려본 뒤
손가락이 잘 나오는 모델을 사용해주면 되겠다

Negative Embedding 사용하기

Negative Embedding 이란
손가락 개떡같이 나오도록 AI한테 학습시켜서

이걸 Negative Prompt에 넣으면
멀쩡한 손가락 위주로 나오게 될 거다
이런 방법론이 되겠는데

negative_hand Negative Embedding / Deep Negative
위 두 임베딩을 많이 사용하므로 두 개를 다운받아

C:\stable-diffusion-webui\embeddings
위 경로에 넣은 뒤
Negative Prompt에서 사용해주면 되는데

이걸 사용한다고 바로 개선된 것을 체감하긴 어렵고
손가락이 멀쩡하게 나올 확률을
높여준다는 정도로 생각하면 되겠다

ADetailer 사용하기

ADetailer는 이미지를 생성하고 난 뒤
전체 영역 기준으로 선택한 영역만
다시 그려서 퀄리티를 높여주는 확장인데

간단하게는 img2img에서
얼굴과 손만 다시 그려서 퀄리티를 높이는 것을
자동화시켜 준다는 내용이다

똑같은 손을 생성하는데
더 많은 공간을 사용하기 때문에
이미지가 멀쩡하게 나올 확률이 높아진다

그냥 다시 그리기

손가락이 이상한 이미지를
img2img inpaint로 보낸 뒤
손 부분을 칠해주고 다시 그리는 방식인데

이전에 설명한
Negative Embedding과 ADetailer를 사용한 상태에서
무한히 그려주다 보면 멀쩡한 손을 얻을 수 있게 된다

주의할 점은 손이 어느 정도 멀쩡하다면
inpaint 모드에서 계속 그려주기만 해도 해결이 되지만

손이 없거나 매우 이상한 상태라면
Masked content를 Latent Nothing으로 선택해서
어느정도 손 모양새를 얻어준 뒤

해당 그림을 다시 inpaint 해서
Masked content를 Original로 변경한 뒤
손을 멀쩡하게 완성시켜주면 되는데

이게 상당히 고된 작업이기 때문에
손의 상태가 매우 좋지 않다면
다음 방법을 통해 손을 밀어버린 뒤
다시 그려넣는 방법을 권장한다

그리고 다시 그릴 경우에는
엄청나게 많은 이미지를 그려야
해결되는 경우가 많기 때문에

반드시 이미지를 키우지 않은 단계에서
손을 완성시킨 후 이미지 크기를 키워줄 것을 권장한다
커질 수록 다시 그리는데
시간도 엄청나게 소요되기 때문이다

마지막 조언

그리는 방법을 설명하면서
1.5 옛날 모델, 1.5 최신 모델, SDXL 모델로
한 번씩 그려봤는데

옛날 모델의 경우에는
애가 손가락이 뭔지를 잘 모르나
손가락 뽑기도 쉽지 않고

뽑았다고 한들 이미지 크기를 키우다 보면
손가락이 계속 망가지다 보니
Denosing Strength를 까다롭게 관리해줘야 하는데
손가락을 완벽하게 그려낼라면
그리는 게 아니라 거의 깎는 수준이다

반면 튜닝이 잘 된 요즘 1.5 Checkpoint는
손이 꽤 높은 확률로 잘 나오는 편에다가
이미지를 키우면서도 손이 거의 망가지지 않고

마지막으로 SDXL의 경우에는
그냥 손이 잘 나오기 때문에
달리3도 못하는 어려운 손동작이 아니라면
정말 편하게 이미지를 뽑을 수 있긴 하지만

문제는 퀄리티가 아직은 좀 부족하고
지원하는 컨트롤넷과 LORA도 적어서
잘 선택해서 그림을 그려주면 되겠다

Automatic1111 WebUI 사용법 정리글