동일 인물 다양한 표정 controlnet v 1.1 reference only 기능

AI를 통해 그림을 그리다 보면 동일 인물의 다양한 표정을 만들고 싶은 경우가 많습니다. AI 그림의 한계로 인해 동일 인물을 묘사하기가 어려웠습니다. 그러나 이제 controlnet 기능 중 하나인 reference only 기능을 통해 가능하게 되었습니다.

 

 

어떤 방법을 통해 기능을 사용할 수 있는지 확인해 보겠습니다.

1. 이미지 생성하기

우선 원하는 이미지를 생성합니다.

reference only 테스트용 이미지 생성

 

저는 고양이를 하나 만들었습니다. 그럼 만든 이미지가 맘에 드실 경우 다음 스텝으로 진행하시면 됩니다.

 

2. Controlnet v1.1 활성화하기

원하는 이미지를 생성하신 후 controlnet을 활성화시키겠습니다. controlnet은 최신 버전으로 업데이트해주셔야 합니다.

제가 사용하는 버전은 v1.1.173입니다.

controlnet 업데이트 방법은 web ui 화면에서 Extensions 탭을 눌러 check for updates 버튼을 클릭하여 업데이트가 필요한지 확인 후 new commits으로 나타나면 Apply and restart UI 버튼을 클릭하여 업데이트하시면 되고 latest 가 나타나면 업데이트가 되어 있는 상태라고 보시면 됩니다.

 

컨트롤넷 업데이트 화면

 

업데이트가 저상적으로 되고 최신 버전인 것을 확인했습니다.

그럼 controlnet으로 이동하여 referece only 기능을 설정하겠습니다.

controlnet 탭을 선택하여 만들었던 이미지를 바로 끌어와서 single Image 탭에 업로드하거나 기존에 만들었던 이미지를 가지고 와서 업로드해도 됩니다.

 

 

그리고 preprocessor 부분에서 reference_only를 선택해 줍니다. 이 항목이 오늘의 기능입니다.

reference only 기능을 간단히 설명드리면

 

업로드한 이미지를 기반으로(rola나 모델과 비슷한 개념) prompt를 수행함으로써 메인이미지의 변화 없이 수정할 수 있는 기능입니다.

 

방금 만든 이미지 같은 경우 prompt 창에 명령어들이 그대로 있고 동일한 모델이 적용이 되어 있어 크게 문제없지만 기존에 만들었던 이미지를 가져와 사용할 경우에는 해당 이미지 생성 시 사용했던 prompt 및 모델을 동일하게 지정해 준 후 작업을 해야 좋은 결과 값을 얻을 수 있습니다.

다른 속성 값들은 default를 두셔도 상관없지만 enable 항목은 이 기능을 사용한다고 지정하는 부분이기 때문에 체크를 해줍니다. 그리고 prompt를 수정하였는데도 변경이 잘 안 되는 경우 control Mode에서 "My prompt is more important" 항목을 선택하여 우리가 작성한 prompt를 더 가중치를 주어서 작업할 수도 있습니다.

 

 

그럼 결과 값을 한번 보겠습니다.

crying, jummping, swimming 등을 추가하여 만들어 생성하였습니다. 보시다시피 줄무늬 나 귀  몸 등을 보시면 기존에 메인 이미지를 기반으로 변경된 것을 볼 수 있습니다.

변경이 잘 안 되는 경우 (crying:1.5) 식으로 가중치를 주어서 하면 더욱 잘 표현이 됩니다.

 

reference only 결과값

 

reference only기능은 동물뿐만 아니라 사람이미지에서도 잘 작동하는 것을 테스트해보았습니다.

이 기능은 다양한 부분이 사용이 가능할 거 같습니다. openpose나 다른 컨트롤넷 기능을 중복해서 적용시켜 다양한 효과를 낼 수 있습니다

그래도 가장 중요한 것은 동인 한 인물 동인한 얼굴을 가진 이미지를 자유롭게 생성하는 부분이 정말 좋은 기능입니다.

 

관련 포스팅

2023.05.04 - [AI] - Stable diffusion web ui 소소하지만 강력한 기본 설정 3가지

2023.04.21 - [AI] - ClipDrop(클립드롭) AI 이미지 생성 누끼 편집 모든 걸 할 수 있는 능력자

2023.03.10 - [AI] - AI 이미지 제작의 설정 값들의 의미(prompt, seed, upscale...)