В нашем сегодняшнем обзоре расскажем о том, как произвести инсталляцию ControlNet и модели для stable diffusion в веб-интерфейсе Automatic 1111. Расскажем о том, как устанавливается ControlNet, обсудим особенности загрузки подготовленных предварительно моделей, а также особенности их сопряжения. Повысьте качество работы над моделями и создавайте качественный контент с использованием функционала, представляемого расширением ControlNet.
Введение
ControlNet — это аналог Image2Image, обладающий рядом функциональных особенностей. Даёт значительно больше контроля над конечным результатом генерации, а также позволяет создавать изображения с использованием функционала Img2Img и Txt2Img более детально и точно. Это специализированное расширение для Stable Diffusion от версии 1.5 и выше, а также использующих эту модель сервисов.
Установка расширения ControlNet
Если вы уже в работе используете интерфейс Automatic1111, то рассматриваемое нами расширение устанавливается напрямую из раздела Extensions. Обнаружить его в списке расширений обычно достаточно сложно, но можно ввести в поиске sd-webui-controlnet и всё получится. Чтобы установить расширение ControlNet, откройте веб-версию пользовательского интерфейса и выполните следующие действия:
- перейдите на указанную выше вкладку «Extensions (Расширения)»;
- нажмите «Install from URL (Установить с URL)» и вставьте в появившуюся поисковую строку URL-адрес хранилища Github: https://github.com/Mikubill/sd-webui-controlnet;
- нажмите кнопку «Install (Установить)»;
- после окончания инсталляции нажмите «Apply and restart UI (Применить и перезапустить пользовательский интерфейс)» или закройте веб-интерфейс Stable Diffusion и перезапустите его вместе с ПК.
После успешной установки вы сможете увидеть панель расширения ControlNet как на вкладках ‘txt2img‘, так и ‘img2img‘. Выбранные модели загружаются при установке в папку, в которой инсталлирован сам Automatic1111 — по умолчанию это: extensions\sd-webui-controlnet\models. После перезагрузки сервиса в нижней части рабочей панели сможете увидеть раздел под названием ControlNet.
Загрузите предварительно подготовленные модели ControlNet
После установки расширения ControlNet нам необходимо загрузить предварительно обученные модели. Оригинальные предварительно обученные модели можно найти на веб-сайте huggingface. К моменту выхода обзора есть список из 8 опробованных и моделей и 3 экспериментальных:
Обязательно загрузите хотя бы одну модель (файл, заканчивающийся на .pth), но оптимально всё же установить все имеющиеся в списке модели ControlNet. После загрузки поместите модели в следующую папку: «stable-diffusion-webui\extensions\sd-webui-controlnet\models» в папке Stable Diffusion.
У вас также есть возможность загрузить предварительно подготовленные модели .safetensors, которые занимают меньше места в хранилище.
Сопряжение моделей с препроцессорами
Каждая установленная модель должна быть сопряжена с соответствующим ей препроцессором. Например, если вы используете препроцессор openpose, соедините его с исходной или предварительно обученной моделью openpose.
То же самое касается моделей depth, HED, mlsd, normal map, canny, scribble и сегментации. Убедитесь, что выбрана корректная комбинация. Хотя конкретное применение основных функций и описание особенностей работы ControlNet выходит за рамки этого поста, основной задачей является его успешная установка.
Исправление ошибок ControlNet
Некоторые пользователи могут столкнуться с ошибками, связанными с Gradio, при создании изображений с помощью Control Net. Чтобы устранить эту проблему, обновите версию Gradio до 3.16.2. Вы можете сделать это, открыв командную строку в папке Stable Diffusion. Установите курсор в адресную строку и вместо адреса введите «Cmd»,нажмите «Enter». В командной строке введите pip install gradio==3.16.2:
Заключение
Поздравляем! Вы успешно установили Control Net для веб-интерфейса Automatic 1111 в Stable Diffusion. Следуя нашему небольшому гайду, вы теперь располагаете необходимыми инструментами и знаниями для улучшения работы над моделями diffusion и создания более качественных и управляемых изображений после генерации.