Как установить расширение ControlNet в Stable Diffusion (A1111)

Как установить расширение ControlNet в Stable Diffusion (A1111)

В нашем сегодняшнем обзоре расскажем о том, как произвести инсталляцию ControlNet и модели для stable diffusion в веб-интерфейсе Automatic 1111. Расскажем о том, как устанавливается ControlNet, обсудим особенности загрузки подготовленных предварительно моделей, а также особенности их сопряжения. Повысьте качество работы над моделями и создавайте качественный контент с использованием функционала, представляемого расширением ControlNet.

Введение

ControlNet — это аналог Image2Image, обладающий рядом функциональных особенностей. Даёт значительно больше контроля над конечным результатом генерации, а также позволяет создавать изображения с использованием функционала Img2Img и Txt2Img более детально и точно. Это специализированное расширение для Stable Diffusion от версии 1.5 и выше, а также использующих эту модель сервисов.

Установка расширения ControlNet

Если вы уже в работе используете интерфейс Automatic1111, то рассматриваемое нами расширение устанавливается напрямую из раздела Extensions. Обнаружить его в списке расширений обычно достаточно сложно, но можно ввести в поиске sd-webui-controlnet и всё получится. Чтобы установить расширение ControlNet, откройте веб-версию пользовательского интерфейса и выполните следующие действия:

  • перейдите на указанную выше вкладку «Extensions (Расширения)»;
  • нажмите «Install from URL (Установить с URL)» и вставьте в появившуюся поисковую строку URL-адрес хранилища Github: https://github.com/Mikubill/sd-webui-controlnet;
  • нажмите кнопку «Install (Установить)»;

Вкладка «Extensions (Расширения)»

  • после окончания инсталляции нажмите «Apply and restart UI (Применить и перезапустить пользовательский интерфейс)» или закройте веб-интерфейс Stable Diffusion и перезапустите его вместе с ПК.

Применить и перезапустить пользовательский интерфейс

После успешной установки вы сможете увидеть панель расширения ControlNet как на вкладках ‘txt2img‘, так и ‘img2img‘. Выбранные модели загружаются при установке в папку, в которой инсталлирован сам Automatic1111 — по умолчанию это: extensions\sd-webui-controlnet\models. После перезагрузки сервиса в нижней части рабочей панели сможете увидеть раздел под названием ControlNet.

ControlNet

Загрузите предварительно подготовленные модели ControlNet

После установки расширения ControlNet нам необходимо загрузить предварительно обученные модели. Оригинальные предварительно обученные модели можно найти на веб-сайте huggingface. К моменту выхода обзора есть список из 8 опробованных и моделей и 3 экспериментальных:

Оригинальные предварительно обученные модели

Обязательно загрузите хотя бы одну модель (файл, заканчивающийся на .pth), но оптимально всё же установить все имеющиеся в списке модели ControlNet. После загрузки поместите модели в следующую папку: «stable-diffusion-webui\extensions\sd-webui-controlnet\models» в папке Stable Diffusion.

Как установить расширение ControlNet в Stable Diffusion (A1111)

У вас также есть возможность загрузить предварительно подготовленные модели .safetensors, которые занимают меньше места в хранилище.

Сопряжение моделей с препроцессорами

Каждая установленная модель должна быть сопряжена с соответствующим ей препроцессором. Например, если вы используете препроцессор openpose, соедините его с исходной или предварительно обученной моделью openpose.

Как установить расширение ControlNet в Stable Diffusion (A1111)

То же самое касается моделей depth, HED, mlsd, normal map, canny, scribble и сегментации. Убедитесь, что выбрана корректная комбинация. Хотя конкретное применение основных функций и описание особенностей работы ControlNet выходит за рамки этого поста, основной задачей является его успешная установка.

Исправление ошибок ControlNet

Некоторые пользователи могут столкнуться с ошибками, связанными с Gradio, при создании изображений с помощью Control Net. Чтобы устранить эту проблему, обновите версию Gradio до 3.16.2. Вы можете сделать это, открыв командную строку в папке Stable Diffusion. Установите курсор в адресную строку и вместо адреса введите «Cmd»,нажмите «Enter». В командной строке введите pip install gradio==3.16.2:

Как установить расширение ControlNet в Stable Diffusion (A1111)

Заключение

Поздравляем! Вы успешно установили Control Net для веб-интерфейса Automatic 1111 в Stable Diffusion. Следуя нашему небольшому гайду, вы теперь располагаете необходимыми инструментами и знаниями для улучшения работы над моделями diffusion и создания более качественных и управляемых изображений после генерации.

GSCRIPT | Каталог нейросетей
Добавить комментарий