Помимо официальных моделей Stable Diffusion, существует большое количество сторонних. Выбор обучающей модели для Stable Diffusion является основополагающим фактором, какие изображения будет способна генерировать нейросеть. На этой странице вы найдете все популярные модели, узнаете, как их скачать и установить, а также найдете ответы на частые вопросы.
Что такое модель для Stable Diffusion
Если вы попросите ребенка нарисовать самолет, то он не сможет сделать этого даже схематично, пока не увидит хотя бы раз в жизни этот объект. С нейросетями действует аналогичный принцип – Stable Diffusion умеет создавать только то, что знает. И чтобы познакомить нейросеть с различной информацией, используют обучающие модели.
При изначальном релизе нейросети Stable Diffusion, разработчики создали первую модель, которую познакомили с различной графической и визуальной информацией, называемой в профессиональных кругах “датасетом”. Для этого загружали картинки и видео, а нейросеть изучала это, сопоставляя информацию.
Создание модели требует большого объема информации, а также больших вычислительных мощностей для обучения ИИ. Поэтому создание новых моделей – это трудоемкий процесс, возможный только при наличии достаточного объема данных и мощностей. Создание нового на базе старого или объединения двух существующих моделей (микс) – проще, и многие модели от энтузиастов созданы именно таким образом.
В зависимости от используемой модели, Stable Diffusion будет способна на разное. Существуют различные варианты – общетематические или узконаправленные. Например, модель, натренированная на создание реалистичных изображений людей, справится с такой задачей лучше, чем с созданием аниме.
Разновидности моделей Stable Diffusion
Все модели для нейросети Stable Diffusion можно разделить на две базовые группы – официальные и нет.
Официальные модели выпущены группой Stability AI (создателями нейросети), и являются общетематическими – то есть фактически способны генерировать любые изображения. По качеству такие модели зачастую проигрывают узкоспециализированным решениям от третьих лиц.
Модели от сторонних разработчиков помимо специализированных (например, аниме, апокалипсис, фантастика, человеческие лица и т.д.) также доступны общетематические, как и официальные. Некоторые из них даже созданы на базе официальных, немного улучшив оригинальные возможности.
Также с моделями связано несколько других файлов, которые часто путают:
- Модели контрольной точки (Checkpoint models) – это основное, что нужно для создания картинок в нейросети, имеют формат файлов .ckpt или .safetensors. Как правило, полноценная Checkpoint Model весит 2-5 Гб, не требует дополнительных файлов для работы. В этой статье мы рассматриваем именно этот тип.
- Текстовая инверсия или эмбединги (Textual inversions или embeddings) – небольшие файлы (обычно 10-100 КБ), определяющие новые ключевые слова для генерации новых объектов или стилей. Используются вместе с моделями.
- LoRA – модели, вносящие изменения в работу нейросети, весят значительно меньше (5-100 мегабайт) чекпоинт моделей, и могут использоваться только в дополнение, а не как основные.
- Гиперсети (Hypernetworks): дополнительные сетевые модули, добавляемые в модели. Размер обычно составляет 5-300 МБ. Их необходимо использовать вместе с Checkpoint моделями.
Для работы вам требуется только первое из нашего списка, всё остальное – опционально и лишь расширяет возможности нейросети.
Где скачать официальные модели
Официальных моделей существует две ветки: первая и вторая. И как бы ни было логично предположить, что вторая является продолжением первой, на практике это два независимых ответвления, которые по-разному тренировались.
Вы можете скачать все версии первого поколения с сайта huggingface.co
| Версия | Ссылка |
| v1.1 | Скачать |
| v1.2 | Скачать |
| v1.3 | Скачать |
| v1.4 | Скачать |
| v1.5 | Скачать |
| v1.5-inpainting | Скачать |
Второе поколение модели было создано с нуля. При тренировке ИИ не использовались данные первого поколения, а сам подход к обучению значительно отличался. Поэтому на сегодня актуальны обе ветки – и первая, и вторая. Подробней об обучении обеих моделей вы можете узнать по ссылкам:
- https://huggingface.co/runwayml/stable-diffusion-v1-5#training
- https://huggingface.co/stabilityai/stable-diffusion-2#training
Если коротко, то отличался датасет (набор картинок), количество шагов, архитектура и разрешение – на выходе мы имеем то, что все версии второго поколения получились более консервативными. Например, любая версия из второго поколения способна на меньшее в NSFW контенте, чем модель v1.5.
Скачать все версии базовой второй модели вы можете также с huggingface.co
| Версия | Ссылка |
| 2-base | Скачать |
| 2-inpainting | Скачать |
| 2-depth | Скачать |
| 4x-upscaler | Скачать |
| 2 (768) | Скачать |
| 2.1-base | Скачать |
| 2.1 | Скачать |
Во втором поколении моделей отличается и процесс обработки текста, в результате, v1.5 и v2.1 при одинаковых запросах выдает совершенно разные варианты.
Где скачать остальные модели
Мы собираем в общей категории Stable Diffusion самые лучшие варианты, коллекция постоянно пополняется. Но основным глобальным источником являются на данный момент три сайта:
Все три источника на английском, поэтому искать на сайтах проще по запросу “Models Stable Diffusion”. Чтобы вы долго не искали, сразу делимся прямыми ссылками, как скачать лучшие SD модели:
- Open Journey – обучена на датасете из картинок от MidJourney, благодаря чему вы можете сгенерировать практически любую картинку, т.к. Open Journey является общетематической.
- Elysium Anime V2 – обучена на аниме, способна генерировать изображения в стиле “Яндере”.
- Deliberate 2.0 – лучшее на сегодняшний день решение для генерации изображения людей, включая лица.
- F222 – изначально создавалась для NSFW контента, но благодаря женскому датасету для обучения, активно применяется и для нейтральных тем, связанных с женщинами.
- Uber Realistic URPM – позволяет создавать реалистичный контент 18+, опережая в качестве большинство нейросетей для взрослых.
- Dreamshaper – модель для создания графики в стиле фентези.
- CyberRealistic – создаёт максимально реалистичные изображения людей учитывая анатомию и физику тела.
- ReV Animated – модель для генерации картинок в анимационном и 2.5D стиле.
- ChilloutMix – один из самых скачиваемых файлов на civitai.com, позволяет создавать фотореалистичные изображения девушек, включая K-Pop стиль.
- Henmix_Real – способна генерировать фотореалистичные изображения людей любой расы и любого пола.
Это далеко не все модели Stable Diffusion, существуют десятки других – в различных стилях и с различными возможностями. Например, модели для создания лиц с высунутым языком, для животных, в стиле «Звездных войн» и другие.
Некоторые энтузиасты делятся файлами через Торрент и другие платформы, но нашего сайта и civitai.com с huggingface.co вам вполне хватит, чтобы скачать все лучшие модели для Stable Diffusion.
Какую модель выбрать
Основные модели – v1.5 и v.2.1, могут создать практически любое изображение (включая NSFW контент), но делают это иногда в неудовлетворительном качестве.
Поэтому, если вы лишь начинаете пользоваться нейросетью, можете использовать любую базовую модель. Если у вас есть специфический запрос, например, создать картинку в жанре аниме, то выбирайте специализированные модели под ваши задачи.
Также существуют “миксы”, то есть модели, созданные на базе других. Энтузиасты зачастую пишут, какие версии были смешаны между собой. Такой подход позволяет получить преимущества каждого варианта.
Как установить модель в Stable Diffusion
Чтобы установить модель Stable Diffusion, у вас изначально должна быть установлена сама нейросеть Stable Diffusion (инструкция по установки нейросети доступна на этой странице).
Добавление моделей в оффлайн версию Stable Diffusion (т.е. установленную на вашем компьютере) максимально простое, для этого необходимо:
- Скачать любую модель (файл с разрешением .ckpt или .safetensors).
- Разместить скачанный файл в папке Stable Diffusion в разделе “Models” на вашем компьютере. Например, для Windows устройств “stable-diffusion-webui\models\Stable-diffusion”.
- Перезапустить нейросеть.
После перезапуска вы сможете генерировать изображения с использованием новой модели.
Если вы хотите освободить место, вы можете удалить дополнительные файлы из папки models\Stable-diffusion. Для этого удалите файлы .ckpt или .safetensors из папки с моделями.
Важно: для работы нейросети необходима как минимум одна модель с контрольными точками. В некоторых случаях, когда нейросеть не работает после установки, проблема в том, что в неё не добавлена ни одна модель. Аналогичная проблема возникнет и в ситуации удаления всех доступных файлов. Поэтому, если ИИ не работает после установки, обязательно проверьте папку “Models”.
Как работать с моделями в Stable Diffusion
Stable Diffusion без модели работать не будет, поэтому вам в любом случае придется разобраться в этом вопросе. Однако, установка максимально проста – всё, что вам требуется сделать, это подобрать подходящую модель, загрузить и разместить её в корректной папке на вашем компьютере.
Текстовые инверсии и LoRA позволят вам получить максимум из доступных моделей, расширив ваши возможности. Помимо использования готовых вариантов, вы также можете создать собственную модель Stable Diffusion. Обучение с нуля – сложно и долго, поэтому для обывателей проще всего сделать микс двух в разделе “Checkpoint Merger Tab”.
При работе с готовыми вариантами также обращайте внимание на рекомендованные создателем параметры. Как правило, только автор и очень опытные пользователи знают сбалансированные настройки, и без рекомендаций даже лучшая модель Stable Diffusion может выдавать посредственные результаты
