Нейросеть Fooocus – что это такое и как работает?
Нейросеть Fooocus – это программа, созданная для создания изображений, которая объединяет две нейросети. В этой статье мы рассмотрим подробности о Fooocus, его внутренние функции и процесс установки.
Fooocus основан на смеси нейросетей, разработанных на основе двух известных работ: Auto1111 (создатель и популяризатор Stable Diffusion) и ComfyUI(Интерфейс узлов/графиков/блок-схем для создания сложных рабочих процессов Stable Diffusion). Обе программы используют лицензирование GPL – GNU General Public License. Эта лицензия даёт право программе быть общественной собственностью, по сути это бесплатное программное обеспечение.
Внешний интерфейс (GUI) нейросети Fooocus
GUI – это графический пользовательский интерфейс, который определяет, как пользователь взаимодействует с программой.
GUI Fooocus построена на основе Gradio. Но что такое Gradio и как оно связано с Fooocus?
Gradio – инструмент для создания интерактивных приложений, который позволяет создавать приложения для моделей машинного обучения, API и обработки данных, используя язык программирования Python.
Внутренний мир нейросети Fooocus.
Нейросеть Fooocus представляет собой усовершенствованную версию проектов Stable Diffusion и Midjourney, является автономным, с открытым исходным кодом и бесплатным программным обеспечением. Опыт Midjourney показал, что для использования Fooocus не требуется ручная настройка, по сути на главном экране всего несколько главных кнопок и функций.
Fooocus предлагает множество улучшений и оптимизаций, которые делают процесс создания изображений максимально удобным для пользователей.
Давайте рассмотрим некоторые из них:
- Автоматизированные оптимизации: Fooocus включил и автоматизировал огромное количество внутренних оптимизаций, что гарантирует более высокое качество создаваемых изображений.
- •Простота использования: Fooocus позволяет пользователям сосредоточиться исключительно на своих идеях и изображениях, без необходимости настройки сложных технических параметров.
- Упрощенная установка: Установка Fooocus была упрощена до минимума. Пользователи могут начать создавать изображения спустя несколько кликов мышью, а требования к графическому процессору остаются минимальными – всего 4 ГБ памяти (Nvidia).
Установить нейросеть Fooocus на операционной системе Windows.
- Скачайте Fooocus по ссылке: https://github.com/lllyasviel/Fooocus.
- Распакуйте скачанный файл. Желательно на SSD диск. Имейте в виду что потребуется 17-20 Гб свободного места.
- Запустите «run.bat».
- При первом запуске Fooocus автоматически загрузит необходимые модели (safetensors), и модель управления Inpaint (если вы используете inpaint).
- Когда всё загрузится и установится то вас автоматически перекинет в браузер на localhost компьютера: 127.0.0.1:7860 (7860 – это порт Fooocus).
Нейросеть Fooocus – гайд по использованию.
Итак, открылся главный экран Fooocus и вы горите желанием что-нибудь создать.
Для начала ознакомьтесь с функционалом, он прост до безумия:
- Поле для ввода текста – промта (текстовый запрос для нейросети). Сюда пишите текстом, что вы хотите создать с помощью нейросети.
- Окно вывода сгенерированных изображений. Тут будут визуализироваться ваши запросы.
- Input Image – это функция, с помощью которой можно дать нейросети картинку (ваше фото или только что сгенерированное) и произвести с ней различные манипуляции, например, сделать Upscale или что-нибудь подрисовать на фото.
- Advanced – вызывает боковое меню, в котором есть настройки такие как: разрешение изображения, выбор модели для нейросети, количество выводимых изображений при запросе, настройке четкости и тд.
- Самая главная кнопка – Generate. При нажатии начинает генерировать ваш запрос.
Дополнительные настройки – Advanced.
Разработчики позаботились и о более продвинутых пользователях, которым хочется всё настроить под себя и свои нужны.
Ознакомимся подробнее с данным блоком.
- Тут мы выбираем как рассчитывать генерируемое изображение – побыстрее (Speed) или качественнее (Quality).
- Выбор разрешения. По сравнению с другими нейросетями очень удобно, не нужно вводить собственные непропорциональные размеры.
- Количество выводимых сгенерированных изображений (больше 4-х не советую).
- Поле для ввода негативных промтов – проще говоря пишите в это поле то, что не хотите видеть в будущей картинке. Например, вы хотите сгенерировать лошадку, но нейросеть постоянно рисует её бегущей. Тогда в это поле пишите «not run, stand, standing».
В этой вкладке блока Advanced можно выбрать дополнительную модель нейросети – в каком стиле будет ваш запрос. Например, вы хотите запросить ту же лошадку, но в стиле киберпанк, со всеми вытекающими стилями (механизмы, футуризм и тд), то можете просто указать подходящую модель.
Моделей много – по названию модели сразу становится ясно что это за стиль.
- Базовая модель. Это основа нейросети, в ней содержатся числовые данные, которые помогают разобрать на составляющие ваш запрос (NLP). Можно скачать любую NLP, если вы думаете, что она справится лучше.
- Low-Rank Adaptation или мини-модель нейросети (LoRA), которую на что-либо специально обучили. Она помогает направить изображение в нужное направление. Так же можно скачать и изменить на любой вкус и цвет. Так же можно добавить ей «веса» в изображении – насколько генерация будет ориентироваться на эту мини-модель будет зависеть от ползунка «Weight»
- Ползунок резкости (Sampling Sharpness) – от него зависит насколько изображение будет резким.
Input Image
Если включить эту функцию, то внизу появится блок, куда можно вставить любое изображение или перетянуть сгенерированное.
Основные действия с изображениями:
- апскейл (Upscale – увеличение разрешения)
- вариация изображения (Variation)
- добавление элемента на изображении (Inpaint)
- удаление элемента на изображении (Outpaint)
Рисование происходит маской – то есть вы помечаете места для нейросети, которые нужно изменить, а как изменить вы уже пишите в промте (запросе).
Например, сгенерированному коту хотите подрисовать рога: сначала фото перетащите в нижнюю область, отмечаете место рожек и жмите «Сгенерировать». На выходе появится кот точно такой же, но с рожками.
- Upscale or Variations и Inpaint or Outpaint – апскейл или вариация фото и рисование на фото либо убрать с фото элемент.
- Область загрузки изображения. Так же работает перетаскивание.
- Выбор метода Upscale. Два варианта вариативности и три варианта для апскейла. От меньшего к большему.
Для наглядного примера покажу свой запрос: я написал cute white cat (милая белая кошка). Нейросеть выдала мне два изображения спустя 30-40 секунд.
Заключение
Fooocus – это мощная программа для создания изображений, которая объединяет последние технологии нейронных сетей с удобством использования. Благодаря своей простой установке и использованию, эта программа становится доступным для широкого круга пользователей, позволяя им проявить свою творческую сторону без необходимости в глубоких технических знаниях.
