Нейросети и прочие ИИ

Хочу попробовать обучить свою ЛоРУ, но возникли некоторые вопросы. Я знаю, на этом форуме Forgettable занимался обучением LoRA, может вы могли бы что-то подсказать?

Нашел пару руководств по обучению LoRA (раз, два). В первом говорится:

Вот с этим будут проблемы. Хочу для начала обучить ЛоРУ на Манаку Лаалу из аниме PriPara. Конечно, кто-нибудь скажет, с ней уже есть LoRA на Civitai, но меня она не устраивает. Конечно, лучше всего было бы обучать LoRA на официальных артах, но официальные арты есть здесь, я насчитал всего четыре пригодных для обучения. Конечно, многие скажут, что на странице гораздо больше картинок, но я хочу обучить ЛоРУ на конкретное платье - Twinkle Ribbon Cyalume Coord. Картинок, где бы она была одета именно в это платье и чтобы в кадре было бы ничего и никого лишенго совсем немного.

Конечно, в примере обучения LoRA на персонажах мультфильма "Царевны" автор вообще обучал на скриншотах из мультфильма, но заметил, что ЛоРЫ копируют не только внешность персонажа, но и рисовку. В аниме менее качественная рисовка, чем на артах, если обучить ЛоРУ на скриншотах из аниме, то и сгенерированные картинки по идее получатся похожими на скриншоты из аниме. А хотелось бы все-таки, чтобы были похожи на аниме-арты. Да и придется сидеть и выискивать годные кадры (муторно).

Пока думаю попытаться просто использовать фанарты, добытые с Gelbooru, от разных художников, с немного разной рисовкой. Но думаю, может это все-таки гиблое дело, может все-таки нужно, чтобы в датасете все картинки были в одинаковом стиле?

 

Попробовал дать ChatGPT казалось бы простую задачу - исправить перспективу обложки коробки, пока результат не очень, в начале желтит и обрезает её там, где это было вовсе необязательно (в том числе в самом низу), портит логотип EA и с каждой следующей фотографией портит фары.

1) correct perspective of the box to 2d...

2) repeat request, with white balance closer to original and don't cut bottom side

3)


сделать логотип ближе к оригинальному он отказывается из-за политики прав, что предсказуемо

естественно подобное в обложки загружать нет смысла без детальной ручной правки, так как размеры коробки сломались, объяснить появление желтизны бумаги невозможно, это откровенная порча

 

@MAZterXP, если ты хочешь заливать такие обложки для сайта, то мне кажется, что @kreol будет очень резко против обработанных нейросетями обложек для игр.

 

Это единичный эксперимент. Я и не собирался, написал выше, это не работает, чтобы быть готовым. Но в будущем возможно столь категоричен я бы не был, некоторые сканеры портят изображения ещё хуже.

 

Я это делал через civitai, потому что на 6 ГБ обучить SDXL не получится, насколько мне известно. Поскольку мне было лень там заниматься ежедневным фармом их валюты, или, тем более, ее выпрашивать, особо я там не потренил, увы...

Вот мои советы
1) брать исходники только высокого разрешения (640х640 хотя бы) и качества (лосслесс, либо jpeg высокого разрешения, чтобы даунскейл съел артефакты джипега), либо прогнать их через апскейл типа swinir или remacri, сохранять обязательно в png или lossless webp
2) вручную замазать весь текст, вотермарки, подписи и прочую хрень, если это возможно
3) вручную замазать или обрезать все, чему обычно ставят теги bad_hands или bad_feet (но и добавить потом соответствующие теги типа "cropped legs"), либо просто добавить эти bad-теги перед обучением, но я сторонник пустых негативных запросов и не стал бы так делать
4) перед обучением сначала протегать картинки через ии, лишние теги убрать, недостающие добавить
5) главный тег делать без пробелов, уникальный и короткий, либо не делать его вообще, а брать имеющийся тег персонажа
6) для простых концептов желательно срезать вес лоры (насколько я помню, за это отвечают параметры network dim/alpha)
7) эпох я всегда ставил 10, шагов не помню сколько, вроде я их увеличивал, пока цена тренировки на civitai не начинала расти)
8) ну и я бы не верил логу тренировки на civitai, т.к. он очень простенько там генерит примеры, и скачивал бы всегда лору с 10 эпохи
По тегам рекомендую вики на danbooru, большинство из них должны быть актуальны для NoobAI и его смесей с Illustrious

 

6Гб видеопамяти для SDXL - это мало.

@Talking_Sword, я тренил десяток лор на сивитае и словил все шишки в процессе. В принципе, @Forgettable сказал верно.
Добавлю следующее:
1) Можешь делать лору на основе скринов аниме. Это работает. Скрины делай в PNG. Скачай все имеющиеся рипы и выбери лучший.
2) Для персонажа хватит 30-50 картинок в разных ракурсах. Это на 1-2 костюма. На каждый костюм надо минимум 15-20 картинок.
3) нужен тег активации обязательно (если есть тег персонажа, то используй его в качестве тега активации).
4) для первоначальной теговки советую прогу taggui, модель wd-large-v3, граница срабатывания в районе 0.3, далее руками дополнишь или удалишь лишнее.
5) ты обучаешь не только нейроны, а ещё и связи между ними. То есть то, как одно понятие подтягивает за собой другие.
5.5 ) пол теговать обязательно, тег solo - тоже обязателен. Там, где героиня одна, конечно. Для одиночного парня всегда используй два тега: 1boy, male focus. Теги фона или indoors/outdoors (лучше с конкретикой) - обязательны. Для девчат размер грудей тоже обязателен (причина неочевидна).
6) На разные семейства базовых моделей разная теговка. На пони и нуба своя, на иллюстрос - своя. Они понимают разные теги.
7) Если иллюстрос - твоя база, то тренируй на основе Illustrious 2.0 stable или 1.1 ( не 0.1, не 1.0 и не голый 2.0).
8) Димальфа для персонажа - 8 на 4 или 8 на 6. Хватит на пяток костюмов. Или на нескольких персов в одном новом костюме.
9) Лучше слегка перетренировать, чем недотренировать.
10) выдумываешь новое слово - обязательно обучай ТЕ.
11) shuffle tags - ставь галку обязательно.

--- добавлено 11 авг 2025, предыдущее сообщение размещено: 11 авг 2025 ---

Можно снизить влияние рисовки, если сильно желаешь того.

--- добавлено 11 авг 2025 ---

remacri меняет палитру, такое себе.
Надо делать апскейлы разными апскейлерами и по итогу выбрать лучший.

Плюсую. Либо обрезать это.

бэд-теги создают лишние связи, их лучше по максимуму избегать

Согласен. Руками в любом случае придётся доделывать.

Согласен. Этот взятый с потолка тег не должен выводить консистентные результаты в идеале на паре-тройке сидов. Но это в идеале. Там в любом случае входящие в тег токены уже связаны с разными тегами и что-то будут подтягивать.

Согласен. LoRA плоха тем, что не учит attenuation layers (в отличие от ликорисов и локонов), но можно достичь такой же рисовки сильной перетренировкой и высокими димальфами. Но у этого больше минусов, чем плюсов. А делать ликорис на персонажа - верх... чего-то.

Согласен. 10 эпох хватит на почти всё. В среднем на 50 картинок ставим 6-7 повторов.

Ну, вводишь внятный промпт для примеров и всё нормально. Перетренировку определяешь по засветам. Как правило, из 10 эпох хорошими будут 8-10. Это если датасет хороший.

 

для удаления JPG артефактов Я использую эти модели - BlueAmulet - OpenModelDB JPG (00-100%)

 

@Ogr 2, как этим пользоваться?)

 

@Forgettable, https://github.com/n00mkrad/cupscale/releases
Режим NCNN умеет потайлова картинки обрабатывать, в отличие от питона.

 

@Ogr 2, прикольно. Меня больше всего заинтересовали 1x модели, есть чо интересное? кроме того, что ты уже скинул

 

ответил тут Soft - Обработка растровых изображений нейросетями

--- добавлено 12 авг 2025, предыдущее сообщение размещено: 12 авг 2025 ---

 

Думаю, знания, нужные для онлайн-обучения будут вполне полезны и для локального.

А чем будет плохо, если с пробелами? Просто в руководстве по второй ссылке написано:

И

Я бы тоже хотел, чтобы одежда была "отделена" от персонажа, поэтому хотел бы сделать отдельный тег для платья - "twinkle ribbon cyalume coord", а также включить в датасет изображения, где бы она была одета по другому. Но вот в чем будет плохо, если тег будет длинный и с пробелами?

А что понимается под простыми концептами?

Про какой идет речь? Можно ссылку?

В принципе, про это было написано в руководстве по второй ссылке. Но мне бы не очень хотелось это делать, так как:

1. Муторно. Придется сидеть и искать годные кадры.
2. В аниме менее качественная и детализированная рисовка, чем на артах. Есть риск, что от более низкой детализации нейросеть может не понять некоторые детали одежды.
3. Еще в аниме наверно нечасто бывают кадры, где бы можно бы было увидеть персонажа с ног до головы. А мне кажется, таких картинок в датасете желательно побольше, так как нужно, чтобы LoRA знала все детали одежды персонажа, даже какие туфли на ногах. А когда персонаж стоит во весь рост в кадре, то и детализация получается ниже, так как все получается мельче.
4. Наверно еще генерируемые с такой ЛоРОй картинки будут похожи на скриншоты из аниме, а хотелось бы все-таки, чтобы они были больше похожи на арты.
5. Ну и имеющийся у меня рип не самый "жирный". Но "жирные" рипы имеют просто устрашающий объем. В принципе, наверно можно и из одной-двух серий набрать достаточно кадров, но еще неизвестно, в какой серии их бы побольше нашлось.

Можно подробнее об этом?

Почему-то думал, что теги нужно проставлять для всего, что не относится ко внешности персонажа или элементам одежды. По идее размер груди - это тоже часть внешности персонажа, разве он не будет "вкладываться" в тег активации?

На сколько знаю, у Pony и NoobAI теги как на Danbooru. А чем отличается Illustrious? Где-то можно почитать?

Можно расшифровку, что такое ТЕ? Текстовая инверсия? Embedding? И вот в тех руководствах по обучению LoRA об этом ничего не говорилось. В примере обучения LoRA на персонажах мультфильма "Царевны" там для одежды использовался тег "sonya_dress". Модель же его не знает. Но про обучение некого ТЕ там ничего не говорилось.

Как?

Думал использовать RealESRGAN x4plus anime 6B. Пойдет?

Не всегда позволяет разрешение картинки.

И еще, как уже говорил, в руководстве по первой ссылке читал:

Конечно этот совет звучит здраво, но если нет такой возможности. Если взять фанарты от разных художников с разной рисовкой, выбрав из них более-менее прилично выглядящие, то это хоть как-то сработает, или будет полный провал?

И еще, в руководстве по второй ссылке было написано:

Обязательно использовать самую базовую ("голую") версию модели? Нельзя ли использовать тот чекпоинт, который я использую для генерации картинок?

 

По тексту ответа: пони = PDXL (Pony, PonyV6).

Качество твоей лоры будет прямо пропорционально вложенному в неё труду. Сивитаевские "топы" чаще всего прогоняют картинки автотеггером, добавляют тег активации в начало и всё. И их лоры работают чисто за счёт огромного датасета, в котором связи перераспределяются, а косяки частично нивелируются из-за большого количества картинок.

А кто сказал, что будет легко? В случае чего открывай страничку персонажа на anidb и смотри, в каких сериях твой персонаж был, затем скачивай и проматывай уже конкретно эти эпизоды.

Именно поэтому нужно все детали одежды тегировать ручками. Потому что если задать условный тег вида outfit1, то она не обучит его целиком. Это ты, сидя на стуле, понимаешь. что outfit1 - это определённый костюм. А нейронка не понимает.

Ищи артбуки, сеттеи, раскадровки, кадры из манги, рекламные листовки, плакаты, архив интернета - источников масса. Выбирай кадры получше. В худшем случае апскейль в полтора-два раза. Не выше.
Для SDXL у картинок должно преобладать разрешение 640х480. Желательно на уровне 1024х1024, конечно, но такое не везде найдёшь.
Если нужен определённый костюм, добавь в лору кадры с close-up этого самого костюма.

При тегировании не ставь теги anime screenshot, anime coloring, чтобы уменьшить связь с этими понятиями. Если иллюстрос понимает тег художника твоих артов (это проверь руками), то укажи его. В ином случае не указывай.

Необязательно качать все серии. Ограничься только теми, где есть твой персонаж в нужном виде.

Если попроще и не вдаваясь в крайности... При обучении LoRA ты обучаешь U-NET и TE (Text-Encoder). Первый - это нейроны и связи между ними. Говоря ещё проще - как графически выглядят сущности, знания о которых ты добавляешь в лору или уточняешь через лору, а также то, какие понятия будут автоматически подтягиваться.
Например, представь себе любую женщину. Да, лично ты. В голове у себя. Отбрось образ матери или сестры. Наверняка понятие усреднённой женщины у тебя ассоциируется с какой-то определённой длиной волос, причёской, их цветом, одеждой (платье, юбка и т.п.) или даже окружением. Вот и у нейронки то же самое. Тег персонажа будет подтягивать за собой другие теги, связанные с ним. Но для этого надо их протегировать.
TE - Text Encoder - задаёт то, как теги превращаются в токены, что взаимодействуют с нейронами.
Это если сильно упрощать.

Проблема в том, что большинство руководств написано для эпохи и архитектуры (лол) поней, когда никто ничего не понимал, но всё вдруг начало работать без особых танцев с бубном (особенно по сравнению с sd 1.5) и даже без долгой подготовки датасета. Тем более, что недотегирование и перетренировка всё равно могли давать недурственные или хотя бы терпимые результаты. Хотя предел PDXL - upper body, solo, да ещё и стрёмные пальцы (потому что автор поней налажал).
С иллюстросом и, как понимаю, нубом, уже большее значение приобретают связи. Тот же иллюстрос трудно перетренировать так, чтобы он сошёл с ума. Если ты не задашь размер грудей, то он будет брать этот размер грудей из встроенного по умолчанию в чекпоинт. А так как большинство создателей чекпоинтов - те ещё... ценители, то и груди будут ого-го. Так что лучше сразу задать нейронке связь, какой размер ассоциируется с твоей героиней. Это именно те нейроны и ассоциации между ними. Попутно ты уточнишь само понятие её размера грудей и будет уже нормально.
Ну а вообще некоторые ценители в комментах сильно ругаются, если не могут условный второй размер своей героини превратить в пятый. Странные, да.
Отделяя сущности разными тегами, ты, во-первых, даёшь лоре понимание, что и где на оригинальных картинках. То есть уточняешь её знания. И за счёт этого уточнения знаний разные сущности разделяются и их можно будет лучше контролировать как за счёт позитивного промпта, так и негативного.

У пони и нуба - мешанина с е621 (осуждаю) и данбору (осуждаю), а также везде свои теги качества (ещё больше осуждаю). Ещё больше осуждаю только Animagine, но там у автора тараканы размером с девятиэтажку.
Основное различие в тегах
на illustrious - на Pony/ Noob
from side - side view
straight-on - front view
и так далее.
Впрочем, нуб и его кузен роувей имеют больше генов от иллюстроса и эти теги почти все понимают. То есть для нуба можно использовать те же теги, что и для иллюстроса. Схватает гораздо лучше, нежели пони, которые типа понимают, но не до конца.
Правда один чёрт никто внятно не умеет в three-quarter view. Такое просто не тегай.

У иллюстроса 0.1 - датасет данбору от 2023 года (он создан на основе недоделанной кохаку, для которой был датасет 2023 года), у 1.0 - от конца 2024 года, например.

TE = Text Encoder. Неотъемлемая часть чекпоинта. Назначение писал выше. По умолчанию на сивитае включено его обучение.
Для лор на стили не требуется.

Задаёшь димальфу пониже (4 на 2 или если хочешь упороться, то 2 на 1, но там от изначального стиля уже ничего не останется, но зато сможешь хвастаться мелким размером лоры). Размер лоры попутно станет меньше. Правда тут легко будет недотренировать...
А всё благодаря костылю, из-за которого дим/альфа сильно влияет на скорость обучения.

Он сильно режет мелкие детали, размазывая их. Пойдёт разве что для реализма. Для аниме - плохой выбор.
Из интересных вариантов:
2x_AniSD_DC_DAT2_97500 - отлично подходит для game cg и старого аниме.
4x-AnimeSharpV3 - основной ориентир - новое аниме, но и для старого тоже подходит (но уже не так хорошо).
4x_foolhardy_Remacri - хорош для реализма и псевдореализма.
4x_NMKD-Superscale-SP178000_G - подходит для анимешных иллюстраций, но требует лосслесса, иначе артефачит (тьфу). ТОЛЬКО увеличение в 4 раза. В других масштабах - артефакты.
4x-UltraSharp - хочешь чёткости и резкости? Этот апскейлер для тебя. Его любят сивитаевцы, но как по мне, лучше юзать вайфу.
семейство waifu - едва ли не лучшее из доступных.

Логично. Поэтому ищи рип лучше. И без хардсаба. Если героиня есть не только в сериале, а ещё и в фильме, то качай фильм в HD-качестве. Скорее всего такое есть. Я не думаю, что нет рипа разрешением ниже 640х480. Поищи на няшке или bakabt, там есть раздачи с довольно недурственными рипами.

Только если у тебя будет мешанина преобладать. Нейронка найдёт средний стиль и его смесь со своим дефолтным будет показывать. Поэтому в датасете преобладать должны картинки с правильным стилем.

Базовая 0.1 - редкостная дрянь в плане прмоптинга. Обучай либо на мерджах типа старого доброго WAI-NSFW-illustrious-SDXL 12 или полубазового Illustrious 2.0 Stable. Большая часть чекпоинтов нынче так или иначе является их мерджами.
Можешь обучать и на своём любимом чекпоинте, конечно. Но помни: у других людей есть свои любимые чекпоинты.

 

Ну, например, в NoobAI автор вместо поняшных тегов "score_9, score_8_up, score_7_up" сделал "very awa, masterpiece, best quality", не подумав, что на danbooru есть более тысячи картинок с тегом художника "awa", да и "quality" там есть, и куча тегов с "very" в них.

Дженерик аниме тянки

 

Еще вопрос возник. А при обучении LoRA больше расходуется оперативной памяти? Не видеопамяти, а обычной.

Под "топами" имеются в виду популярные авторы\авторы выложившие много LoRA? Хотите сакзать, многие ЛоРЫ там сделаны\работают как попало?

Ну так я хочу пока сделать LoRA с главной героиней аниме. Она там вроде во всех сериях появляется. Проблема не в том, в какой серии она появляется, а в том, что не знаешь точно, в какой серии можно больше годных кадров нащелкать.

Я немного не про это. Я имею в виду, что в аниме рисовка упрощена по сравнению с артами. Общая детализация низкая, нейросетке не с чего особо будет запоминать как правильно выглядит тот или иной элемент одежды, будет рисовать упрощенно, прямо как в аниме.

И не все можно описать точно на "языке тегов".

Не видел такого по ПриПаре.

В руководстве по второй ссылке написано:

То есть, если верить этому, то получается, что если убрать все, что связанно с внешностью персонажа, то это "вложится" в тег для активации пресонажа. И руководство написано для Illustrious.

Но я с вами не спорю. Не нужно верить всему, что написано в интернете. Я скорее всего хочу спросить вашего мнения. Как вы говорили:

Может, вы скажете, что автор руководства натягивает методики для Pony на Illustrious.

Почему осуждаете?

Что-то боюсь, что из-за этого может общее качесво ЛоРЫ снизиться, в том смысле, что и внешность персонажа и одежду хуже запомнит.

Из этого объяснения все равно не очень понятно. Мне копирование стиля не очень нужно. Я имел в виду, не будет ли нейросетка путаться в деталях одежды, если взять такой датасет, в котором фанарты от разных художников с разной рисовкой, но с одной одеждой?

Недавно нашел такой чекпоинт - Garage Mix Noob. На Civitai нашел картинку, сгенерированную на этой модели, и она выглядела так, что можно было спутать с нарисованной человеком. Я тоже поробовал сгенерировать картинку этим чекпоинтом, использовав запрос и настройки с той картинки, но немного подправив запрос под себя - получилось почти так же хорошо. Правда потом попробовал погенерировать еще и начали вылезать некоторые косяки, но все равно, качество показалось мне выше, чем у тех чекпоинтов, которыми пользовался раньше.

Такой чекпоинт пойдет для обучения LoRA?

LoRA будет обучаться чисто для личных нужд, а выкладываться скорее по принципу "не жалко".

А что означает это "very awa"?

Не совсем понятно. Такое можно и без ЛоРЫ генерировать.

 

3.2.3.2 https://d0xb9r3fg5h.feishu.cn/docx/YpOQdtHTDoetcZxIO9fc33onnee

Можно, но это будет все равно не то

 

Да.

Да. Особенно этим грешит nochekaiser881. Впрочем, зачем ему стараться ради бесплатных лор на персонажей, если за платные он берёт по 10 баксов?

А ты искал?
Набор сеттеев - https://setteidreams.net/settei/pripara/
На первый сезон есть HD-rip на няшке.

Такое работает только если у героини всё просто со внешкой.

Нет. Многие банально не вникают в вопрос. В руководствах так и пишут: "короче, я не знаю, что эта опция делает, но вы включите её".
Даже автор мегапопулярной лоры на стиль "ExpressiveH" весь датасет затегал одним тегом, в результате чего на иллюстросе оно не прокатило.
Я тоже нифигане мастер, и до конца не разобрался в некоторых штуках, но опыт подсказывает, что надо тегать всё. Я однажды так просто взял и протегал героиню her name tag, 1girl, solo, и в итоге получилась мазня, он не обучился её причесону и цвету глаз. Вместо зелёного лора почему-то запомнила голубой... А при тегании цвета глаз он этот цвет запомнил и сделал себе пометку о связи.

Только если рисовка слишком отличается.

Любой чекпоинт пойдёт для обучения лоры. Но сначала потренируйся на базовом нубе. Возможно, тебе его хватит.

Нуб - это мешанина из датасетов для обучения. Скажем так, в одном датасете для обозначения высокого качества автор-составитель задавал тег masterpiece, в другом - различные quality, а в третьем были awa и very awa. И вся эта мешанина, насколько помню, пошла в нуб.

 

Не совсем понял, что именно не то?

Ну это нужно знать такие сайты. Просто в Google обычно находится Pinterest и прочая подобная дребедень. Правда они не цветные (точнее, цвета не совсем соответствуют действительности). Для обучения LoRA такое не пойдет, разве только если другой нейросеткой раскрасить.

Я вот думаю, а сколько примерно займет обучение LoRA на RTX 3060? Если не так уж долго, то можно просто проэкспериментировать - сделать два набора текстовых документов, в одном убрать все, что связанно с внешностью персонажа, оставить только теги для активации персонажа и одежды, в другом прописать все по максимуму. Можно даже два набора картинок сделать, один - фанарты от разных художников с разной рисовкой, другой - скриншоты из аниме.

Думаю, все равно нужно придумать какой-нибудь отдельный тег, которым обозначить одежду персонажа, потому что не все полностью можно описать тегами.