Soft Обработка растровых изображений нейросетями

Шапка

ESRGAN:
Инструкция по установки: Upscale Wiki. От пользователя MrFlibble. Я ставил по этой инструкции.
Модели обработки для ESRGAN: Model Database - Upscale Wiki
Использование ESRGAN: Using ESRGAN, Links, And Other Information - Upscale Wiki. там же ссылки на пару графических интерфейсов для ESRGAN, Cupscale умеет самостоятельно скачивать и устанавливать все необходимое для работы ESRGAN.
ресурс на английском, поэтому используйте переводчик: https://translate.google.com , вполне адекватный перевод дает.

waifu2x:
куча его форков: Build software better, together.
форк с интерфейсом на русском: lltcggie/waifu2x-caffe. так же имеются несколько моделей обработки, в том числе для подавления шума\устранения JPG артефактов (модель "jpg (0-100%) BlueAmulet" для ESRGAN даёт более качественный результат).

Topaz Gigapixel AI:
Gigapixel AI – Topaz Labs (халяву искать на rutracker.org)
правила обработки в Topaz Gigapixel AI для избежания получения артефактов на выходе:

видео со сравнением результатов других апскейлеров, в основном анлайнновых сервисов:

Программы умеющие подменять текстуры в играх на новые, более высокого разрешения:
ПК: некоторые сорспорты; ScummVM X.
NES: Mesen; HDNes.
PS1: ядро Beetle PSX HW в ретроарче; DuckStation; видео плагин GPUBLADESOFT 1.46.
Dreamcast: FLYCAST.
GameCube и Nintendo Wii: Dolphin.

Некоторые из завершённых проектов апскейлов:
Hexen Neural Texture Pack
Doom Neural Upscale 2X
Final Fantasy 7 Remako HD Graphics Mod
Final Fantasy 9 Remastered
Resident Evil: HD Remaster - REupscale project
Resident Evil 2 - Seamless HD Project
Resident Evil 3 - Seamless HD Project
Chrono Cross-texture-replacements. видео.
SOUL CALIBUR 1
Soul Reaver 2
Morrowind Enhanced Textures

(от @Ogr 2)

Оригинальное сообщение от MrFlibble

Мой интерес к алгоритму waifu2x возник по ходу чтения этой темы, а ранее я про него мельком читал тут. Я нашёл относительно удобную в использовании реализацию алгоритма с графическим интерфейсом для экспериментирования, результаты получаются довольно интересные.

Во-первых, помимо увеличения изображения, waifu2x имеет функцию снижения зашумленности из-за артефактов сжатия JPEG, которую можно использовать отдельно. Результаты получаются очень неплохие. Для примера вот официальный снимок экрана из Jazz Jackrabbit Holiday Hare '95, который был размещён в середине 90-х на сайте Epic MegaGames в формате JPEG с сильным сжатием, что привело к образования артефактов (оба изображения для удобства просмотра увеличены вдвое методом ближайшего соседа):

оригинал


waifu2x -- шумоподавление (уровень 1)


Алгоритм не только удалил почти весь комариный шум и звон, но и компенсировал снижение яркости, характерное для сжатия изображений с низкой глубиной цвета (оригинал -- DOS VGA).

Уровень шума можно задавать от 1 до 3, более высокий уровень позволяет улучшить сильно зашумленное изображение, но с риском частичной потери детализации из-за размывания.

Во-вторых, по моим наблюдениям, собственно увеличение изображения с помощью алгоритма waifu2x неплохо подходит для рендеров, в том числе с исходно низкой глубиной цвета. Примеры из The Elder Scrolls: Daggerfall (исходные изображения увеличены вдвое методом ближайшего соседа): показать примеры

В-третьих, шумоподавление и увеличение рендеров можно комбинировать, примеры:

• Орка (Command & Conquer): оригинал, двукратное увеличение с шумоподавлением
• Голиаф против храмовника (StarCraft): оригинал, двукратное увеличение с шумоподавлением

Неплохо преобразуются и эскизы:

оригинал


увеличение с шумоподавлением (уровень 1)


Отмечу, что алгоритм изначально создавался для преобразования анимешных картинок, но его функциональность позволяет работать и с изображениями из игр, и с фотографиями тоже.

 

После продолжительного перерыва решил попробовать модели ESRGAN, дающие восьмикратное увеличение. В частности, модель для увеличения лиц NMKD 8x Faces. Результаты не идеальные, но всё равно довольно впечатляющие (исходные изображения были предварительно обработаны моделью 1xDEDITHER_32_512_126900_G).

А вот другая модель, 8x_HugePeeps_v1, которая тоже пытается спрайтам придать реалистичные лица (не всегда успешно, но всё равно интересно!):

 

Между делом дошло уже до того, что сетью Nvidia обрабатываются портреты персонажей из Daggerfall для получения фотореалистичных изображений, которые затем другой сетью превращаются в подобие картин:
AI Upscaled Textures - Page 71 - Daggerfall Workshop Forums

 

@MrFlibble, остается лишь сережки из ушей у мужиков повыколупывать. лол

 

Тот же товарищ продолжает эксперименты в портретами, получается очень впечатляюще. Поскольку сеть весьма вольно обращается с исходным материалом при создании фотореалистичных лиц, результат теперь затем интерполируется с исходным изображением (третья и четвёртая ступень - разные степени интерполяции):


Визуализация процесса:

 

Третья - самое оно.
Четвёртая ступень выдаёт слишком плоское лицо.

 

Да к чёрту всё, надо сразу в фотокачество переводить:
SR3: Image Super-Resolution via Iterative Refinement

Если допустить, что алгоритм распознает рисованный объект как - размытый реальный, могут получиться интересные вещи.

 

если допустить что у бабушки есть яйца, то она становится дедушкой. но так это не работает. У тебя простенький карандашный рисунок 10 На 10 на входе, У тебя простенький без детальный карандашный рисунок в 1000 на 1000 на выходе.

--- добавлено 15 июл 2021, предыдущее сообщение размещено: 15 июл 2021 ---

Исходная

Обработанное

На месте мыльного шакального месева из пикселей, гигапиксель Сгенерировал брови, фактуру кожи и губ, что то напоминающее ресницы и волосы.

теперь ему же, с теми же самыми настройками, сунем сначала исходные портреты из дагерфола. потом их же, но размытые. потом еще более размытые:
исходная

обработанная с теми же параметрами что и выше

исходная Предварительно размытое

Обработанное с теми же параметрами что и 1я выше

исходное еще более размытое

обработанные с теми же параметры что и все остальные выше

 

Друзья, такая идея. В играх Rebel Moon спрайты очень низкого разрешения. Но их видимый размер (рост и ширина бойца) на карте можно менять через INI-шник персонажа. Этих спрайтов в игре очень много, формат – Targa, фон прозрачного цвета - пурпурный

Я прогнал через вайфу несколько спрайтов х2 и х4. Вот результат. Двукратное – вполне приемлемо выглядит.







Вопрос такой. Можно ли массово прогонять (поточное преобразование) через программы нейронных сетей спрайтики, чтобы не было ручной работы?

 

естественно.

--- добавлено 31 авг 2023, предыдущее сообщение размещено: 31 авг 2023 ---

Баловство с Stable Diffusion на основе оригинальных спрайтов апскейлиных в 4 раза.

 

@Ogr 2, выглядит просто АФИГЕННО!
Только я не понял немного. Нейронка сама цвет рисунков меняет, и мы не можем это контролировать?

Применительно к спрайтам Rebel Moon вырисовывается такая последовательность действий:
1. Апскейл х4 в Stable Diffusion или аналогичных
2. Резкость в Фотошоп (лучше без влияния контуров на пурпурный фон)
3. Уменьшение х2 в Фотошоп. (либо даунскел нейронкой - возможно, фон она не размоет)
4. Обработка контура, если контур все же смешался пурпурным фоном.
5. Готово!

И это для каждого спрайта. Всего их примерно 600 набирается в игре Rebel Moon Rising. Ручная работа тут нереальна. Меня интересует, можно ли как-то автоматизировать подобные работы с нейронками. А еще меня больше всего волнует в этом процессе - размытие пурпурного фона на краях объектов.

 

Это не апскейлинг. это генерация картинок с нуля по запросам. может ориентироваться на исходное изображение для более близкой генерации к нему нового. ну и проблема с генерировать одинакового персонажа с разных ракурсов, у меня пока не получалось, но вот в этом видео на 18:26, генерируется один и тот же персонаж в одинаковой одежде с нескольких ракурсов:

Сама по себе голая неронка, очевидно, нет, не умеет пакетно обрабатывать. но, есть gui для них, которые умеют в том числе и пакетную обработку.

это правится в фотошопе, точно так же пакетно. в нем можно записать порядок действий, и потом его пакет на применять к файлам.
также, чтобы при обработке линии контуров не изгибались в обратную сторону к краям изображения, можно в фотошопе увеличить фон на 1-2 пикселя перед обработкой.

 

Модель для устранения печатного растра со сканов: 1x Bendel_Halftone - OpenModelDB
полгода назад надо было обработать скан обложки, по гуглил такую и на русском и на английском, ничего не нашлось, а тут случайно наткнулся.

дополнено:
можно ее использовать через Automatic1111

 

Пометил для себя часто используемые модели минусами в конце:


Наиболее частые использование:

устранение джпек артефактов:
для этого использую только модели 1x_jpeg_00-100 от этого автора BlueAmulet - OpenModelDB

Устранения шума:

Увеличение резкости, без добавления сильных окантовок, слабые все равно появляются:

Устранения окантовок линий, возникших в следствии повышения резкости изображения:

Устранение артефактов после поворота растрового изображения:

Сглаживание линий:

Сглаживание линий у пиксельарта\устранением дизеринга, чтобы преувеличений получить более плавные линии, для последующей конвертации в векторный формат:

0

у 3й все обработки не влезли в лимит названия: 1x_SSAntiAlias9x_1x_artifacts_dithering_alsa_1x_artifacts_dithering_alsa_4x_Fatality_Comix_260000_G_1x_JPEG_20-40_1-1x_ArtClarity--

Устранения очень сильного шума в GIF анимации:

Очевидно, что такое качество из за Того, что пытались максимально уменьшить размер гифки, но не знали как правильно сохранять. Исходная анимация весит 3,5 мегабайта, из за того, что за исключением области с глазами, каждый кадр дублируется по 3 раза. А после очищения от шума и сохранения сново в формат GIF, всего 700 килобайт. Главное при сохранении "для веб" в фотошопе поставить галочку прозрачность, в таком случае будут кадры не целиком, а только отличающиеся места на них относительно предыдущего, за счет чего и будет размер в разы меньше, и в разы лучшего качества.
Исходную анимацию целиком, можно найти на rule34.xxx, а исправленную на rule34.paheal.net, по “kostos_art alice_the_slug animated”.

Название моделей которыми обрабатывались, и порядок обработки, в названии файлов, которая в ссылке на файл.
если браузер при наведении курсора на картинку не отображает ссылку на него, открыть картинку в отдельном окне и посмотреть в адресной строке браузера.

Последний раз я модели ESRGAN пробовал лет 5-7 назад, возможно, за это время там ещё какие годные появились.