Soft Обработка растровых изображений нейросетями

Шапка

ESRGAN:
Инструкция по установки: Upscale Wiki. От пользователя MrFlibble. Я ставил по этой инструкции.
Модели обработки для ESRGAN: Model Database - Upscale Wiki
Использование ESRGAN: Using ESRGAN, Links, And Other Information - Upscale Wiki. там же ссылки на пару графических интерфейсов для ESRGAN, Cupscale умеет самостоятельно скачивать и устанавливать все необходимое для работы ESRGAN.
ресурс на английском, поэтому используйте переводчик: https://translate.google.com , вполне адекватный перевод дает.

waifu2x:
куча его форков: Build software better, together.
форк с интерфейсом на русском: lltcggie/waifu2x-caffe. так же имеются несколько моделей обработки, в том числе для подавления шума\устранения JPG артефактов (модель "jpg (0-100%) BlueAmulet" для ESRGAN даёт более качественный результат).

Topaz Gigapixel AI:
Gigapixel AI – Topaz Labs (халяву искать на rutracker.org)
правила обработки в Topaz Gigapixel AI для избежания получения артефактов на выходе:

видео со сравнением результатов других апскейлеров, в основном анлайнновых сервисов:

Программы умеющие подменять текстуры в играх на новые, более высокого разрешения:
ПК: некоторые сорспорты; ScummVM X.
NES: Mesen; HDNes.
PS1: ядро Beetle PSX HW в ретроарче; DuckStation; видео плагин GPUBLADESOFT 1.46.
Dreamcast: FLYCAST.
GameCube и Nintendo Wii: Dolphin.

Некоторые из завершённых проектов апскейлов:
Hexen Neural Texture Pack
Doom Neural Upscale 2X
Final Fantasy 7 Remako HD Graphics Mod
Final Fantasy 9 Remastered
Resident Evil: HD Remaster - REupscale project
Resident Evil 2 - Seamless HD Project
Resident Evil 3 - Seamless HD Project
Chrono Cross-texture-replacements. видео.
SOUL CALIBUR 1
Soul Reaver 2
Morrowind Enhanced Textures

(от @Ogr 2)

Оригинальное сообщение от MrFlibble

Мой интерес к алгоритму waifu2x возник по ходу чтения этой темы, а ранее я про него мельком читал тут. Я нашёл относительно удобную в использовании реализацию алгоритма с графическим интерфейсом для экспериментирования, результаты получаются довольно интересные.

Во-первых, помимо увеличения изображения, waifu2x имеет функцию снижения зашумленности из-за артефактов сжатия JPEG, которую можно использовать отдельно. Результаты получаются очень неплохие. Для примера вот официальный снимок экрана из Jazz Jackrabbit Holiday Hare '95, который был размещён в середине 90-х на сайте Epic MegaGames в формате JPEG с сильным сжатием, что привело к образования артефактов (оба изображения для удобства просмотра увеличены вдвое методом ближайшего соседа):

оригинал


waifu2x -- шумоподавление (уровень 1)


Алгоритм не только удалил почти весь комариный шум и звон, но и компенсировал снижение яркости, характерное для сжатия изображений с низкой глубиной цвета (оригинал -- DOS VGA).

Уровень шума можно задавать от 1 до 3, более высокий уровень позволяет улучшить сильно зашумленное изображение, но с риском частичной потери детализации из-за размывания.

Во-вторых, по моим наблюдениям, собственно увеличение изображения с помощью алгоритма waifu2x неплохо подходит для рендеров, в том числе с исходно низкой глубиной цвета. Примеры из The Elder Scrolls: Daggerfall (исходные изображения увеличены вдвое методом ближайшего соседа): показать примеры

В-третьих, шумоподавление и увеличение рендеров можно комбинировать, примеры:

• Орка (Command & Conquer): оригинал, двукратное увеличение с шумоподавлением
• Голиаф против храмовника (StarCraft): оригинал, двукратное увеличение с шумоподавлением

Неплохо преобразуются и эскизы:

оригинал


увеличение с шумоподавлением (уровень 1)


Отмечу, что алгоритм изначально создавался для преобразования анимешных картинок, но его функциональность позволяет работать и с изображениями из игр, и с фотографиями тоже.

 

звучит вообще страшно сомнительно для VGA-графики взятой прямо из оригинала игры.

 

Правильно. Именно это и надо было сказать администратору сайта Epic MegaGames в 1997 г. (только тогда был GIF, а не PNG). Снимка, который я разместил выше (вот он прямо на сайте, копия Wayback Machine), в открытом доступе в качестве без потери сжатия в принципе не существует (по крайней мере, мне найти не удалось), что и делает актуальным использование waifu2x для устранения "жутких артефактов". Об этом, собственно, мой пост: данный инструмент можно использовать для частичного восстановления (или хотя бы визуального улучшения) старых материалов вроде официальных снимков экрана, которые утрачены либо недоступны в хорошем качестве.

UPD: Я немного подредактировал первое сообщение, чтобы пояснить, почему "оригинал" в формате JPEG.

 

Вот это чудо, уже преобразованное в gif, просто скопировано сюда, после чего обычным Paint увеличено в 2 раза и никуда не записывая просто скопировано сюда (т.е. это bmp)

 

Моё личное мнение состоит в том, что официальные снимки являются частью материалов, связанных с игрой, и заслуживают такого же бережного сохранения, как сама игра, документация и другие сопутствующие материалы. К сожалению, широкое применение формата JPEG в интернете времён второй половины 90-х привело к тому, что многие снимки сохранились только в плохом, очень плохом или откровенно ужасном качестве из-за сильного сжатия (которое, как я подозреваю, было не так заметно на мониторах тех времён, как сейчас).

Кто угодно может сделать хорошие снимки из какой-либо игры, но особенность официальных снимков состоит в том, что их сделал разработчик или издатель, такое авторство невозможно подделать или заменить (даже если кто-то из команды просто произвольно тыкал пальцем в PrtScn, а не создавались специальные постановочные снимки).

Кстати, в случае с приведённым снимком Jazz Jackrabbit таки есть отличие от релизных версий игры, хоть, возможно, небольшое (положение интерфейса внизу немного другое).

 

Прекрасно оно было заметно, просто трафик экономили.
Кстати, в старых игровых журналах JPEG проявляется во всей красе, вот кусочек скана Game.EXE 04'1998:


Посмотрите на цифры справа.

 

Можно и такое. Вообще, я сейчас понимаю, надо было вместо кролика более впечатляющий результат поставить. Вот официальный снимок из Gunmetal, который и изначально-то был в JPEG, по всей видимости, но дальнейшему его разрушению поспособствовали на AG.RU, где добавили свой водяной знак (вот спасибо!) и снова пережали в JPEG:


А вот результат шумоподавления в waifu2x (уровень шума 2):

Правда же, стало гораздо лучше? Конечно, удалить водяной знак таким способом всё равно не удастся, но хотя бы страшные артефакты сжатия довольно аккуратно были устранены.

Относительно ранний снимок из StarCraft:


Результат шумоподавления (уровень 1):

 

Для обладателей видеокарт нвидия не старше кеплера есть такой вариант, работающий значительно быстрее.

 

Мне кажестя, в старкрафте нашумоподавляло лишнего.

 

Нет. Даже чтобы увеличить картинку из этого поста в два раза и убрать помехи, уходит несколько секунд. Это при том, что у меня гтх970.

 

К сожалению, алгоритм не идеален, некоторые детали размазываются.

Теоретически, я полагаю, можно было бы повторить обучение тех же нейронных сетей специально для чистки снимков экрана из игр с низкой глубиной цвета. На практике пока не знаю, как это реализовать.

 

@MrFlibble, всё просто - надо прогнать в качестве примеров несколько тысяч оригиналов, и к ним по десятку-другому кривосжатых картинок

 

Этот принцип как раз я понимаю, я не знаю, какой инструмент нужен, через который прогонять.

 

@MrFlibble, в этих ваших интернетах лежат исходники различных нейросетей, в том числе и самообучающихся. В частности, есть несколько готовых нейросетей, воссоздающих картинку по обрывкам, по контексту. А есть несколько универсальных нейросетей (но не готовых), которые созданы под обучение разными типами входящей/выходящей информации. Вобщем, поинтересуйтесь темой, простор имеется.

 

Вот ещё интересный пример: изображение из Tyrian с сайта Epic MegaGames (насколько я знаю, в ресурсах игры эта картинка отсутствует).

Оригинал (увеличен вдвое методом ближайшего соседа):


Результат увеличения вдвое методом waifu2x с шумоподавлением (уровень 1), два прохода:


Насколько могу судить увеличение числа проходов делает изображение резче и убирает шум с меньшим размазыванием, чем если сделать один проход на уровне шума 2.

 

Я тут поигрался с различными вариантами увеличения снимков экрана из игр, использующих VGA-режим. Если скормить waifu2x сырое изображение, то на выходе получается довольно сильный звон, однако небольшое размывание картинки даёт заметно лучший результат.

Я использовал такую последовательность действий

о Гауссово размывание с радиусом 0,7x0,7 пикселов в GIMP,
о четырёхкратное увеличение в waifu2x,
о размывание Кувахара-Нагао с радиусом 2 пиксела с защитой деталей без коррекции гаммы в mtPaint,
о изменение размера изображения до 640x480 без коррекции гаммы методом бикубический резкий в mtPaint,
о преобразование в индексированное изображение с исходной палитрой без смешения цветов (dither).

Примечание: в снимках из "Арены" и "Даггерфолла" увеличенные спрайты противников, разумеется, не преобразовались и так и остались пикселизованными. Однако на выбранных снимках (это всё официальные картинки от разработчиков) достаточно спрайтов в исходных размерах.