Soft Обработка растровых изображений нейросетями

Шапка

ESRGAN:
Инструкция по установки: Upscale Wiki. От пользователя MrFlibble. Я ставил по этой инструкции.
Модели обработки для ESRGAN: Model Database - Upscale Wiki
Использование ESRGAN: Using ESRGAN, Links, And Other Information - Upscale Wiki. там же ссылки на пару графических интерфейсов для ESRGAN, Cupscale умеет самостоятельно скачивать и устанавливать все необходимое для работы ESRGAN.
ресурс на английском, поэтому используйте переводчик: https://translate.google.com , вполне адекватный перевод дает.

waifu2x:
куча его форков: Build software better, together.
форк с интерфейсом на русском: lltcggie/waifu2x-caffe. так же имеются несколько моделей обработки, в том числе для подавления шума\устранения JPG артефактов (модель "jpg (0-100%) BlueAmulet" для ESRGAN даёт более качественный результат).

Topaz Gigapixel AI:
Gigapixel AI – Topaz Labs (халяву искать на rutracker.org)
правила обработки в Topaz Gigapixel AI для избежания получения артефактов на выходе:

видео со сравнением результатов других апскейлеров, в основном анлайнновых сервисов:

Программы умеющие подменять текстуры в играх на новые, более высокого разрешения:
ПК: некоторые сорспорты; ScummVM X.
NES: Mesen; HDNes.
PS1: ядро Beetle PSX HW в ретроарче; DuckStation; видео плагин GPUBLADESOFT 1.46.
Dreamcast: FLYCAST.
GameCube и Nintendo Wii: Dolphin.

Некоторые из завершённых проектов апскейлов:
Hexen Neural Texture Pack
Doom Neural Upscale 2X
Final Fantasy 7 Remako HD Graphics Mod
Final Fantasy 9 Remastered
Resident Evil: HD Remaster - REupscale project
Resident Evil 2 - Seamless HD Project
Resident Evil 3 - Seamless HD Project
Chrono Cross-texture-replacements. видео.
SOUL CALIBUR 1
Soul Reaver 2
Morrowind Enhanced Textures

(от @Ogr 2)

Оригинальное сообщение от MrFlibble

Мой интерес к алгоритму waifu2x возник по ходу чтения этой темы, а ранее я про него мельком читал тут. Я нашёл относительно удобную в использовании реализацию алгоритма с графическим интерфейсом для экспериментирования, результаты получаются довольно интересные.

Во-первых, помимо увеличения изображения, waifu2x имеет функцию снижения зашумленности из-за артефактов сжатия JPEG, которую можно использовать отдельно. Результаты получаются очень неплохие. Для примера вот официальный снимок экрана из Jazz Jackrabbit Holiday Hare '95, который был размещён в середине 90-х на сайте Epic MegaGames в формате JPEG с сильным сжатием, что привело к образования артефактов (оба изображения для удобства просмотра увеличены вдвое методом ближайшего соседа):

оригинал


waifu2x -- шумоподавление (уровень 1)


Алгоритм не только удалил почти весь комариный шум и звон, но и компенсировал снижение яркости, характерное для сжатия изображений с низкой глубиной цвета (оригинал -- DOS VGA).

Уровень шума можно задавать от 1 до 3, более высокий уровень позволяет улучшить сильно зашумленное изображение, но с риском частичной потери детализации из-за размывания.

Во-вторых, по моим наблюдениям, собственно увеличение изображения с помощью алгоритма waifu2x неплохо подходит для рендеров, в том числе с исходно низкой глубиной цвета. Примеры из The Elder Scrolls: Daggerfall (исходные изображения увеличены вдвое методом ближайшего соседа): показать примеры

В-третьих, шумоподавление и увеличение рендеров можно комбинировать, примеры:

• Орка (Command & Conquer): оригинал, двукратное увеличение с шумоподавлением
• Голиаф против храмовника (StarCraft): оригинал, двукратное увеличение с шумоподавлением

Неплохо преобразуются и эскизы:

оригинал


увеличение с шумоподавлением (уровень 1)


Отмечу, что алгоритм изначально создавался для преобразования анимешных картинок, но его функциональность позволяет работать и с изображениями из игр, и с фотографиями тоже.

 

На злобу дня

 

Как это ни смешно, вот эти наработки уже устарели. Новые модельки из этого списка дают более интересные результаты и при этом не требуют предварительно обработки изображений, а также не генерируют имитацию артефактов сжатия JPEG.

Вот несколько результатов работы интерполяции моделей Fatality, Rebout и DeToon (их описания и сами файлы можно найти по ссылке выше). Как всегда, изображения уменьшены до размера 640x480.

 

Я один не понимаю, зачем все это нужно? Обои для рабочего стола делать из скринов старых игр?

 

В этой теме человек описал кейс по улучшению официальных скришотов. Типа сохраним аутентичность и качество поднимем. А так люди обновляют текстуры и закидывают обратно в игры их. Иногда годно получается и без отсебятины автора.

 

Подытожу: да.
Движ по ретекстурингу, похоже, кончился.

 

Короче эту бы энергию, да в мирное (читай, более полезное) русло.)))

 

Игры С ретекстурингом нейросетями: Резидент ивел 2, Резидент ивел 3, две финалки, Маравинт, Марио шансшайн, Марио карт, Метро трилогия... и это игры Которые знаю я, А если вплотную Поинтересоваться Этим Вопросом, Думаю, найдутся еще подобные игры.

 

Обнаружил тут новую модельку для ESRGAN, которая даёт весьма и весьма неплохие результаты. Называется Spongebob v6 De-Quantize. Одна проблема: насыщенность цветов сильно падает, приходится потом выкручивать обратно.

Я её интерполировал с rebout_interp на 0,8, вот кое-какие результаты (цвет усилен опцией "Максимальная цветность" в GIMP):

Flight of the Amazon Queen - ESRGAN SpongeBob - Imgsli

The Legend of Kyrandia 2 - ESRGAN SpongeBob - Imgsli

Lands of Lore - ESRGAN SpongeBob - Imgsli

The Legend of Kyrandia 2 - ESRGAN SpongeBob - Imgsli

Igor - ESRGAN SpongeBob - Imgsli

 

Круто! И даже очень.
Не принимает ли кто-нибудь заказы на такую обработку?
Я хотел бы 30 минутный мультфильм (25fps, 800*600) перевести в 4К.

 

@MrFlibble, мне кажется такое должен какой-нибудь ScummVM просто интегрировать к себе чтоб налету править.

 

Только для начала суперкомпьютер в каждый дом надо.

 

--- добавлено 31 мар 2020, предыдущее сообщение размещено: 31 мар 2020 ---

А вот подмена спрайтов в ScummVM На новые, но более высокого разрешения, Наподобие подмены текстур в Эмуляторе "дельфин", полагаю, вполне реалистичная задача.

 

@MrFlibble, можно попросить Lost Eden прогнать? Интересно насколько картинка вытягиваема.

 

Боюсь, я в ближайшее время не буду экспериментировать с ESRGAN. У меня NVIDIA не поддерживает CUDA, а на процессоре всё считается очень медленно.

Если компьютер относительно новый, картинки размером 320x200 реально увеличивать без CUDA. Большего размера требует много времени, во время работы процесса лучше комп ничем другим не загружать -- вполне реальна опасность обрушить систему. Собственно, почему мне не хочется экспериментировать пока.

Но если есть желание попробовать самому, там ничего сложного нет, надо только поставить Python 3.6 либо выше и PyTorch да пару других пакетов. Модели для ESRGAN лежат тут.

 

Это не проблема, проблема в том что ESGRAN упрямо хочет torch с CUDA, а у меня вообще нет дискретного видео.
Есть идеи как уговорить его только на CPU считать?

--- добавлено 5 апр 2020, предыдущее сообщение размещено: 5 апр 2020 ---

Rubber-duck engineering во всей красе:

Код:

#device = torch.device('cuda')  # if you want to run on CPU, change 'cuda' -> cpu
device = torch.device('cpu')

 

Правильно, так и нужно делать. Пардон, что не отписался раньше.

 

Всё-таки пора уже какую-то шапочку к теме сделать. Ну, чтобы народ не дезинформировать (в идеале бы, конечно, с инструкциями…).

 

Насчёт шапки я серьёзно. Потому что пока в рунете мы картиночками балуемся, люди вещи делают.