Soft Обработка растровых изображений нейросетями

Шапка

ESRGAN:
Инструкция по установки: Upscale Wiki. От пользователя MrFlibble. Я ставил по этой инструкции.
Модели обработки для ESRGAN: Model Database - Upscale Wiki
Использование ESRGAN: Using ESRGAN, Links, And Other Information - Upscale Wiki. там же ссылки на пару графических интерфейсов для ESRGAN, Cupscale умеет самостоятельно скачивать и устанавливать все необходимое для работы ESRGAN.
ресурс на английском, поэтому используйте переводчик: https://translate.google.com , вполне адекватный перевод дает.

waifu2x:
куча его форков: Build software better, together.
форк с интерфейсом на русском: lltcggie/waifu2x-caffe. так же имеются несколько моделей обработки, в том числе для подавления шума\устранения JPG артефактов (модель "jpg (0-100%) BlueAmulet" для ESRGAN даёт более качественный результат).

Topaz Gigapixel AI:
Gigapixel AI – Topaz Labs (халяву искать на rutracker.org)
правила обработки в Topaz Gigapixel AI для избежания получения артефактов на выходе:

видео со сравнением результатов других апскейлеров, в основном анлайнновых сервисов:

Программы умеющие подменять текстуры в играх на новые, более высокого разрешения:
ПК: некоторые сорспорты; ScummVM X.
NES: Mesen; HDNes.
PS1: ядро Beetle PSX HW в ретроарче; DuckStation; видео плагин GPUBLADESOFT 1.46.
Dreamcast: FLYCAST.
GameCube и Nintendo Wii: Dolphin.

Некоторые из завершённых проектов апскейлов:
Hexen Neural Texture Pack
Doom Neural Upscale 2X
Final Fantasy 7 Remako HD Graphics Mod
Final Fantasy 9 Remastered
Resident Evil: HD Remaster - REupscale project
Resident Evil 2 - Seamless HD Project
Resident Evil 3 - Seamless HD Project
Chrono Cross-texture-replacements. видео.
SOUL CALIBUR 1
Soul Reaver 2
Morrowind Enhanced Textures

(от @Ogr 2)

Оригинальное сообщение от MrFlibble

Мой интерес к алгоритму waifu2x возник по ходу чтения этой темы, а ранее я про него мельком читал тут. Я нашёл относительно удобную в использовании реализацию алгоритма с графическим интерфейсом для экспериментирования, результаты получаются довольно интересные.

Во-первых, помимо увеличения изображения, waifu2x имеет функцию снижения зашумленности из-за артефактов сжатия JPEG, которую можно использовать отдельно. Результаты получаются очень неплохие. Для примера вот официальный снимок экрана из Jazz Jackrabbit Holiday Hare '95, который был размещён в середине 90-х на сайте Epic MegaGames в формате JPEG с сильным сжатием, что привело к образования артефактов (оба изображения для удобства просмотра увеличены вдвое методом ближайшего соседа):

оригинал


waifu2x -- шумоподавление (уровень 1)


Алгоритм не только удалил почти весь комариный шум и звон, но и компенсировал снижение яркости, характерное для сжатия изображений с низкой глубиной цвета (оригинал -- DOS VGA).

Уровень шума можно задавать от 1 до 3, более высокий уровень позволяет улучшить сильно зашумленное изображение, но с риском частичной потери детализации из-за размывания.

Во-вторых, по моим наблюдениям, собственно увеличение изображения с помощью алгоритма waifu2x неплохо подходит для рендеров, в том числе с исходно низкой глубиной цвета. Примеры из The Elder Scrolls: Daggerfall (исходные изображения увеличены вдвое методом ближайшего соседа): показать примеры

В-третьих, шумоподавление и увеличение рендеров можно комбинировать, примеры:

• Орка (Command & Conquer): оригинал, двукратное увеличение с шумоподавлением
• Голиаф против храмовника (StarCraft): оригинал, двукратное увеличение с шумоподавлением

Неплохо преобразуются и эскизы:

оригинал


увеличение с шумоподавлением (уровень 1)


Отмечу, что алгоритм изначально создавался для преобразования анимешных картинок, но его функциональность позволяет работать и с изображениями из игр, и с фотографиями тоже.

 

Использовал предпоследнюю ImageEnhancingUtility с гита. Последняя хоть вкуснее, настроек больше, но еррорит.
Если есть правильная видеокарта, со собранными фильтрами и 100500 времени чтобы разобратся как и какой фильтр влияет на изображения. То можно добится результатов.
Для пиксельных шрифтов ничего годного пока не нашел.

 

Ставишь на все галочки

, уходя запускаешь, и через какое то время быстро просматриваешь результаты всех выбранных моделей.

 

@Ogr 2, это я знаю, а вот в cupscale как по всем фильтрам пройти не нашел.

 

если нужно "ехать" - ImageEnhancingUtilit. ImageEnhancingUtilit у меня 10к спрайтов разом обработал, когда cupscale на 1к свалился.

 

Приветствую! Никто не сталкивался в cupscale с такой ошибкой?

 

А можно и так — Chinese Cop Out / Китайский полицейский

 

А NVIDIA-евский нейросетевой алгоритм DLSS (доступный только для обладателей видеокарт серий GeForce RTX, и то я не знаю, всех ли моделей RTX) можно использовать с 2D-картинкой или он только 3D сглаживать может? Или там слишком слабое сглаживание для 2D?

У меня RTX-видеокарты нет, так что вопрос меня интересует пока что в теоретическом смысле.

 

его использовать можно только в тех играх, в которых его поддержка реализована. реализуешь ее поддержку в 2 д игре, будет она в 2 д игре.

Кстати, длсс работает на цензорных ядрах, который как раз таки расчитаны для ускорения работы нейросетей. То есть, в теории, возможно написать такие фильтры, которые будут в реальном времени все тоже самое делать.

 

А можно мне глупому объяснить в чем разница между апскейлером из шапки и DLSS? Как я понимаю, для работы DLSS точно так же как и для всего остального нужна модель, по которой система понимает как растягивать изображение. Однако DLSS поднимает производительность, а обычный апскейлер кучу времени 1 кадр мучает.

 

производительность в ущерб качества; необходимость встраивания в игры для ее работы.

Никто не мешает старыми апскелерами пользоваться, Которые отрабатывают мгновено.

 

Это ты о чем? Что есть старый, а что есть новый?

 

старые:


DLSS - новый.

 

DLSS учится из кадров с низким разрешением получать "высокое" разрешение по базе нормальных кадров в высоком разрешении из этой же игры. Для ретроигр такой базы нет и, очевидно, быть не может, поэтому здесь апскейлеры учатся угадывать по некоей библиотеке примитивов, которая может быть сколь угодно далека от отдельно взятой старенькой игрушки по графике или стилю. Из-за этого нейро-скейлеры общего назначения, в отличие от DLSS, тратят уйму времени на обработку картинки и получают случайный по степени удачности результат на выходе.

 

Вроде же в версии 2.0 избавились От необходимости Обучать нейросеть На футажах каждый игра отдельно.

 

@Ogr 2, да, но чудес не бывает. Если первая училась по заранее набранным кадрам, а потом в игре занималась восстановлением, то вторая версия генерирует периодически во время игры "ключевые" кадры с высоким разрешением, а после делает между ними несколько кадров с апскейлом из низкого разрешения, основываясь на ближайшем нормальном кадре. Поменяли местами слагаемые, но суть осталась той же: в самой игре генерируется кадр в высоком разрешении, по которому нейросеть восстанавливает картинку из кадра с низким разрешением.

--- добавлено 12 мар 2021, предыдущее сообщение размещено: 12 мар 2021 ---

Почитал ещё немного подробностей про DLSS 2.0. Необходимость обучать нейросеть на отдельных кадрах каждой отдельной игры осталась - об этом написано совершенно прямо у самих nvidia. Упразднили только потребность генерировать специальную нейросеть под каждую игру - теперь она одна на все игры.

 

Можно ли сделать такой специальный DosBox?

Или всю игру обработать так?

 

По просьбе @Sledgy, апскейленые спрайты спайс квест 5 которые я делал для ScummVM X, но из за глючности оной, бросил не доделанной: Extra.rar
Фоны Обработаны 4x_FSDedither_Riven_Smooth, 1x_JPEG_60-80 (На некоторых местами мыльные области, как будто не в фокусе). Остальные спрайты обработаны 4x_UniversalUpscaler-Soft_190000_G.