Soft Обработка растровых изображений нейросетями

Шапка

ESRGAN:
Инструкция по установки: Upscale Wiki. От пользователя MrFlibble. Я ставил по этой инструкции.
Модели обработки для ESRGAN: Model Database - Upscale Wiki
Использование ESRGAN: Using ESRGAN, Links, And Other Information - Upscale Wiki. там же ссылки на пару графических интерфейсов для ESRGAN, Cupscale умеет самостоятельно скачивать и устанавливать все необходимое для работы ESRGAN.
ресурс на английском, поэтому используйте переводчик: https://translate.google.com , вполне адекватный перевод дает.

waifu2x:
куча его форков: Build software better, together.
форк с интерфейсом на русском: lltcggie/waifu2x-caffe. так же имеются несколько моделей обработки, в том числе для подавления шума\устранения JPG артефактов (модель "jpg (0-100%) BlueAmulet" для ESRGAN даёт более качественный результат).

Topaz Gigapixel AI:
Gigapixel AI – Topaz Labs (халяву искать на rutracker.org)
правила обработки в Topaz Gigapixel AI для избежания получения артефактов на выходе:

видео со сравнением результатов других апскейлеров, в основном анлайнновых сервисов:

Программы умеющие подменять текстуры в играх на новые, более высокого разрешения:
ПК: некоторые сорспорты; ScummVM X.
NES: Mesen; HDNes.
PS1: ядро Beetle PSX HW в ретроарче; DuckStation; видео плагин GPUBLADESOFT 1.46.
Dreamcast: FLYCAST.
GameCube и Nintendo Wii: Dolphin.

Некоторые из завершённых проектов апскейлов:
Hexen Neural Texture Pack
Doom Neural Upscale 2X
Final Fantasy 7 Remako HD Graphics Mod
Final Fantasy 9 Remastered
Resident Evil: HD Remaster - REupscale project
Resident Evil 2 - Seamless HD Project
Resident Evil 3 - Seamless HD Project
Chrono Cross-texture-replacements. видео.
SOUL CALIBUR 1
Soul Reaver 2
Morrowind Enhanced Textures

(от @Ogr 2)

Оригинальное сообщение от MrFlibble

Мой интерес к алгоритму waifu2x возник по ходу чтения этой темы, а ранее я про него мельком читал тут. Я нашёл относительно удобную в использовании реализацию алгоритма с графическим интерфейсом для экспериментирования, результаты получаются довольно интересные.

Во-первых, помимо увеличения изображения, waifu2x имеет функцию снижения зашумленности из-за артефактов сжатия JPEG, которую можно использовать отдельно. Результаты получаются очень неплохие. Для примера вот официальный снимок экрана из Jazz Jackrabbit Holiday Hare '95, который был размещён в середине 90-х на сайте Epic MegaGames в формате JPEG с сильным сжатием, что привело к образования артефактов (оба изображения для удобства просмотра увеличены вдвое методом ближайшего соседа):

оригинал


waifu2x -- шумоподавление (уровень 1)


Алгоритм не только удалил почти весь комариный шум и звон, но и компенсировал снижение яркости, характерное для сжатия изображений с низкой глубиной цвета (оригинал -- DOS VGA).

Уровень шума можно задавать от 1 до 3, более высокий уровень позволяет улучшить сильно зашумленное изображение, но с риском частичной потери детализации из-за размывания.

Во-вторых, по моим наблюдениям, собственно увеличение изображения с помощью алгоритма waifu2x неплохо подходит для рендеров, в том числе с исходно низкой глубиной цвета. Примеры из The Elder Scrolls: Daggerfall (исходные изображения увеличены вдвое методом ближайшего соседа): показать примеры

В-третьих, шумоподавление и увеличение рендеров можно комбинировать, примеры:

• Орка (Command & Conquer): оригинал, двукратное увеличение с шумоподавлением
• Голиаф против храмовника (StarCraft): оригинал, двукратное увеличение с шумоподавлением

Неплохо преобразуются и эскизы:

оригинал


увеличение с шумоподавлением (уровень 1)


Отмечу, что алгоритм изначально создавался для преобразования анимешных картинок, но его функциональность позволяет работать и с изображениями из игр, и с фотографиями тоже.

 

Возможно, я слегка переусердствовал с размыванием, при снижении радиуса до 0,5x0,5 пикселов и последующем повышении резкости изображения на уровне 50 после преобразования в 640x480 (до преобразования в индексированный режим) резкость почти такая же, как у "сырого" изображения без размывания.

 

Мне удалось добиться значительного улучшения результатов без того, чтобы прибегать к размыванию изображений. Чтобы смягчить цветовые переходы, использовались следующие преобразования:

о исходное изображение увеличивается вчетверо с помощью программы ScalerTest фильтра xBRZ,
о результат загружается в GIMP, применяется пикселизация с радиусом 4 пиксела,
о изображение уменьшается до исходного размера (320x200) без интерполяции

Результат преобразовывался в waifu2x, как описано в предыдущем сообщении.

Такой метод позволяет сохранить детали изображения и получить гладкие линии под практически любым углом.

 

Скрины RA - это ЗДЕЦ. 320х200 на 17" мониторе меньше будут глаза продавливать.

--- добавлено 3 окт 2018, предыдущее сообщение размещено: 3 окт 2018 ---

Этот фильтр превращает пикселизованные картинки в какую-то мазню детскую. Похорошело из 5 скринов только первому и более менее не пострадавшим выглядит второй. Остальные, на мой вкус - разная степень звиздеца.

 

Да, тут похоже со сглаживанием уже перебор сильный.

--- добавлено 3 окт 2018, предыдущее сообщение размещено: 3 окт 2018 ---

 

Они все это делают. Что hq, что BRZ, что эти. В разной степени и с разными фишками, но результат один - замыливание картинки, потеря/искажение некоторых мелких деталей. Поэтому я использую только normal2x, simple2x и подобные. Мне пиксели глаза не колят.

 

Но не до уровня же "детской мазни". Лично я в досбоксе, скаммвм и эмуляторах консолей использую hq3x и мне нормально, но там всё-таки не таких масштабов как на картинках выше замыливание достигает.

Хотя конечно определённый шарм в этом всё же есть - если кому-нибудь приятен "закос" под детское творчество.

Так прямо и представляю - "Разработчики из Westwood уговорили своих детей рисовать арт для своей новой игры".

 

На нём и hq4x зачастую шрифты становятся неприятными.

https://www.old-games.ru/forum/attachments/langrisser-ii-normal2x-jpg.143546/
https://www.old-games.ru/forum/attachments/langrisser-ii-hq4x-jpg.143548/
Как тут, например. Я как-то делал кадры.

 

К сожалению, модели юнитов в C&C и RA слишком мелкие, чтобы алгоритм смог их нормально преобразовать. Здания получились более-менее нормальные, но у них изначально не очень много деталей.

Попробуем кое-что покрупнее

 

Для Старкрафта есть Ремастеред. В 4K.

 

оригинал глянь. Очень удивишься.

@MrFlibble, а вот так вообще то лучше

Резкость



Резкость + Подавление шума




Рисунок тушью

 

Через waifu2x можно и текстурки апскейлить в старых (и не очень) играх. Вот тут я Bloodrayne обработал HQ textures pack for BloodRayne, page 1 - Forum - GOG.com
Вроде симпатично получилось.

 

еще один абскейлер основанный на нейро сетях - ESRGAN: CUT

инструкция по его запуску: CUT

 

Вот ещё несколько понравившихся примеров (самому установить эти тулзы пока не удалось)

 

@Ogr 2, судя по гифкам это не апскейлер, а полноценный художник, который умудряется из цветного месива получать картинку не просто более контрастную, что было бы понятно, а (achtung!) с высокой детализацией, которая попросту отсутствует на исходном изображении. Чего быть в принципе не может (это как полностью нарисовать всё по новой).

 

@R4kk00n, Sam&Max, Monkey Island 2, Crusader и ещё что-то (Soul Calibur?)
AI Neural Networks being used to generate HQ textures for older games (You can do it yourself!)

 

Нейросеть фактически этим и занимается.

 

Местами картинка классно смотрится, местами закорявлена. Хорошо видно на классных стенах и проёмах в Diablo и на отвратительных скелетах и игроке.

 

Ну тут как бы очевидно, что для пиксельной графики не годится (по понятным причинам), для рисованной — уже туда-сюда, лучше всего для фотореалистичной: