Soft Обработка растровых изображений нейросетями

Шапка

ESRGAN:
Инструкция по установки: Upscale Wiki. От пользователя MrFlibble. Я ставил по этой инструкции.
Модели обработки для ESRGAN: Model Database - Upscale Wiki
Использование ESRGAN: Using ESRGAN, Links, And Other Information - Upscale Wiki. там же ссылки на пару графических интерфейсов для ESRGAN, Cupscale умеет самостоятельно скачивать и устанавливать все необходимое для работы ESRGAN.
ресурс на английском, поэтому используйте переводчик: https://translate.google.com , вполне адекватный перевод дает.

waifu2x:
куча его форков: Build software better, together.
форк с интерфейсом на русском: lltcggie/waifu2x-caffe. так же имеются несколько моделей обработки, в том числе для подавления шума\устранения JPG артефактов (модель "jpg (0-100%) BlueAmulet" для ESRGAN даёт более качественный результат).

Topaz Gigapixel AI:
Gigapixel AI – Topaz Labs (халяву искать на rutracker.org)
правила обработки в Topaz Gigapixel AI для избежания получения артефактов на выходе:

видео со сравнением результатов других апскейлеров, в основном анлайнновых сервисов:

Программы умеющие подменять текстуры в играх на новые, более высокого разрешения:
ПК: некоторые сорспорты; ScummVM X.
NES: Mesen; HDNes.
PS1: ядро Beetle PSX HW в ретроарче; DuckStation; видео плагин GPUBLADESOFT 1.46.
Dreamcast: FLYCAST.
GameCube и Nintendo Wii: Dolphin.

Некоторые из завершённых проектов апскейлов:
Hexen Neural Texture Pack
Doom Neural Upscale 2X
Final Fantasy 7 Remako HD Graphics Mod
Final Fantasy 9 Remastered
Resident Evil: HD Remaster - REupscale project
Resident Evil 2 - Seamless HD Project
Resident Evil 3 - Seamless HD Project
Chrono Cross-texture-replacements. видео.
SOUL CALIBUR 1
Soul Reaver 2
Morrowind Enhanced Textures

(от @Ogr 2)

Оригинальное сообщение от MrFlibble

Мой интерес к алгоритму waifu2x возник по ходу чтения этой темы, а ранее я про него мельком читал тут. Я нашёл относительно удобную в использовании реализацию алгоритма с графическим интерфейсом для экспериментирования, результаты получаются довольно интересные.

Во-первых, помимо увеличения изображения, waifu2x имеет функцию снижения зашумленности из-за артефактов сжатия JPEG, которую можно использовать отдельно. Результаты получаются очень неплохие. Для примера вот официальный снимок экрана из Jazz Jackrabbit Holiday Hare '95, который был размещён в середине 90-х на сайте Epic MegaGames в формате JPEG с сильным сжатием, что привело к образования артефактов (оба изображения для удобства просмотра увеличены вдвое методом ближайшего соседа):

оригинал


waifu2x -- шумоподавление (уровень 1)


Алгоритм не только удалил почти весь комариный шум и звон, но и компенсировал снижение яркости, характерное для сжатия изображений с низкой глубиной цвета (оригинал -- DOS VGA).

Уровень шума можно задавать от 1 до 3, более высокий уровень позволяет улучшить сильно зашумленное изображение, но с риском частичной потери детализации из-за размывания.

Во-вторых, по моим наблюдениям, собственно увеличение изображения с помощью алгоритма waifu2x неплохо подходит для рендеров, в том числе с исходно низкой глубиной цвета. Примеры из The Elder Scrolls: Daggerfall (исходные изображения увеличены вдвое методом ближайшего соседа): показать примеры

В-третьих, шумоподавление и увеличение рендеров можно комбинировать, примеры:

• Орка (Command & Conquer): оригинал, двукратное увеличение с шумоподавлением
• Голиаф против храмовника (StarCraft): оригинал, двукратное увеличение с шумоподавлением

Неплохо преобразуются и эскизы:

оригинал


увеличение с шумоподавлением (уровень 1)


Отмечу, что алгоритм изначально создавался для преобразования анимешных картинок, но его функциональность позволяет работать и с изображениями из игр, и с фотографиями тоже.

 

@SardaukarNN,

для ESRGAN нет веб версий.

 

Много обработанных фонов в основном из игр Sierra.
Made with ESRGAN AI neural net upscaling using a Manga109 dataset-trained model.
ESRGAN Upscales – Google Диск

 

Что-то никаких изменений не заметил при использовании lltcggie/waifu2x-caffe .
Попробовал различные параметры, в качестве входных изображений использовал скрины из ДОС-игр (320х200х256).

 

если с сайта, то они увеличены в двое.

 

Русалочка из QFG4

 

Нет, не с сайта. Запускал на компе и делал скрины.

 

На заставки замахнулись

 

Прибежали в избу дети,
Второпях зовут отца:
«Тятя! тятя! нейросети
Притащили мертвеца»

 

@Grue13, заслужил

 

Собственно, не просветит ли меня уважаемый all, что нужно сделать для запуска сабжа на локальном компьютере? Речь о EsrGAN. Ускорителя нет, но одно фото, я думаю, можно обработать и на CPU.
Нужно фактически вот что-то вроде этого

 

@MisterGrim, Soft - О некоторых возможностях применения алгоритмов улучшения растянутых изображений

 

Ну так себе инструкция, честно говоря.

 

Remako Mod Version 1.0 Released!

 

Между делом я тут скачал последнюю на данный момент версию waifu2x-caffe, там добавили несколько новых моделей, которые получше справляются с чисткой картинок от JPEG-артефактов, чем предыдущие версии. Мне больше всего пока нравится модель CUnet: изображение не замыливается, но нет и звона от излишнего повышения резкости. Примеры

оригинал

CUnet (уровень шума 1)

оригинал

CUnet (уровень шума 1)

оригинал

CUnet (уровень шума 1)

Что касается увеличения изображений с помощью ESRGAN, советую обратить внимание на модели MyManga и Cartoon Painted отсюда. Они гораздо лучше справляются с преобразованиями графики из старых игр, чем модель MangaAttempt109 (в частности, потому, что автор целенаправленно тренировал эти модели для увеличения графики).

Мне удалось получить с ними весьма неплохие результаты для спрайтов из старых игр: Doom, Hexen, Strife, Daggerfall (рендеры, рисованные спрайты), Duke Nukem 3D. Также очень неплохо - во всяком случае, значительно лучше, чем с любым вариантом waifu2x - получаются целые снимки экрана (примеры).

 

Слушайте, я тут железкой новой обзавелся, с тензорными ядрами, их как-то можно использовать для ускорения апскейлера?

--- добавлено 14 авг 2019, предыдущее сообщение размещено: 14 авг 2019 ---

И повился ли способ гонять апскейлеры без установки кучи мусора в ос. Чтоб все нужное было в зипе и без установщика.

 

waifu2x-caffe, Topaz A.I. Gigapixel.

 

пока балуюсь с Topaz Gigapixel AI 4.2.2, смотрю на результаты:

исходник

увеличение в режиме авто на 2х, несколько раз подряд

увеличение в режиме авто на 4х, два раза подряд

исходник

увеличение в режиме авто на 2х, несколько раз подряд

больше чем в 2х раза не в коем случаи за раз не увеличивать, - результат на порядок менее четче\детальнее, и могут появляться всякие артефакты, которых нет в случаи последовательного увеличения на 2х за раз: CUT

на 2х, два раза подряд:


сразу на 3Х:

ну и можно\нужно его комбинировать с шумодавкой в waifu2x, ибо он аналог тшпег артефактов даже в обработанный пиксель арт добавляет.