Soft Обработка растровых изображений нейросетями

Шапка

ESRGAN:
Инструкция по установки: Upscale Wiki. От пользователя MrFlibble. Я ставил по этой инструкции.
Модели обработки для ESRGAN: Model Database - Upscale Wiki
Использование ESRGAN: Using ESRGAN, Links, And Other Information - Upscale Wiki. там же ссылки на пару графических интерфейсов для ESRGAN, Cupscale умеет самостоятельно скачивать и устанавливать все необходимое для работы ESRGAN.
ресурс на английском, поэтому используйте переводчик: https://translate.google.com , вполне адекватный перевод дает.

waifu2x:
куча его форков: Build software better, together.
форк с интерфейсом на русском: lltcggie/waifu2x-caffe. так же имеются несколько моделей обработки, в том числе для подавления шума\устранения JPG артефактов (модель "jpg (0-100%) BlueAmulet" для ESRGAN даёт более качественный результат).

Topaz Gigapixel AI:
Gigapixel AI – Topaz Labs (халяву искать на rutracker.org)
правила обработки в Topaz Gigapixel AI для избежания получения артефактов на выходе:

видео со сравнением результатов других апскейлеров, в основном анлайнновых сервисов:

Программы умеющие подменять текстуры в играх на новые, более высокого разрешения:
ПК: некоторые сорспорты; ScummVM X.
NES: Mesen; HDNes.
PS1: ядро Beetle PSX HW в ретроарче; DuckStation; видео плагин GPUBLADESOFT 1.46.
Dreamcast: FLYCAST.
GameCube и Nintendo Wii: Dolphin.

Некоторые из завершённых проектов апскейлов:
Hexen Neural Texture Pack
Doom Neural Upscale 2X
Final Fantasy 7 Remako HD Graphics Mod
Final Fantasy 9 Remastered
Resident Evil: HD Remaster - REupscale project
Resident Evil 2 - Seamless HD Project
Resident Evil 3 - Seamless HD Project
Chrono Cross-texture-replacements. видео.
SOUL CALIBUR 1
Soul Reaver 2
Morrowind Enhanced Textures

(от @Ogr 2)

Оригинальное сообщение от MrFlibble

Мой интерес к алгоритму waifu2x возник по ходу чтения этой темы, а ранее я про него мельком читал тут. Я нашёл относительно удобную в использовании реализацию алгоритма с графическим интерфейсом для экспериментирования, результаты получаются довольно интересные.

Во-первых, помимо увеличения изображения, waifu2x имеет функцию снижения зашумленности из-за артефактов сжатия JPEG, которую можно использовать отдельно. Результаты получаются очень неплохие. Для примера вот официальный снимок экрана из Jazz Jackrabbit Holiday Hare '95, который был размещён в середине 90-х на сайте Epic MegaGames в формате JPEG с сильным сжатием, что привело к образования артефактов (оба изображения для удобства просмотра увеличены вдвое методом ближайшего соседа):

оригинал


waifu2x -- шумоподавление (уровень 1)


Алгоритм не только удалил почти весь комариный шум и звон, но и компенсировал снижение яркости, характерное для сжатия изображений с низкой глубиной цвета (оригинал -- DOS VGA).

Уровень шума можно задавать от 1 до 3, более высокий уровень позволяет улучшить сильно зашумленное изображение, но с риском частичной потери детализации из-за размывания.

Во-вторых, по моим наблюдениям, собственно увеличение изображения с помощью алгоритма waifu2x неплохо подходит для рендеров, в том числе с исходно низкой глубиной цвета. Примеры из The Elder Scrolls: Daggerfall (исходные изображения увеличены вдвое методом ближайшего соседа): показать примеры

В-третьих, шумоподавление и увеличение рендеров можно комбинировать, примеры:

• Орка (Command & Conquer): оригинал, двукратное увеличение с шумоподавлением
• Голиаф против храмовника (StarCraft): оригинал, двукратное увеличение с шумоподавлением

Неплохо преобразуются и эскизы:

оригинал


увеличение с шумоподавлением (уровень 1)


Отмечу, что алгоритм изначально создавался для преобразования анимешных картинок, но его функциональность позволяет работать и с изображениями из игр, и с фотографиями тоже.

 

В Роли капитана очевидности спешу сообщить: Что при увеличении по диагонали всего лишь в 2 раза, количество точек, а в вместе с ними "вес" битмапа вырастает в 4 раза. а при увеличении в 4 раза по диагонали, "вес" уже врастает ажн 16 раз! таким образом 300 мегабайт текстурок превращается в 4,8гб.

вообще то включен.

 

Вообще то очень сильно помогает. ты видимо за памятовал, как на псх без этого хака вершины колбасит.

хз, не смотрел. Ну не в 8 же бит обратно говнить. и я бы жать не в пнг, Со всякими шакалами, не стал бы, чей не 50 гб получилось.

 

Упомянутый хак тут не при делах.

 

Myles Johnston сделал модифицированный ScummVM для использования улучшенной графики с помощью технологии ESRGAN.
Пример видео.

Новость взята отсюда
SCUMMVM SCI Engine "HiRes Upscale" Support Mod

 

Прокаченные текстуры надо отдельно заливать или шарманка научилась налету работать?

 

ты по 3-300 минут (в зависимости от устройства) готов ждать при каждой смене экрана? лол

 

Если под "шарманкой" подразумевать ScummVM-X, то да.
Можно просто фоны добавлять, не редактируя ресурсы игры.

 

Местами трешак конечно... Между спрайтами "щели" дикие.

 

Потому что это демонстрация возможности, а не готовый пак

 

На этом месте пока расходимся.

 

что не так то? или ты тоже ждёшь реалтаймогова апскейла? да вроде ты то должен понимать, что это пока не целесообразно.

 

Да ничего, просто Longest Journey с апскейлингом мы почти год назад увидели, а тут как будто прямо прорыв какой-то случился.

 

сколько там десятков игр скавм поддерживает? вот потенциально для всех этих десятков игр теперь доступна замена текстур.

 

@Ogr 2, ну прям феерическая сложность переписать ScummVM под поддержку текстур более высокого разрешения.

 

ну ок, ждем когда ты реализуешь не ферично сложную подмену текстур в досбокс...

 

Я не настоящий программист, я маску нашёл.
А подмену спрайтов ещё в эмулях спектрума давно делали.
Проблема-то не техническая, проблема художественная. Посмотрел видео — мягко говоря, не впечатлён.

 

После того как обработка графики с помощью нейро сетей стало доступно абсолютно всем, Проблема осталась только в технической реализации, в виде подмены спрайтов\текстур.

Ну и предвосхищая "фи", в роли капитана очевидности замечу: что до этого Работу Аналогичных низкоквалифицированных художников нужно было оплачивать. А 10 лет назад их работы продавались где то за 1тр (= 1 фон), из которых 300р составляла себестоимость Рамки, холста и краски. а с Тех пор, виду падение курс рубля и инфляции, стоимость их работоже выросла в несколько раз.
Теперь же работы эти художников доступны абсолютно бесплатно. Хочешь, - делай Текстур паки. и эти текстурпаки сделанные аналогом низкоквалефицированого художника всё равно на голову лучше чем оригиналы 300х200.