Soft Обработка растровых изображений нейросетями

Шапка

ESRGAN:
Инструкция по установки: Upscale Wiki. От пользователя MrFlibble. Я ставил по этой инструкции.
Модели обработки для ESRGAN: Model Database - Upscale Wiki
Использование ESRGAN: Using ESRGAN, Links, And Other Information - Upscale Wiki. там же ссылки на пару графических интерфейсов для ESRGAN, Cupscale умеет самостоятельно скачивать и устанавливать все необходимое для работы ESRGAN.
ресурс на английском, поэтому используйте переводчик: https://translate.google.com , вполне адекватный перевод дает.

waifu2x:
куча его форков: Build software better, together.
форк с интерфейсом на русском: lltcggie/waifu2x-caffe. так же имеются несколько моделей обработки, в том числе для подавления шума\устранения JPG артефактов (модель "jpg (0-100%) BlueAmulet" для ESRGAN даёт более качественный результат).

Topaz Gigapixel AI:
Gigapixel AI – Topaz Labs (халяву искать на rutracker.org)
правила обработки в Topaz Gigapixel AI для избежания получения артефактов на выходе:

видео со сравнением результатов других апскейлеров, в основном анлайнновых сервисов:

Программы умеющие подменять текстуры в играх на новые, более высокого разрешения:
ПК: некоторые сорспорты; ScummVM X.
NES: Mesen; HDNes.
PS1: ядро Beetle PSX HW в ретроарче; DuckStation; видео плагин GPUBLADESOFT 1.46.
Dreamcast: FLYCAST.
GameCube и Nintendo Wii: Dolphin.

Некоторые из завершённых проектов апскейлов:
Hexen Neural Texture Pack
Doom Neural Upscale 2X
Final Fantasy 7 Remako HD Graphics Mod
Final Fantasy 9 Remastered
Resident Evil: HD Remaster - REupscale project
Resident Evil 2 - Seamless HD Project
Resident Evil 3 - Seamless HD Project
Chrono Cross-texture-replacements. видео.
SOUL CALIBUR 1
Soul Reaver 2
Morrowind Enhanced Textures

(от @Ogr 2)

Оригинальное сообщение от MrFlibble

Мой интерес к алгоритму waifu2x возник по ходу чтения этой темы, а ранее я про него мельком читал тут. Я нашёл относительно удобную в использовании реализацию алгоритма с графическим интерфейсом для экспериментирования, результаты получаются довольно интересные.

Во-первых, помимо увеличения изображения, waifu2x имеет функцию снижения зашумленности из-за артефактов сжатия JPEG, которую можно использовать отдельно. Результаты получаются очень неплохие. Для примера вот официальный снимок экрана из Jazz Jackrabbit Holiday Hare '95, который был размещён в середине 90-х на сайте Epic MegaGames в формате JPEG с сильным сжатием, что привело к образования артефактов (оба изображения для удобства просмотра увеличены вдвое методом ближайшего соседа):

оригинал


waifu2x -- шумоподавление (уровень 1)


Алгоритм не только удалил почти весь комариный шум и звон, но и компенсировал снижение яркости, характерное для сжатия изображений с низкой глубиной цвета (оригинал -- DOS VGA).

Уровень шума можно задавать от 1 до 3, более высокий уровень позволяет улучшить сильно зашумленное изображение, но с риском частичной потери детализации из-за размывания.

Во-вторых, по моим наблюдениям, собственно увеличение изображения с помощью алгоритма waifu2x неплохо подходит для рендеров, в том числе с исходно низкой глубиной цвета. Примеры из The Elder Scrolls: Daggerfall (исходные изображения увеличены вдвое методом ближайшего соседа): показать примеры

В-третьих, шумоподавление и увеличение рендеров можно комбинировать, примеры:

• Орка (Command & Conquer): оригинал, двукратное увеличение с шумоподавлением
• Голиаф против храмовника (StarCraft): оригинал, двукратное увеличение с шумоподавлением

Неплохо преобразуются и эскизы:

оригинал


увеличение с шумоподавлением (уровень 1)


Отмечу, что алгоритм изначально создавался для преобразования анимешных картинок, но его функциональность позволяет работать и с изображениями из игр, и с фотографиями тоже.

 

видео с демонстрацией в игре абскейленых фонов с 300х200 при помощи letsenhance.io и waifu2x-caffe:

 

Manga109 model

 

сравнение оригинала, абскейла неросетью, и ручного ремастера: CUT

AI Neural Networks being used to generate HQ textures for older games (You can do it yourself!)

аналогично, + исходная картинка (с которой "оригинал" делался): CUT

AI Neural Networks being used to generate HQ textures for older games (You can do it yourself!)

 

Поясните, зачем waifu2x когда есть ESRGAN? Или второй новый, а первый старый?

--- добавлено 27 дек 2018, предыдущее сообщение размещено: 27 дек 2018 ---

Слушайте, простите дурака, хочу апскейлить через ESRGAN, но тут куча сопутствующего левака. Я уже поставил себе ненужный мне питон, но щас он спотыкается о необходимость иметь какой-то CV2. Попытался загуглить, но тут ад: Install OpenCV-Python in Windows — OpenCV 3.0.0-dev documentation

Есть какой-нибудь простой способ? Мне бы вообще убогую гуишку, чтоб я тыкал в жпег и получал хайрез. Мне не нужно разбираться во всяких питонах

--- добавлено 27 дек 2018 ---

Окей, нашел способ попроще:

for windows if you have anaconda installed, you can simply do

pip install opencv-python

Качаю эту анаконду. ГОСПОДИ ЧТО ЭТО?

 

waifu2x

 

По ссылке из этой темы гайд на китайском, а батник ничего внятного не выдает. Тоже надо разбираться. Лучше уж разберусь в актуальном скрипте, чем в чем-то 2015 года. Такова моя мысль

 

@vorob, куча его форков: Build software better, together этот точно с гуем на русском: lltcggie/waifu2x-caffe

 

Спасибо. При случае посмотрю. А пока я разобрался с тем что хотел. Кривой гайд для таких же ленивых как я:

Чтоб поиграться с ESRGAN я скачал его с гитхаба. Пришлось еще качать python-3.7.2.exe, а к нему еще модель апскейлера ESRGAN.
Запускаю командную строку, команду python test.py models/RRDB_ESRGAN_x4.pth

И, разумеется, иду далеко и надолго т.к. не хватает какого-то CV2. Что это, непонятно. Гуглю. Везде пишут чтоб я это скомпилировал. Или дают готовое, но непонятно куда класть. Нашел какую-то Anaconda3-2018.12-Windows-x86_64.exe, похоже это тот же питон, только с расширениями всякими и более умной командной строкой. Через нее я ставлю этот CV2

pip install opencv-python

Далее ему какой-то Torch понадобился. К счастью анаконда и его скачала

conda install pytorch torchvision -c pytorch

Всё, теперь эта команда работает,

python test.py models/RRDB_ESRGAN_x4.pth

--- добавлено 27 дек 2018, предыдущее сообщение размещено: 27 дек 2018 ---

Беда только в том, что если брать фотки обычные, мелкие, после жпега, он артефакты апскелит

 

в waifu2x-caffe есть шумодавка.

--- добавлено 27 дек 2018, предыдущее сообщение размещено: 27 дек 2018 ---

@vorob, скорми ESRGAN это

 

Ну слушай, я не знаю какие тут чудеса происходят, превращающие это:
https://pp.userapi.com/c847220/v847220758/15e8ed/qq9zuBYLBdA.jpg
В это:
https://pp.userapi.com/c847220/v847220758/15e900/gIEXybYa0qI.jpg

У меня он просто раздул пикселявую картинку.

 

а, ну да, она же изначально в двое увеличена... попробуй эту: clipboard.png

 

а смысл? Или работает на любой или не работает.

 

Вот из файла поменьше.

 

Hexen Neural Upscale [08.01.2018]

--- добавлено 9 янв 2019, предыдущее сообщение размещено: 9 янв 2019 ---

--- добавлено 9 янв 2019 ---

@Дарк Шнайдер, пора уже в скамВМ возможность использования хайРезСпрайтПаков встраивать.

 

@Дарк Шнайдер, первая картинка получилась похожей на отсканированную иллюстрацию из книжки. Дальше местами похоже на карандашный рисунок, а местами просто "мыло".

 

Хэштег #AINeuralNet в Твиттере
много спрайтов из игр сиеры обработанных нейросетью: Sierra – Google Диск

 

Не совсем понимаю, где найти данную утилиту, или её нужно компилить из исходников?

 

@SardaukarNN,
Soft - О некоторых возможностях применения алгоритма waifu2x
Soft - О некоторых возможностях применения алгоритма waifu2x
Soft - О некоторых возможностях применения алгоритма waifu2x

 

Я думал, что есть отдельная программа, а так получается проще делать через браузер.