Пиксель-арт и нейросети

Ни для кого не секрет, что алгоритмы машинного обучения в последнее время развиваются весьма активно и всё чаще используются в различных аспектах науки и жизни. Многие любители игр слышали, что нейронные сети пытаются применять и для "подтягивания" картинки в старых играх с низким разрешением и даже видеофайлах. Началось всё с того, чтобы научить алгоритмы убирать дизеринг (шум), но на сегодняшний день существует уже несколько десятков моделей, натренированных на различных наборах данных. Давайте посмотрим наглядно, может ли бездумный компьютер сделать что-то полезное, или он способен разве что "размылить" изображения?

В качестве материала для этого эксперимента мы возьмем замечательные иллюстрации к игре DragonStrike (1990, DOS) - первопроходческого симулятора полетов на драконе от легендарной Westwood Studios по мотивам книг DragonLance. Эти изображения появлялись во время брифингов между уровнями, а нарисовали их настоящие мастера пиксель-арта этой студии из Лас-Вегаса - Луис Касл, Джозеф Хьюитт, Морин Старкли и Рик Паркс. Да, тот самый Рик Паркс, который ответственен за графику в Legend of Kyrandia и у которого так здорово всегда получалось рисовать облака, в том числе и в той самой знаменитой заставке этой игры. Но вернемся к DragonStrike. Файлы с графикой в игре закодированы некоторыми видами сжатия, часть из которых мы смогли разобрать во время перевода этой игры (если вы еще с ним не ознакомились - рекомендуем). Так что перед вами не скриншоты, а именно раскодированные изображения всех брифингов к игре, за исключением одного. Он был запакован другим алгоритмом и мы объявляем конкурс - кто сможет раскодировать этот тип сжатия и извлечь картинку получит виртуальную медаль Бюро, а также почет и уважение (и, конечно, возможность присоединиться к нам для перевода других игр).

За обработку огромное спасибо @Ogr 2. Был использован GUI n00mkrad/cupscale и модель bigface v3. С помощью данного инструмента каждый может легко поэкспериментировать с разными моделями и даже совмещать несколько из них. Правда, для этого очень желательно иметь видеокарту Nvidia. На картинках ниже приведено сравнение оригинальных изображений, увеличенных в 4 раза, и обработанных с помощью модели.

Читать дальше

​

Как можно видеть, данная модель пытается имитировать масляную живопись (что здесь вполне подходит), но не всегда успешно справляется с изображениями людей и морд монстров. Также есть проблемы и с увеличением совсем мелких изображений. При этом некоторые другие модели лучше справляются с этими аспектами, но проигрывают в других. Конечно, мы любим старые игры со всеми их ограничениями, но все-таки, согласитесь, приятно увидеть любимые рисунки в большом масштабе: детали воспринимаются совсем по-другому!

Если же вам интересно обсудить увеличение изображений в играх с помощью нейронных сетей - приглашаем в специально созданную для этого тему на форуме.

 

@MisterGrim, в нормальном пиксель-арте (в отличие от "мультяшного/флэш стиля) как раз множество деталей, но только они все 1-2 пикселя величиной. Это позволяет подстегнуть воображение, но нейросетке, конечно, не по зубам. А флеш-анимацию как раз научиться растягивать - это по-моему вполне реальная задача.

 

@fR0z3nS0u1, я имею в виду такой стиль графики в целом. Как например:

 

Кстати, @Ogr 2, а ты умеешь тренировать эти нейросети? А то у нас на сайте, я думаю, есть тысячи скриншотов в 640 на 480 (и десятки тысяч 320 на 200 или 320 на 240), а также их миниатюры для вывода на странице "скриншоты". Можно сделать сетку, натренированную на этом.

 

Это не для раздела скриншотов, а для улучшения алгоритма увеличения. Чтобы косяков с искажениями было меньше и пиксельные шрифты, например, увеличивало. В самих играх я тоже считаю, что это применять пока смысла нет.

 

Нет, сглаживание не интересно, интересно что-то большее, чтобы сетка как раз пыталась распознать объекты и их правильно "дорисовать".