Пиксель-арт и нейросети

Нейросетка безусловно выдаёт лучший результат, но я правда не вижу кардинальной разницы, в обоих случаях есть ощущение "пластиковости" изображения по сравнению с оригиналом. Возможно это лично мой загон, и если бы я увидел изначально увеличенную картинку, не глядя на оригинал - мне даже было бы норм.

 

Вот так широкие массы и приучают к ремастерам. Потому что они не помнят/никогда не видели лучшего. А потом говорят, что так всегда и было. А новое поколение говорит: да чушь какая-то ваш варкрафт 3/диабло 2/подставьте свой вариант.

 

Друзья, а вот такое серьёзное техническое предложение:

1) Создаем разные нейронные сети для ресамплинга х2, х3, х4, х5;
2) Берем совершенно разные небольшие картиночки с разной тематикой, плавными формами, резкими цветами, ортогональными пересечениями, где много линий и т.п.
3) Ресемплируем их на максимальный х5;
4) Улучшаем и детализируем всё "пальцем" из Фотошопера или другими инструментами, добавляем фантазию или какую-то дополнительную, заранее известную информацию о мелких деталях восстанавливаемого рисунка.
5) Уменьшаем восстановленное изображение до заданных уровней ресмплирования х2, х3, х4.
6) Обучаем нейронные сети разных уровней ресмплирования х2, х3, х4, х5.
7) Переходим к новой картинке...

Возможно ли такое, или нет?

 

Так оно и делается. проблема в том, что для качественного обучения сети, нужны десятки а может быть и сотни тысяч материалов на которых она будет обучаться, а их нужно ещё создать. + чер знает сколько часов\дней\недель\месяцев на само обучение.

--- добавлено 19 фев 2021, предыдущее сообщение размещено: 19 фев 2021 ---

При наличии 1 000 000 Материалов для обучения (Чего конечно же нет и никогда не буде), и года самого обучения, может выйти и такое: Исходное

,

после обработки

 

Мне кажется, это просто ненужное меряние пипирками, при условии, что и так, и так можно получить одинаковый результат. Таким же макаром можно наехать на музыканта-демосценера, почему он, собака сутулая, пользовался секвенсором и готовыми сэмплами, а не записал все инструменты сам с нуля и не играл музыку вживую всеми конечностями.

Не говорят они так (по крайней мере те, кто якобы "не помнит"). Если бы не помнили, не было бы собранной по кусочкам и отреставрированной оригинальной трилогии Звёздных войн, и всех бы устраивала современная версия с кучей спорной графики. И это не полтора задрота, как может показаться. Да и даже если человек не помнит, что в его детстве всё не выглядело настолько пластиково, Интернет помнит всё, и есть куча сравнений и скриншотов для интересующихся. Похоронить старые версии никто не может, как бы Лукасу и остальным этого не хотелось.

На то оно и новое поколение. И кстати, не видел, чтобы все моментально перескакивали с ванильного третьего Варкрафта на Рефордж, хотя казалось бы.

 

Я про молодое поколение, и казуальных игроков, которых ремастеры(а вернее возможность запустить игру на вин10) полностью устраивают.

Вроде в ванильный теперь только на крякнутой версии через лан поиграть можно. Или потом поправили?

--- добавлено 19 фев 2021, предыдущее сообщение размещено: 19 фев 2021 ---

Нет, есть большая разница между честным пиксельартом и конвертированной картинкой. Начиная с использования ограниченной палитры цветов для рисования. Когда ты используешь соответствующий инструмент для рисования - пиксели, ты и мыслишь по другому.
Не значит что конвертирование это всё плохо и отстой. Но существенное различие имеет место быть.

 

К слову, в вгашных серовских и лукас артовских квестов пиксель арта процентов 10.

 

строго ИМХО: у меня восприятие наверное старошкольное, но вот картинки классические, пиксели - я воспринимаю как тёплые и с душой сделанные, а аналогичные "сглаженные" (правая колонка) - это ж пластмасса какая-то )
Наверное надо с рендерами поакуратнее подбирать, а то получается полутонов
почти нет, смешаных пикселей нет, всё гладко, границы переходов оттенков \ зон цветовых как на полит. карте... (напоминает флэш анимацию немного - ничего хорошего).

 

забыл добавить "без душная".

 

Если просто сканировать - то разница есть. Но ничего не мешает отсканить и потом уже на основе скана рисовать попиксельно, так проще. Думаю, это и имелось в виду под "обработкой", так как неизмененные сканы помещать в демки как-то слишком нагло. Ещё есть программы, позволяющие получить вполне себе убедительный пиксель-арт прогоном через фильтры.

 

то есть, оригинал - душевная = привычная\ностальгичное. все иное - бездушная, и дальше подставить нужное слово подходящее по ситуации.

 

Понял. Прости, модели я не очень изучал, но интересно, на каком "выходе" (вход-то понятен) модель тренировалась, что она так полюбила линии.

 

Dataset Size: 1K, Dataset: Selected concept art
Model Database - Upscale Wiki

полагаю, на чём то подобном:

 

Извиняюсь, но по-моему, в данном конкретном случае оригинал — в разы лучше. Это при том, что в целом я положительно отношусь к всяким ремастерам, улучшающим графику, и не тащусь от "теплой ламповой картинки" Но тут — взять хоть волны с изображения номер два: на оригинале видно, что это брызги, летящие от волн, ударяющих о камни. На апскейле — какая-то бессмысленная мешанина непойми чего. Да и на других изображениях стиль апскейла — "на детском рисунке домик с трубой".

Если что, в оригинал игрушки я не играл, так что это не может быть результатом привязанности к оригиналу. Да и вообще, старые игры я люблю не за графику, а вопреки ей (а за что я их люблю — так это за геймплей). И в частности — я не люблю современную моду на "ретро-графику". Просто в данном случае результат апскейла конкретно ужасен.

 

"- А теперь попробуй телепортированную половинку.
- Ты серьёзно? Там только что разнесло обезьяну на части.
- Бабуина. Ешь!
- Странный вкус.
- Какой странный?
- Ну, по вкусу...синтетика.
- И что мы доказали?
- Компьютер выдаёт нам свою версию стейка. Он переводит его, обдумывает более чем воспроизводит его. И что-то теряется в переводе."

"- А я еще не научил компьютер сходить с ума по плоти.
...
-Так я научу его сейчас."

На данный момент проблема в том, что нейросети обрабатывают изображение целиком и единообразно.
Необходимо добавить предварительное распознавание образов, разбиение исходного изображения на участки, соответствующие отдельным объектам или группам однотипных объектов. Только после этого натравливать нейросеть, причем на каждый участок свою, в зависимости от распознанного объекта. Чтобы трава заменялась травой, а не "картиной маслом" и т.п.
По завершении обработки потребуется состыковать участки, сделать корректные переходы.

При такой обработке результат станет чуть получше.

 

Проще, технологичней, но уже несколько не то. Особенно что технологичность это путь упрощения и удешевления процесса создания. И большинство пойдёт по пути наименьшего сопротивления. Т.е. художник уже не будет мыслить и творить в границах имеющихся инструментов, совершенствовать мастерство. А будет обводить сканы.
На твоём примере я отлично вижу вторичность. Нет, это не значит что такой вариант пиксельного изображения однозначно плох. Но он другой.

 

Некоторые из артов тут Larry Elmore нарисовал. 1,4,5 - его. Скорее всего еще какие-то тоже он нарисовал, но уже смутно помню. Давно книги читал, некоторые арты вызывают четкие ассоциации с сюжетными ситуациями в Dragonlance, а Elmore в основном по Dragonlance рисовал.

 

12 - Keith Parkinson "Flying Citadel"

Upd
11 - возможно за основу бралась "North Watch" от Keith Parkinson
The North Watch - Print - Keith Parkinson