Мой апскейлер. Оказывается, 320x200 - это не так уж мало.

У компьютеров тоже иногда бывает воображение. Ringing называется.

Код:

import sys
import matplotlib.pyplot as plt
import numpy as np
import cv2
from scipy import fftpack,signal
from PIL import Image
def mgn(bar):
    return (bar.real**2+bar.imag**2)**.5
im=Image.open(sys.argv[1])
if im.mode != "RGB":
    im = im.convert("RGB")
s=2
ssq=s*s
sh=s-1
feather=np.array([[0,0,0,0,1],
                  [0,0,1,1,0],
                  [0,2,5,0,0],
                  [0,5,2,0,0],
                  [1,0,1,1,0],],dtype=np.float64)
#feather=np.array([[0,1,2,],
#                  [0,6,-1,],
#                  [2,4,0,],],dtype=np.float64)
feather/=feather.sum()
#print(feather)
def scale2(bar):
    ff=fftpack.fft2(bar)
    db=np.exp(np.min(np.log(ff)))
    ffl=np.log(ff)
    ffmn=cv2.GaussianBlur(mgn(ff),(15,15),0)/mgn(np.exp((np.mean(ffl)+np.max(ffl))/2))
    ff=np.exp(np.log(ff)-np.log(ffmn)/4)
    #print(bar.min(),bar.max())
    yo=(ff.shape[0])>>1
    xo=(ff.shape[1])>>1
    yl=ff.shape[0]
    xl=ff.shape[1]
    y=yl*sh
    x=xl*sh
    ff2=np.zeros((ff.shape[0]+y,ff.shape[1]+x),dtype=ff.dtype)
    ff2+=db
    ff2[:yo,:xo]=ff[:yo,:xo]*ssq
    ff2[-yo:,-xo:]=ff[-yo:,-xo:]*ssq
    ff2[:yo,-xo:]=ff[:yo,-xo:]*ssq
    ff2[-yo:,:xo]=ff[-yo:,:xo]*ssq
    iff=fftpack.ifft2(ff2).real
    iff[iff<0]=0
    iff[iff>254]=254
    iff=iff.astype(np.uint8)
    edges=cv2.Canny(iff,100,400).astype(np.float64)
    edges/=edges.max()/2
    edges-=1
    edges=edges*-63
    smooth=cv2.fastNlMeansDenoising(bar,None,10)
    residue=bar-smooth+128
    residue=signal.convolve(residue,feather,mode='same')-128
    residue*=1.4
    #plt.imshow(residue+smooth,cmap='gray')
    #plt.show()
    ff3=fftpack.fft2(smooth+residue)
    return ff3,edges
def scale2foo(bar,ff,edges):
    yo=(ff.shape[0])>>1
    xo=(ff.shape[1])>>1
    ff3=fftpack.fft2(edges)
    ff3[:yo,:xo]=ff[:yo,:xo]*ssq
    ff3[-yo:,-xo:]=ff[-yo:,-xo:]*ssq
    ff3[:yo,-xo:]=ff[:yo,-xo:]*ssq
    ff3[-yo:,:xo]=ff[-yo:,:xo]*ssq
    #plt.imshow(mgn(np.log(ff3)),cmap='gray')
    #plt.show()
    iff2=fftpack.ifft2(ff3).real
    #print(iff2.min(),iff2.max())
    iff2[iff2<0]=0
    iff2[iff2>254]=254
    iff2=iff2.astype(np.uint8)
    return iff2
def scale2bar(bar,em=1,bl=3):
    r,rr=scale2(bar[:,:,0])
    g,gg=scale2(bar[:,:,1])
    b,bb=scale2(bar[:,:,2])
    ee=((rr+gg+bb)/3+127).astype(np.uint8)
    ee=cv2.GaussianBlur(ee,(bl,bl),0)
    ee=cv2.fastNlMeansDenoising(ee,None,5)
    ee=ee.astype(np.float64)-127
    ee*=em
    #plt.imshow(ee,cmap='gray')
    #plt.show()
    R=scale2foo(bar[:,:,0],r,ee)
    G=scale2foo(bar[:,:,1],g,ee)
    B=scale2foo(bar[:,:,2],b,ee)
    return np.dstack((R,G,B))
def scale2rgb(im,em=1,bl=3):
    data=scale2bar(np.array(im, dtype=np.uint8),em,bl)
    rgb_im=Image.fromarray(data,mode='RGB')
    return rgb_im
#plt.imshow(scale2rgb(scale2rgb(im),1,5))#edges#mgn(np.log(ff3))
#plt.show()
scale2rgb(scale2rgb(im),1,5).save(sys.argv[2])

Лицензию спрашивайте у авторов библиотек, я на то, что написал, прав не имею. Как говорится "no warranty of fitness for a particular purpose" или как там.

 

Не вижу преимуществ перед hq2x и выше. Артефактов полно, как в сильно пожатом jpg.

 

@bckpkol, можно оригинал картинки? Хочу с другими алгоритмами сравнить.

 

На импрессионистов получилось похоже. Тоже интересно посмотреть на оригинал.

 

Имхо, весьма приятное изображение

 

--- добавлено 4 янв 2018, предыдущее сообщение размещено: 4 янв 2018 ---

На шейдерах бы это переписать.

 

@MisterGrim, оригинал меньшего размера.

 

Как обычно, мелкие детали размазались. Черепица на крышах перестала выглядеть как черепица и превратилась в цветную массу.

 

@igor_pavlov, ну не 1:1 же 320×200 выкладывать.

 

@R4kk00n, так он и на CPU дорого обходится.

 

Спасибо за интерес. Тут не только Гаусс, тут ещё Кэнни, FFT2d и Non-Local Means Smoothing. Апскейлер принимает два параметра, em и bl.

 

Неплохо бы в движении всё это увидеть

 

waifu2x-caffe:
CUT

на ядрах CUDA гф970 оно заняло 0.699 сек. на и5 2500, при загрузки ЦП во время выполнения 50-80%, оно же заняло 9.520 сек.

и ещё вариант по глаже:
CUT

 

Порнография.

 

Кирандию изнасиловал и бросил, решил теперь апскейлерам святотатство устроить? Ты бессмертный, что ли?

 

Мне одному приятнее смотреть на огромные пиксели, чем на любой апскеил?

 

Здорово. Мой тут и близко не стоял. Но тема называется "320x200 не так уж мало". Что Ogr 2 доказал.

 

А что, мне вроде бы нравится. Хотя по одному кадру сложно судить.