Discussions techniques généralistes projection

[Emmanuel piat]

A noter qu'il y a plein de travaux pour essayer de faire de l'upsampling qui limite la sentiment de dégradation de l'acutance (sensation de smoothing de l'image). Pour cela, il faut injecter de l'info a priori ds le process... Un exemple parmi plein:
http://www.cs.huji.ac.il/~raananf/proje ... pling.html

Il y a désormais des techniques qui utilisent l'image elle-même pour créer l'info:
http://www.cs.huji.ac.il/~raananf/proje ... index.html

[thxrd]

Je confirme à 100% ..
Le scaling n'a jamais créé une info supplementaire..
Comme dit , ca s'accompagne d'un flou suplementaire ( qui n'a pas de rapport avec un artefact )!
Si on compare cote a cote un'DLP 2 K ( qui est la techno offrant le max d'accutance ) et une matrice 4 K de meme techno
Et que l'on'regarde une image de BD la meilleure possible , la seule difference visible est le lissage de l'effet de structure lié au pixels plus petits ..
Si on envoi brut de fonderie et sans aucun traitement l'image sur la matrice 4k paraitra legerement plus " douce " ( d'ou la necessité d'un leger sharpness que cite Emmanuel , et generalement usant de circuits "êvolués "
Si on analyse l'image de pres ( sur une grande base de 5 à 8 m par exemple ) on constate qu'il'ny a evidemment aucun detail supplementaires

C'est ce qui me fait dire ( et en cinema d'exploitation on l'a bien'compris ) que tant que l'on reste avec un angle de vision realiste ( 42/45° ) la structure constituante etant invisible en fait , le gain entre 2 et 4 k est nul ..
Apres avec une source qui est vraiment du 4 k ..c'est autre chose
Mais ca nous ramene x posts en arriere ou on sait que pour atteindre 4 k " vu " ( du moins depuis des images tournées ,car avec des images de syntheses avec luminance moyen'e elevée , ce sera plus simple ) ce sera tres tres difficile
En pratique , je pense comme Emmanuel que on aura 2,5K au mieux
thxrd

[Ragnarsson]

L'upscaling standard par filtrage ne créé pas d'information supplémentaire par contre quand on upscale il se trouve de l'information entre 0,25 et 0,5. C'est la raison pour laquelle il faut filtrer, ce qui floute l'image dans sa bande d'origine en dessous de 0,25. Et en plus du flou si on ne filtre pas assez les informations presentes entre 0,25 et 0,5, miroir en fréquence des informations entre 0 et 0,25 resteront présentes et vont polluer la nouvelle bande utile de la 4K. Si on filtre trop fort on risque aussi de créer du ringing.
Si besoin on peut échanger plus en détail par mp.

[thxrd]

Qqs chose m'echappe ,je dois dire..
Ou on a de l'info au dessus de 2 K dans la source à upscaler et donc elle alisase deja avant upscale et c'est pas regardable
Ou on a pas d'infos .. Et sauf erreur , dans'une source 2 K on na rien au dela. ( car ca a deja eté filtré sur le 2 k original et en plus aucun BD n'offre les 2,K de reso réelle )
Et donc le fait d'upscaler ..rien .. Donne rien ..( en simple )
Non ??

Mais peut etre que qqs chose dans'les termes ou l'explication m'echappe.. Surement ..
Apparemment ca semble echapper aussi a Emmmanuel ..
Tres interressant les 2 liens
thxrd

[Emmanuel piat]

Voici un exemple qui je l'espère éclairera Roland.

Pour éviter les FFT bidimensionnelles pas simples à interpréter sur un forum, je suis parti d'une image avec une seule ligne de pixel qui permet de faire de la FFT monodimensionnelle.

Source : 1x64 pixels en niv. de gris 0-255. C'est un bout de la chevelure de Kate Upton...

Après upsampling lanczos x2 uniqt ds la dir. horizontale : on a 1x128 pixels en niv. de gris 0-255

La FFT donne un signal à valeurs complexes de la même dimension que le nombre de pixels ds les images, soit 64 et 128 valeurs complexes pour chaque image. Ce signal comporte une symétrie spécifique.

Le module de ces valeurs complexes correspond à l'amplitude de chaque fréquence qui compose l'image. Plus exactement, il correspond à la moitié de l'amplitude (sauf pour la fréquence nulle, ou le module correspond à la valeur moyenne de l'image). C'est ces modules qui sont plotés ci-dessous.



L'image de gauche correspond à la FFT de l'image d'origine. Il y a 64 valeurs sur la courbe.

On y voit en ordonnées les 1/2 amplitudes correspondant à chaque fréquence normalisée et sur l'axe des abscisses les fréquences qui vont de 0 à 0.5 cycle/pixel. Il y a une symétrie entre les fréq. positives et négatives. Les fréq. négatives sont liées à la nature mathématique de la FFT et n'apportent pas d'info supplémentaire du fait de la symétrie des valeurs.

L'image de droite correspond à la FFT de l'image upscalée. Il y a 128 valeurs sur la courbe.

On retrouve sur la plage 0-0.25 cycle/pixel le même motif que sur la plage 0-0.5 de la précédente FFT. Puis au delà sur 0.25-0.5 cycle/pixel des "scories" (cf. ma remarque (*) en bas de la p30) liées à la théorie de l'upsampling. Leur niveau est inférieur à une amplitude de 1. En pratique leur influence est indétectable pour l'oeil car la vision humaine est un sens très limité. Vous seriez d'ailleurs strictement incapable de les voir sur l'image upscalée, même le nez collé dessus.

Donc en pratique, en upscaling d'image, on ne filtre pas ces résidus, on applique le Kernel (lanczos, spline, blackman, autre...) et basta. Les artefacts générés par le Kernel sur la plage 0-0.25 cycle/pixel comme par exemple le ringing sont autrement plus embêtants et eux franchement visibles. C'est d'ailleurs pour cela que des dispositifs anti-ringing lors de l'upsampling existent désormais pour les Kernels qui ont des valeurs négatives et qui essayent de maintenir au mieux les edges au prix d'un ringing très présent.

[Emmanuel piat]

L'exemple qui précède cache bcp de non-dits propres aux spécificités de l'image numérique 8 bits.

Déjà, dans une image numérique, l'amplitude des fréquences proches de 0.5 cycle/pixel est infime. Si ce n'était pas le cas, l'image apparaîtrait toute crénelée. Pour masquer la nature numérique de l'image, il y a tjrs ds sa chaîne de création un mécanisme équivalent à un LPF qui va dégager l'extrémité haute du spectre. Par exemple, il y en aura un ds la caméra HD qui va capturer l'image en très haute réso puis un autre lorsqu'on va faire le downscaling pour générer le Digital Intermediate. C'est pourquoi on dit que la réso effective d'un BRD est plus proche de 1.5K que de 2K. Donc en pratique, il n'y a pas de très hautes fréq. dans une image numérique.

Ensuite, malheureusement, les images qu'on a à se mettre sous la dent ont une réso en amplitude très faible (8 bits et en fait encore moins avec les niveaux de ref de Y' qui ne sont pas à 0 et 255. Du coup on perd encore environ 15% de réso...). Tout cela va faire que le moindre post-traitement numérique (comme un downscaling 4K => 2K) fait ds une chaine 8 bits va engendrer d'importantes erreurs de quantize qui vont se traduire par un bruit supplémentaire réparti sur tout le spectre et qui sera tjrs là quoiqu'on fasse. Même un filtre LPF engendre forcément des erreurs de quantize.

Avec tout cela mis tout à bout, le filtrage de la bande bruitée 0.25-0.5 cycle/pixel ne présente guère d'intérêt lorsqu'on fait un postprocess d'up (gonflage) puis downscaling (diffuseur FHD) d'images 8 bits transmises en 8 bits au diffuseur.

[thxrd]

La visibilité des scories sur l'image est difficilement visible .., mais on sait qu'elle existent
ce que tu explique tres clairement, etait deja tres clair des le precedent post ..
On ne parle pas d'infos au delà de 2 k , mais de residu d' upsampling , et comme tu le repete on ne filtre pas , car c'est invisible ..
Mais les termes de Ragnasson disant "miroir " dans la bande 0.25 à 0.5 .. me perturbait ..
En fait je pense que Ragnarson voulait parler de la meme chose , mais c'etait moins clair ..mais lui dit que l'on filtre ??

Le 2eme post confirme ce que je disais , on enleve les hautes frequences des le depart sur la source , ce qui fait
que l'on atteint jamais la reso theorie en'pratique .. Mais c'est quasi obligatoire en numerique
La seconde partie est interressante car elle souligne les " limites " et erreur de quantize importante en 8 bit qui entraine par contre coup du bruit qui lui ne peut etre enlevé ..

thxrd

[Syrius]

Salut,
Excusez mon ingnorance sur ce sujet intéressant mais complexe, si je comprends bien, le downscale d'une source UHD (issus d'un vrais master 4K) vers FHD n'est profitable que si la chaine de diffusion travail en 10 Bits mini ?

[Emmanuel piat]

@Roland : Ragnasson se référait à la théorie de l'upsampling qui impose la présence d'un filtre pour dégager le "miroir" fréquentiel présent au delà de 0.25 cyle/pixel (si upsampling x2). Simplement, ce filtre correspond au kernel qui va faire tout le boulot.

Wikipedia explique bien le process théorique de l'upsampling même si ça demande qq connaissances élémentaires en TNS pour être digéré :
https://en.wikipedia.org/wiki/Upsampling

La figure donnée correspond à un upsampling x3 d'un signal monodimensionnel.



Comme ds l'exemple le signal a une origine temporelle (ce n'est pas une image), le signal d'origine à une largeur de bande qui va de 0 à 1/T. Ou de -0.5/T à 0.5/T si on la centre sur la fréquence nulle : c'est ce que représente le 1er triangle à gauche sur la figure du haut. Au passage, un spectre obtenu par DTFT (Discrete-time Fourier transform) est tjrs périodique (et on ne représente souvent qu'une période).

Pour faire l'upsampling, on commence par intercaler ds le signal des zéros pour gonfler sa taille à la dimension visée (zero stuffing). Dans le cas de l'exemple, on insère 2 zéros entre chaque sample.

En temporel, ça vaut dire qu'on remplace un sample d'une durée Te par 3 tels que la durée cumulée des 3 soit Te. Donc on suréchantillonne (chaque nouveau sample a une durée de Te/3).
Pour une image (monodimensionnelle), ça veut dire qu'on augmente la définition de l'image en intercalant des points noirs...

Le spectre du signal obtenu avec l'ajout des zéros correspond à la figure du haut. Il s'étend alors de 0 à 3/T car la fréquence a été triplée => On voit apparaître les miroirs fréquentiels.

Le spectre visé correspond à la figure en dessous. Il s'étend de 0 à 3/T. C'est le même que celui du signal d'origine (qui va de 0 à 1/T) avec des zéro intercalés au milieu. Cette forme permet de pourvoir retrouver le "triangle" si on recentre le spectre autour de la fréquence nulle par périodicité. Pour l'obtenir, on doit donc dégager tous les "miroirs" de la 1ère figure. Pour ça on filtre dans la bande donnée en pointillée dans la 3e figure. On le fait en général avec un filtre FIR (kernel). En pratique, ce dernier ne va pas pourvoir correspondre exactement à un filtre de type brick wall comme pour les pointillés. Il va générer son lot d'artefacts présents aussi bien ds sa partie passante (ringing par exemple) que dans sa bande d'atténuation (ce que j'ai appelé les scories/ résidus).

[Emmanuel piat]

Salut,
Excusez mon ingnorance sur ce sujet intéressant mais complexe, si je comprends bien, le downscale d'une source UHD (issus d'un vrais master 4K) vers FHD n'est profitable que si la chaine de diffusion travail en 10 Bits mini ?

Si c'est du vrai UHD (et pas un gonflage), il faut un downscale de qualité qui intègre un filtre passe bas très bien optimisé (afin d'obtenir une image FHD sans artefacts de type crénelage, floutage, moirage...). En général les filtres travaillent en interne en flottant double précision (si matos sérieux). Et seulement à la fin on convertit à la réso utilisée pour le transport vers le diffuseur. 10 bits sera alors mieux que 8. Mais 8 bits donnera aussi un bon résultat si la conv est bien faite (dithering ...). On a vécu pendant des années avec du 8 bits et personne n'en est mort. Il est extrêmement difficile de voir la différence entre du 8 bits avec dithering et du 10 bits. Si la source BRD est nativement en 10 bit, il faudra aussi ajouter un debanding ds la chaine de traitement si on sort en 8 bits.

[thxrd]

Yes Emmnuel , c'est ce que j'avais compris du terme "scories " et des raisons de leurs existence
Mais j'avais mal saisi l'explication de Ragnarsonn pensant qu'il parlait d'un filtrage avant s'appliquant à des signaux au dela de 2k qui serait dans'la source et restait bloqué sur ce point ..
C'est tres clair/ cependant on est bien d'accord que c'est residus sont invisibles ..
Roland

[Emmanuel piat]

C'est tres clair/ cependant on est bien d'accord que c'est residus sont invisibles ..

C'est aussi mon avis. Maintenant, je n'ai pas la science infuse et il y a peut être des études qui prouvent le contraire ...

[thxrd]

Je l'´ai encore moins , mais je ne remarque rien qui me gene ...donc ..

[Emmanuel piat]

J'ai rapidement jeté un oeil sur les méthodes de resampling à base de noyaux (kernel) comme Lanczos etc.

Ca n'a rien à voir avec la théorie de l'upsampling décrite plus haut.

Le principe sous-jacent consiste à reconstruire l'image "analogique" f(x,y) continue correspondant à l'image échantillonnée f(dx,dy) (idéalement, ça nécessite un sinc qu'on ne sait pas implémenter, d'où des erreurs de reconstruction en utilisant une autre fonction). on obtient ainsi une image analogique bandlimited. Ensuite, on rééchantillonne f(x,y) à la résolution voulue. Sauf qu'en pratique, on ne reconstruit évidemment pas tous les points (continus) de l'image analogique (aucun intérêt), mais juste les points là ou on veut rééchantillonner, d'où l'interpolation.

La capacité du Kernel à générer des résidus très faibles va dépendre de sa capacité à générer l'image analogique.

Contrairement à l'upsampling qui ne permet de faire que du x2 x3 x4 etc., ce type d'approche permet d'avoir n'importe qu'elle réso interpolée.

[Syrius]

Salut,
Excusez mon ingnorance sur ce sujet intéressant mais complexe, si je comprends bien, le downscale d'une source UHD (issus d'un vrais master 4K) vers FHD n'est profitable que si la chaine de diffusion travail en 10 Bits mini ?

Si c'est du vrai UHD (et pas un gonflage), il faut un downscale de qualité qui intègre un filtre passe bas très bien optimisé (afin d'obtenir une image FHD sans artefacts de type crénelage, floutage, moirage...). En général les filtres travaillent en interne en flottant double précision (si matos sérieux). Et seulement à la fin on convertit à la réso utilisée pour le transport vers le diffuseur. 10 bits sera alors mieux que 8. Mais 8 bits donnera aussi un bon résultat si la conv est bien faite (dithering ...). On a vécu pendant des années avec du 8 bits et personne n'en est mort. Il est extrêmement difficile de voir la différence entre du 8 bits avec dithering et du 10 bits. Si la source BRD est nativement en 10 bit, il faudra aussi ajouter un debanding ds la chaine de traitement si on sort en 8 bits.

Merci Emmanuel.

Donc là où ça peut poser problème c'est dans le cas d'une source UHD issus d'un master 2K upscalé en 4k, affichée sur un diffuseur FHD limité à 8 Bits ?
Soit dans un 1er temps un grand nombre d'édition d'UHD BD.