Discussions techniques généralistes projection

[Emmanuel piat]

Si le traitement fait par le matériel est bien fait, il n'y aura pas de pb facilement détectable, même sur des sources FHD 8 bits affichées par des diffuseurs UHD 8 bits. Si vous voyez des problèmes vraiment flagrants et répétés (ringing, banding, moirage, bruit ds l'image élevé, etc.) c'est que le matériel utilisé est de piètre qualité en ce qui concerne les chaines internes de traitement numériques.

[Syrius]

Donc on peut dire qu'un UHD BD affiché sur un diffuseur FHD même limité à du 8 Bits présentera un gain en qualité d'image (passage au 4.4.4) malgré un master 2K gonflé en 4K ?
Et que les processus d'upscale (master 2K => 4K) et de downscale (UHD => FHD) avec un rééchantillonage de 4.2.0 UHD vers 4.4.4 FHD ne provoquent pas de défauts visible ?

Et je vais plus avant dans mon raisonnement, en considérant les conditions de visionnage idéales pour du FHD, l'amélioration apporté par le format UHD serait plus visible et profitable sur un diffuseur FHD ou du moins pas moins que sur un diffuseur UHD ?

[Emmanuel piat]

Donc on peut dire qu'un UHD BD affiché sur un diffuseur FHD même limité à du 8 Bits présentera un gain en qualité d'image (passage au 4.4.4) malgré un master 2K gonflé en 4K ?

Normalement oui

Et que les processus d'upscale (master 2K => 4K) et de downscale (UHD => FHD) avec un rééchantillonage de 4.2.0 UHD vers 4.4.4 FHD ne provoquent pas de défauts visible ?

Oui à condition que la chaine de traitement numérique soit bien fait.

Et je vais plus avant dans mon raisonnement, en considérant les conditions de visionnage idéales pour du FHD, l'amélioration apporté par le format UHD serait plus visible et profitable sur un diffuseur FHD ou du moins pas moins que sur un diffuseur UHD ?

Oui. Des conditions idéales pour du FHD engendrent normalement une "fusion" de la structure pixel via une distance de visionnage appropriée à l'acutance du diffuseur et à la vision du spectateur.

[Emmanuel piat]

J'ai rapidement jeté un oeil sur les méthodes de resampling à base de noyaux (kernel) comme Lanczos etc.

Ca n'a rien à voir avec la théorie de l'upsampling décrite plus haut.

Le principe sous-jacent consiste à reconstruire l'image "analogique" f(x,y) continue correspondant à l'image échantillonnée f(dx,dy) (idéalement, ça nécessite un sinc qu'on ne sait pas implémenter, d'où des erreurs de reconstruction en utilisant une autre fonction). on obtient ainsi une image analogique bandlimited. Ensuite, on rééchantillonne f(x,y) à la résolution voulue. Sauf qu'en pratique, on ne reconstruit évidemment pas tous les points (continus) de l'image analogique (aucun intérêt), mais juste les points là ou on veut rééchantillonner, d'où l'interpolation.

La capacité du Kernel à générer des résidus très faibles va dépendre de sa capacité à générer l'image analogique.

Contrairement à l'upsampling qui ne permet de faire que du x2 x3 x4 etc., ce type d'approche permet d'avoir n'importe qu'elle réso interpolée.

Dans ces approches qui nécessitent de reconstruire une image "analogique" avant de la rééchantillonner à la réso souhaitée, il ne me semble pas que les formules utilisées pour reconstruire la version analogique tiennent compte de la manière dont est généré un pixel en pratique. Et idem pour le rééchantillonnage.

En pratique, la valeur d'un pixel est le résultat d'une intégration temporelle du flux lumineux sur un intervalle de temps donné (shutter) mais également d'une intégration spatiale puisque le pixel n'est pas un point mais une surface. Ce 2e point n'est pas prix en compte ds les approches linéaires type bicubic, lanczos etc.

Je trouve l'approche suivante très intéressante :
http://www.cse.cuhk.edu.hk/leojia/proje ... index.html
car elle pose comme point de départ un modèle d'acquisition (gaussien) sur un élément de surface qui semble plus proche de la réalité capteur.

Cette approche de superrésolution comme bcp d'autres (base statistique, réseaux de neurones, auto-similarité & fractales, ...) essaye de lutter contre le floutage engendré par les méthodes d'interpolation linéaire (lanczos,etc.) en injectant de l'info ds le process au delà de la fréq. de Shannon de l'image d'origine (fréq. max possible contenue ds l'image d'origine), donc en injectant de l'info qui n'existe pas à la base ds l'image. Le procédé utilisé est assez malin (avec une correction des pixels par rétroaction qui fait intervenir une déconvo) et le résultat plutôt convainquant à la fois sur image fixe et sur vidéo (voir exemple sur le site). C'est dommage qu'on ne voit pas ce que ça donne sur des mires de résolution et de moirage.

Le papier date de 2008. Ca a dû encore progresser depuis...

[Ragnarsson]

La limitation de la méthode par déconvolution réside dans l'exactitude du modèle de PSF utilisé. Il faudrait pouvoir disposer du modèle combinant l'ensemble de la chaine de capture et traitement depuis la caméra de cinéma (depuis les caractéristiques de l'optique) jusqu'à la post-prod pour essayer d'avoir quelque chose d'approchant, sachant que l'on aura plusieurs fois changé de domaine pour les données. L'approche en boucle fermée proposée est intéressante mais va avoir besoin de critère de convergence robuste. La limitation de l'exercice est aussi que dans la majorité des publications sur la super résolution, les auteurs partent d'une source qu'ils dégradent eux même en résolution afin de disposer d'une vérité, mais du coup connaissent le traitement de dégradation utilisé. Il en est de même pour les travaux sur le débruitage. C'est généralement le modèle théorique de la dégradation qui pose problème pas le principe.

Les méthodes de super résolution intra (qui n'utilisent pas les images adjacentes à l'image à traiter) peuvent se baser comme dit par Emmanuel sur plusieurs méthodes. La méthode d'auto-similarité de Fattal mentionnée dans l'article procure de bons résultats sur de la vidéo et est utilisée comme algorithme de référence auquel se comparer par un labo de recherche du domaine audio-visuel.

[Ragnarsson]

L'utilisation d'un Kernel ne diffère pas des filtres, qui peuvent eux aussi se calculer à n'importe quelle position, tout comme un bicubique ou lancsoz.... Le filtre a aussi un Kernel calculable de façon analogique.

Lors de l'opération d'upscaling on peu en profiter pour augmenter la quantification de 8 à 10 bits ou plus, à minima pour les nouveaux pixels, et ajouter un peu de dither ou du bruit à densité variable en fréquence (comme le SBM de Sony) pour réduire le banding.

L'UHD c'est du 10 bits natif. Il ne faut surtout pas faire de Rec.2020 en 8 bits. C'est un point qui peut poser problème pour les PCHC et leurs cartes graphiques non pro.

[Emmanuel piat]

La limitation de la méthode par déconvolution réside dans l'exactitude du modèle de PSF utilisé.

C'est l'éternel problème des approches model-based qui vont dépendre du modèle de connaissance injecté. Après si on met en place un feedback, effectivement la question de la robustesse aux erreurs de modélisation (forcément tjrs présentes) se pose (stability robustness entre autre, mais il existe aussi d'autres types de robustesse selon les domaines traitées...).

La limitation de l'exercice est aussi que dans la majorité des publications sur la super résolution, les auteurs partent d'une source qu'ils dégradent eux même en résolution afin de disposer d'une vérité

On pourrait filmer des mires, afin de connaître a priori la "vérité" qui est capturée, non ? Je suis étonné que ça n'apparaisse pas + ds ce type de publies. En robotique de manipulation basée sur la vision, on utilise en général des mires (qui peuvent être certifiées métrologiquement) pour établir des résultats dans le plan image (calibration de caméra, approches subpixels, visual servoing, ...). Ca donne une référence.

C'est un point qui peut poser problème pour les PCHC et leurs cartes graphiques non pro.

AMHA, le PC ne va pas trop avoir le choix et les drivers vont devoir pouvoir gérer bcp plus de types de diffuseur et d'espaces de couleurs... Ca promet un joyeux bordel et bcp de bugs...

Par contre, ça m'étonnerait que les moniteurs standards se mettent à aller au delà du sRGB... Du coup le mapping d'une source ciné P3 (ds un conteneur Rec.2020) vers sRGB devra être fait par le driver du PC en mode automatique plutôt que fait en amont par des pro avec une garantie de contrôle de la qualité (comme sur un BRD).

Je reste qd même très dubitatif sur cette approche où il faut adapter le contenu à la capacité du diffuseur... C'est la porte ouverte à bcp de pb et ça complique singulièrement les choses. Mais bon, on semble y aller tout droit.

[Jacky67]

Donc on peut dire qu'un UHD BD affiché sur un diffuseur FHD même limité à du 8 Bits présentera un gain en qualité d'image (passage au 4.4.4) malgré un master 2K gonflé en 4K ?
Et que les processus d'upscale (master 2K => 4K) et de downscale (UHD => FHD) avec un rééchantillonage de 4.2.0 UHD vers 4.4.4 FHD ne provoquent pas de défauts visible ?

Et je vais plus avant dans mon raisonnement, en considérant les conditions de visionnage idéales pour du FHD, l'amélioration apporté par le format UHD serait plus visible et profitable sur un diffuseur FHD ou du moins pas moins que sur un diffuseur UHD ?

Et est-ce qu'on ne pourrait pas aussi dire que tout ça c'est du pignolage "cérébral" et que ça ne change rien à ce qu'on retiendra d'un film, c'est-à-dire que le scénario, les acteurs ou la réalisation "valaient le coup" ???

[Emmanuel piat]

Bien sûr. Mais ici on s'intéresse uniqt au contenant et à la qualité technique du contenu. La qualité artistique se situe à un autre niveau (heureusement, j'arrive encore pour ma part à apprécier un film art et essai en DVD lorsqu'il me touche).

L'industrie vidéo se cherche un nouveau souffle à grand coup de nouvelles technos. Tout le pb, c'est de rationaliser les choses et on en est loin. L'objet de ce post est d'essayer d'apporter qq clés de lecture au delà du message marketing...

[Jacky67]

heureusement, j'arrive encore pour ma part à apprécier un film art et essai en DVD lorsqu'il me touche

OK. C'est bien ce que je pensais.

Vous avez raison sur toute la ligne, donc merci à vous pour cette réponse (et pour toutes vos autres réponses, toujours très intéressantes).

[Ragnarsson]

On pourrait filmer des mires, afin de connaître a priori la "vérité" qui est capturée, non ? Je suis étonné que ça n'apparaisse pas + ds ce type de publies. En robotique de manipulation basée sur la vision, on utilise en général des mires (qui peuvent être certifiées métrologiquement) pour établir des résultats dans le plan image (calibration de caméra, approches subpixels, visual servoing, ...). Ca donne une référence.

L'utilisation de mires de calibration ne se fait pas qu'en robotique, c'est aussi comme cela que l'on mesure les performance de la partie optique + capteur de la chaine image dans plein d'autres applications et que l'on calibre par exemple les déformations image liées à l'optique. Il faudrait pouvoir modéliser ce qui suit dans la chaîne pour disposer d'un modèle pertinent. Il faudrait aussi pouvoir avoir connaissance pour chaque scène de cette chaine image et utiliser par scène un modèle différent. Dans un contexte de type robotique ou analyse de scène vidéo, la chaine image est plus simple et les traitements se trouvent derrière le capteur image.

[Syrius]

C'est un point qui peut poser problème pour les PCHC et leurs cartes graphiques non pro.

AMHA, le PC ne va pas trop avoir le choix et les drivers vont devoir pouvoir gérer bcp plus de types de diffuseur et d'espaces de couleurs... Ca promet un joyeux bordel et bcp de bugs...

Par contre, ça m'étonnerait que les moniteurs standards se mettent à aller au delà du sRGB... Du coup le mapping d'une source ciné P3 (ds un conteneur Rec.2020) vers sRGB devra être fait par le driver du PC en mode automatique plutôt que fait en amont par des pro avec une garantie de contrôle de la qualité (comme sur un BRD).

Je reste qd même très dubitatif sur cette approche où il faut adapter le contenu à la capacité du diffuseur... C'est la porte ouverte à bcp de pb et ça complique singulièrement les choses. Mais bon, on semble y aller tout droit.

Le cas du PC, c'est pour le traitement de fichier dématérialisé ou aussi dans le cas de la lecture d'un UHD-BD quand un lecteur optique pour PC existera ?

Le sRGB c'est pour l'affichage sur moniteur, ce qui correspond au REC 709 pour les TV et VP (sauf erreur, c'est le même espace colorimetrique à part le gamma), donc la remarque est aussi valable pour les TV et VP non UHD ?
Pourquoi penses tu que les moniteurs (non pro) ne dépasseront pas le sRGB ?
Il y a déjà des moniteurs en reso UHD/4K, qu'est ce qui empêcherait d'étendre l'espace colorimétrique au delà et tendre vers l’Adobe RGB par exemple ?
Mais bon, là on est HS.

[thxrd]

des moniteurs 4K qui atteignent Adobe ou DCIp3 existe déjà , c'est juste "cher" et beaucoup annonce X % de adobe ou DCI seulement
si c'est 98% tout va bien .. si c'est comme je le lis pour certains projo annonçant "rec 2020" ... et 70% de DCI ;; j'ai un peu de mal avec la notion de conversion qui devrait être adaptative pour chaque diffuseur ( je pense que ca commence très mal )
comme dit la pub .. tout est possible ;; tout est réalisable ;; simplement de ce que je constate actuellement , c'est un joyeux "bord.... " ou rien ne marche correctement
Ragnarsson ,
pourquoi un modèle par type d'image , de scènes ect ..? la reso retenue ne change pas avec le type de scène ( du moins si on ne parle que de ce point )
thxrd

[Emmanuel piat]

Il y a déjà des moniteurs en reso UHD/4K, qu'est ce qui empêcherait d'étendre l'espace colorimétrique au delà et tendre vers l’Adobe RGB par exemple ?

en plus du prix dixit Roland, il y a l'intérêt : 99 % des personnes devant un moniteur n'ont pas besoin de plus que sRGB. Le reste c'est ceux qui ont besoins d'écrans étalonnés sur un wide gamut propre à leur activité professionnelle + qq amateurs avertis qui font de la photo ou de la vidéo. Ca représente des petits volumes.

Maintenant, techniquement, rien n'empêche que tout cela évolue, et cela évoluera peut être... Mais ds ce cas, il faudra que les milliards d'images déjà existantes encodées et diffusées en sRGB s'affichent correctement qqsoit le gamut du moniteur.

[thxrd]

D' ou des regles claires et bien etablies ce qui n'est pas exactement le cas aujoud'hui