ProRes RAW De-Mosaic Pixelpeeping

[ronnyw]

Hi zusammen,
ich habe gesehen, dass hier auch durchaus mal auf das De-Bayern geschaut wird, aber im Context von ProRes RAW noch nicht so richtig fündig geworden.

Die Kurzversion: warum sieht das De-Bayern von ProRes RAW mit meinem Material in FCP so mäßig aus und wie bearbeite ich es korrekt?

Die Langversion: ich schaue mir die verschiedenen Video-Settings meiner neuen A1 gerade mal mit der Lupe an, um in Zukunft zu wissen, mit welchen Formaten ich safe unterwegs bin. Neu ist für mich die Möglichkeit mit dem Ninja V und der A1 in ProRes RAW aufnehmen zu können.
Mir ist klar, wie verschiedene Modi arbeiten (Oversampling, Pixel-Binning usw), dass ProRes RAW Sensor-Daten speichert und die entsprechend viel Nacharbeit benötigen.
Base ISO der A1 ist wohl 800, das Ausgangsmaterial ist also so schon nicht so mega clean, soweit, so gut.
Trotzdem fand ich das Farbrauschen (Sichtkontrolle in FCP) an Schriftkanten ungewöhnlich hoch und auch hatten manche Buchstaben ungewöhnliche Fehlpixel. Das hatte ich zuletzt in frühen Versionen von Capture One oder Lightroom gesehen, als immer noch am De-Bayern geschraubt wurde um aus damaligen 3 oder 6 Megapixeln alles rauszuholen :-)
Um meine Vermutung, dass es sich um eine Mischung aus eh erhöhtem (Farb)rauschen und einem schlechten De-Bayer Prozess handelt, zu validieren, kam mir der neue rawConverter gelegen, so dass ich mir DNG Frames aus meinem ProRes RAW Material ziehen konnte.
Diese habe ich mit CameraRAW entwickelt. Et voila: sieht auch in der Entwicklungsmethode besser aus, in der ich Schärfe- und Rauschfilter auf 0 gesetzt habe (default ist Farbrauschen entfernen und Schärfen - das sieht dann sowieso besser aus)!

Wie bekomme ich das in den Griff? Ist der De-Bayer Prozess von ProRes RAW in FCP der gleiche, wie in Adobe Premiere (weil es Bestandteil des Codecs von Apple ist), oder arbeitet Adobe Premiere mit der hauseigenen CameraRAW Technik (die dann anzunehmenderweise überlegen wäre)? Kann ich leider nicht testen, weil ich meinen Testzeitraum mit Premiere bereits verbraucht hatte :-/
Welche Software hat sich für das Entfernen dieser Säume etabliert? Neat Video scheint es nicht zu sein. Ich bekomme auf Farbflächen das Rauschen ganz hervorragend entfernt, aber die Säume ignoriert es (eigentlich ja genau richtig, feine Farbdetails die nicht einem Rausch-Pattern entsprechen bleiben erhalten. Bravo :-D ).

Verlockend, aber für mich zu umständlich: ProRes RAW zu CDNG konvertieren, alle DNG mit Lightroom bearbeiten, aus Einzelframes wieder eine Videodatei bauen.

[cantsin]

So wie Frank im Parallelthread schrieb, ist das 'Problem', dass Videoschnittprogramme wie FCPX und Resolve beim Debayering auf Echtzeitgeschwindigkeit (via GPU-Routinen) optimiert sind, Foto-Raw-Konverter hingegen auf Bildqualität und deshalb auch etliche Sekunden zur Dekodierung eines einzigen Frames brauchen...

[ronnyw]

Ja, die Performance Vermutung hatte ich an anderer Stelle auch schon angestellt.
Dann wäre natürlich ein "Render-Modus" vom Codec toll, der dann besser arbeitet. Häkchen bei "[X] ProRes RAW HQ Decoder" :-)

[iasi]

Ja, die Performance Vermutung hatte ich an anderer Stelle auch schon angestellt.
Dann wäre natürlich ein "Render-Modus" vom Codec toll, der dann besser arbeitet. Häkchen bei "[X] ProRes RAW HQ Decoder" :-)

Beim Export von RedRaw kann man bei Premiere durchaus Untrschiede feststellen, wenn man die GPU- oder Red-Rocket-Beschleunigung abschaltet. Aber das ist dann auch nur ein letztes kleines Quäntchen.

[ronnyw]

Mal von verschiedenen Debayer-Prozessen abgesehen, der für mich wichtigste Punkt um das Material brauchbar zu machen: wie bekomme ich die Farbsäume am Text weg? Bei ACR wird das durch den Farbrausch-Filter eliminiert. Was (oder welches Plugin) ist das FCP Pendant? (wird zwar durch das PRR Debayern unglücklich verstärkt, aber ist ja auch durchaus im Quellmaterial)

[mash_gh4]

bis zu einem gewissen grad wirken gute demosaicing-lösungen natürlich auch als denoiser, da sie eben einen relativ großen bereich ein pixeln auswerten und eine vernünftigste interpretation dafür wählen, statt einfach nur benachbarte werte ganz primitiv zu interpolieren.

dass das in den meisten fotoprogrammen und freien debayering-lösungen nicht sonderlich gut beschleunigt wird, hat eher damit zu tun, dass das dort niemand für nötig hält bzw. den aufwand nicht rechtfertigt. im grunde lassen sich die betreffenden operationen aber sicher auch sehr gut auf GPUs parallel rechnen, wenn man das problem mit den überschneidungen an den rändern berücksischtig, wie es bei derartigen kernels, die realtiv große bildbereiche in die verabeitung einbeziehen, immer einer wenig störend im weg steht.

ich fürchte aber, dass in wahrheit das debayering in den meisten kameras mit noch viel einfacheren bzw. unbefriedigenden methoden per ASIC- od, FPGA-hardwareunterstützung vorgenommen wird, und und in der praxis deutlich schlechtere resultate liefert als die einfachsten lösungen in der raw-nachbearbeitung am computer.

einen wichtigen punkt bilden hier natürlich auch rundungsfehler bzw. die vor- und nachteile verschiedener zahlendarstellungs- und transportformate, die fast immer einen kompromiss zw. performance und präzision darstellen.

leider ist halt über die techn. detail ProResRaw derart wenig bekannt, dass man drüber ohnehein kaum ernsthaft diskutieren kann bzw. sich natürlich auch wenig brauchbare lösungen jenseits des mehr od. weniger durchschnittlichen mainstreams finden lassen.

[iasi]

Mal von verschiedenen Debayer-Prozessen abgesehen, der für mich wichtigste Punkt um das Material brauchbar zu machen: wie bekomme ich die Farbsäume am Text weg? Bei ACR wird das durch den Farbrausch-Filter eliminiert. Was (oder welches Plugin) ist das FCP Pendant? (wird zwar durch das PRR Debayern unglücklich verstärkt, aber ist ja auch durchaus im Quellmaterial)

Wie mash_gh4 schon sagt:
Im Grenzbereich kommt es auf den deBayer-Algorithmus an.

Höhere Auflösung würde helfen. :)

[cantsin]

leider ist halt über die techn. detail ProResRaw derart wenig bekannt, dass man drüber ohnehein kaum ernsthaft diskutieren kann bzw. sich natürlich auch wenig brauchbare lösungen jenseits des mehr od. weniger durchschnittlichen mainstreams finden lassen.

Aber durch die jetzt möglich Konvertierung zu CinemaDNG stellt es sich nicht anders dar, als die proprietären Raw-Stills-Formate der Fotokamerahersteller.

[mash_gh4]

Aber durch die jetzt möglich Konvertierung zu CinemaDNG stellt es sich nicht anders dar, als die proprietären Raw-Stills-Formate der Fotokamerahersteller.

leider nicht unbedingt, weil man ja z.b. über die verwendete [verlustbehafteten] kompression bei der ursprünglichen aufzeichnung, die sich in zusammenhängen wie dem hier diskutierten durchaus auch niederschlägt, nicht viel weiß bzw. eben nur teile des gesamtprozesses auf umwegen nun ein klein wenig besser zugänglich sind.

[ronnyw]

bis zu einem gewissen grad wirken gute demosaicing-lösungen natürlich auch als denoiser

Ja, wie man oben ja schon an dem Vergleich FCP Debayer vs ACR ohne Rauschunterdrückung sieht.

ich fürchte aber, dass in wahrheit das debayering in den meisten kameras mit noch viel einfacheren bzw. unbefriedigenden methoden per ASIC- od, FPGA-hardwareunterstützung vorgenommen wird, und und in der praxis deutlich schlechtere resultate liefert als die einfachsten lösungen in der raw-nachbearbeitung am computer.

Nicht unbedingt. Bei meinem Motiv oben wird im Nicht-RAW Output ein sehr sauberes Bild erzeugt, ohne Debayer-Artefakte, ohne Farbsäume an der Schrift - das scheint der FCP Debayer Methode überlegen zu sein. Wenn die Algos auf den FPGA zugeschnitten sind oder umgekehrt, steckt da ja auch eine hohe sehr spezielle Hardwareleistung hinter. Ein Kompromiss wird aber vermutlich trotzdem gemacht werden, die Chroma-Rauschunterdrückung lässt zwar meine monochrome Schrift schöner dastehen, dafür werden höchstwahrscheinlich andere Farbdetails einfach weggebügelt ;-)

Ich habe jetzt noch mal ein wenig mehr mit den Neat Video Params beschäftigt... wenn ich den Noise Level der Chroma Kanäle deutlich hoch setze (>100%), bekomme ich eine sehr saubere Schrift. Mein Testbild gibt gerade nur nicht her, mit welchen Nachteilen ich das einkaufe. Denn das wird natürlich auch an anderen Stellen Farben entfernen... aber die Abwägung muss man ja immer machen.

Bleibt also die Erkenntnis, dass wenn ich PRR nutzen will, das für mich nur in Verbindung mit Neat Video geht (und mit FCP, wo ich doch eigentlich gerade zu DVR wechsle). Muss dann für mich mal abwägen, wieviele Vorteile mir PRR eigentlich bringt.
Im Falle der A1 sind auch ein paar interessante Modi gar nicht erst mit RAW möglich (4k per HDMI von der internen 8k Aufnahme abgreifen, APS-C Crop mit 5.3k Oversampling nutzen...).