Hardware: Schnittrechner, Grafikkarten, Schnittkarten, Mischer und mehr Forum



SSDs Pro Vs. Evo - Datensicherung DIT



Die Hardware ist tot, es lebe die Hardware. Fragen zu Optimierung von Schnittsystemen, den idealen Komponenten sowie Verkabelungen, RAID...
Antworten
Paralkar
Beiträge: 1758

SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Paralkar »

Hi zusammen,

Ich möchte mir neue SSDs zulegen für die Datensicherung am Set für 1 Drehtag, um dann gemütlich am Ende des Drehtags weiter auf Raid, HDDs etc. zu backupen.

Bis jetzt hatte ich die 256 GB Samsung 840 Pro möchte aber auf 1TB umsteigen, also 4 x 1 TB für 2 Backups von insgesamt 2 TB pro Drehtag (mehr hab ich auch noch nicht pro Tag gehabt)

Da is jetzt die Frage, Pro Vs. Evo,

- Geschwindigkeit

Da bei den üblichen Kameras (Arri etc.) ja große Einzeldaten zusammenkommen (ausgenommen Red wegen der Fat32 :-D), ist es ja sequentielles Schreiben von großen Datenmengen, was denkt ihr, krieg ich mit der Evo Einbrüche, wenn ich von Cfast 2.0 etc. rüberkopiere.

Wünschenswert wären konstant 350-400 MByte/s, schön wären 500-550 MByte/s

Glaubt ihr das wird ein Problem, mit dem Cache etc. fallen die zu schnell auf 100 Mbyte/s oder drunter?

- Nachhaltigkeit

Klar die Pros sind auf mehr Schreibzyklen ausgelegt, und da ich die dann sehr stark belaste, werden die Evos nicht ewig halten, aber dann kann man ja wieder austauschen etc.

Danke schonmal für eure Hilfe,

Grüße



freezer
Beiträge: 3248

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von freezer »

Ich glaube mich zu erinnern, dass die EVOs beim Dauerschreiben sogar länger die Schreibrate halten konnten, als die Pros.

Ich habe mir übrigens die Samsung 850 Evo 2TB geholt, der Preis ist mit EUR 650 voll ok und die SSD bietet wirklich eine gute Performance.

Du kannst übrigens durch OP (Over Provisioning) die Dauerschreibrate erhöhen. OP ist nichts anderes, als die Reservierung von Speicherplatz, d.h. dieser steht dem System nicht mehr für Daten zur Verfügung, wird aber intern von der SSD zum Aufräumen der Zellen genutzt.
Jede SSD kommt mit einem bestimmten Prozentsatz an OP bereits ab Werk. D.h. eine 1TB Evo hat zB ab Werk 12% OP sprich 1TB + 12%. Die Pros haben 7% OP.

Mit der Samsung Magician Toolbox Software kannst Du selbst die OP erhöhen. Bei der EVO 12% + 13% = 25% OP sollte ausreichen, d.h. Du verlierst 13% von 1 TB, erhältst aber dafür die höhere Dauerschreibrate.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com



Valentino
Beiträge: 4821

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Valentino »

@Paralkar
Wir haben uns die Tage und ja schon über das Thema unterhalten.
Was bei einem Backup für das Archiv meiner Meinung immer unerlässlich ist, das es eine Kopie der ersten Generation ist.

Je mehr Generationen bzw. Kopiervorgänge zwischen dem Speichermedium der Kamera und dem finalen Backup liegen, desto wahrscheinlicher ist die Chance eines Datenverlustes. Am Ende hilft auch der Prüfsummencheck nicht viel, wenn irgendwo bei der SSD ein Sektor kippt und eine Datei korrupt wird oder beim Kopiervorgang auf die zweite Generation irgendwas schief läuft.
Klar man kann durch zwei Backups am Set diese Risiko minimieren, da du die SSDs aber wahrscheinlich wieder löscht, hast du am Ende kein Backup der ersten Generation mehr!

Wenn überhaupt, dann werden Drehtage auf Shuttelplatten oder wie bei mir die Daten auf der internen 1TB SSD gelöscht, da das meist das 4. Backup darstellt.

Eine weiterer Grundsatz beim Backup der Daten am Set, die benutzten HDDs sollten nicht so groß sein. Um so größer die Festplatten, desto länger sind sie verschiedenen Gefahren am Filmset ausgesetzt und um so höher ist die Gefahr eines Datenverlustes. Auch bei einem Near-Set Arbeitsplatz sollten nicht alle Backups lagern. Bei den üblichen HD/2k ProRes 4444 Drehs haben sich hier 3Tb HDDs als recht sinnvoll erachtet, da meist vier bis 6 Festplatten für einen 90min ausreichen.

Aus diesem Grund benutze ich auch gerne die 64Gb SxS-Karten, da sich im Falle eines Datenverlustes oder gar kameratechnischen Problem der finanzielle Schade in Grenzen hält.
Gerade bei heicklen Drehorten und Situationen (Wasser, Kirchturm, Crash usw), ist auch der Verlust der gesamten Kamera kein so großes Übel, da dann nur 12 bis 17min und nicht die ganzen 2h des Drehtages verloren gegangen sind. Auch der Faktor Mensch, der mal gerne die schon bespielte Karte formatiert, kann hier bei kleineren Karten deutlich weniger Schaden anrichten. Hier ist der "Lock" der SxS Karten ein echtes Plus, wie man den bei CFast 2.0 vergessen konnte ist mir unerklärlich.
Ein anderer Aspekt ist die Tatsache, das man nach 10h Drehzeit deutlich mehr Fehler macht und wenn einem dann z.B. eine 512Gb Karte ins Wasser oder sonst wo hinfällt, ist das Geschrei groß.

Als DIT ist genau die Abwägung dieser unterschiedlichen Risikos die Grundlage unserer Arbeit.

Dein eigentliches Ziel das du mit den SSDs verfolgst, ist in erster Linie ein schnellerer Kopiervorgang oder?
Wenn man auf hochwertige Enterprise HDDs setzt, dann kopiert sich hier eine 64GB CFast mit ShotPut in etwas weniger als 20min. Mit den SSDs wirst du diese Zeit halbieren. Bei 8 bis 10h am Set reicht die Zeit vollkommen aus und nur zum Drehschluss hin kann es eng werden.
Genau an diesem Punkt sollte man mit den beiden Kameraassistenten absprechen, wie viel wird noch gedreht, wie viel Platz ist noch auf der Karte und dann einfach 30min vor Drehschluss auslegen.
Am Ende bekommt der DoP noch ein Rappel und dreht ohne Ankündigung eine ganze 128GB Karte mit 120fps voll.
Auch wenn du dann am Ende des Drehtages noch drei Kollegen auf dich warten müssen, bleibe cool. Es geht hier um das Material und da wird dir kein vernünftiger Kollege bzw. Prodleiter einen Vorwurf machen, auch wenn sie alle müde sind und ins Hotel wollen.

Was deine eigentliche Frage angeht, setzte auf die Pro-SSDs von Samsung, die sind etwas größer und mit 10% Overprio hast du auch noch zwei Jahre später was von den SSDs. Von den Evos würde ich zwei 512Gb T3 für Shutteln zulegen.
Wichtig bei der ganzen Sache, benutze kurze (max 30cm) und hochwertige USB3.0 Kabel. Wenn du Docking-Station oder 2,5" Gehäuse benutzt, dann müssen diese unbedingt UASP unterstützen, da du sonst nicht die vollen 400Mb/Sek. erreichst.
Dazu noch der Grundsatz, Kartenleser und Speicher sollten nicht am gleichen Controller hängen, das bremst den Kopiervorgang aus.
Also TB-Gehäuse oder Dockingstation für SSDs oder TB-Kartenleser für CFast/SxS. Am besten du legst dir den eSata/USB3.0 Controller von Sonnet zu, dann kannst du auch von diesem zum internen USB3.0 Controller kopieren.



Paralkar
Beiträge: 1758

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Paralkar »

Ja hatten wir :-D,

Ist natürlich alles richtig was du sagst, wobei das mit der 1sten Gen., dafür sind Checksume da, dafür hab ich 2 oder 3 Backups auf SSDs und so läufts ja auch über Shuttleplatten bei den großen Postpros das es nochmal weiterkopiert und dann lto etc.
Das is so ne Sache, die genauso passieren kann, wenn ich auf 3 hdds vor Ort schiebe, das was an der einen oder anderen kaputt geht.

Deshalb haben wir 2-3 Backups & Checksumen.

Aber die Überlegung is keinesfalls falsch, ich versteh deine Idee

Mehere HDDs geb ihc dir komplett recht, 3-4 TB, 6 oder 8 TB würd ich auch nicht hernehmen.

Gut wechsel bevor über Wasser oder Action/ Fahraufnahmen ist ja selbstverständlich, aber 128 GB Cfast oder 256, sind bei 3.2k Prores XQ auch nichtmehr soviel, 27 min, in 4k 20 min. Also das ist das selbe, cfast sind mir wegen der geschwindigkeit bei sowas wie auf SSDs lieber, da bremsen SxS 64 GB aus und kommen irgendwann mit XQ oder höheren Auflösungen nichtmehr zu recht.

Formatieren kann man ja zum Glück noch retten, was ich leider schon öfters tun musste, bei diversen Kameraassistenten, aber da is der Lock schon der Hammer, sehr ärgerlich. Hab auch schon SxS retten müssen, weil die Assistenten in Stress gewechselt haben und die selbe kaerte wieder rein haben und formatiert haben, versuch Sie auch immer zu bitten, fach aufmachen und erstmal lock rein machen.

Und ich red hier von erfahrenen Leuten und kein Amateuren, das kann jedem mal passieren, also bitte kein "Amateure" etc.

Von HDDs auf SSD is das schon 130 Mbyte zu 350 Mbyte/s, das sind 3 bis 4 mal so schnell. Weitere Vorteile, weniger Equipment, einfach zu trennen bei Fahrten, kein Strom, ist wirklich ein Vorteil ab und zu, man muss sich auch kein Stress machen wegen Strom.

Abgesehen Datenraten für flüssiges anschauen, bei 4k 50p ProRes 4444, sind die Festplatten zu langsam, bei SSDs kannst du dir anderes Material von der selben Platte anschauen und kopierst noch immer mit 200 MByte/s

Bei Controllern geb ich dir vollkommen recht, das ist auch nicht das Problem, eins an Thunderbolt des andere an USB 3.0.

Hmm ne da muss ich sagen, hatte es zu häufig, das wirklich n Problem bekommen, hatte viel Autowerbung letztes Jahr, Russian Arm, kommen dir mit Red Raw 3:1 6k an, nachdem sie 20 min verschwunden sind, und du hast erstmal 512 GB an der Backe und fahren wieder los.

Oder 4k 50p XQ, da is die Karte mit 128 GB in 6 min voll und ich hab auf 3 Backups 40 min gebraucht, leider kann man bei solchen Produktionen nicht immer die Festplatten aussuchen oder vorschlagen...., Ende vom Lied, bin mit 8 x 128 GB vom Sylvensteinspeicher nach Hause gefahren und hab noch 4h gebackuped (gut hab die Überstunden auch in Rechnung gestellt)


Bei Film geb ich dir recht, läuft alles strukturierter ab und es geht einfach immer 25 Drehtage aufwärts, bei 3 Tagen Werbung is oft zack zack zack, im Auto backupen und Kundenplayback im geriggten Auto, da is weniger am Strom zu haben trotz USV mehr. (hab soviel Zigarettenanzündersicherungen schon kaputt gemacht durch Spannungswandler, will ich garnicht mehr zählen)



freezer
Beiträge: 3248

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von freezer »

Bez. 1. Generation usw.
Vielleicht gibt es ja ein Tool was das so ähnlich wie WinRar macht, nur ohne die Daten in ein Archiv zu packen: Bei WinRar kann man eine separate Wiederherstellungsdatei erzeugen, d.h. ist ein Archiv beschädigt, kann man mit Hilfe der Wiederherstellungsdatei eine Reparatur durchführen.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com



Paralkar
Beiträge: 1758

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Paralkar »

ne brauch ich garnicht, wie gesagt dafür gibt es checksumes & mehrfach Backups.

Die Wahr. das ne HDD kaputt beim Transport oder Unachtsamkeit geht is sowieso höher, wegen der Mechanik.



Paralkar
Beiträge: 1758

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Paralkar »

Sorry wenn ich das ganze hier wieder künstlich versuche etwas ins Gespräch zu bringen,

Aber es gibt hier doch Leute mit weitaus mehr IT & Computer Wissen, bin ja selbst nicht unerfahren, aber andere Meinungen sind schon Top,

Aber danke schonmal für die Antworten,

Grüße



Valentino
Beiträge: 4821

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Valentino »

Paralkar hat geschrieben:ne brauch ich garnicht, wie gesagt dafür gibt es checksumes & mehrfach Backups.

Die Wahr. das ne HDD kaputt beim Transport oder Unachtsamkeit geht is sowieso höher, wegen der Mechanik.
Das Problem, das HDDs beim Transport einen Defekt erleiden liegt meist an der schlechten Verpackung. Denn im laufenden Betrieb gehen SSDs und HDDs gleichermaßen kaputt, wenn man den einzelnen Fallstudien der letzten Jahre glauben schenkt.

Die letzte defekte HDD wurde von einem Prakti schlecht eingepackt und muss mehrmals heftige Stöße abbekommen haben. Konnte man gleich an dem eingerissen Karton erkennen, es waren aber noch knapp 50% der Daten zu retten. Bei SSDs, Speicherkarten und Sticks hatte ich hingegen schon öfters einen Totalausfall. Mir ist sogar mal auf einer Zugreise meine erste Crucial einfach so abgeraucht.

Als Shuttelplatten benutze ich gerne 2,5" HDDs mit 7.200U/min und diese werden in ein ExplorerCase mit 10 bis 15cm Schaumstoff verpackt. Das Ding kann vom Laster fallen und der HDD geht es noch gut. Dazu wird jeder Koffer durch ein Siegel geschützt, damit klar ist das da keiner zwischen drin seine Finger dran hatte.

Noch eine Anmerkung zur Geschwindigkeit der 3,5", diese liegen hier bei mir eher bei 150Megabyte/Sek. und das reicht mir für ein zügiges arbeiten völlig aus. Erst im letzten sechstel werden die HDDs langsam, aber ich mach die auch nie ganz voll.

Wenn man bedenkt was für heikel Daten wir so versenden und wie einfach man mit so einer Festplatte einen Virus einschleusen kann, müsste man jede Platte verschlüsseln. Auf der anderen Seite ist das Geschrei groß, wenn man wegen der Verschlüsselung nicht mehr an die Daten kommt.

Was Werbung angeht, habe damit eher weniger zu tun. Würde aber bei Werbung gerade wegen dem Kunden ein Videooperator und/oder Data-Wrangler dazu ziehen. Am Ende geht es bei denen um so viel Geld, dann sollte man auch immer beim Kunden und DoP am Set sein und sich nicht mit der Datensicherung und Mustern herum ärgern. Leider liegen einige Kollegen dem Trugschluss auf, man bräuchte keine Videooperator mehr, die Aufgabe eines DITs ist es aber auch nicht.
Dazu sollte man für das Playback nicht an der Kamera herum spielen, sondern das an der Combo an einem AJA oder so machen.

Wenn es um die Datenmenge am Set geht, versuche ich gerade bei Spielfilmen mit geringerem Budget darauf hinzuweisen, das schon 1/4 mehr Material ungefähr 5 bis 10k Euro an Mehrkosten (Überstunden, Festplatten, längere Renderzeiten usw.) bedeutet. Damit werden dann schon in der Vorbereitung solche Vorschläge wie durchgängiges ProRes QX oder 3,2k ProRes von der Produktion über Board geworfen.

Find es auch schade, das die ganzen Cinekameras nicht in 1998x1080 aufzeichnen können. Gerade wenn von Anfang an klar ist, das es nur ein 2k "Flat DCP" gibt und der TV-Film auch auf Festivals laufen soll. Klar bei Scope sollten es schon die 2k sein. Für Tage mit VFX und SFX kann man gerne auf 3,2k drehen, aber doch bitte nicht wenn es nur darum geht später in das Material zu zoomen. Liebe DoPs eine korrekte Kadrage gehört zu eurem Job und wenn ihr SFX-Filter und alte Zeiss HS an der Kamera habt, dann bekommt ihr auch mit 3,2k kein besseres Bild.

Was das Backup der 1. Generation angeht, so sind das meistens zwei nackte 3,5" HDDs und eine externe 3,5" USB3.0 Festplatte. Die zwei 3,5" landen in zwei verschiedenen Archiven und die Extern geht kurz vor der Farbkorrektur bzw. VFX zum entsprechenden Dienstleister. Das Problem mit dem Strom habe ich nicht und wenn vor Ort kein Generator oder Steckdose vorhanden ist, dann werden einfach vier bis fünf Blockakkus oder zwei große LKW-Batterien dazu bestellt. Mein System liegt im Betrieb auch deutlich unter 100Watt. Bei 13Volt habe ich mal 6A Spitze gemessen, Idel sind eher 3A. Theoretisch sind sogar noch Reserven und Platz für eine GTX1050 vorhanden.
Die oben beschrieben Shuttel-Platten sind auch erste Generation, aber in meinen Augen kein echtes Backup, da beim Transport quer durch DE oder gar der Welt zu viel passieren kann. Auf diesen Platte sind die "Rohdaten" auch nur für den Fall gespeichert, das eine der umgewandelten DNxHDs zicken macht oder die VFX dieses braucht. Auch wenn die einzelnen Posthäuser neben dem Offline auch das Online machen, werden die Rohdaten dort nach Ende des Rohschnittes wieder gelöscht. Es geht hier meist um Wirtschaftlichkeit und keine Firma kann es sich leisten das Rohmaterial eines TV-Films 4 bis 14 Monate auf ihrem System zu behalten, nur weil irgendeinem Redakteur wieder mal was nicht passt.

Wenn es um Langzeitdatenspeicherung geht, sind meiner Meinung Festplatte immer noch Trumpf. Gerade in Verbindung mit ZFS und aktueller Hardware ist man hier auf der sicheren Seite, da die "Korrektheit" dieser in gewissen Abstände überprüft wird.
So ab 2020 werden die ersten korrupten Datensätzen zum Problem werden. Da dem ZFS-Dateisystem der Festplatten-Controller und die restliche Hardware recht egal ist, kann man ein NAS alle vier bis sechs Jahr komplett umrüsten.

Sorry für mein etwas wilden Schreibstil :-)



Paralkar
Beiträge: 1758

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Paralkar »

Keine frage beim Transport von HDDs immer n Pelicase oder ähnliches.

Ja aber ich rede wirklich nur vom Transport Set - Hotel/ Zuhause Drehschluss, dann gehts ja weiter auf Raid oder HDDs.

Wie gesagt leider bekomme ich da nicht so ein Mitspracherecht, die kommen mit Lacies 2.5" an und fertig, das sind halt Werbefilmproduktionen, die glauben den Marketing Scheiß von Lacie oder spätestens ihre Kunden und dann muss es halt so laufen.

Ja bei nem Langfilm hast du auch recht, da kommt es bei mir auch eher vor das 2k 4444 genutzt wird, selten mal 3.2k und bis jetzt noch nie xq, wobei ich grad ne Anfrage hab wegen Prores 2k bzw. 3.2k in XQ, is aber auch verständlich schaut schon schöner aus in der Farbkorrektur wenn es um die Schatten geht, da spürt man mehr Datenrate.

Hmm das läuft bei ner Werbung nicht so ab, da is der Kunde der König und auch der DOP und Regisseur verhalten sich anders, es ist seltener so ein freundschaftliches Arbeiten wie bei nem Langfilm, vielleicht liegt das an den kürzeren Drehzeiten (2-3 Drehtage meistens), aber es is weitaus hierarchischer und auch die Head Offs haben zu kuschen wenn Kunde oder Agentur was anderes will.
Da werf ich meistens nur kurz n Blick auf die Videokombo ob technisch passt und berate vielleicht noch wegen Kamera Settings, aber sonst werf ich lieber ein gescheiten Blick aufs Material sobald ichs bekomme und geb dann Feedback. Beim Film würd ich davor schon eigenen Monitor oder Videokombo checken und falls nötig zum DP gehen und ihm raten es vielleicht etwas anders umzusetzen für die Post (kommt natürlich drauf an mit wem man dreht).

Aber dafür is je nach Werbung keine Zeit oder Möglichkeit eigenes Bild zu bekommen.

Und das is ne wahre Materialschlacht, 3 x Red 6k 3:1 50-75 fps (2 x geriggt, 1 x auf Drohne) und dann will der Regisseur ProRes Proxies zu Drehschluss mit ner 709 drauf, am besten sobald der letzte Take gedreht ist....


Da Videooperator eher vor, anstatt Praktis, aber es ging da um Fahraufnahmen live über ein Teradek vom Russian Arm oder Material zeigen ,das ich gebackuped hab und der Kunde auf Grund von Drehbedienungen oder Funk und Entfernung nicht sehen konnte.

Und da wäre eifnach kein Platz mehr für ne weitere Person im VW Bus gewesen, also das war einfach jobbedingt.

Film is geiler, aber Werbung bringt halt gut Kohle.



Valentino
Beiträge: 4821

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Valentino »

Wer nach 6k 3:1 schreit sollte auch die Konsequenzen tragen können und muss dann ab der dritten Kamera ein zweiten DIT mit Equipment dazu buchen, ganz einfach.
Hier ist das Problem "nur", das man es der Produktion verkaufen muss.

Weil unsere Arbeit als DIT von Außen Betracht recht simpel erscheint und die digitale PC/Videotechnik zum Consumer-Alltag gehört, kommt es hier zu einem Pseudoverständnis und jeder meint, das er mitreden kann.
Kein Mensch würde auf die Idee kommen dem DoP und OB ihre Arbeit zu erklären, nur weil er mal erfolgreich eine Glühbirne gewechselt hat.
Auch den anderen Gewerken wie Maske, Kostüm, Ton und Ausstattung wird gefühlt deutlich weniger in die Suppe gespuckt.

Noch eine Frage an dich, hast du ein eigenes Videoportal für Muster?



Paralkar
Beiträge: 1758

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Paralkar »

Ne, aber ich hatte bis jetzt auch nicht die Anfrage und würde mich auch drum kümmern, wenn notwendig und bezahlt ist, hab mal der Cinepost zugeliefert, is schon nice ins cobra zu gehen und reinschauen.

Ne am Ende geht dann eine oder 2 von den Lacies an den Kunden ins Ausland oder zur Produktionsfirma und 1 an Produzenten/ Regisseur oder sonst was, 2 DITs können ja auch nicht auf eine Platte backupen, prinzipiell kann man sich auch 2 Rechner holen, würde aber vielleicht zu mehr Chaos führen. Aber is ne simple Kostenfrage, wenn ich mehr backupen muss oder transcoden darf, stell ich Überstunden in Rechnung, Karten gehen selten aus, bei 10 x 512 GB Red Mags.

Des geht sich schon aus, nur man kann halt dann nicht gleich mit Proxies rechnen oder sonst was, aber n potenter dual cpu Rechner schießt das Zeugs ja auch gut durch.

Flaschenhals sind und bleiben HDDs.

Die Leute wissen halt teils nicht das DIT kein Data Wrangler ist, aber das liegt auch an Kollegen, hab schon oft gehört, das Leute meinen, die haben den DIT nie gesehen, weil er nur am PC im andern Raum oder Auto gechillt hat, sogar das er Filme geschaut hat nebenbei (bei nem Low Budget Film vor einpaar Jahren) und der Kerl hatte auch große Filme und Werbungen an der Backe, also war es auch kein Amateur. Deshalb versuch ich presenter zu sein, weils auch mehr Spaß macht, technisch zu beraten, falls der DP es zu lässt oder es nötig ist. Richtig belichten ist irgendwo noch immer nicht bei allen angekommen, ziemlich häufig sogar.

Mei so is das Leben, stört mich aber auch nicht bzw. ich überzeuge Sie einfach vom Gegenteil.



mash_gh4
Beiträge: 4716

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von mash_gh4 »

Valentino hat geschrieben:Wenn es um Langzeitdatenspeicherung geht, sind meiner Meinung Festplatte immer noch Trumpf. Gerade in Verbindung mit ZFS und aktueller Hardware ist man hier auf der sicheren Seite, da die "Korrektheit" dieser in gewissen Abstände überprüft wird.
So ab 2020 werden die ersten korrupten Datensätzen zum Problem werden. Da dem ZFS-Dateisystem der Festplatten-Controller und die restliche Hardware recht egal ist, kann man ein NAS alle vier bis sechs Jahr komplett umrüsten.
naja -- im wesentlichen teile ich deine meinung schon, nur bin ich bzgl. ZFS nicht mehr ganz so euphorisch. es ist zwar tatsächlich ein wunderbares filesystem, von dem man sehr viel lernen kann, aber in der praxis gibt's leider auch daran einiges auszusetzten. das kernproblem dabei ist das monolithische konzept hinter ZFS. gerade aber, wenn man sich um maximale datensicherheit bemüht, gilt es single points of failture nach möglichkeit auszuschließen. dazu gehören leider auch so sachen, wie kaputte netzteile od. blitzschäden, die über eine ganze maschine hinweg alles zerlegen können. die daten müssen also unbedingt trotzdem in anderer weise langzeitgespeichert (bspw. tapes) und nach möglichkeit auch repliziert werden (damit eine wiederherstellung bzw. ersatz schneller verfügbar ist). speziell letzteres gehört leider nicht unbedingt zu den stärken von ZFS. da ist bspw. btrfs, aber auch anderes, das sich modularerer betriebssytemmechanismen bedient, spürbar überlegen. im übrigen gibt es leider das problem, das ZFS zwar in der vergangenheit vom benutzten betriebssystem tatsächlich weitestgehend unabhängig war, so dass man es notfalls auch noch unter zuhilfenahme anderer systeme reparieren konnte, nur hat sich das leider mittlerweile geändert. die zentrale weiterentwicklung ist ja beinahe zum erliegen gekommen, und wichtige neuerungen (bspw. TRIM support) sind nicht mehr in ganz so kompatibeler weise spezifiziert. damit ist leider auch dieser ganz wichtiger vorteil unter die räder gekommen. ob's wirklich das mittel der wahl ist, hängt im übrigen sehr stark vom verwendeten betriebssystem ab. wirklich perfekt funktioniert ZFS unter hoher last meiner erfahrung nach fast nur unter OpenIndiana u.ä. aber dass ZFS natürlich trotzdem noch immer eine super lösung darstellt, die weit über das hinausgeht, was sonst so im erschwinglicheren pseudo-enterprise-umfeld zur verfügung steht, würde ich durchaus teilen.



Valentino
Beiträge: 4821

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Valentino »

@Paralkar
Habe mir vor zwei Jahren ein eigenes Portal von einem Webentwickler zusammenstellen lassen. Fixkosten liegen bei einem Spielfilm bei knapp 10 bis 20 Euro und im Leerlauf sind es nur ein paar Cent. Dazu kommen im Jahr noch knapp 100 Euro Wartungskosten hinzu. Das Portal ist definitiv nicht so umfangreich wie Cobra oder WebGate, aber auch responsive und greift auf ähnliche Cloud-Services zurück. Dazu bringt es noch mal etwas Geld ein und hat sich nach dem ersten Projekt amortisiert, man hat aber wieder ein Klotz am Bein und muss halt schauen das es bei jedem im Team auch funktioniert. Da beschwert sich dann einer vom Team, das es auf seinem MacBook 2006 mit 10.6 nicht mehr funktioniert.
Wenn du Interesse hast, kannst dich ja melden.

Wenn es um parallele Backups geht, wäre halt ein kompaktes NAS mit 2x10Gbit Ethnernet eine feine Sache. Intern würde ich dann zwei Raid1 und eine Cache-SSD konfigurieren. Leider haben weder Mac noch HP oder gar Dell integrierte 10Gbit Lan Chipsätze in ihren Laptops. Möglich ist das seit dem Z170er Chipsatz schon seit längerem, da DMI3.0 endlich Bandbreite liefert.

Ein Chaos werden zwei DITs auch nur, wenn vorher nicht ganz klar geklärt wird wer welche Aufgaben erledigt. Die Sache mit den Überstunden verstehe ich, auch wenn ich über die Jahre diese Zeit mit Familie und Freunden das Geld in meinen Augen echt nicht wert ist.

Klar sind Festplatten ein Flaschenhals bei RAW 3:1, bei szenischen 2k ProRes 4444 sind die 7.200 HDDs völlig ausreichend.

Die Sache mit dem Unterschied DIT und Wrangler ist echt nervig. Hatte mal mit einem Kollegen eine wilde Diskussion, das auch wenn ich nur die Aufgaben eines Wranglers am Set erledige immer noch ein DIT bin.
Die große Frage war dann aber, darf dann auch DIT im Abspann bzw. Vertrag stehen?
Weil du gerade die Sache mit dem Filme anschauen erzählst, ein anderer hat während dem Dreh mit seiner kleinen Drohne experimentiert.

@mash_gh4
Gibt es eigentlich ein neues Dateisystem, das ZFS ablösen wird.

Was Umwelteinflüsse wie Blitze und Wasser angeht, würde ich gerade eben nicht auf LTO setzten. Bei einem Einschlag reicht schon das sehr starke elektromagnetische Feld und die LTO im Regal sind Schrott. Wasser und Feuchtigkeit mögen Sie auch nicht.
Klar man kann das verhindern, in dem man die Backups irgendwo anders Lagert, aber das Tape das gerade im Stream ist, wird man nicht mehr retten können.
Genau aus diesem Grund wären Sonys optischen Backups mit den angekündigten 3,3TB eine echte Alternative zu LTO.
Zuletzt geändert von Valentino am Mo 23 Jan, 2017 20:20, insgesamt 1-mal geändert.



Paralkar
Beiträge: 1758

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Paralkar »

Das is aufjedenfall geil, neue Standards und optisch is top, ja aber wenn du ne USV dazwischen schaltest beim LTO Laufwerk? Wobei wenns halt ein großes Elektromagnetisches Feld ist, wird das wahr. auch nichts bringen oder?

Keine Frage is ja nur ein Zusatzbackup mit LTO, das wenn im Hotel/ Zuhause gemacht wird, fertig.

Ja wenn du aber beim Drehschluss vom letzten Drehtag dem Regisseur ne Festplatte in die Hand drücken musst mit allem drauf, weil sein Flieger in der Nacht oder sehr früh am nächsten Tag irgendwo hin geht, dann is blöd mit 2 DITs und kann zu Chaos führen, auch wenn du sagst, der eine macht A & B Cam und der andere Drohne oder irgendwie so, besonders beim Proxies rendern und wie macht man das nach Drehschluss etc.

Außerdem sind ja Drohnenshots meist nicht so umfangreich wie A & B, nur wenn dann alle nach Drehschluss plötzlich mit allem zu dir kommen, weil sie irgendwo unterwegs waren und an 3 Orten gleichzeitig gedreht haben etc., und die Kommunikation, wann was & wo einfach nicht klappt, dann wirds halt knifflig.

Und das hatte ich wirklich nur bei Werbung bisher, was ich dem ganzen Hierarchie system anlaste, das keiner wirklich weiß was passiert, also auch die Kameraassistenten nicht, weil alle nur hin und her, an 3 Orten, teils A & B an verschiedenen Orten etc.

Ich hatte Werbungen, wo der Regisseur nicht einmal Hallo gesagt hat und ich nie ein Wort mit Ihm geredet hab, der hat nur sein Persönlichen Assistenten geschickt um die Festplatten mit dem Proxies abzugeben & abzuholen. Das war aber auch kein deutsches oder rein deutsches Set, da kam der DP aus der einen Teil der Welt und der Regisseur aus dem anderen. Deshalb hab ich dem DP da auch bei den Settings geholfen, weil er noch nie ne Varicam 35 am Set hatte & ich mich beim Testen natürlich sehr ausgiebig mit Sensor & Formaten und Kamera auseinander gesetzt hatte. Und der Kunde wollte umbedingt auf 4k aufwärts drehen, deshalb Red und an den Abendszenen Panasonic, obwohl der DP lieber Alexa genommen hätte.

Und genau bei 3-4 Tagen Werbung kann man das halt machen mit den Überstunden, weil man Sie gut bezahlt bekommt und da hält man auch mal Drehen + Nacharbeiten 20h aus und am nächsten Tag wieder ans Set, aber klar bei nem Langfilm packt man das garnicht und bei nem so langen Zeitraum will man das auch nicht. Aber wenn du jede Überstunde mit Nachtzuschlag und Überstundenzuschuss und sonst was voll abrechnen kannst, lohnt sich das natürlich schon für einpaar Tage.

Hmm, n Beleuchter wird ja auch nicht als Lichthilfe reingeschrieben, wenn er nur Stative rumschleppt und aufstellt, weil genug Leute da sind & nicht jeder Kabeln und Lampen einrichten muss. Gut aber n QC kann man ja immer machen oder, also über Feedback wird sich ja keiner beschweren, und dann hättest du ja wieder n wesentlichen Teil des DITs erfüllt.

Ja dann wundert es mich nciht wenn der Beruf als Faulenzer verrufen ist, wenn einer mit seiner Drohne rumtut, während die andern am Rödeln sind.



mash_gh4
Beiträge: 4716

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von mash_gh4 »

Valentino hat geschrieben: @mash_gh4
Gibt es eigentlich ein neues Dateisystem, das ZFS ablösen wird.
ja -- da gibt's einiges! praktisch jeder hersteller arbeitet gegenwärtig an neuen filesystemen, die sich am funktionsumfang von ZFS u.ä, enterprise typischen storage features orientieren, aber sich besser in bestehende betriebssysteme fügen. apples angekündigetes APFS und microsofts ReFS sind typische beispiele. unter linux bzw. im heutigen server umfeld sind speziell btrfs und ceph ansätze, die bereits einigermaßen produktionsreif verfügbar sind und vieles besser umsetzten als ZFS. trotzdem muss man hier sehr zurückhaltend argumentieren, weil auch diese mächtigen alternativen leider gelegentlich noch immer kinderkrankheiten zeigen und für ganz schönen ärger sorgen können. :(

ZFS nachzubauen und zu verbessern, hat sich in der praxis als wesentlich schwieriger herausgestellt, als es ursprünglich den anschein hatte. man darf hier allerdings nicht übersehen, dass die qualitätsansprüche an filesysteme traditionell sehr hoch sind, und hier wirklich keine störungen und programmierfehler geduldet werden. deshalb braucht's auch immer sehr lange, bis hier etwas als produktionsreif akzeptiert wird. das problem dabei ist halt der umstand, dass die dinge dann halt oft geradezu veraltet wirken bzw. auf neuere technologische entwicklungen keine antwort wehr bieten, wenn sie sich endlich durchsetzten. genau das ist leider auch mit ZFS der fall. ein filesystem, das mit SSDs und ihren ganz spezifischen anforderungen, aber auch neu hinzugekommen wichtigen verwendungsszenarienen (stichwort: virtuelle maschinen) nicht wirklich überzeugend gut klarkommt, weil es derartiges bei seiner konzipierung einfach noch nicht gab. so zeigten sich spürbare einschränkungen und mängel, wenn es bspw. um den TRIM/discard support für SSDs geht, eine effizente unterstützung für sparse files bzw holes, und iauch beim replizieren od. in cluster szenarienen wirkt vieles relativ altmodisch und beschränkt (im btrfs gibt's bspw. send und receive features, mit denen man die differenz zw. zwei snapshots exporieren bzw. inkrementell in ein backup einpflegen kann, ohne dafür riesige datenmengen vergleichen zu müssen, usw.).

das ganze ist auch deshalb so komplex, weil sich je nach anwendungsszenario bzw, zugriffsmustern ganz andere schwerpunkte und anforderungen stellen. diesen umstand kann man in der praxis oft nur schwer mit fertigen storage appliances begegnen. meistens sind maßgescheiderte lösungen besser. wenn man also bspw. nur verhältnismäßig umfangreiche datenbestände archivieren od. od für einfachen sequentiellen zugriff auf fileservern bereitstellen muss, ist das ganz etwas anderes als volumes für eine große zahl von virtuellen maschinen, datenbanken und große mailserver zu managen, wo man regelmäßig, wenn bspw. wiedereinmal eine instanz von außen gehackt und kompromitiert wurde od. anwendern grobe bedienungsfehler passiert sind, ein rollback auf einen früheren zustand bewerkstelligen muss. oft hat man auch damit zu kämpfen hat, dass viele derartige systeme zwar im testbetrieb tolle leistungsdaten zeigen, aber nach einiger zeit plötzlich spürbar langsamer werden oder unter sehr hoher last plötzlich die verwunderlichsten störungen zeigen. auch darin, in welchem umfang die einzelnen lösungen reparaturen und erweiterungen im laufenden betreib ohne unterbrechung zulassen, unterscheiden sie sich deutlich...

so einfach ist es also nicht, dass man hier nur behaupten müsste, dass filesystem xy macht das besser. das ganze ist eine ziemlich ausufernde problematik, die mich jahrelang beruflich beschäftigt hat, um die datenbestände kleinerer rechenzentren zu schützen. in der praxis probiert man halt am besten alles verfügbaren mittel unter abgesicherten bedingungen realistisch durch, sammelt erfahrungen und schafft lösungen, die die vorteile von verschiedenen techniken zu kombinieren versuchen, aber auch entsprechende schwächen doppelt abfedern.
Valentino hat geschrieben: Was Umwelteinflüsse wie Blitze und Wasser angeht, würde ich gerade eben nicht auf LTO setzten. Bei einem Einschlag reicht schon das sehr starke elektromagnetische Feld und die LTO im Regal sind Schrott. Wasser und Feuchtigkeit mögen Sie auch nicht.
Klar man kann das verhindern, in dem man die Backups irgendwo anders Lagert, aber das Tape das gerade im Stream ist, wird man nicht mehr retten können.
dazu kann ich dir aus der praxis von einer noch abenteuerlicheren variante berichten, an deren möglichkeit ich vorher natürlich auch nicht gedacht hätte:

bei uns wurden die tapes über jahre hindurch in einem kleinen tresor im büro, ein paar räume vom serverraum entfernt, verwahrt, weil uns das vor allem im hinblick auf den brandschutz sinnvoll erschien. eines tages aber, ich hatte ohnehin wieder bis weit in die nacht hinein dort gearbeitet, gibt's in der früh plötzlich einen anruf, das eingebrochen wurde. die türangeln wurden dazu ziemlich elegant herausgebrochen, aber nichts hat gefehlt -- nichteinmal die ganz offensichtlich herumstehende handkassa mit beträchtlichem bargeld --, nur unseren save, der zwar verhältnis mäßig klein, aber doch auch nicht als fliegengewicht zu charakterisieren war, hatte offenbar jemand entwendet. also wieder einmal alle passwörter auf allen servern ändern, die user informieren usw. ein paar wochen später stand dann plötzlich die polizei in der tür. sie hatten das teil irgendwo in einem acker südlich der stadt gefunden -- mühsam aufgebrochen, und alle tapes (sonst war leider für den höchst fleißigen akteur nichts brauchbares drinnen) in der erde rundum verstreut.

es kommt also immer anderes, als man es einplanen oder vorhersehen würde!

[zum gegenwärtigen zeitpunkt halte ich übrigens generell die replikation auf plattenbasierende backup server in den meisten fällen für zielführender...]

auch das szenario mit den netzteilen, hab ich leider nicht ohne realen hintergrund angesprochen. auch damit habe ich leider ähnlich abteuerliche erfahrungen machen müssen. katastrophale schäden, die im konkreten fall gar nicht von richtig teuren storage- oder virtualisierungsservern ausgangen sind, sondern von einer kleinen, relativ stiefmütterlich behandelten maschine im rack, die für die server überwachung (nagios) zuständig war, und im falle von strörungen automatisch per sms das wartungspersonal zu kontaktieren hatte. aber genau diese maschine hat's hat's dann irgendwann ganz unerwartet zerlegt -- mit richtig tollen begleiterschienungen und kollateralschäden!



Valentino
Beiträge: 4821

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Valentino »

Paralkar hat geschrieben:Das is aufjedenfall geil, neue Standards und optisch is top, ja aber wenn du ne USV dazwischen schaltest beim LTO Laufwerk? Wobei wenns halt ein großes Elektromagnetisches Feld ist, wird das wahr. auch nichts bringen oder?
Eine USV bringt bei Blitz nur bedingt etwas, z. B. für den Fall das zwei Phasen auf einer 230V Steckdose liegen oder durch eine andere Ursache eine Überspannung entsteht.
Wenn der Blitz durch das Haus geht, geht dieser meist durch alle Leitungen im Haus und durch den Durchfluss entsteht ein sehr starkes E-Feld. Da bringt es leider auch nicht viel, wenn TV und PC gar nicht eingesteckt sind. Hatten im Grundstudium ein recht lustigen E-Prof der das Thema mal in seiner Vorlesung erläutert hat. Im Versuch mussten dann auch ein paar Disketten dran glauben ;-)

@mash_gh4
Vielen Dank für die ganzen Infos und Geschichten, gerne mehr davon.



Paralkar
Beiträge: 1758

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Paralkar »

Ach zum Thema mal aktuelles, falls jemand ähnliches fragt, hab mir 4 x 1 TB Samsung Evo 850 geholt, somit kann ich an einem Tag 2 TB doppelt sichern. Bei Werbung hab ich zu 90% 2 Backups und 10% 3 Backups, da die Produktionsfirmen es meistens schnell nach Drehende auf Server sichern & daher fordern die nur 2 Backups und haben meistens nur 2 Platten dabei, bei Spiel oder Kinofilm sicher ich auch 3 fach oder 2 Raids.

Ironischerweise hab ich gestern das erste mal 2 TB an einem Tag geknackt, mit einer Alexa Mini auf 2.8k ProRes 4444 50p. Sonst war das nur bei 2-3 Kameras der Fall.... Ich glaub ich hol mir noch mal 2 x 1 TB, dann kann ich schonmal 3 TB am tag spiegeln und dann über Nacht weiter auf HDDs verschiffen.

Zu den SSDs, die Dinger bringen über USB 3.0 400 Mbyte/s und schaffen ne 256 GB in 25 min (HDD 1h 35 min)

Danke für diese anregende Diskussion :-D
DIT/ digital Colorist/ Photographer



Valentino
Beiträge: 4821

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Valentino »

Dank für die Info, immer wieder schön wenn ein Kollege seine Erfahrungen teilt :-)

Bin nach knapp 9 Jahren vor ein paar Monaten umgeschwenkt und jetzt in der normalen Arbeitswelt angekommen.
Fühlt sich schon anders an, aber mit Familie ist der DIT Job echt kein Zuckerschlecken.



PowerMac
Beiträge: 7489

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von PowerMac »

Was machst Du nun? Wo arbeitest Du?

Liebe Grüße Patrick



Valentino
Beiträge: 4821

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von Valentino »

Hi Patrik,

das gehört hier nicht in ein öffentliches Forum, leider sind PM bei dir deaktiviert.
Kann es dir auch per Mail schreiben, habe nur keine mehr.

Grüße Valentino



PowerMac
Beiträge: 7489

Re: SSDs Pro Vs. Evo - Datensicherung DIT

Beitrag von PowerMac »

Habe PM nun aktiviert!



 Aktuelle Beiträge [alle Foren]
 
» Interessante Firmware-Updates für Sony Alpha 1, 7S III und 7 IV
von gammanagel - Do 21:28
» Sondergagen - Wer aufmuckt, wird nicht mehr besetzt
von stip - Do 21:25
» Neues SIGMA 50mm F1,2 DG DN | Art Objektiv wiegt 745g
von dienstag_01 - Do 21:21
» Mac SSD Speed Messung?
von klusterdegenerierung - Do 21:20
» Deity Sidius TC Sync Software
von pillepalle - Do 19:58
» FCPX/Motion, DaVinci/Fusion... Tipps&Tricks
von Frank Glencairn - Do 19:25
» Nikon stellt NIKKOR Z 28-400mm f/4-8 VR Superzoom-Objektiv vor
von Jan - Do 19:16
» Red Komodo 6K + Gimbal, Advanced Ring Grip und viel Zubehör
von Sevenz - Do 19:01
» >Der LED Licht Thread<
von freezer - Do 18:53
» Was schaust Du gerade?
von Frank Glencairn - Do 18:46
» Camera Update 8.6: Viele neue Funktionen für Blackmagic Kameras
von slashCAM - Do 17:42
» Tieraufnahmen mit dem MKE600 + H1 Essential rauschen
von Swat - Do 16:06
» 4 Gründe hartes Licht zu nutzen
von ruessel - Do 15:45
» [gelöst] 3.5mm Klinkenstecker Überwurfmutter
von Skeptiker - Do 14:42
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Darth Schneider - Do 13:49
» -SONY FX- Erfahrungsaustausch
von rush - Do 13:40
» AOC bringt 44.5" OLED-Riesenmonitor mit 98.5% DCI-P3
von MK - Do 12:07
» Adobe führt die neue Funktion "Structure Reference" in Firefly ein
von slashCAM - Do 10:54
» Exhuma - die Südkoreaner können erfolgreiche Filme drehen
von -paleface- - Do 8:46
» Was hörst Du gerade?
von roki100 - Do 0:22
» Sony A9 III im Praxistest - ein echter Überraschungscoup auch für Filmer
von Mantas - Mi 23:27
» Video Pro X stürzt beim Multi Cam Schnitt ab
von MisterX - Mi 21:47
» Uwe Boll: Wie man Filme produziert ohne pleite zu gehen!
von iasi - Mi 19:53
» Nach 7 Jahren mit der OG BMPCC finde ich das Bild noch immer schön.
von Darth Schneider - Mi 18:58
» Verschachtelte Timeline im richtigen Seitenformat
von Clemens Schiesko - Mi 18:43
» Untertitel in FCPX bei vorhandener Textdatei?
von R S K - Mi 18:34
» Deckenlicht mobil abschatten
von Frank Glencairn - Mi 17:31
» LUTs für Canon R6 Mark II
von TomStg - Mi 12:24
» RED versucht User nach Übernahme durch Nikon zu beruhigen
von dienstag_01 - Mi 11:52
» Entfesseltes Storytelling mit der Video-KI Sora?
von Frank Glencairn - Mi 5:54
» Slashcam 2001 - Das Internet vergisst nichts!
von macaw - Di 21:37
» Dehancer Pro - Filmsimulation auf höchstem Niveau
von Frank Glencairn - Di 18:54
» Wie Dune Teil 2 entstand - DoP Greig Fraser und Hans Zimmer im Interview
von iasi - Di 13:32
» 3 Body Problem - so verfilmt man heute Bücher
von stip - Di 8:30
» Neue Sora Version
von Frank Glencairn - Di 7:54