Guten Tag-lese schon ne Weile mit! Super Forum/ Website!!
Pc seit ewig-Raid -nun weg davon..
Systemplatte: 500gb ssd ( oder 250er wurscht..)
Schnittplatten 2 x 500gb ssd ( eine auch Speicher/Scratch)
--------------------Kabel zum---NAS Speicher 4tb.fertig.
Hab halt ein kleines Sackerl ssd in Reserve, normale hd-s.
Funktioniert super, momentan las sich mich aus Full-hd noch nicht raus
biegen-will den Rechner weder ab schlecken noch $$$$-Grab daraus
machen. Heutzutage hält sich das ja alles in Grenzen. :)
Ich habe sie heute noch einmal genauer durchgelesen. Ich war mir nicht sicher ob ich die Specs von PCI richtig interpretiert hatte - demnach würden ja die normalen PCI-Ports meist mehr als ausreichend Busbreite zur Verfügung stellen, und der Falschenhals kommt erst später. Demnach sollte es aber problemlos möglich sein, Daten direkt vom Raidcontroller zur Netzwerkkarte zu schaufeln und so einen schnellen Datentransfer zu gewährleisten. Ich hoffe einfach das die boardinterne Kommunikation so funktioniert und nicht das Signal irgendwie am Board umleitet und ausbremst.
Jetzt geht es ans "rechnen" fürs Verständnis :)
Das Board hat
2xPCI - max 550MB/s
2xPCIe2x16 - max 8000MB/s <-> bei Nutzung beider Steckplätze jedoch Halbierung, dh. 4000MB/s
2xPCIe2x1 - max Durchsatz 1000MB/s
Dazu eine Frage:
Controller - es gibt gerade einige 3Gbs Controller am Markt. Bremse ich mich damit unnötig aus? Die Festplatten haben alle 6Gbs, laut Web nutzen sie bis 4,8Gbs was einer Geschwindigkeit von 600MB/s bedeuten würde. (noch nie Ansatzweise erreicht). Ein Raidcalculator sagt mit Raid 5 hätte man einen Theoretischen Geschwindigkeitsgewinn lesen x4, das wären ja 2,4GB/s. In der Theorie.
Bei 3G reduziert sich das um die Hälfte. Damit wären theoretisch 1,2GB/s drin, was noch weit innerhalb der PCIe Spezifikationen liegen würde. Die Zahlen klingen natürlich alle viel zu schön und somit glaube ich dem Ganzen nicht. Mir ist bewusst, dass sich die Geschwindigkeiten mit dem Füllstand der Platten großzügig nach unten bewegen, aber bei diesen Werten wäre es ja vertretbar.
Defacto würde mich interessieren, ob ich 50% der Werte mit einer 3Gbs Controllerkarte erreichen könnte.
Dazu überlege ich gerade ob es Sinn macht zwei USB3.0-Infiniband Boxen dazu zu bauen. Die Kosten einen Bruchteil von Infiniband Steckkarten, würden aber immer noch über CAT liegen...
sprichst du da jetzt gerade über den sata standart? die aller schnellsten spindeln am markt machen knapp unter 200 mb/sec. sata 2 macht 2,4gigabit/sec also ca 300 mb/sec, du hast also vom spitzenwert deiner spindel noch ca 30% luft nach oben. hängst du eine ssd an einen sata 2 controller, dann bremst du die ssd aus. das ist ja was ich schon am anfang geschrieben habe. die gebrauchten controller sind super und billig, aber nicht für ssd. für spindeln ist da aber alles gut.
was dein raid calkulator da sagt scheinst du glaube ich falsch verstanden zu haben. raid 5 bedeutet, das eine platte für die redundanz zuständig ist, mit anderen worten, (die anzahl deiner platten minus 1)mal(specs einer platte) ist die formel.
also du hast 5 platten mit sagen wir 3tb speicher pro stück und datendurchsatz von max 200 mb/sec. dann bedeutet das du hast 12TB speicher und 800mb/sec datendurchsatz wenn du die in ein raid5 hängst.
das ist die theorie, ganz so schön ist es dann halt nicht, aber das ist die richtung. in wirklichkeit hast du ca 11,2TB speicher und 700mb/sec.
für video/schnitt anwendung interessiert dich aber der max wert garnicht, sondern der minimum wert. wenn der minimum wert die datenrate unterschreitet die du brauchst fängt es an zu ruckeln. also in deinem fall liegt der minimum wert, wenn alles maximal schlecht läuft, deine daten fragmentiert sind wie bolle und die platten bis anschlag zu gemüllt, dann wird aus deinem raid immer noch 400mb/sec raus kommen. reicht für deinen schnitt plus die 100mb netzwerk traffic.
-------------------------------------------------------
leave the gun take the cannoli
------------------------------------------------------- www.movie-grinder.com
wenn du mit 4k rum wiggeln willst und bei deiner konfiguration da an die grenzen kommst, dann kannst du auch einen kleinen trick anwenden. der ist nicht besonders schön, funktioniert aber einwandfrei. du partitioniert dein raid nach blöcken. d.h. du machst eine partition die nur auf dem äusseren bereich der platte liegt, und eine zweite die dann die inneren blöcke benutzt.
deine ganzen feld-wald-wiesen daten legst du auf den inneren blöcken ab, und auf die äusseren kommen ausschliesslich deine 4k files. dann kannst du damit sicher stellen das dein 4k immer in echtzeit läuft.
ist halt ätzend weil du dein schönes grosses volumen in zwei teile teilst, funktioniert aber 100%. du kannst natürlich auch einfach 2 platten mehr in dein raid hängen, dann ist die geschwindigkeit sowieso immer hoch genug.
ich baue meine workstation raids immer mit 8 platten und raid5 das funktioniert bis jetzt recht gut. mal sehen ob es noch reicht wenn ich die ersten raw files der alexa65 bekomme, aber 6k red oder 4k bmd das ist alles null problemo.
-------------------------------------------------------
leave the gun take the cannoli
------------------------------------------------------- www.movie-grinder.com
dein NAS ist wahrscheinlich ein externer Würfel. Was benutzt du da genau?
lg
Eine Diskstation von Synology. Gibt da verschiedene, sind eigentlich
alle super. als Informatiker kann ich Dir aber sagen, wichtig ist nur wenn du
ein NAS nutzt, welche Datensicherheit du gerne hättest und dass du ein
Gigabit Netzwerk bei Dir anlegst.
Ich habe in einem weiteren NAS 2 Platten drin, mehr nicht. 2 x 4TB. Die
sind gespiegelt. Sprich, mir bleiben 4TB übrig, aber falls eine Platte kaputt
geht, tausche ich die kaputte einfach und die Daten werden von der
Spiegelung zurückkopiert.
merlinmage hat geschrieben:Ob Diskstations jetzt gescheite Schnittlaufwerke sind, darf man jedoch anzweifeln.
Warum?
ist doch offensichtlich. disks haben sehr viel speicherplatz, im raid sind sie sehr schnell, da gibt es jahre lange erfahrungswerte, die sicherheit ist recht hoch und sie sind billig, sowas will doch keiner.
eine deutlich bessere alternative sind z.b. ssd. die haben null speicherplatz, sind bolle teuer, zucken rum wie blöde und wenn sie mal anständig laufen verpufft die performance. dafür braucht man aber die neuesten und teuersten raid controller.
für office oder datenbank anwendungen sind ssd totaler mist, weil die da allen anforderungen gerecht werden, aber im video bereich wo zugriffszeiten oder io zugriffe total egal sind, da spielt eine ssd ihre ganze stärke aus, maximales geld für minimale leistung zu verballern.
weil ja jeder der schon mal vor einem computer gesessen hat weiss, eine betriebssystem platte muss genau die gleichen anforderungen erfüllen wie eine media platte.
am aller besten sind ssd im raid 0, da entfällt das ganze backupen von daten und regelmässiges löschen von alten projekten, das machen die platten ganz von selbst.
-------------------------------------------------------
leave the gun take the cannoli
------------------------------------------------------- www.movie-grinder.com
Peppermintpost hat geschrieben:ist doch offensichtlich. disks haben sehr viel speicherplatz, im raid sind sie sehr schnell, da gibt es jahre lange erfahrungswerte, die sicherheit ist recht hoch und sie sind billig, sowas will doch keiner.
eine deutlich bessere alternative sind z.b. ssd. die haben null speicherplatz, sind bolle teuer, zucken rum wie blöde und wenn sie mal anständig laufen verpufft die performance. dafür braucht man aber die neuesten und teuersten raid controller.
für office oder datenbank anwendungen sind ssd totaler mist, weil die da allen anforderungen gerecht werden, aber im video bereich wo zugriffszeiten oder io zugriffe total egal sind, da spielt eine ssd ihre ganze stärke aus, maximales geld für minimale leistung zu verballern.
weil ja jeder der schon mal vor einem computer gesessen hat weiss, eine betriebssystem platte muss genau die gleichen anforderungen erfüllen wie eine media platte.
am aller besten sind ssd im raid 0, da entfällt das ganze backupen von daten und regelmässiges löschen von alten projekten, das machen die platten ganz von selbst.
Was hat das alles damit zu tun, ob Diskstations (respektive NAS allgemein oder sonstige Netzwerk-shares) "gescheite Schnittlaufwerke" sind?
Für mich eigentlich gsnz einfach: wir reden hier von NAS Schnitt, also über Netzwerk Interfaces. Da bietet Synology 1-2 Ports an 10Gbit Ethernet an. Heisst ich müsste wenn ich mehr als 2 Rechner fix versorgen will, einen Splittet einsetzen und selbst da wird der Speed geteilt. Also Bandbreitenlimit ohne Ende. Abgesehen davon, dass Softwareraid je nach CPU teilweise extrem hinter HW Raids hinterherhinkt. Als Local Storage kann man die Stations aber noch iwie gebrauchen, je nach Workflow.
Ich nutze das NAS nicht zum schneiden. Meine Software läuft auf einer
System SSD Platte und auf anderen SSDs liegen die Daten. Erst wenn
ich etwas auslagern möchte, zur Archivierung, nutze ich das NAS. So
funktioniert das ganz gut für mich.
nein eigentlich nicht. aber er kostet nur 20€ mehr als der 8 port. über die sich nicht mehr in serie befindlichen karten steht leider sehr wenig auf der seite von denen. gerne würde ich mehr über die "serien" erfahren, oder gibt es da einfach nur "one size fits all" mit unterschiedlich vielen ports?
also mir hat mein sarkasmus durchaus spass gemacht ;-)
gegen NAS Schnitt spricht in der tat nichts. jetzt mal ohne sarkasmus.
im gegenteil, ich finde es sogar selbst bei einem einzel arbeitsplatz bedingt sinnvoll (ohne jetzt näher auszuführen warum und wieso) aber bei mehreren arbeitsplätzen ist das die aller beste Lösung. Ob das NAS jetzt von synologie, drobo oder was mir selbst noch besser gefällt qnap kommt, oder ob es eine freeNAS oder ubuntu oder sogar windows server lösung ist, das ist mir selbst erst einmal egal. das stichwort ist für mich zentraler storage.
aber in dem storage stecken natürlich auch irgendwelche speicher medien, und in der regel sind das ebenfalls spindeln. den speicherort zu verlagern, das verstehe ich durchaus, aber das speichermedium zu kritisieren, das verstehe ich nicht, und genau so hatte ich den kommentar:
Ob Diskstations jetzt gescheite Schnittlaufwerke sind, darf man jedoch anzweifeln.
verstanden. offensichtlich meintest du mit diskstations nicht eine kiste mit festplatten drin, sondern workstations mit integriertem datenspeicher. ja das kann man diskutieren. ich mag es auch nicht die dinger in der workstation zu haben, dennoch mache ich das zzt so, wobei ich einen server zusätzlich betreibe und das raid in der workstation nur habe damit es immer alles in echtzeit läuft, da liegt bei mir in der tat ausschliesslich media footage, und kein einziges setup oder sonst etwas. schick wäre ein schnelleres netzwerk, das kann aber dann auch richtig ins geld gehen, je nach anforderung.
-------------------------------------------------------
leave the gun take the cannoli
------------------------------------------------------- www.movie-grinder.com
merlinmage hat geschrieben:Für mich eigentlich gsnz einfach: wir reden hier von NAS Schnitt, also über Netzwerk Interfaces. Da bietet Synology 1-2 Ports an 10Gbit Ethernet an. Heisst ich müsste wenn ich mehr als 2 Rechner fix versorgen will, einen Splittet einsetzen und selbst da wird der Speed geteilt. Also Bandbreitenlimit ohne Ende. Abgesehen davon, dass Softwareraid je nach CPU teilweise extrem hinter HW Raids hinterherhinkt. Als Local Storage kann man die Stations aber noch iwie gebrauchen, je nach Workflow.
Bitte was hast du vor, von diesem NAS zu "schneiden"?
4k-DCP in Prores4444 braucht ca. 160MB/s. Bei 4xGb per LA können also zwei Leute 4k schneiden plus drei Leute 2k, und zwar alles parallel, das finde ich schon ganz anständig. Wenn man auf 10Gb hoch geht wirds nochmal deutlich mehr, aber auch deutlich teurer.
4k dpxen oder exrs bekommst du (zumindest von den Gb-Varianten) nicht gelesen, aber in dem Kontext finde ich den Begriff "Schnitt" etwas irreführend.
Peppermintpost hat geschrieben:offensichtlich meintest du mit diskstations nicht eine kiste mit festplatten drin, sondern workstations mit integriertem datenspeicher.
Diskstation ist in dem von g3m1n1 etablierten Kontext ein Markenname von Synology, der deren NAS-Linie bezeichnet.
Zuletzt geändert von kundesbanzler am So 23 Aug, 2015 19:39, insgesamt 1-mal geändert.
Bergspetzl hat geschrieben:Macht man mit dem ARC1280ML von Areca was falsch?
ist ein extrem geiler controller. der gehört zwar eher in einen server, aber wenn er billig, warum nicht. evtl baust du dir ja irgendwann mal ein NAS, dann ist der super perfekt, und in deiner workstation langweilt der sich nur, an den anschlag bringst du den so schnell nicht.
-------------------------------------------------------
leave the gun take the cannoli
------------------------------------------------------- www.movie-grinder.com
Peppermintpost hat geschrieben:offensichtlich meintest du mit diskstations nicht eine kiste mit festplatten drin, sondern workstations mit integriertem datenspeicher.
Diskstation ist in dem von g3m1n1 etablierten Kontext ein Markenname von Synology, der deren NAS-Linie bezeichnet.
ok, ja wusste ich nicht, entsprechend war mein sarkasmus hier fehl am platze. ich dachte es geht mal wieder darum spindeln zu bashen.
-------------------------------------------------------
leave the gun take the cannoli
------------------------------------------------------- www.movie-grinder.com
merlinmage hat geschrieben:Für mich eigentlich gsnz einfach: wir reden hier von NAS Schnitt, also über Netzwerk Interfaces. Da bietet Synology 1-2 Ports an 10Gbit Ethernet an. Heisst ich müsste wenn ich mehr als 2 Rechner fix versorgen will, einen Splittet einsetzen und selbst da wird der Speed geteilt. Also Bandbreitenlimit ohne Ende. Abgesehen davon, dass Softwareraid je nach CPU teilweise extrem hinter HW Raids hinterherhinkt. Als Local Storage kann man die Stations aber noch iwie gebrauchen, je nach Workflow.
Bitte was hast du vor, von diesem NAS zu "schneiden"?
4k-DCP in Prores4444 braucht ca. 160MB/s. Bei 4xGb per LA können also zwei Leute 4k schneiden plus drei Leute 2k, und zwar alles parallel, das finde ich schon ganz anständig. Wenn man auf 10Gb hoch geht wirds nochmal deutlich mehr, aber auch deutlich teurer.
4k dpxen oder exrs bekommst du (zumindest von den Gb-Varianten) nicht gelesen, aber in dem Kontext finde ich den Begriff "Schnitt" etwas irreführend.
Peppermintpost hat geschrieben:offensichtlich meintest du mit diskstations nicht eine kiste mit festplatten drin, sondern workstations mit integriertem datenspeicher.
Diskstation ist in dem von g3m1n1 etablierten Kontext ein Markenname von Synology, der deren NAS-Linie bezeichnet.
Aha, 4K DCP ProRes 4444 Schnitt. Wusste gar nicht, dass ein DCP ein ProRes ist, danke dir! :)
1GbiT sind nur 125mb/sec, du Genie. Weiss gar nicht warum du hier mit Buzzword Gemetzel ankommst.
-------------------------------------------------------
leave the gun take the cannoli
------------------------------------------------------- www.movie-grinder.com
merlinmage hat geschrieben:Aha, 4K DCP ProRes 4444 Schnitt. Wusste gar nicht, dass ein DCP ein ProRes ist, danke dir! :)
1GbiT sind nur 125mb/sec, du Genie. Weiss gar nicht warum du hier mit Buzzword Gemetzel ankommst.
Mit 4k DCP war lediglich eine Auflösung gemeint, da mit 4k alles mögliche gemeint sein kann. War zugegebenermaßen etwas irreführend, aber ich hab mir die nuke-internen Bezeichnungen angewöhnt und da heißt 4096x2160 schlicht 4K_DCP.
Bei 4xGb über LA (Link Aggregation), wie oben geschrieben, schaffen die Diskstations ca. 450MB/s. Bevor man anderen Buzzwording vorwirft sollte man vielleicht selbst erst mal minimal Ahnung von der Materie haben.
Dsmit verballer ich aber direkt 4 Ports. Wenn ich jetzt 5-6 Plätze zu verkabeln habe, wie bei einem Network Storage üblich, bringt mir das natürlich mega was.
merlinmage hat geschrieben:Dsmit verballer ich aber direkt 4 Ports. Wenn ich jetzt 5-6 Plätze zu verkabeln habe, wie bei einem Network Storage üblich, bringt mir das natürlich mega was.
Häh? Jeder vernünftige Mensch benutzt zu Vernetzung von mehreren Rechnern o.ä. Switches.
ps: Das wäre jetzt der Punkt, wo du aufhören solltest, um dich nicht vollends lächerlich zu machen.
merlinmage hat geschrieben:Dsmit verballer ich aber direkt 4 Ports. Wenn ich jetzt 5-6 Plätze zu verkabeln habe, wie bei einem Network Storage üblich, bringt mir das natürlich mega was.
Häh? Jeder vernünftige Mensch benutzt zu Vernetzung von mehreren Rechnern o.ä. Switches.
ps: Das wäre jetzt der Punkt, wo du aufhören solltest, um dich nicht vollends lächerlich zu machen.
1GbiT Switches, und damit dann wieder zurück auf 125mb/sec. Oder willst du jetzt ernsthaft 10Gbit Switches verwenden? Denke ich nicht.
ja mit den 4port karten, das kann man machen, hab ich auch schon so gebaut, aber ich finde das macht man eher aus kostengründen, weil es unglaubliche kabelverschläge werden, und du must dann ja auch immer 4 kabel zu jeder workstation legen. schick ist anders.
wenn noch jemand 4 posrt karten braucht, ich hab hier noch ein paar rum fliegen, ich glaub ich hab sogar noch 2 smalltree karten für den mac. über den preis werden wir uns bestimmt einig ;-)
aber ich muss sagen FC finde ich deutlich netter, 4G FC kostet auch nix mehr, und auch wenn glassfaser so seine tücken hat, es funktioniert schon recht gut, und es ist immerhin schnell genug um unkompremiertes 10bit HD in echtzeit zu handhaben.
-------------------------------------------------------
leave the gun take the cannoli
------------------------------------------------------- www.movie-grinder.com
merlinmage hat geschrieben:1GbiT Switches, und damit dann wieder zurück auf 125mb/sec. Oder willst du jetzt ernsthaft 10Gbit Switches verwenden? Denke ich nicht.
Guten Morgen. :)
Peppermintpost hat geschrieben:ja mit den 4port karten, das kann man machen, hab ich auch schon so gebaut, aber ich finde das macht man eher aus kostengründen, weil es unglaubliche kabelverschläge werden, und du must dann ja auch immer 4 kabel zu jeder workstation legen. schick ist anders.
wenn noch jemand 4 posrt karten braucht, ich hab hier noch ein paar rum fliegen, ich glaub ich hab sogar noch 2 smalltree karten für den mac. über den preis werden wir uns bestimmt einig ;-)
aber ich muss sagen FC finde ich deutlich netter, 4G FC kostet auch nix mehr, und auch wenn glassfaser so seine tücken hat, es funktioniert schon recht gut, und es ist immerhin schnell genug um unkompremiertes 10bit HD in echtzeit zu handhaben.
Das Kabelhandling ist tatsächlich ein Problem, das muss man in Kauf nehmen. Wirklich vier Stränge zu jeder Workstation zu legen macht tendenziell keinen Sinn, da sollte man entsprechend prioriesieren. In dem oben vorgerechneten Beispiel würde man 4 Kabel zum NAS, 2x2 Kabeln zu den 4k-Plätzen und den Rest bei einem Kabel lassen.
Richtig verschnürt sind die 2xGb auch nicht problematischer als die FC-Kabel.
Rechtliche Notiz: Wir übernehmen keine Verantwortung für den Inhalt der Beiträge
und behalten uns das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
