1 Yottabyte Daten – und eine Verschwörungstheorie
Die Einheit kannte ich noch gar nicht: 1 Yottabyte. Yotta steht bei Dezimalgrößen für 1024 oder bei Binärgrößen für 280. Das ist die Menge von Speicherplatz, die die NSA in den USA demnächst zur Verfügung stellen soll. Interessante Frage, wie sie das machen.
Eine aktuelle 2-Terabyte-Festplatte fasst 241 Byte, das wären also (ohne RAID) 239 oder etwas über 500 Milliarden Festplatten. Ich weiß zwar nicht, wieviele Festplatten je hergestellt wurden, aber bei einer Menschheit von 7 Milliarden, der Vermutung, dass davon ungefähr jeder zehnte einen oder mehrere PCs besessen hat, und ich selbst in meinem Leben schon mindestens 30-40 Festplatten (privat, zzgl. Arbeitsplätze) hatte, würde ich das grob in erster Pi-mal-Daumen-Peilung irgendwo in der Größenordnung von 10 Milliarden vermuten. Selbst wenn man berücksichtigt, dass Festplatten heute viel stärker als früher auf vollautomatischen Produktionsstraßen hergestellt werden können, ist das eine ziemliche Menge. Vermutlich aber wird 1 Yottabyte an Daten nicht auf einer einheitlichen Speichertechnologie gespeichert, sondern hybrid.
Vermutlich wird nur ein Teil der Daten auf Festplatten gespeichert – Cache, Eingangspuffer, aktuelle Daten, Index-Daten, wichtige Daten – und ein großer Teil der unwichtigen oder unbearbeiteten Daten und des Schrotts auf Bandlaufwerke und Bandroboter ausgelagert. Womöglich auch auf irgendwelche modernen optischen Speichertechnologien. Das ändert aber nichts daran, dass sie einen Bedarf an Festplatten haben werden, der die normale Weltproduktion an Festplatten für einen signifikaten Zeitraum deutlich übersteigt.
Bei einem geschätzten Stromverbrauch von 65 Megawatt und einem Erfahrungswert von etwa 10 Watt pro Festplatte könnten sie allerdings höchstens etwa 5 Millionen Festplatten betreiben – gleichzeitig. Allerdings wäre da – schon wegen der Kühlungsprobleme – zu vermuten, dass sie ein ausgefeiltes Power-Management haben und immer nur die Festplatten drehen, die gerade gebraucht werden, ein großer Teil jedoch im StandBy stehen würde. Unterstellt man bei solchen Anwendungen eine optimierte Quote von 1:100, dass also nur etwa 1% der betriebenen Platten gerade wirklich dreht, und dass die Hersteller den Stromverbrauch noch verbessert haben, könnte ich mir bei dem Stromverbrauch (wenn die Angaben überhaupt stimmen) ohne weiteres um die 500 Millionen Festplatten vorstellen. Und die müssen ja irgendwoher kommen.
Ich komme deshalb nochmal auf meine Verschwörungstheorie von neulich zurück, wonach das Hochwasser in Thailand nur ein Vorwand für die angebliche Festplattenknappheit war, und die einfach nur über ein Jahr lang fast die gesamte Festplattenproduktion abgezweigt haben.
Wie würde man sonst 1 Yottabyte an Daten speichern?
38 Kommentare (RSS-Feed)
Hm. Warum eigentlich nicht – so wahnsinning unwahrscheinlich klingt es doch nicht. Wenn so ein großer Bedarf an Festplatten besteht und es geheim zu halten ist, tritt man eben an das Unternehmen heran, das sich über den Auftrag freut, die Geheimhaltung wird sicherlich gut bezahlt – das Geld fließt vielleicht gleich oder zumindest zu einem Teil direkt in die Taschen der obersten Schicht. Alle Beteiligten sind glücklich. So ein Deal lässt sich sicherlich innerhalb von ein paar Wochen abschließen – anstatt die Fabriken dann nach einem Monat oder zwei wieder freizugeben, wird einfach im Hintergrund für den Kunden USA produziert.
Eine Verschwörungstheorie ist absurd, das hier beschriebene Geschehen ist aber nur unwahrscheinlich, keineswegs aber absurd.
2^80 heißt nicht Yotta, sondern yobi.
@Asd
Wer soll das denn produzieren, und mit welchem Material? Da wäre es billiger, eine Millionenstadt auf dem Mars zu bauen.
Man sollte die Platten möglichst schnell füllen. Ein paar gezippte Archive mit Textdateien, die geeignete Buzzwords enthalten und ein paar nicht allzu stark verschlüsselte Nachrichten aus dem nahen und mittleren Osten, gern auch auf Arabisch oder Russisch. Dazu ein paar Dateien direkt aus dem Randomgenerator und das ganze Wikileaks-Archiv, evtl. mit ein paar Random-Blöcken versalzen, so daß es auffällt. Dann ab damit in den toten Tor-Briefkasten…
Asd.
Eine Verschwörungstheorie unterstellt, dass eine Verschwörung, d.h. eine Übereinkunft von mehr als einer Person über bestimmte Handlungen, über die sie stillschweigen halten, stattgefunden hat.
Insofern ist “Geheimdienste beordern Festplatten unter der Hand” eine Verschwörungstheorie.
Nicht zu verwechseln mit Verschwörungstheorie (diffamierend), die benutzt wird, um Menschen die Glaubwürdigkeit a priori abzusprechen.
Mir scheint es wesentlich wahrscheinlicher, dass die Journaille mal wieder nicht mit Zahlen umgehen kann. Es gibt ja auch regelmäßig bei allem Probleme, was über die Million hinausgeht – und nicht nur wenn zwischen Englisch und Deutsch übersetzt wird.
Ich glaub, ich hab die Lösung: Die Zahl “ein Yottabyte” ist einfach falsch. Ein SPON-Zitat: “Die soll in Kürze Speicherplatz für ein Yottabytes an Daten bereitstellen” ist doch eine eher dürftige Quelle…
Einfach auf 10 Rollen Tesafilm speichern. 🙂
Ich denke aber, dass weit mehr als 99% der Platten nicht in Betrieb sind, sondern in großen Regalen die mit “Frankreich 2006, 2007, 2008”, “Deutschland 20006, ….” usw. beschriftet sind. Nur ein kleiner Teil an Daten für den sofortigen Zugriff mit jungen Daten oder solchen von ohnehin Verdächtigen muss laufend zur Verfügung stehen, und der Index, der einem sagt, wo die Halle mit der Festplatte steht, die man gerade sucht.
Ich kann mir ein Yottabyte beim besten Willen nicht vorstellen – da muss eine derart gute Datenkompression verwendet werden, anders kann das doch gar nicht gehen?
@Stefan dies ist ein guter Gedanke.
Eventuell handelt es sich dabei ja nur um die unkomprimierten Rohdaten, welche theoretisch diese Größe haben dürfen.
Außerdem sollte sich bei so einem Projekt eine Dedoublizierungsfunktion lohnen. Die meisten Dateien werden ja mehrfach übertragen.
Wenn man jeden Inhalt in seine Einzelteile aufteilt und diese dann wie git unter dem eigenen Hash als Namen abspeichert, sollte man viele Daten auf wenig Platz bekommen.
Die Frage ist dann halt, mit welcher Formel sie auf die Yottabyte kommen.
Nun ja, dieser Quark dürfte der üblichen »Qualität« des Tasten-DJ Frank Patalong geschuldet sein, der ist sozusagen der Franz Josef Wagner des Spiegel in allen elektrischen Belangen.
Ein Studierter der Gattungen Publizistik, Politik, Anglistik, der nur selten über »Wieviel ist das nochmal in Fußballfeldern?« hinauskommt, auch im persönlichen Gespräch.
Und wie zum Geier verwaltet man ein Yottabyte an Daten?
OK, zum einen wäre da ZFS. Theoretisch kann ein ZFS bis zu 2^128 Bytes groß werden. (Ja, ich weiß, you can’t store 2^128 bytes without boiling the seas.) Praktisch haben die meisten Implementierungen Probleme mit Dateisystemen mit mehr als 2^64 Bytes. Oder waren das 2^64 Blöcke? Jedenfalls liegt ein so großes Dateisystem außerhalb der Spezifikationen der meisten FS. Wenn man sich auf FS beschränkt, die bis zu 2^64 (Halbkilobyte-)Blöcke groß werden können, sind das 2^7 = 128 verschiedene Dateisysteme. Wie schließt man 128 Dateisysteme an einen Rechner an? Zumal die ja alle auf mehreren Platten verteilt sind. Naja, die machen vielleicht ein Netzwerk, oder so.
Und ich kann mir einfach nicht vorstellen, dass das skaliert. Wenn ich mich recht entsinne, ist z.B. bei den extX-Dateisystemen die Suche einer Datei nach Dateinamen recht aufwendig, weil in jedem Verzeichnis nach der richtigen Datei gesucht werden muss, was nur linear geht. Damit ist die Suchzeit proportional zur Verzeichnisgröße.
Außerdem: Wie will man ein Yottabyte an Daten befüllen? Das ist doch eine fast unvorstellbar große Datenmenge. Werfen die da nur Namen durch die Gegend?
Annahme: Die haben keine grundsätzlich andere Technik als wir so kennen, aber vielleicht was mit einer noch höheren Speicherdichte als der derzeit verfügbaren.
Bei Abmessungen einer modernen Festplatte von (70 x 100 x 6,35) mm³ würde man bei einer sauberen Stapelung – jetzt mal sowas wie Verkabelung und Kühlung außen vor – einen Würfel von etwa 281 m Kantenlänge bekommen, wenn man 500.000.000.000 2 TB-Platten nähme.
Ginge man in den Mediamarkt und kaufte die Standard 3,5-Zoll-Teile (101,6 mm x 146,05 mm x 25,4 mm), wären es etwa 573 m.
Apropos: Selbst wenn die Kollegen für ein Terabyte Speicherkapazität im Wirklichganzgroßhandel nur einen Dollar zahlen sollten, würde das eine Erhöhung der Staatsverschuldung um ein Billiönchen bedeuten.
Und: Wenn jede der Platten nur ein halbes Kilo wiegen würde, würde man zur Anlieferung mit 40-Tonnern 625000 Fahrten benötigen.
Wenn es also keine neue Technik gibt, die wir alle nicht kennen, konnte der Journalist wohl einfach nicht rechnen. Wie immer.
hm. ne fehlerhafte übersetzung war das wohl nicht; der englische wiki-eintrag fabuliert auch von yottabytes:
“…that is designed to store data on the scale of yottabytes (1 yottabyte = 1 trillion terabytes, or 1 quadrillion gigabytes)”
haha. bei dem veranschlagten 65MW kommt mir natürlich der gedanke, das es bei den 65MW nicht bleiben wird; die brauchen bald n AKW für ihre rechen*zentren* wenns so weitergeht. in dem zusammenhang find ich die mär von lockheedMartin, dasse 2015 den ersten funktionierenden prototyp eines transportablen hot-fusion-reaktors im leistungsbereich 45-150MW fertighaben wollen, garnicht mehr so abwegig.
Solve for X: Charles Chase on energy for everyone:
Interessante Frage, wie sie das machen.
Garantiert nicht mit [mechnischen] Festplatten!
CERN und Co… wo kriegen die Ihre Forschungsgelder her?
Auf sub-atomarer Grundlage (Higgs Teichen/Quarks) sind die sogenannten Yottas wie vorher ‘unsere’ Bits und um Faktor Yotta schneller…
…und wer sagt, dass ein FS notwendig ist?
Mal etwas Phantasie Ihr Lieben 😉
Was, wenn die “Datei” selber (bei der Speichergröße kein Problem) intelligent genug wäre, zu wissen, wann sie sich, wo und bei wem zu melden hat??? AI ist doch nicht aus der Welt?!
Ihr nehmt das, was ihr habt und vergleicht… 20 Zentimeter sind nun nicht das Non+Ultra im Universum, egal wer sich das wünscht?!
*wer Ironie entdeckt, bitte nix sagen*
Hmmm ..?? 2 Terabyte — NUR ..??? – DAS ist das Material, was Otto-Normal im jeweiligen E-Markt erwerben kann; inzwischen -dürfen- wir ja 4 TB verbauen.
NUR, vor 20 Jahren hiess es damals schon, dass die -öffentlich verfügbare Technik- der in der Realität benutzten (Militär/Geheim/etc.) um mindestens 20 Jahre !!!! hinterher hinken sollte.
Hat natürlich NIE irgendjemand in offiziell bestätigt – selbst nicht in internen Zirkeln der Computer-Branche (80er+ Jahre – IBM/Control Data/Digital !).
(War extremste Verschwörungstheorie – das Wort existierte aber noch nicht — das hiess nur –SPINNER– !! )
Daher gehe ich mal von einer heutigen Plattenkapazität vom mindestens 1000 TB pro Laufwerk aus, was die nötigen Stückzahlen doch massivst drückt. Muss ja nicht zwingend in 5-1/4-Zoll-Technik gebaut sein …?
Dazu kommen noch Hinweise zu -Monsterbandlaufwerken- in 256-Spur-Technik mit 40+ kg schweren Spulen, so in der Form von 70-mm-Kinofilmen. Müssen so wie alte Toplader-Waschmaschinen aussehen, da bei dem Gewicht senkrechte Montage ziemlich unmöglich ist.
Selbst die alten B-52 hatten schon -Festplatten- eingebaut, die natürlich extrem gross und von geringer Kapazität waren, aber WANN wurden die nochmal gebaut/kontruiert ..????
Zumal es ja EDV-Techniken gibt, die noch nie ein Privatanwender gesehen, geschweige denn davon gehört hat. Immer noch.
(Worauf basieren nochmal USB-Sticks ..?? – Silber-Alkane ..???)
Grüsse von der -DEUTSCH-Farm- / Pinguingehege
@Hanz Moser
Es geht nicht nur um lange Leiter oder kurze Leiter. Die meisten Menschen sind zu blöd, einfache Abschätzungen zu machen. Anders kann ich mir nicht erklären, wieso alle Nasen lang Sachen in Zeitungen stehen oder im Fernsehen kommen, die um Zehnerpotenzen falsch sind.
Lass mal Schüler aus einem Gymnasium, Jahrgangstufe 10, schätzen, wie lange man braucht, um mit einem Gartenschlauch das Freibad zu füllen.
Silvana Koch-Mehrin http://www.youtube.com/watch?v=1gVSRXrJVjk ist nicht die Ausnahme, sondern die Regel.
Das mit dem Speichern der Datenmengen stellen sich viele so schwirig vor…
Dabei sind gerade die Fotos und Videos(hoher Platzbedarf) bei Unternehmen wie FB, YT usw. gespeichert – da kann sich die NSA mit ihren Kapazitäten voll auf die Überwachung der Bürger konzentrieren.
@Heinz
Wieder so ein Beispiel von “Rechne mal selber nach!”
Bei Wikipedia steht “Nach Angaben von Facebook bearbeiten sie täglich etwa 500 Terabyte, “. Lass die Datenmenge Faktor 100 größer sein, und lass es 10 Unternehmen der Größenklasse von Facebook geben.
Dann ist da immernoch der Faktor eine Millionen.
@Lohengrin
naja 1. wird bei den Firmen natürlich nicht alles gespeichert und 2. “Nach Angaben von Facebook bearbeiten sie täglich etwa 500 Terabyte” wird wohl bedeuten, dass sie noch mehr als das speichern.
1951: Wie schafft es ein Geheimdienst einen riesigen Fotoapparat einzuschleusen um Bilder zu machen?
Der Ansatz ist falsch. Sie haben andere Technologie, die Kamera war viel kleiner.
2013: Wie schafft es ein Geheimdienst so viele Festplatten zu betreiben?
Auch falscher Ansatz, weil er das unterstellt, was du und ich kaufen können.
Außerdem müsste diese enorme Anzahl von Festplatten nicht nur angeliefert, sondern auch entpackt und entsprechende Racks mit ihnen bestückt werden. Hinzu kommen die bei dieser Anzahl unvermeidlichen Ausfälle und der damit verbundene Arbeitsaufwand. Von Hand ist das alles nicht zu leisten. Immerhin hat ein Jahr nur 365*24*60*60=31.536.000s. Bei einer (fantastischen) Einbauzeit von 1s/Platte wäre man bei 500·10? Platten schon nach 15.854 Jahren fertig! Da hülfe weder eine Rekrutierungsmaßnahme noch Maschinen weiter, außerdem würde das Budget dabei ins uferlose steigen.
Ein ähnliches Problem hatten die ersten Großrechner auf Röhrenbasis, dauernd war eine kaputt, auch wenn eine defekte Festplatte bei einem Geheimdienst nicht zum Stillstand des Gesamtsystems führen sollte.
Die baulichen Maßnahmen um die Wärmeabfuhr zu gewährleisten kommen noch zum reinen Festplattenvolumen hinzu.
Das Vorhaben scheint mir mit normalen Festplatten doch eher „ambitioniert“ zu sein. Wie immer sie das machen, nicht mit handelsüblichen Festplatten vom Blödmarkt.
Vielleicht auch die folgende Aussage interessant. Da wurden VPN Anbieter gefragt, ob sie Logs anlegen über die Verbindungsdaten ihrer Nutzer.
Und einer der VPN provider (BTGuard) antwortet:
It’s technically unfeasible for us to maintain log files with the amount of connections we route,” BTguard explain. “We estimate the capacity needed to store log files would be 4TB per day.
Und das ist ja nur einer! Nach Danischs Rechnung wären es 2 HDDs täglich, demnach 7000+ Festplatten, wenn man allein die IP-Adressen für 10 Jahre loggen wollte (wie es die NSA ja vielleicht will). Demnach bräuchte man wahrscheinlich tatsächlich solche Mengen wie 500 Milliarden Festplatten, um den weltweiten IP Verkehr zu loggen.
>nach 15.854 Jahren fertig
oder mit 15.854 Männern nach einem Jahr
noch scheller ginge es wenn sie, so wie bei uns per Bundestag, es einfach beschließen, dass sie fertig sind.
@Heinz
Ich habe doch schon das 100fache als Datenmenge bei Facebook veranschlagt.
Wozu will man eigentlich pro Mensch 100 Terabyte speichern? Ein 90-Minuten-Film passte schon vor Jahren auf eine CD. 100 Terabyte reicht, um den Menschen sein leben lang in solcher Qualität zu filmen.
Das ist in jedem Fall ein paar Zehnerpotenzen zu groß. Das hat einer veranschlagt, der Yotta als ganz oben in der Liste bei Wikipedia gefunden hat, und sich mal wichtig tun wollte.
@Anmibe
Das muss ja nicht ein Mensch machen. Die USA haben etwa eine Millionen Leute in der Armee, und könnten zig Millionen Leute dazu vergattern.
Die meinen alle Festplatten aller Rechenzentren der Welt, also wenn ihr Rechenzentrum fertig ist. Und dann noch alles was jemals kommt
@HR
Du kennst Arbeiter die für den Platteneinbau max. 1s benötigen?
Das hört wie alte Dreisatzwitz an:
Ein Schiff benötigt von Europa nach Amerika sieben Tage. Wie lange benötigen sieben Schiffe? 1 Tag!
Aber das mit dem Beschluss hört sich vernünftig an, eine klare politische Lösung.
@Lohengrin
Ich habe nie von einer Person gesprochen. Die Personenzahl ist bei meiner Rechnung zunächst vollkommen unerheblich. Sie müssen nur auf eine mittlere (illusorische) Einbauzeit von 1s/Festplatte kommen. Mit genügend Leuten kann man diesen Wert natürlich rechnerisch sogar deutlich unterbieten, aber das schafft man logistisch nicht (man stelle sich Millionen von Arbeitern im NSA-Rechenzentrum mit einem Rucksack mit Festplatten vor, alles unter Geheimhaltung natürlich) und die Leute wollen auch bezahlt werden.
@nullplan
> Außerdem: Wie will man ein Yottabyte an Daten befüllen? Das ist doch
> eine fast unvorstellbar große Datenmenge. Werfen die da nur Namen
> durch die Gegend?
Das sagte man damals von den Megabytes, Gigabytes und Terabytes auch. Und bisher hat Porn jede Datenmenge vollbekommen. 🙂
@Anmibe:
> Ein Schiff benötigt von Europa nach Amerika sieben Tage. Wie lange
> benötigen sieben Schiffe? 1 Tag!
Stimmt sogar, wenn man es auf den Durchschnittswert runterbricht. Wieviele Schiffe kamnen in dieser Woche im Schnitt pro Tag an? 1 Schiff/Tag. 🙂
ist wie mit den Tkatzyklen pro befehl in modernen Prozessoren. Die schaffen i.d.R. auch mehr als einen Befehl pro Takt, im Schnitt.
Kein Wunder, das der Chef über die Veröffentlichung der Speicherpläne sauer ist. Wenn nur noch jeder zweite Terrorist zu Facebook geht, haben sich die Kosten für das Auffinden einer Terrornadel im Datenhaufen glatt verdoppelt. Effizienter Einsatz von Ressourcen sieht anders aus.
@Anmibe
Du schriebst
> Bei einer (fantastischen) Einbauzeit von 1s/Platte wäre man bei
> 500·10? Platten schon nach 15.854 Jahren fertig!
Das, was du gemeint hast, ist wohl Mannjahre statt Jahre, oder vergendert Personenjahre.
Wer nach einer Verwaltungslösung (Filesystem ist zu tief gestapelt) für eine solche Datenmenge sucht, sollte sich mal Ceph anschauen: http://www.ceph.com/
Da fangen die Storage-Projekte wohl üblicherweise im Petabyte-Bereich an.
Die NSA selber spricht von Zettabytes, also 10²¹ bzw. 2?? Bytes:
The storage capacity of the Utah Data Center will be measured in “zettabytes”.
http://nsa.gov1.info/utah-data-center/
@Lohengrin
Nein tatsächlich Jahre, Mannjahre wären es noch mehr
Warum eigentlich über etwas spekulieren, was sich in 2 Sekunden recherchieren lässt?
Laut isuppli.com wurden in den letzten und werden in den nächsten Jahren um die 500 Mio. Festplatten ausgeliefert: http://www.isuppli.com/memory-and-storage/news/pages/hard-drive-shipments-rebound-to-record-level-in-2012.aspx
D.h., selbst mit dem Hochwasser ist es vollkommen unrealistisch, dass die alle Festplatten aufgekauft haben.
@Anonymer Feigling
Du gehst davon aus, daß isuppli die echten Daten bekommt? wenn jemand sowas einfädelt, sorgt er auch dafür, daß die Daten passen.
Als Berufsparanoiker weiß man sowas. 🙂
Kann man denn diese Menge an Festplatten sicher um die halbe Welt tranportieren, ohne das es irgendjemand auffällt?