Empfehlung für NAS mit hoher Lese- und Schreibrate

[crazy-to-bike]

Hallo,

hier werkelt ein 12 Jahre altes NAS QNAP TS-119P II (mit deutlich jüngerer 10 TB HD)

Nach der Umstellung meiner Backupstrategie von reinem rsync via ssh auf das NAS hin zu einen versionierten Backup hat sich die gesamte Ordnerstruktur des Backups geändert (ich nutze nun Back in Time). Das hatte ich beim ersten Backup mit BIT nicht bedacht. Dadurch wurde beim ersten Sync vom NB auf das NAS alles neu geschrieben und ich dachte, ich erlebe es nicht mehr, dass das Backup fertig wird.

Grund ist das einfach sehr langsame NAS. Die Lese-/Schreibraten liegen bei großen Dateien bei max. knapp 5 MB/s (typisch aber auch nur 1-2) und bei kleinen Dateien unter 1 MB/s.

Von diesem NAS mache ich dann regelmäßig per rsync via ssh weitere Backups auf meinen alten Rechner, der sonst stromlos (ausgesteckt) rumsteht. Also so, als wenn die Backupplatten im Schrank liegen.

Auch das dauert jetzt schon seit 2+ Tagen und es sind Stand jetzt gerade mal ca. 77% übertragen.

Selbst wenn künftig erst mal die geänderten und zu übertragenden Datenmengen wieder deutlich kleiner werden:

Habt ihr einen Tipp für ein NAS, das beim Lesen/Schreiben via ssh möglichst fix ist?
Ich habe eine strukturierte 1Gbit/s-Verkabelung im Haus.

Worauf sollte man sonst achten, wenn man jetzt neu kauft?

• Größe des RAM mindestens?
• M.2 Steckplatz / M.2 Puffer?
• PCIe Steckplatz?
• RJ45 > 1 Gbit/s?
• …?

Bevorzugen würde ich QNAP, weil ich dann die HD ohne Neuinstallation und Datenverlust übernehmen kann. Wenn die Datenübertragung entsprechend schnell ist, geht natürlich auch ein anderer Hersteller.

Erste Ideen wären QNAP TS-262-4G oder QNAP TS-364-8G

Edit:
Ach ja, auf das NAS verzichten und die Backups alle direkt auf den alten Rechner machen kann/will ich nicht, weil

1. auf dem NAS auch alle Medien für Kodi liegen
2. der Rechner viel mehr Energie braucht
3. der Rechner und die darin verbauten Platten üblicherweise von allen Kabeln getrennt stehen soll (Defekt durch Überspannung etc.)

Viele Grüße
Steffen

[jochen]

Hi Steffen,

ich bin auch gerade auf der Suche nach nem geeigneten Nachfolger für meine 10 Jahre alte Synology. Und auch daran interessiert, die Backupzeiten (v.a. für gelegentliche Fullbackups) zu minimieren.
Wird wohl QNAP werden, da es Synology auch im Jahre 2023 der Digitalisierung noch nicht hinbekommt, standardmäßig eine 2,5Gbit/s NIC zu verbauen. Die braucht man vielleicht jetzt noch nicht aber das Ding soll ja wieder 10 Jahre halten und da ist das schon sehr schwach. QNAP hat das.
Ich liebäugle entweder mit dem QNAP TS-453e oder dem TS-464-4G (weil das 4G anders als das 8G erweiterbar ist). Aber die sind mir aktuell zu teuer. Kommen ja auch noch Platten dazu…
Auch wenn meine Switchinfrastruktur noch keine 2,5GBit/s kann, überlege ich, ob ich eine Direktverbindung zwischen Homeserver und NAS mit 2,5 Gbit/s herstelle und der Rest läuft halt mit 1 Gbit/s.
Zum RAM: wenn Du das Dingen nur als Datengrab nutzen willst und nicht für VMs etc. dürften Dir 4 GB RAM reichen.
Unterstützung für M2/PCIe SSDs, die dann als Cache fungieren, könnten bei den aktuell sehr günstigen SSD-Preisen evtl. interessant sein.
Ob das den Flaschenhals beheben würde: ??? Was hast Du denn für ein Storage im NB? HDD? SSD? Wie ist es beim Backup angebunden? LAN? WLAN (falls ja, was für eines)?
Wegen 2 vs. 3 bay: Du willst, da das ja ein sicheres Backup sein soll, vermutlich kein JBOD sondern RAID, oder!? Und da finde ich es bei 2bay-NASs halt immer super (kosten)ineffizient, bei nem RAID 1 kurz mal 50% der Kapazität zu „verschenken“. Bei nem RAID 5 aus 3 Platten wird da das Verhältnis schon besser…

Viele Grüße,
Jochen

[crazy-to-bike]

Hallo Jochen,

@jochen

ch liebäugle entweder mit dem QNAP TS-453e oder dem TS-464-4G (weil das 4G anders als das 8G erweiterbar ist). Aber die sind mir aktuell zu teuer.

Eben. 4-Bay braucht man privat imho auch echt nicht. Ok, Raid 5 + Hostpare möglich.

@jochen

Zum RAM: wenn Du das Dingen nur als Datengrab nutzen willst und nicht für VMs etc. dürften Dir 4 GB RAM reichen.

Ja, das NAS ist eigentlich nur Datengrab. Auf meinem alten PC ist Proxmox installiert
Den will ich aber aus Energie(kosten)gründen nur dann laufen haben, wenn ich auch eine VM (jenseits von Virtuelbox auf dem NB) brauche oder was testen will.

Das derzeitige NAS hat zwar 1GBit/S, aber nur eine ARM-CPU und 512 MB RAM

@jochen

Unterstützung für M2/PCIe SSDs, die dann als Cache fungieren, könnten bei den aktuell sehr günstigen SSD-Preisen evtl. interessant sein.
Ob das den Flaschenhals beheben würde: ???

Ich denke ja, zumal (fast) jedes neue NAS deutlich nehr Performance haben wird als das Aktuelle (s.o.)

@jochen

Was hast Du denn für ein Storage im NB? HDD? SSD? Wie ist es beim Backup angebunden? LAN? WLAN (falls ja, was für eines)?

Das ist ein Thinkpad X13 Yoga, angebunden über Thunderbolt-Dockingstation ans 1Gbit LAN.

Derzeit rsynct mein Proxmox-Rechner mit 1 GBit Anbindung per LAN vom NAS auf die Backupplatte - wie geschrieben seit Tagen - mit Übertragungssraten von ~ 1 MB/s

@jochen

Wegen 2 vs. 3 bay: Du willst, da das ja ein sicheres Backup sein soll, vermutlich kein JBOD sondern RAID, oder!? Und da finde ich es bei 2bay-NASs halt immer super (kosten)ineffizient, bei nem RAID 1 kurz mal 50% der Kapazität zu „verschenken“. Bei nem RAID 5 aus 3 Platten wird da das Verhältnis schon besser…

Wie geschrieben, aktuell habe ich ein 1-Bay NAS mit einer noch nicht alten 10 TB HD, die ich gerne auch weiter verwenden würde. Und wie wir alle wissen, ist ein Raid eh kein Backup

Daher mache ich bislang das Backup vom NB auf’s NAS (damit liegen die Daten schon mal auf 2 Disks), und das NAS wird regelmäßig auf eine HD im Proxmox-Rechner gersynct, der dann wieder stromlos gemacht wird.

So gesehen würde ich auch wieder ein 1-Bay NAS kaufen, aber die sind halt auch heute alles andere als performant (ARM CPU, wenig RAM, nur 1 GBit LAN, kein SSD-Caching o.ä.

Nur daher die Überlegung, auf 2-3 Bay zu gehen.

Viele Grüße
Steffen

[jochen]

Hi Steffen,

@crazy-to-bike

Und wie wir alle wissen, ist ein Raid eh kein Backup

Das stimmt aber ist ein Backup ohne RAID ein Backup?
Mein Plan ist daher ein 4bay NAS, welches ich vorerst mal mit 3 HDDs im RAID 5 betreiben möchte. Klar, das kostet echt ne Stange Geld. Deswegen warte ich mal auf die Black-Fridays o.ä.

Viele Grüße,
Jochen

[crazy-to-bike]

Hallo Jochen,

@jochen

Das stimmt aber ist ein Backup ohne RAID ein Backup?

Ein NAS ist streng genommen nie ein echtes Backup, so lange es sich im selben Haus befindet. Noch strenger genommen auch keine Festplatte im Schrank im selben Haus.
Aber grundsätzlich ist wohl alles besser als die Daten - wie die Meisten - nur auf dem Rechner/NB zu haben

Meine Strategie ist halt bislang etwas weniger Datensicherheit der gesicherten Daten auf dem NAS (kein RAID) und dafür ein wirklich echtes Backup (wenn auch meist nicht tagesaktuell) stromlos im Schrank (oder in meinem Fall im alten PC, der aber, wenn er nicht genutzt wird, komplett von allen Kabeln getrennt wird).

Das ist von der Wahrscheinlichkeit, dass einzelne Daten verloren gehen, schon relativ gering, da diese immerhin mal auf 2 Speichermedien liegen. Zumal das Meiste, was sich tagesaktuell ändert, auch noch mit 2 Nextclouds synchronisiert wird.

Die Wahrscheinlichkeit, dass alle Daten weg sind, ist nochmal deutllich geringer, da diese auf 3 Speichermedien (eines davon sogar stromlos) liegen.

Die Daten auf einem NAS mit RAID (und ggf. sogar Hotspare) sind natürlich deutlich ausfallgeschützter als bei einem 1-Bay NAS, aber wenn man seine Daten nur da hin sichert und man hat eine Überspannung, bei der alles, was am Netz hängt, gegrillt wird, sind alle Daten weg - wenn sie nicht noch zusätzlich auf einer außerhäusigen (Next)Cloud liegen.

Ein 4-Bay NAS (und eigentlich selbst das 3-Bay NAS) ist mir echt zu teuer. Zumal ja dann noch die Platten dazu kommen.

@jochen

Klar, das kostet echt ne Stange Geld. Deswegen warte ich mal auf die Black-Fridays o.ä.

Eben. Und ob man dann bei Black-Friday genau das Gewünschte/Passende wirklich zum Schnäppchenpreis bekommt

Viele Grüße
Steffen

[jochen]

@crazy-to-bike

Und ob man dann bei Black-Friday genau das Gewünschte/Passende wirklich zum Schnäppchenpreis bekommt

Das ist die Frage aber die Hoffnung stirbt zuletzt Und noch läuft meine Synology ja noch.

Viele Grüße,
Jochen

[crazy-to-bike]

Hallo Jochen,

@jochen

Und noch läuft meine Synology ja noch.

laufen tut mein QNAP auch noch. Und für den aktuellen Synchronisierungsmarathon nutzt mir ein neues NAS auch nix. Bis das das wäre, dürfte der quasi Erstsync dann doch durch sein.

Vermutlich denke ich in ein paar Tagen auch wieder ach das aktuelle NAS tut’s auch weiter.

Aber zumindest immer schön, sich hier etwas auszutauschen

Viele Grüße
Steffen

[crazy-to-bike]

Hallo,

jedenfalls ist klar, warum der rsync derart langsam ist:

CPU Auslastung 100% und Load von 4,5.

Viele Grüße
Steffen

[crazy-to-bike]

Hallo,

das hier nur am Rande:
Wenn ich den rsync vom NAS auf den Proxmox-Rechner mit der Backup-HD nicht über ssh, sondern ein gemountetes NFS-Share mache, dann ist die Datenübertragung laut Statistik im NAS deutlich höher (~ 12-15 MB/s statt ~ 1 MB/s), die CPU nicht zu 100% ausgelastet, aber die Load auf dem NAS deutlich größer:

Gut, vom Proxmox zum NAS kann ich die Shares per NFS fest einbinden. Dann ist zumindest dieser Sync deutlich schneller.

Vom NB auf’s NAS könnte ich das zwar auch machen, aber da will ich aus Ransomware-Gründen keine dauerhafte Verbindung zum NAS. Und wenn man vor dem Backup vergisst, das Share zu mounten, dann backupt man auf die lokale Platte, bis die voll läuft.

Viele Grüße
Steffen

[Buster]

Hi,

kann es sein, dass deine CPU im alten NAS keine Befehlssatzerweiterung für AES-Verschlüsselung (AES-NI) besitzt? Das würde erklären, wieso die verschlüsselte Verbindung über SSH soviel langsamer ist. Dann gilt es darauf zu achten, dass das mit drin ist, wobei das heutzutage der Standard auch in Billigprodukten sein dürfte.

MfG Buster

[crazy-to-bike]

Hallo Buster,

@Buster

kann es sein, dass deine CPU im alten NAS keine Befehlssatzerweiterung für AES-Verschlüsselung (AES-NI) besitzt? Das würde erklären, wieso die verschlüsselte Verbindung über SSH soviel langsamer ist.

Hier im lokalen kabelgebundenen Netz in den eigenen 4 Wänden übertrage ich ohne Verschlüsselung.

@Buster

wobei das heutzutage der Standard auch in Billigprodukten sein dürfte

Ich denke bei einem NAS aus Produktdesignjahr ~ 2010 war das sicher nicht der Fall. Bei einem neuen NAS sollte das, wie du sagst, wohl der Fall sein.

Aber wie gesagt, ich übertrage hier im Haus nicht verschlüsselt. Das kann also nicht die Ursache sein, dass das über ssh so grottenlahm ist.

Viele Grüße
Steffen

[carsten]

Ich hatte mich einst mit NAS beschäftigt und meine mich zu erinnern, daß ich schlußendlich das NAS per iSCSI eingebunden hatte. Ein Synology DS111 aus dem Jahr 2011 mit einem Marvell Kirkwood und 256MB DDR3 hatte damit über 50 Mbit/s geschrieben bekommen. Das finde ich ganz brauchbar für eine zusätzliche Datenablage.

[crazy-to-bike]

Hallo Carsten,

der Wechsel von SSH auf NFS brachte aber wie geschrieben immerhin schon mal 12-15 statt ~ 1 MB/s.

iSCSI wäre natürlich auch noch einen Versuch Wert.
Schaue ich mir auf jeden Fall mal an.

Viele Grüße
Steffen

[carsten]

Ich habe mir die Leistung von iSCSI noch einmal angeschaut. Es sind in der Tat zwischen 55 und 65MB/s, die auf das NAS geschrieben werden.
Es wird zur Vereinfachung ein logisches Volume übers Netz kopiert:

1319414792192 bytes (1.3 TB, 1.2 TiB) copied, 23614.5 s, 55.9 MB/s

Hätte man die Millionen einzelnen Dateien des Archivs kopiert oder abgeglichen, wäre dies sicher nicht so schnell gegangen. Bereits mal durch die Verzeichnisse schauen dauert eine Weile:

time find backuppc/ -type f | wc -l
63.208.783

real 16m9,590s
user 1m17,917s
sys 4m8,075s

Beste Grüße
Carsten