Επιλογή software NAS

Καλησπέρα,

Σκεφτομαι να κανω ενα βημα σε επαγγελματικό NAS. Αν και κοιταζα την thecus η οποια εχει καποια ετοιμα NAS και με linux, τελικα ειναι καλυτερη λυση να τον φτιαξω μονος(ευκολια αναβαθμισης οταν θελησω) .

Στην αρχη ελεγα να παω στο helios4 αλλα εκτος οτι δεν το προλαβα, ειχε και αρκετους περιορισμους.

Τελικα μαλλον θα παω στη λυση μητρικης ωστε να εχω 4 sata και θα ψαξω να εχει και m.2 για το λειτουργικο.

Απο αυτα που ξερω ειμαι αναμεσα σε freenas και nas4free. Ποιο πιστευετε οτι ειναι πιο ευχρηστο και με περισσοτερες λειτουργιες; Υπαρχει καποιο με ενσωματωμενο cloud η θα πρεπει να εγκαταστησω και το owncloud?

Οι προδιαγραφες θα ειναι επεξεργαστης διπύρηνος ( οτι φθηνοτερο βρω) 8gb ram αν και μπορει να ξεκινησω με 4 η με 2. Οτι μικροτερο βρω σε m.2 μιας και αδειος θα ειναι, και 4 δισκοι σε raid5 μαλλον 4tb.

Με ενδιαφερει η ταυτοχρονη χρηση του NAS απο 4-5 ατομα, η ταχυτητα, η ευκολια διαχειρησης των χρηστων ωστε να δινω η να παιρνω δικαιωματα οταν χρειαζεται, αλλα και το cloud.

Περαν του freenas και nas4free, ειδα οτι πλεον υπαρχουν αρκετα λογισμικα nas, αλλα εχω χρονια να ασχοληθω οποτε μου φαινονται αγνωστα εντελως. Αν εχετε να προτεινετε οτιδηποτε μπορειτε να μου πειτε

Ευχαριστω

Καταρχήν, κάποια γενικά πράματα:

Αν δεν πας για zfs, τα 8gb ram περισσεύουν. Με 4 είσαι παραπάνω από μια χαρά.

M.2 για το λειτουργικό πραγματικά δεν χρειάζεται. Είναι waste of resources, money και πραγματικά δεν ξέρω τι παίζει με την αξιοπιστία τους σε σχέση με τους παλιούς καλούς hdd. Βάλε το λειτουργικό σε ένα raid1 σε hdd, να χεις το κεφάλι σου ήσυχο.

Μην πας σε raid5/6. Είναι αχρείαστο ρίσκο και λάθος! Δεν πρέπει να υπάρχει μεγαλύτερη αγωνία στον πλανήτη γη, από το να χάσεις έναν δίσκο και να περιμένεις να γίνει rebuilt το array με καινούριο δίσκο (προσευχόμενος γονυπετής να μην σου χτυπήσει δεύτερος δίσκος - οι πιθανότητες μαθηματικά δεν είναι με το μέρος σου!). Κάνε ένα raid1 με 2 γαϊδούρια δίσκους και αν κάποια στιγμή δεν σου φτάνει ο χώρος βάλε άλλα δύο γαϊδούρια και κάντο raid10. ΜΗΝ βάλεις raid5/6.

Εγώ προσωπικά έτοιμες λύσεις αλλονών τύπου freenas κτλ δεν γουστάρω. Προτιμάω stock λειτουργικά, να χω το κεφάλι μου ήσυχο (πχ debian) και φυσικά software raid. Για να λες να στήσεις το owncloud μόνος σου σημαίνει ότι δεν είσαι νουμπάς… Σε τελική ανάλυση θα χρειαστείς πολύ λίγα services (ssh, nfs, samba, owncloud και ΜΤΑ).

Από κει και πέρα, αν τα δεδομένα σου είναι πολύ πολύ σημαντικά, τότε το bit rod είναι κάτι που δεν πρέπει να αγνοήσεις. Οπότε, εκεί το πράμα μπλέκει… Η βέλτιστη λύση είναι το zfs - οπότε ή πας σε freebsd (που δουλεύει τέλεια και θες μπόλικη ram, για να πετάς) ή παίζεις ζαριά και πας σε zfs on linux… Ή βάζεις btrfs (νομίζω ότι κάνει integrity checking), το οποίο είναι το μέλλον (και ίσως και το παρόν) στο λίνουξ. (Υπάρχει και η λύση του snapraid για JBOD [Just a Bunch Of Drives] storage arrays - αλλά δεν είναι αρκετά stock κατάσταση - δεν θα την προτιμούσα για κάτι “σοβαρό”).

Αν τα δεδομένα σου είναι περισσότερο τρέχοντα και όχι σούπερ - ντούπερ σημαντικά (με διάφορα αντίγραφα από δω κι από κει), τότε κάνεις mdadm raid1(ή10) σε ext4 και είσαι έτοιμος (σε ό,τι λίνουξ τραβάει η καρδιά σου - το debian είναι η προφανέστερη πρόταση).

Νομίζω ότι η σημαντικότερη επιλογή είναι το filesystem. Αυτό θα καθορίσει τελικά τις επιλογές σου. Και φυσικά η “πολυτιμότητα” των δεδομένων σου. Αν θέλεις ατόφια όλα τα δεδομένα σου μετά από 10 χρόνια, τότε το πράμα μπλέκει (ένεκες bit rod). Αν όμως μιλάμε για δεδομένα που τα “δουλεύουν” 5-6 άνθρωποι για κάποιoυς μήνες (οπότε υπάρχουν αντίγραφα από δω κι από κεί) ή μουσική και ταινίες, τότε τα πράματα είναι πολύ πιο απλά.

5 «Μου αρέσει»

Πολυ κατατοπιστικος!

Τα δεδομενα οντως θα ειναι και καπου αλλου διασπαρτα, αλλα οταν γινει η ζημια δεν ειναι οτι πιο ευκολο να τα ξαναμαζευεις. Στο NAS θα ερχονται και καποια δεδομενα απο εξωτερικους σερβερ μη προσβασιμους με το χερι αλλα με ρυθμιση rsync καθε βραδυ.

Τις ετοιμες λυσεις freenas, nas4free κτλ. τις κοιταζω κυριως γιατι αν καποιος αλλος που δεν εχει μεγαλη επαφη με το linux πρεπει να κανει κατι, θα του ειναι πιο απλο το web interface.

Για το filesystem λογικα θα ηθελα zfs αλλα πρεπει να ξεκινησω με αρκετη ram αν και με τις σημερινες τιμες μνημης δεν ειναι ακριβη λυση. Παρ οτι διαβαζω αρκετα για το linux καθημερινα, δεν εχω ασχοληθει με το btrfs οποτε θεωρω οτι εχω αγνοια και σημερα κιολας θα κοιταξω τις λεπτομερειες.

Το raid5 το κοιταζα μονο και μονο για την αυξηση χωρητικοτητας, αλλα επειδη θα υπαρχουν και κρισιμα δεδομενα, εχεις δικιο και ειναι πιο λογικο το raid10.

Τελος τον m.2 τον εβαλα σαν φθηνη ετοιμη λυση. Δηλαδη ειναι ενας δισκος με κοστος 15-20€ και με ευκολια να ειναι παντα mirrored αφου το λειτουργικο συστημα δεν θα εχει ποτε μεγαλες αλλαγες. Ακομη και να χτυπησει, βαζεις τον δευτερο που εχει κανει mirror και συνεχιζεις να δουλευεις με κοστος 15€!

Αυτο που με φοβιζει ειναι η ταχυτητα με την οποια θα δουλευουν ταυτοχρονα ολοι οι χρηστες. το μεσο αρχειο θα ειναι καπου 300mb με τα μεγαλα αρχεια να ξεπερνανε τα 4gb. Εκει ισως βαλω δευτερη καρτα δικτυου για να μοιρασω το bandwidth, αν δω οτι το δικτυο δεν παει.

Πριν χρόνια ξεκίνησα με freenas, αλλά στη διάρκεια το γύρισα σε Openmediavault.
το τρεχω σε HP Microservers με 2, 4 και 6gb ram, 3 τον αριθμο, με 20Τβ το καθένα.
προσωπικά δεν εχω raid, γιατι εχω τους WD τους κόκκινους, αλλά τα 3 αυτά, ειναι σε 3 διαφορετικά σπίτια και συγχρονίζουν με rsync.

περαν του οτι ειναι εξαιρετικο και αξιόπιστο, εχει και docker, που σημαίνει οτι τρεχουμε και κάτι, π.χ. ενα opendchub :slight_smile:

ρίξτο μια ματιά…

2 «Μου αρέσει»

Αν θέλεις μεγαλύτερο redundancy μπορείς να παίζεις με ZFS RAID Z2 (fault tolerance 2 δίσκων) που νομίζω είναι καλύτερη λύση από το RAID10.

Πάντως, αν μιλάμε για critical δεδομένα, κατά τη γνώμη μου η πιο οικονομική λύση είναι ZFS RAID Z (aka RAID5) και full backup δεδομένων σε άλλο σημείο με rsync (καθημερινό/εβδομαδιαίο/μηνιαίο whatever ανάλογα με το πόσο σημαντικά είναι τα δεδομένα και πόσο συχνά αλλάζουν).

Αυτό δεν το κατάλαβα. Το δίκτυό σου έχει δεδομένη καλωδίωση. Όσες κάρτες δικτύου και να βάλεις, δεν αλλάζει κάτι. Πόσοι χρήστες θα έχουν ταυτόχρονα πρόσβαση στον server και θα αντιγράφουν αρχεία; 1Gbps δικτύωση δίνει θεωρητικά 125MB/s αλλά με το overhead δικτύου, πρωτοκόλλων κτλ δεν θα τα φτάσεις ποτέ. Οπότε μήπως να σκεφτείς για μετάβαση σε 10Gbps δικτύωση από τώρα.

Μήπως υπερβάλλεις; Τα failure rates των δίσκων είναι εξαιρετικά χαμηλά. Πώς είναι δυνατόν οι πιθανότητες να μην είναι με το μέρος του;;; Μπορείς να μου το εξηγήσεις; Σε κάθε περίπτωση μπορεί να πάει σε RAID Z2, αλλά κατά τη γνώμη μου προτιμότερο RAID Z1 για redundancy και καλό full backup policy

Τα δεδομενα εχουν αλλαξει. Ξεκινησε σαν πλακα αλλα σοβαρεψε αρκετα. Το thecus δεν μου κανει. Εχω παραγγειλει 1u server για το nas (δεν εχω πολυ χωρο στο rack μεχρι να φτιαξω το server room οπου πιστευω θα εχω ανεση χωρου για καποιο διαστημα) . Για την ιστορια το 1gbit ετσι κι αλλιως δεν με καλυπτε. Καθε θεση εργασιας εχει ενα 10gbit και 2 του 1gbit. Το 10gbit ειναι αποκλειστικα για τις επικοινωνιες με τους server. Στο nas θα υπαρχει raw video δεδομενα και υλικο πολλων gb το καθε αρχειο.Το αρχικο θεμα μου ηταν δηλαδη αν θα πρεπει να εχω 2 δεκαρες στο nas ωστε αν τραβανε/στελνουνε ταυτοχρονα 5 ατομα να μην κολλαει το συστημα. Εδω βεβαια ειχα να αντιμετωπισω και τα bottleneck του nas. Οποτε η λυση ενος δυνατου επεξεργαστη με 16gb ram για αρχη ηταν μονοδρομος. Τα gbit ειναι για αλλες δουλειες οπως voip καμερες ιντερνετ και λοιπα. Ηθελα να παω σε 40gbit αλλα δυστηχως ανεβαινει κατακορυφα το κοστος και αυτη τη στιγμη δεν γινεται να γινει. Οποτε οταν εχω το σερβερ στα χερια μου θα κανω αρκετα τεστ με οτι εχει ειπωθει παραπανω για να βρω την καλυτερη δυνατη λυση

Μια δεκάρα έχει 1250MB/s bandwidth. Από ποιο medium διαβάζεις αρχεία με τέτοια ταχύτητα; Εκτός αν το storage σου είναι sata ssds / pcie nvme ή έχεις καμιά δεκαριά μηχανικούς σε RAID.

Μιλάμε για τοπική δικτύωση;

Μιλαμε για ταυτοχρονη αναγνωση απο διαφορα μεσα και ταυτοχρονη αναγνωση εγγραφη σε αρκετους σερβερ. Οι σερβερ εχουν ετσι κι αλλιως απο εναν nvme

Βασικα προκειτε για την εταιρεια μου η οποια ξεκινησε εντελως διαφορετικα και εχει εμπλουτιστει με παρα πολλα κομματια τους τελευταιους μηνες

Υπάρχει το ethernet bonding

Ρίξε μια ματιά εδώ

Παρήγγειλε κι αυτά… Θα τα χρειαστείς! :rofl:

Το άρθρο αυτό έχει δημιουργήσει απίστευτο μύθο από τότε που δημοσιεύτηκε και έχει αναπαραχθεί σε άπειρη αρθρογραφία. Πουθενά δεν αναφέρεται πώς προκύπτει το URE 10^14 bits που δίνουν οι κατασκευαστές από… πάντα και πώς όλοι δίνουν το ίδιο και δεν αλλάζει στην πορεία του χρόνου. Όσοι έχουν RAIDS δηλαδή και κάνουν scrubing τακτικά θα έπρεπε να έχουν 100% πιθανότητες να αστοχήσουν οι δίσκοι τους μετά από λίγα scrubs. Αλλά αν ισχύει το 10^14, ακόμα και να μην κάνω RAID, αλλά απλό backup, χάσω τον δίσκο και πάω να επαναφέρω από το backup μου και πάλι τα ιδια ποσοστά αστοχίας δεν θα έχω;

Επίσης το ZFS (μια που αναφέρθηκε) ΔΕΝ πρόκειται να σταματήσει το rebuild αν συναντήσει ένα URE. Θα ολοκληρώσει το rebuild και το πολύ πολύ να χάσεις κάποια αρχεία ΑΝ αυτό το URE είναι πάνω σε αρχείο. Αν είναι σε metadata ή σε κενό χώρο, δεν θα χάσεις τίποτα. Πράγματι κάποιοι hardware controllers αν συναντήσουν URE στο rebuild θα σταματήσουν ή απ’ ό,τι διάβασα και το mdadm θα σταματήσει, αλλά δεν ξέρω πόσο επικαιροποιημένα είναι αυτά τα στοιχεία. Γενικά υπάρχει μια αβεβαιότητα για το θέμα που φτάνει στην υπερβολή. Πάντως το ZFS θα ολοκληρώσει το rebuild

Οι σύγχρονοι δίσκοι έχουν forward error correction και είναι σε θέση να γνωρίζουν πού είναι πιθανόν να συναντήσουν URE, έχοντας φροντίσει να κάνουν reallocate τους προβληματικούς sectors από τη δεξαμενή που έχουν. Εν τω μεταξύ ο χρήστης έχει ειδοποιηθεί από το SMART και μπορεί να αντικαταστήσει τον δίσκο.

Εγώ βλέπω τα failure rates π.χ. εδώ

σε περιβάλλον με άπειρες συστοιχίες, τακτικό scrubbing και προφανώς πολλά rebuilds. Τα ποσοστά στη χειρότερη είναι 2% annual failed rate. Και μιλάμε για server περιβάλλον με 24/7 λειτουργία και όχι home με απείρως μικρότερη χρήση.

Ο παλιότερος δίσκος στο σύστημά μου έχει διαβάσει πολλαπλάσια δεδομένα από 12^14 bits, είναι δεκαετίας (power-on 2+ χρόνια) και δεν έχει κανένα θέμα.

Έτσι όπως εγώ βλέπω τα πράγματα, το στοιχείο - κλειδί είναι ακριβώς αυτό: τι θα γίνει αν στο rebuild υπάρξει ure. Για το mdadm ξέρω αυτό ακριβώς που γράφεις.

Από την άλλη μεριά, σε ό,τι αφορά στις προσωπικές μου εμπειρίες (που προφανώς δεν αποτελούν θέσφατο), κάποια στιγμή που χρειάστηκε να κάνω rebuild ένα raid5 array μου με 4 δίσκους των 2TB, το rebuild έγινε κανονικά, χωρίς ure ή άλλες εκπλήξεις. Κράτησε πάρα πολύ (γιατί οι δίσκοι ήταν προς το γεμάτο), αλλά τέλειωσε χωρίς προβλήματα.

Θα θελα να βρω κάποιον με mdadm raid5 που κάνει scrubing, να τον ρωτήσω τι κάνει μετά. Κι αυτό, γιατί
απ’όσο ξέρω το scrubing απλά λέει ότι δύο bits είναι διαφορετικά - δεν λέει ποιο είναι το καλό και ποιο το κακό. Οπότε η όλη διαδικασία (εύρεσης του σωστού και διόρθωσης του λάθους) είναι τόσο επίπονη και χειροκίνητη που χάνει την πρακτική της αξία. Περισσότερο θεωρητική δυνατότητα είναι παρά πρακτική. Οπότε ποιος στα κομμάτια το κάνει και τι κάνει στην πράξη μετά?

Ειρήσθω εν παρόδω, οι δίσκοι τρώνε μεγαλύτερο ζόρι στα power on-offs και όχι στη συνεχή λειτουργία.

Το ZFS δεν είναι mdadm. Έχει το προνόμιο να είναι volume manager και file system μαζί και μπορεί να διαχειριστεί εντελώς διαφορετικά το scrubbing από το mdadm. Το zfs έχεις checksums metadata και μπορεί να διορθώσει τις ασυμφωνίες που θα προκύψουν στο scrubbing είτε από τα.metafata είτε καταφεύγοντας στο parity.

Εξ όσων ξέρω, πολύ σωστά τα λες σε ό,τι αφορά στο zfs και το scrubing. Οι φιλοσοφίες που έγραψα παραπάνω αφορούν στο scubing σε mdadm:

Καλό διάβασμα:
https://www.unixsheikh.com/articles/battle-testing-data-integrity-verification-with-zfs-btrfs-and-mdadm-dm-integrity.html

2 «Μου αρέσει»