Είμαι σε φάση που αναδιοργανώνω τη δικτυακή εγκατάσταση του σπιτιού μου. Σε αυτό το πλαίσιο σκέφτομαι να κάνω καινούριο fileserver.
Αρχικά θα έχει το δίσκο συστήματος και ένα ζεύγος σκληρών, και σε δεύτερο χρόνο θα προσθέσω και δεύτερο ζεύγος σκληρών. Συζητάμε δηλαδή για raid1/10.
Επειδή το θέμα του bit rot με απασχολεί και επί της αρχής αλλά και στην πράξη, νομίζω ότι οι μόνες μου επιλογές είναι btrfs και zfs (αν κάνω λάθος και αν υπάρχουν και άλλες εναλλακτικές, διορθώστε με).
Βέβαια, και το btrfs και το zfs στο debian (debian θα στήσω αν μιλάμε για λίνουξ) έχουν τα θεματάκια τους και δεν ξέρω ποια είναι καλύτερη επιλογή.
Υπάρχει βέβαια πάντα η δυνατότητα να στήσω ένα freebsd, όπου η υλοποίηση του zfs είναι αξιόπιστη - βέβαια από freebsd δεν έχω ιδέα, με ό,τι καλό (νέα γνώση, πρόκληση) και κακό (παίδεμα, μεγαλύτερη πιθανότητα λαθών) συνεπάγεται αυτό…
Στο fileserver θα έχω στημένα βασικά services, όχι τίποτα το εξεζητημένο… (sshd, κάνα nfs, καμιά σάμπα στο τσακίρ κέφι, κάνα wireguard κτλ).
Ποια είναι η γνώμη σας? Τι μου συστήνετε? Σπάω την κεφάλα μου και δεν μπορώ να καταλήξω κάπου…
Εγώ θα πρότεινα κάποια ειδική διανομή για αυτήν την δουλεία και να πας με ότι αυτή συνιστά. Εκτός αν θέλεις να ψαχτείς για να μάθεις, οπότε ΟΚ Το BSD είναι μια ωραία περιπέτεια.
Θα πρέπει να καταλάβεις πως τα προβλήματα που έχουν είναι περιφερειακά σε επαγγελματικές εγκαταστάσεις με ειδικές συνθέσεις hardware. Και οι μεγάλες διανομές αλλάζουν γνώμη και πότε λένε νια και πότε όχι. Για εμάς τους ταπεινούς μια χαρά είναι και τα δύο. Θα πήγαινα με το btrfs μόνο και μόνο γιατί είναι ενσωματωμένο στον πυρήνα και γιατί το άλλο έχει πίσω ενα μεγάλο ρίσκο με το όνομα Oracle
και τι θα κάνει η Oracle. άμα βάλει πχ ο @tsapi ένα ωραιότατο FreeNAS με ZFS, θα του πιάσει το αυτί ?
Πέρα από την πλάκα. Βάζεις το σύστημα αρχείων που ξέρεις να διαχειρίζεσαι όταν κάτι πάει στραβά. Μην βάζεις συστήματα αρχείων που δεν έχεις δοκιμάσει εκτενώς και δεν ξέρεις πως να επαναφέρει πράγματα όταν πάει κάτι στραβά.
Τέλος, το θέμα θα το προσέγγιζα διαφορετικά. Επειδή το RAID ΔΕΝ είναι σύστημα backup θα εστίαζα περισσότερο στο πως μπορώ να είμαι σίγουρος οτι ότι και αν συμβεί, θα μπορώ να επαναφέρω τα πράγματα όπως ήταν πριν την καταστροφή.
Αν το προσεγγίσεις έτσι τα συστήματα αρχείων, τα λογισμικά κλπ είναι δευτερεύοντα… Πρωτεύων είναι να έχεις λύσει το φαινόμενο “Schrödinger’s Backup”
Εννοείται ότι το backup είναι τακτοποιημένο και τακτοποιείται καθημερινώς! Εννοείται! Το redundancy στους δίσκους είναι απλά άλλο ένα επίπεδο ασφάλειας, ευκολίας και ταχύτητας. Προτιμώ χίλιες φορές να αντικαταστήσω έναν δίσκο και να κάνω rebuild ένα array από το να εγκαταστήσω / κάνω restore ένα backup - πέραν της ευκολίας είναι και το downtime (που δεν είναι crucial, αλλά παίζει το ρόλο του κι αυτό)…
Πέραν της πλάκας, αγαπητέ cerebrux, αν έβαζα το filesystem που ξέρω να διαχειρίζομαι όταν κάτι πάει στραβά, τότε μάλλον θα έβαζα fat ή hpfs, μιας και η τελευταία στραβή που μου έτυχε και διαχειρίστηκα χρονολογείται κάπου στις αρχές της δεκαετίας του 90 (dos είχα ή os/2 - ούτε που θυμάμαι…). Αν χρησιμοποιούσαμε ό,τι ξέραμε, ακόμα στο χαρτί και στο μολύβι θα είμασταν…
Το ερώτημά μου ελπίζω ότι είναι σαφές: για ένα σενάριο που το backup είναι εξασφαλισμένο και ο χρήστης έχει τη διάθεση να κάτσει και να διαβάσει (και για να το στήσει αλλά και για να το φτιάξει, αν “κάτσει” η στραβή), επιθυμεί να αποφύγει το bit rot, επιθυμεί redundancy σε δίσκους και ευκολία μελλοντικής επεκτασιμότητας χώρου, ποια λύση είναι προτιμητέα: btrfs@debian (με backports), zfs@debian (με backports) ή zfs@freebsd ?
Να πω την αμαρτία μου: γενικώς έχω μία αλλεργία προς έτοιμες, καστομαρισμένες λύσεις τέτοιου είδους. Πχ ενώ οι περισσότεροι χρησιμοποιούν μικροτίκια στο ασύρματο στη Θεσσαλονίκη, εγώ προτιμώ αγνό, παρθένο, έξτρα ραφιναρισμένο debian.
Ομοίως ενστικτωδώς βλέπω αρνητικά μία λύση τύπου freenas. Θα προτιμούσα να στήσω το λειτουργικό μόνος μου, να τα φέρω όλα στα μέτρα μου και να μην ασχολούμαι απλά με ένα καλογυαλισμένο gui.
Γούστα (ή βίτσια) ειν αυτά…
Γι αυτό λέω: btrfs@debian (με backports), zfs@debian (με backports) ή zfs@freebsd ?
Δεν έχω εικόνα της κατάστασης του ZFS στο Debian όποτε δεν μπορώ να σου απαντήσω.
Έχω εικόνα όμως από το ZFS στο Ubuntu 20.04 το οποίο το έχει built in και σε ρωτάει κατά την εγκατάσταση αν το θες.
Αυτή την στιγμή θεωρείται από την Canonical το ZFS experimental πράγμα που σημαίνει (λόγο συγγένειας) ότι και στο Debian δεν θα το συστήνω.
Όποτε μάλλον σε βλέπω για zfs@freebsd .
Υ.Γ. Το freenas είναι κάτι που είναι δοκιμασμένο και έχει φάει χρόνια «ξύλο» και έχει φτάσει σε enterprise level quality.
Όποτε μην το βλέπεις ως «ετοιματζίδικα» γιατί το αδικείς
Έχεις δίκαιο - και για το μικροτίκι το ίδιο ισχύει.
Συνειδητοποιώ ότι είναι αφενός θέμα αλλεργίας.
Αφετέρου όμως, πέραν του αυτοματισμού, αν μάθεις μικροτίκι ξέρεις ένα router-os. Αν μάθεις debian, μπορείς να κάνεις τα πάντα. Είναι λίγο φάση “αγοράζω ψάρι ή μαθαίνω ψάρεμα”…
Εν πάσει περιπτώσει, η ασφαλής λύση είναι προφανώς bsd+zfs. Όμως υπάρχει το καλό και το κακό ότι δεν ξέρω bsd, οπότε θα πρέπει να ασχοληθώ…
Από την άλλη μεριά, εδώ και χρόνια ακούω / διαβάζω για btrfs και openzfs, βλέπω ότι αρχίζουν σιγά σιγά να μπαίνουν σε διανομές ως επιλογή, οπότε αναρωτιέμαι πότε στα κομμάτια θα είναι production ready!
Δύσκολα τα πράγματα ακόμα για zfs , τουλάχιστον μέχρι να "ψηθεί " ο έλλισον να ανοίξει τον κώδικα και να τα βρεί τελικά με τον λάινους. @tsapi τελικά τι έφτιαξες ;
Προσωπικά (λόγω χρόνου-στρουγκιάσματος) έκατσα και έφτιαξα και ακόμα τρέχω παράλληλα 2 τετραπύρηνα μια έκδοση omv και ένα freenas … το omv κατάφερα και το έσπασα lol (για λίγο ευτυχώς) , και ψιλοπειραματίζομαι με τα jails πάνω σε ένα άλλο freenas σύστημα που κάθεται στο proxmox.
Τελικώιζ λόγω απελπιστικής έλλειψης χρόνου και εργασιακής υπερεξόντωσης, δεν έκανα τίποτα ακόμα. Απλά σκέφτομαι και ψάχνομαι. Είμαι σε φάση μάλλον που πρέπει να αναδιοργανώσω το rack μου.
Άρχισα να σκέφτομαι ότι ίσως λύση είναι να στήσω έναν απλό debian router και από πίσω να βάλω ένα γαϊδούρι με proxmox και εκεί να σηκώσω 3-4-5-10 vm - lxc για τα απαραίτητα πράματα. Ένα freebsd με zfs πχ για fileserver για τα crucial πράματα (αρχείο, φωτογραφίες), ένα debian fileserver με κάποιου είδους raid - jbod (mdadm? - snapraid? δεν το έχω αποφασίσει) για μουσική ταινίες κτλ, ένα debian server με τα υποκατάστατα των google services, το asterisk μου, τα email - web sites μου, την τορρεντιέρα μου κτλ κτλ.
Ψάχνομαι επίσης πώς να διαμορφώσω το γαϊδούρι που θα τρέχει το proxmox (αν καταλήξω σε αυτήν τη λύση), έτσι ώστε οι δίσκοι να είναι σε ξεχωριστό rackable enclosure (για να μπορώ με ευκολία να προσθέτω δίσκους όποτε ξεμένω από χώρο). Βλέπω ότι υπάρχουν λύσεις που να μην κοστίζουν ένα νεφρό και ένα συκώτι, αλλά το rackable hardware στο ελλάντα (αλλά και στο ευρώπη, γκαμώ το κέρατό μου) δεν το βρίσκεις και σε αφθονία και καλές τιμές…
Τεσπά, αυτές είναι οι τρέχουσες σκέψεις αυτές της περιόδου. Σιγά σιγά το “χτίζω” στην κεφάλα μου, να δούμε πότε θα το υλοποιήσω κιόλας…
To κακό είναι ότι δεν έχω καμία απολύτως γνώση / εμπειρία από proxmox και από freebsd. Δηλαδή ανοίγω πολλαπλά μέτωπα και σε επίπεδο hardware και σε επίπεδο software… Αν δεν τα κάνω όλα ρημαδιό, θα χει πολύ πλάκα!
Οκ… καλύτερα να πηγαίνω τώρα…
Ερώτηση: έτσι είναι οι home server των λινουξάδων;
Υπάρχει καμία φώτο στο φόρουμ;
Τα vm, lxc ανταποκρίνονται στις απαιτήσεις ενός τέτοιου συστήματος, μακροχρόνια;
Θα χρησιμοποιήσεις docker, ή kubernetes;
Αν δεν χρησιμοποιούσες proxmox ve, ποιες άλλες επιλογές θα είχες;
Debian router…τώρα κυκλοφόρησε αυτή η μάρκα;
Τι είναι το μικροτίκι;
Πολλές άγνωστες έννοιες.
Νιώθω rack…ος.
Μάλλον θα πρέπει να ψαχτείς σε εξωτερικο jbod (με δικό του controller με ότι αυτό συνεπάγεται ; ) , το κακό είναι πως θα ανεβάσεις το κόστος που πιθανόν να μην χρειάζεται αν μιλάμε για home εγκατάσταση.
Και ο γορίλλας αυτός θα τρέχει μέσα στο σπίτι 24/7 να υποθέσω , πόσα watt θα τραβάει από τον τοίχο ; Καμιά διακοσαριά ;
(Χαρά που θα κάνει η ΔΕΗ … θα σου στέλνει κάθε χρόνο ευχετήρια κάρτα στις γιορτές)
Το proxmox δεν είναι τόσο δύσκολο , αν έχεις εμπειρία με kvm το στήνεις εύκολα (εκτός και αν θες να στήσεις HA cluster και τίποτα ceph - οκ αλλάζει το ζήτημα) , ξεκινάς με τα δισκάκια σου και προσθέτεις . Κάνεις τα vm’s που θέλεις ,σηκώνεις και τα containers μέσα εκεί , και στο τσακίρ κέφι σηκώνεις και κάποιο lxc για πιο “εύπεπτο” .
Για το zfs αλλάζει το πράγμα , έχει αρκετό διάβασμα και ψάξιμο (πχ ενα vdev να ρίξεις “έχασες” όλο το pool )
Αλλά τελικά εκεί είναι όλο το fun … (αρκεί να μην τα σκ@τώσεις τελείως όπως ο γράφων που έβαλε zfs στο proxmox και επειδή ήτο ηλίθιος έβαλε και “nested” zfs μετά μέσα στο omv -που καθόταν το καημένο ήσυχα και όμορφα μέσα στον hypervisor - και μετά ψαχνόταν γιατί το σύστημα “τσακώνεται” )
p.s. άσε που παραλίγο να χάσω και κρίσιμα αρχεία (της γυναίκας δηλαδή) και εκεί παραλίγο να ανοίξουν οι πύλες της κολάσεως … backup και ματαbackup οεο
Ανάλογα τι θέλεις να “σερβίρει”
Για να σου δώσω ένα παράδειγμα στο δικό μου τσαρδί ήθελα να τα έχω όλα , δηλαδή και ένα lab machine για να σηκώνω διάφορα κοκοκόψαρα , και ένα media server που να μπορώ να στριμάρω σε μπολικες συσκευές , και ενα αξιόπιστο nas nfs.
Επίσης λιγουρευόμουν να βάλω μέσα σε εικονική μηχανή το pfSense για να γλιτώσω από ένα ακόμα μηχάνημα , και μέσα σε όλα αυτά ήθελα να έχω και ένα vm με win10 που να “περνάω” την κάρτα γραφικών και κάποιους ακόμα controllers μην τυχόν και βγεί καμιά παιχνιδάρα (τρομάρα μου) και δεν μπορώ να την τρέξω στο steam/lutris/wine/γουατέβερ. Και γιατί όχι και ένα batocera να κάνουμε “ρετρίλες” με την γυναίκα ;
Α ναι , μην ξεχνάμε και το συναγερμό με τις κάμερες , όπως και ένα καλό δικό μας cloud storage.
Τέλος ήθελα ένα ακόμα vm σε win10 πάλι με gpu passthrough και ακόμα μερικές pci , μπας και τελικά καταφέρω να ψήσω την κολώνα του σπιτιού μου να το δουλεύει μόνο μέσω remote από ένα ωραίο και τακτοποιημένο gnu/linux flavor (δουλευει επαγγελματικά photoshop και κάποιοι drivers της φωτογραφικής μηχανής δεν παίζουν σε λινουξ δυστυχώς).
Και όλα αυτά μέσα σε ένα “μπετοναρισμένο” filesystem και με backup από όλες τις πάντες
Διαλέγεις και παίρνεις και σγα σγα το φτιάχνεις , ζυγίζεις το κόστος (συν το χρόνο που δαπανάς γιατί και αυτό κοστίζει - τώρα με το κορωνοβιρούσι βέβαια κάποιες μέρες πετάω χαρταετό οπότε μπορώ να ασχοληθώ).
Επίσης μελετάς το αν τελικά σε συμφέρει να τα βάλεις όλα αυτα σε μια φυσική μηχανή (εγώ τα μηντιακά και κάποια ψυχαγωγικά τα έχω πάντα αλλου για να μην μπλέκουν μεσα στα πόδια μου ), το loadbalance σε hardware , την κατανάλωση του ρευματός , και ποιά τελικά είναι και τα πιο κρίσιμα ώστε σε περίπτωση καταστροφής να έχεις τουλάχιστον άμεσο redudancy για αυτά.
Xen , unraid (αυτό θέλει φράγκα) , debian /ubuntu headless server με kvm , esxi(vmware)
Στήνει ένα debian server σε bare metal και το κάνει gateway με 2 network interfaces (ένα μέσα ένα έξω) , οπότε μόνο αυτό “βγάζει τη μύτη του” στο internet.
(δεν του αρέσει το openWrt , έχει γράψει ο τσαπί πως έχει αλλεργεία στα έτοιμα )
MicroTik , “μαγαζί” που κατασκευάζει δικτυακά κοκοκόψαρα (καλά είναι) που έχουν πολλές δυνατότητες παραμετροποίησης πχ για να στήνεις vlans κλπ
χαλαρά … λες και γεννήθηκε κανείς με τη γνώση στην κεφάλα του
Ακόμα γελάω με την περιγραφή για τις πύλες της κολάσεως.
Μία λέξη μου έρχεται στο μυαλό. Μεράκι
Θα το ξαναδιαβάσω σε ένα χρόνο για να δω αν καταλαβαίνω περισσότερα, ή όποτε έχω άσχημη διάθεση για να εμψυχώνομαι.
Ήταν φοβερή η πατάτα που έκανα, και εξηγώντας στη γυναίκα πως μάλλον έχασα τις φωτό και βίντεο από τα παιδιά , το γάμο κλπ , καθώς και φωτό από δουλειές της (είκοσι χρόνια δουλειές και βάλε) , ήταν έτοιμη να με βάλει στη σούβλα.
Πρόλαβα και ψέλλισα τη λέξη “backup” και σώθηκα τελευταία στιγμή.
Κάλο στον εγκέφαλο το λέω εγώ κάνοντας την ενδοσκόπηση
Έχω κόλλημα γιατί κατά πρώτον είμαι φτωχομπινές και τσιφούτης -δεν γουστάρω ρε παιδάκι μου να τα χώνω στην ιντελ και αμδ για κάθε καινούργια “τρομακτική βελτίωση” (100Mhz αύξηση σε cpu cycle lol) , όταν μπορώ να “ξεζουμίσω” ένα παλιό μηχάνημα… και κατά βού , ειλικρινά σιχαίνομαι την άκρατη καταναλωτική μανία της σύγχρονης εποχής με τα τόσα μηχανήματα που ενώ μπορούν ακόμα να παράγουν έργο , καταλήγουν e-waste … ντροπής πράγματα δηλαδή.
Πράγματι πιστεύω ότι τα μηχανήματα είναι ωραίο πράγμα να αξιοποιούνται στο έπακρο.
Ακόμη και για εκπαιδευτικούς λόγους.
Αλλιώς πως θα υλοποιηθούν οι ακριβότερες λύσεις, όπου το κόστος αποτυχίας θα είναι πολύ μεγαλύτερο.
Ανάλογα βέβαια με τις γνώσεις του χρήστη.
Το BSD είναι μια ωραία περιπέτεια.
)
)