Ποιο backup tool για incremental backups;

Λοιπόν, χρησιμοποιώ το timeshift για αυτοματοποιημένο backup του συστήματος (OS+home). Εκτός του SSD όμως όπου βρίσκεται το λειτουργικό μου και το home folder, χρησιμοποιώ και κάποιους HDD όπου βρίσκονται άλλα δεδομένα εργασίας. Συγκεκριμένα, σε έναν HDD βρίσκεται ένα μεγάλο work folder μεγέθους 60 GB. Εκεί μπαίνουν όλα τα αρχεία της δουλειάς μου. Ο δίσκος είναι φορμαρισμένος σε NTFS από εποχές που δούλευα WIN και προς το παρόν θα ήθελα να παραμείνει σε NTFS για την περίπτωση που κάποια στιγμή μπορεί να χρειαστεί πρόσβαση από WIN.

Λεχθέντων τούτων, το backup policy για αυτόν τον φάκελο είναι manually να τον αντιγράφω σε έναν άλλον εσωτερικό δίσκο (με απλό copy-paste). Με αυτόν τον τρόπο διατηρώ τα τρία τελευταία αντίγραφα του φακέλου. Αντίγραφα γίνονται ανά μήνα περίπου. Επίσης γίνεται αντιγραφή (και πάλι copy-paste) σε έναν εξωτερικό δίσκο που συνδέεται για να γίνει το backup και μετά αποσυνδέεται και μένει μόνιμα εκτός λειτουργίας, μέχρι το επόμενο backup. Επειδή η διαδικασία αυτή έχει αρχίσει και μου σπάει τα νεύρα, θα ήθελα μια εφαρμογή που να κάνει icremental backups για να μπορώ να κρατάω τα x τελευταία αντίγραφα του φακέλου εργασίας μου ή και άλλων φακέλων. Αυτή η εφαρμογή θα πρέπει να δουλεύει και σε NTFS, ιδανικά να είναι cross platform, αλλά αν δεν είναι δεν θα πεθάνουμε κιόλας. Ο λόγος που θέλω incremental backups είναι για να μην περιμένω κάθε φορά να αντιγράφονται 60+GB. Θέλω κάτι αξιόπιστο που να μην κινδυνεύω όταν θα την χρειαστώ π.χ. γιατί μου ψόφησε ο δίσκος να ανακαλύψω ότι ξαφνικά σταμάτησε να αναπτύσσεται και το site εξαφανίστηκε. Και θέλω GUI tool όχι κονσόλα.

Ψάχνοντας είδα δύο που φαίνονται αξιόλογες, το FWbackups και το Back in Time.

Εσείς ποιες λύσεις χρησιμοποιείτε και τι μου προτείνετε για την περίπτωσή μου;

Ας ξεκινήσουμε απο τα βασικά, το timeshift δεν είναι ένα πρόγραμμα backup

Η λάθος ερώτηση που γίνετε συνήθως είναι πως ζητάς ένα πρόγραμμα για backup. Η σωστή ερώτηση είναι για ένα πρόγραμμα που να κάνει restore. Ενα backup χωρίς το δεύτερο, είναι το λεγόμενο backup του Schrödinger. Τα δεδομένα είτε τα έχεις σώσει είτε δεν τα έχεις σώσεις και το μαθαίνεις μόνο όταν προσπαθείς να κάνεις το restore. Οπότε κρίνε με βαη αυτό, μια διαδικασία σαφώς δυσκολότερη με icremental backups.

Από εκεί και μετά υπάρχει τεράστιο πλήθος λύσεων, ανάλογα με τις συγκεκριμένες απαιτήσεις του καθένα. Και ξέχασες να αναφέρεις πολλές παραμέτρους, μεταξύ των οποίων μια πολύ σημαντική. Σε ενδιαφέρει το ιστορικό; Και δεν το ξέχασες, οπότε δεν απαντάω σωστά, αλλά μπορεί να βοηθηθεί κάποιος άλλος, γιαυτό και δεν σβήνω την απάντηση.

Η προσωπική μου λύση είναι είτε η χρήση του git, αν θέλω να κρατήσω ιστορικό αλλαγών, κάτι που δεν θα το έλεγα ιδανικό για τον οποιοδήποτε. Για συλλογές, παλιά έκανα ssh mount και rsync. Αλλά πλέον το κάνω αυτό το ίδιο ευκολότερα με το unison, που θα συγχρονίσει δυο απομακρυσμένους φακέλλους, με ικανοποιητική χρήση bandwith.

1 Like

To timeshift το χρησιμοποιώ με την πεποίθηση ότι από linux περιβάλλον (προφανώς λειτουργικό) μπορώ να επαναφέρω το σύστημά μου σε συγκεκριμένη χρονική προτέρα κατάσταση. Το αν λέγεται backup ή όχι δεν με πολυαπασχολεί. Backup μάλλον θεωρείς το image του δίσκου που παίρνω με clonezilla ανά τακτά χρονικά διαστήματα.

Για τα υπόλοιπα που γράφεις, είναι χρήσιμες πληροφορίες αλλά ζητάω να βρω κάποιο GUI tool για backup κάποιου/ων φακέλου/ων εργασίας. Αυτό που έγραψες

δεν το πολυκατάλαβα. Δηλαδή τι ακριβώς μου λες να προσέξω;

…δεν γνωρίζω να σε βοηθήσω αλλά μία συμβουλή* : (αναλόγως πόσο πολύτιμα είναι τα δεδομένα σου) συνέχισε τις ολοκληρωμένες κόπιες, μην υπολογίζεις τον δίσκο εντός pc για safe-backup, καλώς κάνεις κι αποθηκεύεις εκτός (σε μέσο που δεν φθείρεις με άλλη χρήση), διπλασίασε τα μέσα-εκτός (2 εξωτ δίσκοι) ώστε να έχεις εναν που θα δουλέψει σε δύσκολη αναποδιά (πχ καρφώνεις τον εξωτ κι η βλάβη docking station ή το usb ή ο άρχοντας της ζούγκλας κτλ σου τον καταστρέφουν) και κυρίως ΜΗΝ αντικαταστείς την κόπια σου με την νέα (κράτα δλδ ολοκληρωμένη κόπια για versioning), οπότε γέμιζε τον δίσκο με πολλαπλά αντίγραφα (κατηγοριοποιημένα ανά ημ/νία ανάποδη, με όχι ελληνικούς τίλους φακέλων μπλα μπλα μπλα).

*από κάποιον που τραβάει 2ΤΒ backup κάθε βδομ, έχει ένα συρτάρι δίσκους στο γραφείο (κι άλλο ένα σχεδόν ίδιο αντίγραφο εκτός αυτού) κι έχει πάθει μάλλον τα πάντα…

3 Likes

Καταρχάς ο δίσκος συστήματος γίνεται image σε μεγαλύτερα χρονικά διαστήματα που κρατιέται σε 2 δίσκους έναν εσωτερικό και έναν εξωτερικό (εκτός σύνδεσης-αποκλειστικής χρήσης για backup)

Επιπλέον, σε μικρότερα χρονικά διαστήματα, τα αρχεία συστήματος κρατιούνται με το timeshift σε άλλον δίσκο για τους τελευταίους 5 μήνες, τις τελευταίες 2 εβδομάδες και τις τελευταίες 4 μέρες.

Τα σημαντικά δεδομένα της αποθήκης μου και της εργασίας μου γίνονται backup (με τη μέθοδο copy-paste) και πάλι σε 2 διαφορετικούς δίσκους εντός-εκτός και κρατιούνται τα 3 τελευταία backup (δεν έχει νόημα να κρατάω προγενέστερα).

Επιπρόσθετα θέλω να ενισχύσω το redundancy αγοράζοντας 2x3 TB δίσκους (έχω ήδη έναν) μόλις βρω χρήματα, ώστε να στηθεί μια συστοιχία ZFS-Z1 (aka raid 5).

1 Like

Βασικά θες πρόγραμμα synchronize , το οποίο σε real time αντιγράφει σε 2 και 3 διαφορετικά locations μόνο τα αρχεία που αλλάζουν και όχι όλα από την αρχή. Πριν καιρό (2-3 χρόνια) σε windows χρησιμοποιούσα το Dsync (http://dimio.altervista.org/eng/#DSynchronize) που ήταν (είναι;) δωρεάν. Σε linux δεν έχω δουλέψει κάποιο για να σου προτείνω.

1 Like

Αν αντί για incremental backup κάνεις sync το folder αυτό με τον εξωτερικό σου δίσκο, δεν βολεύεσαι? Αν βολεύεσαι, η βέλτιστη λύση μακράν είναι το rsync. Δεν είναι gui, αλλά είναι πραγματικά μία εντολή που θα την “κάνεις” σε 5 λεπτά max και θα ξενοιάσεις μία και για πάντα!

Σε ό,τι αφορά στα υπόλοιπα, δύο καλοπροαίρετες παρατηρήσεις / συστάσεις:

  1. Αν τα δεδομένα σου είναι πολύτιμα, κράτα κάνα τακτικό backup και σε χώρο εκτός του διαμερίσματος / πολυκατοικίας εκείνης. Υπάρχει πάντα η εκδοχή της διάρρηξης, πλημμύρας, φωτιάς κτλ κτλ.

  2. Μην (επαναλαμβάνω, μην) κάνεις raid5. Είναι disaster waiting to happen. Κάνε raid1 ή raid10 (ή όπως αλλιώς λέγεται στο zfs). Για περισσότερες λεπτομέρειες, ρίξε μία ματιά στον γκούγκλη.

2 Likes

Για zfs raidz-1 δεν γνωρίζω να υπάρχει κάποιο γνωστό θέμα εν έτει 2019-2020. Σε τι αναφέρεσαι.

Σε raid5 αναφέρομαι, όχι σε raid1.

Ρίξε μια ματιά στο μήνυμά μου σε αυτό το thread.

To RAIDZ-1 είναι zfs με tolerance αστοχίας ενός δίσκου (aka raid5). Διάβασα την τοποθέτησή σου για το raid5, αλλά το ίδιο ισχύει και για το raid-mirror. Την ώρα που κάνεις rebuild μπορεί να χάσεις τα δεδομένα από αστοχία του άλλου δίσκου. Γι’αυτό έχουμε πάντα και backup, διότι ως γνωστόν το raid δεν είναι backup. Γενικά το raidz-1 θα ήθελα να το δοκιμάσω ως λύση ως ένα επιπλέον layer προστασίας των δεδομένων μου. Το backup policy που ήδη χρησιμοποιώ δεν θα αλλάξει.

Κάνεις μια δοκιμή και με αυτό και βλέπεις αν “τα βρίσκετε” :slight_smile:

Πάντως θέλουμε να κάνουμε τη ζωή μας δύσκολη … zfs ; σε τοπικό δίκτυο στο σπίτι ;
δεν κριτικάρω κανέναν απλά προσπαθώ να καταλάβω το σκεπτικό - έχει δοκιμάσει να κάνει κάποιος pool increment σε zfs με δίσκο απο άλλη μάρκα με άλλα χαρακτηριστικά ; :upside_down_face:

το backup όπως ήδη έγραψε κάποιος δεν είναι τίποτα άλλο από copy-paste αν δεν δοκιμαστεί το restoration με διάφορους τρόπους .

  • Έχω τραβήξει τελείως το δίσκο από το array (εξομείωση ολικής καταστροφής ενός δίσκου) και έχω προσθέσει άλλης μάρκας; έγινε σωστά το reconstruct ;
  • Έχω κάνει μεταφορά όλων των δίσκων σε άλλη μηχανή (εξομείωση ολικής καταστροφής μηχανής) και να δουλέψει;
  • Έχω δοκιμάσει data stream και την ίδια στιγμή να τραβήξω την πρίζα ; (power fail simulation)

αν μπορεί να τα κάνει όλα αυτά είμαι μια χαρά , αν όχι , τότε είτε zfs είτε btrfs είτε όποιο raid και να έχω… εννοώ μήπως τότε καλύτερα με 3-4 δίσκους που να κάνουν rsync με cron jobs και θα σηκώσω το λειτουργικό χεράτα… (μιλάω για σπίτι και light εγκατάσταση πάντα)

1 Like

Sorry για το μπέρδεμα - δεν είχα συνειδητοποιήσει ότι raidz1=raid5 (σε zfs).

Συμφωνώ (προφανώς) ότι το raid είναι redundancy και όχι backup.

Πάντως, το rebuild ενός raid1 array είναι (σε επίπεδο πιθανοτήτων) λιγότερο “επικίνδυνο” σε σχέση με το rebuild ενός raid5 array και είναι μία λιγότερο intense δουλειά.

Δεν θέλω να σε πείσω - ο καθένας κάνει τις επιλογές του. Κι εγώ στο fileserver μου raid5 array έχω, αλλά το καθημερινό μου backup γίνεται σε υπολογιστή με raid1 array… :blush:

Γιατί έχεις πρόβλημα με το zfs? Το έχω δοκιμάσει (με δύο αρχαίους 80άρηδες για να μάθω) και είναι εξίσου απλό να υλοποιηθεί με mdadm ή btrfs pool. Είναι όμως πιο γρήγορο και από τα 2 τουλάχιστον στο δικό μου workflow, ενώ παρέχει καλύτερη προστασία από mdadm (silent error protection κτλ) Ίσως παλιότερα να να μην είχε καλή υποστήριξη στο Linux, αλλά αυτό ανήκει στο παρελθόν.

Όσο για τις αντοχές του, μάλλον πρέπει να δεις αυτο το video

2 Likes

Με το zfs εννοείται ότι δεν έχω κανένα πρόβλημα - είναι εξαιρετικό και λόγοι χρόνου και χωροταξίας (φυσικής και ηλεκτρονικής) με σταματούν από το να στήσω bsd στο fileserver μου (έχω αρχίσει όμως να σκέφτομαι να στήσω bsd στον backup server μου). Με την υλοποίηση του zfs στο linux “έχω πρόβλημα” με την έννοια ότι είναι οριακά production ready και υπολείπεται σε επιδόσεις (έτσι όπως εγώ αντιλαμβάνομαι τα πράγματα).

Με το raid5 σαφέστατα “έχω πρόβλημα” και τις ψιλιαναλύω στο μήνυμα - thread που παρέπεμψα.

:slight_smile: