Jump to content

Απώλεια δεδομένων από bitrot. Να ανησυχώ;


Recommended Posts

Λοιπόν τα δεδομένα μου στον υπολογιστή είναι περίπου ~4ΤΒ σε διάφορους δίσκους.

 

Κρατούνται σε εσωτερικούς δίσκους σε 2 διαφορετικά σημεία. Όλα μαζί (3ο σημείο) κρατούνται σε έναν εξωτερικό offline δίσκο συνολικής χωρητικότητας 6TB σε EXT4 file system.

 

Ο συγχρονισμός γίνεται με rsync, σε τακτά διαστήματα. 

 

866028927_Untitled1.jpg.5135345e47e4d9189d9cf5e0a59024b9.jpg

 

 

H ανησυχία μου είναι ότι κάποια δεδομένα στον storage1 και storage2 είναι παλιά αρχεία (π.χ. photos, videos) που προσπελαύνονται εξαιρετικά σπάνια ή και καθόλου. Εφόσον το backup γίνεται με rsync, δεν ανανεώνονται ούτε στον εξωτερικό δίσκο (6ΤΒ). 

 

Μήπως λοιπόν πρέπει να ανησυχώ για ενδεχόμενη απώλεια λόγω bitrot? Και αν ναι, τι θα μπορούσα να κάνω για να αποφύγω τέτοιο ενδεχόμενο? Να το γυρίσω σε κάποια λύση π.χ. με ZFS και scheduled scrubs? 

 

Γενικά είναι ρεαλιστικός ο φόβος του bitrot? Δηλαδή κινδυνεύω κάποια στιγμή να πάω να ανοίξω παλιές photo και να μην ανοίγουν λόγω bitrot? Έχετε χάσει ποτέ δεδομένα από τέτοια περίπτωση; Και υπό ποιες συνθήκες;

Link to comment
Share on other sites

Εγω οχι, ποτέ και εχω πολυ περισσοτερα ΤiΒ απο σενα

Πιο πολυ κινδυνευεις να "σκασει" ο δοσκος σου παρα το αλλο

  • Like 1
Link to comment
Share on other sites

46 λεπτά πριν, το μέλος slalom έγραψε:

Εγω οχι, ποτέ και εχω πολυ περισσοτερα ΤiΒ απο σενα

Πιο πολυ κινδυνευεις να "σκασει" ο δοσκος σου παρα το αλλο

Νομίζω δεν έχει σχέση με τον όγκο των δεδομένων, αλλά με το αν τα προσπελαύνεις τακτικά ή καθόλου.

Link to comment
Share on other sites

Ιδανικά θα πρέπει να χρησιμοποιήσεις κάτι που επιτρέπει - υποστηρίζει scrub. Όπως btrfs, zfs.

Μετά μπορείς τακτικά να το τρέχεις, πχ μια φορά το μήνα.

Link to comment
Share on other sites

51 λεπτά πριν, το μέλος yog-sothoth έγραψε:

Ιδανικά θα πρέπει να χρησιμοποιήσεις κάτι που επιτρέπει - υποστηρίζει scrub. Όπως btrfs, zfs.

Μετά μπορείς τακτικά να το τρέχεις, πχ μια φορά το μήνα.

Αυτό πάλι με το μηνιαίο scrub, δεν είναι υπερβολή? Εδώ έχω δεδομένα που παίζει να μην έχω προσπελάσει 2+ χρόνια. Έχω την εντύπωση ότι από bitrot κινδυνεύεις αν δεν προσπελαύνεις τα δεδομένα σου για πολύ καιρό. Για ποιον λόγο γενικά προτείνεται από όλους μηνιαίο scrub? 

Link to comment
Share on other sites

Για peace of mind. Δεν νομίζω ότι κάποιος μπορεί να σου εγγυηθεί πότε μπορείς να προλάβεις το bitrot.

 

Στη θεση σου θα κοιτούσα προς κατι robust οπως Truenas scale.

Το χρησιμοποιώ από rc1 χωρίς προβλήματα

Link to comment
Share on other sites

Ευχαριστώ για το ενδιαφέρον. 

 

Δεν είμαι ούτε από πλευράς χρόνου, ούτε από πλευράς οικονομικών για λύσεις τύπου true NAS. 

 

Μου καρφώθηκε τώρα ότι μπορεί από bitflip να χάσω την τάδε φωτογραφία που μπορεί να χρειαστώ σε 5 χρόνια μια φορά.

 

Σε όποια λύση καταλήξω θα είναι εντός του Linux που χρησιμοποιώ. Νομίζω ότι το ZFS είναι απάντηση στο πρόβλημά μου.

 

Δυστυχώς μια bullet-proof λύση χρειάζεται ZFS mirror τόσο στο storage2 όσο και στο external backup.

 

Δηλαδή σκέφτομαι έναν επιπρόσθετο 3ΤΒ δίσκο για να παίζει ZFS mirror με τον storage2 δίσκο μου, σε συνδυασμό με 2 εξωτερικούς 6ΤΒ δίσκους για να στήσω ένα εξωτερικό ZFS mirror.

 

To πρόβλημα με το bitrot είναι ότι δεν ξέρεις πού θα σου σκάσει. Δηλαδή μπορώ να έχω ένα ZFS mirror στους εσωτερικούς δίσκους και να αποφύγω το bit-rot με scrubs, αλλά να φάω bitrot στο εξωτερικό backup. Το εξωτερικό backup γίνεται με rsync, συνεπώς υπαχουν αρχεία που δεν προσπελαύνονται ή δεν επανεγράφονται ποτέ.... Πρόβλημα... Ή να αλλάξω την πολιτική backup μου και να κάνω πλήρες αντίγραφο με cp που λέει ο λόγος..... Αλλά αυτό θα μου κοστίσει σε άπειρο χρόνο, κάθε λίγο και λιγάκι να αντιγράφω TB δεδομένων μεταξύ μηχανικών....

 

Ουφ, θα σπάσει το κεφάλι μου.....

 

Αν είχα 500€ να μου περισσεύουν θα έκανα αυτό πάντως: ένα ZFS mirror εσωτερικό και ένα ZFS mirror εξωτερικό με Toshiba enterprise δίσκους 2x3 ΤΒ (μέσα) και 2x6TB (έξω).

 

 

Link to comment
Share on other sites

Θα σου ελεγα να πας με ενα zfs mirror internal με scheduled monthly scrubs (cron) και ενα εξωτερικο οπως λες με btrfs και manual scrub οποτε θυμασαι.

  • Agree 1
Link to comment
Share on other sites

Επισης κατι λιγο πιο "τρελο" θα ηταν να επαιρνες ενα μεταχειρισμενο dell poweredge r720 η r730 αναλογως των οικονομικων σου. Βρισκεις απο 230 συν 40 μεταφορικα. Προσοχη να εχει 3.5" δισκους η αλλιως LFF.

s-l400.jpg
WWW.EBAY.COM

CPU / Prozessor. Hard drives / Festplatten. 24x IBM 300GB 2.5“ 15K 6G SAS HDD/Festplatte 45W9615 für...

 

  • Wow 1
Link to comment
Share on other sites

2 ώρες πριν, το μέλος yog-sothoth έγραψε:

Θα σου ελεγα να πας με ενα zfs mirror internal με scheduled monthly scrubs (cron) και ενα εξωτερικο οπως λες με btrfs και manual scrub οποτε θυμασαι.

 

Τώρα που πέταξες την ιδέα για btrfs στον εξωτερικό δίσκο, δεν θα ήταν άσχημη ιδέα να μετατρέψω τον εξωτερικό μου δίσκο backup σε btrfs και να του κάνω manual scrubs 1-2 φορές τον χρόνο... Μέχρι να δω τι θα κάνω με τους εσωτερικούς δίσκους....

 

 

Link to comment
Share on other sites

Συζητάτε για δύο διαφορετικά πράγματα ταυτόχρονα. Το ένα είναι πόσο πιθανό είναι το bitflip/bitrot σε δίσκους που δεν χρησιμοποιούνται τακτικά. Το δεύτερο είναι αν μπορεί να οδηγήσει σε ουσιαστική απώλεια δεδομένων. Οι δύο πιθανότητες δεν ταυτίζονται.

 

Η πιθανότητα να αλλοιωθούν δεδομένα σε μαγνητικό δίσκο που δεν ρευματοδοτείται τακτικά είναι υπαρκτή, αλλά μικρή. Η πιθανότητα τα δεδομένα να καταστούν μη αναγνώσιμα είναι ακόμη μικρότερη.

 

Συνολικά ο κίνδυνος να χάσεις δεδομένα με αυτόν τον τρόπο είναι κάποιες τάξεις μεγέθους χαμηλότερος από άλλους κινδύνους που καθημερινά τους σταθμίζεις χαμηλότερα.

 

Αν μπεις στη διαδικασία να κάνεις πχ 2 scrubs τον χρόνο, διαισθητικά εκτιμώ ότι το Bit Error Rate των νέων εγγραφών σε οικιακό σύστημα (με non-ECC μνήμες και χωρίς άλλους πρόσθετους ελέγχους σφαλμάτων) θα είναι της ίδιας τάξης μεγέθους με τον κίνδυνο που προσπαθείς να αποφύγεις. Και συνολικά τέτοιο που δεν αξίζει τον κόπο να κάνω παραδοχές για να κάτσω να το υπολογίσω.

Link to comment
Share on other sites

1 ώρα πριν, το μέλος acct έγραψε:

Συζητάτε για δύο διαφορετικά πράγματα ταυτόχρονα. Το ένα είναι πόσο πιθανό είναι το bitflip/bitrot σε δίσκους που δεν χρησιμοποιούνται τακτικά. Το δεύτερο είναι αν μπορεί να οδηγήσει σε ουσιαστική απώλεια δεδομένων. Οι δύο πιθανότητες δεν ταυτίζονται.

 

Η πιθανότητα να αλλοιωθούν δεδομένα σε μαγνητικό δίσκο που δεν ρευματοδοτείται τακτικά είναι υπαρκτή, αλλά μικρή. Η πιθανότητα τα δεδομένα να καταστούν μη αναγνώσιμα είναι ακόμη μικρότερη.

 

Καταρχάς το bitflip/bitrot δεν έχει να κάνει με το πόσο συχνά ο δίσκος ρευματοδοτείται. Μπορεί να αντιμετωπίσεις bitrot και σε δίσκο που παίζει 24/7. Αν δεν κάνω λάθος έχει να κάνει με το πόσο συχνά το αρχείο προσπελαύνεται/εγγράφεται.

 

π.χ. μια photo 10 ετών που έχω στον storage2 παραμένει στο ίδιο σημείο του δίσκου. Ακόμα και στο backup δεν προσπελαύνεται/εγγράφεται γιατί κάνω backup με rsync το οποίο δεν κάνει καμία εγγραφή αν δεν δει διαφορετικό timestamp στο αρχείο. Επομένως η συγκεκριμένη photo κινδυνεύει από bitflip/bitrot.

 

Αν βεβαίως ο δίσκος δεν ρευματοδοτείται συχνά, τότε ο όποιος κίνδυνος είναι μεγαλύτερος. Εκτός αν τα έχω καταλάβει λάθος.

 

 

2 ώρες πριν, το μέλος acct έγραψε:

Αν μπεις στη διαδικασία να κάνεις πχ 2 scrubs τον χρόνο, διαισθητικά εκτιμώ ότι το Bit Error Rate των νέων εγγραφών σε οικιακό σύστημα (με non-ECC μνήμες και χωρίς άλλους πρόσθετους ελέγχους σφαλμάτων) θα είναι της ίδιας τάξης μεγέθους με τον κίνδυνο που προσπαθείς να αποφύγεις. Και συνολικά τέτοιο που δεν αξίζει τον κόπο να κάνω παραδοχές για να κάτσω να το υπολογίσω.

 

Το πρόβλημα είναι τα silent errors και όχι οποιοδήποτε άλλο error το οποίο αντιμετωπίζεται είτε από το error correction του δίσκου είτε "χτυπάει" ο δίσκος και τον αντικαθιστάς. Αντίθετα το bitrot θα το καταλάβεις όταν θα είναι αργά. π.χ. όταν πας να ανοίξεις photo μετά από 5-10 χρόνια και λείπει η μισή και διαπιστώνεις ότι το ίδιο "σαπισμένο" αρχείο το έχεις και στο backup.

Link to comment
Share on other sites

3 hours ago, gdp77 said:

Καταρχάς το bitflip/bitrot δεν έχει να κάνει με το πόσο συχνά ο δίσκος ρευματοδοτείται. Μπορεί να αντιμετωπίσεις bitrot και σε δίσκο που παίζει 24/7. Αν δεν κάνω λάθος έχει να κάνει με το πόσο συχνά το αρχείο προσπελαύνεται/εγγράφεται.

 

Κι εδώ συγχέεις δύο διαφορετικούς μηχανισμούς αλλοίωσης δεδομένων. Ο ένας είναι από ένα γεγονός που συμπεριλαμβάνεται στη διαδικασία ανάγνωσης/εγγραφής (κραδασμός, διακυμάνσεις τροφοδοσίας, ...) και ο άλλος από ένα τυχαίο περιβαλλοντικό γεγονός που μπορεί να συμβεί οποιαδήποτε στιγμή, ακόμη κι όταν ο δίσκος δε βρίσκεται σε λειτουργία (πχ κοσμική ακτινοβολία).

 

Όταν ο δίσκος λειτουργεί, είναι τουλάχιστον σε θέση να αξιολογεί με εσωτερικά checksums την ακεραιότητα των δεδομένων. Μετά τον δίσκο, το λειτουργικό σύστημα είναι σε θέση να κάνει δικούς του ελέγχους για τα δεδομένα που διέρχονται από τη μνήμη για να φτάσουν το σύστημα αρχείων. Και, τέλος, το σύστημα αρχείων έχει ένα ακόμη επίπεδο ελέγχου. Το πρόβλημα είναι τα undetectable bit errors. Αυτά που δεν ανιχνεύονται κατά τη διάρκεια αυτών των ελέγχων (και για τα οποία υπάρχει μια στατιστική προδιαγραφή από τους κατασκευαστές δίσκων).

 

Η σποραδική λειτουργία είναι μεγαλύτερο πρόβλημα στους SSD, λόγω της φυσικής που διέπει τη λειτουργία της NAND. Γι αυτό και οι SSD δεν είναι κατάλληλο μέσο για να παρατάς στο ράφι για χρόνια.

 

Αλλά, ακόμη κι αν συμβεί ένα ή περισσότερα bit errors, δεν καθίστανται τελείως άχρηστα τα αρχεία που έχουν επηρεαστεί. Είναι εξαιρετικά πιθανό σε κάποια αρχεία (πχ φωτογραφίες) να μην καταλάβεις απολύτως καμία διαφορά. Διατρέχεις μεγαλύτερο κίνδυνο να χάσεις τα αρχεία σου αν επηρεαστούν σημεία του δίσκου που αποθηκεύουν μεταδεδομένα του συστήματος αρχείων -και πάλι, ενδέχεται να είναι ανακτήσιμα.

 

Εν ολίγοις, θεωρώ ότι, για την κλίμακα και τη φύση των δεδομένων που περιγράφεις, συζητάμε για ένα επουσιώδες πρόβλημα.

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

×
×
  • Create New...