Η Cloudflare «έριξε» το διαδίκτυο με λανθασμένο ερώτημα βάσης δεδομένων

TL·DR

Μια αλλαγή στα δικαιώματα της βάσης ClickHouse έκανε ένα query να επιστρέφει διπλές εγγραφές. Το αρχείο χαρακτηριστικών (feature file) που χρησιμοποιεί το Bot Management διπλασιάστηκε, ξεπέρασε το όριο των 200 χαρακτηριστικών και προκάλεσε panic στον core proxy. Το βασικό impact κράτησε λίγο πάνω από τρεις ώρες, επηρεάζοντας υπηρεσίες όπως ChatGPT, X και χιλιάδες sites, με πλήρη αποκατάσταση στις 17:06 UTC.

-----

Στις 18 Νοεμβρίου 2025, γύρω στις 13:30 ώρα Ελλάδας, το δίκτυο της Cloudflare άρχισε να αποτυγχάνει μαζικά, κόβοντας την πρόσβαση σε χιλιάδες ιστότοπους παγκοσμίως. Μεταξύ αυτών βρίσκονταν το ChatGPT, το X και πολλές σημαντικές πλατφόρμες, γεγονός που οδήγησε αρχικά σε υποψίες περί κυβερνοεπίθεσης. Η πραγματική αιτία όμως ήταν πολύ πιο πεζή: μια αλλαγή στα δικαιώματα πρόσβασης της βάσης ClickHouse που έκανε ένα query να επιστρέφει διπλάσιες εγγραφές, παράγοντας ένα αρχείο χαρακτηριστικών μεγαλύτερο από όσο μπορούσε να χειριστεί ο κώδικας του proxy.

Το αίτιο της διακοπής

Η αλλαγή έγινε στις 11:05 UTC. Μέχρι τότε, το query που διάβαζε metadata από τον πίνακα system.columns επέστρεφε μόνο στήλες από τη διανεμημένη βάση default. Με τη νέα ρύθμιση επέστρεφε και τις στήλες της υποκείμενης βάσης r0, όπου βρίσκονται τα πραγματικά δεδομένα του cluster. Το ερώτημα λοιπόν παρήγαγε διπλάσιες εγγραφές.

Αυτό είχε ως αποτέλεσμα το αρχείο χαρακτηριστικών (feature file), το οποίο δημιουργεί το Bot Management κάθε πέντε λεπτά, να περιλαμβάνει πάνω από 200 χαρακτηριστικά αντί για περίπου 60. Ο proxy είχε προδεσμευμένη μνήμη για το ανώτατο όριο των 200 και όταν προσπάθησε να φορτώσει το μεγαλύτερο αρχείο, κατέρρευσε.

Η διαδικασία εντοπισμού

Το πρόβλημα δυσκόλεψε επειδή η αστάθεια ήταν διακοπτόμενη. Ανάλογα με το σε ποιον κόμβο κατέληγε το query, παραγόταν είτε σωστό είτε λανθασμένο feature file. Αυτό δημιούργησε έναν διαρκή κύκλο ανάκαμψης και αποτυχίας, μπερδεύοντας την ομάδα, η οποία αρχικά θεώρησε ότι ίσως επρόκειτο για DDoS μεγάλης κλίμακας. Η σύγχυση ενισχύθηκε και επειδή η status page της Cloudflare, που φιλοξενείται εκτός υποδομής Cloudflare, εμφάνισε ταυτόχρονα προβλήματα.

Τελικά, όταν η αλλαγή στα δικαιώματα εφαρμόστηκε σε όλους τους κόμβους της ClickHouse, όλοι άρχισαν να παράγουν λανθασμένα αρχεία. Η διακοπτόμενη αστάθεια σταθεροποιήθηκε σε σταθερή αποτυχία.

Επιπτώσεις στις υπηρεσίες

Το CDN και οι υπηρεσίες ασφαλείας της Cloudflare επέστρεφαν 5xx. Το Cloudflare Access εμφάνιζε αποτυχίες πιστοποίησης, το Turnstile δεν φόρτωνε και πολλοί χρήστες δεν μπορούσαν να μπουν στο dashboard. Το Workers KV είχε αυξημένα σφάλματα, αν και η εταιρεία μπόρεσε να μειώσει την επίπτωση εφαρμόζοντας bypass γύρω στις 13:05 UTC.

Σύμφωνα με το Downdetector, οι αναφορές προβλημάτων ξεπέρασαν τις 11.000. Η πλήρης αποκατάσταση των υπηρεσιών ήρθε στις 17:06 UTC.

Διορθωτικές ενέργειες

Η Cloudflare σταμάτησε τη δημιουργία νέων αρχείων Bot Management στις 14:24 UTC. Έπειτα, έβαλε χειροκίνητα μια γνωστή καλή έκδοση στην ουρά διανομής και επανεκκίνησε τον core proxy. Το βασικό πρόβλημα λύθηκε στις 14:30 UTC, αν και χρειάστηκαν επιπλέον ώρες για πλήρη σταθεροποίηση.

Ο CEO Matthew Prince χαρακτήρισε τη διακοπή «τη χειρότερη από το 2019» και ανακοίνωσε τέσσερις κινήσεις ενίσχυσης: αυστηρότερο validation στα εσωτερικά αρχεία ρυθμίσεων, περισσότερους καθολικούς διακόπτες ασφαλείας, αποτροπή κατακλυσμιαίων error-reporting loops και γενική επανεξέταση όλων των failure modes.

Το περιστατικό ανέδειξε για ακόμη μία φορά πόσο εξαρτάται το σημερινό διαδίκτυο από λίγους κεντρικούς παρόχους υποδομής. Όταν ένα query βάσης δεδομένων αρκεί για να «παγώσει» ένα σημαντικό μέρος της παγκόσμιας κίνησης, το θέμα ξεπερνά τον συγκεκριμένο bug.

Πηγές

• Cloudflare outage on November 18, 2025 — Cloudflare Blog
  https://blog.cloudflare.com/18-november-2025-outage/

• Cloudflare says outage that hit X, ChatGPT and other sites is resolved — CNBC
  https://www.cnbc.com/2025/11/18/cloudflare-down-outage-traffic-spike-x-chatgpt.html

• Cloudflare broke the internet with a bad DB query — The Register
  https://www.theregister.com/2025/11/19/cloudflare_incident_report/

• Το Cloudflare αποκαθιστά τις υπηρεσίες του μετά από διακοπή λειτουργίας — Athina 984
  https://athina984.gr/2025/11/18/to-cloudflare-apokathista-tis-ypiresies-toy-meta-apo-diakopi-leitoyrgias-poy-prokalese-provlimata-prosvasimotitas-se-megales-platformes-kai-istotopoys/

• Cloudflare Status Page
  https://www.cloudflarestatus.com/

• Elon Musk’s X down for thousands — Reuters
  https://www.reuters.com/business/elon-musks-x-down-thousands-us-users-downdetector-shows-2025-11-18/

• Cloudflare outage discussion — Reddit /r/programming
  https://www.reddit.com/r/programming/comments/1p0srgs/cloudflare_outage_on_november_18_2025_official/