Cloudflare: 416 δισεκατομμύρια AI bot requests μπλοκαρίστηκαν σε 5 μήνες, ο CEO μιλά για "δραματική αλλαγή" στο μοντέλο του ίντερνετ

Η Cloudflare, η πλατφόρμα που κάθεται μπροστά από περίπου 20 % των sites στο ίντερνετ, ανακοίνωσε ότι έχει ήδη μπλοκάρει 416 δισεκατομμύρια αιτήματα από AI bots που προσπαθούσαν να κάνουν scraping περιεχόμενο των πελατών της, μόνο στο διάστημα από 1η Ιουλίου έως αρχές Δεκεμβρίου 2025. Το νούμερο προέρχεται από στοιχεία που παρουσίασε πρόσφατα η εταιρεία.

Ο αριθμός συνδέεται με την πρωτοβουλία "Content Independence Day" που έγινε default το καλοκαίρι, όπου κάθε νέο domain που περνάει από Cloudflare ερωτάται αν θέλει να επιτρέπει AI crawlers, με το προεπιλεγμένο να είναι "όχι". Σύμφωνα με την εταιρεία, πάνω από ένα εκατομμύριο πελάτες έχουν ενεργοποιήσει το block.

Ο CEO Matthew Prince, σε συνεντεύξεις και δημόσιες τοποθετήσεις του, το λέει ξεκάθαρα, το κλασικό μοντέλο του ίντερνετ, όπου οι εκδότες βγάζουν χρήματα από ανθρώπινες επισκέψεις μέσω διαφήμισης ή συνδρομών, δεν βγαίνει πλέον όταν η κίνηση μεταφέρεται σε AI agents που "ρουφάνε" περιεχόμενο και απαντούν απευθείας στον χρήστη, χωρίς click-through στο αρχικό site.

Από το "free crawling" στο πληρωμένο scraping

Η Cloudflare πιέζει για ένα permission-based μοντέλο, όπου οι AI εταιρείες δεν θα κάνουν scraping ό,τι βρίσκουν, αλλά θα ζητούν άδεια και θα πληρώνουν. Ήδη λανσάρει marketplace όπου οι εκδότες μπορούν να πουλήσουν νόμιμα πρόσβαση στο περιεχόμενό τους για εκπαίδευση και inference μοντέλων.

Παράλληλα, έχει παρουσιάσει και πιο επιθετικά εργαλεία, όπως το "AI Labyrinth", ένα σύστημα που αναγνωρίζει μη εξουσιοδοτημένα AI bots και τα ταΐζει με άσχετο, "χυλό" AI-generated περιεχόμενο, ώστε τα μοντέλα να μην μπορούν να εκπαιδευτούν αξιόπιστα πάνω στο πραγματικό υλικό του site. Με απλά λόγια, αν δεν πληρώσεις, όχι μόνο δεν παίρνεις δεδομένα, αλλά υπάρχει κίνδυνος να "δηλητηριαστεί" και το μοντέλο σου.

Ο Prince έχει αρχίσει να στοχοποιεί δημόσια και συγκεκριμένους παίκτες. Σύμφωνα με στοιχεία της Cloudflare, η Google έχει πολύ μεγαλύτερη πρόσβαση σε σελίδες του διαδικτύου σε σχέση με άλλους AI παρόχους (OpenAI, Microsoft, Meta, Anthropic), επειδή συνδυάζει παραδοσιακό web crawling με AI crawling. Αυτό βάζει τους εκδότες σε δίλημμα, αν κόψουν τα AI bots της Google, μπορεί να επηρεάσουν και την ορατότητά τους στην αναζήτηση.

Γιατί αυτό είναι μεγάλη υπόθεση για το ίντερνετ

Πίσω από τους αριθμούς κρύβεται κάτι πιο θεμελιώδες, το ποιος πληρώνει ποιον. Μέχρι τώρα, το deal ήταν σχετικά απλό, ο χρήστης βλέπει το site, το site δείχνει διαφήμιση ή ζητά συνδρομή, και έτσι ζει το οικοσύστημα. Με τα AI chatbots, το χρήμα μεταφέρεται προς τις πλατφόρμες AI, που έχουν τη σχέση με τον τελικό χρήστη, ενώ τα sites μένουν με το κόστος παραγωγής περιεχομένου και χωρίς την επίσκεψη.

Ο Prince προειδοποιεί ότι, αν δεν μπει φρένο, υπάρχει σοβαρός κίνδυνος να μείνουμε με "λίγες, πολύ μεγάλες εταιρείες" που ελέγχουν και τα δεδομένα και τους χρήστες, ενώ οι μικρότεροι εκδότες, media και online επιχειρήσεις απλώς δεν θα βγαίνουν οικονομικά.

Για την ώρα, η Cloudflare εμφανίζεται ως ο "μπράβος" των creators, παρέχοντας:

• εύκολο block σε AI crawlers,
• analytics για το ποια bots τους "χτυπάνε",
• και ένα κανάλι για να υπογράψουν licensing deals, αν θέλουν να πουλήσουν πρόσβαση.

Όμως, δεν το κάνει από φιλανθρωπία. Αν τελικά περάσει στην πράξη το μοντέλο "AI εταιρείες πληρώνουν για νόμιμο scraping", η Cloudflare στέκεται ακριβώς στη μέση της ροής του χρήματος και παίρνει μερίδιο από κάθε τέτοιο deal.

Τι σημαίνει πρακτικά για έναν μέσο ιστότοπο

Για έναν μικρό ή μεσαίο ιστότοπο, ειδικά ενημερωτικό ή με τεχνικό περιεχόμενο σαν το δικό σου, η κίνηση της Cloudflare έχει μερικά πολύ πρακτικά αποτελέσματα. Πρώτα από όλα, δίνει επιτέλους πραγματικό έλεγχο πάνω στα AI bots, αφού μπορείς να τα κόψεις μαζικά, αντί να κυνηγάς με το χέρι user-agents και IP ranges.

Ταυτόχρονα, λειτουργεί και ως διαπραγματευτικό χαρτί, γιατί αν κάποιος μεγάλος παίκτης θέλει υψηλής ποιότητας δεδομένα, πρέπει να χτυπήσει την πόρτα σου και να ζητήσει άδεια, αντί να μπαίνει από το παράθυρο. Αν ωριμάσουν τα marketplaces για licensing περιεχομένου προς AI, αυτό μπορεί να γίνει και μια επιπλέον πηγή εσόδων για sites που παράγουν συστηματικά περιεχόμενο.

Υπάρχει όμως και η σκοτεινή πλευρά, το ρίσκο απομόνωσης. Αν κάποιοι αποφασίσουν να δώσουν αποκλειστικά δικαιώματα σε συγκεκριμένες AI πλατφόρμες και άλλοι μείνουν εκτός, μπορεί να δημιουργηθούν νέες ανισορροπίες στην πρόσβαση στα δεδομένα. Και φυσικά, πάνω σε όλα αυτά έρχεται και η κλασική ειρωνεία, την ίδια μέρα που ο Prince μιλά για την ευθύνη της Cloudflare απέναντι στο ίντερνετ, η εταιρεία έφαγε άλλο ένα χοντρό outage, ρίχνοντας για λίγη ώρα ένα αξιοσημείωτο κομμάτι του παγκόσμιου web. Το μονοπώλιο στην υποδομή έχει τις ίδιες παρενέργειες με το μονοπώλιο στα δεδομένα.

Πού πάει το πράγμα από εδώ και πέρα

Αν συνεχιστεί ο σημερινός ρυθμός, το νούμερο των μπλοκαρισμένων AI requests θα μετριέται σε τρισεκατομμύρια μέσα στο 2026. Το πιο πιθανό σενάριο είναι ότι θα βλέπουμε ολοένα και περισσότερα paywalls ειδικά για AI, μαζί με κλειστές, licensed πηγές δεδομένων που θα τροφοδοτούν τα μεγάλα μοντέλα. Παράλληλα, είναι σχεδόν βέβαιο ότι θα ενταθεί και το ρυθμιστικό ενδιαφέρον από την ΕΕ και άλλες αρχές για το ποιος κάνει scraping τι, από πού και με ποιους όρους.

Η Cloudflare, ως ενδιάμεσος για ένα τεράστιο κομμάτι του web, προσπαθεί να πλασαριστεί ως gatekeeper αυτής της μετάβασης. Το αν θα βγει κερδισμένο και το ίδιο το οικοσύστημα περιεχομένου, θα φανεί από το αν τα AI licensing deals θα φτάσουν μέχρι τον μικρό δημιουργό ή θα χαθούν κάπου ανάμεσα στους CDN, τα ad-networks και τα μεγάλα media groups.

Πηγές

• Cloudflare says it has fended off 416 billion AI bot scrape requests in five months, CEO warns of dramatic shift for internet business model - Tom's Hardware
• Cloudflare Has Blocked 416 Billion AI Bot Requests Since July 1 - WIRED
• Cloudflare Just Changed How AI Crawlers Scrape the Internet at Large - Cloudflare Press Release
• Cloudflare CEO Warns AI Could Leave the World with Only Five Companies - devs.com.pt
• Cloudflare chief warns AI is redefining the internet's business model - Digital Watch Observatory
• Cloudflare - Wikipedia
• Cloudflare admits 'we have let the Internet down again' after outage hits major web services - The Guardian live blog