Δύο mini PCs αντί για το cloud: εκατομμύρια tokens την ημέρα χωρίς κόστος API
Σε αυτό το πλαίσιο, ο συντάκτης έστησε ένα σύστημα στο δικό του υλικό, σχεδιασμένο να τον βοηθά να παρακολουθεί τις συνεχώς μεταβαλλόμενες ειδήσεις. Το σύστημα λαμβάνει RSS feeds, καταχωρεί το περιεχόμενο ιστοριών από τα beats που καλύπτει και τις βαθμολογεί βάσει ενός ψηφιακού «εγκεφάλου» , παραγόμενου από την ανάλυση σχεδόν 2.000 παλαιότερων άρθρων του τελευταίων τεσσάρων ετών.
Όταν εντοπίζει υποψήφιες ιστορίες ενδιαφέροντος, αυτές «ανατίθενται» σε AI beat reporters, οι οποίοι διαβάζουν το θέμα στο διαδίκτυο και παράγουν pitches, παρόμοια με αυτά που ο ίδιος αποστέλλει στους συντάκτες του.
Κόστος και caveats
Αξιοσημείωτη είναι η παραδοχή του: η αρχική ρύθμιση του mini PC ήταν σχετικά εύκολη, αλλά έγινε δυνατή μόνο με τη βοήθεια των ίδιων των «full-fat» AI μοντέλων που πληρώνει από τα μεγάλα εργαστήρια. Η τοπική εκτέλεση μοντέλων δεν αποτελεί λοιπόν πλήρη αποδέσμευση από το cloud, τουλάχιστον στο στάδιο της εγκατάστασης.
Για φορτία εργασίας υψηλού όγκου που επεξεργάζονται εκατομμύρια tokens ημερησίως, το τοπικό hardware συχνά αποσβένεται σε 12 έως 24 μήνες — αλλά για μικρές ομάδες με λίγες χιλιάδες κλήσεις API την ημέρα, τα cloud κόστη παραμένουν διαχειρίσιμα. Ενδεικτικά, μια αλυσίδα επεξεργασίας που τρέχει 10 εκατομμύρια tokens ημερησίως στα $5 ανά εκατομμύριο tokens κοστίζει $50 την ημέρα, δηλαδή περίπου $18.000 τον χρόνο.
Πηγές
Tom's Hardware — Ditching the cloud for local AI Tom's Hardware — OpenAI CEO: AI token costs are a huge issue MindStudio — Local AI vs Cloud AI in 2026
608
