Χρήστης έτρεξε το μοντέλο AI Qwen3.8-27B σε παλιό laptop με 12GB RAM, ενώνοντας τέσσερις συσκευές

Ένα πείραμα που δημοσιεύτηκε στο Reddit από τον χρήστη «Medicine_Blogscanner» και αναφέρθηκε από το Wccftech δείχνει μια προσπάθεια εκτέλεσης του μεγάλου μοντέλου τεχνητής νοημοσύνης Qwen3.8-27B σε παλιότερο εξοπλισμό. Ο χρήστης κατάφερε να φορτώσει την έκδοση με κβαντισμό 4-bit σε ένα Windows laptop με 12GB μνήμης, συνδυάζοντας τη διαθέσιμη μνήμη του με εκείνη τριών ακόμη συσκευών στο ίδιο δίκτυο.

Η δοκιμή: τέσσερις συσκευές, ένα δίκτυο

Για τη διανομή της μνήμης χρησιμοποιήθηκε το λογισμικό ανοιχτού κώδικα RAMDeck. Όπως περιγράφεται στην αναφορά, το Windows laptop με τα 12GB RAM λειτούργησε ως κύριος κόμβος και διέθεσε 3,4GB στο μοντέλο. Ένα mini PC με GPU RTX 3060 συνεισέφερε 20GB συνδυασμένης VRAM και μνήμης συστήματος, ενώ το Mac mini και το smartphone Android πρόσθεσαν 3,7GB και 1GB αντίστοιχα.

Με αυτόν τον τρόπο, οι τέσσερις συσκευές χρησιμοποιήθηκαν μαζί για τη φόρτωση της 4-bit έκδοσης του Qwen3.8-27B. Το Wccftech αναφέρει ότι μια τυπική έκδοση 4-bit του μοντέλου χρειάζεται μεταξύ 15GB και 17GB διαθέσιμης VRAM και μνήμης RAM συνολικά. Το laptop διέθετε 12GB RAM, επομένως η συγκεκριμένη δοκιμή βασίστηκε στη συνεισφορά των υπόλοιπων συσκευών και στη λειτουργία του RAMDeck.

Η επιλογή του συγκεκριμένου εξοπλισμού επέτρεψε στον χρήστη να αξιοποιήσει ένα laptop, ένα mini PC, ένα Mac mini και ένα smartphone Android που υπήρχαν ήδη στο ίδιο δίκτυο. Η αναφορά παρουσιάζει το αποτέλεσμα ως μια προσπάθεια αξιοποίησης διαθέσιμου υλικού αντί για αγορά επιπλέον εξοπλισμού, με το τίμημα να είναι η απόδοση και η καθυστέρηση που προέκυψαν κατά την εκτέλεση.

Οι απαιτήσεις μνήμης και η απόδοση

Η μη κβαντισμένη έκδοση του Qwen3.8-27B απαιτεί, σύμφωνα με το Wccftech, μεταξύ 55GB και 60GB συνδυασμένης VRAM και μνήμης RAM. Για την έκδοση με κβαντισμό 4-bit, η αναφερόμενη απαίτηση μειώνεται σε περίπου 15 έως 17GB. Ο κβαντισμός χρησιμοποιείται εδώ ως τρόπος μείωσης των απαιτήσεων μνήμης της έκδοσης του μοντέλου που φορτώθηκε στο πείραμα.

Η φόρτωση του μοντέλου σε τέσσερις συσκευές συνοδεύτηκε, σύμφωνα με την αναφορά, από ταχύτητα παραγωγής 1,92 tokens το δευτερόλεπτο και latency 25ms. Το Wccftech χαρακτηρίζει την απόδοση πολύ αργή και την αυξημένη καθυστέρηση ως το πιο discouraging στοιχείο της προσπάθειας. Έτσι, η επιτυχής φόρτωση δεν συνοδεύτηκε από γρήγορη εκτέλεση του Qwen3.8-27B.

Η αναφορά υπογραμμίζει ότι η κατανομή του μοντέλου σε πολλαπλές συσκευές δεν εξαλείφει τους συμβιβασμούς της συγκεκριμένης προσέγγισης. Η μνήμη των διαφορετικών συστημάτων συνεισφέρει στη φόρτωση, όμως το αποτέλεσμα που αναφέρεται για τη δοκιμή είναι 1,92 tokens ανά δευτερόλεπτο, μαζί με latency 25ms.

Οι προτάσεις που αναφέρονται στη συζήτηση

Σύμφωνα με το Wccftech, ορισμένοι Redditors θεώρησαν ότι η συγκεκριμένη προσπάθεια δεν αξίζει λόγω της χαμηλής απόδοσης. Ως εναλλακτικές αναφέρθηκαν μια έκδοση 2-bit του Qwen3.8-27B ή μικρότερα μοντέλα 13B. Η αναφορά παρουσιάζει αυτές τις επιλογές ως προτάσεις που διατυπώθηκαν στη σχετική συζήτηση και όχι ως αποτέλεσμα ξεχωριστής δοκιμής μέσα στο ίδιο πείραμα.

Η χρήση του RAMDeck και ο συνδυασμός των τεσσάρων συσκευών επέτρεψαν, όπως αναφέρεται, την επιτυχή εκκίνηση της έκδοσης 4-bit του Qwen3.8-27B. Παράλληλα, η ταχύτητα των 1,92 tokens το δευτερόλεπτο και το latency των 25ms δείχνουν τους συμβιβασμούς που συνόδευσαν τη συγκεκριμένη δοκιμή, σύμφωνα με τα στοιχεία που παραθέτει το Wccftech.

Το πείραμα δείχνει μια ασυνήθιστη χρήση υπάρχοντος εξοπλισμού: το laptop των 12GB RAM αποτέλεσε τον κύριο κόμβο, ενώ το mini PC, το Mac mini και το Android smartphone πρόσθεσαν τους πόρους που αναφέρονται στην περιγραφή. Για όσους είναι διατεθειμένοι να αποδεχθούν την αργή απόδοση, η αναφορά παρουσιάζει το RAMDeck ως το εργαλείο που χρησιμοποιήθηκε για να φορτωθεί το μοντέλο σε αυτό το σύνολο συσκευών.

Πηγή

• Wccftech