Ακαδημαϊκοί ισχυρίζονται ότι το ποσοστό ταυτοποίησης του περιεχομένου που παράγεται από το ChatGPT είναι >99%

Τα παραγωγικά μοντέλα τεχνητής νοημοσύνης έχουν βελτιωθεί δραματικά στο να μιμούνται την ανθρώπινη γραφή σε σύντομο χρονικό διάστημα, καθιστώντας δύσκολο για τους ανθρώπους να διακρίνουν αν το κείμενο έχει παραχθεί από μηχανή ή από άνθρωπο. Οι δάσκαλοι και οι καθηγητές έχουν εκφράσει ανησυχίες ότι οι φοιτητές που χρησιμοποιούν τα εργαλεία διαπράττουν λογοκλοπή ή προφανώς αντιγράφουν χρησιμοποιώντας κώδικα που δημιουργείται από μηχανές.

Ωστόσο, το λογισμικό που έχει σχεδιαστεί για την ανίχνευση κειμένου που παράγεται από τεχνητή νοημοσύνη είναι συχνά αναξιόπιστο. Οι ειδικοί έχουν προειδοποιήσει κατά της χρήσης αυτών των εργαλείων για την αξιολόγηση εργασιών.

Μια ομάδα ερευνητών με επικεφαλής το Πανεπιστήμιο του Κάνσας σκέφτηκε ότι θα ήταν χρήσιμο να αναπτύξει έναν τρόπο ανίχνευσης επιστημονικών κειμένων που δημιουργούνται από τεχνητή νοημοσύνη - συγκεκριμένα γραμμένων στο ύφος των ερευνητικών εργασιών που συνήθως γίνονται δεκτές και δημοσιεύονται από ακαδημαϊκά περιοδικά.

Αυτή τη στιγμή, υπάρχουν μερικά αρκετά κραυγαλέα προβλήματα με τη συγγραφή της τεχνητής νοημοσύνης", δήλωσε η Heather Desaire, πρώτη συγγραφέας της εργασίας που δημοσιεύθηκε στο περιοδικό Cell Reports Physical Science και καθηγήτρια χημείας στο Πανεπιστήμιο του Κάνσας, σε δήλωσή της. "Ένα από τα μεγαλύτερα προβλήματα είναι ότι συγκεντρώνει κείμενο από πολλές πηγές και δεν υπάρχει κανενός είδους έλεγχος ακρίβειας - είναι κάτι σαν το παιχνίδι Δύο αλήθειες και ένα ψέμα

Η Desaire και οι συνάδελφοί της συνέταξαν σύνολα δεδομένων για να εκπαιδεύσουν και να δοκιμάσουν έναν αλγόριθμο για την ταξινόμηση εγγράφων που γράφτηκαν από επιστήμονες και από ChatGPT. Επέλεξαν 64 άρθρα "προοπτικών" - ένα συγκεκριμένο στυλ άρθρου που δημοσιεύεται σε επιστημονικά περιοδικά - τα οποία αντιπροσωπεύουν ένα ευρύ φάσμα θεμάτων από τη βιολογία έως τη φυσική, και ζήτησαν από το ChatGPT να δημιουργήσει παραγράφους που περιγράφουν την ίδια έρευνα για να δημιουργήσουν 128 ψεύτικα άρθρα. Συνολικά 1.276 παράγραφοι παρήχθησαν από την ΤΝ και χρησιμοποιήθηκαν για την εκπαίδευση του ταξινομητή.

Στη συνέχεια, η ομάδα συνέταξε δύο ακόμη σύνολα δεδομένων, καθένα από τα οποία περιείχε 30 πραγματικά άρθρα με προοπτικές και 60 άρθρα που γράφτηκαν με ChatGPT, συνολικά 1.210 παραγράφους για να δοκιμάσει τον αλγόριθμο.

Τα αρχικά πειράματα ανέφεραν ότι ο ταξινομητής ήταν σε θέση να διακρίνει μεταξύ της πραγματικής επιστημονικής γραφής από ανθρώπους και των άρθρων που δημιουργήθηκαν από τεχνητή νοημοσύνη σε ποσοστό 100%. Η ακρίβεια σε επίπεδο μεμονωμένων παραγράφων, ωστόσο, μειώθηκε ελαφρώς - στο 92%, όπως υποστηρίζεται. Πιστεύουν ότι ο ταξινομητής τους είναι αποτελεσματικός, επειδή εντοπίζει ένα εύρος υφολογικών διαφορών μεταξύ της ανθρώπινης και της τεχνητής νοημοσύνης. Οι επιστήμονες είναι πιο πιθανό να έχουν πλουσιότερο λεξιλόγιο και να γράφουν μεγαλύτερες παραγράφους που περιέχουν πιο διαφορετικές λέξεις από τις μηχανές. Χρησιμοποιούν επίσης σημεία στίξης όπως ερωτηματικά, παρενθέσεις, άνω και κάτω τελεία πιο συχνά από το ChatGPT, εκτός από τα σημεία ομιλίας που χρησιμοποιούνται για τα εισαγωγικά. Το ChatGPT είναι επίσης λιγότερο ακριβές και δεν παρέχει συγκεκριμένες πληροφορίες για αριθμούς ή άλλα ονόματα επιστημόνων σε σύγκριση με τους ανθρώπους. Οι πραγματικές επιστημονικές εργασίες χρησιμοποιούν επίσης πιο διφορούμενη γλώσσα - όπως τα "ωστόσο", "αλλά", "αν και" καθώς και τα "αυτό" και "επειδή".

Τα αποτελέσματα, ωστόσο, θα πρέπει να λαμβάνονται με επιφύλαξη. Δεν είναι σαφές πόσο ανθεκτικός είναι ο αλγόριθμος έναντι μελετών που έχουν υποστεί ελαφρά επεξεργασία από ανθρώπους, παρά το γεγονός ότι έχουν γραφτεί κυρίως από ChatGPT, ή έναντι πραγματικών εγγράφων από άλλα επιστημονικά περιοδικά.

Δεδομένου ότι ο βασικός στόχος αυτής της εργασίας ήταν μια μελέτη απόδειξης της έννοιας, το πεδίο εφαρμογής της εργασίας ήταν περιορισμένο και απαιτούνται επακόλουθες μελέτες για να προσδιοριστεί η έκταση της δυνατότητας εφαρμογής αυτής της προσέγγισης", γράφουν οι ερευνητές στο έγγραφό τους. "Για παράδειγμα, το μέγεθος του συνόλου δοκιμών (180 έγγραφα, ∼1.200 παράγραφοι) είναι μικρό και ένα μεγαλύτερο σύνολο δοκιμών θα καθόριζε με μεγαλύτερη σαφήνεια την ακρίβεια της μεθόδου σε αυτή την κατηγορία παραδειγμάτων γραφής