Η μοναδική υπολογιστική πλατφόρμα της D-Matrix, γνωστή ως Corsair C8, μπορεί να διεκδικήσει με αξιώσεις τον εκτοπισμό της κορυφαίας GPU H100 της Nvidia - τουλάχιστον σύμφωνα με ορισμένα εντυπωσιακά αποτελέσματα δοκιμών που δημοσίευσε η νεοσύστατη εταιρεία. Η Corsair C8, η οποία έχει σχεδιαστεί ειδικά για παραγωγικά φορτία AI, διαφέρει από τις GPU στο ότι χρησιμοποιεί τη μοναδική αρχιτεκτονική ψηφιακού υπολογιστή στη μνήμη (DIMC) της d-Matrix. Το αποτέλεσμα; Εννεαπλάσια αύξηση της απόδοσης σε σχέση με την κορυφαία στον κλάδο Nvidia H100 και 27 φορές μεγαλύτερη σε σχέση με την A100.

Ισχύς Corsair C8

Η νεοφυής επιχείρηση είναι μία από τις πιο πολυσυζητημένες στη Silicon Valley, συγκεντρώνοντας 110 εκατομμύρια δολάρια από επενδυτές στον τελευταίο γύρο χρηματοδότησής της, συμπεριλαμβανομένης της χρηματοδότησης από τη Microsoft. Αυτό ήρθε παράλληλα με έναν επενδυτικό γύρο ύψους 44 εκατομμυρίων δολαρίων από υποστηρικτές όπως η Microsoft, η SK Hynix και άλλοι, τον Απρίλιο του 2022.

Η ναυαρχίδα της, η κάρτα Corsair C8, περιλαμβάνει 2.048 πυρήνες DIMC με 130 δισεκατομμύρια τρανζίστορ και 256GB LPDDR5 RAM. Μπορεί να υπερηφανεύεται για υπολογιστικές επιδόσεις από 2.400 έως 9.600 TFLOPS και έχει εύρος ζώνης chip-to-chip 1TB/s

Αυτές οι μοναδικές κάρτες μπορούν να παράγουν έως και 20 φορές υψηλότερη απόδοση για παραγωγική συμπερασματολογία σε μεγάλα γλωσσικά μοντέλα (LLMS), έως και 20 φορές χαμηλότερη καθυστέρηση συμπερασματολογίας για LLM και έως και 30 φορές εξοικονόμηση κόστους σε σύγκριση με τις παραδοσιακές GPU.

Με την ταχεία εξάπλωση της παραγωγικής ΤΝ, ο κλάδος έχει εγκλωβιστεί σε έναν αγώνα δρόμου για την κατασκευή ολοένα και πιο ισχυρού υλικού για την τροφοδοσία των μελλοντικών γενεών της τεχνολογίας. Τα κορυφαία στοιχεία είναι οι GPU και, πιο συγκεκριμένα, οι μονάδες A100 και οι νεότερες H100 της Nvidia. Όμως οι GPU δεν είναι βελτιστοποιημένες για λύσεις LLM, σύμφωνα με την d-Matrix, και απαιτούνται πάρα πολλές GPU για να χειριστούν τα φορτία εργασίας AI, οδηγώντας σε υπερβολική κατανάλωση ενέργειας.

Αυτό οφείλεται στο γεγονός ότι οι απαιτήσεις εύρους ζώνης για την εκτέλεση συμπερασμάτων AI οδηγούν τις GPU να περνούν πολύ χρόνο σε αδράνεια, περιμένοντας να έρθουν δεδομένα από την DRAM. Η μετακίνηση δεδομένων από την DRAM σημαίνει επίσης υψηλότερη κατανάλωση ενέργειας παράλληλα με τη μειωμένη απόδοση και την πρόσθετη καθυστέρηση. Αυτό σημαίνει ότι στη συνέχεια αυξάνονται οι απαιτήσεις ψύξης.

Η λύση, υποστηρίζει η εν λόγω εταιρεία, είναι η εξειδικευμένη αρχιτεκτονική DIMC που μετριάζει πολλά από τα προβλήματα στις GPU. Η D-Matrix ισχυρίζεται ότι η λύση της μπορεί να μειώσει το κόστος κατά 10 έως 20 φορές - και σε ορισμένες περιπτώσεις έως και 60 φορές.

Πέρα από την τεχνολογία της d-Matrix, άλλοι παίκτες αρχίζουν να εμφανίζονται στον αγώνα για να ξεπεράσουν την H100 της Nvidia. Η IBM παρουσίασε τον Αύγουστο ένα νέο αναλογικό τσιπ τεχνητής νοημοσύνης που μιμείται τον ανθρώπινο εγκέφαλο και μπορεί να αποδώσει έως και 14 φορές πιο αποτελεσματικά.

Στο ραγδαία εξελισσόμενο τοπίο των εργαλείων δημιουργίας έργων τέχνης με τεχνητή νοημοσύνη, οι ερευνητές της Nvidia παρουσίασαν μια καινοτόμο νέα μέθοδο εξατομίκευσης κειμένου σε εικόνα που ονομάζεται Perfusion. Δεν πρόκειται όμως για ένα σούπερ βαρύ μοντέλο εκατομμυρίων δολαρίων όπως οι ανταγωνιστές του. Με μέγεθος μόλις 100KB και χρόνο εκπαίδευσης 4 λεπτών, το Perfusion επιτρέπει σημαντική δημιουργική ευελιξία στην απεικόνιση εξατομικευμένων εννοιών, διατηρώντας παράλληλα την ταυτότητά τους.

Το Perfusion παρουσιάστηκε σε μια ερευνητική εργασία που δημιουργήθηκε από τη Nvidia και το Πανεπιστήμιο Τελ Αβίβ στο Ισραήλ. Παρά το μικρό μέγεθός του, είναι σε θέση να ξεπεράσει τις κορυφαίες γεννήτριες τέχνης AI, όπως η Stable Diffusion v1.5 της Stability AI, η πρόσφατα κυκλοφόρησα Stable Diffusion XL (SDXL) και η MidJourney, όσον αφορά την αποτελεσματικότητα συγκεκριμένων εκδόσεων.

Η κύρια νέα ιδέα στην Perfusion ονομάζεται "Key-Locking". Αυτό λειτουργεί συνδέοντας νέες έννοιες που θέλει να προσθέσει ο χρήστης, όπως μια συγκεκριμένη γάτα ή καρέκλα, με μια γενικότερη κατηγορία κατά τη διάρκεια της δημιουργίας εικόνων. Για παράδειγμα, η γάτα θα συνδεθεί με την ευρύτερη ιδέα του "αιλουροειδούς". Αυτό βοηθά στην αποφυγή της υπερβολικής προσαρμογής, δηλαδή όταν το μοντέλο συντονίζεται πολύ στενά στα ακριβή παραδείγματα εκπαίδευσης. Η υπερβολική προσαρμογή δυσκολεύει την τεχνητή νοημοσύνη να δημιουργήσει νέες δημιουργικές εκδοχές της έννοιας. Συνδέοντας τη νέα γάτα με τη γενική έννοια του αιλουροειδούς, το μοντέλο μπορεί να απεικονίσει τη γάτα σε πολλές διαφορετικές πόζες, εμφανίσεις και περιβάλλοντα. Αλλά εξακολουθεί να διατηρεί την ουσιαστική "γατίσια" ιδιότητα που την κάνει να μοιάζει με την προοριζόμενη γάτα και όχι με οποιοδήποτε τυχαίο αιλουροειδές. Έτσι, με απλά λόγια, το Key-Locking επιτρέπει στην Τεχνητή Νοημοσύνη να απεικονίζει ευέλικτα εξατομικευμένες έννοιες, διατηρώντας παράλληλα την βασική τους ταυτότητα. Είναι σαν να δίνεις σε έναν καλλιτέχνη τις ακόλουθες οδηγίες: "Ζωγράφισε τον γάτο μου Tom, ενώ κοιμάται, παίζει με νήματα και μυρίζει λουλούδια".

Γιατί η Nvidia πιστεύει ότι το λιγότερο είναι περισσότερο

Η Perfusion επιτρέπει επίσης τον συνδυασμό πολλαπλών εξατομικευμένων εννοιών σε μία εικόνα με φυσικές αλληλεπιδράσεις, σε αντίθεση με τα υπάρχοντα εργαλεία που μαθαίνουν τις έννοιες μεμονωμένα. Οι χρήστες μπορούν να καθοδηγήσουν τη διαδικασία δημιουργίας εικόνας μέσω προτροπών κειμένου, συγχωνεύοντας έννοιες όπως μια συγκεκριμένη γάτα και μια καρέκλα.

Το Perfusion προσφέρει ένα αξιοσημείωτο χαρακτηριστικό που επιτρέπει στους χρήστες να ελέγχουν την ισορροπία μεταξύ της οπτικής πιστότητας (η εικόνα) και της ευθυγράμμισης κειμένου (η προτροπή) κατά τη διάρκεια της εξαγωγής συμπερασμάτων, ρυθμίζοντας ένα μόνο μοντέλο 100KB. Αυτή η δυνατότητα επιτρέπει στους χρήστες να εξερευνούν εύκολα το μέτωπο Pareto (ομοιότητα κειμένου έναντι ομοιότητας εικόνας) και να επιλέγουν το βέλτιστο συμβιβασμό που ταιριάζει στις συγκεκριμένες ανάγκες τους, και όλα αυτά χωρίς την ανάγκη επανεκπαίδευσης. Είναι σημαντικό να σημειωθεί ότι η εκπαίδευση ενός μοντέλου απαιτεί κάποια φινέτσα. Η υπερβολική εστίαση στην αναπαραγωγή του μοντέλου οδηγεί στο να παράγει το μοντέλο την ίδια έξοδο ξανά και ξανά και το να το κάνετε να ακολουθεί την προτροπή πολύ στενά χωρίς ελευθερία συνήθως παράγει ένα κακό αποτέλεσμα. Η ευελιξία για να ρυθμίσετε πόσο κοντά στην προτροπή βρίσκεται η γεννήτρια είναι ένα σημαντικό κομμάτι της προσαρμογής

Άλλες γεννήτριες εικόνων τεχνητής νοημοσύνης διαθέτουν τρόπους για τους χρήστες να ρυθμίζουν λεπτομερώς την έξοδο, αλλά είναι ογκώδεις. Ως αναφορά, ένα LoRA είναι μια δημοφιλής μέθοδος λεπτής ρύθμισης που χρησιμοποιείται στο Stable Diffusion. Μπορεί να προσθέσει οπουδήποτε από δεκάδες megabyte έως και πάνω από ένα gigabyte (GB) στην εφαρμογή. Μια άλλη μέθοδος, οι ενσωμάτωση αντιστροφής κειμένου, είναι ελαφρύτερη αλλά λιγότερο ακριβής. Ένα μοντέλο που εκπαιδεύεται με τη χρήση του Dreambooth, της πιο ακριβούς τεχνικής αυτή τη στιγμή, ζυγίζει περισσότερα από 2 GB.

Συγκριτικά, η Nvidia αναφέρει ότι η Perfusion παράγει ανώτερη οπτική ποιότητα και ευθυγράμμιση με τις προτροπές σε σχέση με τις κορυφαίες τεχνικές τεχνητής νοημοσύνης που αναφέρθηκαν προηγουμένως. Το εξαιρετικά αποδοτικό μέγεθος καθιστά δυνατή την ενημέρωση μόνο των τμημάτων που χρειάζεται όταν τελειοποιεί τον τρόπο παραγωγής μιας εικόνας, σε σύγκριση με το αποτύπωμα πολλών GB των μεθόδων που τελειοποιούν ολόκληρο το μοντέλο.

Η έρευνα αυτή ευθυγραμμίζεται με την αυξανόμενη εστίαση της Nvidia στην τεχνητή νοημοσύνη. Η μετοχή της εταιρείας σημείωσε άνοδο πάνω από 230% το 2023, καθώς οι GPU της συνεχίζουν να κυριαρχούν στην εκπαίδευση μοντέλων τεχνητής νοημοσύνης. Με οντότητες όπως η Anthropic, η Google, η Microsoft και η Baidu να ρίχνουν δισεκατομμύρια στη γενεσιουργό AI, το καινοτόμο μοντέλο Perfusion της Nvidia θα μπορούσε να της δώσει ένα πλεονέκτημα.

Η Nvidia έχει παρουσιάσει προς το παρόν μόνο το ερευνητικό έγγραφο, υποσχόμενη να κυκλοφορήσει σύντομα τον κώδικα.

Φαίνεται ότι οι εταιρείες τεχνητής νοημοσύνης, όπως η Microsoft, η OpenAI και η Cohere, κάνουν ό,τι μπορούν για να βρουν συνθετικά δεδομένα με τα οποία θα εκπαιδεύσουν τα προϊόντα τεχνητής νοημοσύνης τους. Επικαλούμενες την περιορισμένη διαθεσιμότητα "οργανικών" δεδομένων που δημιουργούνται από τον άνθρωπο στον παγκόσμιο ιστό, οι εταιρείες αυτές στοχεύουν να χρησιμοποιήσουν δεδομένα που δημιουργούνται από την ΤΝ (συνθετικά) σε ένα είδος άπειρου βρόχου, όπου η εκπαίδευση επιτυγχάνεται σε δεδομένα που έχουν ήδη δημιουργηθεί παραγωγικά.

"Αν μπορούσατε να πάρετε όλα τα δεδομένα που χρειάζεστε από τον παγκόσμιο ιστό, αυτό θα ήταν φανταστικό", δήλωσε στους Financial Times ο Aidan Gomez, διευθύνων σύμβουλος της νεοφυούς εταιρείας LLM Cohere, η οποία έχει προϋπολογισμό 2 δισεκατομμύρια δολάρια. "Στην πραγματικότητα, ο ιστός είναι τόσο θορυβώδης και ακατάστατος που δεν είναι πραγματικά αντιπροσωπευτικός των δεδομένων που θέλετε. Ο ιστός απλώς δεν κάνει όλα όσα χρειαζόμαστε".

Και υπάρχει και το θέμα του κόστους, καθώς τα δεδομένα που παράγονται από τον άνθρωπο, σύμφωνα με τον Gomez, είναι "εξαιρετικά ακριβά". Αυτό έχει ήδη οδηγήσει στην ίδρυση ορισμένων εταιρειών "συνθετικών δεδομένων", όπως η Gretel.ai, η οποία ειδικεύεται στην παραγωγή συνθετικών συνόλων δεδομένων που στη συνέχεια πωλούνται για εκπαιδευτικούς σκοπούς.

Το πρόβλημα της διαθεσιμότητας και της προέλευσης των δεδομένων είναι ένας από τους μεγαλύτερους περιοριστικούς παράγοντες στη σημερινή εποχή της τεχνητής νοημοσύνης. Σήμερα, υπάρχουν πραγματικοί κίνδυνοι στην εκπαίδευση δικτύων ΤΝ με συνθετικά δεδομένα που έχουν ήδη "μασήσει" και παραχθεί από τις ίδιες τις ΤΝ. Πρώτον, υπάρχει το ζήτημα της επιδείνωσης των ελλείψεων των βασικών δεδομένων εκπαίδευσης: εάν το αρχικό, μη συνθετικό σύνολο δεδομένων εκπαίδευσης υπέφερε ήδη από προκαταλήψεις, οι ίδιες προκαταλήψεις θα συμπεριληφθούν, θα χωνευτούν και θα ενισχυθούν στις επόμενες επαναλήψεις εκπαίδευσης, αυξάνοντας τη σχετικότητά του.

Αλλά ένα άλλο, ίσως πολύ πιο σημαντικό ζήτημα προκύπτει από ένα πρόσφατα ανακαλυφθέν όριο: η ποιότητα των αποτελεσμάτων υποβαθμίζεται σοβαρά μετά από πέντε γύρους εκπαίδευσης σε συνθετικά δεδομένα που δημιουργούνται από την ΤΝ. Το κατά πόσον αυτή η συνθήκη "MAD" αποτελεί ένα μαλακό ή σκληρό όριο προς την εκπαίδευση της ΤΝ φαίνεται να είναι ένα ερώτημα που βρίσκεται στο επίκεντρο της πρόθεσης της Microsoft και της OpenAI να εκπαιδεύσουν αναδρομικά τα δίκτυα ΤΝ τους. Ωστόσο, πρόκειται για έναν χώρο που πιθανότατα θα δει έναν καταιγισμό μελετών- η Microsoft Research, για παράδειγμα, έχει δημοσιεύσει εργασίες σχετικά με αναδρομικά παραγόμενες σύντομες ιστορίες (που σημαίνει ότι ένα μοντέλο εκπαιδεύτηκε σε ιστορίες που δημιουργήθηκαν από ένα άλλο μοντέλο) και ένα δίκτυο ΤΝ κωδικοποίησης που εκπαιδεύτηκε σε τεκμηρίωση που δημιούργησε η ΤΝ γύρω από τον προγραμματισμό Python. Η επαλήθευση των κινδύνων εκφυλισμού των δεδομένων σε αυτά και σε άλλα, μεγαλύτερου μεγέθους μοντέλα (όπως το Llama 2 με 70Β παραμέτρους, που κυκλοφόρησε πρόσφατα σε ανοιχτό κώδικα από τη Meta) θα είναι το κλειδί για το πόσο μακριά (και πόσο γρήγορα) θα εξελιχθεί η τεχνητή νοημοσύνη στο άμεσο μέλλον.

Με τις εταιρείες που ασχολούνται με την τεχνητή νοημοσύνη να ζητούν όλο και περισσότερα δεδομένα, είναι λογικό να προσπαθούν να δημιουργήσουν αναδρομικά σύνολα δεδομένων υψηλής ποιότητας. Αυτό μπορεί να γίνει με πολλαπλούς τρόπους, αλλά ίσως αυτός με τις μεγαλύτερες πιθανότητες επιτυχίας προέρχεται από το να αφήσουμε απλώς δύο δίκτυα ΤΝ να αλληλεπιδράσουν μεταξύ τους, με το ένα να παίρνει το ρόλο του δασκάλου και το άλλο το ρόλο του μαθητή. Η ανθρώπινη παρέμβαση θα ήταν (και θα είναι πάντα) απαραίτητη, ωστόσο, προκειμένου να διαλέγονται τα σημεία δεδομένων χαμηλότερης ποιότητας και να ελέγχονται οι "ψευδαισθήσεις" (επιβεβαιώσεις της ΤΝ που δεν είναι αληθινές).

Υπάρχουν κάποια εμπόδια στο δρόμο προς το τεχνοκρατικό όνειρο μιας αυτοαναπτυσσόμενης, αυτοδιδασκόμενης τεχνητής νοημοσύνης- μοντέλα που μπορούν να έχουν εσωτερικές συζητήσεις, εσωτερικές ανακαλύψεις και που παράγουν νέα γνώση που δεν είναι απλή ανάμειξη και αντιστοίχιση (αν και αυτό είναι ένα από τα χαρακτηριστικά της δημιουργικής παραγωγής, άλλωστε).

Φυσικά, πρέπει να έχουμε κατά νου ότι δεν είναι όλα τα όνειρα ευχάριστα. Έχουμε ήδη πρόβλημα να αντιμετωπίσουμε τους εφιάλτες που προκαλούνται από τον άνθρωπο- δεν μπορούμε να πούμε πόσο επιδραστικοί μπορεί να είναι οι "εφιάλτες" μιας μηχανής, ίσως μέχρις ότου μάθουμε, αν ονειρεύεται ηλεκτρικά πρόβατα.

Σε μια εντυπωσιακή ανακοίνωση σήμερα που σχεδιάστηκε για να συμπέσει με το συνέδριο Microsoft Inspire, η Meta ανακοίνωσε το νέο μοντέλο τεχνητής νοημοσύνης LLaMA 2 (Large Language Model Meta AI). Αυτό το νέο μεγάλο γλωσσικό μοντέλο (LLM) όχι μόνο είναι πλέον διαθέσιμο, αλλά είναι επίσης ανοικτού κώδικα και διατίθεται ελεύθερα για εμπορική χρήση - σε αντίθεση με το πρώτο LLaMA, το οποίο είχε άδεια χρήσης μόνο για ερευνητικούς σκοπούς.

Η είδηση αυτή, σε συνδυασμό με την ξεκάθαρη υποστήριξη της Microsoft για το LLaMA 2, σημαίνει ότι ο ταχέως εξελισσόμενος κόσμος της παραγωγικής τεχνητής νοημοσύνης μόλις μετατοπίστηκε για άλλη μια φορά. Τώρα οι πολλές επιχειρήσεις που σπεύδουν να αγκαλιάσουν την ΤΝ, έστω και με προσοχή, έχουν άλλη μια επιλογή, και αυτή είναι εντελώς δωρεάν - σε αντίθεση με το ChatGPT Plus του ηγέτη και αντιπάλου της OpenAI, ή τους διεκδικητές όπως η Cohere.

Οι φήμες γύρω από τη νέα έκδοση του LLaMA στροβιλίζονται στον κλάδο εδώ και τουλάχιστον ένα μήνα, καθώς γερουσιαστές των ΗΠΑ ρωτούσαν τη Meta σχετικά με τη διαθεσιμότητα του μοντέλου AI.

Η πρώτη έκδοση του LLaMA ήταν διαθέσιμη για ακαδημαϊκούς και ερευνητές με ερευνητική άδεια χρήσης. Ωστόσο, τα βάρη του μοντέλου που διέπουν το LLaMA διέρρευσαν, προκαλώντας κάποια διαμάχη που οδήγησε στην κυβερνητική έρευνα. Με το LLaMA 2, η Meta παραμερίζει την προηγούμενη διαμάχη και προχωρά με ένα πιο ισχυρό μοντέλο που θα είναι ευρύτερα χρησιμοποιήσιμο από τον προκάτοχό του και ενδεχομένως θα ταρακουνήσει ολόκληρο το τοπίο της LLM.

Η διπλωματία της Microsoft στην τεχνητή νοημοσύνη

Το μοντέλο LLaMA 2 διατίθεται στο Microsoft Azure. Αυτό είναι αξιοσημείωτο δεδομένου ότι το Azure είναι επίσης η βάση για το OpenAI και την οικογένεια GPT-3/GPT-4 των LLM. Η Microsoft είναι επενδυτής τόσο στην πρώην εταιρεία της Meta, το Facebook, όσο και στην OpenAI.

Ο ιδρυτής και διευθύνων σύμβουλος της Meta, Mark Zuckerberg, είναι ιδιαίτερα ενθουσιασμένος με το γεγονός ότι η LLaMA είναι ανοικτού κώδικα. Σε δήλωσή του, ο Zuckerberg σημείωσε ότι η Meta έχει μακρά ιστορία με τον ανοιχτό κώδικα και έχει κάνει πολλές αξιοσημείωτες συνεισφορές, ιδιαίτερα στην τεχνητή νοημοσύνη με το πλαίσιο μηχανικής μάθησης PyTorch.

"Ο ανοιχτός κώδικας προωθεί την καινοτομία επειδή επιτρέπει σε πολλούς περισσότερους προγραμματιστές να χτίζουν με νέα τεχνολογία", δήλωσε ο Zuckerberg. "Βελτιώνει επίσης την ασφάλεια και την προστασία, διότι όταν το λογισμικό είναι ανοιχτό, περισσότεροι άνθρωποι μπορούν να το εξετάσουν διεξοδικά για να εντοπίσουν και να διορθώσουν πιθανά προβλήματα. Πιστεύω ότι θα ξεκλειδώσει περισσότερη πρόοδο αν το οικοσύστημα ήταν πιο ανοιχτό, γι' αυτό και ανοίγουμε το Llama 2".

Σε μήνυμά του στο Twitter, ο Yann LeCun, αντιπρόεδρος και επικεφαλής επιστήμονας τεχνητής νοημοσύνης της Meta, χαιρέτισε επίσης την έκδοση με ανοιχτό κώδικα.

"Αυτό είναι τεράστιο: [το LLaMA 2] είναι ανοιχτού κώδικα, με άδεια που επιτρέπει την εμπορική χρήση!" έγραψε ο LeCun. "Αυτό πρόκειται να αλλάξει το τοπίο της αγοράς LLM. Το [LLaMA 2] είναι διαθέσιμο στο Microsoft Azure και θα είναι διαθέσιμο στο AWS, στο Hugging Face και σε άλλους παρόχους"

Τι υπάρχει μέσα στο LLaMA;

Το LLaMA είναι ένα αυτοπαλινδρομικό γλωσσικό μοντέλο που βασίζεται σε μετασχηματισμούς. Η πρώτη έκδοση του LLaMA παρουσιάστηκε δημόσια λεπτομερώς από τη Meta τον Φεβρουάριο ως ένα μοντέλο 65 δισεκατομμυρίων παραμέτρων, ικανό για ένα ευρύ φάσμα κοινών εργασιών δημιουργικής τεχνητής νοημοσύνης.

Αντίθετα, το LLaMA 2 διαθέτει διάφορα μεγέθη μοντέλου, συμπεριλαμβανομένων 7, 13 και 70 δισεκατομμυρίων παραμέτρων. Η Meta ισχυρίζεται ότι τα προ-εκπαιδευμένα μοντέλα έχουν εκπαιδευτεί σε ένα τεράστιο σύνολο δεδομένων που ήταν κατά 40% μεγαλύτερο από αυτό που χρησιμοποιήθηκε για το LLaMA 1. Το μήκος πλαισίου έχει επίσης επεκταθεί σε δύο τρισεκατομμύρια tokens, διπλάσιο από το μήκος πλαισίου του LLaMA 1.

Το LLaMA όχι μόνο έχει εκπαιδευτεί σε περισσότερα δεδομένα, με περισσότερες παραμέτρους, αλλά το μοντέλο έχει επίσης καλύτερες επιδόσεις από τον προκάτοχό του, σύμφωνα με τα συγκριτικά στοιχεία που παρέχει η Meta.

Μέτρα ασφαλείας

Το LLaMA 2 δεν αφορά μόνο την ισχύ, αλλά και την ασφάλεια. Το LLaMA 2 εκπαιδεύεται πρώτα με δημόσια διαθέσιμα δεδομένα. Στη συνέχεια, το μοντέλο περνάει από μια σειρά σταδίων τελειοποίησης με επίβλεψη (SFT). Ως πρόσθετο επίπεδο, το LLaMA 2 επωφελείται στη συνέχεια από έναν κύκλο ενισχυτικής μάθησης από ανθρώπινη ανατροφοδότηση (RLHF) για να βοηθήσει στην παροχή ενός περαιτέρω βαθμού ασφάλειας και υπευθυνότητας.

Το ερευνητικό έγγραφο της Meta σχετικά με το LLaMA 2 παρέχει εξαντλητικές λεπτομέρειες σχετικά με τα ολοκληρωμένα βήματα που έχουν ληφθεί για την παροχή ασφάλειας και τον περιορισμό της πιθανής μεροληψίας.

"Είναι σημαντικό να κατανοήσουμε τι υπάρχει στα δεδομένα προ-εκπαίδευσης τόσο για να αυξήσουμε τη διαφάνεια όσο και για να ρίξουμε φως στις βασικές αιτίες πιθανών θεμάτων κατάντη, όπως οι πιθανές προκαταλήψεις", αναφέρεται στο έγγραφο. "Αυτό μπορεί να ενημερώσει για το ποιες, αν υπάρχουν, μετριαστικές ενέργειες κατάντη της διαδικασίας που πρέπει να εξεταστούν και να βοηθήσει στην καθοδήγηση της κατάλληλης χρήσης του μοντέλου".

Η Microsoft ξεκίνησε την "επίθεση" στον επιχειρηματικό κόσμο έχοντας στην φαρέτρα της εργαλεία τεχνητής νοημοσύνης. Αυτό είναι το μήνυμα από το Microsoft Inspire, όπου η εταιρεία ανακοίνωσε σήμερα λεπτομέρειες σχετικά με τις νέες συνδρομητικές υπηρεσίες που βασίζονται στην τεχνητή νοημοσύνη για τις επιχειρήσεις.

Microsoft 365 Copilot

Η πρώτη είναι η τιμολόγηση για το Copilot στο Microsoft 365, το οποίο θα κοστίζει "30 δολάρια ανά χρήστη ανά μήνα για τους πελάτες του Microsoft 365 E3, E5, Business Standard και Business Premium, όταν θα είναι γενικά διαθέσιμο". Το Microsoft 365 Copilot ενσωματώνει τη δημιουργική τεχνητή νοημοσύνη με εργαλεία για τη δημιουργία εγγράφων Word, υπολογιστικών φύλλων Excel και παρουσιάσεων PowerPoint. Το Microsoft 365 Copilot αξιοποιεί επίσης το Outlook και το Teams για να θέσει "χιλιάδες δεξιότητες στη διάθεσή σας".

Με τη θεμελίωση των απαντήσεων σε επιχειρηματικά δεδομένα, όπως τα έγγραφα, τα μηνύματα ηλεκτρονικού ταχυδρομείου, το ημερολόγιο, τις συνομιλίες, τις συναντήσεις και τις επαφές σας, και συνδυάζοντάς τα με το πλαίσιο εργασίας σας - τη συνάντηση στην οποία βρίσκεστε τώρα, τα μηνύματα ηλεκτρονικού ταχυδρομείου που έχετε ανταλλάξει για ένα θέμα, τις συνομιλίες που είχατε την περασμένη εβδομάδα - το Copilot παρέχει πλουσιότερες, πιο σχετικές και πιο αξιοποιήσιμες απαντήσεις στις ερωτήσεις σας.

Αυτό ακούγεται σαν μια δίκαιη πρόταση. Αν η παραγωγική τεχνητή νοημοσύνη μπορεί πραγματικά να κάνει τις επιχειρήσεις πιο παραγωγικές, η μηνιαία χρέωση ανά εργαζόμενο θα είναι μια καλή επένδυση.

Bing Chat Enterprise

Το επόμενο είναι ένα νέο προϊόν που ονομάζεται Bing Chat Enterprise. Μπορεί να υπάρχει ένα chatbot δημιουργικής τεχνητής νοημοσύνης στην καταναλωτική έκδοση του Bing για δοκιμή, αλλά οι επιχειρήσεις έχουν διαφορετικές ανάγκες. Το Bing Chat Enterprise αξιοποιεί την ίδια τεχνολογία δημιουργικής τεχνητής νοημοσύνης και δίνει στα πράγματα μια μορφή προστασίας δεδομένων.

Σήμερα ανακοινώνουμε το Bing Chat Enterprise, το οποίο παρέχει στους οργανισμούς συνομιλία με τεχνητή νοημοσύνη για εργασία με εμπορική προστασία δεδομένων. Ό,τι μπαίνει - και βγαίνει - παραμένει προστατευμένο, δίνοντας στους εμπορικούς πελάτες διαχειριζόμενη πρόσβαση σε καλύτερες απαντήσεις, μεγαλύτερη αποδοτικότητα και νέους τρόπους για να είναι δημιουργικοί.

Αυτό ακούγεται σαν το είδος της πολιτικής απορρήτου που θα θέλατε και για το καταναλωτικό Bing Chat. Η έκδοση του Bing Chat που δεν συλλέγει δεδομένα θα κοστίζει 5 δολάρια ανά χρήστη κάθε μήνα από κάποια στιγμή στο μέλλον. Οι οργανισμοί με άδειες Microsoft 365 E5, E3, Business Premium και Business Standard θα αρχίσουν να έχουν πρόσβαση στην προεπισκόπηση από σήμερα.

Μπορείτε να διαβάσετε περισσότερα σχετικά με τις σημερινές ανακοινώσεις της Microsoft για τις επιχειρήσεις που ασχολούνται με τη δημιουργική τεχνητή νοημοσύνη εδώ.

Ο ιδιοκτήτης του Twitter και διευθύνων σύμβουλος της Tesla, Elon Musk ανακοίνωσε μια νέα εταιρεία τεχνητής νοημοσύνης, την xAI. Το λανσάρισμα έρχεται αφού ο Musk νωρίτερα φέτος κατέθεσε αίτηση για την ενσωμάτωση μιας εταιρείας τεχνητής νοημοσύνης εν μέσω αναφορών ότι σχεδίαζε να δημιουργήσει έναν αντίπαλο της ChatGPT.

"Ανακοινώνω τη δημιουργία της @xAI για να κατανοήσουμε την πραγματικότητα", έγραψε ο Musk στο Twitter την Τετάρτη

Η ιστοσελίδα της xAI προσθέτει ότι στόχος της εταιρείας είναι να "κατανοήσει την πραγματική φύση του σύμπαντος".

Η xAI έχει στείλει μήνυμα στο Twitter μόνο μία φορά μέχρι στιγμής, για να ρωτήσει: "Ποια είναι τα πιο θεμελιώδη αναπάντητα ερωτήματα;".

Ανακοινώθηκε ότι μια ομάδα 12 ατόμων, συμπεριλαμβανομένου του Musk, εργάζεται για την xAI. Όλοι τους άνδρες, έχουν εμπειρία από τις OpenAI, DeepMind, Google Research, Microsoft Research και Tesla, λέει η xAI. Την εταιρεία συμβουλεύει επίσης ο Dan Hendrycks, διευθυντής του μη κερδοσκοπικού Center for AI Safety.

Η ομάδα της xAI θα φιλοξενήσει μια συνομιλία στο Twitter Spaces την Παρασκευή 14 Ιουλίου, όπου τα μέλη της μπορεί να μιλήσουν για το τι πραγματικά θα κάνει η εταιρεία.

Από την άφιξη του ChatGPT της OpenAI στα τέλη του 2022, μεγάλες εταιρείες τεχνολογίας έχουν κυκλοφορήσει εργαλεία δημιουργικής τεχνητής νοημοσύνης στις μάζες. Το GPT-4 της OpenAI ξεκίνησε στα μέσα Μαρτίου. Πρόκειται για την τελευταία έκδοση του μεγάλου γλωσσικού μοντέλου που τροφοδοτεί το ChatGPT AI chatbot, το οποίο, μεταξύ άλλων, είναι αρκετά προηγμένο ώστε να περάσει τις εξετάσεις του δικηγορικού συλλόγου. Τον Φεβρουάριο, η Microsoft εισήλθε στον χώρο των AI chatbot με το Bing, το οποίο κάνει χρήση του ChatGPT, και η αντίπαλος Google ακολούθησε τελικά με το AI Bard. Ο κινεζικός γίγαντας Alibaba παρουσίασε επίσης έναν αντίπαλο του ChatGPT με δυνατότητες τόσο στα κινεζικά όσο και στα αγγλικά.

Το CNET έχει αναλύσει το ChatGPT καθώς και το Bing και το Google Bard για να βρει ποιο είναι το πιο χρήσιμο.

Παρά την ανακοίνωση της δικής του εταιρείας τεχνητής νοημοσύνης, ο Μασκ ήταν ανάμεσα σε περισσότερους από 1.000 ανθρώπους της τεχνολογίας που υπέγραψαν μια ανοιχτή επιστολή τον Μάρτιο, με την οποία προέτρεπαν τα εργαστήρια να κάνουν τουλάχιστον εξάμηνη παύση στην ανάπτυξη της τεχνητής νοημοσύνης λόγω του μεγάλου κινδύνου για την κοινωνία από τις ολοένα και πιο ικανές μηχανές τεχνητής νοημοσύνης. Τον Ιούνιο, ο διευθύνων σύμβουλος της OpenAI Sam Altman και ο διευθύνων σύμβουλος της DeepMind Demis Hassabis, μαζί με άλλους επιστήμονες και αξιοσημείωτες προσωπικότητες, υπέγραψαν επίσης μια δήλωση που προειδοποιούσε για τους κινδύνους της τεχνητής νοημοσύνης. Και η Microsoft δημοσίευσε τον Μάιο μια έκθεση 40 σελίδων, σύμφωνα με την οποία απαιτείται ρύθμιση της τεχνητής νοημοσύνης για να μείνουμε μπροστά από πιθανούς κινδύνους και κακούς παράγοντες.

Η κωμικός και συγγραφέας Sarah Silverman, καθώς και οι συγγραφείς Christopher Golden και Richard Kadrey - μηνύουν την OpenAI και τη Meta ο καθένας σε περιφερειακό δικαστήριο των ΗΠΑ για αξιώσεις παραβίασης πνευματικών δικαιωμάτων. Οι αγωγές ισχυρίζονται, μεταξύ άλλων, ότι το ChatGPT της OpenAI και το LLaMA της Meta εκπαιδεύτηκαν σε παράνομα αποκτηθέντα σύνολα δεδομένων που περιείχαν τα έργα τους, τα οποία, όπως λένε, αποκτήθηκαν από ιστότοπους "σκιωδών βιβλιοθηκών" όπως οι Bibliotik, Library Genesis, Z-Library και άλλοι, σημειώνοντας ότι τα βιβλία είναι "διαθέσιμα μαζικά μέσω συστημάτων torrent".

Οι Golden και Kadrey αρνήθηκαν να σχολιάσουν ο καθένας την αγωγή, ενώ η ομάδα του Silverman δεν απάντησε μέχρι την ώρα του Τύπου.

Στην αγωγή του OpenAI, οι τρείς ενάγοντες έδειξαν εκθέματα που δείχνουν ότι όταν ζητείται, το ChatGPT θα συνοψίζει τα βιβλία τους, παραβιάζοντας τα πνευματικά τους δικαιώματα. Το Bedwetter του Silverman είναι το πρώτο βιβλίο που εμφανίζεται να συνοψίζεται από το ChatGPT στα εκθέματα, ενώ το βιβλίο Ararat του Golden χρησιμοποιείται επίσης ως παράδειγμα, όπως και το βιβλίο Sandman Slim του Kadrey. Η αγωγή αναφέρει ότι το chatbot δεν μπήκε ποτέ στον κόπο να "αναπαραγάγει οποιαδήποτε από τις πληροφορίες διαχείρισης πνευματικών δικαιωμάτων που οι ενάγοντες συμπεριέλαβαν στα δημοσιευμένα έργα τους".

Όσον αφορά την ξεχωριστή αγωγή κατά της Meta, ισχυρίζεται ότι τα βιβλία των συγγραφέων ήταν προσβάσιμα στα σύνολα δεδομένων που χρησιμοποίησε η Meta για να εκπαιδεύσει τα μοντέλα LLaMA, ένα κουαρτέτο μοντέλων τεχνητής νοημοσύνης ανοιχτού κώδικα που παρουσίασε η εταιρεία τον Φεβρουάριο.

Η καταγγελία εκθέτει σταδιακά γιατί οι ενάγοντες πιστεύουν ότι τα σύνολα δεδομένων έχουν παράνομη προέλευση - σε ένα έγγραφο της Meta που περιγράφει λεπτομερώς το LLaMA, η εταιρεία παραπέμπει σε πηγές για τα σύνολα δεδομένων εκπαίδευσης, ένα από τα οποία ονομάζεται ThePile, το οποίο συγκεντρώθηκε από μια εταιρεία που ονομάζεται EleutherAI. Το ThePile, επισημαίνεται στην καταγγελία, περιγράφεται σε ένα έγγραφο της EleutherAI ως συγκροτημένο από "ένα αντίγραφο των περιεχομένων του ιδιωτικού ιχνηλάτη Bibliotik". Η Bibliotik και οι άλλες "σκιώδεις βιβλιοθήκες" που αναφέρονται, λέει η αγωγή, είναι "κατάφωρα παράνομες".

Και στις δύο αγωγές, οι συγγραφείς λένε ότι "δεν συναίνεσαν στη χρήση των βιβλίων τους που προστατεύονται από πνευματικά δικαιώματα ως υλικό εκπαίδευσης" για τα μοντέλα τεχνητής νοημοσύνης των εταιρειών. Οι αγωγές τους περιέχουν η καθεμία έξι κατηγορίες για διάφορους τύπους παραβίασης πνευματικών δικαιωμάτων, αμέλεια, αδικαιολόγητο πλουτισμό και αθέμιτο ανταγωνισμό. Οι συγγραφείς ζητούν νόμιμη αποζημίωση, επιστροφή κερδών και άλλα.

Οι δικηγόροι Joseph Saveri και Matthew Butterick, οι οποίοι εκπροσωπούν τους τρεις συγγραφείς, γράφουν στον ιστότοπό τους LLMlitigation ότι έχουν ακούσει από "συγγραφείς και εκδότες που ανησυχούν για την αλλόκοτη ικανότητα της [ChatGPT] να παράγει κείμενο παρόμοιο με αυτό που βρίσκεται σε υλικό κειμένου που προστατεύεται με πνευματικά δικαιώματα, συμπεριλαμβανομένων χιλιάδων βιβλίων".

Ο Saveri έχει επίσης ξεκινήσει δικαστικές διαδικασίες κατά εταιρειών τεχνητής νοημοσύνης εκ μέρους προγραμματιστών και καλλιτεχνών. Η Getty Images κατέθεσε επίσης μήνυση για τεχνητή νοημοσύνη, ισχυριζόμενη ότι η Stability AI, η οποία δημιούργησε το εργαλείο παραγωγής εικόνων τεχνητής νοημοσύνης Stable Diffusion, εκπαίδευσε το μοντέλο της σε "εκατομμύρια εικόνες που προστατεύονται από πνευματικά δικαιώματα". Οι Saveri και Butterick εκπροσωπούν επίσης τους συγγραφείς Mona Awad και Paul Tremblay σε παρόμοια υπόθεση σχετικά με το chatbot της εταιρείας.

Αγωγές όπως αυτή δεν αποτελούν απλώς πονοκέφαλο για την OpenAI και άλλες εταιρείες τεχνητής νοημοσύνης- αμφισβητούν τα ίδια τα όρια των πνευματικών δικαιωμάτων. 

Η OpenAI ανακοίνωσε σήμερα τη γενική διαθεσιμότητα του GPT-4, του πιο πρόσφατου μοντέλου δημιουργίας κειμένου, μέσω του API της. Από σήμερα το απόγευμα, όλοι οι υπάρχοντες προγραμματιστές API του OpenAI "με ιστορικό επιτυχημένων πληρωμών" μπορούν να έχουν πρόσβαση στο GPT-4. Η εταιρεία σχεδιάζει να ανοίξει την πρόσβαση σε νέους προγραμματιστές μέχρι το τέλος αυτού του μήνα και στη συνέχεια να αρχίσει να αυξάνει τα όρια διαθεσιμότητας μετά από αυτό "ανάλογα με τη διαθεσιμότητα των υπολογιστών".

"Εκατομμύρια προγραμματιστές έχουν ζητήσει πρόσβαση στο GPT-4 API από τον Μάρτιο, και το φάσμα των καινοτόμων προϊόντων που αξιοποιούν το GPT-4 αυξάνεται καθημερινά", έγραψε η OpenAI σε ένα blog post. "Οραματιζόμαστε ένα μέλλον όπου τα μοντέλα που βασίζονται στη συνομιλία θα μπορούν να υποστηρίζουν κάθε περίπτωση χρήσης. "

Το GPT-4 μπορεί να παράγει κείμενο (συμπεριλαμβανομένου του κώδικα) και να δέχεται εισόδους εικόνας και κειμένου - μια βελτίωση σε σχέση με το GPT-3.5, τον προκάτοχό του, που δεχόταν μόνο κείμενο - και αποδίδει σε "ανθρώπινο επίπεδο" σε διάφορα επαγγελματικά και ακαδημαϊκά benchmarks. Όπως και τα προηγούμενα μοντέλα GPT από το OpenAI, το GPT-4 εκπαιδεύτηκε χρησιμοποιώντας δημόσια διαθέσιμα δεδομένα, μεταξύ άλλων από δημόσιες ιστοσελίδες, καθώς και δεδομένα για τα οποία το OpenAI έχει δώσει άδεια χρήσης.

Η δυνατότητα κατανόησης εικόνων δεν είναι ακόμη διαθέσιμη σε όλους τους πελάτες της OpenAI. Η OpenAI τη δοκιμάζει αρχικά με έναν μόνο συνεργάτη, την Be My Eyes. Αλλά δεν έχει υποδείξει πότε θα την ανοίξει στην ευρύτερη πελατειακή βάση. Αξίζει να σημειωθεί ότι, όπως συμβαίνει ακόμη και με τα καλύτερα μοντέλα παραγωγικής τεχνητής νοημοσύνης σήμερα, το GPT-4 δεν είναι τέλειο. "Παρουσιάζει" γεγονότα και κάνει λάθη στη συλλογιστική, μερικές φορές με αυτοπεποίθηση. Και δεν μαθαίνει από την εμπειρία του, αποτυγχάνοντας σε δύσκολα προβλήματα, όπως η εισαγωγή τρωτών σημείων ασφαλείας στον κώδικα που παράγει.

Στο μέλλον, η OpenAI λέει ότι θα επιτρέψει στους προγραμματιστές να τελειοποιήσουν το GPT-4 και το GPT-3.5 Turbo, ένα από τα άλλα πρόσφατα αλλά λιγότερο ικανά μοντέλα παραγωγής κειμένου της (και ένα από τα αρχικά μοντέλα που τροφοδοτούν το ChatGPT), με τα δικά τους δεδομένα, όπως είναι εδώ και καιρό δυνατό με αρκετά από τα άλλα μοντέλα παραγωγής κειμένου της OpenAI. Αυτή η δυνατότητα θα φτάσει αργότερα φέτος, σύμφωνα με την OpenAI.

Μετά την ανακοίνωση του GPT-4 τον Μάρτιο, ο ανταγωνισμός της δημιουργικής τεχνητής νοημοσύνης έχει γίνει πιο έντονος. Πρόσφατα, η Anthropic επέκτεινε το παράθυρο πλαισίου για την Claude - τη ναυαρχίδα της στη δημιουργία κειμένου με μοντέλο τεχνητής νοημοσύνης, που βρίσκεται ακόμα σε προεπισκόπηση - από 9.000 tokens σε 100.000 tokens. (Το παράθυρο πλαισίου αναφέρεται στο κείμενο που εξετάζει το μοντέλο πριν δημιουργήσει πρόσθετο κείμενο, ενώ τα tokens αντιπροσωπεύουν το ακατέργαστο κείμενο - π.χ. η λέξη "fantastic" θα χωριζόταν στα tokens "fan", "tas" και "tic"). Το GPT-4 κατείχε το προηγούμενο στέμμα όσον αφορά το παράθυρο πλαισίου, ζυγίζοντας 32.000 tokens στο υψηλότερο σημείο. Σε γενικές γραμμές, τα μοντέλα με μικρά παράθυρα πλαισίου τείνουν να "ξεχνούν" το περιεχόμενο ακόμη και πολύ πρόσφατων συνομιλιών, με αποτέλεσμα να ξεφεύγουν από το θέμα.

Σε μια σχετική ανακοίνωση σήμερα, η OpenAI δήλωσε ότι καθιστά γενικά διαθέσιμα τα APIs DALL-E 2 και Whisper - το DALL-E 2 είναι το μοντέλο της OpenAI που παράγει εικόνες και το "Whisper" αναφέρεται στο μοντέλο ομιλίας σε κείμενο της εταιρείας. Η εταιρεία δήλωσε επίσης ότι σχεδιάζει να καταργήσει τα παλαιά μοντέλα που είναι διαθέσιμα μέσω του API της για να "βελτιστοποιήσει την υπολογιστική χωρητικότητα [της]". (Τους τελευταίους μήνες, χάρη σε μεγάλο βαθμό στην εκρηκτική δημοτικότητα του ChatGPT, η OpenAI δυσκολεύτηκε να ανταπεξέλθει στη ζήτηση για τα παραγωγικά μοντέλα της).

Από τις 4 Ιανουαρίου 2024, ορισμένα παλαιότερα μοντέλα του OpenAI - συγκεκριμένα το GPT-3 και τα παράγωγά του - δεν θα είναι πλέον διαθέσιμα, και θα αντικατασταθούν από νέα μοντέλα "βασικής GPT-3" που υποθέτουμε ότι είναι πιο αποδοτικά σε υπολογισμούς. Οι προγραμματιστές που χρησιμοποιούν τα παλιά μοντέλα θα πρέπει να αναβαθμίσουν χειροκίνητα τις ενσωματώσεις τους μέχρι τις 4 Ιανουαρίου, και όσοι επιθυμούν να συνεχίσουν να χρησιμοποιούν τα βελτιωμένα παλιά μοντέλα μετά τις 4 Ιανουαρίου θα πρέπει να βελτιώσουν τις αντικαταστάσεις πάνω στα νέα βασικά μοντέλα GPT-3.

"Θα παρέχουμε υποστήριξη στους χρήστες που είχαν προηγουμένως κάνει fine-tuning στα μοντέλα για να κάνουμε αυτή τη μετάβαση όσο το δυνατόν πιο ομαλή", έγραψε το OpenAI. "Τις επόμενες εβδομάδες, θα επικοινωνήσουμε με προγραμματιστές που χρησιμοποίησαν πρόσφατα αυτά τα παλαιότερα μοντέλα και θα παράσχουμε περισσότερες πληροφορίες μόλις τα νέα μοντέλα ολοκλήρωσης είναι έτοιμα για πρώιμες δοκιμές".

Η Inflection AI, μια νεοσύστατη εταιρεία τεχνητής νοημοσύνης, κατασκεύασε έναν υπερυπολογιστή αιχμής εξοπλισμένο με 22.000 GPUs NVIDIA H100 και προσφέρει τεράστιες υπολογιστικές επιδόσεις.

Για όσους δεν είναι εξοικειωμένοι με την Inflection AI, πρόκειται για μια επιχείρηση που στοχεύει στη δημιουργία "προσωπικής Τεχνητής Νοημοσύνης για όλους". Η εταιρεία είναι ευρέως γνωστή για το μοντέλο Inflection-1 AI που εισήγαγε πρόσφατα, το οποίο τροφοδοτεί το chatbot Pi. Παρόλο που το μοντέλο AI δεν έχει φτάσει ακόμα στο επίπεδο των μοντέλων ChatGPT ή LaMDA της Google, οι αναφορές δείχνουν ότι το Inflection-1 αποδίδει καλά σε εργασίες "κοινής λογικής", καθιστώντας το πολύ πιο κατάλληλο για εφαρμογές όπως η προσωπική βοήθεια.

Η Inflection ανακοίνωσε ότι κατασκευάζει έναν από τους μεγαλύτερους υπερυπολογιστές στον κόσμο που βασίζονται σε ΤΝ και φαίνεται ότι έχουμε τελικά μια ιδέα του τι θα είναι. Αναφέρεται ότι ο υπερυπολογιστής Inflection είναι εξοπλισμένος με 22.000 GPU H100 και με βάση την ανάλυση, θα περιέχει σχεδόν 700 racks τεσσάρων κόμβων με CPU Intel Xeon. Ο υπερυπολογιστής θα χρησιμοποιεί την εκπληκτική ισχύ των 31 μεγαβάτ.

Το εκπληκτικό γεγονός σχετικά με τον υπερυπολογιστή είναι η απόκτηση 22.000 GPU H100 της NVIDIA. Όλοι γνωρίζουμε καλά ότι, τον τελευταίο καιρό, ήταν πρόκληση να αποκτηθεί έστω και μία μονάδα των H100, καθώς έχουν τεράστια ζήτηση και η NVIDIA δεν μπορεί να αντιμετωπίσει την εισροή παραγγελιών. Στην περίπτωση της Inflection AI, η NVIDIA εξετάζει το ενδεχόμενο να είναι επενδυτής στην εταιρεία, γι' αυτό και στην περίπτωσή της είναι πιο εύκολο να αποκτήσει έναν τόσο τεράστιο αριθμό GPU.

Σύμφωνα με το TechCrunch, η Inflection AI έχει συγκεντρώσει περίπου 1,5 δισεκατομμύρια δολάρια σε επενδύσεις και σήμερα η αξία της εταιρείας αποτιμάται στα 4 δισεκατομμύρια δολάρια. Μέσω αυτού του υπερυπολογιστή, το μοντέλο τεχνητής νοημοσύνης "Inflection 1" αναμένεται να βελτιωθεί σημαντικά, ειδικά σε εργασίες κωδικοποίησης, καθώς η εταιρεία υστερεί σε αυτό.

Την περασμένη εβδομάδα, η OpenAI ξεκίνησε την beta λειτουργία "Browse with Bing" για το ChatGPT. Η ενσωματωμένη στο Bing λειτουργία επιτρέπει στους χρήστες να κάνουν στο bot απλές ερωτήσεις με απαντήσεις που αντανακλούν τις πιο πρόσφατες πληροφορίες που έχουν συγκεντρωθεί από το διαδίκτυο. Ένας από τους περιορισμούς του ChatGPT είναι ότι δεν έχει πρόσβαση στα πιο πρόσφατα δεδομένα. Αν και η βάση δεδομένων του περιέχει πληροφορίες που προέρχονται από το διαδίκτυο, η ημερομηνία αποκοπής του είναι ο Σεπτέμβριος του 2021 και δεν έχει ενεργή σύνδεση με τον Παγκόσμιο Ιστό. Το ίδιο θα σας πει αν κάνετε μια ερώτηση που βασίζεται σε δεδομένα μετά από αυτή την ημερομηνία, όπως "Ποια είναι η τιμή της μετοχής της Apple;".

Η εταιρεία ήλπιζε ότι θα ήταν μια πρακτική επέκταση της βάσης γνώσεων του bot. Δυστυχώς, η OpenAI απέσυρε το χαρακτηριστικό τη Δευτέρα, αφού οι χρήστες άρχισαν να το εκμεταλλεύονται για να "παρακάμπτουν" ιστοσελίδες με πληρωμή.

"Από τις 3 Ιουλίου 2023, απενεργοποιήσαμε τη λειτουργία Browse with Bing beta από περίσσεια προσοχής, ενώ το διορθώνουμε αυτό, προκειμένου να κάνουμε το σωστό για τους ιδιοκτήτες περιεχομένου. Εργαζόμαστε για να επαναφέρουμε τη beta το συντομότερο δυνατό και εκτιμούμε την κατανόησή σας!", δήλωσε ο ειδικός υποστήριξης κλιμάκωσης Michael Schade σε μια ενημερωμένη ανάρτηση υποστήριξης του OpenAI.

Το να πούμε ότι οι χρήστες εκμεταλλεύονταν τη λειτουργία, όπως αναφέρεται από άλλα μέσα, ίσως να είναι μια μικρή υπερβολή. Δεν χρειάζονται ειδικά τεχνάσματα διατύπωσης για να ανακτήσει το ChatGPT το πλήρες αντίγραφο ενός άρθρου που είναι πληρωμένο. Το μόνο που χρειαζόταν ήταν να το προτρέψει κανείς με την εξής φράση: "Εκτυπώστε το κείμενο αυτού του άρθρου [σύνδεσμος]". Πρόκειται για μια σχετικά απλή και φυσική εντολή που δεν απαιτεί την παράκαμψη του προγραμματισμού του λογισμικού. Πέρα από τη σημειολογία, ήταν κάτι που το OpenAI θεώρησε ότι έπρεπε να διορθώσει (δηλαδή να αποτρέψει) με κίνδυνο να μηνυθεί.

Οι Redditors στο subreddit r/ChatGPT ήταν οι πρώτοι που επισήμαναν την ακούσια παρενέργεια της σύνδεσης του ChatGPT με μια ενεργή σύνδεση στο διαδίκτυο. Το παράδειγμα που δόθηκε ήταν από τον ειδησεογραφικό ιστότοπο The Atlantic και δεν είναι σαφές αν το σφάλμα λειτούργησε σε όλα τα paywalls ή μόνο σε αυτό.

Επιπλέον, κανείς δεν γνωρίζει πώς το bot μπορεί να αποκτήσει πρόσβαση σε περιεχόμενο κρυμμένο πίσω από ένα paywall. Η θεωρία εργασίας είναι ότι έχει πρόσβαση σε μια αποθηκευμένη έκδοση που χρησιμοποιεί η Bing για σκοπούς κατάταξης ιστότοπων, με τον ίδιο τρόπο λειτουργούν πολλές επεκτάσεις παράκαμψης paywall. Ωστόσο, η OpenAI δεν έχει σχολιάσει το "σφάλμα" παρά μόνο ότι θέλει να επαναφέρει τη συνδεσιμότητα στο διαδίκτυο σε απροσδιόριστη ημερομηνία.

Η παραπληροφόρηση που παράγεται από την τεχνητή νοημοσύνη μπορεί να είναι πιο πειστική από την παραπληροφόρηση που γράφουν οι άνθρωποι, σύμφωνα με μια νέα μελέτη. Η έρευνα διαπίστωσε ότι οι άνθρωποι είχαν 3% λιγότερες πιθανότητες να εντοπίσουν ψευδή tweets που δημιουργήθηκαν από AI από εκείνα που γράφτηκαν από ανθρώπους. Αυτό το χάσμα αξιοπιστίας, αν και μικρό, είναι ανησυχητικό, δεδομένου ότι το πρόβλημα της παραπληροφόρησης που δημιουργείται από τεχνητή νοημοσύνη φαίνεται έτοιμο να αυξηθεί σημαντικά, λέει ο Τζιοβάνι Σπιτάλε, ερευνητής του Πανεπιστημίου της Ζυρίχης που ηγήθηκε της μελέτης, η οποία δημοσιεύθηκε σήμερα στο Science Advances.

"Το γεγονός ότι η παραπληροφόρηση που δημιουργείται από την τεχνητή νοημοσύνη δεν είναι μόνο φθηνότερη και ταχύτερη, αλλά και πιο αποτελεσματική, μου προκαλεί εφιάλτες", λέει. Πιστεύει ότι αν η ομάδα επαναλάμβανε τη μελέτη με το τελευταίο μεγάλο γλωσσικό μοντέλο της OpenAI, το GPT-4, η διαφορά θα ήταν ακόμη μεγαλύτερη, δεδομένου ότι το GPT-4 είναι πολύ πιο ισχυρό.

Για να ελέγξουν την ευαισθησία μας σε διαφορετικούς τύπους κειμένων, οι ερευνητές επέλεξαν κοινά θέματα παραπληροφόρησης, όπως η κλιματική αλλαγή και το covid. Στη συνέχεια ζήτησαν από το μεγάλο γλωσσικό μοντέλο GPT-3 του OpenAI να δημιουργήσει 10 αληθινά tweets και 10 ψευδή και συνέλεξαν ένα τυχαίο δείγμα τόσο αληθινών όσο και ψευδών tweets από το Twitter. Στη συνέχεια, επιστράτευσαν 697 άτομα για να συμπληρώσουν ένα διαδικτυακό κουίζ που έκρινε αν τα tweets είχαν παραχθεί από την τεχνητή νοημοσύνη ή είχαν συλλεχθεί από το Twitter και αν ήταν ακριβή ή περιείχαν παραπληροφόρηση. Διαπίστωσαν ότι οι συμμετέχοντες είχαν 3% λιγότερες πιθανότητες να πιστέψουν ψευδή tweets γραμμένα από άνθρωπο σε σχέση με αυτά που γράφτηκαν από τεχνητή νοημοσύνη.

Οι ερευνητές δεν είναι σίγουροι γιατί οι άνθρωποι μπορεί να είναι πιο πιθανό να πιστέψουν tweets γραμμένα από AI. Αλλά ο τρόπος με τον οποίο η GPT-3 διατάσσει τις πληροφορίες θα μπορούσε να έχει κάποια σχέση με αυτό, σύμφωνα με τον Spitale.

"Το κείμενο του GPT-3 τείνει να είναι λίγο πιο δομημένο σε σύγκριση με το οργανικό [γραμμένο από τον άνθρωπο] κείμενο", λέει. "Αλλά είναι επίσης συμπυκνωμένο, οπότε είναι πιο εύκολο στην επεξεργασία".

Η έκρηξη της παραγωγικής τεχνητής νοημοσύνης θέτει ισχυρά, προσιτά εργαλεία ΤΝ στα χέρια όλων, συμπεριλαμβανομένων των κακοποιών. Μοντέλα όπως το GPT-3 μπορούν να παράγουν ψεύτικο κείμενο που φαίνεται πειστικό, το οποίο θα μπορούσε να χρησιμοποιηθεί για τη δημιουργία ψευδών αφηγήσεων γρήγορα και φτηνά για θεωρητικούς συνωμοσίας και εκστρατείες παραπληροφόρησης. Τα όπλα για την καταπολέμηση του προβλήματος -εργαλεία ανίχνευσης κειμένου με τεχνητή νοημοσύνη- βρίσκονται ακόμη σε πρώιμα στάδια ανάπτυξης και πολλά από αυτά δεν είναι απολύτως ακριβή.

Η OpenAI γνωρίζει ότι τα εργαλεία τεχνητής νοημοσύνης της θα μπορούσαν να χρησιμοποιηθούν ως όπλα για την παραγωγή εκστρατειών παραπληροφόρησης μεγάλης κλίμακας. Παρόλο που αυτό παραβιάζει τις πολιτικές της, δημοσίευσε μια έκθεση τον Ιανουάριο προειδοποιώντας ότι είναι "σχεδόν αδύνατο να διασφαλιστεί ότι τα μεγάλα γλωσσικά μοντέλα δεν χρησιμοποιούνται ποτέ για την παραγωγή παραπληροφόρησης". Ωστόσο, η εταιρεία προέτρεψε επίσης να μην υποτιμούμε τον αντίκτυπο των εκστρατειών παραπληροφόρησης. Χρειάζεται περαιτέρω έρευνα για να προσδιοριστούν οι πληθυσμοί που διατρέχουν τον μεγαλύτερο κίνδυνο από το μη αυθεντικό περιεχόμενο που παράγεται με τεχνητή νοημοσύνη, καθώς και η σχέση μεταξύ του μεγέθους του μοντέλου τεχνητής νοημοσύνης και της συνολικής απόδοσης ή της πειστικότητας των αποτελεσμάτων του, αναφέρουν οι συντάκτες της έκθεσης του OpenAI.

Είναι πολύ νωρίς για πανικό, λέει ο Jon Roozenbeek, μεταδιδακτορικός ερευνητής που μελετά την παραπληροφόρηση στο τμήμα ψυχολογίας του Πανεπιστημίου του Cambridge, ο οποίος δεν συμμετείχε στη μελέτη. Παρόλο που η διανομή παραπληροφόρησης στο διαδίκτυο μπορεί να είναι ευκολότερη και φθηνότερη με την τεχνητή νοημοσύνη από ό,τι με τις φάρμες τρολ με ανθρώπινο προσωπικό, η μετριοπάθεια στις τεχνολογικές πλατφόρμες και τα αυτοματοποιημένα συστήματα ανίχνευσης εξακολουθούν να αποτελούν εμπόδια στη διάδοσή της, λέει.

"Επειδή η τεχνητή νοημοσύνη διευκολύνει τη συγγραφή ενός tweet που μπορεί να είναι ελαφρώς πιο πειστικό από ό,τι σκέφτηκε κάποιος σε κάποιο εργοστάσιο στην Αγία Πετρούπολη, δεν σημαίνει απαραίτητα ότι ξαφνικά όλοι είναι ώριμοι να χειραγωγηθούν", προσθέτει.

Τον Απρίλιο, το Google Brain και το DeepMind ένωσαν τις δυνάμεις τους ως Google DeepMind, με σχέδια να αντιμετωπίσουν την ανταγωνιστική απειλή που συνιστά το OpenAI και το ChatGPT που αλλάζει το παιχνίδι. Σύμφωνα με το Wired, ο διευθύνων σύμβουλος της DeepMind, Demis Hassabis, λέει ότι η εταιρεία εργάζεται πάνω σε ένα νέο σύστημα, το Gemini - το οποίο είχε υπονοηθεί στο Google I/O τον Μάιο - το οποίο θα "αξιοποιήσει τεχνικές που βοήθησαν το AlphaGo να νικήσει έναν πρωταθλητή του Go το 2016".

Σύμφωνα με το δημοσίευμα, ο Hassabis δήλωσε ότι το σύστημα Gemini θα συνδυάσει την τεχνολογία LLM με τεχνικές ενισχυτικής μάθησης που χρησιμοποιούνται στο AlphaGo, με στόχο να του δώσει νέες δυνατότητες σχεδιασμού και επίλυσης προβλημάτων. Μια άλλη πρόσφατη έκθεση από το The Information επικαλείται μια ανώνυμη πηγή η οποία δήλωσε ότι οι ερευνητές της Google χρησιμοποιούν το YouTube (το οποίο ανήκει στην Google) για να αναπτύξουν το Gemini - το οποίο, σύμφωνα με τους ειδικούς της τεχνητής νοημοσύνης, θα μπορούσε να αποτελέσει πλεονέκτημα για το GoogleDeepMind, καθώς μπορεί να αποκτήσει "πληρέστερη πρόσβαση στα δεδομένα βίντεο από ό,τι οι ανταγωνιστές που ξύνουν τα βίντεο".

Στο Google I/O, ο διευθύνων σύμβουλος Sundar Pichai σημείωσε σε ένα blog post ότι το Gemini, το "μοντέλο θεμελίωσης επόμενης γενιάς" της εταιρείας, βρίσκεται ακόμη σε στάδιο εκπαίδευσης.

"Το Gemini δημιουργήθηκε από την αρχή για να είναι πολυτροπικό, εξαιρετικά αποτελεσματικό στις ενσωματώσεις εργαλείων και API και χτίστηκε για να επιτρέπει μελλοντικές καινοτομίες, όπως η μνήμη και ο προγραμματισμός", έγραψε. "Αν και είναι ακόμα σε πρώιμο στάδιο, βλέπουμε ήδη εντυπωσιακές πολυτροπικές δυνατότητες που δεν είχαμε δει σε προηγούμενα μοντέλα. Μόλις τελειοποιηθεί και δοκιμαστεί αυστηρά για την ασφάλεια, το Gemini θα είναι διαθέσιμο σε διάφορα μεγέθη και δυνατότητες".

Οι αναφορές για το Gemini έρχονται καθώς ο ίδιος ο Hassabis έχει εκφράσει την ανησυχία του για τους μακροπρόθεσμους, υπαρξιακούς κινδύνους της τεχνητής νοημοσύνης. Στην έκθεση του Wired ο Hassabis αναφέρει ότι κανείς δεν γνωρίζει με βεβαιότητα ότι η τεχνητή νοημοσύνη θα αποτελέσει σημαντικό κίνδυνο, αλλά ότι αν η πρόοδος συνεχιστεί με τον τρέχοντα ρυθμό, δεν υπάρχει πολύς χρόνος για την ανάπτυξη δικλείδων ασφαλείας. "Μπορώ να δω τα είδη των πραγμάτων που ενσωματώνουμε στη σειρά Gemini σωστά και δεν έχουμε κανένα λόγο να πιστεύουμε ότι δεν θα λειτουργήσουν", δήλωσε.

Αλλά ο Hassabis ήταν επίσης πρόσφατα ένας από τους πιο εξέχοντες υπογράφοντες της δήλωσης για τον κίνδυνο της τεχνητής νοημοσύνης, η οποία προειδοποίησε για τον "κίνδυνο εξαφάνισης" από την προηγμένη τεχνητή νοημοσύνη, εάν η ανάπτυξή της δεν τύχει κατάλληλης διαχείρισης.