Η Spectral Compute ισχυρίζεται ότι ο compiler SCALE υπερέχει των λύσεων μεταγλώττισης CUDA για GPU της AMD

Η CUDA της Nvidia θεωρείται σχεδόν συνώνυμη με την υπολογιστική υψηλών επιδόσεων (HPC), αφού, σύμφωνα με τον Giulio Malitesta, επικεφαλής ανάπτυξης της Spectral Compute, καλύπτει περίπου το 80% του κώδικα HPC που χρησιμοποιείται σήμερα. Μια μικρή startup με έδρα το Λονδίνο, η Spectral Compute, προσπαθεί να σπάσει αυτή τη σύνδεση με έναν compiler που ονομάζεται SCALE και λειτουργεί ως άμεσο υποκατάστατο του NVCC, του επίσημου compiler της Nvidia.

Πώς λειτουργεί το SCALE

Σε αντίθεση με εργαλεία που μεταφράζουν τον κώδικα CUDA σε άλλη γλώσσα ή δουλεύουν πάνω σε ήδη μεταγλωττισμένα δυαδικά αρχεία, το SCALE λειτουργεί ως πλήρης compiler που ξαναμεταγλωττίζει τον κώδικα CUDA απευθείας για το υλικό-στόχο, χτισμένο πάνω στις πλατφόρμες LLVM και Clang. Η προσέγγιση αυτή μοιάζει με τον τρόπο που δουλεύουν οι compilers για CPU, όπου ο ίδιος κώδικας τρέχει σε διαφορετικές αρχιτεκτονικές και οι διαφορές επιδόσεων προέρχονται κυρίως από το υλικό, όχι από τον compiler. «Ακολουθούμε την προσέγγιση που είναι βιομηχανικό πρότυπο για τις CPU, αλλά την εφαρμόζουμε σε GPU», δήλωσε ο Malitesta στο HPCwire.

Η εταιρεία ιδρύθηκε το 2018 από τέσσερις μηχανικούς με συνολική εμπειρία περίπου 60 ετών σε βελτιστοποίηση HPC, σύμφωνα με τους ίδιους τους ιδρυτές. Η αφορμή, όπως αναφέρουν, ήταν η δυσαρέσκειά τους από το κόστος των GPU της Nvidia και τις χαμηλές επιδόσεις εναλλακτικών εργαλείων μεταγλώττισης σε προηγούμενη δουλειά τους σε εταιρεία τεχνητής νοημοσύνης.

Το claim επιδόσεων και ο ανταγωνισμός

Σε δοκιμές επιδόσεων που δημοσίευσε η ίδια η Spectral Compute, το SCALE φέρεται να ξεπερνά σημαντικά προσεγγίσεις βασισμένες στο HIPIFY της AMD σε GPU της AMD, με διαφορές που σε ορισμένες περιπτώσεις πλησιάζουν τις 6 φορές. Πρόκειται για μετρήσεις της ίδιας της εταιρείας και όχι για ανεξάρτητα επιβεβαιωμένα αποτελέσματα.

Άλλα εργαλεία που στοχεύουν στη φορητότητα κώδικα CUDA έχουν, σύμφωνα με το δημοσίευμα, συγκεκριμένους περιορισμούς: το HIPIFY της AMD μετατρέπει τον κώδικα CUDA σε C++ για την πλατφόρμα ROCm, αλλά δεν αξιοποιεί πλήρως χαρακτηριστικά χαμηλού επιπέδου όπως το PTX. Το SYCLomatic της Intel μεταφέρει περίπου το 90% του κώδικα, αφήνοντας το υπόλοιπο 10% για χειροκίνητη διόρθωση. Εργαλεία όπως το ZLUDA δουλεύουν σε επίπεδο δυαδικού κώδικα, κάτι που μπορεί να επιβαρύνει τις επιδόσεις. Η Spectral υποστηρίζει ότι η δική της μέθοδος, που ξαναμεταγλωττίζει από τον πηγαίο κώδικα και ελέγχει τα αποτελέσματα έναντι της εξόδου του NVCC, αποφεύγει αυτούς τους συμβιβασμούς.

Διαθεσιμότητα και επόμενα βήματα

Το SCALE κυκλοφορεί εδώ και περίπου δύο χρόνια, οπότε η εταιρεία δεν διαθέτει ακόμη μακρύ ιστορικό χρήσης. Η Spectral Compute απασχολεί σήμερα περίπου 30 άτομα και βρίσκεται σε φάση επέκτασης. Το προϊόν πωλείται σε εμπορικούς πελάτες, ενώ διατίθεται δωρεάν σε ακαδημαϊκά και μη κερδοσκοπικά ιδρύματα. Το λογισμικό έχει ήδη δοκιμαστεί σε μεγάλα συστήματα, όπως ο υπερυπολογιστής Frontier του Oak Ridge National Laboratory.

Μέχρι στιγμής η εστίαση της εταιρείας είναι στο υλικό της AMD, ενώ εργάζεται για την υποστήριξη και άλλων επιταχυντών τεχνητής νοημοσύνης, χωρίς προς το παρόν να έχει κατονομάσει ποιους. Παράλληλα συνεχίζει να υποστηρίζει και τις GPU της Nvidia, θεωρώντας ότι υπάρχει ακόμη περιθώριο βελτίωσης επιδόσεων μέσω καλύτερης μεταγλώττισης. Η Spectral σχεδιάζει επίσης να επεκτείνει τη συμβατότητα με βιβλιοθήκες του οικοσυστήματος CUDA, όπως οι cuDNN, cuTENSOR και cuDF, καθώς και να προσθέσει υποστήριξη για το PyTorch.

Η εταιρεία τονίζει ότι δεν επιδιώκει άμεσο ανταγωνισμό με τη Nvidia. Έχει ενταχθεί στο πρόγραμμα Inception της Nvidia τον Ιούνιο, χωρίς να διευκρινίζεται το έτος. «Είμαστε με το καλό μέρος της Nvidia και με το καλό μέρος της AMD», δήλωσε ο Ruben van Dongen, επικεφαλής ακαδημαϊκών λύσεων της εταιρείας. «Θέλουμε να είμαστε φίλοι με όλη τη βιομηχανία. Είμαστε πραγματικά ουδέτεροι».

Πηγές

TechSpot