Η AMD ανοίγει τον κώδικα του Mini-ISP, επεξεργαστή εικόνας για FPGA

Ένας αισθητήρας κάμερας δεν καταγράφει έτοιμη έγχρωμη εικόνα. Καταγράφει ακατέργαστα δεδομένα pixel πίσω από ένα μοτίβο έγχρωμου φίλτρου (γνωστό ως μοτίβο Bayer). Για να μετατραπούν αυτά τα δεδομένα σε χρησιμοποιήσιμη εικόνα, οι κατασκευαστές συνήθως βασίζονται σε ιδιόκτητους και κοστοβόρους επεξεργαστές σήματος εικόνας (Image Signal Processors, ISP), οι οποίοι λειτουργούν συχνά με κρυπτογραφημένο κώδικα. Η AMD δημοσίευσε στο GitHub το Mini-ISP, μια εναλλακτική λύση ανοιχτού κώδικα για τα προγραμματιζόμενα κυκλώματα FPGA (Field-Programmable Gate Array) της εταιρείας.

Τι κάνει το Mini-ISP

Σύμφωνα με το αποθετήριο του project στο GitHub, το Mini-ISP είναι πλήρως υλοποιημένο σε προγραμματιζόμενη λογική και γραμμένο σε Verilog, βελτιστοποιημένο για FPGA της AMD. Το Notebookcheck αναφέρει πως ο πυρήνας εκτελεί τέσσερις βασικές λειτουργίες: βαθμονόμηση μαύρου επιπέδου, αποκωδικοποίηση του μοτίβου Bayer για ανακατασκευή πλήρους έγχρωμης εικόνας RGB, ισορροπία λευκού και συνολική αντιστοίχιση τόνων (tone mapping) για φυσική απεικόνιση χρωμάτων στις συνδεδεμένες οθόνες.

Επιδόσεις και σχεδιαστικές επιλογές

Το project ξεχωρίζει επίσης επειδή αποφεύγει τη συσσώρευση λειτουργιών που συναντάται σε εμπορικά πακέτα IP. Οι εμπορικοί πυρήνες ISP τρίτων κατασκευαστών καταναλώνουν συχνά χιλιάδες λογικές πύλες FPGA (LUT) και μονάδες DSP για να τρέξουν βαριά φίλτρα εξομάλυνσης θορύβου. Το Mini-ISP αφαιρεί εντελώς τη βαριά αποθορυβοποίηση (denoising) και το μετέπειτα sharpening, εστιάζοντας αποκλειστικά στη βασική διόρθωση χρώματος και στην ανακατασκευή pixel. Σύμφωνα με το Notebookcheck, ο πυρήνας επεξεργάζεται 1, 2 ή 4 pixel ανά κύκλο ρολογιού σε ταχύτητες έως 500 MHz, με αποτέλεσμα ρυθμαπόδοση έως 2 gigapixel το δευτερόλεπτο και καθυστέρηση αλυσίδας επεξεργασίας κάτω του ενός χιλιοστού του δευτερολέπτου. Πρόκειται για ισχυρισμούς επιδόσεων που αναφέρει το δημοσιογραφικό υλικό, χωρίς ανεξάρτητη επιβεβαίωση σε τρίτες μετρήσεις.

Σε ποιους απευθύνεται

Για κατασκευαστές ρομποτικών συστημάτων, σχεδιαστές drones και ερευνητές embedded vision (ενσωματωμένης όρασης), το Mini-ISP προσφέρει ένα εργαλείο επεξεργασίας εικόνας χωρίς κόστος αδειοδότησης. Επιτρέπει την ανάπτυξη προσαρμοσμένων αλυσίδων επεξεργασίας κάμερας σε οικονομικά FPGA όπως τα Spartan UltraScale+ ή Artix, χωρίς την ανάγκη πληρωμής υψηλών τελών σε προμηθευτές εμπορικών πυρήνων ISP.

Διαθεσιμότητα και άδεια χρήσης

Ο κώδικας και τα σχετικά test cases του Mini-ISP είναι δημόσια διαθέσιμα στο GitHub υπό άδεια χρήσης που επιτρέπει ελεύθερη εφαρμογή, σύμφωνα με το αποθετήριο του project. Πρόκειται για δημόσιο αποθετήριο, χωρίς ενδείξεις περιορισμένης ή μυστικής κυκλοφορίας στα δημόσια αρχεία, ενώ δεν έχει εντοπιστεί ακόμη ανεξάρτητη κάλυψη από άλλα ειδησεογραφικά sites τεχνολογίας πέραν του Notebookcheck.

Πηγές

• AMD quietly open-sources costly image processor for FPGAs
• GitHub - amd/mini-isp: A minimal, open-source Image Signal Processor (ISP) for AMD FPGA, implemented in Verilog. · GitHub