ARMageddon: Cluster Building Project

[qbiefox]

<div align="justify"> <img src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/ARMageddonTransparent-716722025.png?m=1361233747" align="left" hspace="8" vspace="8" alt="" border="0"/>Η εποχή των παράλληλων επεξεργαστών και συστημάτων έχει μπει για τα καλά στη ζωή μας. Η αδυναμία των κατασκευαστών να προσφέρουν αύξηση της επίδοσης σε μονοπύρηνους επεξεργαστές, κρατώντας την κατανάλωση μέσα σε λογικά πλαίσια, τους ανάγκασε να στραφούν σε πολλούς πυρήνες πάνω στο ίδιο chip. Αν σε αυτό προστεθεί και η ολοένα και περισσότερη ανάγκη για υπολογιστική δύναμη, τότε ο παραλληλισμός φεύγει από το επίπεδο του chip και έρχεται και στο επίπεδο του συστήματος. Πολλά συστήματα συνδέονται μεταξύ τους, συμβάλλοντας όλα μαζί παράλληλα, αυξάνοντας την συνολική διαθέσιμη επεξεργαστική ισχύ. Είναι τα λεγόμενα Cluster και όταν το μέγεθός τους αυξηθεί πολύ, χαρακτηρίζονται ως Supercomputers. Δεν είναι συστήματα που τα συναντάς συχνά. Είναι συστήματα χωμένα στα υπόγεια ερευνητικών κέντρων, στα οποία συμβαίνει σήμερα αυτό που θα συμβεί στον υπόλοιπο κόσμο μετά από 10 και περισσότερα χρόνια.

Οι "εποχές" των Supercomputers, είναι χωρισμένες με βάση την τάξη μεγέθους της επίδοσης που βγάζουν τα συστήματα. Αυτή την στιγμή είμαστε στην εποχή Petascale, καθώς η επίδοση εκφράζεται σε PetaFLOPs (10^15). Το επόμενο βήμα είναι η εποχή Exascale στην οποία θα μιλάμε για ExaFLOPs (10^18). Το πρόβλημα της κατανάλωσης ενέργειας, έχει κάνει για άλλη μια φορά την εμφάνισή του, καθιστώντας ασύμφορη την κατασκευή ενός τέτοιου μηχανήματος, μια και τα έξοδα λειτουργίας του θα είναι δυσβάστακτα για τον οποιονδήποτε. Έτσι έχουν κάνει την εμφάνισή τους διάφορα projects, τα οποία προσπαθούν να βρουν λύση στο πρόβλημα του Exascale. Ένα από τα πιο σημαντικά είναι το Mont-Blanc project το οποίο κάνει έρευνα προς την κατεύθυνση των low-power λύσεων για την επίτευξη της υψηλής απόδοσης. Σημασία δεν έχει μόνο η επίδοση, αλλά και η απόδοση, δηλαδή η επίδοση σε συνάρτηση με την κατανάλωση ενέργειας.

Στις σελίδες που ακολουθούν, θα προσπαθήσουμε να γευτούμε λίγη από την αίγλη που έχουν οι πανίσχυροι υπερυπολογιστές, προσπαθώντας να στήσουμε ένα μικρό cluster χρησιμοποιώντας επεξεργαστές χαμηλής κατανάλωσης. Και όταν ακούμε χαμηλή κατανάλωση, ένα όνομα έρχεται στο μυαλό όλων μας: ARM.

<img width="800" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/Armageddon-1364650511.JPG?m=1361238941" alt="" />

Και εγένετο το ARMageddon

Διαθέσιμο Hardware και τεχνικά χαρακτηριστικά

Ας δούμε τι hardware έχουμε στην διάθεση μας για να στήσουμε το πολυπόθητο cluster

7x PandaBoard ES

To PandaBoard αποτελεί ένα από τα πρώτα, και τα πιο γνωστά devkits. Έμεις είχαμε στην διάθεσή μας την αναβαθμισμένη έκδοση ES. Το PandaBoard boot-άρει από μία SD κάρτα, κλασσικό φαινόμενο σε τέτοιου είδους υπολογιστές. Το λειτουργικό που θα τρέχει πάνω τους είναι το Linux Linaro, το οποίο είναι ένα Ubuntu-based distribution βελτιστοποιημένο για επεργαστές ARM.

<img width="800" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/PandaBoardES.JPG?m=1361238991" alt="" />

Μια ματιά στο PandaBoard ES

Συνοπτικά τα τεχνικά χαρακτηριστικά του PandaBoard ES είναι:

• Dual-core ARM® Cortex™-A9 MPCore™ (SMP) χρονισμένο στα 1.2 GHz
  
• POWERVR™ SGX540 πυρήνα γραφικών
  
• 1 GB DDR2 RAM χαμηλής κατανάλωσης
  
• 100 Mbit Ethernet
  

Για περισσότερες πληροφορίες επισκεφτείτε την επίσημη σελίδα του κατασκευαστή

3x nvidia Carma DevKits

Το Carma DevKit είναι ένα από τα πλέον υποσχόμενα development kits που κυκλοφορούν. Το μότο του είναι CUDA on ARM, που σημαίνει ότι συνδυάζει ARM επεξεργαστή με nvidia κάρτα γραφικών με υποστήριξη CUDA. Η quaddro είναι η αριστερά κάρτα με τον ανεμιστήρα να την ψύχει, ενώ ο cpu φαίνεται δεξιά και είναι passive cooled. Το Carma boot-άρει από μια eMMC μνήμη που έχει ένα προεγκατεστημένο Ubuntu-based Linux, αλλά μπορεί να boot-άρει και από micro-SD. Αρχικά θα κρατήσουμε το ήδη υπάρχον λειτουργικό, αν όμως ο χρόνος το επιτρέψει, θα δοκιμάσουμε και εδώ το Linaro.

<img width="800" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/CarmaDevKit.JPG?m=1361238946" alt="" />

Το πανίσχυρο nvidia Carma

Συνοπτικά τα τεχνικά χαρακτηριστικά του Carma DevKit είναι:

• NVIDIA Tegra 3 Quad-Core ARM A9
  
• NVIDIA® Quadro™ 1000M κάρτα γραφικών με 96 CUDA® πυρήνες
  
• 2 GB RAM για τον επεξεργαστή
  
• 2 GB RAM για την κάρτα γραφικών
  
• 1 Gbit Ethernet
  

Για περισσότερες πληροφορίες επισκεφτείτε την επίσημη σελίδα του κατασκευαστή

1x Raspberrry Pi

To Raspberry Pi είναι ένα επαναστατικό single board computer που έγινε πασίγνωστο λόγω της ιδιαίτερα χαμηλής τιμής του. Ο λόγος ύπαρξης του Raspberry Pi είναι να παίξει το ρόλο του front-end, που θα διαχειρίζεται τις εργασίες του cluster. Στο Raspberry Pi έχουμε εγκατεστημένο Arch Linux.

<img width="800" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/RaspberryPI.JPG?m=1361238996" alt="" />

Το μικρό της παρέας, Raspberry Pi

Συνοπτικά τα τεχνικά χαρακτηριστικά του Raspberry Pi είναι:

• Single-core ARMv6 επεξεργαστής χρονισμένος στα 700MHz
  
• 512 MB RAM
  
• 100 Mbit Ethernet
  

Για περισσότερες πληροφορίες επισκεφτείτε την επίσημη σελίδα του κατασκευαστή

Ημέρα 1η: Γενικό setup και εγκαταστάσεις λογισμικού

Σκοπός της πρώτης μέρας ήταν αρχικά να δημιουργηθεί ένα όσο γίνεται πιο τακτοποιημένο περιβάλλον εργασίας, καθώς το διαθέσιμο hardware ήταν πολύ, τα καλώδια ακόμα περισσότερα. Καθώς δεν έχει ιδιαίτερο νόημα να παρουσιάσουμε την διαδικασία των συνδέσεων, ξεκινάμε δείχνοντας μια εποπτική εικόνα του πως έμοιαζε το setup μας μετά το βασικό στήσιμο του hardware.

<img width="800" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/HWoverview.JPG?m=1361238971" alt="" />

Η διάταξη του ARMageddon cluster

Όπως μπορείτε να δείτε, στο κέντρο βρίσκονται διατεταγμένα τα 3 Carma DevKits και τα 7 PandaBoards, που αποτελούν τα compute nodes του cluster μας, δηλαδή τους κόμβους στους οποίους θα γίνεται η επεξεργασία των δεδομένων. Δεξιά βλέπουμε τα δύο 8-port Gigabit switches που είναι υπεύθυνα για την επικοινωνία των κόμβων. Πάνω στα δύο switches βρίσκεται το Raspberry Pi, το οποίο είναι το front-end συστήματος, δηλαδή θα ελέγχει και θα μοιράζει τις εργασίες στο cluster. Ακόμα πιο δεξιά βρίσκεται το power meter μας, το οποίο οποίο τροφοδοτεί όλα τα πολύμπριζα που βρίσκονται αριστερά. Σκοπός μας είναι να μετρήσουμε την συνολική κατανάλωση ενέργειας, όχι μόνο των compute nodes αλλά και του δικτύου και του front-end. Τέλος αριστερά στα πολύμπριζα, φαίνονται οι πραγματικά πολλοί μετασχηματιστές που χρειάζονται για να τροφοδοτήσουν όλες αυτές τις συσκευές. Ο λόγος που επιλέξαμε να διαχωρίσουμε το δίκτυο από την παροχή ρεύματος ήταν για να μοιραστούν τα καλώδια και να μην είναι όλα μαζί σε ένα σημείο, καθώς κάτι τέτοιο θα καθιστούσε αδύνατη την εργασία για την αλλαγή κάποια σύνδεσης.

<img width="800" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/ComputeNodes.JPG?m=1361238963" alt="" />

Τα Compute Nodes

Στη συνέχεια φαίνονται τα 10 compute nodes του cluster μας. Επιλέχτηκαν πράσινα καλώδια τα τα Carma DevKits (λόγω της "πράσινης" nvidia) και μπλε για τα pandaboards. Τα καλώδια δέθηκαν με tie-wraps για να είναι όσο το δυνατόν πιο τακτοποιημένα και σταθερά γίνεται, καθώς τυχόν μετακινήσεις των πλακετών μας, θα μπορούσαν να δημιουργήσουν εύκολα κάποιο βραχυκύκλωμα μεταξύ τους. Το ίδιο έγινε και με τα καλώδια ρεύματος.

<img width="800" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/Compiling.JPG?m=1361238957" alt="" />

Δουλεύοντας για το στήσιμο του cluster

Αφού λοιπόν το στήσιμο του hardware βρισκόταν σε ικανοποιητικό επίπεδο, ξεκινήσαμε να ασχολούμαστε με το στήσιμο του απαραίτητου software για την διαχείριση του cluster. Για το ρόλο αυτό επιλέξαμε το Open Grid Scheduler το οποίο αποτελεί παρακλάδι του πολύ γνωστού και ευρέως χρησιμοποιούμενο σε clusters Sun Grid Engine, το οποίο αγοράστηκε από την Oracle και μετονομάστηκε σε Oracle Grid Engine. Όλα αυτά αποτελούν το λεγόμενο batch system, το οποίο αναλαμβάνει την δρομολόγηση των εργασιών στους υπολογιστικούς πόρους του cluster.

<img width="800" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/Mess.JPG?m=1361238981" alt="" />

Εργασία και χαρά

Θέλοντας να έχουμε τον απόλυτο έλεγχο του τι κάνουμε στο σύστημά μας, αποφασίσαμε να κατεβάσουμε τον πηγαίο κώδικα του Grid Engine και να το κάνουμε μόνοι μας compile πάνω στα μηχανήματα. Η λογική είναι να γίνει το setup σε ένα pandaboard και μετά να κλωνοποιήσουμε την SD card (από την οποία boot-άρει) σε όλα τα pandaboards. Επίσης το Grid Engine πρέπει να εγκατασταθεί και στα Carma DevKits αλλά και στο Raspberry Pi.

<img width="800" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/CloseUp.JPG?m=1361238952" alt="" />

Ένα κοντικό πλάνο στο διατεταγμένο hardware

To compilation και η εγκατάσταση του grid engine ολοκληρώθηκε σε όλα τα nodes συστήματος. Αυτό που μένει τώρα είναι να γίνει το κατάλληλο setup, έτσι ώστε ο καθένας να αναλάβει το ρόλο του στο cluster. Αυτό απαιτεί αρκετό διάβασμα από το manual του Grid Engine. Ελπίζουμε αυτό να γίνει ομαλά και να μην μας πάρει πάνω από μία ημέρα.

<img width="800" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/Logo.JPG?m=1361238976" alt="" />

Το λογότυπο της ομάδας

Τέλος, η ομάδα μας απέκτησε λογότυπο και το cluster μας όνομα. ARMageddon!

Η συνέχεια αύριο

Αύριο που θα επιτρέψουμε στο εργαστήριο για την συνέχεια του project ARMageddon, ένα rack θα μας περιμένει, κρατώντας την πόρτα ανοιχτή...

<img width="400" border=0 src="http://www.thelab.gr/gallery3/var/albums/Articles/Articles-Pictures/ARMageddon/DoorStop.JPG?m=1361238966" alt="" />

Ένα πρωτότυπο stop πόρτας.

[qbiefox]

Σε συνέχεια αυτού του post ύστερα από απαίτησή σας, σας παρουσιάζουμε το Cluster Building Project. Η παρουσίαση θα ενημερώνεται καθημερινά με την πρόοδο του project. Να διευκρινίσω ότι το project θα διαρκέσει 1 εβδομάδα, στην οποία θα προσπαθήσουμε να στήσουμε ένα πλήρες cluster και να αντιμετωπίσουμε τυχόν προβλήματα.

Από μέρους σας, ζητάω την κατανόησή σας σε τυχόν λάθη και καθυστερήσεις από μέρους μου, καθώς ο χρόνος είναι ελάχιστος αφού το project τρέχει αυτή τη στιγμή. Ελπίζω με την βοήθεια όλων σας να βγει ένα καλοφτιαγμένο worklog. Τέλος συγχωρέστε με για την ποιότητα των φωτογραφιών, όμως είναι τραβηγμένες μέσα σε εργαστήριο σε συνθήκες χαμηλού φωτισμού.

Ελπίζω να σας αρέσει!

[SirDiman]

Ωραιο!

Ποιο compiler χρησημοποιησατε , gcc - llvm?flags?

Γιατι οχι arch και στους κομβους? Φανταζομαι εκει σας ενδιαφερει περισσότερο η ταχυτητα απο οτι στο RPI

[apostglen46]

Well,οταν εχεις συνηθισει ubuntu-based γιατι να βαλεις arch?πρακτικα δεν υπαρχει διαφορα στην ταχυτητα,επισης τα CARMA boards as far as I know υποστηριζουν αυτο out-of-the-box και επειδη μαλλον προκειτε για semester project δεν χρειαζεται να παιδευεσαι περισσοτερο απο οσο χρειαζεται.

OFF-TOPIC:Πως σου φαινεται το epcc?

[petroSEXtreme]

Ωραιο project αλλα απαγορευτικο το κοστος του

Αν δεν κανω λαθος πρεπει να ειστε κοντα στα 3000€?

[bsakel]

Ποσο ζηλευω που

1) εισαι στο edinbra(δεν ειναι τρομερη πολη

2) Που εισαι στο epcc, μερικοι απο αυτους ειναι τρομεροι τυποι (θυμαμαι τον φοβερο Mark που εκανε openmp τοτε και τον Booth που απλα ηξερε οτι υπηρχε αλλα μαλλον θα εχουν αλλαξει)!

Καλη επιτυχια!

[qbiefox]

  SirDiman έγραψε:

Ωραιο!

Ποιο compiler χρησημοποιησατε , gcc - llvm?flags?

Γιατι οχι arch και στους κομβους? Φανταζομαι εκει σας ενδιαφερει περισσότερο η ταχυτητα απο οτι στο RPI

gcc χρησιμοποιούμε, και να πω την αλήθεια, δεν νομίζω να υπάρχει κάτι καλύτερο για ARM αυτή τη στιγμή. Ο λόγος που χρησιμοποιούμε Linaro είναι ότι στην πράξη ένα ubuntu κομμένο και ραμμένο στα μέτρα των ARM. Και μην ξεχνάμε ότι στο Ubuntu έχει γίνει τρελή δουλειά για τους ARM στα 2 τελευταία relseases, λόγω του πολυαναμενόμενου tablet version.

  petros@idk$ έγραψε:

Ωραιο project αλλα απαγορευτικο το κοστος του

Αν δεν κανω λαθος πρεπει να ειστε κοντα στα 3000€?

Είναι όντως απαγορευτικό το κόστος του συγκεκριμένου cluster, όμως τα boards προϋπήρχαν. Ο λόγος των τόσο αυξημένων τιμών είναι ότι τα συγκεκριμένα boards είναι devkits και για αυτό τα χρυσοπληρώνεις. Επίσης, στα carma ακριβοπληρώνεις την quaddro κάρτα (την οποία εμείς για αρχή τουλάχιστον, δεν θα χρησιμοποιήσουμε). Ο σκοπός μας είναι να φτιάξουμε κάτι που να λειτουργεί καλά, με χαμηλή κατανάλωση (άρα υψηλό efficiency)

Το θέμα είναι ότι μπορείς να κάνει κάτι αντίστοιχο με πολύ χαμηλότερο κόστος, απλά διαλέγοντας άλλα boards. Για παράδειγμα μπορείς να αγοράσεις τα πολύ δυνατά odroid-U2 τα οποία κοστίζουν λιγότερο από 70 ευρώ το καθένα και έχουν quad-core exynos στα 1.7GHz και 2 GB RAM

[MENTION=726]apostglen46[/MENTION] Πολύ ευχαριστημένος είμαι από το EPCC, καθώς οι δυνατότητες που μου δίνονται σε ένα τόσο εξειδικευμένο κέντρο είναι πάρα πολλές και ο κόσμος εδώ είναι πραγματικά γνώστες

[MENTION=4553]bsakel[/MENTION] Ήσουν στο EPCC? Βλέπω ξέρεις και άτομα

[bsakel]

  qbiefox έγραψε:

gcc χρησιμοποιούμε, και να πω την αλήθεια, δεν νομίζω να υπάρχει κάτι καλύτερο για ARM αυτή τη στιγμή. Ο λόγος που χρησιμοποιούμε Linaro είναι ότι στην πράξη ένα ubuntu κομμένο και ραμμένο στα μέτρα των ARM. Και μην ξεχνάμε ότι στο Ubuntu έχει γίνει τρελή δουλειά για τους ARM στα 2 τελευταία relseases, λόγω του πολυαναμενόμενου tablet version.

Είναι όντως απαγορευτικό το κόστος του συγκεκριμένου cluster, όμως τα boards προϋπήρχαν. Ο λόγος των τόσο αυξημένων τιμών είναι ότι τα συγκεκριμένα boards είναι devkits και για αυτό τα χρυσοπληρώνεις. Επίσης, στα carma ακριβοπληρώνεις την quaddro κάρτα (την οποία εμείς για αρχή τουλάχιστον, δεν θα χρησιμοποιήσουμε). Ο σκοπός μας είναι να φτιάξουμε κάτι που να λειτουργεί καλά, με χαμηλή κατανάλωση (άρα υψηλό efficiency)

Το θέμα είναι ότι μπορείς να κάνει κάτι αντίστοιχο με πολύ χαμηλότερο κόστος, απλά διαλέγοντας άλλα boards. Για παράδειγμα μπορείς να αγοράσεις τα πολύ δυνατά odroid-U2 τα οποία κοστίζουν λιγότερο από 70 ευρώ το καθένα και έχουν quad-core exynos στα 1.7GHz και 2 GB RAM

[MENTION=726]apostglen46[/MENTION] Πολύ ευχαριστημένος είμαι από το EPCC, καθώς οι δυνατότητες που μου δίνονται σε ένα τόσο εξειδικευμένο κέντρο είναι πάρα πολλές και ο κόσμος εδώ είναι πραγματικά γνώστες

[MENTION=4553]bsakel[/MENTION] Ήσουν στο EPCC? Βλέπω ξέρεις και άτομα

Ημουν πριν απο παρα πολλα χρονια...

[mojiro]

να κάνω μία απλή και χαζή ερώτηση...

με αυτό το cluster, όταν ολοκληρωθεί και τρέχει, θα ήταν δυνατό να έχεις ένα τυπικό x86-x64 pc/server που θα εκτελεί μία οποιαδήποτε εφαρμογή x86-x64, (πχ. apache/php) και να στέλνει οι εργασίες/threads σε αυτά; σα να έχεις 1 για κάθε 10 threads ας πούμε;

ή πρόκειται για ένα cluster όπου θα τρέχει συγκεκριμένη εφαρμογή;

Επίσης οι εφαρμογές πρέπει να είναι compiled σε arm;

[qbiefox]

Δεν μπορείς να τρέξεις τίποτε που είναι φτιαγμένο για x86 αρχιτεκτονική. Είναι ARM, που είναι κάτι εντελώς διαφορετικό, οπότε δεν μπορείς απλά να πάρεις μια εφαρμογή και να τρέξει. Βέβαια στον linux κόσμο υπάρχουν αρκετά πράγματα έτοιμα για ARM.

Γενικότερα πάντως το νόημα του να φτιάξεις ένα cluster δεν είναι να τρέξεις απλά καθημερινά προγράμματα. Συνήθως χρησιμοποιούνται σαν computation systems και τα προγράμματα που τρέχουν πάνω τους είναι φτιαγμένα για να παίζουν σε cluster (το 90% είναι MPI)

[bsakel]

  mojiro έγραψε:

να κάνω μία απλή και χαζή ερώτηση...

με αυτό το cluster, όταν ολοκληρωθεί και τρέχει, θα ήταν δυνατό να έχεις ένα τυπικό x86-x64 pc/server που θα εκτελεί μία οποιαδήποτε εφαρμογή x86-x64, (πχ. apache/php) και να στέλνει οι εργασίες/threads σε αυτά; σα να έχεις 1 για κάθε 10 threads ας πούμε;

ή πρόκειται για ένα cluster όπου θα τρέχει συγκεκριμένη εφαρμογή;

Επίσης οι εφαρμογές πρέπει να είναι compiled σε arm;

Οχι δεν θα μπορει να τρεχει σε καμια περιπτωση χ86 - 64. Αυτο που θα μπορει να κανει ειναι να παρει εναν αλγοριθμο υλοποιημενο (με mpi κατα πασα πιθανοτητα) και αφου γινει compile για arm θα τον τρεξουν και θα συγκρινουν τα αποτελεσματα σε χρονους. Βασικα θα προσπαθησουν να δουν αν μπορει να σταθει ενα τετοιο συστημα με αξιωσεις(και αν οχι γιατι οχι). Απο την αλλη μην φανταστεις οτι θα μπορει να τρεχει μονο συγκεκριμενες εφαρμογες, απλα υπαρχουν περιορισμοι. Γενικα δεν παντως δεν ειναι cloud computing συστημα ειναι cluster για high performance computing συστημα.

ΕΝΤΙΤ:

Και με προλαβες και τα ειπες και καλυτερα!

[screwvy]

Αρχικά ενθουσιάστηκα όταν το είδα το project, επειτα σκέφτηκα ότι είναι κάτι που απλά θα γνωρίσω εγκυκλοπαιδικά.

Cluster δεν μπορείτε να φτιάξετε χρησιμοποιόντας απλά pc? Ναι, το ρεύμα που θα ξοδευτεί θα είναι τρελό, όμως πολλοί από εμας έχουμε παλαιότερα μηχανήματα σε αχρησία και θα μας άρεσε να κάνουμε οτιδήποτε πειράματα για να μάθουμε και κάτι παραπάνω στη πράξη.

[bobos73]

μπραβο βρε παιδια! ωραια πραγματα!.....καλη επιτυχια!

[mojiro]

Κατάλαβα, άρα γενικότερα τα clusters είναι μόνο για mpi. Και το συγκεκριμένο, μόνο για ARM. Άρα πρέπει να βρω άλλο τρόπο για αυτό που έχω στο νου μου.

Ευχαριστώ!

[ARMAGEDDON]

θα μπορούσε να γίνει στο τέλος και μία συνάντηση για ενημέρωση !

πάντως θα ήθελα να μάθω περισσότερα ...

μου δώσατε google run mode code $09

[bsakel]

  screwvy έγραψε:

Αρχικά ενθουσιάστηκα όταν το είδα το project, επειτα σκέφτηκα ότι είναι κάτι που απλά θα γνωρίσω εγκυκλοπαιδικά.

Cluster δεν μπορείτε να φτιάξετε χρησιμοποιόντας απλά pc? Ναι, το ρεύμα που θα ξοδευτεί θα είναι τρελό, όμως πολλοί από εμας έχουμε παλαιότερα μηχανήματα σε αχρησία και θα μας άρεσε να κάνουμε οτιδήποτε πειράματα για να μάθουμε και κάτι παραπάνω στη πράξη.

Συνηθως ετσι γινεται ακαδημαικα και αν δεν πληρωνεσαι για να βγαζει αποτελεσματα απο βαρια simulation οπου συμφερει να αγορασεις server(αν και για να ειμαστε τυπικοι τα cluster με τα απλα pc ειναι μια υποκατηγορια που λεγεται beowolf νομιζω). Βασικα το ρευμα ειναι ακριβως ο λογος που το κανουν(HECToR » HECToR Home Page μπες και δες τι εχει ο βασικος τους cluster για να καταλαβεις και τι καιει, hint οταν τον αγορασαν υπολογισαν στο κοστος του project και το ρευμα για τα χρονια που θα δουλευει).

[frozen]

Καλή επιτυχία με το project.

Τι έχετε σκοπό να χρησιμοποιηθεί το cluster αυτό όταν είναι έτοιμο?

Τελευταία τα simulations μετακομίζουν σε gpu.

Eμείς εδώ στο Cambridge δοκιμάζουμε και χρησιμοποιόυμε πιλοτικά gpu /nvidia cuda για simulations.

[akis_z80]

Πολύ ωραίο project! Keep us informed!

[qbiefox]

  screwvy έγραψε:

Cluster δεν μπορείτε να φτιάξετε χρησιμοποιόντας απλά pc?

Cluster μπορείς να κάνεις με ότι θες. Το αν θα πηγαίνει καλά είναι μια άλλη ιστορία. Για πειραματισμούς πάντως τα παλιά pc είναι ότι πρέπει

  mojiro έγραψε:

Κατάλαβα, άρα γενικότερα τα clusters είναι μόνο για mpi. Και το συγκεκριμένο, μόνο για ARM.

Δεν είναι μόνο για MPI. Είναι για εφαρμογές που έχουν φτιαχτεί για cluster. Όπως το κινητό σου είναι για εφαρμογές κινητού, όπως ο πολυπύρηνός σου είναι μόνο για multi-threaded εφαρμογές. Όλα αυτά είναι διαφορετικά πράγματα, για διαφορετικές ανάγκες.

Και το MPI είναι απλά το πιο γνωστό. Δεν σημαίνει ότι είναι το μόνο. Υπάρχουν ένα σωρό γλώσσες και βιβλιοθήκες για hpc. Unified Parallel C, Coarray Fortran, SHMEM, Chapel και πάρα πολλές άλλες.

  frozen έγραψε:

Καλή επιτυχία με το project.

Τι έχετε σκοπό να χρησιμοποιηθεί το cluster αυτό όταν είναι έτοιμο?

Τελευταία τα simulations μετακομίζουν σε gpu.

Eμείς εδώ στο Cambridge δοκιμάζουμε και χρησιμοποιόυμε πιλοτικά gpu /nvidia cuda για simulations.

Δεν υπάρχει κάποιος συγκεκριμένος σκοπός. Για πλάκα το κάνουμε αρχικά, στην πορεία βλέπουμε. Συστήματα για να τρέχουμε υπάρχουν. Αυτό που θέλουμε είναι να δούμε τη διαδικασία σεταρίσματος ενός τέτοιου συστήματος.

Το ότι επεκτείνονται οι GPUs, δεν έχει κάποια σχέση. Μπορείς κάλιστα να έχεις cluster με GPUs

[x-treme]

  qbiefox έγραψε:

Το ότι επεκτείνονται οι GPUs, δεν έχει κάποια σχέση. Μπορείς κάλιστα να έχεις cluster με GPUs

Φίλε μου να σε ρωτήσω κάτι σε αυτό. Στις GPUs θα τρέχεις είτε OpenCL είτε CUDA. Σε ένα cluster, ποιος είναι αυτός που θα αναλαμβάνει το διαμοιρασμό των εργασιών στα nodes και τελικά θα τρέξει κώδικας στη GPU; Υπάρχει κάποια υλοποίηση σε sw που κάνει αυτή τη δουλειά;