Aνάπτυξη ενσωματωμένου συστήματος για την παρακολούθηση της κατάστασης οδοστρώματος βασισμένο σε τεχνικές υπολογιστικής όρασης και βαθειάς μάθησης
Στα πλαίσια του έργου RoadEye προτείνεται η ανάπτυξη και επίδειξη μιας αντίστοιχης ολοκληρωμένης εφαρμογής (ή συστήματος) για την παρακολούθηση, σε πραγματικό χρόνο, της κατάστασης του οδοστρώματος, με χρήσης κάμερας και ενσωματωμένου συστήματος (embedded system), η οποία να μπορεί να ολοκληρωθεί (integration) σε πλήρη συστήματα ADAS που παρέχουν ένα συνολικό εύρος λειτουργιών. Η συγκεκριμένη εφαρμογή θα παρακολουθεί το οδόστρωμα και θα ανιχνεύει, σε πραγματικό χρόνο, σε απόσταση μεγαλύτερη των 5μέτρων – και δυνητικά έως 25μέτρα – την κατάσταση του οδοστρώματος, κάνοντας χρήση τεχνικών υπολογιστικής όρασης (computer vision) και μηχανικής μάθησης (machine / deep learning). Οι τεχνικές που θα αναπτυχθούν στα πλαίσια του έργου θα ταξινομούν στην έξοδο του συστήματος την κατάσταση του δρόμου σε προεπιλεγμένες κατηγορίες, όπως π.χ. κανονικός δρόμος, ολισθηρό οδόστρωμα, δρόμος με λακκούβες, σαμαράκια κτλ.
Για να επιτευχθεί αυτό, το έργο RoadEye έχει θέσει τους παρακάτω στόχους:
1. Δημιουργία ολοκληρωμένου συνόλου δεδομένων (road image dataset) που θα ληφθούν σε
πραγματικές συνθήκες, από αυτοκίνητα κινούμενα σε διαφορετικούς δρόμους και με διαφορετικές συνθήκες.
2. Ανάπτυξη τεχνολογίας υπολογιστικής όρασης (computer vision) βασισμένη σε τεχνητή νοημοσύνη
(artificial intelligence και deep learning) που θα εκπαιδευτεί με τα δεδομένα που έχουν ληφθεί σε πραγματικές συνθήκες καθώς και με ήδη υπάρχοντα σετ δεδομένων.
3. Εκμετάλλευση των τεχνικών deep learning και της τεχνογνωσίας που έχει η Irida Labs, στην
εκπαίδευση και υλοποίηση αρχιτεκτονικών deep learning σε πραγματικό χρόνο, τις οποίες έχει υλοποιήσει για εμπορικές χρήσεις και μέσω συνεργασίας με εταιρείας όπως η Qualcomm, Cadence και Xilinx.
4. Πιλοτική υλοποίηση της λειτουργίας σε ενσωματωμένο σύστημα με χρήση τεχνικών heterogeneous
computing για την βέλτιστη εκμετάλλευση των διαθέσιμων υπολογιστικών πόρων όπως CPU, GPU και DSP.
Participation to VISION 2018 event in Stuttgart, demonstrating DeepAPI and Roadeye products.
Participation to Embedded World 2019 event in Nuremberg, demonstrating DeepAPI and Smart Parking solutions – as part of ROADEYE project.
EE1.1 – Διοικητική και τεχνική διαχείριση του έργου (Μ1-Μ18):
EE1.2 – Προετοιμασία ενδιάμεσων και τελικών εκθέσεων προόδου (Μ1-Μ18):
ΕΕ2.1 – Συλλογή δεδομένων (Μ1-Μ12): Συλλογή και οργάνωση δεδομένων με διαφορετικές συνθήκες οδοστρώματος, μέσω αναζήτησης υπαρχουσών βάσεων αλλά και επιτόπιας συλλογής δεδομένων. Στην πρώτη περίπτωση θα αξιολογηθούν διαθέσιμες βάσεις όπως οι Kitti, CoCo, Pascal κ.α. Επίσης θα διενεργηθούν καμπάνιες συλλογής δεδομένων.
ΕΕ2.2 – Προεπεξεργασία δεδομένων (Μ4-Μ12): Θα διασφαλισθεί ότι οι εικόνες/βίντεο που έχουν ληφθεί με διαφορετικές κάμερες και υπό διαφορετικές συνθήκες αποτελούν κατάλληλο υλικό για την ανάπτυξη της εφαρμογής RoadEye. Στόχος είναι να διασφαλισθεί η μέγιστη δυνατή επεκτασιμότητα της εφαρμογής σε διαφορετικές συνθήκες. Για τον σκοπό αυτό θα χρησιμοποιηθούν τεχνικές προ-επεξεργασίας και επαύξησης δεδομένων.
ΕΕ3.1 – Επιλογή δικτύων τεχνητής νοημοσύνης (Μ4-Μ9): Θα εξετασθούν διαφορετικές δομές δικτύων βασισμένες σε CNN ως προς την πολυπλοκότητα και την καταλληλότητά τους για εφαρμογή σε ενσωματωμένα συστήματα.
ΕΕ3.2 – Εκπαίδευση δικτύων τεχνητής νοημοσύνης (Μ7-Μ15): Θα γίνει εκπαίδευση των δικτύων με μεθόδους deep learning και χρήση frameworks όπως Caffe ή Tensorflow. Θα χρησιμοποιηθούν και παραλλαγές δικτύων όπως το VGG που έχουν δείξει σημαντική επεκτασιμότητα. Σε όλη την διάρκεια της εκπαίδευσης θα δοθεί έμφαση στην μετέπειτα υλοποίηση σε πραγματικό χρόνο.
EE4.1 – Επιλογή ενσωματωμένου συστήματος (Μ10-Μ12): Θα διερευνηθούν embedded platforms και SoCs στα οποία μπορεί να υλοποιηθεί πιλοτικά το σύστημα RoadEye με κριτήρια α) απόδοσης από πλευράς χρόνου/κατανάλωσης και β) εμπορικής αξιοποίησης στοχεύοντας δηλ. σε πλατφόρμες ευρείας αποδοχής και χαμηλού κόστους. Η Irida Labs έχει αναπτύξει εμπορικές εφαρμογές σε πλατφόρμες όπως η Qualcomm Snapdragon και NVIDIA Tegra που θα αποτελέσουν τις βασικές επιλογές.
EE4.2 – Ανάπτυξη ενσωματωμένου λογισμικού για το σύστημα RoadEye (Μ10-Μ18): Για την πλατφόρμα που έχει επιλεγεί θα γίνει χρήση τεχνικών heterogeneous computing ώστε να επιτευχθεί η μέγιστη δυνατή αξιοποίηση των διαθέσιμων υπολογιστικών πόρων. Στόχος είναι η ακρίβεια του συστήματος σε ακτίνα ~5μ. να είναι >90%, ενώ το σύστημα να επεξεργάζεται σε πραγματικό χρόνο video υψηλής ευκρίνειας – 1080p30.
Έλεγχος και αξιολόγηση της απόδοσης του πρωτοτύπου RoadEye ως προς: - Ποσοστό ανίχνευσης για διαφορετικές καταστάσεις οδοστρώματος και ιδιαίτερα για την ανίχνευση ανωμαλιών (λακκούβες) - Ποσοστό σφάλματος ως προς λάθος συναγερμούς για το σύστημα RoadEye - Υπολογιστική πολυπλοκότητα και κατανάλωση στην εκτέλεση σε πραγματικό χρόνο - Ποσοστά ανίχνευσης σφάλματος σε διαφορετικές συνθήκες από αυτές που έχει γίνει η εκπαίδευση του αλγορίθμου, με χρήση διαφορετικών δεδομένων από αυτά της διαδικασίας εκπαίδευσης του συστήματος
EE6.1 – Δράσεις δημοσιότητας (Μ6-Μ36): Δράσεις δημοσιότητας για τη διάχυση των αποτελεσμάτων του έργου.
EE6.2 – Εμπορική εκμετάλλευση αποτελεσμάτων (Μ6-Μ36): Συμμετοχή σε διεθνείς εκθέσεις στην Ευρώπη, την Ασία και ΗΠΑ για την προβολή και εμπορική προώθηση των αποτελεσμάτων του έργου.
EE6.3 – Β2Β συναντήσεις (Μ6-Μ36): Διμερής προώθηση των αποτελεσμάτων του έργου (B2B συναντήσεις) με εταιρείες και φορείς κυρίως στο εξωτερικό με στόχο να αναπτυχθεί περαιτέρω η εξωστρέφεια της Irida Labs.
