Neurális hálózati adatfúzió önvezető autókhoz

csatorna esetén a hálózatok visszaadják kiszámított bizalmukat az NN azon képességével kapcsolatban, hogy pontosan észleli az objektumokat egy adott képen. Például, ha a kép nagyon sötét, az RGB hálózat alacsony megbízhatósági pontszámot ad vissza. 2 DNN (Deep Neural Networks) felügyelet nélkül fut az egyesített adatkészleten, és olyan képeket keres, ahol az egyik DNN megbízhatósága alacsony, a másik pedig magas pontszámú. A kép magas megbízhatósági pontszámú csatornáit ezután az alacsonyabb megbízhatósági pontszámú csatornák NN tanítására használják. Ez a folyamat jelentősen javítja mindkét DNN teljesítményét azáltal, hogy a legnehezebb körülmények között is betanítja őket. Az egyik eredmény az, hogy az RGB DNN-ek nagy javulást mutatnak a sötét jelenetekben és a közvetlen tükröződésben.

C. Fusion Image (R, G, B, IR) hálózat

Használjon 4D-s képeket (R, G, B, IR), hogy a legjobb teljesítményt érje el az RGB és IR kamerát egyaránt tartalmazó rendszerek esetében. Ennek a DNN-nek az észlelési pontszáma a fenti B. szakaszban említett 2 DNN kombinációjának észlelési pontszáma, miközben a számítási erőforrások csak felét használja fel. Ez a kombináció/fúzió biztosítja a legjobb eredményeket egyetlen rendszer esetében.

Néhány tényezőt azonban figyelembe kell venni a fúziós hálózati megközelítés kiválasztásakor. 2 különböző DNN használatával (ahogyan a B részben látható) a rendszer megkapja az autonóm járművek biztonságához szükséges redundanciatényezőt (elzáródás, lencse szennyeződés, valamelyik érzékelő meghibásodása esetén stb. meghibásodás megelőzése). Valamint a továbbfejlesztett RGB plusz IR hálózat egy kicsit jobban hangolható, így az egyik kamera (RGB vagy IR) eltávolítása nem befolyásolja a többi csatorna DNN-jét.

A) RGB DNN vonatok IR DNN. B) Az RGB DNN és ​​az IR DNN kölcsönösen betanított. C) 4D kép DNN

Összefoglalva

Az RGB kamerák valószínűleg továbbra is az önvezető autók elsődleges érzékelői maradnak. Egyes esetekben az RGB kamerák megbízhatatlanná válnak, és további érzékelők használatát teszik szükségessé. A kísérőérzékelő kiválasztásakor a következő szempontokat kell figyelembe venni:

Az érzékelő teljesítménye olyan környezeti feltételek mellett (világítás, időjárás stb.), amelyek befolyásolják az RGB kamera teljesítményét

érzékelő ára

Könnyen betanítható AI-algoritmusok és teljes adatfúziós képesség

Az LWIR kamerák tökéletesen megfelelnek a fenti szempontoknak. A QuadSight képfeldolgozó rendszer a legkorszerűbb mesterséges intelligencia képességeit használja fel, hogy gyorsan és megbízhatóan megvalósítsa a teljes adatfúziót, hogy a teljesen autonóm járműveket valósággá tegye.

RGB látható fény kép (balra), LWIR kép (középen) és olvasztott RGB-IR kép (jobbra)