Jaká jsou omezení rozpoznávání dopravních značek?

Představujeme metodu detekce a rozpoznávání dopravních značek v reálném čase založenou na jednotce GPGPU (General Purpose Graphics Processing Unit), která je odolná vůči změnám osvětlení. V různých oblastech výzkumu existuje mnoho přístupů k rozpoznávání dopravních značek; předchozí přístupy však čelily několika omezením při nízkém osvětlení nebo širokém rozptylu světelných podmínek. Abychom tyto nedostatky překonali a zlepšili rychlost zpracování, navrhujeme metodu, která 1) je odolná vůči změnám osvětlení, 2) používá detekci dopravních značek v reálném čase na bázi GPGPU a 3) provádí detekci a rozpoznávání oblastí pomocí hierarchického modelu. Tato metoda poskytuje stabilní výsledky v prostředí s nízkým osvětlením. Jak detekce, tak hierarchické rozpoznávání se provádějí v reálném čase a navrhovaná metoda dosahuje skóre 0.97 F1 na našem kolektivním souboru dat, který využívá dopravní pravidla Vídeňské konvence (Německo a Jižní Korea).

Citace: Lim K, Hong Y, Choi Y, Byun H (2017) Rozpoznávání dopravních značek v reálném čase založené na obecném GPU a hlubokém učení. PLoS ONE 12(3): e0173317. https://doi.org/10.1371/journal.pone.0173317

Editor: Xiaolei Ma, Univerzita Beihang, ČÍNA

obdržel: Listopad 15, 2016; Přijato: Únor 17, 2017; Publikováno: 6. března 2017

Copyright: © 2017 Lim a kol. Toto je článek s otevřeným přístupem distribuovaný za podmínek licence Creative Commons Attribution License, která umožňuje neomezené použití, distribuci a reprodukci na jakémkoli médiu za předpokladu, že je uveden původní autor a zdroj.

Dostupnost dat: Všechny soubory testovací sady jsou dostupné z databáze figshare (https://dx.doi.org/10.6084/m9.figshare.4597795.v1).

Financování: Tato práce byla podpořena grantem Institutu pro podporu informačních a komunikačních technologií (IITP) financovaným korejskou vládou (MSIP) (č. R7117-16-0157, Vývoj technik inteligentního vidění do auta založených na hlubokém učení pro bezpečnost chodců) (http ://www.iitp.kr).

Konkurenční zájmy: Autoři prohlásili, že neexistují žádné konkurenční zájmy.

Úvod

Vzhledem k tomu, že technologie autonomního řízení nabývá na důležitosti pro nadcházející automobilový průmysl, základní dovednosti asistentů řízení jsou zahrnuty do užitkových vozů a velikost trhu roste. Chcete-li vytvořit technologii skutečného autonomního řízení a vyvinout se od systému ADAS (Advanced Driving Assistant System) k automatickému cestování, je důležité porozumět prostředí.

V současné době je vedle technologie ADAS další klíčovou technologií pro autonomní řízení Traffic Sign Recognition (TSR), systém, který detekuje a rozpoznává dopravní značky zachycené přední kamerou. S TSR mohou samořiditelná auta důkladně porozumět silničním předpisům pro bezpečnost. Evropský program hodnocení nových automobilů (EURO NCAP) považuje TSR za hlavní problém v oblasti bezpečnostních dovedností pro bezpečnost automobilů [1]. V Německu pořádají benchmarkingovou soutěž TSR [2, 3] na podporu akademického a průmyslového rozvoje.

ČTĚTE VÍCE

Je Seat spojen s Volkswagenem?

Zatímco ADAS vyžaduje další senzor, jako je radar nebo ultrazvukové zařízení, TSR vyžaduje pouze kameru a technologii strojového učení. Aby bylo možné provádět TSR v reálném čase a s vysokým výkonem, je obvykle vyžadován špičkový hardware namontovaný v systému automobilu. Nedávné oznámení NVIDIA General Purpose Graphics Processing Unit (GPGPU), DRIVE PX [4], GPU pro automobilové systémy, však umožňuje spouštění náročných programů strojového učení v reálném čase ve vozidle. Proto navrhujeme přesný systém TSR v reálném čase, který využívá GPGPU.

Detekce objektů v jízdních scénách čelí jedinečným technickým výzvám. Jedním z hlavních problémů jsou velké rozdíly v osvětlení v důsledku počasí a denní doby. Dalším problémem je nízká kvalita obrazu při vysokých rychlostech. Aby se snížil dopad těchto problémů, byly zavedeny různé metody předběžného zpracování obrazu; jsou však krátké, protože se nejedná o postupy v reálném čase.

Technologie TSR také využívají různé metody zpracování obrazu. TSR je obvykle dvoustupňový proces: nejprve extrahuje kandidátskou oblast dopravní značky a poté klasifikuje detekovanou oblast. Pro detekci dopravních značek je většina metod založena buď na informacích o barvě nebo tvaru značky [5–11] nebo na metodách učení [12–18].

Detekce dopravních značek na základě barev využívá charakteristiky dopravních značek, které mají omezené a plné barvy. Tyto metody nejprve segmentují specifické barvy, aby vytvořily barevnou mapu [5, 6, 7, 8] nebo mapu význačnosti [9]. Tradiční metody nejprve najdou červené nebo žluté oblasti a poté finalizují kandidátské oblasti. Výhodou těchto metod je výpočetní efektivita. Tyto metody jsou však do značné míry ovlivněny osvětlením, což znamená, že přesnost výkonu klesá v noci nebo za špatných povětrnostních podmínek (zataženo, déšť atd.). Aby se tento problém vyřešil, Y. Zheng navrhuje snížit osvětlení zlepšením vstupních obrázků [19]. Detekce dopravních značek na základě tvaru využívá omezené tvary dopravních značek [8–10], tedy kruhy, trojúhelníky a osmiúhelníky. Tyto metody založené na tvaru fungují pouze tehdy, když je tvar dopravní značky na obrázku jasně uveden. Výkon se tedy snižuje, když se tvar stává méně jasným, například v noci, při zkreslení a při rozmazání.

Hlavní metody detekce dopravních značek založené na učení používají funkce podobné Haarovi a detekci založenou na AdaBoost [13, 14] a přístupy založené na hlubokém učení [15]. Metoda P. Violy a M. Jonese nejprve extrahuje znaky podobné Haarovi ze vstupního obrazu a zkonstruuje slabé kaskádové klasifikátory, které se sestaví do jednoho silného klasifikátoru a použijí se k identifikaci regionu kandidáta na dopravní značku [13]. Výhodou metody P. Violy je, že díky použití kaskádového klasifikátoru detekce probíhá rychle a přesnost detekce je spravedlivá. Tato metoda má však několik nevýhod. Za prvé, s rostoucím počtem kategorií znaků se při přidávání klasifikátorů do stávajícího modelu snižuje rychlost tréninku i testování. Za druhé, pokud vstupní obraz obsahuje významný šum nebo je zaznamenán v noci, výkon klasifikátoru se stává nestabilním. Konečně, na základě charakteristik kaskádového modelu, jejich metoda není vhodná pro paralelní zpracování na GPGPU.

ČTĚTE VÍCE

Jaký je problém s klíčenkou u Nissanu Rogue 2017?

D. Ciresan a kol. prezentovali metodu rozpoznávání dopravních značek pomocí konvoluční neuronové sítě (CNN) [15]. Protože je navržen pro rozpoznávání dopravních značek, vstupní obraz není skutečnými jízdními scénami, ale kandidátskou oblastí pro dopravní značku. Tato metoda však splnila německý srovnávací test pro detekci dopravních značek [2] a zahrnovala upravenou metodu pro rozpoznávání různých dopravních značek podle německého srovnávacího ukazatele rozpoznávání dopravních značek [3]. Tento systém je však založen pouze na kandidátském regionu pro dopravní značku, zatímco použití celé jízdní scény jako vstupu nebylo testováno. Pro detekci dopravních značek založenou na hlubokém učení A. Møgelmose et al. představili funkci Agregated Channel Feature (ACF) [18], což je vylepšená verze funkce Integral Channel Feature (ICF) [17] pro trénování modelu hlubokého učení pro detekci a rozpoznávání dopravních značek v USA. Pro tuto metodu místo obrazové pyramidy použili ve svém modelu hlubokého učení datově řízenou pyramidu funkcí s pevným měřítkem a různé funkce kanálů. Avšak kvůli omezením funkcí kanálu (tj. neproveditelné při nízkém osvětlení) jejich způsob rozpoznávání funguje dobře pouze během dne.

V tomto článku představujeme Byte-MCT a klasifikátor AdaBoost založený na orientačních bodech pro detekci dopravních značek. Prezentovaná metoda bere jako svůj vstupní obraz jízdní scénu a detekuje kandidátskou oblast pomocí jednoho klasifikátoru. Po ověření kandidátského regionu pomocí Support Vector Machine (SVM) metoda rozpozná dopravní značku pomocí CNN. Tato metoda využívá Byte-MCT, upravenou verzi Modified Census Transform (MCT), která je odolná vůči změnám osvětlení. Tato metoda také využívá funkci orientačního bodu, která umožňuje charakteristikám dopravní značky překonat částečnou okluzi vstupního obrazu. Navíc během detekce dopravních značek metoda využívá paralelní zpracování (které může být implementováno na GPGPU) a zkracuje dobu detekce ve srovnání s metodou vyhledávání s posuvným oknem. Během fáze rozpoznávání používáme kaskádový klasifikátor, který sestavuje SVM k ověření kandidátské oblasti a CNN pro rozpoznávání různých dopravních značek.

V následující části poskytujeme přehled prezentované metody. Část 3 popisuje detekci dopravních značek, která je odolná vůči osvětlení. Část 4 popisuje fázi ověřování pomocí SVM a rozpoznávání dopravních značek pomocí CNN. Část 5 představuje výsledky našich experimentů pro testovací sadu. Závěry jsou uvedeny v části 6.

ČTĚTE VÍCE

Jaké problémy mají freestylové Fordy?

Přehled navržených metod

V poslední době byly v oblasti detekce a rozpoznávání dopravních značek zavedeny různé metody. Stále však zbývá vyřešit několik problémů.

Modelům stále chybí invariance vůči osvětlení; konvenční modely jsou optimalizovány především pro scény s denním světlem
Technické potíže přetrvávají při zpracování v reálném čase
Detekce různých dopravních značek vyžaduje více detektorů

V tomto článku navrhujeme metodu detekce a rozpoznávání dopravních značek v reálném čase na bázi GPGPU, která řeší každý z těchto problémů. Celkový průběh metody je znázorněn na obr. 1. Nejprve extrahujeme vlastnost Byte-MCT ze vstupní řídicí scény, abychom detekovali kandidátskou oblast. Na rozdíl od přístupů založených na AdaBoost [12–14], které používají více posuvných oken pro každý tvar, jako je kruh nebo trojúhelník, navrhovaná metoda používá paralelní okna založená na orientačních bodech k detekci více oblastí kandidátů na dopravní značky se slušným výkonem, a to i při nízkém osvětlení. prostředí nebo noční scény. Za druhé, pro zpracování v reálném čase na vstupu s vysokým rozlišením implementujeme metodu paralelního prohledávání oken na GPGPU namísto skenování rastrových obrázků. Paralelní vyhledávání funguje na GPGPU paralelně pro každou rozdělenou mřížku vstupního obrazu.

Bylo navrženo mnoho vědeckých metod rozpoznávání dopravních značek zahrnujících digitální analýzu obrazu. Většina z nich jsou přístupy založené na vzhledu, využívající porovnávání šablon. Ve většině případů pracují na barevných obrázcích (nebo videích) a zabývají se všemi typy nápisů, pokud jde o jejich tvar a barvu. Na druhou stranu komerční systémy instalované ve vozech vyšší třídy detekují pouze kulaté značky s omezením rychlosti a omezení předjíždění, která se nacházejí po celé Evropě. Hlavní nevýhoda vizuálního rozpoznávání dopravních značek je spojena s obtížnými podmínkami pořízení obrazu, a proto by měly být vyřešeny problémy s šumem, rozmazáním, změnami měřítka a orientace. V příspěvku uvádíme klasifikaci metod vizuálního rozpoznávání znaků a diskutujeme jejich výhody a nevýhody. Porovnáváme je s přístupem RFID.

Klíčová slova

rozpoznávání dopravních značek
RFID

Toto je náhled obsahu předplatného, přihlaste se prostřednictvím instituce.

Možnosti nákupu

Cena včetně DPH (Německo)

eBook 42.79 EUR Cena včetně DPH (Německo)

Kniha v měkké vazbě EUR 53.49 Cena včetně DPH (Německo)

Výpočet daně bude dokončen na pokladně

ČTĚTE VÍCE

Proč se mi třese volant, když zatáčím 2010 Camaro SS?

Nákupy jsou pouze pro osobní potřebu

Náhled

Reference

Eichner, M.L., Breckon, T.P.: Integrovaná detekce a rozpoznávání rychlostního limitu z videa v reálném čase. In: Proc. IEEE Intelligent Vehicles Symposium, s. 626–631. IEEE (2008) Google Scholar
Bahlmann, C., Zhu, Y., Ramesh, V., Pellkofer, M., Koehler, T.: Systém pro detekci, sledování a rozpoznávání dopravních značek pomocí informací o barvě, tvaru a pohybu. In: Proceedings of the Intelligent Vehicles Symposium, s. 255–260. IEEE (2005) Google Scholar
Kardkovacs, Z.T., Paroczi, Z., Varga, E., Siegler, A., Lucz, P.: Systém rozpoznávání dopravních značek v reálném čase. In: 2011 2nd International Conference on Cognitive Infocommunications (CogInfoCom), s. 1–5 (2011) Google Scholar
Hazelho, L., Ivo Creusen, I., van de Wouw, D., de With, P.H.N.: Rozsáhlá klasifikace dopravních značek v reálných podmínkách. In: Proc. SPIE 8304, Multimédia na mobilních zařízeních 2012; a přístup k multimediálnímu obsahu: Algorithms and Systems VI (2012) Google Scholar
Kus, M.C., Gokmen, M., Etaner-Uyar, S.: Rozpoznávání dopravních značek pomocí Scale Invariant Feature Transform a klasifikace barev. In: 23rd International Symposium on Computer and Information Sciences, ISCIS 2008, s. 1–6 (2008) Google Scholar
Escalera, S., Baro, X., Pujol, O., Vitria, J., Radeva, P.: Systémy rozpoznávání dopravních značek. Springer Briefs in Computer Science. Springer, Londýn (2011) CrossRefGoogle Scholar
Mogelmose, A., Trivedi, M.M., Moeslund, T.B.: Detekce a analýza dopravních značek na základě vidění pro inteligentní asistenční systémy pro řidiče: perspektivy a průzkum. IEEE Transactions on Intelligent Transportation Systems 13(4), 1484–1497 (2012) CrossRefGoogle Scholar
Zakir, U., Zafar, I., Edirisinghe, A.E.: Detekce a rozpoznávání dopravních značek pomocí místního energetického histogramu tvaru (LESH). International Journal of Image Processing 4(6), 566–582 (2011) Google Scholar
Ihara, A., Fujiyoshi, H., Takagi, M., Kumon, H., Tamatsu, Y.: Improved Matching Accuracy in Traffic Sign Recognition by Using Different Feature Subspaces. In: Machine Vision Applications 2009 (MVA 2009), roč. 3–26, s. 130–133 (2009) Google Scholar
Yang, H., Liu, C., Liu, K., Huang, S.: Rozpoznávání dopravních značek v rušivých prostředích. In: Proc. ze 14. mezinár. Symp. o metodologiích pro inteligentní systémy, s. 28–31 (2003) Google Scholar
Fleyeh, H., Davami, E.: Eigen-based rozpoznávání dopravních značek. Intelligent Transport Systems, IET 5(3), 190–196 (2011) CrossRefGoogle Scholar
Johansson, G., Rumar, K.: Řidiči a dopravní značky: Předběžné šetření schopnosti řidičů automobilů získat informace z dopravních značek. Ergonomics 9(1), 57–62 (1966) CrossRefGoogle Scholar
Shepard, S.: Radiofrekvenční identifikace RFID. Společnost McGraw-Hill Comp. Inc., USA (2005) Google Scholar
Bhuptani, M., Moradpour, S.: RFID Field Guide: Deploying Radio Frequency Identification Systems (2005) Google Scholar
Brown, D.: Implementace RFID. Kniha (2006) Google Scholar
Fuchs, S., Rass, S., Lamprecht, B., Kyamakya, K.: Context-Awareness and Collaborative Driving for Intelligent Vehicles and Smart Roads. In: 1st Int. Workshop on ITS for an Vbiquitous ROADS, str. 1–6 (2007) Google Scholar
Al-Khateeb, K.A.S., Johari, J.A.Y., Al-Khateeb, W.F.: Dynamický sekvenční algoritmus semaforu pomocí RFID. Journal of Computer Science 4(7), 517–524 (2008) CrossRefGoogle Scholar
Harmida, A.: In-Vehicle Signing System Using RFID, Project Report, UTeM, Malajsie (2011), http://library.utem.edu.my:8000/elmu/index.jsp?mod. (datum přístupu: 29. července 2013)
Sato, Y., Makane, K.: Vývoj a vyhodnocování systému podepisování ve vozidle s využitím RFID tagů jako digitálních dopravních signálů. Int. J. ITS Res. 4, 53–58 (2006) Google Scholar
Hasan, Z., Morteza, T., Kianoush, S., Pegah, A.: Využití ITS v systému značení ve vozidle s RFID tagy a směrováním vozidel a simulací silničního provozu. In: Proc. z 11. Int. IEEE Conf. on Intelligent Transportation Systems, Peking, Čína, s. 408–413 (2008) Google Scholar
Pérez, J., et al.: Inteligentní regulátor rychlosti vozidla na bázi RFID využívající aktivní dopravní signály. Sensors 10(6), 5872–5887 (2010) CrossRefGoogle Scholar

ČTĚTE VÍCE

Jaká je klávesová zkratka pro úpravu jasu?

Informace o autorovi

Autoři a přidružení

Katedra informatiky, Západopomořanské technické univerzity, Żołnierska 49, 71-210, Szczecin, Polsko Paweł Forczmański & Krzysztof Małecki

Pavel Forczmański

Tohoto autora můžete také vyhledat ve službě PubMed Google Scholar
Tohoto autora můžete také vyhledat ve službě PubMed Google Scholar

Informace o editoru

Redakce a přidružení

Dopravní fakulta, Slezská technická univerzita, Krasińskiego 8, 40-019, Katowice, Polsko Jerzy Mikulski

Práva a oprávnění

Informace o autorských právech

O tomto papíru

Citovat tento příspěvek

Forczmański, P., Małecki, K. (2013). Vybrané aspekty rozpoznávání dopravních značek: Vizuální versus RFID přístup. In: Mikulski, J. (eds) Aktivity dopravní telematiky. TST 2013. Communications in Computer and Information Science, vol 395. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-41647-7_33