Jaké jsou 3 problémy samořídících aut?

Tento samořídící robot Cruise uvízl v roce 2019 na křižovatce v San Franciscu a obtěžoval chodce.

V roce 2016 jen týdny než autopilot v jeho Tesle dovezl Joshuu Browna k smrti, prosil jsem výbor Senátu USA pro obchod, vědu a dopravu, aby reguloval používání umělé inteligence ve vozidlech. Ani moje prosba, ani Brownova smrt nedokázaly přimět vládu k akci.

Od té doby je automobilová umělá inteligence ve Spojených státech spojena s nejméně 25 potvrzenými úmrtími a stovkami zranění a škod na majetku.

Nedostatek technického porozumění napříč průmyslem a vládou je děsivý. Lidé nechápou, že AI, která řídí vozidla – jak auta, která fungují ve skutečných samořídících režimech, tak mnohem větší počet vozů nabízejících pokročilé asistenční systémy (ADAS) – jsou založeny na stejných principech jako ChatGPT a další velké jazyky. modely (LLM). Tyto systémy řídí příčnou a podélnou polohu vozu – pro změnu jízdního pruhu, brzdění a zrychlení – bez čekání na příkazy od osoby sedící za volantem.

Oba druhy umělé inteligence používají statistické uvažování, aby odhadly, jaké by mělo být další slovo nebo fráze nebo řídicí vstup, přičemž výpočet silně váží nedávno použitými slovy nebo akcemi. Přejděte do vyhledávacího okna Google a zadejte „teď je čas“ a dostanete výsledek „teď je čas pro všechny dobré muže“. A když vaše auto detekuje předmět na silnici před vámi, i když je to jen stín, sledujte, jak samořídící modul auta náhle zabrzdí.

Umělá inteligence v LLM ani ta v autonomních autech nedokážou „pochopit“ situaci, kontext ani žádné nepozorované faktory, které by člověk v podobné situaci zvažoval. Rozdíl je v tom, že zatímco jazykový model vám může dát nesmysly, samořídící auto vás může zabít.

Na konci roku 2021, navzdory tomu, že jsem dostal hrozby vůči mé fyzické bezpečnosti za to, že jsem se odvážil mluvit pravdu o nebezpečích AI ve vozidlech, souhlasil jsem se spoluprací s americkým Národním úřadem pro bezpečnost silničního provozu (NHTSA) jako hlavní bezpečnostní poradce. To, co mě pro tuto práci kvalifikovalo, byl doktorát zaměřený na návrh společných člověkem automatizovaných systémů a 20 let navrhování a testování bezpilotních systémů, včetně některých, které se nyní používají v armádě, hornictví a medicíně.

Můj čas v NHTSA mi poskytl kruhový pohled na to, jak fungují nebo nefungují aplikace dopravní umělé inteligence v reálném světě. Ukázalo mi to také vnitřní problémy regulace, zejména v našem současném rozdělujícím politickém prostředí. Můj hluboký ponor mi pomohl zformulovat pět praktických poznatků. Věřím, že mohou sloužit jako vodítko pro průmysl a pro agentury, které je regulují.

ČTĚTE VÍCE

Jaký je normální režim na Fordu f150?

A white car with running lights on and with the word u201cWaymou201d emblazoned on the rear door stands in a street, with other cars backed up behind it.

V únoru 2023 toto auto Waymo zastavilo na ulici v San Franciscu a zacouvalo za ním. Důvod? Zadní dveře nebyly úplně zavřené.Terry Chea/AP

1. Lidské chyby v provozu jsou nahrazeny lidskými chybami v kódování

Zastánci autonomních vozidel běžně prohlašují, že čím dříve se zbavíme řidičů, tím bezpečněji budeme všichni na silnicích. Citují statistiku NHTSA, že 94 procent nehod je způsobeno lidskými řidiči. Tato statistika je ale vytržená z kontextu a nepřesná. Jak sama NHTSA v této zprávě poznamenala, chyba řidiče byla „poslední událostí v řetězci příčin nehody…. Není zamýšleno, aby to bylo interpretováno jako příčina havárie.” Jinými slovy, existovalo také mnoho dalších možných příčin, jako je špatné osvětlení a špatný design vozovky.

Tvrzení, že autonomní auta budou bezpečnější než auta řízená lidmi, navíc ignoruje to, co každý, kdo kdy pracoval ve vývoji softwaru, ví až příliš dobře: že softwarový kód je neuvěřitelně náchylný k chybám a problém narůstá jen s tím, jak se systémy stávají složitějšími. .

Zatímco jazykový model vám může dát nesmysly, samořídící auto vás může zabít.

Vezměme si tyto nedávné havárie, ve kterých byl na vině vadný software. V říjnu 2021 došlo k havárii vozu Pony.ai bez řidiče do značky, v dubnu 2022 k havárii tahače TuSimple do betonové bariéry, k havárii Cruise robotaxi v červnu 2022, která se náhle zastavila při odbočování doleva, a Března 2023 havárie dalšího vozu Cruise, který narazil na zadní část autobusu.

Tyto a mnohé další epizody objasňují, že umělá inteligence neskončila s úlohou lidské chyby při dopravních nehodách. Tato role se pouze přesunula z konce řetězce událostí na začátek – ke kódování samotné AI. Protože jsou takové chyby latentní, je mnohem těžší je zmírnit. Testování, a to jak v simulaci, tak především v reálném světě, je klíčem ke snížení pravděpodobnosti takových chyb, zejména v systémech kritických z hlediska bezpečnosti. Bez dostatečné vládní regulace a jasných průmyslových standardů však společnosti zabývající se autonomními vozidly budou omezovat, aby své produkty rychle dostaly na trh.

2. Režimy selhání AI je těžké předvídat

Velký jazykový model odhaduje, která slova a fráze budou následovat, nahlédnutím do archivu sestaveného během školení z již existujících dat. Samořídící modul interpretuje scénu a rozhoduje, jak obejít překážky pomocí podobných odhadů na základě databáze označených obrázků – toto je auto, toto je chodec, toto je strom – také poskytované během tréninku. Ale ne každou možnost lze modelovat, a tak je nesmírně těžké předvídat nesčetné způsoby selhání. Jsou-li všechny věci stejné, samořídící auto se může na stejném úseku silnice v různých denních dobách chovat velmi odlišně, pravděpodobně v důsledku měnících se úhlů slunce. A každý, kdo experimentoval s LLM a změnil pouze pořadí slov ve výzvě, okamžitě uvidí rozdíl v odpovědích systému.

ČTĚTE VÍCE

Je Citroen Ami 2místný?

Jedním z dříve neočekávaných poruchových režimů je fantomové brzdění. Bez zjevného důvodu samořídící auto náhle prudce zabrzdí, což možná způsobí zadní kolizi s vozidlem těsně za ním a dalšími vozidly dále vzadu. Fantomové brzdění bylo vidět v samořídících vozech mnoha různých výrobců a také ve vozech vybavených ADAS.

Ross Gerber za volantem a Dan O’Dowd, jezdící na brokovnici, sledují, jak Tesla Model S se softwarem Full Self-Driving projíždí kolem značky stop.

Příčina takových událostí je stále záhadou. Odborníci to zpočátku připisovali lidským řidičům, kteří sledovali auto s vlastním řízením příliš blízko (často doprovázeli svá hodnocení citováním zavádějící statistiky 94 procent o chybách řidiče). Nicméně rostoucí počet těchto havárií byl hlášen NHTSA. V květnu 2022 například NHTSA zaslala Tesle dopis, v němž uvedla, že agentura obdržela 758 stížností na fantomové brzdění u vozů Model 3 a Y. Letos v květnu německá publikace Reutershlášeno 1,500 2,400 stížností na problémy s brzděním vozidel Tesla a také XNUMX XNUMX stížností na náhlé zrychlení. Nyní se zdá, že samořídící auta zažívají zhruba dvojnásobný počet nárazů zezadu než auta řízená lidmi.

Je zřejmé, že AI nefunguje tak, jak by měla. Navíc to není problém pouze jedné společnosti – všechny automobilky, které využívají počítačové vidění a AI, jsou náchylné k tomuto problému.

Vzhledem k tomu, že do společnosti začnou pronikat jiné druhy umělé inteligence, je nezbytné, aby normalizační orgány a regulační orgány pochopili, že režimy selhání umělé inteligence nebudou následovat předvídatelnou cestu. Měli by si také dávat pozor na sklon automobilek omlouvat špatné technické chování a obviňovat lidi ze zneužití nebo zneužití AI.

3. Pravděpodobnostní odhady nepřibližují úsudek za nejistoty

Před deseti lety došlo ke značnému lomu kolem vzestupu Watson založeného na AI od IBM, předchůdce dnešních LLM. Lidé se obávali, že AI velmi brzy způsobí masivní ztráty pracovních míst, zejména v lékařské oblasti. Mezitím někteří odborníci na AI řekli, že bychom měli přestat školit radiology.

Tyto obavy se nenaplnily. Zatímco Watson uměl dobře odhadovat, neměl žádné skutečné znalosti, zejména pokud šlo o rozhodování v nejistotě a rozhodování o akci na základě nedokonalých informací. Dnešní LLM se neliší: Podkladové modely si prostě nedokážou poradit s nedostatkem informací a nedokážou posoudit, zda jsou jejich odhady v tomto kontextu vůbec dost dobré.

ČTĚTE VÍCE

Proč moje světlomety blikají a zhasínají Ford?

Tyto problémy se běžně objevují ve světě autonomního řízení. K nehodě Cruise robotaxi v červnu 2022 došlo, když se auto rozhodlo udělat agresivní levou zatáčku mezi dvěma auty. Jak ve zprávě o nehodě popsal odborník na bezpečnost automobilů Michael Woon, vůz si správně zvolil schůdnou cestu, ale pak v polovině zatáčky dupl na brzdy a zastavil se uprostřed křižovatky. Odhadl, že protijedoucí auto v pravém pruhu bude odbočovat, i když odbočení nebylo fyzicky možné rychlostí, kterou auto jelo. Nejistota Cruise zmátla a udělal to nejhorší možné rozhodnutí. Protijedoucí vůz, Prius, neotáčel a narazil do Cruise a zranil cestující v obou vozech.

Výletní vozidla měla také mnoho problematických interakcí s prvními respondenty, kteří standardně operují v oblastech značné nejistoty. Tato setkání zahrnovala výletní auta projíždějící aktivními hasičskými a záchranářskými scénami a jízdu přes spadlé elektrické vedení. Při jednom incidentu musel hasič vyrazit okénko z vozu Cruise, aby ho odstranil z místa. Waymo, Cruiseův hlavní rival v oboru robotaxi, zažil podobné problémy.

Tyto incidenty ukazují, že i když neuronové sítě mohou klasifikovat mnoho obrázků a navrhnout sadu akcí, které fungují v běžných nastaveních, přesto mají potíže s prováděním i základních operací, když svět neodpovídá jejich tréninkovým datům. Totéž bude platit pro LLM a další formy generativní umělé inteligence. Co těmto systémům chybí, je úsudek tváří v tvář nejistotě, klíčový předchůdce skutečných znalostí.

4. Udržování AI je stejně důležité jako vytváření AI

Protože neuronové sítě mohou být účinné pouze tehdy, jsou-li trénovány na značném množství relevantních dat, je kvalita dat prvořadá. Ale takové školení není jednoúčelový scénář: Modely nelze trénovat a pak je vyslat k dobrému výkonu navždy. V dynamických nastaveních, jako je jízda, musí být modely neustále aktualizovány, aby odrážely nové typy automobilů, motocyklů a skútrů, stavební zóny, dopravní vzorce a tak dále.

Při nehodě v březnu 2023, při níž auto Cruise narazilo do zadní části kloubového autobusu, byli odborníci překvapeni, protože mnozí věřili, že takové nehody jsou pro systém, který nese lidar, radar a počítačové vidění, téměř nemožné. Cruise přičítal nehodu vadnému modelu, který odhadl, kde bude zadní část autobusu podle rozměrů normálního autobusu; navíc model odmítl data lidaru, která správně detekovala sběrnici.

Softwarový kód je neuvěřitelně náchylný k chybám a problém narůstá pouze s tím, jak se systémy stávají složitějšími.

Tento příklad zdůrazňuje důležitost zachování měny modelů AI. „Posun modelu“ je známý problém v AI a vyskytuje se, když se vztahy mezi vstupními a výstupními daty v průběhu času mění. Pokud například autopark provozuje v jednom městě jeden typ autobusu a poté se vozový park přesune do jiného města s různými typy autobusů, základní model detekce autobusů se pravděpodobně posune, což by mohlo vést k vážným následkům.

ČTĚTE VÍCE

Proč z větracích otvorů mého auta vychází horký vzduch, když je klimatizace zapnutá?

Takový posun ovlivňuje AI nejen v dopravě, ale v jakékoli oblasti, kde nové výsledky neustále mění naše chápání světa. To znamená, že velké jazykové modely se nemohou naučit nový fenomén, dokud neztratí okraj své novosti a neobjevuje se dostatečně často, aby mohl být začleněn do datové sady. Udržování modelové měny je jen jedním z mnoha způsobů, jak AI vyžaduje pravidelnou údržbu, a jakákoli diskuse o regulaci AI v budoucnu se musí zabývat tímto kritickým aspektem.

5. AI má důsledky na systémové úrovni, které nelze ignorovat

Samořídící auta byla navržena tak, aby se zastavila ve chvíli, kdy už nemohou uvažovat a neřeší nejistotu. Toto je důležitý bezpečnostní prvek. Jak ale ukázaly Cruise, Tesla a Waymo, zvládnutí takových zastávek představuje nečekanou výzvu.

Zastavené auto může zablokovat silnice a křižovatky, někdy na celé hodiny, přiškrtit provoz a zadržet vozidla první reakce. Společnosti zavedly střediska dálkového sledování a týmy rychlého jednání, aby zmírnily takové přetížení a zmatky, ale přinejmenším v San Franciscu, kde jezdí stovky samořídících aut, představitelé města zpochybňují kvalitu svých odpovědí.

Samořídící auta spoléhají na bezdrátovou konektivitu, aby si udržela povědomí o silnici, ale co se stane, když tato konektivita klesne? Jeden řidič to zjistil těžce, když jeho auto uvízlo v uzlu 20 vozů Cruise, které ztratily spojení se vzdáleným operačním střediskem a způsobily masivní dopravní zácpu.

Samozřejmě lze očekávat, že každá nová technologie bude trpět růstovými bolestmi, ale pokud se tyto bolesti stanou dostatečně vážnými, naruší důvěru a podporu veřejnosti. Sentiment k samořídícím autům býval v technicky přívětivém San Franciscu optimistický, ale nyní nabral negativní směr kvůli obrovskému množství problémů, s nimiž se město potýká. Takové pocity mohou nakonec vést k veřejnému odmítnutí technologie, pokud zastavené autonomní vozidlo způsobí smrt člověka, kterému bylo zabráněno dostat se včas do nemocnice.

Co tedy říkají zkušenosti samořídících aut o regulaci AI obecněji? Společnosti se potřebují nejen ujistit, že rozumí širším důsledkům umělé inteligence na systémové úrovni, ale potřebují také dohled – neměly by být ponechány, aby hlídaly samy sebe. Regulační agentury musí pracovat na definování rozumných provozních hranic pro systémy, které používají AI, a podle toho vydávat povolení a předpisy. Pokud použití umělé inteligence představuje jasná bezpečnostní rizika, agentury by neměly odkládat řešení na průmysl a měly by být proaktivní při stanovování limitů.

ČTĚTE VÍCE

Kdy bych měl nastavit opěrku hlavy autosedačky?

Umělá inteligence má před sebou v osobních a nákladních autech ještě dlouhou cestu. Nevolám po zákazu autonomních vozidel. Používání AI má jasné výhody a je nezodpovědné, aby lidé požadovali zákaz nebo dokonce pauzu na AI. Potřebujeme však větší vládní dohled, abychom zabránili zbytečnému riskování.

A přesto k regulaci AI ve vozidlech zatím nedochází. To lze zčásti přičítat přehnaným nárokům a tlaku průmyslu, ale také nedostatku schopností ze strany regulačních orgánů. Evropská unie byla aktivnější, pokud jde o regulaci umělé inteligence obecně a zejména u samořídících automobilů. Ve Spojených státech prostě nemáme dostatek lidí na federálních a státních ministerstvech dopravy, kteří rozumějí technologii dostatečně hluboce, aby účinně obhajovali vyvážené veřejné politiky a předpisy. Totéž platí pro ostatní typy AI.

To není problém žádné administrativy. Umělá inteligence proniká nejen napříč stranickými liniemi, ale také všemi agenturami a na všech úrovních vlády. Ministerstvo obrany, ministerstvo pro vnitřní bezpečnost a další vládní orgány trpí pracovní silou, která nemá technickou způsobilost potřebnou k účinnému dohledu nad pokročilými technologiemi, zejména rychle se vyvíjející AI.

Chcete-li se zapojit do efektivní diskuse o regulaci umělé inteligence, musí mít každý u stolu technickou způsobilost v oblasti umělé inteligence. Právě teď jsou tyto diskuse značně ovlivněny průmyslem (který má jasný střet zájmů) nebo Chicken Littles, kteří tvrdí, že stroje dosáhly schopnosti přechytračit lidi. Dokud vládní agentury nebudou mít lidi s dovednostmi, které jim pomohou porozumět kritickým silným a slabým stránkám AI, rozhovory o regulaci zaznamenají jen velmi malý smysluplný pokrok.

Nábor takových lidí lze snadno provést. Zlepšit mzdové a bonusové struktury, začlenit vládní pracovníky do univerzitních laboratoří, odměňovat profesory za službu ve vládě, poskytovat pokročilé certifikáty a studijní programy v AI pro všechny úrovně vládního personálu a nabízet stipendia pro vysokoškoláky, kteří souhlasí s tím, že budou sloužit ve vládě. pár let po maturitě. Kromě toho by pro lepší vzdělávání veřejnosti měly být vysokoškolské kurzy, které vyučují témata AI, bezplatné.

Potřebujeme méně hysterie a více vzdělání, aby lidé pochopili sliby, ale také realitu AI.

Z vašich článků