La forza bruta non può risolvere la sfida dell'autonomia / Brute force can not solve autonomy challenge

La forza bruta non può risolvere la sfida dell'autonomia / Brute force can not solve autonomy challenge

Segnalato dal Dott. Giuseppe Cotellessa / Reported by Dr. Giuseppe Cotellessa

La tecnologia di guida automatizzata ha promesso troppo e mantenuto poco, scrive Alejandro Trueba di HORIBA MIRA. Ma un cambiamento di paradigma nei test può cambiare la situazione.

Alla fine del 1800, era improbabile che Robert Louis Stevenson avesse in mente le auto autonome quando affermò che "niente prodotto con la forza bruta dura". Ma questo sentimento si sta rivelando apocrifo per gli ingegneri che cercano di progettare automobili in grado di guidarsi da sole.

I cosiddetti veicoli autonomi stanno aggiungendo una notevole complessità non solo al processo di progettazione automobilistica, ma anche ai costi di test e validazione di queste nuove tecnologie. In effetti, i costi dei test stanno diventando così proibitivi che, senza una qualche forma di intervento, questa innovazione potrebbe cessare di essere commercialmente fattibile per i produttori di automobili.

Di fronte alla crescita esponenziale dei costi di test dei nuovi veicoli, un gruppo di società di ingegneria, case automobilistiche, esperti di simulazione, accademici ed agenzie di ricerca stanno attualmente cercando una soluzione per risolvere questo problema. Lo scopo del progetto denominato "CERTUS" è eliminare il 40% dei costi di sperimentazione delle nuove tecnologie dei veicoli automatizzati. Per un’auto con automazione di livello 4, questi costi di test possono raggiungere i 400 milioni di dollari. Per veicoli ancora più complessi e completamente autonomi come i robotaxi sviluppati da Waymo e Cruise, questo budget per i test può raggiungere 1,6 miliardi di sterline, pari al 50% del costo complessivo di sviluppo del veicolo.

CERTUS sta creando un nuovo approccio per testare le tecnologie di guida automatizzata. Molti automobilisti hanno familiarità con la frenata di emergenza automatizzata (AEB) ed il mantenimento della corsia, mentre la prossima generazione di aiuti alla guida per raggiungere il mercato, come il Traffic Jam Pilot, rappresenta il prossimo passo verso la progressiva transizione dalla guida umana a quella automatizzata. Migliorare il modo in cui vengono eseguiti i test consentirà queste tecnologie che rimuovono la monotonia della guida manuale, ad esempio nel traffico con partenze e fermate, oltre a migliorare significativamente la sicurezza stradale.

Accumulo di chilometraggio

Gran parte del costo del test delle tecnologie di guida automatizzata deriva da due problemi. Il primo di questi è la dipendenza da un processo di accumulo del chilometraggio sulle autostrade pubbliche, che è un approccio inefficiente ai test che può estendersi a milioni di chilometri nel tentativo di testare le prestazioni sicure dei sistemi di guida automatizzata in tutte le possibili eventualità. Senza la capacità di controllare gli scenari incontrati, gli ingegneri sono costretti ad applicare la "forza bruta", che in questo contesto significa guidare milioni di chilometri per aumentare la possibilità di testare ogni possibile circostanza che un sistema automatizzato potrebbe potenzialmente incontrare.

Il secondo e connesso problema con l’accumulo di chilometraggio è che si tratta di un processo di test a tempo indeterminato. Pertanto questo approccio non potrà mai rispondere in modo soddisfacente alla domanda di un ingegnere su quando sono stati eseguiti test sufficienti per convalidare un sistema per l'uso su strada. Può darsi semplicemente che il sistema semplicemente non abbia riscontrato un particolare insieme di permutazioni durante il processo di accumulo del chilometraggio.

Accumulo di certezze

CERTUS ha deciso di ridurre questa dipendenza dai soli test di forza bruta e di fornire agli ingegneri una qualche forma di certezza sulla completezza dei test dei sistemi di guida automatizzata. Il progetto è uno dei primi a ibridare i test del mondo reale con le tecnologie di simulazione. La realtà mista risultante od i test multi-pilastro consentono di applicare scenari simulati a veicoli del mondo reale, ad esempio un pedone simulato che esce davanti ad un veicolo reale sul banco di prova per valutare le prestazioni della frenata di emergenza automatizzata. Questa capacità di generare e testare una serie di scenari in modo rapido e metodico risolve il problema dei test illimitati nel mondo reale e consente agli ingegneri di lavorare in modo molto più efficiente attraverso una serie definita di test.

Questo approccio consente ora agli ingegneri di sviluppare in modo più efficiente la verità sul campo: si tratta in sostanza di un set di dati utilizzato come punto di riferimento per le prestazioni di una tecnologia di guida automatizzata in determinate condizioni.

Estrapolazione

Il prossimo passo nella soluzione CERTUS per accelerare i test è applicare il set di dati di verità ad una serie di oracoli. Gli oracoli forniscono un metodo matematico per ridurre esponenzialmente la dimensione dello spazio problematico degli scenari in cui deve essere valutato il sistema automatizzato. Per ogni dato scenario di guida, gli oracoli valutano le prestazioni del sistema automatizzato e quindi selezionano in modo intelligente la serie successiva di test per evitare test eccessivi nelle aree in cui le prestazioni sono già buone e non test insufficienti nelle aree in cui il sistema potrebbe guastarsi. È questo approccio mirato che consente a CERTUS di ottenere il risparmio di costi e tempo che è fondamentale per le case automobilistiche.

Quando interrompere

Test multipilastro più intelligenti e l'ottimizzazione dello spazio di ricerca utilizzando gli oracoli sono una caratteristica chiave dell'approccio CERTUS per ridurre i costi ed i tempi dei test. Fornisce inoltre la quantificazione della copertura del test per definire, ad esempio, che un sistema di guida automatizzata può essere valutato efficace nel 70% delle condizioni operative. Ciò consente alle parti interessate, dai produttori di automobili alle agenzie di trasporto nazionali e, soprattutto, agli assicuratori di prendere decisioni informate sull’introduzione di tecnologie automatizzate sulle autostrade pubbliche comprendendo i limiti della copertura dei test e quale rischio residuo rimane.

Sovrapponendo i risultati dei test su un set di dati di mappatura GIS nazionale della rete stradale del Regno Unito, CERTUS, al completamento del progetto nei prossimi 12 mesi, non solo sarà in grado di rispondere in modo rapido ed economicamente più efficace all'ampia questione di quanto sia efficace un sistema sistema di guida automatizzata, ma anche laddove la tecnologia può essere implementata in sicurezza sulla rete stradale nazionale.

ENGLISH

Automated driving technology has over-promised and under-delivered, writes HORIBA MIRA’s Alejandro Trueba. But a paradigm shift in testing can change that.

In the late 1800s, it was unlikely that Robert Louis Stevenson had autonomous cars in mind when he said ‘nothing made by brute force lasts.’ But this sentiment is proving to be apocryphal for engineers seeking to design cars that can drive by themselves.

So-called autonomous vehicles are adding substantial complexity not just to the process of automotive design, but also to the cost of testing and validating these new technologies. Indeed, these testing costs are becoming so prohibitive that, without some form of intervention, this innovation could cease to be commercially viable for car makers.

Faced with this exponential growth in the cost of testing new vehicles, a group of engineering companies, car makers, simulation experts, academics and research agencies are currently proving out a solution to solve this problem. The aim of the project which has been titled ‘CERTUS’ is to strip out 40% of the testing costs of new automated vehicle technologies. For a car with level 4 automation, these testing costs can reach $400m. For even more complex and fully autonomous vehicles such as the robotaxis being developed by Waymo and Cruise, this testing budget can reach £1.6b, accounting for 50% of the overall vehicle development cost.

CERTUS is creating a new approach to testing automated driving technologies. Many motorists are familiar with automated emergency braking (AEB) and lane-keep, while the next generation of driver aids to reach the market such as traffic jam pilot represent the next step towards the progressive transition from human to automated driving. Improving the way testing is done will enable these technologies that remove the monotony of manual driving - for instance in stop-start traffic - as well as significantly improve road safety.

Mileage accumulation

Much of the cost of testing automated driving technologies stems from two problems. The first of these is the reliance on a process of mileage accumulation on the public highway, which is an inefficient approach to testing that can extend to millions of kilometres in a bid to test the safe performance of automated driving systems in all possible eventualities. With no ability to control the scenarios encountered, engineers are forced to apply ‘brute force’, which in this context means driving millions of kilometres in order to increase the possibility of testing every possible circumstance an automated system might potentially encounter.

The second and connected problem with mileage accumulation is that it is an open-ended testing process. Thus this approach can never satisfactorily answer an engineer’s question of when enough testing has been done to validate a system for use on the road. It may just be that the system simply hasn’t encountered a particular set of permutations during the mileage accumulation process.

Certainty accumulation

CERTUS has set about reducing this reliance on brute force testing alone and providing engineers with some form of certainty about the completeness of the testing of automated driving systems. The project is one of the first to hybridise real world testing with simulation technologies. The resulting mixed reality or multi-pillar testing allows simulated scenarios to be applied to real-world vehicles – for instance a simulated pedestrian stepping out in front of a real vehicle on the proving ground to assess the performance of automated emergency braking. This capability to generate and test a series of scenarios quickly and methodically closes down the problem of open-ended real world testing and allows engineers to far more efficiently work through a defined set of tests.

This approach is now enabling engineers to more efficiently develop ground truth – this is in essence a dataset that is used as a benchmark for the performance of an automated driving technology under certain conditions.

Extrapolation

The next step in the CERTUS solution to speed up testing is applying the ground truth dataset to a set of oracles. Oracles provide a mathematical method to exponentially reduce the size of the problem space of scenarios in which the automated system needs to be assessed. For any given driving scenario, the oracles assess the performance of the automated system and then intelligently select the next series of tests to avoid over-testing in areas where the performance is already good and not under-test in areas where the system might fail. It is this focused approach that allows CERTUS to yield the cost and time-savings that are critical to car makers.

When to stop

Smarter multi-pillar testing and the optimisation of the search space using oracles is a key feature of the CERTUS approach to reducing testing cost and time. It also provides quantification of the test coverage to define, for instance, that an automated driving system can be assessed to be effective in 70% of operating conditions. This allows stakeholders from car makers to national transport agencies and importantly insurers to make informed decisions about the introduction of automated technologies onto the public highway by understanding the limits of testing coverage and what residual risk remains.

By overlaying test results over a national GIS mapping dataset of the UK road network, CERTUS will, at the completion of the project in the next 12 months, not only be able to quickly and more cost-effectively answer the broad question of how effective an automated driving system is, but also where the technology can be safely deployed on the domestic road network.

Da:

https://www.theengineer.co.uk/content/opinion/comment-brute-force-can-not-solve-autonomy-challenge