Quasi tutti i dispositivi medici basati sull'intelligenza artificiale approvati dalla FDA non dispongono di prove di benefici per i pazienti. / Nearly All FDA-Cleared AI Medical Devices Lack Evidence of Patient Benefit

 Quasi tutti i dispositivi medici basati sull'intelligenza artificiale approvati dalla FDA non dispongono di prove di benefici per i pazienti. / Nearly All FDA-Cleared AI Medical Devices Lack Evidence of Patient Benefit

Segnalato dal Dott. Giuseppe Cotellessa / Reported by Dr. Giuseppe Cotellessa

Un nuovo studio ha rilevato che il 99,8% dei dispositivi medici basati sull'intelligenza artificiale approvati dalla FDA non è mai stato testato per determinarne l'efficacia nel migliorare le condizioni dei pazienti. Pubblicato su PLOS Digital Health, lo studio evidenzia importanti lacune nell'attuale approccio della FDA alla valutazione di queste tecnologie. 

"Ci aspettavamo che le prove a sostegno dell'efficacia di questa tesi fossero scarse, ma non così scarse", ha affermato Sebastián A. Cajas Ordóñez, ricercatore di intelligenza artificiale presso il MIT Critical Data. "Su 1.357 dispositivi basati sull'IA che la FDA ha approvato per l'uso nella cura dei pazienti, solo tre sono stati testati per verificare se i pazienti vivono effettivamente più a lungo o meglio".

L'utilizzo di strumenti di intelligenza artificiale nella pratica clinica sta crescendo ad una velocità senza precedenti, influenzando sempre più le decisioni diagnostiche e terapeutiche. Le applicazioni in radiologia dominano il settore, rappresentando il 78% dei dispositivi di intelligenza artificiale approvati dalla FDA. Tuttavia, le prove a sostegno del loro impatto sui pazienti rimangono limitate. 

Utilizzando i dati del database dei dispositivi della FDA e del catalogo dell'ACR Data Science Institute, i ricercatori hanno condotto un'analisi sistematica di tutti i dispositivi medici basati sull'intelligenza artificiale approvati dalla FDA fino a dicembre 2025. Su 1.357 dispositivi approvati, solo 34 (2,5%) erano collegati a studi prospettici registrati e solo tre di questi valutavano esiti incentrati sul paziente, come tassi di mortalità, riammissioni ospedaliere e qualità della vita. 

Nell'ambito della procedura 510(k) della FDA, un nuovo dispositivo medico può essere approvato se dimostra una "sostanziale equivalenza" ad un dispositivo già esistente. Secondo gli autori dello studio, ciò può creare un effetto a catena in cui i nuovi dispositivi vengono approvati in base alla loro somiglianza con dispositivi precedenti che a loro volta potrebbero non essere stati sottoposti ad una rigorosa validazione clinica, consentendo così che le lacune nelle prove scientifiche si amplino passando da una generazione di dispositivi all'altra. 

"L'approvazione normativa ha superato la validazione clinica, creando un ecosistema in cui l'innovazione avanza senza alcuna responsabilità", ha affermato Cajas Ordóñez. "La constatazione che solo lo 0,2% dei dispositivi approvati è stato sottoposto a valutazione degli esiti incentrati sul paziente rivela una profonda lacuna nella validazione e sottolinea la necessità di standard di evidenza in grado di tenere il passo con la velocità dell'approvazione normativa."

L'analisi ha inoltre rilevato che la maggior parte dei pochi studi condotti si è svolta in sistemi sanitari con risorse elevate ed ha escluso sottogruppi chiave di pazienti, tra cui donne in gravidanza, persone di età superiore ai 75 anni e persone che non parlano inglese. Le analisi sui sottogruppi sono state condotte raramente, lasciando poco chiaro come questi dispositivi medici basati sull'intelligenza artificiale si comportino in popolazioni diverse. Poiché l'approvazione della FDA è spesso utilizzata a livello internazionale come parametro di riferimento per l'adozione, i ricercatori avvertono che strumenti di intelligenza artificiale non sufficientemente validati potrebbero essere introdotti nei paesi a basso e medio reddito, dove le risorse per una validazione clinica indipendente potrebbero essere limitate.

Sulla base di questi risultati, gli scienziati propongono una tabella di marcia per rafforzare la validazione clinica dei dispositivi medici basati sull'intelligenza artificiale. Questa include studi prospettici obbligatori condotti in contesti clinici reali, nonché requisiti post-approvazione per studi multicentrici con endpoint incentrati sul paziente ed analisi di sottogruppi predefinite.

"La questione centrale nell'IA clinica non è se gli algoritmi siano in grado di classificare le immagini o prevedere il rischio, ma se migliorino concretamente la salute dei pazienti", ha affermato Cajas Ordóñez. "Senza una riforma sistematica, il divario tra le capacità algoritmiche e le evidenze cliniche continuerà ad ampliarsi."

ENGLISH

A new study has found that 99.8% of AI-based medical devices cleared by the FDA have never been tested to determine whether they improve patient outcomes. Published in PLOS Digital Health, the study highlights major gaps in the FDA’s current approach to evaluating these technologies. 

“We expected the evidence base to be thin, but not this thin,” said Sebastián A. Cajas Ordóñez, AI researcher at MIT Critical Data. “Out of 1,357 AI devices the FDA has cleared for use in patient care, only three have been tested on whether patients actually live longer or better.”

The use of AI tools in clinical practice is growing at unprecedented speed, increasingly influencing diagnostic and treatment decisions. Radiology applications dominate the field, accounting for 78% of FDA-cleared AI devices. However, the evidence supporting their impact on patients remains limited. 

Using data from the FDA device database and the ACR Data Science Institute catalogue, the researchers conducted a systematic analysis of all FDA-cleared AI medical devices through December 2025. Out of 1,357 cleared devices, only 34 (2.5%) were linked to registered prospective trials, and only three of these evaluated patient-centered outcomes such as death rates, hospital readmissions, and quality of life. 

Under the FDA’s 510(k) pathway, a new medical device can be cleared if it demonstrates “substantial equivalence” to an existing device. According to the study authors, this can create a chain effect in which new devices are cleared based on their similarity to previous devices that themselves may lack rigorous clinical validation, allowing evidence gaps to widen as they pass from one generation of devices to the next. 

“Regulatory approval has outpaced clinical validation, creating an ecosystem where innovation advances without accountability,” said Cajas Ordóñez. “The finding that only 0.2% of cleared devices have undergone evaluation for patient-centered outcomes reveals a profound validation gap and points to the need for evidence standards capable of keeping pace with the speed of regulatory clearance.”

The analysis also found that most of the few studies conducted took place in highly resourced healthcare systems and excluded key patient subgroups, including pregnant women, people over 75, and non-English speakers. Subgroup analyses were also rarely conducted, leaving it unclear how these AI medical devices perform across diverse populations. Because FDA clearance is often used internationally as a benchmark for adoption, the researchers warn that under-validated AI tools could be introduced into low- and middle-income countries, where resources for independent clinical validation may be limited.

Based on these findings, the scientists propose a roadmap for strengthening the clinical validation of AI medical devices. This includes mandatory prospective studies conducted in real-world clinical settings, as well as post-clearance requirements for multicenter trials with patient-centered endpoints and prespecified subgroup analyses.

“The central issue in clinical AI is not whether algorithms can classify images or predict risk; it is whether they tangibly improve patient health,” said Cajas Ordóñez. “Without systematic reform, the gap between algorithmic capability and clinical evidence will continue to widen.”

Da:

https://www.insideprecisionmedicine.com/topics/patient-care/nearly-all-fda-cleared-ai-medical-devices-lack-evidence-of-patient-benefit/?_hsenc=p2ANqtz-9nse6h1_u1Q3DMo9GWvzP4oiZpJifz26Zs8UxHW7xx72_o7OYtkEFE2rKkbGAbRad21Owv2dGGDkHrmEnuUcc_kk3NyVjtNfy8Lu8WsoZPyEdEcEM&_hsmi=434166255