I medici esperti continuano a battere l'intelligenza artificiale nella diagnosi del cancro della pelle. / Experienced Physicians Still Beat AI at Skin Cancer Diagnosis

I medici esperti continuano a battere l'intelligenza artificiale nella diagnosi del cancro della pelle. Il procedimentodel brevetto ENEA RM2012A000637 è molto utile in questo tipo di applicazione. / Experienced Physicians Still Beat AI at Skin Cancer Diagnosis. The procedure of the ENEA patent RM2012A000637 is very useful in this type of application.

Segnalato dal Dott. Giuseppe Cotellessa / Reported by Dr. Giuseppe Cotellessa

L'intelligenza artificiale potrebbe aiutare i medici meno esperti ad identificare il cancro della pelle, ma, secondo le ricerche, le sue prestazioni sono ancora inferiori rispetto a quelle dei dermatologi esperti.

I risultati, pubblicati su JAMA Dermatology, suggeriscono che la presunta superiorità dell'intelligenza artificiale nella diagnosi del cancro della pelle, spesso citata, potrebbe necessitare di un'analisi più approfondita in situazioni più simili alla pratica clinica quotidiana.

I sistemi di reti neurali convoluzionali (CNN) di prima generazione non hanno mantenuto i vantaggi dichiarati quando si sono trovati di fronte ad un ampio spettro di casi, comprese presentazioni rare ed atipiche.

I modelli di base si sono rivelati più promettenti, riproducendo una parte sostanziale delle competenze cliniche ed avvicinandosi all'accuratezza diagnostica di medici ben addestrati, superando al contempo quella dei principianti.

Tuttavia, questi modelli non raggiungevano ancora il livello dei migliori esperti, che vantavano almeno un decennio di esperienza.

"Questo dimostra che la competenza umana ai massimi livelli rimane indispensabile e che l'esperienza continua ad essere lo strumento più potente per raggiungere le prestazioni", hanno affermato Luc Thomas, PhD, dell'Hôpital Lyon Sud in Francia, e i suoi collaboratori.

Hanno suggerito: "Gli strumenti di intelligenza artificiale potrebbero rivelarsi particolarmente utili come sistemi di supporto decisionale per i medici meno esperti, fungendo di fatto da mentore virtuale".

La narrazione prevalente suggerisce che l'intelligenza artificiale abbia eguagliato o superato le competenze umane nella diagnosi medica, in particolare nelle specialità basate sull'imaging.

Tuttavia, persiste un divario sostanziale tra i risultati promettenti ottenuti in condizioni sperimentali controllate e la loro effettiva applicazione clinica, che richiede l'integrazione di fattori quali le caratteristiche demografiche del paziente, l'anamnesi, i riscontri fisici e le informazioni contestuali.

Per ottenere un confronto più accurato in contesti clinici realistici, Thomas ed il suo gruppo hanno confrontato le prestazioni diagnostiche di 652 medici con diversa esperienza in dermatologia utilizzando tre algoritmi di intelligenza artificiale: un modello CNN di prima generazione ed i modelli di base uni- e multimodali di PanDerm.

Il set di dati comprendeva immagini dermatologiche, incluse immagini cliniche e dermoscopiche con metadati associati, provenienti da 1117 casi che rappresentavano scenari clinici quotidiani.

I risultati hanno dimostrato che i dermatologi esperti con almeno 10 anni di esperienza hanno raggiunto la massima accuratezza multiclasse, con una media del 74,2%, superando tutti i modelli di intelligenza artificiale su questo endpoint primario.

L'accuratezza più bassa è stata registrata per la CNN, con il 56,7%, mentre, inaspettatamente, il moderno modello unimodale di base ha superato la versione multimodale, con un corrispondente 72,2% contro il 66,3%.

Tutti i lettori umani hanno superato la CNN, raggiungendo collettivamente un'accuratezza del 65,9%. Tuttavia, il modello unimodale è risultato migliore di quello dei lettori con meno di un anno di esperienza e di quelli con meno di tre anni di esperienza, che hanno ottenuto accuratezze rispettivamente del 59,1% e del 68,2%.

Tra le lesioni maligne non individuate da entrambi i modelli di base, sembrava esserci una preponderanza di localizzazioni acrali.

"Il futuro probabilmente risiede nella collaborazione tra esseri umani e macchine per ottimizzare le prestazioni diagnostiche", hanno concluso i ricercatori.

"Per i professionisti alle prime armi, l'IA potrebbe fungere da rete di sicurezza e strumento didattico. Per gli esperti, potrebbe fornire una modalità di triage efficiente ed una seconda lettura sistematica, particolarmente utile per ridurre gli errori causati da stanchezza o disattenzione."

ENGLISH

Artificial intelligence could help support less-experienced clinicians in identifying skin cancer but it still performs more poorly compared with expert dermatologists, research suggests.

The findings, in JAMA Dermatology, suggest that the oft-reported superiority of AI in diagnosing skin cancer may need closer inspection in situations that are more similar to daily clinical practice.

First-generation convolutional neural network (CNN) systems did not maintain their reported advantages when confronted with a broad spectrum of cases, including rare and atypical presentations.

Foundation models were more promising, reproducing a substantial portion of clinical expertise and approaching the diagnostic accuracy of well-trained clinicians while surpassing that of novices.

Nonetheless, these models still fell short of the best experts who had at least a decade of experience.

First-generation convolutional neural network (CNN) systems did not maintain their reported advantages when confronted with a broad spectrum of cases, including rare and atypical presentations.

Foundation models were more promising, reproducing a substantial portion of clinical expertise and approaching the diagnostic accuracy of well-trained clinicians while surpassing that of novices.

Nonetheless, these models still fell short of the best experts who had at least a decade of experience.

“This shows that human expertise at the highest level remains indispensable and that experience continues to be the most powerful tool for performance,” reported Luc Thomas, PhD, from Hôpital Lyon Sud in France, and co-workers.

They suggested: “AI tools may be most valuable as decision-support systems for less experienced clinicians, effectively functioning as a virtual mentor.”

The prevailing narrative suggests that AI has matched or surpassed human expertise in medical diagnosis, particularly in the imaging-based specialties.

Yet a substantial gap remains between promising results under controlled experimental conditions and meaningful clinical implementation, which requires integrating factors such as patient demographics, medical history, physical findings, and contextual information.

To get a better comparison in realistic clinical settings, Thomas and team compared the diagnostic performance of 652 physicians with varying dermatological expertise with three AI algorithms: a first-generation CNN model and the PanDerm uni- and multimodal foundation models.

The dataset comprised dermatological images—including clinical and dermoscopic images with associated metadata—from 1117 cases that represented everyday clinical scenarios.

Results showed that expert dermatologists with at least a 10 years’ experience achieved the highest multiclass accuracy, at a mean of 74.2%, outperforming all AI models on this primary endpoint.

The lowest accuracy was for CNN, at 56.7%, while unexpectedly the modern unimodal foundation model outperformed the multimodal version, at a corresponding 72.2% versus 66.3%.

All human readers outperformed the CNN, with the former collectively having an accuracy of 65.9%. However, the unimodal model was better than that of readers with less than a year of experience and those with less than three years of experience, who had accuracies of 59.1% and 68.2%, respectively.

Among the malignant lesions missed by both foundation models, there appeared to be a preponderance of acral localizations.

“The future likely lies in collaboration between humans and machines to optimize diagnostic performance,” the researchers concluded.

“For novice practitioners, AI could serve as a safety net and educational tool. For experts, it could provide an efficient triage modality and a systematic second reading, particularly useful for reducing errors caused by fatigue or inattention.”

Da:

https://www.insideprecisionmedicine.com/topics/precision-medicine/experienced-physicians-still-beat-ai-at-skin-cancer-diagnosis/?_hsenc=p2ANqtz-8fl04MVtbcb_fPZ317PZOpB6PbWkWrexEKzJcuaLCilw-L3J1HnKGdbffYFKtLM3VeUpS0yKzd8g35lr5BQGeELjh8CePwGx_QkTCrI18f7xBWh0k&_hsmi=422008739