 |
|
|
|
|
| |
|
|
|
Anche il Deep Learning può sbagliare- terza ed ultima parte- |
|
|
Inserito il 05 dicembre 2021 da admin. - Medicina digitale - segnala a:    
Nella pillola della scorsa settimana abbiamo presentato un interessante studio di alcune università inglesi ed americane che esaminava 91 ricerche sulla diagnostica per immagini effettuata mediante dispositivi di Deep Learning: solo due studi su 91 non presentavano bias rilevanti, ma la loro numerosità non era tale da consentire di generalizzare le loro conclusioni, favorevoli alla diagnostica tramite intelligenza artificiale rispetto alla diagnostica dei radiologi(1)
In questa pillola presentiamo un altro importante studio pubblicato alcuni mesi or sono, sempre sul British Medical Journal, che prende in esame 152 studi, 58 sulla diagnostica per immagini e 94 sugli indicatori prognostici ricavabili dalle immagini(2).
Tutte queste ricerche utilizzavano metodiche di Deep Learning supervisionato da esperti umani e quindi, almeno in linea teorica, a minor rischio di bias.
Alcuni di questi studi, 19 per esattezza, prevedevano procedure di validazione esterna quale ulteriore verifica di qualità. Anche questi ultimi studi vennero esaminati mediante le griglie del Probast (Prediction of Risk of Bias Assessment Tool), che valuta i possibili bias in questo genere di studi (vedasi anche la pillola precedente). Il numero totale di studi presi in esame era dunque di 171.
I risultati non sono confortanti per i sostenitori incondizionati del Deep Learning: su 171 studi e validazioni analizzate attraverso il Probast, ben 148 pari all’ 87% del totale risultavano ad alto rischio di bias e quindi non attendibili; per maggiore precisione 85 studi presentavano una numerosità inadeguata, 62 studi non effettuavano una analisi approfondita dei dati, carenti od incompleti, e 59 studi utilizzavano procedure di approssimazione dei dati che portavano probabilmente a fenomeni di overfitting, ovvero a forzature che favoriscono l'emergere di correlazioni spurie e forse inesistenti.
Le correlazioni spurie ed i fattori interferenti: tallone d'Achille del Deep Learning
Il Deep Learning, come è noto, è una procedura basata su reti neurali che riescono a processare enormi quantità di dati in tempi brevi, identificando associazioni di variabili che potrebbero essere espressione di reali correlazioni fra queste. E’ importante ricordare che le correlazioni possono rivelare un rapporto di causa –effetto, il che porterebbe ad una importante acquisizione, possono rivelare una semplice interferenza di variabili, acquisizione meno importante ma comunque utile conoscenza per ulteriori futuri sviluppi, oppure possono essere del tutto casualie quindi confondere le idee ed indirizzare la ricerca verso direzioni del tutto sbagliate.
Data la potenza di computazione di questi dispositivi, nella comunità scientifica si è diffuso un considerevole ottimismo che può portare ad un noto bias psicologico: la sovra- valutazione (overconfidence) di questi strumenti, specie se il disegno dello studio non è chiaro e rigoroso e magari ci si affida acriticamente alle macchine digitali per trovare qualcosa di nuovo
Conclusioni
La intelligenza artificiale, ed in particolare i dispositivi di Deep Learning basati su reti neurali sono una risorsa preziosissima per la ricerca medica; il deep learning però non è né onnipotente né infallibile come ben dimostrano le due importanti revisioni di studi che abbiamo presentato. Se esso verrà usato in ricerche rigorosamente e correttamente progettate e controllate secondo i criteri previsti dalla letteratura internazionale (e da noi sintetizzati nella precedente pillola), potrà fornire risultati di enorme rilievo ed interesse.
Se invece verrà utilizzato come un “oracolo tecnologico” che risponda a domande che non siamo neppure in grado di formulare con chiarezza vi è il serio pericolo che ci confonda solo le idee.
Riccardo De Gobbi e Giampaolo Collecchia
Bibliografia
1) Myura Nagendran, Yang Chen et Al.: Artificial intelligence versus clinicians: systematic review of design, reporting standards, and claims of deep learning studies BMJ 2020;368:m689 http://dx.doi.org/10.1136/bmj.m689
2) Constanza L Andaur Navarro, Johanna A A Dame net Al.: Risk of bias in studies on prediction models developed using supervised machine learning techniques: systematic review BMJ 2021;375:n2281 http://dx.doi.org/10.1136/bmj.n2281
Per approfondire:
Collecchia G. De Gobbi R.: Intelligenza Artificiale e Medicina Digitale. Una guida critica. Il Pensiero Scientifico Ed. Roma 2020
http://pensiero.it/catalogo/libri/pubblico/intelligenza-artificiale-e-medicina-digitale
Rossi Renato Luigi: Come leggere uno studio clinico. Il Pensiero Scientifico Editore: Roma 2021.
http://pensiero.it/catalogo/libri/professionisti/come-leggere-uno-studio-clinico
|
|
|
Letto : 84222 | Torna indietro |  |  | 
|
|
|
|
|
|
|
|
© Pillole.org 2004-2024 | Disclaimer | Reg. T. Roma n. 2/06 del 25/01/06 | Dir. resp. D. Zamperini 
ore 14:14 | 104936185 accessi| utenti in linea:
25516
|
| |
Home
Entra
Iscriviti
