Nella precedente pillola abbiamo illustrato gli algoritmi genetici che hanno aperto nuovi orizzonti alla ricerca medica basata sulla intelligenza artificiale: in particolare abbiamo sottolineato come questo tipo di algoritmi procedano attraverso un numero elevatissimo di “prove - errori- correzione degli errori -nuove prove”, fino ad ottenere risultati soddisfacenti.
Tuttavia, come abbiamo ricordato nella conclusione della precedente pillola, le procedure di Deep Learning consentono solo un controllo parziale sulla “struttura” ed un controllo sui “risultati”, ma non consentono controlli dettagliati sul complesso “processo” che porta, attraverso combinazioni casuali ignote ai ricercatori, a conseguire quei risultati.
La osservazione critica è importante perchè secoli di studi sulle leggi del caso e sui processi casuali hanno dimostrato che solo controllando il più accuratamente possibile i dati a nostra disposizione e le eventuali loro correlazioni ed interazioni possiamo minimizzare l'errore che è comunque una costante possibilità in ogni attività di ricerca, specie le più avanzate e sofisticate.

In questa pillola prendiamo in esame una importante ricerca pubblicata oltre un anno fa, che individua seri limiti del Deep Learning, specie se non utilizzato con procedure rigorose(1).

Un gruppo di esperti di ricerca clinica e di intelligenza artificiale dell’ Imperial College di Londra, delle Università di Oxford, di Stanford e della California, ha confrontato le ricerche sulla diagnostica per immagini effettuate mediante dispositivi di intelligenza artificiale con quelle effettuate da medici e ricercatori con le metodiche tradizionali.
La qualità degli studi è stata esaminata secondo gli standard previsti da Consort (2) per gli studi randomizzati, e da Tripod (3)per i non randomizzati, mentre la probabilità di bias veniva valutata mediante le metodiche Cochrane(4) per gli studi randomizzati e Probast(5) per quelli non randomizzati.
[Raccomandiamo vivamente la consultazione dei siti contenenti le scale di valutazione utilizzate in questa ricerca e la utilizzazione sia pure " veloce" ed "artigianale" di queste scale nella valutazione degli studi che ci interessano: chi si caricherà di questa piccola incombenza sarà sorpreso dalla utilità di queste griglie, che ci permettono di cogliere bias o limiti dei vari studi non certo per promuovere nuovi negazionismi o scetticismi ma per coglierne gli aspetti sicuramente innovativi evitando invece pericolose illusioni...]

Cosa valutare in uno studio
(Valutazione minimale ma utile: per valutazioni più approfondite si rinvia ai siti sopra citati e ad un ottimo manuale(6)
1) Finalità ed Obiettivi: debbono essere chiari e ben descritti
2) Modalità di reclutamento degli " oggetti di studio"
3) Criteri di inclusione ed esclusione degli "oggetti"
4) Numerosità del campione: deve essere coerente con gli obiettivi
5) Durata del follow-up: adeguata alle finalità
6) Procedure di confronto e modalità di confronto