Le proprietà delle curve ROC permettono di valutare la prestazione di un intervento medico, basato su valori soglia di sensibilità e specificità variabili: il caso del dolore toracico.

Caso base

Un paziente si presenta presso un ambulatorio di un medico di medicina generale, riferendo dolore toracico.
Si postula, cioè si da per certo e si accetta, che quel medico abbia escluso con certezza tutte le cause extracardiache e cardiache non ischemiche di dolore toracico. Allora gli rimane da stabilire se quel dolore dipenda o non dipenda da ischemia acuta del miocardio.
A questo punto, le domande che il medico si pone sono le seguenti: disponendo solo dell’anamnesi e dell’esame obiettivo (esame clinico), qual è l’accuratezza diagnostica di tale intervento, in altri termini qual è il grado di concordanza tra il giudizio basato sull’esame clinico rispetto alla diagnosi “vera” di infarto acuto del miocardio?
Quando un referral al Pronto Soccorso può definirsi appropriato?

Sbrogliare la prima matassa

E’ noto dallo studio epidemiologico italiano BLITZ (1), condotto su pazienti afferenti a strutture ospedaliere dotate di unità di terapia intensiva coronarica, che l’80% circa dei pazienti, con infarto miocardico documentato, esordisce con dolore toracico tipico. Questo dato dà la percentuale del dolore tipico nella popolazione studiata cioè la sua prevalenza. Dice anche che 20 pazienti su cento presentano infarto acuto, avendo un dolore diverso da quello tipico. Dalla letteratura (2) inoltre, si ricava che le caratteristiche cliniche che aumentano le probabilità di infarto del miocardio sono le seguenti:
- irradiazione del dolore alla spalla destra: likelihood ratio positiva (LR+) 2,9
- irradiazione del dolore al braccio sinistro: LR + 2,3
- irradiazione ad entrambe le braccia: LR+ 7,1
- pregresso infarto del miocardio LR+ 1,5-3,0
- nausea o vomito LR+ 1,9
- sudorazione LR+ 2,0
- presenza di 3° tono all’ascoltazione LR+ 3,2
- ipotensione (pressione sistolica < 80 mm Hg LR+ 3,2
- rantoli crepitanti all’ascoltazione LR+ 2,1
Invece, le caratteristiche cliniche che riducono la probabilità di infarto acuto sono le seguenti:
- dolore toracico di tipo “pleuritico” LR negativa (LR-) 0,2
- dolore toracico trafittivo o puntorio (LR-) 0,3
- dolore toracico variabile con la posizione LR- 0,3
- dolore toracico riprodotto da palpazione LR- 0,2-0,4
Comunque, anche questi predittori negativi non possono escludere affidabilmente l’infarto acuto (3).
La letteratura (4) informa anche che approssimativamente dall’1% al 4% dei pazienti che si presentano ad un dipartimento di emergenza con un vero infarto acuto del miocardio vengono dimessi perché non è riconosciuta la loro condizione e la percentuale di diagnosi mancate aumenta se si considera anche l’angina instabile, oltre che l’IMA. Si deve anche sottolineare che la maggior parte degli studi sono stati condotti in contesti diversi dalla medicina generale, dove presumibilmente la prevalenza della condizione in esame nella popolazione generale è diversa rispetto a quella di una popolazione afferente ad un Pronto Soccorso.

Ritorno al caso clinico di base

Il medico giudica il dolore riferito dal paziente come atipico. Sa anche che i fattori demografici e i fattori di rischio tradizionali offrono poco aiuto come fattori predittivi della causa del dolore toracico acuto, con l’eccezione rilevante di un pregresso IMA o di una coronaropatia già nota (2,5).
Vorrebbe essere perfetto, vorrebbe cioè essere in grado o di inviare il paziente al Pronto Soccorso perché ha un’ischemia miocardica acuta, oppure inviarlo al proprio domicilio con la rassicurazione che quel dolore è di natura benigna. Ma la realtà è diversa.
L’esame clinico, anche quando condotto a livelli di eccellenza, non può confermare od escludere al 100% la benignità di quel dolore.
Dovrà necessariamente comportarsi seconda due strategie:
- “liberale” se il suo obiettivo è quello di identificare la maggior parte di infarti acuti, d’altra parte in questo modo la sua scelta comporterà necessariamente ed inevitabilmente un maggior numero di falsi allarmi, di pazienti cioè con dolore ma senza infarto.
- “conservativa” se il suo obiettivo è quello di inviare al Pronto Soccorso pochi pazienti con dolore ma senza infarto, cioè pochi falsi allarmi, però questo accadrà inevitabilmente a scapito di molti pazienti con infarto , ma sfortunati perché atipici nelle manifestazioni cliniche, saranno così molti i casi mancati.
La sobria conclusione è che 2 decadi di ricerca ci hanno insegnato che non c’è una via assolutamente sicura di escludere un’ ischemia miocardica acuta o un infarto miocardico nel momento dell’insorgenza dei sintomi, senza una dimostrazione fortemente persuasiva di una causa non cardiaca (3).
Si può ammettere che si verifichino variazioni dipendenti dall’abilità del singolo, tuttavia la percentuale di diagnosi mancate o falsi negativi è inversamente proporzionale alla percentuale di diagnosi centrate e la percentuale di falsi allarmi (o falsi positivi) è inversamente proporzionale alla percentuale di pazienti che vengono correttamente classificati come “sani” rispetto al dolore ischemico cardiaco (veri negativi) (6).
Risultando chiaro che la prestazione perfetta non esiste, la soluzione del problema è quello di stabilire un valore soglia, che può essere variabile, in funzione del punto di vista del medico , del paziente, del terzo pagante o di altri attori sulla scena sanitaria. Nessuno è immune dall’errore, però, nella maggior parte dei casi, se ne può determinarne grandezza e direzione
A questo punto quando è appropriato inviare al Pronto Soccorso un paziente con dolore toracico? Una risposta può essere affidata all’analisi della curva ROC.

La curva ROC (Receiver Operating Characteristics) come strumento per valutare l’appropriatezza degli interventi sanitari

Le curve ROC si usano per determinare i risultati di modelli predittivi.
Al loro inizio negli anni 40, si impiegarono per la rilevazione dei segnali prodotti dai radar. Dagli anni 70 si iniziò ad usarli anche nella ricerca medica.
Ma ritorniamo al nostro caso base e supponiamo che un medico abbia scelto una strategia liberale, cosicchè risponda “si, vada al PS” a quasi tutti i pazienti con dolore toracico. Non mancherà quasi nessuna diagnosi per quanto di sua competenza. D’altra parte, dicendo “si” ad ogni dolore toracico aumenterà in maniera considerevole il numero di falsi allarmi che accedono al PS. C’è un evidente maggior conto da pagare, e il conto è rappresentato dai falsi allarmi o codici bianchi.
Se il medico sceglie una strategia “conservativa”, allora risponde “no, non vada al PS” a quasi tutti i pazienti con dolore toracico. Raramente invierà al PS falsi allarmi o codici bianchi, ma mancherà la diagnosi in molti pazienti che hanno veramente un IMA.
Si può descrivere l’intera gamma delle scelte del medico in un singola curva, chiamata curva ROC. La curva ROC è in grado di catturare in un singolo grafico le varie alternative disponibili al medico, mentre sposta il valore soglia delle sue risposte, cioè da molti “no” a molti “si”.
Le curve ROC sono disegnate (fig.1) in modo che i falsi allarmi compaiano sull’asse orizzontale e le diagnosi corrette sull’asse verticale. Un utente delle curve ROC può stabilire il proprio criterio basato sulla percentuale di si e di no, scelta a piacere, ma ogni scelta lo farà atterrare in qualche punto che mostrerà la percentuale di veri positivi, ma anche la percentuale di falsi allarmi.

Come costruire una curva ROC (vedi figura)

Supponiamo di avere 3 medici che hanno scelto 3 strategie diverse nei confronti dell’invio dei propri pazienti al PS (figura).
1- il medico A decide di azzerare la sua percentuale di falsi allarmi che vanno al PS; è il medico che dirà sempre o quasi sempre “no” al PS. La sua scelta di strategia “radical-conservativa” è il trade off. Tra due alternative ha scelto quella che privilegia la specificità a scapito della sensibilità. Il valore di cut off sarà alto per la specificità e basso per la sensibilità
2- il medico B sceglie una strategia “radical-liberale”, vuole individuare il maggior numero possibile di IMA tra i suoi pazienti che hanno dolore toracico. Ha scelto un trade off “liberale”. E’ il medico del “si” al PS sempre o quasi sempre. Ciò significa pochi o pochissimi casi di IMA misconosciuti, ma significa anche molti pazienti con dolore che risulteranno sani (cioè i falsi allarmi)
3- il medico C che non pretende di essere un dio, la sua prestazione non è perfetta, cioè non ha il 100% di sensibilità e specificità, ma si colloca su valori intermedi, per esempio potremmo dire che la sua prestazione è misurata con valori di sensibilità dell’80% e valori di specificità del 70%.





Quindi per ogni esame diagnostico e per ogni intervento medico si devono avere le coordinate di longitudine e latitudine, semplicemente per conoscere la loro posizione nel mondo sanitario e per non girare a vuoto, disperdendo tempo ed energie. Il concetto di trade off di solito si riferisce ad alternative nessuna delle quali è perfetta e nella scelta dell’una si guadagna o si perde qualche qualità presente nell’altra. Questo implica la conoscenza di entrambi i lati di una medaglia. In termini tecnici, la curva ROC è la rappresentazione grafica dei trade off tra sensibilità e specificità per ogni possibile valore di cut off. Si verifica in medicina ciò che è noto in fisica come “Principio di indeterminazione di Heisemberg”, cioè tanto più si determina la velocità di un elettrone, tanto meno è possibile definirne la posizione e viceversa.
In medicina, si potrebbe così formulare: tanto più si aumenta la sensibilità di un intervento medico, tanto meno si acquisisce in specificità e viceversa.

Esempio di applicazione pratica dell’analisi ROC

Il Direttore generale di un'Azienda Sanitaria propone ai Medici di medicina generale un patto che comporta un percorso diagnostico che ha l’obiettivo di ridurre, diciamo, al 10% i codici bianchi che afferiscono al Pronto Soccorso locale, relativamente al dolore toracico di origine ischemica cardiaca.
Il presupposto fondamentale che tale proposta richiede è che gli stakeholders conoscano sensibilità e specificità dell’intervento proposto e con quali mezzi diagnostici lo si possa ottenere (ad esempio solo esame clinico? esame clinico con ECG interpretato dal MMG, etc.).
Se non si conoscono gli elementi di misura dell’accuratezza diagnostica dell’intervento “percorso diagnostico”, è necessario un atto preparatorio, rappresentato da un lavoro il cui disegno sia quello di uno studio diagnostico. Infatti, se di un intervento non si conoscono le coordinate fondamentali e indispensabili, cioè sensibilità e specificità, il trade off è tra una scelta basata sulle prove scientifiche ed una scelta basata sulle opinioni. La risposta alla domanda iniziale “Chi tra i pazienti con dolore toracico sia da inviare al PS con appropriatezza” è la conseguenza di quanto esposto. Stabilite sensibilità e specificità dell’intervento che si vuole mettere in pratica, gli stakeholders dovranno stabilire consensualmente un valore soglia, che tenterà di bilanciare il trade off tra sensibilità e specificità.

Conclusioni

Le proprietà delle curve ROC permettono di valutare la prestazione di un intervento medico, basato su valori soglia di sensibilità e specificità variabili. Il modo è semplice ed efficace con una consolidata teoria statistica di sostegno. Chi decide sulla programmazione sanitaria o su interventi da effettuare in aree di criticità, come ad esempio la riduzione degli accessi al Pronto Soccorso, lo dovrebbe fare usando una metodologia appropriata. L’analisi ROC rientra a pieno diritto in questa metodologia e merita di diventare una pratica consolidata.


Fausto Bodini


Bibliografia

1) Eur H Journ 2003;24:1616-1629
2) JAMA 1998;280:1256-1263
3) Ann Intern Med 2003:139:987-99
4)N Engl J Med 2000;342!163-70