Non tutto ciò che luccica è oroCategoria : scienze_varie Data : 04 aprile 2014 Autore : admin Intestazione : Comuni trabocchetti nell’interpretrazione degli studi clinici: esempi da studi su ezetimibe. Testo : Ai tempi di Semmelweis le cose apparivano molto chiare: questo illustre medico intuì che la febbre puerperale, che nel suo ospedale colpiva molte donne dopo il parto, poteva essere provocata dagli stessi medici e dagli studenti di medicina che visitavano le pazienti dopo aver fatto pratica di dissezione dei cadaveri. Per verificare questa ipotesi Semmelweiss ordinò che chiunque dovesse visitare le puerpere si lavasse bene le mani con una soluzione disinfettante di cloruro di calcio. Questa nuova prassi portò ad una drastica riduzione dei decessi da febbre puerperale. Non c’era bisogno in questo caso di approfondite conoscenze biostatistiche: la differenza tra lavarsi o non lavarsi era abissale, sia in termini di frequenza che di rilevanza dell’outcome. Anche se il cut-off di p necessario a definire “significativo” un risultato corrisponde convenzionalmente al “mitico” valore 0.05 non si ribadira’ mai abbastanza che questo vale solo per i risultati su cui e’ stato costruito il campione, vale a dire quelli che riguardano l’ end-point primario della ricerca. I calcoli necessari alla definizione della numerosita’ campionaria programmano infatti una probabilita’ di errore nel definire incongruamente “reali” risultati in realta’ dovuti al caso non superiore a 1/20. Questo errore programmato si chiama errore alfa (1/20=0.05) e viene inserito – vedi sopra- nelle formule destinate alla programmazione del “sample size” . Pertanto la probabilita’ di errore programmata “ex ante” viene tutta “spesa” sui risultati “primari” e non riguarda i risultati “secondari” perche’ non e’ su di questi che e’ stato costruito il campione. Quando si interpreta la significativita’ statistica per i risultati di endpoint secondari occorre quindi abbandonare il consueto valore di cut off e fissare valori inferiori a quelli abituali. Se si ignora questa correzione, in presenza di analisi multiple si incorre sistematicamente in un eccesso di errore di tipo I (= rischio di definire ‘reali’ risultati in realta’ dovuti al caso). L’ abbassamento del cut off di p per dichiarare la “significativita’” deve essere proporzionale non solo al numero di analisi eseguite, ma anche al grado di interdipendenza tra tra i singoli endpoint, a sua volta legato alla misura in cui gli stessi pazienti possono aver contribuito a piu’ di un endpoint. Quando il valore di P viene utilizzato per interpretare i risultati di piu’ di un’ analisi il problema di fondo e’ rappresentato dal fatto che non e’ su queste analisi che e’ stata programmata la dimensione campionaria. In presenza di analisi multiple l’ errore alfa programmato per l’ endpoint primario (=0.05) deve essere “spalmato” su tutte le analisi da interpretare. Il cut off per la significativita’ statistica potrebbe essere mantenuto ai livelli usuali (=0.05) solo se tutti i pazienti avessero subito tutti gli endpoint . Se invece, come e’ ovvio, non e’ cosi’, piu’ aumenta il grado di indipendenza tra una analisi e l’ altra piu’ il cut off di P necessario a dimostrare “significativita’ statistica” deve essere abbassato [Moye’ 1999 Moye’ 2003 Freemantle 2001]. Da cio’ deriva che il cut off necessario a definire “significativo” un risultato non primario deve essere sempre abbassato sotto il livello 0.05. Esistono vari metodi per ottenere questi aggiustamenti, e uno dei piu’ usati e’ il metodo di Benjamini e Yekutieli [Yekutieli 1999], che rappresenta un buon bilanciamento tra i pro e i contro di tutte le altre tecniche utilizzate. Come si osserva nei grafici allegati (vedi figura 1, 2, 3), in nessun caso il risultato dello studio SEA,S dopo correzione del cut off di p per confronti multipli, puo’ essere ancora considerato “significativo”, e cio’ e’ facilmente dimostrabile per tutti gli scenari definiti dalle varie combinazioni dei singoli endpoint SEAS (figure 1 2 3). Le interpretazioni dei risultati dello studio SEAS fornite nella letteratura citata [Uguccioni 2013, Holme 2010] coincidono pertanto con la splendida metafora di Freemantle “should we lock the crazy aunt in the attic? [Freemantle 2001] : la soluzione piu’ facile - in presenza di mancata significatività per l’ endpoint primario come quello osservato nello studio SEAS- e’ infatti rinchiuderlo in soffitta come un parente scomodo, enfatizzando al suo posto i risultati secondari ancora di piu’ se “trovati ex post”. In un aneddoto scientifico [Atlanta 2013] si legge come un giovane ricercatore -deluso dai risultati non significativi ottenuti da una propria ricerca- si sia rivolto sconsolato al proprio senior (un certo dott. Allen) che per nulla preoccupato invitava il giovane a fare un ‘spedizione di pesca’ finalizzata a cercare significativita’ statistica in qualche analisi ex post per pubblicare poi le conclusioni solo sui risultati risultati ‘significativi’ . Tali analisi sono definite ‘data driven’ ossia condizionate dai primi risultati della sperimentazione . L’ analisi ex post degli autori SEAS ‘e un’ analisi non-primaria, organizzata per tentare di giustificare un risultato secondario a propria volta misinterpretrato su una significativita’ statistica non reale: in questo senso, pertanto, rappresenta una posizione particolarmente “bizzarra” [Mills 1999 Moye’ 2003]. Un esempio affine - e’ fornito dal memorabile studio sui segni zodiacali pubblicato dai ricercatori ISIS-2 proprio per dimostrare le insidie legate ad una scorretta interpretazione dei risultati non primari, che in questo caso erano rappresentati da un’ analisi per sottogruppi [ISIS-2 1988] . Il trial era stato organizzato per dimostrare l’ efficacia dell’aspirina nella prevenzione degli attacchi ischemici cardiaci fatali . Mentre nella casistica in toto l’ aspirina si era dimostrata efficace, stratificando i pazienti in base al rispettivo segno zodiacale la molecola si rivelava non efficace o addirittura dannosa nei soggetti nati sotto il segno dei Gemelli o della Bilancia. La maggior parte degli scienziati non astrologi ha interpretato i risultati di questa goliardica analisi post-hoc come dovuti all’ effetto del caso. Attribuire importanza clinica ad un risultato fortemente influenzato dall’ effetto del caso non e’ un problema solo accademico perche’ puo’ teoricamente condizionare suggerimenti operativi incauti o sbagliati . Outcome compositi L’ ezetimibe e’ un farmaco molto studiato nei suoi effetti ipocolesterolemizzanti, ma poco valutato nei suoi effetti su end-point clinici maggiori. Le uniche esperienze finora condotte in tal senso sono rappresentate dal già citato studio SEAS e dallo studio SHARP [SHARP 2010]. In quest’ultimo trial sono stati reclutati circa novemila nefropatici, circa un terzo dei quali era in dialisi. L’ outcome primario SHARP, rappresentato da un indice composito comprendente infarto non fatale, morte coronarica, stroke non emorragico e rivascolarizzazioni, si è significativamente ridotto del 17% (p=0.0021) . Questo risultato e’ stato pero’ totalmente condizionato dai risultati ottenuti sugli end-point “rivascolarizzazioni” , unici sottocomponenti dell’ endpoint primario per cui e’ ancora lecito dichiarare "significativita’ statistica". Infatti, contrariamente a quanto affermato da Uguccioni [Ugucioni 2013] in merito alla ‘significativita’’ di due sottoendpoint dell’ analisi primaria ( stroke non emorragico p=0.01 e rivascolarizzazioni da ogni causa p=0.0036), dopo correzione del cut off di significativita’ per confronti multipli (abbassato a 0.0051 ) solo i risultati sulle rivascolarizzazioni coronariche (p=0.0027) e sulle rivascolarizzazioni da ogni causa (p=0.0036) presentano valori di P al di sotto questo limite (Figura 4). La “coerenza biologica” di questi risultati appare problematica: perche’ l’ associazione ezetimibe/simvastatina nello studio SHARP non si e’ dimostrata superiore al placebo nel ridurre il rischio di infarto (p=0.12) o di morte coronarica (p=0.95) ma allo stesso tempo ha dimostrato efficacia sulle rivascolarizzazioni coronariche (p=0.0027) , un end-point condizionato da pattern patogenetici comuni all’ infarto e alla morte coronarica? Performance bias L’ associazione ezetimibe/simvastatina, confrontata con il placebo, non ha dimostrato riduzioni significative a carico della mortalita’ generale, coronarica e cardiovascolare [SHARP 2010]. Cio’ è tanto più rilevante se si considera che i soggetti nefropatici incorrono frequentemente in complicanze cardiovascolari e sono caratterizzati da un’ alta mortalita’ di base (per il follow up di 4.9 anni analizzato nello SHARP nel braccio assegnato a placebo si e’ registrata una mortalita’ del 24,1%). La mancanza di un effetto statisticamente significativo sulla mortalita’ generale nello SHARP era accompagnato da un decremento non significativo del 7% della mortalita’ vascolare e da un aumento parimenti non significativo del 9% della mortalita’ non cardiovascolare . Queste “incongruenze” possono essere attribuibili alla perdita di cecita’ che frequentemente connota le sperimentazioni farmaco ipocolesterolemizzante / placebo, dove l’appartenenza al braccio di controllo viene smascherata dal mancato abbattimento della colesterolemia LDL. Alcuni autori suggeriscono che in queste circostanze il ricercatore tenda a prestare maggior attenzione ai pazienti assegnati al braccio di controllo, che sarebbero in tal modo piu’ soggetti ad accertamenti diagnostici , coronarografie comprese. Dato che una probabilita’ maggiore di coronarografia si associa ad una probabilita’ maggiore di rivascolarizzazione, la differenza tra braccio di intervento e braccio di controllo potrebbe essere sostenuta non tanto da un abbattimento delle rivascolarizzazioni nel braccio di intervento quanto piuttosto da un aumento nel braccio di controllo [Therapeutic 2010, Donzelli 2012]. Questo tipo di ‘performance bias’ e’ comune nelle condizioni in cui si utilizzano come endpoint (al posto di eventi naturali quali infarti o ictus) eventi ‘physician driven’ quali le rivascolarizzazioni, fortemente condizionati dalle decisioni soggettive dei curanti [Moye’ 2003]. E’ stato anche dimostrato che l’ utilizzo di questi endpoint si associa ad un odds maggiore di risultati significativi [Freemantle 2003] ed e’ probabilmente per questo che vengono spesso utilizzati nei trial. Eterogeneità Esempio di un ulteriore trabocchetto in cui è possibile cadere è costituito dall’affermazione che “pur senza significative eterogeneita’ tra i due gruppi” i benefici maggiori in termini di eventi aterosclerotici sono stati ottenuti nello studio SHARP nei pazienti che al momento dell’ arruolamento non erano ancora in dialisi nell’articolo citato [Uguccioni 2013]. Le differenze rilevate negli strati dei pazienti dializzati e rispettivamente non dializzati hanno offerto all’ autore uno spunto per raccomandare di avviare il trattamento con l’associazione Ezetimibe/Simvastatina il piu’ precocemente possibile, vale a dire nei pazienti nefropatici con compromissione renale non ancora avanzata. Questa posizione rappresenta infatti un’ interpretazione del trial non supportata dal risultato del test statistico di eterogeneita’ (p=0.25). Occorre ricordare che l’ “effetto sottogruppo” –qui: la significativita’ della differenza tra essere in dialisi” o “non essere in dialisi” - deve essere confermato in modo formale da test che confrontino le differenze rilevate tra i diversi strati che qualificano un presunto ‘modificatore di effetto’ ( qui: lo status del paziente si/no nei confronti della procedura dialitica). Questi test sono basati su analisi di regressione, su analisi della varianza o su analisi di eterogeneita’: nello studio SHARP e’ stata utilizzata quest’ ultima tecnica, dove viene testata l’ ipotesi nulla “le differenze tra i pazienti in dialisi e non in dialisi sono solo dovute solo al caso” . Che non esista alcuna differenza reale tra i due gruppi e’ infatti dimostrato dal valore della P (=0.25) che indica che la differenza rilevata tra pazienti dializzati e pazienti non dializzati ha una probabilita’ pari al 25% di essere spiegata solo dal caso. Conclusioni Studi sperimentali, pur ben organizzati e condotti, possono offrire risultati in grado di dimostrare tutto e il contrario di tutto: a seconda delle modalita’ con cui i risultati stessi sono interpretati [Mills 1993]. Le analisi secondarie rappresentano un importante elemento di criticita’ nella qualita’ dei messaggi da convertire in raccomandazioni di buona pratica clinica. Gia’ nel 1966 Friedman & coll in un memorabile saggio [Friedman 1966] sottolineava quanto fosse opportuno -dopo aver calcolato le dimensioni campionarie sui risultati attesi per un solo endpoint- essere molto cauti nella interpretazione della significativita’ statistica delle analisi non utilizzate nel calcolo del campione [Friedman 1966]. Tuttavia, come sottolinea Moye’ in un altrettanto celebre articolo , la frequenza con cui i ricercatori violano questo fondamentale principio suggerisce che i cauti consigli di Friedman non siano stati mai molto apprezzati [Moye’ 1998]. E’ dunque importante , specie nelle raccomandazioni terapeutiche riguardanti ampi strati delle popolazione, fare riferimento a studi che abbiano obiettivi primari predefiniti costituiti da eventi clinicamente rilevanti poco suscettibili a distorsioni di conduzione . Il trial IMPROVE-IT [IMPROVE-IT] attualmente in fieri rappresenta una grande sperimentazione su pazienti affetti da sindrome coronarica acuta , su cui l’ associazione ezetimibe/simvastatina viene confrontata con la simvastatina usata da sola. Solo i risultati di tale studio ( i cui risultati ad interim non sono stati ancora resi pubblici e che verra’ completata entro l’anno in corso), forniranno attendibili prove sull’ efficacia netta dell’ ezetimibe sugli endpont maggiori (almeno per la speciale categoria di pazienti ad altissimo rischio rappresentata dai pazienti con Sindrome coronarica acuta). Alessandro Battaggia e Luca Puccetti Figura 1 Il grafico identifica ( linea rossa tratteggiata in alto) il cut off dei valori di P aggiustato per confronti multipli [Yekutieli 1999] calcolato per uno scenario in cui si considerino assieme tutti gli endpoint dello studio SEAS [SEAS 2010]: per essere dichiarati ‘significativi’ i risultati devono presentare al test statistico nominale valori di P inferiori al cut off identificato (dovrebbero quindi essere situati al di sopra della linea tratteggiata ) Figura 2 Il grafico identifica ( linea rossa tratteggiata in alto) il cut off dei valori di P aggiustato per confronti multipli [Yekutieli 1999] calcolato per uno scenario in cui si considerino assieme solo gli end-point compositi dello studio SEAS [SEAS 2010]: per essere dichiarati ‘significativi’ i risultati devono presentare al test statistico nominale valori di P inferiori al cut off identificato (dovrebbero quindi essere situati al di sopra della linea tratteggiata ) Figura 3 Il grafico identifica ( linea rossa tratteggiata in alto) il cut off dei valori di P aggiustato per confronti multipli [Yekutieli 1999] calcolato per uno scenario in cui si considerino assieme solo i sottocomponenti dell’ end-point primario dello studio SEAS [SEAS 2010]: per essere dichiarati ‘significativi’ i risultati devono presentare al test statistico nominale valori di P inferiori al cut off identificato (dovrebbero quindi essere situati al di sopra della linea tratteggiata) Figura 4 Il grafico identifica ( linea rossa tratteggiata in alto) il cut off dei valori di P aggiustato per confronti multipli [Yekutieli 1999] calcolato per uno scenario in cui si considerino assieme tutti i sottocomponenti dell’ end-point primario dello studio SHARP [SHARP 2010]: per essere dichiarati ‘significativi’ i risultati devono presentare al test statistico nominale valori di P inferiori al cut off identificato (dovrebbero quindi essere situati al di sopra della linea tratteggiata ). Referenze bibliografiche ACC/HAH Prevention Guidelines 2013 http://www.pillole.org/public/aspnuke/newsall.asp?id=5952 Atlanta 2013 Atlanta Clinical& Translational Science Institute Ethical Dilemmas in Scientific Research and Professional Integrity http://www.actsi.org/areas/ethics_reg/ethics/documents/Data%20Torturing.pdf accesso 9 marzo 2014 ATP III REV 2004 Third Report of the Expert Panel on Detection, Evaluation, and Treatment of High Blood Cholesterol in Adults (Adult Treatment Panel III) ATP III Update 2004: Implications of Recent Clinical Trials for the ATP III Guidelines http://www.nhlbi.nih.gov/guidelines/cholesterol/ AURORA. Bastarolo D et al 2005 Indagine per la valutazione del profilo di rischio cardiovascolare nella popolazione di soggetti assistibili afferenti a MMG nell’area della ASL 20 – Verona Ital Heart J Suppl 2005; 6(6) 382-387 Battaggia A 2012 I limiti metodologici della metanalisi CTT 2012 Dialogo sui Farmaci n. 4-2012 Battaggia A 2012 Statins for people at low risk of cardiovascular disease Corrispondence Lancet Vol 380 November 24, 2012 p1814 Battaggia A 2013 Errare humanum est, perseverare.. Infofarma n.2 http://www.ulss20.verona.it/infofarma.html Boekholdt SM et al. 2012 Association of LDL cholesterol, non-HDL cholesterol, and apolipoprotein B levels with risk of cardiovascular events among patients treated with statins. JAMA 2012; 307: 1302–09. Cholesterol Treatment Trialists’ (CTT) 2005 Collaboration. Efficacy and safety of cholesterollowering treatment: prospective meta-analysis of data from 90 056 participants in 14 randomised trials of statins. Lancet 2005; 366: 1267–78. Cholesterol Treatment Trialists’ (CTT) Collaboration. 2010 Effi cacy and safety of more intensive lowering of LDL cholesterol: a meta-analysis of data from 170 000 participants in 26 randomised trials. Lancet 2010; 376: 1670–81. Cholesterol Treatment Trialists’ (CTT) 2012 Collaborators.The eff ects of lowering LDL cholesterol with statin therapy in people at low risk of vascular disease: meta-analysis of individual data from 27 randomised trials. CTT. Lancet 2012; doi: 10.1016/S0140-6736: 60367-5 Concept Paper: per una revisione della nota AIFA 13 2013 Infofarma n.1 2013 http://www.ulss20.verona.it/infofarma.html Doggrel SA. 2012 The ezetimibe controversy – can this be resolved by comparing the clinical trials with simvastatin and ezetimibe alone and together?. Expert Opin Pharmacother 2012; 13: 1469-80. Donzelli A 2012 Statins for people at low risk of cardiovascular disease Corrispondence Lancet Vol 380 November 24, 2012 p1815 ESC/EAS 2011 European Association for Cardiovascular Prevention & Rehabilitation ESC/EAS Guidelines for the management of dyslipidaemias: the Task Force for the management of dyslipidaemias of the European Society of Cardiology (ESC) and the European Atherosclerosis Society (EAS) Eur Heart J. 2011; 32:1769-818. Freemantle N et al 2003 Composite outcomes in randomized trials - Greater precision but with greater uncertain? JAMA 2003; 289:2554 Freemantle N 2001 Interpreting the results of secondary endpoints and subgroup analuses in clinical trials: should we lock the crazy aunt in the attic? BMJ 322 2001 989-991 Friedman L et al Fundamentals of Clinical Trials 3rd ed St. Luis: Mosby; 1966:308 Giorda CB 2013 L innovazione nel trattamento delle dislipidemia Il valore dell’ ezetimibe Pacini Editore SPA Pisa Dicembre 2013 Hayward RA et al 2006 Narrative Review: Lack of Evidence for Recommended Low-Density Lipoprotein Treatment Targets: A Solvable Problem Ann Intern Med. 2006;145:520-30. Holme I, Rossebø AB, Pedersen T. Observed and predicted reduction of cardiovascular events in the simvastatin and ezetimibe in aortic stenosis (SEAS) trial. Am J Cardiol 2010;105:1802-8. HPS 1999 MRC/BHF Heart Protection Study of cholesterol lowering therapy and of antioxidant vitamin supplementation in a wide range of patients at increased risk of coronary heart disease death early safety and efficacy experience. European Heart Journal. 1999;20:725-41. Hayward RA et al 2006 Narrative Review: Lack of Evidence for Recommended Low-Density Lipoprotein Treatment Targets: A Solvable Problem Ann Intern Med. 2006;145:520-30. IDEAL 2005 Pedersen TR, et al. Incremental Decrease in End Points Through Aggressive Lipid Lowering (IDEAL) Study Group. High-dose atorvastatin vs. usual-dose simvastatin for secondary prevention after myocardial infarction. The IDEAL study: a randomized controlled trial. JAMA 2005; 294: 2437-45. IMPROVE-IT: Examining Outcomes in Subjects With Acute Coronary Syndrome: Vytorin (Ezetimibe/Simvastatin) vs Simvastatin (P04103 AM5) NCT00202878 http://www.clinicaltrials.gov/ct2/show/NCT00202878?term=IMPROVE+IT&rank=1 ISIS-2 (Second International Study of Infarct Survival) Collaborative Group. Randomised trial of intravenous streptokinase, oral aspirin, both, or neither among 17 187 cases of suspected acute myocardial infarction: ISIS-2. Lancet. 1988; ii: 349–360. Mascitelli L 2012 Statins for people at low risk of cardiovascular disease Corrispondence Lancet Vol 380 November 24, 2012 p1816 Mills JL 1999 Data Torturing NEJM 1999 329:1196 Moye’ LA 1998 P-Value Interpretaion and Alpha Allocation in Clinical Trials Ann Epidemiol 1998 8:351-357 Moye’ LA 1999 End-Point Interpretation in Clinical Trials: the case for Discipline Controlled Clinical Trials 20:40-49 1999 Moye’ LA 2003 Miltiple Analyses in Clinical trials -Fundamentals for Investigators Springer 2003 ISBN 0-87-00727-X Newman D 2012 Statins for people at low risk of cardiovascular disease Corrispondence Lancet Vol 380 November 24, 2012 p1814 Nota 13 2007 NOTA AIFA 11 - Gazzetta Ufficiale n. 07 Serie generale del 10.01.2007 Nota 13 2011 NOTA AIFA 11 - Gazzetta Ufficiale n. 163 Serie generale del 15.07.2011. Nota 13 2012 NOTA AIFA 12 - Gazzetta Ufficiale n. 277 Serie generale del 27.11.2012. Nota 13 2013 NOTA AIFA 13 - Gazzetta Ufficiale n. 83 Serie generale del 09.04.2013. PROVE.IT 2004 Cannon C. P. et al for the Pravastatin or Atorvastatin Evaluation and Infection Therapy–Thrombolysis in Myocardial Infarction 22 Investigators Intensive versus Moderate Lipid Lowering with Statins after Acute Coronary Syndromes N Engl J Med 2004; 350:1495-504. Ray KK 2012 Statins for people at low risk of cardiovascular disease Corrispondence Lancet Vol 380 November 24, 2012 p1816 SEAS 2010 Holme I et al Observed and predicted reduction of ischemic cardiovascular events in the Simvastatin and Ezetimibe in Aortic Stenosis trial. Am J Cardiol. 2010 Jun 15;105(12):1802-8 SHARP Collaborative Group. Study of heart and renal protection (SHARP): randomized trial to assess the effects of lowering lowdensity lipoprotein cholesterol among 9.438 patients with chronic kidney disease. Am Heart J 2010; 160: 785-94. Therapeutics Initiative. 2010 April 2010. www.ti.ubc.ca/letter77 (accesso del 29.08.2012). Treccani Dizionario http://www.treccani.it/vocabolario/ accesso 9 marzo 2014 TNT 2005 LaRosa J C et al for the Treating to New Targets (TNT) Investigators Intensive Lipid Lowering with Atorvastatin in Patients with Stable Coronary Disease N Engl J Med 2005; 352:1425-35. Yekutieli D, Benjamini Y (1999). Resampling based False Discovery Rate controlling procedure for dependent test statistics". J. Statist. Planng Inf. 82: 171–196. doi:10.1016/S0378-3758(99)00041-5. Uguccioni M Opinioni del cardiologo – Il trattamento delle dislipidemie nel paziente a rischio cardiovascolare: l’ importanza di raggiungere i target di C-LDL – in: L innovazione nel trattamento delle dislipidemia Il valore dell’ ezetimibe, pag 32-36 Pacini Editore SPA Pisa Dicembre 2013 |