Evidence Based Medicine is meer dan randomised Clinical trials
P.R. Koninckx
Dienstverloskunde-gynaecologie. UZ Gasthuisberg, KULeuven, B-3000 Leuven België. De Doelen, maart 2003 ;
SAMENVATTING
Evidence based medecine (EBM) als term werd geintroduceerd door epidemiologen en statistici die de RCT beklemtoonden als wiskundig zuivere modellen zonder vertekening. Bovendien laat dit meta-analyse toe, eveneens mathematisch correct. In deze puriteinse definitie is er kritiek gerezen over de moeilijkheden van het uitvoeren van de RCT, over de interpretatie en extrapolatiemoeilijkheden en over de selektiebias bij de meta-analyse. Indien voorgesteld als ‘de standaard voor geneeskundig handelen’ dreigt bovendien een onderschatting van het klinisch beslissingsproces waar context en individualisering belangrijk zijn. EBM als discipline die geneeskunde en statistiek integreert, die de meest adekwate proefopzet en statistische analyse onderzoekt, rekening houdend met kostprijs, tijd en haalbaarheid, en die een overzicht probeert te houden over de massale literatuur, en die zich voorstelt als een techniek en niet als een norm, is ontegensprekelijk en pluspunt. Om dit te illustreren wordt het belang van de observationele studies besproken, en. om het geheel historisch te situeren werd het parallelisme met rekenkracht besproken.
INLEIDING
De naam evidence based medecine (EBM) werd geintroduceerd door Britse en Canadese epidemiologen. EBM beklemtoont het belang van van de randomised clinical trial (RCT) en van de meta-analyse (zoals theoretisch ontwikkeld door Kuhn in 1962) als basis voor het medisch handelen. Over de inhoud heerst nogal wat verwarrring, gezien de term EBM door sommigen eng gedefinieerd wordt als RCT en meta-analyse. Gezien de kracht van het woord is de betekenis voor velen verschoven naar de letterlijke betekenis, namelijk dat geneeskundig handelen best op evidentie gebaseerd is, dat deze statistisch onderbouwd dient te zijn in tegenstelling tot authority bazsed medecine. In deze brede betekenis is er geen discussie, maar dan is EBM enkel een nieuwe term zonder inhoudelijke vernieuwing. Over EBM in de enge betekenis van RCT en meta-analyse .1;2 geconcretiseerd in de “Cochrane database for systematic reviews” zijn de meningen verdeeld 3-5. De kritiek varieert van het beklemtonen van de klinische beslissing en de context in tegenstelling tot de harde gegevens 6-9, -versta beklemtoning van de variabiliteit van de individuele patient- tot fundamentele kritiek waarbij het belang van de RCT in vergelijking tot andere onderzoeksmethoden voor het opstellen van guidelines in vraag word gesteld 10;11, waarbij retorisch gesteld wordt dat er geen evidentie is voor de superioriteit van de RCT 12om de kwaliteit van de geneeskunde te verbeterende en dat EBM een nieuwe vorm van ‘authority based medecine is 10 niet altijd eenvoudig te implementateren.13 terwijl anderen het belang van de klinische beslissing beklemtonen.
Het lijkt daarom nuttig te overlopen wat het impact en het belang van EBM nu eigenlijk is, of dit echt een vernieuwing gebracht heeft, waar de grenzen liggen en welke lading de vlag nu juist dekt.
1 geschiedenis
De literatuur in de geneeskunde en de evidentie is gekenmerkt door een groeiende complexiteit van de gebruikte statische analyses, en dit loopt volkomen parallel met de toenemende rekenkracht. De geschiedenis van de evidentie in de geneeskunde zou ik indelen in drie tijdperken, de rekenlat, het rekenmachientje en later de (personal) computer. Elk boek van statistiek leert dat de wiskundige onderbouw voor de meeste testen vele decennia geleden gelegd werd, net zoals het in de fysica vaak verrassend is dat nogal wat theoretische concepten zo vroeg zijn ontwikkeld. En Vroeg betekent hier vaak voor de tweede wereldoorlog. Hetgeen ontbrak was de rekencapaciteit om deze formules op een realiste tijd met voldoende nauwkeurigheid uit te rekenen. Men dreigt te vergeten dat tot in de jaren 70 de rekenlat het enige instument was om te vermenigvuldigen en delen. Zij die dit nog meegemaakt hebben weten dat de rekenlat enkel een benaderende schatting gaf owv de onnauwkeurigheid van aflezen en de afronding tot 3-4 cijfers, komma’s inbegrepen. Bovendien was dit erg tijdrovend en waren vergissingen legio. Absoluuut ongeschikt dus voor complexe berekeningen. De mechanische rekenmachientjes waren technische juweeltjes, maar hun performantie was nauwelijks groter dan deze van de rekenlat. Zelfs de ‘moderne’ elektrische rekenmachientjes van het begin van de jaren 70 –de toen revolutionaire Olivetti’s leverden het resultaat van een deling slechts na minstens 30 seconden luid geratel. Het uitrekenen van een eenvoudige t-test tussen twee groepen van 20 metingen, vroeg minstens 2-3 uur werk. Voor een doorsnee artikel was dit 2-3 dagen. Bovendien was de mogelijkheid tot narekenen en kontrole totaal irrealist.
Dit veranderde fundamenteel met de introductie van de rekenkracht van de computer De eenvoudige beschrijvende statistiek en testen gebeurt bijna automatisch en meer complexe analyses zoals de niet parametrische testen en de multivariate analyse werden mogelijk. Bovendien ontstonden een reeks testen waarvan de meeste onder ons wel de naam kennen doch waarven de exacte betekenis, belang en gebruik veel minder duidelijk zijn. Om er enkele te noemen die in ons vakgebied belangrijk zijn zoals cluster en discriminant analyse, logistische regressie en life table analyse. Elk van deze testen –zoals alle statistische testen- hebben specifieke beperkingen en zijn pas geldig indien aan een reeks veronderstellingen voldaan is. Bovendien bestaat nu reeds de wiskundige onderbouw voor testen waarvoor de huidige rekenkracht van de PC onvoldoende is voor grotere bestanden zoals hazard analyse.
Zeer recent werd een radikale niewigheid geintroduceerd, evneeens gebaseerd op rekenkracht. Het onderzoek was tot nog toe bijna altijd ‘hypothesis driven”, waarbij statistiek de hypothese diende te bevestigen.. Recent ontstond in de moleculaire biologie het ‘non hypothesis driven’ onderzoek met de introductie van technieken als microarrays, SAGE, en proteomics. Deze technieken leveren zo massaal veel data dat nieuwe vormen van data-analyse dienden te worden ontwikkeld, de zogenaamde bio-informatica. Merk de omkering van de volgorde : menselijk denken en hypothese die geconfirmeerd wordt door statistiek, versus statistische analyse geinterpreteerd door menselijk denken. Men zou deze evolutie in analyse kunnen vergelijken met de bommen van de tweede wereldoorlog, later de slimme bommen en anderzijds ‘carpet bombing’.
II Evidence Based Medecine
De term EBM werd een tiental jaar geleden geintroduceerd door epidemiologen zodra de rekenkracht toeliet de wiskundige onderbouw daterend van de jaren 60 te implementeren.
Authority based medecine heeft ontegensprekelijk vergissingen begaan. Het is echter makkelijk te glimlachen bij de hemi-colectomies als behandeling voor hysterie omdat men dacht dat gassen opstegen naar de hersenen, net zoals wij nu glimlachen bij de verhalen over het draaien van de aarde rond de zon. Deze houding waarbij vergissingen worden beklemtoont dreigt echter te doen vergeten hoeveel accurate kennis verzameld werd met deze observationele geneeskunde. Hierbij denk ik niet in de eerste plaats aan antomie, of aan de eerste geschriften rond endometriose van bij het begin van deze eeuw, maar aan meer recente ontwikkelingen als de antibiotica en de orale contraceptie, die uit het rekenlat tijdperk stammen. Orale contraceptie was een revolutievoor de vrouw. Het was tevens het eerste grootschalig gebruik van medicatie over langere periodes. Dit creeërde terechte bezordheid en stimuleerde de ontwikkeling van de epidemiologie, die moest toelaten uit deze massa aan gegevens conclusies te trekken over laag frequente neveneffecten op korte en lange termijn. Het was duidelijk dat observationele en cohorte studies verbanden kon aantonen, doch dat het moeilijk zo niet onmogelijk was een causaal verband te leggen. De case-control studie probeerde hieraan te verhelpen, maar de mogelijkheden tot bias blijven groot. De enige wiskundig en wetenschappelijk juiste manier om het antwoord te geven over één specifiek effect is de randomised clinical trial (RCT) met in zijn verlengde de meta-analyse, die de conclusies van meerdere clinical trials samenbrengt. Deze bekommernis voor adekwate statistiek en kennis, kreeg de naam EBM. Hierbij werd vergeten dat men steeds in geneeskunde geprobeert heeft kennis zo accuraat mogelijk te houden. Zelfs de beperkte statistiek van de jaren 70, was in zijn eenvoud EBM. Spijtig genoeg hebben nogal wat promotoren zich opgeworpen als de profeten van grote prospectieve gerandomiseerde trials in de epidemiologie. Hierbij mag men niet vergeten dat dit vaak wiskundigen zijn, waarvoor de RCT van levensbelang is, of waar een commerciële organisatie zoals de Cochrane hierbij valt of staat.
De enge definitie van EBM=RCT is over de jaren progressief verbreed tot de discipline die zich bezighoudt met de meest adekwate statistiek voor het beantwoorden van klinische vragen. In deze zin is EBM niet verschillend van wat men in de voorbije decennia probeerde te doen. Wel laat de toenemende rekenkracht het gebruik toe van meer complexe analyses, die de kennis van de doorsnee clinicus overstijgen, zodat EBM in deze definitie een nieuwe discipline is die zich situeert tussen geneeskunde, epidemiologie en statistiek. Voorbeelden hiervan zijn de RCT voor evaluatie van een behandeling, de vergelijkende cohortstudie voor diagnose, de ‘inception cohort’ voor diagnose en de case-control voor een oorzakelijk verband.
Een tweede verbreding van de definitie van EBM, is deze van de meta-analyse tot de discipline die zich bezighoudt met het vinden van de beste evidentie in de huidige massa aan literatuur. De noodzaak om op een geordende manier de groeiende massa literatuur te blijven overzien, neemt niet weg, dat deze discipline zich beweegt in het spanningsveld tussen de review, veel data, volledigheid maar interpretatiebias door de auteur en anderzijds het reduceren van de literatuur tot enkel RCT met de mogelijkheid tot het uitvoeren van een meta-analyse
III De RCT
De RCT is wiskundig waterdicht.Praktisch echter zijn er beperkingen. Het is duidelijk dat de RCT de meest geschikte methode is om het effect van een behandeling te evalueren. Het probleem stelt zich vooral voor grotere trials bij een groot aantal patienten waarbij kleine neveneffecten erg belangrijk zijn voor de volksgezondheid. Laat ons aannemen dat mits grote inspanning een perfecte randomisatie en blinde evaluatie kan worden uitgevoerd. Fundamenteel is er de kritiek over de indicatie tot het uitvoeren van een RCT, over de interpretatie en vooral over extrapolatie van de resultaten en over de kost in tijd en inspanning in verhouding tot de bekomen resultaten. De indicatie tot het uitvoeren van een RCT situeert zich tussen twee uitersten.: ofwel is de bestaande evidentie reeds zo groot dat het bijna onethisch wordt de trial uit te voeren, ofwel is het te verwachten effect zo klein dat het klinisch irrelevant wordt. De interpretatie en extrapolatie zijn misschien het grootste probleem. Doorgaans worden stricte inclusiecriteria gehanteerd om variabiliteit te vermijden en resultaten beter zichtbaar te maken. Dit impliceert echter dat de conclusies enkel valabel zijn voor deze beperkte goep en eigenlijk niet mogen geextrapoleerd worden. Zo zijn de recente HERS en WHI trials voor hormonale substituie enkel toepasbaar op de geincludeerde groep, namelijk oudere obese amerikaanse vrouwen behandeld met één specifiek oestrogeen. Of dit ook zo is voor andere groepen patienten staat ter discussie. Extreem gesteld zou men een studie kunnen doen by pygmeeën in Africa en de resultaten extrapoleren naar de alle patienten. Dit is de echte achillespees van de RCT : de resultaten zijn maar valabel voor de groepo waarop de studie werd uitgevoerd. Om te kunnen extrapoleren naar de ganse bevolking, dwz ook de dikkere en de magere, de diabetes en de hypertensie patient etc zou de inclusie een steekproef uit de populatie moeten zijn : snel wordt duidelijk dat de ideale RCT vaak technisch onmogelijk wordt. Dit leidt tot het aspect kostprijs en tijd. Rekenig houdend met het feit dat op slechts één vraag een antwoord gegeven wordt, bij een specifieke en doorgaans geselecteerde populatie lijkt de RCT een weinig performante test, die best gereserveerd wordt om essentiële vragen met een belangrijk impact op de volksgezondheid te beantwoorden. Bovendien is de RCT minder geschikt voor een reeks klinische problemen. Voor chirurgie is een stricte standardisatie van techniek, chirurg, indicaties en geassocieerde problematiek vaak onverzoenbaar zijn met de aantallen die noodzakelijk voor het beantwoorden van sommige vragen met voldoende zekerheid. Bovendien is de evolutie in technologie doorgaans zo snel dat trials vaak technisch obsoleet worden voordat voldoende aantallen zijn bekomen.
De meta-analyse is wiskundig waterdicht. Het probleem is echter dat de selektie van artikelen doorgaans vrij arbitrair is, omdat artificieel een keuze gemaakt wordt voor ‘goed genoeg’ omdat ‘perfect’ bijna niet bestaat. Een literatuur van enkele honderden artikels resumeren tot een tiental RCT en de meta-analyse hiervan als dé waarheid verkondigen geeft soms de indruk van een gemakkelijkheidsoplossing, eerder dan het eerlijk zoeken naar de waarheid.
Voorbeelden lopen altijd mank, en hebben slechts een anekdotische waarde. Wel kunnen zij sommige zaken verduidelijken. De RCT’s en meta-analyse van HMG versus rec-FSH kunnen worden geinterpreteerd als een bewijs dat de resultaten met rec FSH beter zijn. De conclusie dat wat meer activiteit per ampoule beter is, is echter even valabel. .
IV Observationele studies.
Het voordeel van observationele studies is dat er weinig selectiebias is en dat alle gevens voor analyse gebruikt worden. Het nadeel is dat de interpretatie niet toelaat causale verbanden met zekerheid vast te leggen. Voor snel evoluerende disciplines als chirurgie, blijft het zeer de vraag of de eerlijk desciptieve multivariate analyse van resultaten niet de meest performante manier is om gegevens te verzamelen, zeker indien men rekening houdt met het feit dat de resultaten van andere groepen gemakkelijk kunnen worden vergeleken. In een tweede tijd kunnen belangrijke vragen dan door een RCT worden ingevuld. Belangrijk is dat men zich realiseert dat de observationele studies de gegevens leveren om de noodzakelijke schattingen te maken om een RCT adekwaat te plannen, dat de observationele studies de meerderheid van de informatie levert, terwijl de RCT enkel deelaspekten confirmeert, en dat de observationele studies de enige zijn die informatie verschaffen over de extremen als bv de zeer obese patient..
V Besluit.
De geschiedenis van de rekenapparatuur loopt parallel met het soort statistische analyse dat gebruikt werd en wordt. Het belang van de observationele studies blijkt uit het verleden, terwijl de huidige rekenmogelijkheden voor grote databases deze observationele studies aan belang doen toenemen. Als dusdanig kan dit worden vergeleken met het ‘non hypothesis driven onderzoek’. Observationele studies hebben weinig selektiebias, een lage kostprijs in verhouding tot de bekomen informatie, en laten een praktisch continue evaluatie toe. Deze aspekten worden belangrijker voor de extremen van de populatie of voor een techniek die nog in volle evolutie is zoals de endoscopie. Alhoewel men altijd getracht heeft statistisch zo akkuraat mogelijke informatie te verzamelen ligt het belang van de EBM in het benadrukken van randomisatie en van de RCT. De RCT is theoretisch wiskundig ontegensprekelijk het meest valabele onderzoek voor het effect van een behandeling te evalueren. Al te vaak dreigt men echter te vegeten dat de RCT opgezet voor het opsporen van kwantitatief kleine effecten bij grote groepen patienten vaak moeilijk organiseerbaar is, vaak lang duurt, en duur is in verhouding tot de gegenereerde gegevens. Bovendien zijn de resultaten slechts toepasbaar voor de beperkte groep die samenvalt met de seletiekriteria. Daarom dreigt het ongenuanceerd gebruik van van de RCT en meta-analyse een verarming te zijn, eigenlijk de nieuwe authority based medecine vermomt in de schapenvacht van de EBM.
EBM gedefinieerd als een nieuwe discipline die zich situeert tussen geneeskunde, statistiek en epidemiologie, die de meest adekwate studiedesign en testen beoogt zodat maximale informatie wordt bekomen op de korst mogelijke tijd tegen de laagste kostprijs en met de grootste zekerheid, en die zich tot doel stelt methoden te ontwikkelen om uit een overzicht te houden op de ganse literatuur en hieruit de best beschikbare evidentie te halen meest, nuttig en belangrijk. In deze definitie vervaagt het belang van de RCT tot een test tussen de velen. De observationele studie blijft mi de basis van het geneeskundig onderzoek met daarna specifieke testen waaronder de RCT die sommige aspekten hiervan nader onderzoekt.
Tot slot dreigt het risico dat een ongenuanceerd gebruik van EBM sommigen laat stellen dat alles wat niet met zekerheid is aangetoond, niet waar is. Dit is misschien waar voor de toekomst, indien men goed beseft dat het zeer moeilijk kan zijn statistisch de afwezigheid van effect met zekerheid uit te sluiten. Ik meen dat het voorzichtiger is te stellen dat vooraleer men de ervaring van jaren geneeskundig handelen overboord gooit het minstens met zekerheid zou moeten worden aangetoond dat dit niet nuttig is.
Reference List
1. Raspe H. [Evidence-based medicine: popular nonsense, old wine in new bottles or current necessity?]
Evidence based medicine: Modischer Unsinn, alter Wein in neuen Schlauchen oder aktuelle Notwendigkeit? Z.Arztl.Fortbild.Jena. 1996;90:553-62.
2. Sackett DL, Rosenberg WM. The need for evidence-based medicine. J.R.Soc.Med. 1995;88:620-24.
3. Charlton BG, Miles A. The rise and fall of EBM. QJM. 1998;91:371-74.
4. Fugelli P. Clinical practice: between Aristotle and Cochrane. Schweiz.Med.Wochenschr. 1998;128:184-88.
5. Egger M. [Under the meta-scope: possibilities and limits of meta-analyses]
Unter dem Metaskop: Moglichkeiten und Grenzen von Meta-Analysen. Schweiz.Med.Wochenschr. 1998;128:1893-901.
6. Collins JA. Clinical research evidence and clinical practice. Hum.Reprod. 1997;12:1847-50.
7. Fletcher RH. Practice guidelines and the practice of medicine: is it the end of clinical judgment and expertise? Schweiz.Med.Wochenschr. 1998;128:1883-88.
8. Greenhalgh T, Worrall JG. From EBM to CSM: the evolution of context-sensitive medicine [editorial]. J.Eval.Clin.Pract. 1997;3:105-08.
9. Jacobson LD, Edwards AG, GranierSK, Butler CC. Evidence-based medicine and general practice [see comments]. Br.J.Gen.Pract. 1997;47:449-52.
10. Couto JS. Evidence-based medicine: a Kuhnian perspective of a transvestite non-theory. J.Eval.Clin.Pract. 1998;4:267-75.
11. Sondenaa K, Nesvik I, Solhaug JH, Soreide O. Randomization to surgery or observation in patients with symptomatic gallbladder stone disease. The problem of evidence-based medicine in clinical practice. Scand.J.Gastroenterol. 1997;32:611-16.
12. Vennin P. [Evidence-based medicine (EBM)…an evidence?]
Evidence-based medicine (EBM) … la medecine de l’evidence … une evidence? Bull.Cancer 1998;85:358-59.
13. Aveyard P. Evidence-based medicine and public health. J.Eval.Clin.Pract. 1997;3:139-44.