Hvilken forskning kan vi stole på? Hva er oppsummert forskning, kildekritikk, kirsebær-plukking, systematisk oversikt og metaanalyse?

Hvilken forskning kan man stole på? Det er totalt publisert to millioner studier om kosthold, ernæring og helse – derfor kan man nesten alltid finne noe forskning som støtter under ens syn. Det er derfor oppsummert forskning man bør forholde seg til (altså store vitenskapsoppsummeringer/ kunnskapsgrunnlag til kostråd, metaanalyser, systematiske oversikter og lignende), ikke bare en og en studie.

Noen påstår at såkalte observasjonelle epidemiologiske studier, eller befolknigsbaserte studier (kohortstudier) generelt, har mindre verdi/er mindre viktige enn intervensjonsstudier som for eksempel RCT. Dette stemmer ikke, fordi epidemiologiske studier kan svare på spørsmål der RCT er ikke lett gjennomførbare. Dessuten handler RCT om utprøving av behandling, og er hovedsakelig egnet til å utprøve nye medisiner eller livsstilsintervensjon over kortere tid.

RCT er lite egnet å svare på komplekse spørsmål som for eksempel interaksjoner av inntak av flere medisiner samtidig osv. Disse spørsmål svares vanligvis med videre overvåking (befolknings basert observasjon). Moderne medisin er ikke bare medisinering/behandling. Diagnostikk, oppfølging, primær og sekundær forebygging er store deler av dagens medisin og helsevesen – alle disse baseres hovedsakelig på befolkningsstudier.

RCT er veldig dyre og krevende å utføre på en riktig måte. Der med er de vanskelige å utføre med hjelp av offentlige penger og er som regel privat finansierte. Det er utviklet forskjellige verktøy (for eksempel her
og oppdatert versjon – her) å vurdere om man kan ståle på resultater av RCT. Dessverre inneholder disse verktøy IKKE finansieringskilder til studie, som (forskning viser) kunne påvirke resultater. Dette er et svært omdiskutert tema. Det er mange som mener at en godt gjennomført og stor befolkninsbasert studie kan være en bedre kilde til kunnskap om ernæring enn kortvarig privat finansiert RCT.

Det er også svært omdiskutert om hvorvidt bør store epidemiologiske studier være en del av kunnskapsgrunnlaget når kunnskap oppsummeres. Noen oppsummeringer utelukker disse studier, men ernæring er et kompleks tema som er vanskelig å fokusere på med bare RCT tilnærming. De fleste av oss spiser ikke bare en type mat og det er mange andre risikofaktorer og livsstil tiltak (røyking, trening, sovn osv.) som kan påvirke vår helse og dermed studienes utfall. Det er også økonomiske og etiske begrensninger (RCT er dyre og vi kan ikke be en tilfeldig utvalgt gruppe at de bare skal spise rødt kjøtt i ti år, da det er veldig sannsynlig at dette blir skadelig).

Disse spørsmål bør vi stille når vi vurderer hvorhvidt vi kan stole på en eller annen helsepåstand underbygd av en publikasjon:

  • Hva slags publikasjoner underbygger en eller annen helsepåstand? Er dette en publikasjon som er en oppsummering av flere hundre relevante studier publisert i de ti siste årene?
  • Hvilken metodologi er brukt til å oppsummere vitenskapen i denne publikasjonen?
  • Hvem/hvilken etat har lagd publikasjonen/oppsummeringen? Er det staten? Myndigheter i et vestlig land? WHO? Har organisasjonen finansielle fordeler for sine påstander?
  • Hvem finansierte og bestilte studien/oppsummeringen?
  • Er det kun en enkel studie med bare noen få deltakere (og ikke oppsummering av flere studier) som var fulgt opp over kortere tid som «underbygger» helsepåstanden?
  • Hva sier de ti siste årenes oppsummeringer om dette temaet?
  • Finnes det biomedisinsk eller fysiologisk forklaring av omtalt effekt (dvs. en plausibel biologisk mekanisme)? Eller er effekten det motsatte man ville forvente utfra biomedisinsk kunnskap?

For eksempel, det er gjort oppsummeringer om mettet fett, utført av helsemyndigheter i flere land. Man har oppsummert hvor mye mettet fett det er gunstig å spise, og hva det er gunstig å eventuelt erstatte mettet fett med. Vi siterer Ernæringsrådets oppsummering om fett og pressemeldingen her

I 2011 leverte Ernæringsrådet sitt kunnskapsgrunnlag til norske offentlige kostholdsråd, Kostråd for å fremme folkehelsen og forebygge kroniske sykdommer – Metodologi og vitenskapelig kunnskapsgrunnlag. Nasjonalt råd for ernæring, Helsedirektoratet, 2011.

Sitert Nasjonalt råd for ernæring sine Kostråd (Kostråd for å fremme folkehelsen og forebygge kroniske sykdommer – Metodologi og vitenskapelig kunnskapsgrunnlag. Nasjonalt råd for ernæring, Helsedirektoratet, 2011):

«For å vurdere hvilken betydning inntak av matvarer og drikkevarer har for risiko for kroniske sykdommer benyttes en samlet vurdering av dokumentasjon fra forskjellige typer studier. Disse studietypene, som alle har styrker og svakheter, er hver for seg ikke egnet som grunnlag for å trekke sikre kausale konklusjoner. Samlet sett vil de imidlertid kunne gi et tilstrekkelig grunnlag for kostråd. Nedenfor er noen av styrkene og svakhetene ved de ulike studietypene beskrevet.»

Et godt eksempel kommer her. WHO, WCRF, Harvard og andre store fagpaneler har oppsummert all den eksisterende forskningen (altså sett på alle studier, både som viser og som ikke viser sammenheng), og på bakgrunn av oppsummeringen sier «avoid processed meats» og «limit red meat».

Cherry-picking, eller kirsebærplukking

Alle de enkeltstudiene som ikke viser sammenheng mellom kjøtt og sykdom, er tatt inn i betraktning under oppsummeringen. Å plukke ut en liten studie ut fra 2 millioner studier, for å si at det fortsatt er usikkerhet om kjøtt er helseskadelig, er noe som heter cherry-picking, eller kirsebær-plukking, eller «å selektivt velge ut det man liker og ignorere det man ikke liker». Slik kunne man også påstå at røyk er sunt og for eksempel brukte tobakksindustri disse teknikker i sin tid.

Eksempel på cherry-picking: Noen har brukt enkeltstudier på mus til å betvile WHOs konklusjon om at bearbeidet kjøtt overbevisende er kreftfremkallende for mennesker. WHO skriver dog følgende (lenkene er samlet her):

«After thoroughly reviewing the accumulated scientific literature, a Working Group of 22 experts from 10 countries convened by the IARC Monographs Programme classified the consumption of red meat as probably carcinogenic to humans (Group 2A), based on limited evidence that the consumption of red meat causes cancer in humans and strong mechanistic evidence supporting a carcinogenic effect.»

«This association was observed mainly for colorectal cancer, but associations were also seen for pancreatic cancer and prostate cancer.»

«Processed meat was classified as carcinogenic to humans (Group 1), based on sufficient evidence in humans that the consumption of processed meat causes colorectal cancer.»

«Additionally, a positive association with the consumption of processed meat was found for stomach cancer.»«The experts concluded that each 50 gram portion of processed meat eaten daily increases the risk of colorectal cancer by 18%».

Kan man si at en musestudie kan rokke ved oppsummering av 800 relevante studier? Slik studie vil uansett ikke endre konklusjonen, fordi de vitenskapelige bevisene for påstanden om at bearbeidet kjøtt forårsaker kreft, er tilstrekkelige allerede.

Hvordan oppsummerer man vitenskapen og hva er metodologi?

På side 14 her forklarer Nasjonalt råd for ernæring, i Kostråd for å fremme folkehelsen og forebygge kroniske sykdommer – Metodologi og vitenskapelig kunnskapsgrunnlag. Nasjonalt råd for ernæring, Helsedirektoratet, 2011 , hvordan oppsummeringer av forskningen foregår:

Skjermdump fra Kostråd 2011, side 14

Sitert Kostråd for å fremme folkehelsen og forebygge kroniske sykdommer – Metodologi og vitenskapelig kunnskapsgrunnlag. Nasjonalt råd for ernæring, Helsedirektoratet, 2011:

Prinsipper og metodologi som ligger til grunn for de norske kostrådene
Forskjellige typer vitenskapelige studier er nødvendig for å vurdere kausalitet. Sammen vil disse tre studietypene danne en basis for vurderinger om kausalitet etter metodologi beskrevet av World Cancer Research Fund (11,12), Verdens helseorganisasjon (WHO) (13), Bradford Hill (14,15), Rothman og Greenland med flere (17,16).

En gjennomgang av kun kliniske studier, kun epidemiologiske studier eller kun mekanistiske studier er ikke tilstrekkelig for å trekke konklusjoner om kausale sammenhenger. For å gjøre en fullverdig kunnskapsoppsummering må det derfor gjennomføres en systematisk litteraturgjennomgang som omfatter alle tre studietyper. Det er dette som ligger bak metodologien som er beskrevet av WCRF (11,12).

World Cancer Research Fund-kriterier for de forskjellige kategoriene for mulig årsakssammenheng Hovedkriterier som World Cancer Research Fund-rapporten definerer, og som må oppfylles for de forskjellige årsakskategoriene, er gjengitt nedenfor. Hvordan hver enkelt av disse elementene skal vurderes, er grundig beskrevet i World Cancer Research Fund-rapporten og metodemanualen (11,12).

Overbevisende årsakssammenheng
Denne kategorien brukes hvis forskningsstatus tilsier at det er en kausal årsakssammenheng mellom eksponering og sykdom. En overbevisende og robust dokumentasjon må være tilgjengelig som gjør at det er usannsynlig at ny dokumentasjon vil endre denne konklusjonen. Generelt må alle de følgende kriteriene være oppfylt:
•Konsistent dokumentasjon fra mer enn en type studie (vanligvis kommer konsistent dokumentasjon fra både kohortestudier og kasus-kontrollstudier)
•Dokumentasjon fra minst to uavhengige kohortestudier
•Ingen betydelig heterogenitet innen eller mellom studiene
•Studier med god kvalitet som så langt som mulig kontrollerer for konfunderende faktorer, systematiske og tilfeldige feil
•Det må være en dose-responssammenheng
•Sterk og plausibel eksperimentell dokumentasjon fra humane studier eller eksperimentelle dyremodeller (såkalte ”Class 1” studier, (11)
•En plausibel biologisk mekanisme

Sannsynlig årsakssammenheng
Denne kategorien brukes hvis forskningsstatus tilsier at det er en sannsynlig kausal årsakssammenheng mellom eksponering og sykdom. Generelt må alle de følgende kriteriene være oppfylt:
•Konsistent dokumentasjon fra minst to uavhengige kohortestudier eller minst fem kasus-kontrollstudier
•Ingen betydelig heterogenitet innen eller mellom studiene
•Studier med god kvalitet som så langt som mulig utelukker konfunderende faktorer, systematiske og tilfeldige feil
•Eksperimentell dokumentasjon fra humane studier eller eksperimentelle dyremodeller (såkalte ”Class 1” studier, (11)
•En plausibel biologisk mekanisme

Mulig årsakssammenheng
Denne kategorien brukes hvis forskningsstatus tilsier at det er en mulig sammenheng mellom en eksponering og en sykdom, men at det ikke er tilstrekkelig dokumentasjon til stede for kategoriene ”Overbevisende” eller ”Sannsynlig”. Generelt må alle de følgende kriteriene være oppfylt: •Dokumentasjon fra minst to uavhengige kohortestudier eller minst fem kasus-kontrollstudier •Noe uavklart heterogenitet innen eller mellom studiene •Plausibel eksperimentell eller mekanistisk dokumentasjon

Begrenset informasjon, ingen konklusjoner
Denne kategorien brukes hvis det finnes noe dokumentasjon som antyder en mulig årsakssammen-heng, men dokumentasjonen tilfredsstiller ikke kravene til kategoriene 1-3.

Årsakssammenheng usannsynlig
Denne kategorien brukes hvis forskningsstatus tilsier at det ikke er en kausal årsakssammenheng mellom eksponering og sykdom. En overbevisende og robust dokumentasjon må være tilgjengelig som gjør at det er usannsynlig at ny dokumentasjon vil endre denne konklusjonen. Generelt må alle de følgende kriteriene være oppfylt:•Dokumentasjon fra mer enn en type studier •Dokumentasjon fra minst to uavhengige kohortestudier •Effektestimat nær 1.0 for sammenligning av høy versus lav dose•Ingen betydelig heterogenitet innen eller mellom studiene•Studier med god kvalitet som blant annet utelukker mulige konfunderende faktorer, systematiske eller tilfeldige feil•Fravær av en dose-responssammenheng •Fravær av sterk plausibel eksperimentell eller mekanistisk dokumentasjon fra humane studier eller eksperimentelle dyremodeller.

Visse forhold gjør at World Cancer Research Fund (11) oppgraderer kategoriseringen sannsynlig eller mulig. Dette gjelder for eksempel:

•En plausibel biologisk dose-respons gradient
•En spesielt stor effekt (dvs. odds-ratio eller relativ risiko på 2,0 eller mer) etter tilfredsstillende kontroll for konfunderende faktorer
•Dokumentasjon fra humane RCTer
•Dokumentasjon fra velkontrollerte humane studier som dokumenterer en mekanisme
•Robuste og reproduserbare resultater fra eksperimentelle dyremodeller

Kilde: Kostråd for å fremme folkehelsen og forebygge kroniske sykdommer – Metodologi og vitenskapelig kunnskapsgrunnlag. Nasjonalt råd for ernæring, Helsedirektoratet, 2011: lenke er her

Hva en systematisk oversikt er, les her https://www.helsebiblioteket.no/kunnskapsbasert-praksis/kritisk-vurdering/systematisk-oversikt

Om epidemiologi, årsakssammenheng (kausalitet), RCT og befolkningsstudier

Mange tror at så lenge det ikke er gjort såkalte RCT-studier om et eller annet tema, da kan man ikke stole på all annen forskning. Som sagt er RCT langt fra den eneste type forskning som teller som kunnskapsbasis. RCT brukes hovedsakelig for å vurdere effekt av nye medisiner eller «monoterapi» (ikke komplekse intervensjoner). De langsiktige effektene av kjøttspising og mengden av kjøtt på helse kan i praksis ikke vurderes gjennom en RCT, fordi sykdommene (et høyt inntak av) kjøtt forårsaker, utvikles over mange år, og fordi folk spiser typisk mange flere matvarer enn bare kjøtt. Sykdommer som er mulig forårsaket av høyt inntak av kjøtt har også andre sammensatte årsak med flere forskjellige faktorer som både øker og senker risiko. Dette øker kompleksitet over hva en RCT kan takle.

Epidemiologi defineres som metodikken som studerer fordeling av sykdom, risiko faktorer og andre helse relaterte hendelser blant befolkningen. Dvs. at epidemiologi studerer hvordan kan vi forklare forskjellig fordeling av sykdom med å se på hvem som er mest utsatt for en helse relaterte hendelse og hva har disse tilfelles.

Det finnes ingen studier som direkte kan observere kausalitet – heller ikke RCT kan det.

Hva er RCT (randomiserte kontrollerte studier) og hvordan de anvendes?

Selv dobbelt blindede randomiserte studier kan ikke observere kausalitet, eller årsakssammenheng, direkte. De har blitt til gull standard for forskning på legemidler. En gruppe pasienter fordeles tilfeldig til to grupper, og så får en gruppe et legemiddel, mens den andre tar samme utseende pille med placebo (sukker). Begge grupper blir som regel bedre av denne behandlingen, begge har en del uforventede komplikasjoner og begge rapporterer negative bivirkninger. Vi konkluderer at effektene observert i gruppe med placebo ikke er «reelle», men vi studerer ikke videre, hvorfor vi har observert disse effektene. En alternativ forklaring på effektene, bortsett fra utprøvd legemiddel, er faktisk mulig.

I en dobbelt randomisert blindet studie studerer man ikke påvirkning av risikofaktorer. Begge gruppene bør være like så mye som mulig. Fordelen med metoden er at man tar vanligvis bare ett legemiddel i løpet av en studie slik at man ikke er påvirket av andre legemidler eller interaksjoner mellom de. Det betyr at vi ofte ikke vet hva slags bivirkninger oppstår når man tar det samme legemiddelet sammen med andre legemidler. Derfor trenges det fremdeles rapportering om legemiddelsikkerhet fra populasjoner som tar denne medisinen. Og det er da observasjonelle studier. Hvis man ville ønske å studere effekten av flere legemidler samtidig, øker kompleksitet av RCT med at man trenger da flere grupper og mange flere pasienter. Dette øker også kostnader betydelig.

Grunnen at vi ikke studerer ernæring med dobbeltblindede randomiserte studier som varer over lengre tid:

  • man bør da pakke alt i pulver: hvem ønsker å spise pulver i ett år?
  • å pakke alt i pulver slik at du eller din lege ikke vet hva du «står på» er veldig dyrt
  • å følge opp to grupper over flere uker er veldig dyrt, og matindustrien er ikke så rik som legemiddelindustrien, de kan ikke betale for slike studier med noen små unntak (disse er da mer sannsynlig kjøtt, egg og meieriprodukter, som er dyrere enn grønnsaker og frukt)
  • i teorien bør man droppe alt annen mat hos forsøkspersoner og beholde bare den ene som man studerer, slik at det ikke er noe forvirring og medvirkning
  • vi vet at det er flere faktorer som kan påvirke langsiktige utfall hos en slik studie: alle livsstilsfaktorer (man kan til dels justere for det)

Vi i HePla konkluderer med følgende:

Å utelukke store observasjonelle kohortstudier fra ernæringsforskning (og si at de ikke ar noe verdi) har ingen godt grunnlag.

Årsakssammenhenger (kausalitet) studeres ikke direkte, og heller ikke eksperimentelle studier påviser årsak. Det er derfor feil å påstå at randomiserte studier er egnet til å observere kausalitet direkte, det gjør de overhodet ikke! De er heller ikke uten begrensninger eller feil.

Men godt utførte randomiserte studier har blitt til gull standard innen legemiddelindustri. Vi ser at størrelsen av effekten er likevel ofte overdrevet, samt som det viser seg at det kan senere forekomme uønskede bivirkninger som ikke var observerte eller rapporterte i RCT, ikke minst i sammenheng med inntak av andre legemidler.

Også randomiserte studier bruker epidemiologiske metoder.
Epidemiologiske studier teller ofte like mye (og noen gang mer) som RCT-studier.

Begrensninger ved RCT-studier

  1. En RCT kan være partiske og upålitelige, og et slikt eksempel er HRT (hormonbehandling i menopause) fra for ca. 15-20 år siden, der man trodde at HRT dempet risikoen for hjerte- og kår sykdom, men det er det motsatte som er faktisk riktig!
  2. Store observasjonelle studier avvises vanligvis ikke som bevis på komplekse problemer. De som ønsker å få de utelukket har ofte (!) andre interesser. Det å klage at man inkluderer observasjonelle studier vil forvirre publikum.
  3. Det er svært vanskelig å gjennomføre en RCT på en ordentlig måte, det kan være mange feil med validitet osv. som ikke er lett å bedømme ut fra en publisert vitenskapelig artikkel.
  4. RCT er ikke egnet til å følge opp bivirkninger og uønskede hendelser som oppstår mer sjeldent eller etter lengre tid. Man spekulerer for eksempel om at et høyt proteininntak kan ødelegge nyrefunksjon, men dette er noe man er usikker på. Her har vi faktisk litt fysiologisk forklaring for at denne hypotese kunne stemme. Men vi kan ikke si med 100% sikkerhet at det gjør det. Det vil være umulig å teste det med RCT og sette en gruppe på høyprotein-diett i flere år, fordi dette er potensielt skadelig. Ønsker vi å vite mer om et høyt proteininntak (noe som ikke er uvanlig i Vesten), må vi ha mer langvarige observasjonelle studier, noe som det nå ikke finnes mange av. Det samme problemet er at vi ikke vet hva den laveste trygge grensen på proteininntak er, med god sikkerhet. Dermed er dette bare estimater.