Hvordan vi vurderer dokumentasjon
Helse uten filter skal ikke basere konklusjoner på autoritet alene.
Når vi undersøker et spørsmål, forsøker vi å vurdere selve dokumentasjonen: hvordan studien er gjennomført, hva den faktisk viser, hvilke begrensninger den har og om andre studier peker i samme retning.
En studie blir ikke automatisk riktig fordi den er publisert i et anerkjent tidsskrift, og en kontroversiell hypotese blir ikke automatisk riktig fordi den utfordrer etablerte oppfatninger.
Metoden må tåle gransking.
Kilder vi prioriterer
Når det er mulig, prioriterer vi:
- original forskning
- randomiserte kontrollerte studier
- prospektive kohortstudier
- systematiske oversikter
- metaanalyser
- mekanistiske studier når biologiske forklaringsmodeller vurderes
- offentlige databaser og historiske data når utvikling over tid analyseres
Sekundærkilder kan brukes for bakgrunn og oversikt, men bør ikke være eneste grunnlag for viktige faglige påstander dersom primærkilder er tilgjengelige.
Observasjonsstudier og årsakssammenheng
Observasjonsstudier kan vise at to forhold forekommer sammen, men sammenheng er ikke nødvendigvis det samme som årsak.
Slike studier kan påvirkes av blant annet:
- livsstilsforskjeller mellom grupper
- feilrapportering
- seleksjon
- ukjente eller utilstrekkelig målte faktorer
- hvordan data analyseres
Derfor bør observasjonsfunn vurderes sammen med andre typer dokumentasjon før sterke årsakskonklusjoner trekkes.
Randomiserte studier
Randomiserte kontrollerte studier kan redusere mange former for skjevhet og står derfor sterkt når behandlingseffekter skal vurderes.
Men også slike studier har begrensninger.
Vi ser blant annet på:
- antall deltakere
- studiens varighet
- frafall
- hvilke endepunkter som måles
- om resultatene gjelder klinisk viktige utfall eller bare laboratorieverdier
- om forskjellen er både statistisk og praktisk relevant
En godt gjennomført randomisert studie kan gi sterk dokumentasjon, men studiedesign og problemstilling må alltid vurderes konkret.
Mekanismer og biologisk plausibilitet
Mekanistisk forskning kan hjelpe oss å forstå hvordan et fenomen kan oppstå biologisk.
Celleforsøk, dyrestudier og biokjemiske mekanismer kan være verdifulle, men de kan ikke uten videre brukes som bevis for at den samme effekten forekommer hos mennesker i vanlig liv.
Mekanismer er derfor mest nyttige når de støttes av kliniske eller epidemiologiske data.
Statistisk signifikans er ikke det samme som betydning
Et resultat kan være statistisk signifikant uten å ha stor praktisk betydning.
Derfor ser vi ikke bare på p-verdier, men også på:
- effektstørrelse
- absolutt risiko
- relativ risiko
- konfidensintervaller
- faktisk forskjell mellom gruppene
Når det er relevant, forsøker vi å forklare forskjellen mellom relative og absolutte risikotall på forståelig norsk.
Interessekonflikter og finansiering
Finansiering avgjør ikke automatisk om forskning er god eller dårlig.
Men økonomiske og profesjonelle interessekonflikter er relevante når forskning vurderes.
Vi ser derfor etter:
- hvem som har finansiert studien
- forfatternes økonomiske forbindelser
- hvem som kontrollerte analysedata
- hvem som skrev eller godkjente manuskriptet
- om studiens protokoll var registrert på forhånd
Industrifinansiert forskning skal ikke avvises automatisk, men den skal heller ikke behandles som om finansieringen er irrelevant.
Surrogatmarkører og harde endepunkter
Mange studier måler surrogatmarkører som kolesterol, blodsukker, blodtrykk eller andre laboratorieverdier.
Slike mål kan være nyttige, men de er ikke alltid det samme som de utfallene som betyr mest for mennesker, som sykdom, funksjon, livskvalitet eller dødelighet.
Når det er viktig for tolkningen, skiller vi derfor mellom endringer i biomarkører og dokumenterte kliniske utfall.
Hypoteser, dokumenterte funn og uavklarte spørsmål
Dokumenterte funn
Resultater som støttes av relevant forskning.
Hypoteser
Forklaringsmodeller som kan være biologisk plausible eller støttet av deler av forskningen, men som ikke er endelig etablert.
Motstridende funn
Områder der studier gir forskjellige resultater eller der tolkningen er omstridt.
Uavklarte spørsmål
Problemstillinger hvor dokumentasjonen foreløpig ikke gir et sikkert svar.
Vi forsøker å finne den sterkeste motargumentasjonen
Dersom en artikkel argumenterer for en kontroversiell hypotese, skal vi ikke bare lete etter studier som støtter den.
Vi forsøker også å finne den sterkeste relevante dokumentasjonen som taler imot.
Det reduserer risikoen for å velge forskning ut fra hvilken konklusjon vi ønsker å komme frem til.
Korrigeringer og oppdateringer
Helsekunnskap utvikler seg.
Dersom ny dokumentasjon vesentlig endrer grunnlaget for en artikkel, bør artikkelen oppdateres.
Vesentlige faktiske feil bør rettes når de blir oppdaget.
Der det er hensiktsmessig, oppgir vi publiseringsdato og dato for siste vesentlige oppdatering.
Kildehenvisninger
Viktige faglige påstander bør så langt som mulig kunne spores til kilder.
Referanser plasseres i eller ved artikkelen, slik at leseren kan undersøke dokumentasjonen selv.
Målet er ikke at leseren skal måtte stole på Helse uten filter.
Målet er at leseren skal kunne kontrollere oss.