Jedną z moich ulubionych czynności podczas corocznych wakacji u babci pod Warszawą było czytanie. Jako dzieci, razem z moim bratem, spędzaliśmy na tej urokliwej wsi mnóstwo czasu i trzeba go było jakoś zagospodarować. Jeśli spodziewasz się, że oddawałem się jakiejś ambitnej lekturze, to Cię rozczaruję. Moja ciocia skrupulatnie, cały rok, odkładała dla mnie na kupkę czasopisma dla kobiet. Zawsze czekała na mnie sterta minimum 40-50 magazynów, które mogłem zgłębiać. Czytałem je jeden po drugim.
W pewnym momencie, w jednym z wydań Pani Domu wyczytałem, że spożywanie żółtego sera wywołuje raka prostaty. Nowotwory, na tamten moment, wyprosiły z tego świata paru członków mojej najbliższej rodziny. Wszystkie takie wzmianki traktowałem więc bardzo serio. Informacja ta mocno zapadła mi w pamięć. Możesz wyobrazić sobie moje zdumienie, gdy w innym magazynie z tej samej sterty, przeczytałem, że spożywanie żółtego sera chroni przed nowotworem prostaty.
Jak naukowcy, których przecież mamy za mega łebskich ludzi, mogli dojść do tak różnych wniosków? Wiele lat później, gdy moja fascynacja pamięcią pchnęła mnie w stronę dietetyki oraz medycyny, dość szybko zrozumiałem powód tego nieporozumienia. Wszystkiemu winna epidemiologia, a właściwie epidemiologia żywieniowa. Jeśli kiedykolwiek odczuwałeś podobny informacyjny dysonans poznawczy do mnie, ten artykuł pomoże Ci wyjaśnić, czym jest ta dziedzina, i, co szczególnie ważne, czym ona nie jest.
Czym zajmuje się epidemiologia żywieniowa?
Epidemiologia żywieniowa bada rolę odżywiania w etiologii choroby, monitoruje stan odżywienia populacji, opracowuje i ocenia interwencje żywieniowe w celu osiągnięcia i utrzymania zdrowych wzorców odżywiania wśród populacji. Bada także związek i synergię między odżywianiem a aktywnością fizyczną oraz stanem zdrowia, oraz różnych chorobami.
W badaniach epidemiologicznych dietę można badać na różnych poziomach. Obejmują one przykładowo spożycie składników odżywczych, poszczególnych produktów spożywczych, grup żywności i / lub wzorców żywienia. Pomiary te mogą być bezpośrednio określane poprzez badanie tego, co jedzą ludzie (np. poprzez wypełnianie kwestionariuszy żywieniowych), mierząc markery spożycia w próbkach biologicznych lub szacując wielkość ciała i względną wielkość różnych części ciała (K.Thornton, E.Villamor, 2016)
Głównym przedmiotem zainteresowania tejże odnogi epidemiologii są nasze długoterminowe nawyki żywieniowe, ponieważ większość skutków zdrowotnych wypływających z naszego sposobu odżywania przejawia się dopiero wraz z upływem czasu.
Epidemiologia kiedyś i dziś
Metody epidemiologiczne są stosowane od wieków do badania związku między dietą a chorobami. Początkowo wykorzystywane były do identyfikacji niedoborów żywieniowych i identyfikacji odpowiednich produktów spożywczych w celu eliminacji tych niedoborów (Cervantes-Laurean i in., 1999; Jacob, 1999).
Klasycznym przykładem jest szkorbut, stan obserwowany wśród żeglarzy od XVI do XVIII wieku, objawiający się krwawieniem dziąseł, obrzękiem i stanem zapalnym stawów oraz ostateczną śmiercią. Obserwacja, że warzywa i owoce mogą leczyć szkorbut, skłoniła Linda do porównania skuteczności różnych rodzajów tych pokarmów. Odkrył, że największy wpływ na przebieg choroby mają cytryny i pomarańcze. Struktura molekularna witaminy C, składnika odżywczego odpowiedzialnego za pozytywne działanie, została odkryta dopiero kilka wieków później, w 1933 roku (Jacob, 1999).
W przeciwieństwie do badań nad zespołami niedoborów żywieniowych, współczesna epidemiologia żywieniowa koncentruje się na etiologii chorób przewlekłych, takich jak choroby układu krążenia i nowotwory, czyli obecnie dwóch głównych przyczyn zgonów (National Center for Health Statistics, 2003). Podobnie jak we wczesnych badaniach niedoboru odżywiania, związki między czynnikami żywieniowymi a chorobami przewlekłymi można zaobserwować na długo przed zidentyfikowaniem określonego czynnika etiologicznego (Jacob, 1999).
Rodzaje badań epidemiologicznych
Trzy główne typy badań epidemiologicznych to badania kohortowe, badania kliniczno-kontrolne i badania przekrojowe (projekty badań omówiono bardziej szczegółowo w IOM, 2000). Badanie kohortowe lub badanie podłużne obejmuje określoną grupę w czasie.
1. Badania przekrojowe
Badania przekrojowe są badaniami obserwacyjnymi, w których w danej próbce populacji jednocześnie mierzymy stan zdrowia pacjentów oraz ich ekspozycję na daną zmienną. Ma ono na celu ocenę obecności (lub częstotliwości występowania) określonych skutków zdrowotnych w tym momencie bez względu na czas ich trwania. Na przykład w przekrojowych badaniach cukrzycy niektórzy uczestnicy mogli żyć z tą chorobą przez wiele lat, podczas gdy inni mogli być niedawno zdiagnozowani.
Z analitycznego punktu widzenia badanie przekrojowe jest słabsze niż badanie kohortowe lub badanie kliniczno-kontrolne, ponieważ badanie przekrojowe zwykle nie pozwala oddzielić czynników ryzyka wystąpienia choroby (zapadalności) od czynników ryzyka przeżycia z chorobą.
Badania przekrojowe są rutynowo wykorzystywane do dokumentowania rozpowszechnienia w danej społeczności zachowań zdrowotnych (rozpowszechnienie palenia), stanów zdrowia (częstość szczepień przeciwko odrze) i wyników zdrowotnych, zwłaszcza chorób przewlekłych (nadciśnienie, cukrzyca).
Cechą charakterystyczną takiego badania jest obecność co najmniej dwóch grup, z których jedna służy jako grupa porównawcza.
W badaniu eksperymentalnym badacz określa ekspozycję badanych osób na danych czynnik; w badaniu obserwacyjnym badani są poddani tej ekspozycji w bardziej naturalnych warunkach. W obserwacyjnym badaniu kohortowym osoby są zapisywane lub grupowane na podstawie ich ekspozycji, a następnie są monitorowane w celu udokumentowania wystąpienia choroby.
Różnice w częstości zachorowań między dwoma grupami prowadzą badaczy do wniosku, że ekspozycja na daną zmienną jest związana z chorobą. W obserwacyjnym badaniu kliniczno-kontrolnym określa się, czy badani mają chorobę, czy nie, a następnie przepytuje się ich lub testuje w celu określenia wcześniejszej ekspozycji.
Różnice w rozpowszechnieniu narażenia między grupą badaną a grupą kontrolną pozwalają badaczom stwierdzić, że ekspozycja jest związane z chorobą.
2. Badania kohortowe
Koncepcja badania kohortowego jest w teorii podobna do badania eksperymentalnego.
W badaniu kohortowym epidemiolog rejestruje, czy każdy uczestnik badania ma ekspozycję na badaną zmienną, czy też nie, a następnie śledzi uczestników, aby sprawdzić, czy rozwinie się u nich dana choroba.
Warto podkreślić, że mówimy tu o obserwacji, a nie konkretnych i precyzyjnych pomiarach. Po pewnym czasie badacz porównuje wskaźnik zachorowań w grupie, która miała ekspozycję na dany czynnik z grupą kontrolną. Jeśli wskaźnik zachorowań jest zasadniczo różny w grupie narażonej w porównaniu z grupą kontrolną, mówi się, że ekspozycja jest związana z chorobą.
Obserwacje bardzo często są różnej długości. Gdy potrzeba zareagować na bezpośrednie zagrożenie zdrowia publicznego, takie jak wybuch epidemii, wydziały zdrowia publicznego zwykle przeprowadzają stosunkowo krótkie badania. Z drugiej strony organizacje badawcze i akademickie częściej prowadzą badania nad rakiem, chorobami układu krążenia i innymi chorobami przewlekłymi, które mogą trwać latami, a nawet dekadami.
Alternatywnym typem badania kohortowego jest retrospektywne badanie kohortowe. Retrospektywne oznacza typ badania, które "patrzy wstecz". W tego typu badaniach zarówno narażenie na dany czynnik, jak i jego skutki już wystąpiły. Podobnie jak w prospektywnym badaniu kohortowym, badacz oblicza i porównuje wskaźniki zachorowań w grupie narażonej, jak i kontrolnej.
Retrospektywne badania kohortowe są powszechnie stosowane w badaniach chorób w grupach osób, które są łatwe do zidentyfikowania, takich jak pracownicy danej fabryki lub uczestnicy wesela. Na przykład retrospektywne badanie kohortowe zostało wykorzystane do określenia źródła zakażenia cyklosporiozą, chorobą pasożytniczą, która spowodowała wybuch epidemii wśród członków małej społeczności w Pensylwanii w 2004 roku. Dochodzenie wykazało, że spożycie grochu śnieżnego (snow pea) było przyczyną wybuchu cyklosporii.
3. Badanie kliniczno-kontrolne
W badaniu kliniczno-kontrolnym badacze rozpoczynają od znalezienia grupy osób z daną chorobą. Następnie znajdowana jest grupa porównawcza (kontrolna), w której dana choroba nie występuje. Następnie badacze porównują historyczną ekspozycję na daną zmienną między dwiema grupami.
Grupa kontrolna stanowi szacowaną linię bazową lub oczekiwaną ekspozycję na daną zmienną w tej populacji. Jeśli z obserwacji wyjdzie nam, że ekspozycja na daną zmienną jest istotnie wyższa niż w przypadku grupy kontrolnej, wówczas mówi się, że choroba jest związana z tą ekspozycją.
Kluczem w badaniu kliniczno-kontrolnym jest zidentyfikowanie odpowiedniej grupy kontrolnej, którą da się pod wieloma względami porównać z grupą, w której występuje dana choroba, w celu zapewnienia rozsądnego oszacowania linii bazowej lub oczekiwanej ekspozycji.
Różnica między badaniem kohortowym, przekrojowym i kliniczno-kontrolnym
Jeśli przeczytałeś opisy powyższych typów badań epidemiologicznych, to nie od razu może być jasne, czym tak naprawdę się one różnią. Spieszę z wyjaśnieniem.
Główną różnicą między tymi rodzajami badań jest dobór próby do obserwacji. Badania przekrojowe chwytają najczęściej osoby do badań "przekrojowo", a więc bez specjalnego rozróżnienia. Badania kohortowe koncentrują się na kohortach, a więc grupach osób, które charakteryzują się określoną cechą. Właśnie dlatego badania kohortowe są ciut precyzyjniejsze. W tym przypadku obserwacja prowadzona jest u osób, u których już występuje interesująca nas zmienna. Badania kliniczno-kontrolne skupiają się z kolei na grupach (kohortach), w których dana choroba już występuje.
Ograniczenia badań epidemiologicznych
Powiem Ci od razu, że nie będę się mocno silił na obiektywność. Nie cierpię epidemiologii, a właściwie tego, co współczesne media i setki tysięcy durniów rozmaitej maści z niej zrobili. Głupota w tym przypadku nie dyskryminuje. Wyniki badań epidemiologicznych są często przytaczane przez osoby z tytułami profesorskimi, jak i laików. Zaraz dowiesz się dlaczego.
Warto wspomnieć, że absolutna większość wszystkich badań z pogranicza żywienia oraz medycyny, to właśnie badania epidemiologiczne. Jeśli chcesz nauczyć się poprawnie interpretować badania naukowe koniecznie musisz zacząć od zrozumienia ich ograniczeń.
1. Brak możności ustalenia przyczynowości
Nawet najlepsze badania z dziedziny epidemiologii żywieniowej są w stanie udokumentować jedynie powiązania / korelacje pomiędzy badanymi zmiennymi, a konkretnym problemem zdrowotnym.
Badania te nie są w stanie ustalić powiązań przyczynowo-skutkowych między chorobą a badaną zmienną.
Są one w stanie udokumentować jedynie możliwe wzorce związku między konkretną żywnością a konkretnym problemem zdrowotnym, a nie ustalić powiązań przyczynowo-skutkowych między nimi.
Otrzymana korelacja niekoniecznie oznacza to, że dwie zmienne są ze sobą powiązane w znaczący sposób. W statystyce istnieje mnóstwo śmiesznych porównań, które pokazują absurdalność niektórych asocjacji.
Czy którakolwiek z powyższych zmiennych rzeczywiście przyczynia się do występowania tych zjawisk? Oczywiście, że nie. Ma to podobny sens, jak oskarżanie studenta, który wynajmuje pokój w szemranej dzielnicy o ostrzykiwanie dupala heroiną, bo jego obecność w danej dzielnicy jest mocno skorelowana z tym narkotykiem.
Wprawdzie istnieją narzędzia takie, jak kryteria Bradford-Hill, które pozwalają zwiększyć prawdopodobieństwo określenia przyczynowości między dwoma obserwowanymi zmiennymi, ale wciąż określenie pełnej przyczynowości bez przeprowadzenia badań randomizowanych jest praktycznie niemożliwe.
Epidemiologia żywieniowa - uwaga na precyzję wypowiedzi!
Większość naukowców przeprowadzających badania epidemiologiczne precyzyjnie podsumowuje wnioski płynące ze swojej pracy badawczej. W podsumowaniu znajdujemy tym samym sformułowania, takie jak:
Przykład:
Niestety, uczciwość naukowa nie zawsze ma tu miejsce. Zdarza się, że w niektórych badaniach epidemiologicznych znajdziemy sformułowania takie, jak:
Jest to karygodna postawa ponieważ badania te nie są w stanie określić przyczynowości. Jak takie sformułowania przechodzą przez proces wzajemnej oceny (peer review) w żurnalach naukowych, - tego nie zrozumiem nigdy.
2. Nie ma czegoś takiego, jak zerowa korelacja
Ben Goldacre, autor fantastycznej książki "Bad Science" (Zła Nauka), bardzo trafnie powiedział, że
"Jako ludzie posiadamy wrodzoną zdolność robienia czegoś z niczego"
W kręgach statystyczno-matematycznych, świadomość tego, że korelacje właściwie nigdy nie są zerowe istnieje od bardzo dawna. Idea ta krąży pod wieloma różnymi nazwami, takimi jak:
Przesłanie jest tu bardzo proste. W jakimkolwiek realistycznym zbiorze danych istnieje wyjątkowo małe prawdopodobieństwo, aby jakakolwiek konkretna zależność miała wartość dokładnie 0 ze względów choćby arytmetycznych. Właściwości i cechy świata rzeczywistego są połączone ze sobą niezliczonymi sieciami przyczynowymi, dynamiką i zmiennymi ukrytymi (np. korelacjami genetycznymi, które wpływają na szeroką gamę ważnych cech ludzkich), które wzajemnie na siebie wpływają.
Autentyczne korelacje między pozornie niezależnymi zmiennymi mogą przyjmować zaskakująco znaczące rozmiary. Korelacje te występują niezależnie od wielkości próby i nie wynikają po prostu ze zbyt małego n.
Najważniejszą konsekwencją powyższego jest to, że w paradygmacie testowania istotności z hipotezą zerową, która dominuje choćby w psychologii lub epidemiologii żywieniowej, każda hipoteza zerowa 0 jest już - z góry - znana jako fałszywa. To sprawia, że znaczenie testowania istotności jest, mówiąc delikatnie, mocno niejasne. Nawet lepsze hipotezy zerowe, takie jak> 0 lub <0, również są problematyczne, ponieważ jeśli prawdziwa wartość parametru nigdy nie wynosi 0, to hipotezy te mają co najmniej 50% prawdopodobieństwo na podążenie we właściwym kierunku.
Przykłady absurdalnych i znaczących korelacji
Aby nie było zbyt sucho i naukowo, warto pokazać parę przykładów niezmiernie wysokich korelacji między dwoma zmiennymi. Zachęcam do samodzielnej analizy, jaka jest rzeczywista przyczynowość.
1. Konsumpcja sera na 1 obywatela Stanów Zjednoczonych, a śmierć poprzez zaplątanie się w pościel
2. Wydatki na naukę, kosmos oraz technologię w Stanach Zjednocznych, a samobójstwa poprzez powieszenie, uduszenie i uduszenie się
3. Spożycie sera mozzarella na 1 obywatela Stanów Zjednoczonych. a liczba przyznanych doktoratów z inżynierii lądowej
Dla rozrywki polecam inne fantastyczno-absurdalne korelacje ze strony Spurious Correlations.
3. Epidemiologia nie opiera się na żadnych precyzyjnych pomiarach
Moją ulubioną częścią badań epidemiologicznych jest to, że absolutnie nic nie jest precyzyjnie mierzone, ale istnieje olbrzymia grupa ludzi, która wciąż upiera się, że badania te pokazują przyczynowość. W większości badań tego rodzaju spożycie specyficznych produktów żywnościowych opiera się na kwestionariuszach żywieniowych. Ich nieprecyzyjność jest wręcz legendarna. Same sposoby formułowania pytań są tak absurdalne, że czasami trzeba je 3 razy przeczytać, żeby upewnić się, że ktoś nie robi sobie z nas jaj. Oto przykład:
"Ile kubków szpinaku/kurczaka spożywałeś średnio w przeciągu ostatnich 6 miesięcy"??
Oto przykład jednej z wielu form tego rodzaju kwestionariuszy:
Kwestionariusze żywnościowe, czyli jak dobra jest Twoja pamięć?
Nie muszę Cię chyba przekonywać, że większość osób nie bardzo pamięta, co jadła parę dni temu, nie wspominając o paru miesiącach lub choćby roku, ponieważ często pytania z takich kwestionariuszy każą Ci sięgnąć pamięcią właśnie 12 miesięcy wstecz. Warto wspomnieć, że nie masz możliwości powiedzenia „nie wiem”, „nie pamiętam” lub „kto jest waszym dilerem w centrum badań epidemiologicznych?”. Jesteś zmuszony do określenia konkretnej wartości, nawet jeśli niepewny odpowiedzi. Niektóre pytania wymagają nawet podania liczby porcji owoców, które spożywasz sezonowo lub ich średniej rocznej!
Twoje rzeczywiste roczne spożycie owoców nie jest w żaden sposób ważone, mierzone ani rejestrowane. Zwróć też uwagę na niejasne wymiary rozmiarów porcji - jeden kawałek, jeden mały kubek. To są bezsensowne, nienaukowe miary. Można się cieszyć, że Ci ludzie nie pracują w laboratorium chemicznym - "Zdzichu, ciapnij mi do kolby destylacyjnej mały kubeczek kwasu solnego, tylko pronto!".
Wiara w to, że takie pseudo-eksperymenty, gdzie wszystko jest mierzone na oko, lub pi razy drzwi, są w stanie cokolwiek zmierzyć wymaga niesamowitej gimnastyki umysłowej.
Jak aburdalnie rzadko przeprowadzane są kwestionariusze żywnościowe
Jeśli uważasz, że używanie jednego kwestionariusza do analizy Twoich całorocznych wyborów żywieniowych jest absurdalne, to proponuje walnąć sobie kieliszeczek czegoś mocniejszego przed następną częścią. Większość epidemiologów nie rejestruje wyników tych kwestionariuszy nawet raz do roku.
Na przykład w tym absurdalnym badaniu z Harvardu pokazującym, jak rzekomo zdrowe są jagody dla naszego mózgu (“Berries keep your brain sharp”), kwestionariusze były wypełniane tylko pięć razy w ciągu 15 lat; następnie badacze po prostu uśrednili wyniki, aby uzyskać całkowite spożycie jagód.
Co gorsza, "naukowcy" w ogóle nie monitorowali spożycia pokarmu przez cały sześcioletni okres, w którym monitorowano pamięć. Nawet jeśli kwestionariusze byłyby wiarygodnym sposobem gromadzenia danych (a nie są), wniosek, że spożycie jagód w latach 1980–1994 odpowiada za wszelkie problemy z pamięcią, które pojawiły się w latach 1995–2001 - i że nawyki żywieniowe kobiet między 1995 r. a rok 2001 nie miały żadnego wpływu na pamięć, jest delikatnie mówiąc durny.
Pacjentka: Mam ostatnio kłopoty z pamięcią i ciężko mi się myśli
Lekarz: Musimy zmienić Pani dietę. Koniecznie proszę jeść garść jagód dziennie.
Pacjentka: Czyli to nie jest kwestia tego, że wdycham aceton, jak się zestresuje?
Lekarz: Proszę Pani, nie według Harvardu. Oni nie popełniają błędów.
Czas na porzucenie kwestionariuszy żywnościowych?
Ładnym podsumowaniem, choć wciąż stonowanym, jest następujący fragment z pracy pod tytułem "Is It Time to Abandon the Food Frequency Questionnaire?"(Czy czas porzucić kwestionariusze żywieniowe?).
"Chociaż przyznanie się do tego jest bolesne, możliwe jest, że epidemiolodzy mamili się, przyjmując kwestionariusze częstości pożywienia (FFQ) jako standardowe narzędzie oceny diety w dużych badaniach nad dietą i rakiem. Istotne ograniczenia FFQ są znane od jakiegoś czasu, a opublikowane badania oparte na danych pochodzących z FFQ od dawna zawierają w swoich rozdziałach dyskusyjnych litanię słabości wynikających z nieoptymalnej oceny diety.
Jednak niewielu z nas spodziewało się zadziwiająco słabych charakterystyk pomiarowych FFQ w porównaniu z podwójnie oznaczoną wodą (ang. doubly labeled water) (złoty standard pomiaru spożycia energii). ani też nie spodziewaliśmy się, że okaże się, że powiązania między dietą i rakiem są niewykrywalne, gdy są oparte na FFQ, mimo że są widoczne, gdy opierają się na biomarkerach żywnościowych oraz bezpośrednich rejestrach spożycia żywności. Stoimy w obliczu kryzysu: setki milionów dolarów i wiele karier naukowców zostało zaangażowanych w badania wykorzystujące tylko i wyłącznie FFQ do pomiaru diety, ale możliwe jest, że badania te nie były i nie będą w stanie odpowiedzieć na wiele, jeśli nie, większość pytań dotyczących diety i ryzyka wystąpienia raka."
4. Epidemiologia żywnościowa, a egotyzm atrybucyjny
Egotyzm atrybucyjny – skłonność do wyjaśniania konsekwencji własnych zachowań w taki sposób, by zwiększyć pozytywne, a zmniejszyć negatywne znaczenie dla własnej samooceny.
Kolejną ciekawą konsekwencją tego, że nikt właściwie nie sprawuje kontroli nad tym, jak uczestnicy badań wypełniają ankiety jest właśnie egotyzm atrybucyjny. Nikt nie lubi wyglądać źle, szczególnie jeśli jest poddawany obserwacji. Właśnie dlatego często odpowiedzi są dodatkowo zniekształcone poprzez chęć pokazania, jak cudnie się odżywiamy i jak zdrowo jemy. "Gdzie tam Panie Profesorze! Nie kubkami jadłem kalarepę, a wiadrami!".
Dlatego zamiast neutralnych, obiektywnych, wymiernych pomiarów, otrzymujemy subiektywne, niedokładne szacunki. Te dzikie domysły stają się „danymi”, które stanowią podstawę całego badania. Bez względu na to, jak skomplikowane mogą być statystyki i analizy, które zastosujesz w swoich badaniach, Twoje wyniki będą tak dobre, jak „dane”, które analizujesz. Jak to się mówi: "garbage in, garbage out".
5. Badania epidemiologii żywieniowej nie są eksperymentami naukowymi
Żyjemy w czasach, w których słowo "badanie" automatycznie wyzwala aurę zaufania. Naukowcy to mózgi przyczepione bezpośrednio do nóg, a ich praca badawcza, otoczona mgiełką mistycyzmu, to zwieńczenie intelektu ludzkiego. Taki obraz wyłania się z rozmów, jakie przez lata przeprowadziłem nie tylko z osobami, które są laikami w tym obszarze, ale również wśród osób, które z badaniami mają na co dzień styczność.
Niestety, jest to pobożne życzenie. Tyczy się to szczególnie epidemiologii żywieniowej. Powód jest prosty - to nie są eksperymenty naukowe. Niech nie zwiodą Cię duże liczby badanych, wymyślny żargon naukowy oraz zabiegi statystyczne.
Nauka to dyscyplina i powinna cechować się wysokim rygorem. Eksperyment naukowy powinien przyjąć następującą formę:
Epidemiologia żywienia zajmuje się wyłącznie pierwszym etapem. Nigdy nie wkracza ona bezpośrednio w drugą fazę. Nic dziwnego. Mówimy o badaniach obserwacyjnych, które obarczone są taką ilością błędów pomiarowych, że nie ma tu mowy o żadnym rygorze.
W badaniach epidemiologii żywieniowej nie chodzi o zmianę diety ludzi, aby zobaczyć, co się stanie. Zamiast tego uczestnicy badań wypełniają kwestionariusze dotyczące ich zdrowia i nawyków żywieniowych, a następnie badacze szukają wzorców w odpowiedziach, aby sprawdzić, czy mogą znaleźć powiązania i korelacji pomiędzy określonymi produktami spożywczymi a określonymi chorobami. Na podstawie swoich obserwacji generują hipotezę - przypuszczenie - o tym, w jaki sposób dana żywność i dana choroba mogą być powiązane.
Jak brak rygoru wpływa na wyniki badań epidemiologicznych
Kiedy hipotezy wypływające z badań epidemiologii żywieniowej poddawane są później testom w badaniach klinicznych, okazują się błędne w co najmniej 80% przypadków. Innymi słowy, masz większą szansę na wysnucie poprawnego powiązania między danym produktem lub grupą produktów spożywczych a daną chorobą, trzymając się poniższego protokołu:
- 1Wybierz produkt spożywczy
- 2Wybierz losowy nowotwór
- 3Narysuj po jednej stronie kartki A4 słowo "TAK, a na drugiej połowie słowo "NIE"
- 4Wysmaruj półdupek zieloną farbą
- 5Usiądź na kartce
- 6Odczytaj wynik, czy dany produkt spożywczy wpływa na dany nowotwór
- 7Rozkoszuj się większym prawdopodobieństwem trafności Twojej hipotezy niż oferuje epidemiologia żywnościowa
"Badania epidemiologiczne o charakterze eksploracyjnym wypadają jeszcze gorzej, zwłaszcza gdy liczba badanych jest niska, ale nawet badania epidemiologiczne o dużej liczebności próby mogą mieć tylko jedną na pięć szans na prawdziwość, jeśli R = 1:10."
Żródło: "Why Most Published Research Findings Are False", John P. A. Ioannidis
6. Inne czynniki zakłócające (tzw. confounders)
Zachowanie rygoru w eksperymentach naukowych jest niezmiernie ważne, ponieważ jakiekolwiek czynniki zakłócające (tzw. confounders) są w stanie uniemożliwić wyciągnięcie prawidłowych wniosków. Epidemiologia żywieniowa nie dość, że nie prowadzi żadnych precyzyjnych pomiarów, to jeszcze nie jest w stanie w żaden znaczący sposób kontrolować czynników zakłócających.
Oto popularne czynniki zakłócające w badaniach naukowych:
Jak epidemiologia żywieniowa kontroluje czynniki zakłócające
Patrząc na tę listę, pewnie zaczynasz się zastanawiać, jakim cudem badania epidemiologii żywieniowej są w stanie je wszystkie kontrolować. Odpowiedź brzmi - nie są w stanie, choć udają, że tak się dzieje.
W praktyce czynników zakłócających jest tyle, że kontrolowana jest zaledwie garstka z nich. Należą do nich palenie, spożycie alkoholu, waga, BMI, czasami aktywność fizyczna i właściwie na tym lista się najczęściej kończy.
Ale hola, hola. Skąd dokładnie wiemy, ile pali, pije lub rusza się taka osoba? Właśnie od tego mamy ankiety. I przecież wiadomo, że każdy grzecznie się przyzna, że 2 piwka czasami z kolegami, ale poza tym panie doktorze, to alkohol mnie tak obrzydza, że tylko w pysk lać! Zaczynamy więc od najprawdopodobniej mocno zniekształconych danych. Następnie, eliminujemy te czynniki zakłócające dzięki zabiegowi statystycznemu, który nazywa się analiza regresji.
Czym jest analiza regresji
"Główną ideą regresji jest przewidywanie, prognozowanie danych dla pewnej zmiennej na podstawie innych zmiennych. Innymi słowy, jaką wartość przyjmie dana zmienna gdy będziemy znali wartość innej zmiennej. Oczywiście, aby móc "poszukiwać" wartości jednej zmiennej na podstawie innej zmiennej musimy za pomocą analizy regresji skonstruować model regresyjny, model, który będzie z założonym błędem statystycznym przewidywał wartość, poziom danej cechy."
Źródło: Naukowiec.org
Innymi słowy analiza regresji, to metoda korelacyjna, dzięki której prognozujemy jedną zmienną przy pomocy drugiej zmiennej. W zabiegu tym udajemy więc, że z założonym z góry błędem statystycznym, będziemy wiedzieć, jak wyglądałaby dana osoba, gdy przykładowo nie piła i nie paliła.
Mój kochany profesor statystyki podczas jednej z konsultacji wyjaśnił mi ten koncept bardzo prosto, ponieważ długo nie mogłem pojąć idei tego zabiegu.
Profesor: "Widzi Pan, to tak jakbyśmy upiekli tort, a potem wyjęli z niego wszystkie jajka"
Ja: "Ale to nie ma sensu!"
Profesor: "Dokładnie"
Mój wykładowca oczywiście żartował sobie. Takie zabiegi mają oczywiście sens w określonych sytuacjach. Jednak w przypadku epidemiologii żywieniowej na każdym etapie budujemy kolejną korelację na otrzymanych wcześniej nieprecyzyjnych szacunkach. Efekt jest taki, że jakikolwiek rezultat jest tak zniekształcony, że traktowanie go na serio powinno klasyfikować na obserwację psychiatryczną.
Warto dodatkowo wspomnieć, że sama analiza regresji, jako metoda korelacyjna, nie jest w stanie określić przyczynowości.
Healthy user bias
Warto poświęcić również trochę miejsca błędowi, który wypływa z grupowania się prozdrowotnych zachowań osoby obserwowanej (dieta, aktywność fizyczna, niepalenie, wyższy status socjoekonomiczny), czyli tzw. „healthy user bias”.
Występuje on szczególnie często w badaniach epidemiologicznych, które porównują grupy osób będących na różnego rodzaju magicznych dietach, jak choćby dieta wegańska. Osoby będące na tych dietach cechują się właśnie "healthy user bias". Są to osoby, które nie piją prawie w ogóle, uprawiają sport, itd. W momencie w którym porównujemy ich do "mięsożerców", okazuje się, że Ci pierwsi są zdrowsi. Oczywiście na pewno dlatego, że jedzą warzywa, a nie z powodu czynników zakłócających. Przecież wyeliminowaliśmy je analizą regresji!
"Lekarze powinni być sceptyczni, interpretując wyniki badań obserwacyjnych, które nie uwzględniają healthy user bias i tym podobnych błędów. Taki sceptycyzm powinien zwiększyć zdolność klinicystów do ustalania priorytetów dostępnych dowodów i miejmy nadzieję, poprawi podejmowanie decyzji klinicznych."
Mimo głosów rozsądku, jak choćby ten cytowany przeze mnie powyżej, zapewniam Cię, że nawet nie jedno badanie epidemiologiczne na 100 uwzględnia healthy user bias. Czytam dziesiątki badań tygodniowo i nie widzę żadnej zmiany w tym smutnym trendzie od bardzo dawna.
7. Ryzyko relatywne nie jest ryzykiem absolutnym
Kolejnym logicznym potworkiem, który czai się w badaniach z epidemiologii żywieniowej jest koncept ryzyka relatywnego lub ryzyka względnego (ang. relative risk). Czasami oznaczane jest również jako Hazard Ratio (HR).
Słowo "relatywne" jest tu bardzo ważne ponieważ do znudzenia trzeba powtarzać, że w dziedzinie tej nie są prowadzone żadne precyzyjne pomiary. Tym samym ryzyko spożywania danego suplementu lub produktów spożywczych określamy jako względne.
Profesor bioetyki David Shaw z Maastricht University w Holandii opublikował jasne, zwięzłe wyjaśnienie i krytykę problemu względnego ryzyka epidemiologii żywieniowej w czasopiśmie BMJ Journal of Medical Ethics. W swoim znakomitym artykule o nazwie "Making a pig’s breakfast of research reporting" analizuje badanie epidemiologiczne 2019, w którym stwierdzono, że spożywanie dwóch dodatkowych plasterków bekonu dziennie zwiększa ryzyko raka okrężnicy o 20%. Brzmi to przerażająco. Przynajmniej do momentu, w którym nie przeanalizujemy na czym dokładnie polega ten 20% wzrost.
Ryzyko relatywne nie powinno być podawane bez ryzyka absolutnego
Okazuje się, że o 20% większe ryzyko wystąpienia raka okrężnicy u osób jedzących dwa dodatkowe plastry bekonu dziennie było w porównaniu z osobami, które deklarowały spożywanie około jednego plastra bekonu dziennie. U nich, ryzyko zachorowania na raka okrężnicy wynosiło 0,4%. Ponieważ 20% z 0,4% to 0,08, 20% wyższe ryzyko względne sprowadza ryzyko absolutne do 0,48%.
W uproszczeniu, szacuje się, że osoby, które zgłosiły, że jedzą jeden plasterek bekonu dziennie, mają ryzyko wystąpienia raka okrężnicy na poziomie 0,4% (40 przypadków na 10000 osób), a osoby, które zgłaszają, że jedzą trzy plasterki bekonu dziennie, mają ryzyko raka okrężnicy 0,48% (48 przypadków na 10000 osób).
Podsumowując, w badaniu tym, konsumpcja dwóch dodatkowych plastrów bekonu winduje nasze ryzyko zachorowania na raka okrężnicy z 0,4% na 0,48%. Ryzyko absolutne wzrasta więc o 0,08% według tego badania i oscyluje w granicach błędu statystycznego.
Uczciwość naukowa nakazywałaby więc podawanie obu ryzyk jednocześnie w każdej pracy naukowej. Dlaczego więc się tak nie dzieje? Ciężko znaleźć jakiekolwiek logiczne uzasadnienie tego stanu rzeczy. Może dlatego, że na podstawie ryzyka absolutnego nie da rady tworzyć bombastycznych nagłówków "Jedzenie bekonu zwiększa ryzyko wystąpienia raka okrężnicy o 20%". A może dlatego, że badania naukowe są od lat upolitycznione i podlegają manipulacji przez różnego rodzaju grupy lobbingowe?
Więcej informacji na ten temat znajdziesz we wspaniałej pracy „Relative risk vs. absolute risk: one cannot be interpreted without the other”, napisane przez naukowców zajmujących się bioinformatyką z Uniwersytetu w Amsterdamie.
Warto dodać, że podawanie ryzyka relatywnego bez ryzyka absolutnego jest nagminnym zabiegiem również w badaniach randomizowanych. Świetnym przykładem są statyny (leki obniżające cholesterol). Jeśli już w jakimś badaniu wyjdzie, że obniżają ryzyko wystąpienia chorób serca, co wcale nie zdarza się często, patrząc na literaturę, to podane jest ryzyko relatywne rzędu 15-20%. Po obliczeniu manualnym ryzyka absolutnego uzyskujemy ryzyko poniżej 0,1 - 1% w zależności od badania. Jeśli to nie jest jawna manipulacja to nie wiem, co nią jest.
Jakie wielkości ryzyka relatywnego mają jakiekolwiek znaczenie
W powyższym "bekonowym" przykładzie mieliśmy do czynienia z korelacją rzędu 20%. Sama korelacja powstała z
Wiemy więc, że na każdym etapie obliczeń mamy do czynienia z brakiem precyzji, która powiększa się przy każdym kolejnym obliczeniu. Tym samym, korelacje rzędu 20-40% po przeliczeniu na ryzyko absolutne są niesamowicie małe i powinniśmy klasyfikować je w granicach błędu statystycznego. Traktowanie ich serio to poziom urojenia, gdzie człowiek wtyka sobie bukiet w dupę i udaje, że to wazon.
Pomijam fakt, jak łatwo jest manipulować danymi, aby nagiąć wyniki, w dowolną stronę. W przypadku wysokich RR jest to właściwie niewykonalne. Dla niskich RR jest to idiotycznie proste. Sam przez krótki okres czasu po studiach robiłem obliczenia statystyczne do prac naukowych z psychologii. Często dostawałem odgórną sugestię, co dany promotor chce zobaczyć. Przy odrobinie wygibasów statystycznych zawsze dostawali, to co chcieli.
Miejmy jednak mieć świadomość, że w przypadku odpowiednio wysokich poziomów ryzyka relatywnego, możemy zdecydowanie pochylić się nad takimi wynikami i zacząć bacznie przypatrywać się takiemu badaniu.
Ogólna zasada cytowana w wielu pracach naukowych brzmi, że:
jeśli ryzyko relatywne wynosi mniej niż 2.0, to możemy po prostu zignorować tę pracę. Wyniki RR w granicach 2.0-3.0 powinny przykuć naszą uwagę, a wyniki powyżej 3.0 należy traktować poważnie.
Przypadki badań z (bardzo) wysokim ryzykiem relatywnym
Nie mam najczęściej żadnej litości dla osób, które bezmyślnie szerzą badania epidemiologiczne o praktycznie zerowej mocy statystycznej. Nie zmienia to faktu, że epidemiologia może być niesamowicie przydatna. Badania, które wykazują odpowiednio wysokie ryzyko relatywne RR niejednokrotnie naprowadzały świat naukowe na właściwy trop, jeśli chodzi o szkodliwość różnego rodzaju produktów.
(I) Ryzyko relatywne wystąpienia nowotworów u palaczy
Jednym z najsłynniejszych przypadków były prace, które pokazały bardzo mocne powiązanie między paleniem a ryzykiem wystąpienia nowotworów. Jest to o tyle ciekawe, że działo się to w czasach, kiedy dominującym głosem w debacie był ten, który sugerował, że palenie jest neutralne lub wręcz korzystne dla zdrowia.
"W oparciu o analizę wieloczynnikowego ryzyka względnego dla palaczy, najsilniejszy związek z paleniem wykazano w przypadku drobnokomórkowego raka płuca (RR 21,7; 95% CI, 8,0-58,5), a następnie raka płaskonabłonkowego (RR 11,7; 95% CI, 7,1-19,4), a następnie gruczolakoraka (RR 2,1; 95% CI, 1,6-2,7).
Zwróć uwagę, że w niektórych przypadkach mowa tu o RR, które wynosi ponad 10! O takie korelacje chcemy walczyć! To właśnie one pokazują, że coś jest na rzeczy i są zaczątkiem badań randomizowanych.
(II) Wskaźniki insulinooporności i ryzyko raka płuc
Innym przykładem jest relatywnie wysoka korelacja między poziomem insuliny w surowicy na czczo, a występowaniem raka płuc (RR 2,10).
Żródło: Insulin, Glucose, Indices of Insulin Resistance, and Risk of Lung Cancer
Wysoki poziom zarówno insuliny i glukozy jest zresztą niezależnym czynnikiem przyczyniającym się do większości chorób cywilizacyjnych. Wyniki te nie powinny więc dziwić, ponieważ pokrywają się również z wynikami większości badań randomizowanych.
Jak rozpoznać badania epidemiologiczne
Znasz już dość dobrze ograniczenia badań epidemiologicznych. To na pewno krok we właściwym kierunku, jeśli chodzi o umiejętność analizy prac naukowych z dziedziny odżywiania i medycyny. Jedyne, co Ci pozostaje, to nauczyć się je identyfikować.
Na szczęście rozpoznanie badań epidemiologicznych dotyczących odżywiania może być szybkie i łatwe, jeśli wiesz, czego szukać. Badania epidemiologii żywienia:
związany z, skorelowany z, powiązany z, może zmniejszać/zwiększać ryzyko X, spożywanie X zmniejsza/zwiększa prawdopodobieństwo Y
"People who eat dark chocolate less likely to be depressed" (ludzie, którzy jedzą ciemną czekoladę mają mniejsze prawdopodobieństwo zachorowania na depresję")
"Your Fries May Be Deadly" (Twoje frytki mogą być zabójcze)
"Go (over) easy on the eggs: 'Egg-cess' consumption linked to diabetes" ("Wyluzuj z jajkami: ich nadmierna konsumpcja jest powiązana z cukrzycą")
Jaki jest sens badań epidemiologicznych
Na podstawie wszystkiego, co do tej pory usłyszałeś ode mnie a propos epidemiologii, myślisz zapewne, że jest ona według mnie zupełnie bezwartościowa. Nic bardziej mylnego. Uważam badania epidemiologiczne za szalenie przydatne pod warunkiem, że przestaniemy udawać, że są one narzędziem do ustalania przyczynowości. Nigdy nim nie były i nigdy nim nie będą. Mimo obłąkanych głosów ze świata naukowego, że jeśli setki takich badań wskazują na powiązanie, to na pewno jest to tożsame z przyczynowością, badania epidemiologiczne służą jednemu.
"Jest to bardzo tani sposób testowania dziesiątek tysięcy powiązań między różnymi zmiennymi na przestrzeni wielu lat. Nic nie jest w stanie zastąpić badań epidemiologicznych w tym aspekcie."
Moment, w którym zostanie zidentyfikowane powiązanie między dwoma zmiennymi, powinniśmy przejść do następnego etapu, czyli tzw. złotego standardu w medycynie - kontrolnych badań randomizowanych (idealnie z podwójną próbą ślepą, jeśli jest to możliwe). Dopiero one są w stanie ustalić bezpośrednio przyczynowość oraz często prowadzą do odkrycia mechanizmów, które prowadzą do danych rezultatów. Bardzo ładnie obrazuje to grafika z pracy Epidemiology in Practice: Randomised Controlled Trials:
Istnieje wielu obrońców badań epidemiologicznych, którzy twierdzą, że z racji tego, że nie jesteśmy w stanie przeprowadzić badań randomizowanych na przestrzeni wielu lat, to epidemiologia powinna być wystarczająco dobrym dowodem. Prowadzi to do absurdalnej sytuacji, gdzie wiadomo, że narzędzia statystyczne, które są używane służą jedynie do badania korelacji, ale nie przeszkadza to wielu osobom twierdzić, że 50 takich badań będą wskazywać na przyczynowość.
W praktyce wygląda to tak:
Nie zapominajmy o mantrze każdego analityka "garbage in, garbage out". Jeśli dostajemy "śmieciowe" dane wejściowe, to wyprodukujemy "śmieciowe" wyniki.
Trzeba mieć oczywiście świadomość, że badania randomizowane nie są szczytem doskonałości. Również można nimi manipulować lub wadliwie konstruować, tak że pokazują głupoty.
Epidemiologia żywieniowa, czyli kto szerzy głupoty
W artykule "Mity naukowe, czyli o tym, jak powstają i jak walczyć z własną naiwnością" opisałem wiele mechanizmów, które przyczyniają się do powstawania mitów naukowych. Do najważniejszych z nich należy brak zdolności interpretacji badań naukowych oraz ignorowanie źródeł pierwotnych informacji, a więc badań.
Właśnie od tych dwóch punktów zaczyna się pętla dezinformacji. Banda kretynów siedząca w redakcjach różnego rodzaju portali internetowych oraz magazynów, która ewidentnie ma kłopoty z matematyką na poziomie szkoły średniej, produkuje tysiące durnowatych artykułów, gdzie słowa takie jak "prawdopodobieństwo" lub "korelacja" zostają zamieniane na "powoduje". Pomijam już fakt, że nie znajdziesz prawie nigdy w tych artykułach odesłania do oryginalnego badania. Po co? Autor wytłumaczy nam, o co chodzi, więc nie ma co katować naszych małych główek. Informacje podane właśnie w takiej formie trafiają do czytelników, którzy dalej szerzą te informacje po swoich znajomych lub krewnych.
Osobnym problemem są osoby, którym wydaje się, że rozumieją, co czytają. Do tej kategorii należą często autorzy stron, blogów o zdrowiu lub odżywianiu oraz sami lekarze. Większość osób, gdy słyszy słowo "badanie" wyłącza krytyczne myślenie. I tak dochodzimy do klasycznej sytuacji, że zanim prawda założy buty, to kłamstwo obiegnie świat.
Epidemiologia żywieniowa jest zbyt ograniczona, aby dokładnie badać diety
Epidemiologia jest bardzo przydatna do badania pojedynczych toksyn, ale nie nadaje się dobrze do badań nad żywieniem ludzi. Szansa na to, że jakikolwiek pojedynczy produkt spożywczy jest wyłącznie odpowiedzialny za nasz dobry stan zdrowia lub jego brak jest znikoma. Nawet jeśli rzeczywiście byłby on winowajcą, oszacowanie jego spożycia jest niezwykle trudne. Aby jeszcze bardziej pogorszyć sprawę, wyniki tych badań, które często oscylują wokół granicy błędu statystycznego raz pokazują pozytywną korelację między dwoma zmiennymi, a innym razem odwrotną. Nie może to dziwić zważywszy na to, ze błąd statystyczny może "poruszać się" w dowolnym kierunku. Właśnie ten mechanizm prowadzi do otrzymywania sprzecznych wyników.
Wracając do toksyn, warto jeszcze raz pochylić się nad wynikami badań epidemiologicznych łączących palenie z wysokim ryzykiem występowania nowotworów. Większość osób zapytana o swój nałóg jest w stanie udzielić dość precyzyjnej odpowiedzi na temat tego, czy palili w zeszłym roku lub ile papierosów wypalają dziennie.
W przeciwieństwie do palenia, praktycznie niemożliwe jest zaprojektowanie kwestionariusza częstotliwości pożywienia, który byłby w stanie uchwycić złożoność większości nowoczesnych diet, które zazwyczaj zawierają wiele setek poszczególnych składników.
Epidemiologia żywieniowa, czyli błąd poprzez przeoczenie
Innym poważnym problemem związanym z kwestionariuszami żywieniowymi jest to, że epidemiolodzy raczej nie będą zawierać pytań o potencjalnych winowajców, o których nie pomyśleli lub, którymi nie są zainteresowani. Przez dziesięciolecia epidemiolodzy żywieniowi ignorowali spożycie rafinowanych węglowodanów w swoich badaniach, skupiając się zamiast tego na tłuszczach nasyconych, ponieważ wysunięto hipotezę, że tłuszcze nasycone są niebezpiecznym składnikiem współczesnych diet.
Chociaż wielu badaczy zaczęło ostatnio brać pod uwagę rafinowane węglowodany podczas projektowania i analizowania swoich kwestionariuszy - i jest to z pewnością krok we właściwym kierunku. Łatwo jednak sobie wyobrazić niezliczone ilości przetworzonych składników, które nie są badane pod kątem ich wpływu na zdrowie człowieka. Ile kwestionariuszy pyta o lecytynę sojową, karageninę lub hydrolizowane białko roślinne? Czy wiesz, ile gramów lecytyny sojowej spożyłeś w zeszłym roku? Nie? Szok!
To jajcarskie badanie wprost z Uniwersytecie Harvarda na temat wpływu jagód na pamięć uwzględniło tylko 130 artykułów spożywczych. Sama sekcja dotycząca konsumpcji owoców zawierała ich tylko 15. Spożycie mango, kiwi, papai, ananasów, mirabelek, fig, wiśni, daktyli, melonów, bananów, jeżyn, malin czy żurawin, które zjadały te kobiety, została najwyraźniej uznana za nieistotną. Udawanie, że te pominięte owoce nie są częścią problemu jest po prostu robieniem sobie kpin z nauki. Najsmutniejsze w tym wszystkim jest to, że jeśli spytasz się kogokolwiek, jaki wpływ na pamięć mają jagódki, to usłyszysz właśnie bzdury z tego badania, które obiegły świat w formie dziesiątek tysięcy artykułów. Teraz każdy traktuje to powiązanie, jako pewnik.
Przykłady nonsensów w badaniach epidemiologicznych
1. HZT (Hormonalna Terapia Zastępcza) u kobiet
Mnóstwo badań epidemiologicznych, które były prowadzone na przestrzeni lat potwierdzało ochronną rolę estrogenów zarówno dla układu sercowo-naczyniowego jak i kostnego. The Nurses Health Study, olbrzymie badanie kohortowe prowadzone od 1976 roku pokazało, że kobiety poddane HZT miały 61% mniejsze ryzyko wystąpienia chorób serca oraz 75% mniejsze ryzyko złamań biodra. Badania te znalazły powiązanie między HZT, a zwiększonym ryzykiem zachorowania na raka piersi, ale wydawało się, że plusy HZT zdecydowanie przewyższają minusy. I tak w 1999 roku 38% kobiet po menopauzie przyjmowało HZT.
W 2002 roku świat obiegła wiadomość, że hormonalne terapie zastępcze mogą nie być aż tak cudowne, jak się początkowo wydawało. Szeroko zakrojone badanie kliniczne o nazwie Women's Health Initiative (WHI), które zostało rozpoczęte w 1991 roku musiało zostać przedwcześnie zatrzymane. Okazało się, że ryzyko HZT zdecydowanie przewyższa jakiekolwiek plusy. U kobiet, którym w ramach randomizacji przypisano kombinację estradiolu oraz progesteronu zaczęto notować zdecydowanie wyższy współczynnik zachorowań na raka piersi niż u kobiet przyjmujących placebo. Niespodzianką okazało się, że u kobiet przyjmujących HZT zanotowano również częstsze występowanie ataków serca, wylewów oraz zakrzepów krwi. Miały one wprawdzie również mniejszą zachorowalność na raka okrężnicy oraz mniejszą liczbę złamań biodra, ale plusy te nie były w stanie przeważyć konsekwencji HZT.
Wyniki badania randomizowanego okazały się zupełnie sprzeczne z przytłaczającą ilością badań epidemiologicznych, które wskazywały na obniżone ryzyko występowania chorób serca. Gdy wyniki badania WHI ujrzały światło dzienne, epidemiolodzy zaczęli głowić się, skąd ta rozbieżność w wynikach badań. Jednym z głównych winowajców okazał się, opisany przez mnie wcześniej, "healthy user bias". Kobiety, które były uczestniczkami badań obserwacyjnych od początku odznaczały się lepszym stanem zdrowia i zdrowymi nawykami niż kobiety, które nie brały hormonów. Uczestniczki badania the Nurses Health Study były również młodsze oraz szczuplejsze niż te, które wzięły udział w badaniu WHI.
2. Czerwone i przetworzone mięso ogłoszone kancerogenem
Na deser zostawiam raport z 2015 roku, gdzie WHO (World Health Organisation) na podstawie garści badań epidemiologicznych oraz trefnych badaniach na szczurach (sic!) ogłosiła, że czerwone mięso to "prawdopodobnie" kancerogen.
Oto mój ulubiony fragment: " The experts concluded that each 50 gram portion of processed meat eaten daily increases the risk of colorectal cancer by 18%." ("Eksperci doszli do wniosku, że każde 50 gramowe porcje przetworzonego mięsa spożywane dziennie zwiększa ryzyko rak jelita grubego o 18%.").
Zwróć uwagę na dobór słownictwa. Nie użyto słowa "zwiększa ryzyko relatywne" lub "zwiększa prawdopodobieństwo wystąpienia raka jelita grubego". Nie. Dane z badań epidemiologicznych zostały przedstawione, jakby pochodziły z badań randomizowanych. A potem włączam telewizję śniadaniową i słyszę jakąś profesor, która z pełnym przekonaniem mówi, że tylko warzywa, bo mięso jest be.
Pomijam takie kwiatki, jak to, że jeden z epidemiologów zapomniał dodać w sekcji "konflikt interesów", że otrzymał wsparcie finansowe od producenta cukru, a w innym badaniu przekonywał, że "nie ma podstaw do ograniczenia spożycia cukru". Przecież to pierdoły, o których każdy może zapomnieć!
Źródło: New red meat guidelines are undermined by undisclosed ties and faulty methods, say critics
Ojciec EBM (Evidence Based Medicine), Gordon Guyatt, na początku lat 90, w ramach opozycji do różnego rodzaju badań słabej jakości (tak, chodzi przede wszystkim o epidemiologię), zaczął opracowywać uporządkowany systemy oceny jakości badań naukowych o nazwie GRADE. GRADE oznacza the Grading of Recommendations Assessment, Development and Evaluation i jest obecnie uważany za złoty standard oceny jakości badań naukowych oraz rekomendacji z nich płynących.W badaniu z 2019 roku o nazwie "Unprocessed Red Meat and Processed Meat Consumption: Dietary Guideline Recommendations From the Nutritional Recommendations (NutriRECS) Consortium" rekomendacje a propos ograniczenia spożycia czerwonego i przetworzonego mięsa spotkały się z następującym podsumowaniem:
"Panel sugeruje, aby dorośli nadal spożywali nieprzetworzone mięso czerwone (słaba jakość obecnych zaleceń, mało wiarygodne dane). Podobnie panel sugeruje, aby dorośli nadal spożywali przetworzone mięso (słaba jakość obecnych zaleceń, mało wiarygodne dane).
Wiem, wiem. W głowie się nie mieści, że garść badań epidemiologicznych oraz eksperymentów przeprowadzonych na szczurach może być uznana za "słabej jakości" oraz "mało wiarygodnych"."
Epidemiologia żywieniowa - podsumowanie
Badania z dziedziny epidemiologia żywieniowej to wspaniałe i relatywne tanie narzędzie, porównując je do klinicznych badań randomizowanych, pozwalające łatwo generować dziesiątki tysięcy korelacji między różnymi zmiennymi a częstotliwością występowania chorób.
Warto jednak pamiętać, że badania te mają bardzo poważne ograniczenia. Najważniejszym z nim jest brak precyzyjnych pomiarów. Są to jedynie badania obserwacyjne i nie są w stanie ustalić przyczynowości, a jedynie powiązanie między badanymi zmiennymi. Zważywszy na to, że w naturze korelacja na poziomie 0 jest właściwie w ogóle niespotykana, możemy spodziewać się, że każde badanie pokaże jakieś powiązanie. Najczęściej jest to jednak powiązanie bardzo niskiej jakości.
Najgorsze w tym wszystkim jest to, że badania te są rutynowo używane jako argumenty rzekomo wysokiej jakości o tym, że dany produkt lub grupa produktów spożywczych odpowiada za zachorowania na daną chorobę. Ani dziesięć, ani pięćset badań prac z epidemiologii żywieniowej nigdy nie będzie w stanie zademonstrować przyczynowości. Edukacja w dziedzinie interpretacji badań naukowych jest jednak na tak niskim poziomie, że nawet najgorsze jakościowo z nich stają się często zalążkiem dla tysięcy bzdurnych artykułów w mediach głównego nurtu.
Nie jestem na tyle naiwny, żeby uwierzyć, że ludzie nagle zaczną sami czytać badania naukowe. Nie będą też oni za wszelką cenę dążyć do dotarcia do źródeł pierwotnych, zamiast polegać na artykułach, które będą serwować przeżute już informacje, gdzie w magiczny sposób słowa takie jak "są skorelowane" zostają zamieniane na "powodują". Jeśli jednak poświęciłeś już czas na przeczytanie tej pracy, to mam nadzieję, że przynajmniej Ciebie zachęcę do krytycznego podejścia do badań naukowych i wątpliwych wniosków, które z nich płyną.
Powodzenia!
P.S. Jeśli masz przykłady, jakichś ciekawych lub absurdalnych badań epidemiologicznych, którymi chciałbyś się podzielić lub, które chciałbyś przeanalizować, to wklej je proszę w komentarz pod artykułem.
SKOŃCZYŁEŚ (-AŚ) CZYTAĆ? CZAS NA NAUKĘ!
Czytanie artykułów online to świetny sposób na poszerzenie wiedzy. Smutne jest jednak to, że po zaledwie 1 dniu od ich przeczytania zapominamy większość napotkanych informacji.
Moją misją jest zmienić ten stan rzeczy. Stworzyłem 31 fiszek, aby ułatwić Ci przyswojenie informacji z tego artykułu. Wystarczy pobrać program ANKI i voila — możesz zacząć naukę!
Niesamowita porcja wiedzy. Perełka polskiego internetu w temacie weryfikacji informacji. Świetna praca i czekam na więcej.
Dziękuję bardzo. Na pewno będzie więcej 🙂 Pozdrawiam!
W pelni zgadzam sie z komentarzem ponizej. Mega rozbudowany artykul, a informacje w nim zebrane absolutnie pierwsza klasa. Poki co przeczytalem go raz, ale jestem pewien, ze jeszcze niejedno przejscie przez niego mnie czeka i analizowanie informacji krok po kroku.
O czym Bartku planujesz napisac tego typu podobne artyluly w najblizszej przyszlosci? Bede czekal z niecierpliwoscia 🙂
Ciesze sie, ze sie podobal! ? Zgadzam sie. Przy artykulach o takiej obszernosci (7k + slow!) lepiej porobic fiszki i przejsc sam artykul pare razy.
PRzyszle artykuly beda dotyczyc roznych metod manipulacji badaniami – uzywanie szemranych pakietow statystycznych, manipulacje probka badanych i wiele innych kwiatkow ?
Mniam! Nie moge sie juz doczekac 🙂
Dzieki raz jeszcze i powodzenia w dalszym pisaniu!
Nie ma za co i dziękuję!
Super artykuł i super seria się zapowiada. Na pewno będę śledzić!
Idealnie trafia w obszar, który od dawna mam na swojej liście „do rozwinięcia”, czyli umiejętność rozróżniania typów badań naukowych i ich krytycznej oceny. Zawsze albo brakowało mi na to czasu, albo sensownego pomysłu. Z drugiej strony zawsze przeszkadzało mi to, o czym wspominasz, czyli fakt, jak magicznie potrafi działać wypowiedziane dumnie zaklęcie „było robione na ten temat badanie!”. I wtedy jedynie słuszną reakcją wydaje się być posłuszne wypicie co najmniej wiadra soku z wspomnianych (gumi)jagód i czekanie na falę zalewających nas super mocy mózgowych. Mam nadzieję, że dzięki Twojej serii, zanim następnym razem znów chwycę po to wiadro, zadam chociaż pytanie: „Ale jakie badanie?” 😉
Oczywiście dla mnie to też jest artykuł na kilka razy (albo kilka wiader soku!). Muszę na pewno pochylić się bardziej wnikliwie nad różnicą pomiędzy ryzykiem relatywnym a absolutnym, no i oczywiście przeczytać cytowane źródła 😉 Ciekawie zapowiada się książka „Bad Science”, o której wspominasz, więc dziękuję za rekomendację, bo na pewno po nią sięgnę.
No i na koniec pochwalę się, że pod wpływem Twojego artykułu, zrobiłam nawet małe ćwiczenie praktyczne i zgłębiając sławny już wątek jagód, wpisałam sobie w wszechwiedzącą wyszukiwarkę hasło „jagody a mózg”. Autor jednego z artykułów trochę zaszalał i wskazał źródło. Dzięki temu dotarłam do takiego badania:
https://pubmed.ncbi.nlm.nih.gov/28249119/
Nie twierdzę absolutnie, że wszystko z niego rozumiem i że cały wnikliwie przeczytałam, ale po lekturze Twojego artykułu rozumiem, jaki typ badań autorzy mają na myśli wspominając we wstępie wcześniejsze „badania epidemiologiczne”. Rozumiem też, że w tym badaniu wykonali następny krok (o którym też wspominasz w artykule), czyli chcąc zweryfikować wyniki badań epidemiologicznych podjęli się badań eksperymentalnych randomizowanych z podwójną ślepą próbą. Przebadali 26 osób, w wieku powyżej 65 lat, wykluczyli tych, którzy spożywają więcej niż 5 porcji owoców na dzień. Badani zostali przetestowani kognitywnie i przez badanie MRI, potem spożywali przez 12 tygodni jakiś skoncentrowany sok z jagód, i znów zostali przebadani. No i wyszło, że ten sok pomaga.
Jak oceniłbyś tego typu badanie? Czy jest tu coś, co dla Ciebie byłoby tzw. „czerwoną lampką” jeśli chodzi o wiarygodność wyników tego eksperymentu?
Dziekowac! Otoz to, czytac zalaczone zrodla, jak czas pozwoli. To pogon naukowa na wiele godzin, ale naprawde jest fascynujaca, wiec mam nadzieje, ze jak najwiecej osob podazy tym tropem ? Ksiazka jest absolutnie fantastyczna, wiec goraco polecam. Przystepnie napisana i tlumaczy podstawowe sposoby manipulacji badaniami. Na pewno bylby to jeden z pierwszych przystankow dla kogokolwiek, kto chce zaglebic sie w ten temat.
Klaniam sie w pas, bo samo to, ze olalas epidemiologie i znalazlas badanie kontrolne jest juz krokiem naprzod.Zrobmy wiec krotka analize, aby bylo wiadomo na co patrzec:
(1) Pierwsze o czym trzeba pamietac analizujac badania, to nie robic ekstrapolacji. Jesli w badaniu czytamy, ze dotyczy ono „healthy older adults”, to wlasnie do nich wnioski maja zastosowanie. Nie mozemy go odniesc ani do dzieci, ani nastolatkow, itd.
(2) Jesli chcesz zrozumiec badanie, to nie czytamy abstraktow, bo pomijaja dzieisatki waznych infor,acji. Czytamy cale badania, a szczegolnie jego „design”. Mozna czesto obejsc paywalle ta strona: https://sci-hub.shop/
(3) Patrzymy na temat calosciowo, to znaczy, ze znajdujemy tez inne badania randomizowane, zeby zobaczyc czy mamy powtarzalnos efektu. Mozna tez probowac siegnac od razu po „meta-review”, ale tu radzilbym byc ostrozny, bo jesli nie wiadomo, jak dobre sa badania wchodzace w meta-review, to ciezko cos powiedziec o nim samym. Swoja droga, w przypadku „blueberries” w meta-review z 2009 mamy taki wynik: „In a meta-analysis, flavonoid supplementation relative to a placebo control group improved cognitive performance in 9 of 15 randomised controlled trials (RCTs) in response to (Macready et al. 2009)”. Samo to juz powinno budzic wattpliwosci. Jesli niewiele wiecej niz polowa badan pokazuje pozytywne dzialanie, to efekt jest prawdopodobnie slaby, o ile w ogole wystepuje.
(4) Pierwszym duzym problemem jest mala liczba uczestnikow. Ale powiedzmy, ze da sie to przelknac, jesli wyniki badania sa znaczae statystycznie./
(5) Z plusow wiemy, ze nikt nie odpadl z badania, wiec nie ma tu prob manipulacji w tej kategorii. Byla to rowniez pdwojna proba slepa, wiec napawa to optymizmem.
(6) Jesli chodzi o testy Stroopa „Over all cases, group accuracy percentages ranged between 98.1 and 98.8%”. Roznica wlasciwie zerowa. W innej sekcji czytamy „Performance of the Groton maze learning task (accuracy, p=0.005), international shopping list task (p=0.002) and ISL with delayed recall (p=0.004, Table 2) improved over time but there was NO SIGNIFICANT DIFFERENCE in this improvement between groups. Performance of the one back test tended to improve to a greater extent in the blueberry group but this was NOT STATISTICALLY SIGNIFICANT (speed, p=0.094).”
” The change in performance for the other cognitive function tests were not significantly different between placebo or blueberry supplementation”.
Nie bede wiecej cytowal, ale praktycznie kazdy test krzyczy – nie ma roznicy.
(7) Wazne parametry, jak chocby poziom BDNF (mozemy rozumiec, jako zwiekszenie plastycznosci mozgu poprzez dlugotrwale wzmocnienie synaptyczne) bez zmian. Stan zapalny (bialko reaktywne C) bez zmian.
Sami zwrocili uwage na brak zmiany BDNF.
(8) Jest to jedno z setek badan randomizowanych, ktore widzialem, ktore za przeproszeniem gowno mierza. Nie wiemy, jak zmienila sie dieta tych osob poza wzmianka, ze „mieli poinstruowane jesc, jak jedli”, ale nikt nie badal rzeczywistego spozycia. Spozycie uzywek nie bylo mierzone. Nie ma wzmianki o tym, czy nie zaczeli sami rozwiazywac takich testow lub innyhc lamiglowek w domu. Jedna wielka niewiadoma poza tym, ze jedli jagody. Mozemy ewentualnie domniemywac, ze nie bylo wiekszych zmian lajstajlowych ze wzgleu na stabilnosc mierzonych markerow.
(9) To co wiemy z badania, to to ,ze zwiekszyl sie przeplyw krwi u osob, ktore spozywaly jagody. Nie zmienil sie jednak poziom BDNF, wiec nie ma zadnej zmiany w plastycznosci mozgu. Pozostaje pytanie, czym zostala wywolana ta zmiana? W rzeczywistosci moze byc to chocby czestsze rozwiazywanie lamiglowek w domu. Ale nikto o to nie pytal, bo po co.
(10) Podsumowanie: z calym szacunkie dla wysilku tych ludzi, ale badanie nie kontrolowalo praktycznie zadnych „confounders”, co utrudnia wysnucie jakichkolwiek wnioskow. Na tym ma polegac badanie kontrolne, ze KONTROJUEMY zmienne. Wiec, ze to ciezkie i pewnie dlatego nikt tego nie robi, ale ciezko mi traktowac takie badania na serio, bo sa po prostu odwalone chyba po to, zeby publikacje sobie odhaczyli.
Same testy pokazaly wlasciwie zerowa zmiane w rzeczywistym „memory performacne” tym bardziej dziwi mnie ominiecie tego w abstrakcie i zamiast tego pisanie „There was also evidence suggesting improvement in working memory (two back test) after blueberry versus placebo supplementation (p=0.05)” To klasyk w badaniach, ze naukowcy nie pisza, o tym, ze cos pokazuje slabe wyniki, bo to juz nie brzmi tak super i publikacja sie nie rozniesie. Poza zerowa zmiana w samym „memory performance” mamy zagadke zwiekszonego przeplywu krwi, ktore jest powiazane ze zwiekszona aktywnoscia niektorych obszarow w mozgu bez jednocznej zmiany BDNF.
Sam brak powiazania BDNF ze zwiekszonym ukrwieniem zdaje sie sugerowac, ze bylo to powiazane ze zwiekszonym uzywaniem tych obszarow mozgu. a nie zmiana plastycznosci wywolana jagodami. Ale to domysl, bo ponownie, dziesiatki potencjalnych „confounders” nie zostalo uwzglednionych. Ogolnie bardzo slabe badanie, ktore nie pokazalo prawie nic.
Troche sie rozpisalem, ale chcialem pokazac, jak w uproszczeniu przebiega proces analizy, przynajmniej w moim wypadku.
Wprawdzie moja analiza ewidentnie moze wplynac na Twoja opinie, ale widzac argumenty powyzej, czy wnioski plynace z badania brzmia dla Ciebie teraz wiarygodnie? Dla mnie takie sformulowanie wynikow badania w abstrakcie sugeruje tendencyjnosc autorow, bo nie raportuja sucho faktow wbrew pozorom, kiedy omijaja wyniki testow na pamieci i kognitywnych tam, gdzie nic nie pokazuja, ale chwala sie 1 testem na 10, ze ten cos pokazal.
Super analiza, bardzo dziękuję. Muszę przyznać, że mocno mnie zmotywowała, aby faktycznie wnikliwiej przeczytać cały artykuł. No i ciężko się nie zgodzić z tym, na co zwracasz uwagę.
ad (1). Faktycznie warto się tu pilnować, bo pojawia się (u mnie na pewno się pojawiła) taka tendencja, żeby sobie automatycznie w głowie uogólniać tego typu obserwacje na zasadzie, że jeśli zadziała(ło) u osób starszych, to pewnie działa tak samo u wszystkich.
ad (2) Tak, przyznaje się, to z czym się zapoznaję/zapoznałam to abstrakt i ewentualnie dyskusja (i w skrajnie szalonych przypadkach skanowanie wzrokiem reszty, że niby też tę resztę „trochę przeczytałam”). No i jak w swojej analizie pięknie pokazałeś, skupiając się tylko na tym, można faktycznie dość łatwo dać się „oczarować” celowo wyselekcjonowanym wnioskom i obserwacjom opakowanym w mądrze brzmiące sformułowania.
I dziękuję za namiar na stronę do omijania paywalli – nie trafiłam wcześniej na nią, a muszę przyznać, jedną z rzeczy, która nie przestaje mnie „fascynować” jest płatny dostęp do wyników badań (a co mnie często jeszcze bardziej „fascynuje” to wysokość tych opłat).
ad (3) „Jesli niewiele wiecej niz polowa badan pokazuje pozytywne dzialanie, to efekt jest prawdopodobnie slaby, o ile w ogole wystepuje.” — kradnę i dodaje do listy „czerwonych lampek”
ad (5) Dobry trop i kolejna lampka do mojej listy – zwracać wnikliwą uwagę na „pominiętych”.
ad (6) No tak, jak się dotrze do tych fragmentów, które cytujesz, a wcześniej się pokładało zaufanie w abstrakcie, to się człowiek zadziwia trochę (patrz ja 😉
ad (8 i 9) „Nie ma wzmianki o tym, czy nie zaczeli sami rozwiazywac takich testow lub innyhc lamiglowek w domu.” – Ciekawa uwaga, bo jak się zaczęłam teraz zastanawiać, to ja pewnie też zaczęłabym w ciągu tych 12 tygodni trenować podobne testy, żeby w finalnym teście lepiej wypaść (zwłaszcza jeśliby mi średnio poszło w pierwszej próbie i nikt by mi oficjalnie nie zabronił trenować 😉
Raz jeszcze bardzo ci dziękuję za tak wnikliwy komentarz.
Po pierwsze zmotywowałeś mnie, żeby się naprawdę przyłożyć do przeczytania tego artykułu i bardziej wnikliwej analizy wszystkich następnych.
Po drugie pokazałeś, jak łatwo dać się nabrać na „aurę naukowości” nawet w przypadku wyników badań eksperymentalnych.
Po trzecie zainspirowana tym ćwiczeniem i mam zamiar wykonać kolejne, ale na miejsce jagód wejdą śniadania 😉
Zawsze mnie zastanawiało, kto i jak ustalił, że śniadanie to niby najważniejszy posiłek dnia. Jeśli natknę się na ciekawe epidemiologiczne badania śniadaniowe, będę dawać znać 🙂
Chyba te analize w artykul zamienie, tyle tu jest szczegolow! ? Musze jednoczesnie zaznaczyc, ze w szczegolowej analizie glowna role gra wiedza merytoryczna. Jesli nie wiadomo, „co powoduje co”. mozna latwo dac sie nabrac naukowym sformulowaniom. SciHub to dar z niebios. Nikt bez niego nie bylby w stanie sie uczyc i miec wiec niz 2 szekle przy duszy. 35$ za artykul to definicja szalenstwa.
Jesli chodzi o badania, to moge dodac tyle – duzo lepsze jest niezjedzenie sniadan z dziesiatek powodow. Miedzy innymi zwieksza to wrazkiwosc receptorow estrogenowych i androgenowych poprzez posty. Dobroczynnosc jedzenia sniadan jest osadzona glownie w epidemiologii. Poszczenie zas jest sprawdzone jesli chodzi o setki badan eksperymetalnych – od obnizenia cisnenia krwi poprzez leczenie nowotworow (co dziwi wiekszosc ludzi).
Świetny artykuł, jak z resztą nie tylko ten. Uwielbiam czytać Twoje artykuły, bo „otwierają mi głowę”. Dopiero dochodzi do mnie co jako dietetyk wyniosłam ze studiów i jak wszystko jako student przyjmowałam za prawdę.. Wielkie dzięki za dawkę inspiracji ! 🙂
Dziękuję Anita! Niestety, ale pierdoły, które czesto pchaja ludziom do głowy na studiach, czy kursach dietetycznych wolaja o pomste do nieba 🙁
Podesłałem ten artykuł dziesiątki razy ludziom, z którymi dyskutuje w internecie na temat dietetyki bo jest świetny jedyne 2 rzeczy których brakuje to po pierwsze te „badania” nie biorą pod potencjalnie synergicznego działania różnych produktów spożywczych oprócz tego nie ma obowiązku publikowania badań dlatego nawet gdy jakaś firma dostanie 200 tysięcy dolarów dofinansowania a wyniki się jej nie spodobają to taka firma usuwa badania, Coca cola wydała 500 milonów złotych w 5 lat na badania zdrowotne bo co z tego że przykładowo 9 badań niskiej jakości pokaże że sacharoza jest szkodliwa skoro ta firma je usunie a dziesiąte które pokazuje korzystny wynik dla tej firmy zostanie opublikowane i trafi do uniwerystetów