Hierarchia badań naukowych, czyli dlaczego nie każde badanie jest tak samo ważne

By Bartek Czekała | Nauka i przyswajanie wiedzy

Hierarchia badań naukowych, czyli dlaczego nie każde badanie naukowe jest tak samo ważne

Słowo "badanie" ma doprawdy magiczną moc. W dowolnej dyskusji, moment, w którym ktoś wyciąga tego asa z rękawa oznacza, że zaczyna robić się poważnie. Jest to również moment, w którym mniej więcej, co druga osoba wyłącza myślenie. Jeśli są badania na jakiś temat, to przecież już nie ma z czym dyskutować! Pozostaje jedynie klęknąć na ołtarzu nauki i całować stopy naukowców, krzycząc "Nie jestem godny! Nie jestem godny!".

W rzeczywistości sprawa wygląda zgoła inaczej. Spora część badań jest po prostu fatalnej jakości i cytowanie ich powinno zostać traktowanie, jako siarczysty policzek wymierzony nauce. Aby jednak być w stanie stwierdzić z dużą dozą prawdopodobieństwa, czy coś jest bzdurą lub wręcz przeciwnie, warto zapoznać się z hierarchią badań naukowych.


Czym jest hierarchia badań naukowych?


Hierarchia badań naukowych, to swoista piramida, pokazująca, jaką wagę naukową niesie dane badanie. Nie jest przecież tak, że są one sobie równe. Dobrym porównaniem może być np. kłopot z autem, którego właśnie doświadczasz. Możesz zwrócić się do wielu osób z pytaniem, co się dzieje. Pytasz się więc przykładowo cioci Krysi, mechanika i mnie, co może być nie tak z autem. Zarówno ciocia, jak i ja, o autach wie tyle, co o zwyczajach rozpłodowych waranów stepowych. Czy potraktowałbyś więc nasze opinie na równi z tą mechanika? Oczywiście, że nie! Nasze odpowiedzi będą miały różną wagę statystyczną.

Identyczna sytuacja występuje w nauce. Traktowanie każdego badania, czy to podczas dyskusji naukowych, czy też własnego researchu jest absolutnym szaleństwem. Jest to jeden z powodów, dla których istnieje tyle sprzecznych opinii w świecie naukowym, które kończą się tworzeniem lub rozpowszechnianiem dziwnych mitów. Hierarchia badań naukowych jest jednym z lepszych sposobów oddzielania ziarna od plew.


Hierarchia badań naukowych - dlaczego trzeba ją znać?


Muszę przyznać, że słowo "trzeba" wydaje się być dość agresywne na pierwszy rzut oka. Oczywiste jest, że jeśli nauka nie interesuje Cię ani troszeczkę, to nie będzie to wiedza, która w czymkolwiek Ci się przyda. Jeśli jednak jesteś naukowcem, dietetykiem lub po prostu entuzjastą nauki, to informacje te pomogą Ci zdecydowanie sprawniej poruszać się przez gąszcz różnego rodzaju badań.

Jest logiczne, że w momencie, w którym każda praca wygląda na tak samo ważną, wysnucie jakichkolwiek wniosków może być bardzo trudne, o ile niemożliwe. Warto więc nauczyć się poniższej hierarchii badań naukowych na pamięć. Dopiero w momencie, w którym zrozumiesz ograniczenia oraz silne strony każdego z rodzaju dowodów będziesz w stanie formułować opinie, które będą zakorzenione w faktach.


Hierarchia badań naukowych


Zamiast od razu zanudzać szczegółami i opisami, zacznijmy od kolorowego obrazka. W ten sposób zaspokoimy nie tylko głód naukowy, ale i estetyczny.


Hierarchia badań naukowych

Powyższa hierarchia badań naukowych powinna być odczytywana w następujący sposób. Badania, które znajdują się najwyżej traktowane są, jako najwyższej rangi. Mają tym samym największą wagę naukową. Badania na samym dole powinniśmy traktować z mniejszą powagą lub wręcz z przymrużeniem oka w wielu wypadkach.

Oczywiście, warto pamiętać, że nic nie jest tu aż tak czarno-białe, jak mój opis może sugerować. Jest tu mnóstwo miejsca na wyjątki. Przykładowo, nie każda meta analiza czy przegląd systematyczny (ang. systematic review) jest wysokiej jakości. Hierarchię tę omówimy na przykładach, zaczynając od samego dołu, a więc dowodów naukowych o najniższej randze.


1. Opinie eksperckie oraz listy do periodyków naukowych


Mimo że u podstawy piramidy znajduje się wiele pozycji, to warto wyjaśnić, dlaczego szeroko pojęte opinie eksperckie znaczą tak mało.

Opinie eksperckie oraz listy mogą być sformułowane przez jedną osobę lub grupę naukowców. Wyrażają one poglądy naukowe lub komentarze grupy wyznaczonych ekspertów, oparte na ich osobistej opinii lub przeglądzie dowodów naukowych.

Od razu łatwo zauważyć, że w tym przypadku, nie mamy do czynienia z żadnymi badaniami lub eksperymentami, które dokonują pomiarów lub cokolwiek weryfikują same w sobie. Mamy po prostu zbiór osób, która chce zabrać głos w dyskusji na dany temat. Najczęściej są to oczywiście osoby, które są badaczami w danej dziedzinie. Nie jest więc tak, że są one oderwane od danej tematyki. Jednocześnie ten poziom dowodów jest bardzo niski, ponieważ ciężko jest traktować czyjąś opinię, nawet dobrze sformułowaną, jako ważniejszą od szeroko zakrojonych prac, które podsumowują zagadnienie w danej dziedzinie.

Nie znaczy to oczywiście, że są one bezwartościowe. Sam wielokrotnie czytając takie opinie dowiedziałem się mnóstwo ciekawych informacji, które mogłem potem zweryfikować w badaniach naukowych. Poglądy wyrażone w ten sposób są po prostu ciekawym sposobem potencjalnego zwiększenia poziomu dyskusji naukowej. Często podczas wymian opinii między naukowcami, jak na dobre dyskusje przystało, dochodzi do ustalenia słabych punktów argumentacji danej strony lub nawet brutalnego ich obalenia.

Warto jednak pamiętać, że podobne wymiany między naukowcami odbywają się również w górnej warstwie tej hierarchii. Poziom dowodów jest tam jednak odpowiednio wyższy.


Przykład opinii eksperckiej na przykładzie diety wegańskiej

Świetnym przykładem opinii eksperckiej jest stanowisko zajęte przez the Academy of Nutrition and Dietetics w 2016 roku a propos diet wegetariańskich i wegańskich.

"Ze stanowiska Akademii Żywienia i Dietetyki wynika, że odpowiednio zaplanowane diety wegetariańskie, w tym wegańskie, są zdrowe, odpowiednie pod względem odżywczym i mogą zapewniać korzyści zdrowotne w profilaktyce i leczeniu niektórych chorób. Diety te są odpowiednie dla wszystkich etapów cyklu życia, w tym ciąży, laktacji, niemowlęctwa, dzieciństwa, dojrzewania, starszego wieku oraz dla sportowców. Diety roślinne są bardziej przyjazne dla środowiska niż diety bogate w produkty pochodzenia zwierzęcego, ponieważ wykorzystują mniej zasobów naturalnych i wiążą się z dużo mniejszymi szkodami dla środowiska."

Źródło: Position of the Academy of Nutrition and Dietetics: Vegetarian Diets

Ilość razy, jaką widziałem odwoływanie się do tego stanowiska w świecie wegańskim do tej pory wprawia mnie w zdumienie. Rozumiem potrzebę oparcia swojego stylu życia na naukowych fundamentach. W hierarchii dowodów dokumenty takie mają wagę piórkową i odwoływanie się do nich jest dość niepoważne niezależnie od sympatii i antypatii dietetycznych danej osoby.


2. Opisy przypadków (case reports)

 

Opisy przypadków są (relatywnie) szczegółowym sprawozdaniem symptomów, diagnozy, obserwacji oraz leczenia danego pacjenta.

Dość często opisują one nietypowe lub nowe zjawiska i jako takie pozostają jednym z fundamentów postępu medycyny oraz innych nauk empirycznych. Często są przyczółkiem do rozpoczęcia szerzej zakrojonych badań, które zgłębiają dane zdarzenie.

Większość opisów przypadków dotyczy jednego z sześciu obszarów:

  • Nieoczekiwany związek między chorobami lub objawami.
  • Nieoczekiwane zdarzenie w trakcie obserwacji lub leczenia pacjenta.
  • Odkrycia, które rzucają nowe światło na możliwą patogenezę choroby lub jej niekorzystny wpływ.
  • Unikalne lub rzadkie cechy choroby.
  • Unikalne podejścia terapeutyczne.
  • Pozycyjna lub ilościowa odmiana struktur anatomicznych.

Zważywszy na ograniczenia różnego rodzaju, przede wszystkim metodologicznej natury, badania te są traktowane najczęściej niewiele wyżej niż dowody anegdotyczne. Osobiście nie zgadzam się z takim podejściem, ale warto podkreślić, jakie jest dominujące stanowisko naukowców w tym temacie.


3. Badania in vitro



"In vitro" oznacza po łacinie „w szkle”. Jest to rodzaj badania, które uwzględnia procedury medyczne, testy i eksperymenty, które naukowcy wykonują poza żywym organizmem. Eksperymenty te odbywają się w kontrolowanym środowisku, takim jak probówka lub szalka Petriego.

Zalety badań in vitro

Popularność badań tego rodzaju jest w pełni zrozumiała. Cechują się one wieloma, znaczącymi zaletami:

  • zmniejszają lub zupełnie eliminują konieczność używania zwierząt (głównie gryzoni) w badaniach,
  • pozwalają uniknąć lub zmniejszyć liczbę personelu laboratoryjnego doświadczonego w obchodzeniu się ze zwierzętami,
  • pozwalają uniknąć konieczności przedkładania protokołów zwierzęcych do instytucji pokroju IACUC (American Association for Laboratory Animal Science),
  • drastycznie zmniejszają koszty przeprowadzenia badań,
  • inne korzyści w zależności od obszaru badań.
Wady badań in vitro

Mimo bezapelacyjnych korzyści, badania in vitro mają jedną bardzo poważną wadę — nie są one w stanie określić, w jaki sposób związek farmaceutyczny może oddziaływać ze wszystkimi cząsteczkami i typami komórek, które istnieją w złożonym układzie, takim jak ludzie ciało.

Próbówki, czy też szalki Petriego są określane jako odizolowane i najczęściej statyczne środowisko. Jest to absolutne przeciwieństwo ludzkiego organizmu, który jest szalenie dynamicznym układem. Szacuje się, że liczba reakcji, która co sekundę odbywa się w ludzkim organizmie wynosi 37 do potęgi 21, a więc 37 tysięcy miliardów miliardów. Jest dynamika? Pewnie, że jest. Właśnie dlatego bardzo często wyniki badań in vitro nie pokrywają się z wynikami badań in vivo (w żywym organizmie). Z upływem czasu i rozwojem technologii i algorytmów komputerowych możemy spodziewać się jednak, że modele in vitro będą coraz precyzyjniejsze.

Przykład — badania in vitro i ich skuteczność w badaniach nowotworów

Zaledwie parę miesięcy temu (czerwiec 2021), grupa naukowców z John Hopkins University opublikowała badanie, w którym opracowana przez nich nowa technika komputerowa pokazała, że ludzkie komórki rakowe wyhodowane na szalkach hodowlanych są najmniej podobne genetycznie do ludzkiego źródła.

"Badacze twierdzą, że ich praca stanowi dowód na to, że linie komórek rakowych hodowane w laboratorium mają mniejszą zgodność z ich ludzkim źródłem ze względu na złożone różnice między środowiskiem naturalnym komórki ludzkiej a środowiskiem wzrostu laboratoryjnego."

Liczba potencjalnych kancerogenów, które wykazują zarówno cytotoksyczność, jak i mutagenność in vitro bez żadnych szkodliwych efektów jest naprawdę długa i obejmuje między innymi substancje, w które obfituje kawa, takie jak kwas kawowy i chlorogenowy.

Zanim zaczniemy traktować takie badania z większą dozą powagi warto najpierw zobaczyć, czy istniejące badania pokazują jakąkolwiek spójność pomiędzy modelami in vitro dla danego obszaru badawczego a obserwowanymi rezultatami in vivo.

Pomimo tego ograniczenia badania in vitro pozostają kluczową częścią badań przedklinicznych, szczególnie w badania skuteczności leków. Przykładowo, szansa na to, że obecnie istniejące leki na HIV powstałyby bez badań in vitro jest naprawdę mała. Jednocześnie warto pamiętać, że ostatecznym testem skuteczności danej interwencji są właśnie badania in vivo.


4. Badania na zwierzętach


Niewiele rzeczy pchnęło postęp medycyny bardziej niż eksperymenty przeprowadzone na zwierzętach. Ba, w Rosji w roku 2013 roku powstał przepiękny pomnik wybudowany ku pamięci wszystkim myszom, a właściwie gryzoniom, które oddały życie, aby poprawić naszą jakość życia.


 pomnik ku pamięci myszom,


Przykłady modeli zwierzęcych i jak przyczyniły się do rozwoju medycyny

Oto zaledwie tyci wycinek tego, jak bardzo zwierzęta przyczyniły się do rozwoju medycyny.

Model zwierzęcy

Korzyści dla ludzi

Pies

odkrycie insuliny

Małpa

szczepionka przeciw Polio

Mysz

szczepionka przeciwko wściekliźnie

Świnia

przeszczepy skóry dla ofiar poparzeń

Świnia

tomografia wspomagana komputerowo (CAT)

Królik

przeszczepy rogówki

Szczur

badania kancerogenów

Dlaczego badania nad zwierzętami są tak istotne?

Zwierzęta i ludzie mają jedną, bardzo ważną cechę wspólną — chorują na wiele takich samych lub zbliżonych choróbWłaśnie dlatego, niektóre modele zwierzęce mogą zastępować w badaniach ludzi z określonymi chorobami. Informacje, które uzyskujemy z tych badań – o tym, w jaki sposób jesteśmy podobni i jak się różnimy – przynoszą korzyści ludziom i zwierzętom. Badania na zwierzętach zwykle opisują badania z udziałem kręgowców, takich jak koty, myszy, żaby, świnie i naczelne.

Przykładowo, eksperymenty na pazurczatce, czyli małpie szerokonosej, stanowią uznany model analizy choroby Parkinsona (tzw. Marmoset model). Z kolei w toksykologii, barciak większy (Galleria mellonella), który jest rodzajem mola pomaga badać toksyczność substancji, zastępując małe ssaki. Danio pręgowany (Zebrafish) substytuuje zaś kręgowce niższego rzędu.

Większość zwierząt wykorzystywanych w badaniach medycznych jest specjalnie hodowana do tego użytku. Nawet badania kliniczne prowadzone na ludziach często wymagają wyników wstępnych testów z prób przeprowadzonych na zwierzętach. Badania takie są starannie zaplanowane. Eksperci, którzy przeglądają proponowany przez naukowca eksperyment z udziałem zwierząt, rozważają kilka kwestii przed ich zatwierdzeniem. Najważniejszym kryterium jest gwarancja, że taka interwencja ma znaczenia dla zdrowia ludzi lub zwierząt. Badania muszą również chronić dobrostan zwierząt. Oznacza to, że można użyć tylko najmniejszej liczby najbardziej odpowiednich gatunków. W Stanach Zjednoczonych zgodnie z prawem federalnym wszystkie zwierzęta muszą być traktowane humanitarnie i poddawane możliwie najmniejszemu stresowi.

Wyniki badań na zwierzętach mają kluczowe znaczenie dla wypełnienia luk w wiedzy na temat zdrowia i chorób zarówno ludzi, jak i zwierząt. Zrozumienie funkcji komórek i narządów – która jest podobna u wszystkich kręgowców – pomaga naukowcom projektować eksperymenty w celu przetestowania nowych terapii u ludzi. Wspomniane powyżej badania in vitro są ważne, ale obecnie nie mogą zastąpić modeli badawczych wykorzystujących zwierzęta.

Żaden pojedynczy zestaw wyników z konkretnego modelu – czy to zwierzęcego, komórkowego czy komputerowego – nie może dokładnie przewidzieć, co się stanie, więc naukowcy często zadają te same pytania w różnych rodzajach badań. Gdy różne modele raportują podobne wyniki, to wnioski stają się znacznie bardziej wiarygodne.

Ograniczenia badań nad zwierzętami

Mimo że badania nad zwierzętami są istotne, nie mogę pominąć uwagi, że wszystko zależy od modelu zwierzęcego w danym obszarze badawczym. Nie każdy z nich pełni swoją funkcję równie dobrze. Przykładowo, większość obecnie dostępnych badań dotyczących nootropików została przeprowadzonych na gryzoniach — najczęściej myszach lub szczurach. To o czym rozmaitej maści "biohakerzy" nie wiedzą, promując różnego rodzaju bzdurne i potencjalnie niezbepieczne substancje online, to fakt, że astrocyty myszy są bardziej odporne na stres oksydacyjny, który jest mechanizmem wielu zaburzeń neurologicznych. Brak tlenu uruchamia mechanizmy naprawy molekularnej w tych mysich astrocytach, ale nie w astrocytach ludzkich. Z kolei stany zapalne aktywują geny odpowiedzi immunologicznej w ludzkich astrocytach, ale nie w mysich.

Fakt ten podważa dość mocno przełożenie wyników takich badań na ludzi. Warto ponownie pamiętać, że zanim zaczniemy wyciągać przedwczesne wnioski w danej dziedzinie, powinniśmy zapoznać się z adekwatnością modeli zwierzęcych w niej stosowanych.


5. Badania przekrojowe (cross-sectional studies)


Badania przekrojowe są badaniami obserwacyjnymi, w których w danej próbce populacji jednocześnie mierzymy stan zdrowia pacjentów oraz ich ekspozycję na daną zmienną. Ma ono na celu ocenę obecności (lub częstotliwości występowania) określonych skutków zdrowotnych w tym momencie bez względu na czas ich trwania.

Na przykład w przekrojowych badaniach cukrzycy niektórzy uczestnicy mogli żyć z tą chorobą przez wiele lat, podczas gdy inni mogli być niedawno zdiagnozowani.

Dodatkowo, w badaniach tego typu zawsze obecna będzie grupa porównawcza, która niejako służy jako pomiarowa linia bazowa. Osobiście absolutnie nie cierpię tego rodzaju badań, szczególnie jeśli chodzi o dietetykę. Nie są one w stanie ustalić przyczynowości, a jedynie korelacje między wybranymi zmiennymi. Nie przeszkadza to jednak wielu naukowcom, nie wspominając o mediach mainstreamowych, aby twierdzić, że badania te dysponują jednak taką mocą. Polecam lekturę tego artykułu, aby bliżej zapoznać się z absurdalnością epidemiologii żywieniowej.

Ogólną, zdroworozsądkową zasadą jest, aby z miejsca ignorować wszystkie badania tego typu, jeśli raportują one wartość ryzyka relatywnego (relative risk) na poziomie mniejszym niż 3. Co przykre, ponad 97-98% wszystkich badań legitymuje się ryzykiem relatywnie mniejszym niż dwa.


6. Studia przypadków (case studies)


Studia przypadków (case studies), mimo że również znajdują się na dole naszej piramidy, są zdecydowanie lepszym źródłem dowodów niż opinie eksperckie. W tym przypadku mamy najczęściej do czynienia z osobą, która jest poddana specyficznemu protokołowi badawczemu (np. terapii). Badacze odnotowują konkretne zmiany u tegoż pacjenta, po czym sporządzają pracę naukową opisującą dany przypadek.

Największą słabością tego rodzaju badań jest mała próbka badawcza (często n=1). Zamiarem nauki jest dotarcie do ogólnych prawd, które będą miały zastosowanie do ogółu populacji. Jakiekolwiek wnioski, jakie wyciągniemy na przykładzie jednej osoby są automatycznie temperowane przez wiele czynników, takich jak choćby genetyka danej osoby oraz jej historia medyczna.

Jednocześnie, mała próbka umożliwia często dokładne pomiary pożądanych zmiennych oraz zwiększa prawdopodobieństwo wystąpienia czynników zakłócających (ang. confounders). Osobną sprawą jest to, że koszty takich badań są najczęściej bardzo, ale to bardzo niskie w porównaniu do ich szeroko zakrojonych odpowiedników.

Co więcej, często protokoły badawcze lub terapeutyczne, którym poddawany jest pacjent (najczęściej własne życzenie) są na tyle dziwaczne, że ciężko byłoby zebrać jakąkolwiek większą grupkę chętnych, która chciałaby w nich uczestniczyć.

Sam muszę podkreślić, że jestem absolutnym fanem studiów przypadku. Mimo że, jak wspomniałem, próbka statystyczna takich badań jest bardzo niska, to jednak obejmują one ludzi. Często ma to większą wartość niż szeroko zakrojone praca przy użyciu modelów zwierzęcych.

Podam Ci przykłady studiów przypadku z mojej bazy danych, którymi zachwycałem się lata temu i które do tej pory mają miejsce w różnych protokołach, które używam.


Przykład: Case study — jak siemię lniane obniża poziom androgenów

Androgeny to inaczej męskie hormony płciowe, takie jak choćby testosteron lub dehydroepiandrosteron (DHT). Mało znanym faktem jest, że duża liczba roślin będzie skutecznie obniżać testosteron (ale i również estrogeny) u obu płci. Pierwsze sugestie na ten temat w literaturze naukowej pojawiły się wiele lat temu, choć w medycynie mainstreamowej ciężko znaleźć o tym jakieś wzmianki. Wykazano, że siemię lniane obniża poziom androgenów u mężczyzn z rakiem prostaty. Jest to oczywiście stan, jak najbardziej pożądany.

Jedną ze złotych zasad nauki jest niedokonywanie ekstrapolacji wyników badań. Jeśli praca naukowa pokazała, że siemię lniane obniża poziom androgenów u facetów, to nie możemy powiedzieć, że ten sam efekt zostanie osiągnięty u płci pięknej.

Na szczęście dla badaczy, znaleźli oni ochotniczkę z zespołem policystycznych jajników (PCOS), które podjęła się przetestowania takiego protokołu na własnej skórze. W PCOS liczba androgenów u kobiet drastycznie wzrasta powodując nadmiernie owłosienie, trądzik i inne nieprzyjemne skutki uboczne.

W badaniu z udziałem tej 31-letniej kobiety, suplementacja siemieniem lnianym (30 g / dzień) zmniejszyła całkowity i wolny testosteron (tj. aktywny poziom tego hormonu). Pacjentka zgłosiła również zmniejszenie hirsutyzmu (tj. nadmiernego owłosienia) po zakończeniu okresu badawczego.

Źródło: The Effect of Flaxseed Supplementation on Hormonal Levels Associated with Polycystic Ovarian Syndrome: A Case Study

Badanie zakończono poniższym zdaniem: "uzasadnione są dalsze badania nad suplementacją siemieniem lnianym na poziomie hormonów u kobiet z PCOS." Jest to oczywiście potrzebny punkt, ponieważ, jak już mówiliśmy, nie możemy ekstrapolować danych.

Moje doświadczenie z używaniem siemienia lnianego w leczeniu PCOS jest nawet bardziej pozytywne niż wskazuje powyższa praca. Nawiasem mówiąc, trzeba pamiętać, że mówimy tu u osobach z nadmiarem androgenów. Mielenie i picie go, gdy jest się zdrowym, to odpowiednik kastracji chemicznej niezależnie od płci. Zamiast takich zabiegów, nie ma co odwlekać tego w czasie i lepiej usiąść na zardzewiałych gwoździach.


7. Badania kohortowe (Cohort studies)


badania kohortowe


W statystyce, demografii czy też medycynie, kohorta to grupa osób, które posiadają wspólną cechę definiującą. W naukach medycznych cechą tą jest zazwyczaj występowanie danej choroby lub symptomów.

Jest to ważne kryterium odróżniające ten rodzaj badań od wspomnianych wcześniej badan przekrojowych, gdzie próba badawcza nie jest definiowana w bardziej precyzyjny sposób w porównaniu do kohorty.

W badaniu kohortowym epidemiolog rejestruje, czy każdy uczestnik badania ma ekspozycję na badaną zmienną, czy też nie, a następnie śledzi uczestników, aby sprawdzić, czy rozwinie się u nich dana choroba.

Obserwacje bardzo często są różnej długości. Gdy potrzeba zareagować na bezpośrednie zagrożenie zdrowia publicznego, takie jak wybuch epidemii, wydziały zdrowia publicznego zwykle przeprowadzają stosunkowo krótkie badania. Z drugiej strony organizacje badawcze i akademickie częściej prowadzą badania nad rakiem, chorobami układu krążenia i innymi chorobami przewlekłymi, które mogą trwać latami, a nawet dekadami.

Dokładnie tak jak w przypadku badań przekrojowych (oraz ogólnie wszystkich badań epidemiologicznych), nie ma tu mowy o żadnych precyzyjnych pomiarach. Jest to więc quasi-eksperyment, który nie jest w stanie ustalić przyczynowości między dwoma zmiennymi. Pozwala on określić jedynie siłę korelacji występującej między nimi. Mimo że badania kohortowe są niewątpliwie dużo lepszej jakości niż inne badania epidemiologiczne, to ze statystycznego punktu widzenia ciężko traktować je z powagą, jeśli ich współczynnik ryzyka relatywnego jest mniejszy niż 3 (i szczególnie gdy <2).


8. Randomizowane badania kontrolowane (Randomized Controlled Trials)

 

Randomizowane badania kontrolowane (RCT) to absolutna wierchuszka, jeśli chodzi o jakość i istotność eksperymentów klinicznych. Polegają one na tym, że grupa pacjentów lub osób badanych jest losowo dzielona (tj. randomizowana) na dwie lub więcej grup, czyli tzw. bloków. Samo przyporządkowanie do grup podlega uprzednio wspomnianej randomizacji.

Warto wspomnieć, że istnieje wiele rodzajów randomizacji i wbrew wymownej nazwie, randomizacja nie zawsze jest w pełni losowa. Gdyby tak było, mogłoby okazać się, że dane bloki badawcze zawierają nierówną ilość pacjentów z daną cechą lub cechami, co mogłoby wypaczyć wyniki badania. Randomizacja ma więc dawać, jak największą pewność, że grupy są jak najbardziej do siebie zbliżone, a nieznane różnice są rozłożone stosunkowo podobnie. Ma to zapobiec niezamierzonemu fałszowaniu wyników badań poprzez tzw. accidental bias, czyli właśnie przypadkowe przyporządkowanie do danego bloku więcej osób o korzystnych czynnikach rokowniczych.

W samym eksperymencie jedna grupa otrzymuje badany lek (tzw. grupa testowa), druga grupa (grupa kontrolna) konwencjonalną terapię (np. terapię porównawczą), placebo (grupa placebo) lub w ogóle nic.

Rodzaje badań randomizowanych

Samo badanie randomizowane może stanowić próbę:

  1. 1
    niezaślepioną
  2. 2
    pojedynczo ślepą (a single-blind study)
  3. 3
    podwójnie ślepą (a double-blind study)
  4. 4
    potrójnie ślepą (a triple-blind study)

1. Badania niezaślepione
Są to próby, w których zarówno badani, jak i naukowcy wiedzą, kto jest poddany danemu rodzajowi terapii. Jak zapewne możesz wywnioskować - jest to sytuacja, która poniekąd wypacza wyniki badania m.in przez występowanie efektu placebo albo nocebo. Mówiąc więc o wysokiej jakość badań randomizowanych nie mam na myśli prób niezaślepionych. Na szczęście w dzisiejszych czasach są one praktycznie na wymarciu.

2. Próba pojedynczo ślepa
Jest to badanie, w którym osoby badane nie wiedzą, jakiemu rodzajowi interwencji są poddani. Na przykład, mogą dostać lek lub wodę z cukrem. 

3. Próba podwójnie ślepa
Jest to badanie niespodzianka. Zarówno badacze, jak i badani nie wiedzą, kto został poddany, jakiemu rodzajowi terapii. Jedynie analitycy, którzy obrabiają dane dysponują takimi informacjami. Jak łatwo można się domyślić, jest to praktycznie ideał i złoty standard, jeśli chodzi o jakość badań, ponieważ drastycznie redukuje on szansę na manipulację danymi.

4. Próba potrójnie ślepa
Nawet wśród entuzjastów badań naukowych, niewiele osób wie, że istnieją również próby potrójnie ślepe. W tym przypadku absolutnie nikt kto jest bezpośrednio uwikłany w badania nie wie, kto został poddany jakiej terapii. Tyczy się to również analityków danych. W praktyce ta forma badań jest używana niezmiernie rzadko.


9. Meta analizy i przeglądy systematyczne (meta-analyses and meta-reviews)


Pojedyncze badanie randomizowane, jakiekolwiek cudne by się nie wydawało, to często za mało, aby móc powiedzieć z dużą dozą pewności, że dana interwencja przynosi zamierzony efekt. Randomizowane badania kontrolowane też mają swoje ograniczenia. Być może naukowcy przystępują do eksperymentu z gotową tezą, którą chcą udowodnić za wszelką cenę. Może być to spowodowane przekonaniami osobistymi lub najzwyczajniej w świecie korupcją, która jest niesamowicie rozpowszechniona w świecie medycznym, szczególnie w badaniach dotyczących leków.

Z drugiej strony sama próbka badanych może być zbyt mała lub wystąpił wspomniany wcześniej accidental bias, czyli wspomniane wcześniej przypadkowe przyporządkowanie osób o korzystnych czynnikach rokowniczych do danej bloku badawczego. Innymi słowy, wszystko się może zdarzyć i dodatkowo wykrzywić otrzymane wyniki.

Czym są meta-analizy?

Właśnie dlatego potrzebujemy jakiegoś podsumowania wyników dotyczących danego zagadnienia, czyli tzw. meta-analiz.

Sens jest bardzo prosty. Jeśli mama mi mówi, że jestem takim ładnym i mądrym chłopcem, to moja pewność à propos istotności tych stwierdzeń nie jest wysoka. W momencie, w którym zacznę sumować wyniki od innych osób może okazać się, że taka meta-analiza dostarcza dowodów na to, ze moja twarz jest w rzeczywistości odpowiednikiem Fiata Multipla. Zsumowany rezultat ten jest najczęściej dużo bardziej adekwatny niż wynik pojedynczego badania.

Często pojedyncze badanie nie jest wystarczająco duże i znaczące, aby rzetelnie odpowiedzieć na pytanie badawcze. Lub istnieje kilka badań dotyczących korzyści z leczenia, ale wyniki są sprzeczne. Aby znaleźć wiarygodną odpowiedź, konieczne jest zatem rozważenie i przeanalizowanie wszystkich badań łącznie, jeśli to możliwe.


Czym są przeglądy systematyczne?

Przegląd systematyczny podsumowuje wyniki wszystkich badań dotyczących leczenia, sprawdza ich jakość i analizuje je zgodnie ze zdefiniowanym, metodycznie przemyślanym procesem. Jest to, że tak powiem, „studium studiów”. Dobrze zrobione, powinno zapewnić możliwie najrzetelniejszy przegląd stanu wiedzy na dany temat.

Są one zazwyczaj opracowywane przez duże zespoły. Zwykle zaangażowani są specjaliści medycyny, epidemiologii, statystyki medycznej i badań. Aby systematyczny przegląd dawał rzetelne odpowiedzi, należy zachować szczególną ostrożność przy wyszukiwaniu i wyborze badań. Poszczególne etapy pracy aż do publikacji są zwykle czasochłonne.


Jaka jest różnica między meta-analizą a przeglądem systematycznym?


Przegląd systematyczny ma na celu zebranie wszystkich dostępnych badań empirycznych za pomocą jasno określonych, systematycznych metod w celu uzyskania odpowiedzi na określone pytanie.

Metaanaliza to statystyczny proces analizy i łączenia wyników z kilku podobnych badań.


Kiedy meta-analizy lub przeglądy systematyczne mają niską jakość naukową?

Badania tego rodzaju stanową bez cienia wątpliwość wagę ciężką, jeśli chodzi o jakość dostarczanych dowodów naukowych. Od tej reguły istnieje jednak jeden, niezmiernie ważny wyjątek. 

Meta-analizy oraz przeglądy systematyczne, które bazują głównie nie na randomizowanych badaniach kontrolowanych, lecz na badaniach epidemiologicznych (tj. badania kohortowe lub przekrojowe) można najczęściej zignorować.

Przypominam, że mowa tu o obserwacjach, które są zaledwie quasi-eksperymentami i nie są w stanie wyznaczyć przyczynowości, a jedynie korelację. Jeśli dodamy do tego fakt, że większość badań epidemiologicznych jest wyjątkowo niskiej jakości, to ich zsumowanie można obrazo przedstawić w następujący sposób:


Meta-analizy w hierarchii badań naukowych

Jak to mawiał cichy partner Warrena Buffeta, Charlie Munger, jeśli zmieszasz rodzynki z gównem, to wciąż otrzymasz gówno. Jak zawsze muszę więc podkreślić, żeby szczegółowo czytać badania, aby mieć pewność, że są wysokiej jakość, zamiast ślepo wierzyć abstraktom lub ich nagłówkom.


Hierarchia badań naukowych - podsumowanie


Interpretacja badań naukowych, to bardzo ciężki kawałek chleba. Istnieją dosłownie setki rzeczy, na które trzeba zwracać uwagę, aby nie wysnuć zbyt pochopnych wniosków.

Powolne kształtowanie opinii jest szczególnie ważne, ponieważ gdy ukształtujemy je choćby częściowo, dość ciężko jest zmienić zdanie nawet pod wpływem faktów.

W tym całym chaosie informacyjnym jakość samych badań pełni rolę nadrzędną. Poleganie na eksperymentach niskiej jakość jest bardzo prostym sposobem tworzenia budowania pseudoekspertyzy w danej dziedzinie.

Oto hierarchia ważności badań naukowych obejmuje następujące ich formy w kolejności od najmniej do najważniejszych:

  1. 1
    Opinie eksperckie oraz listy do periodyków naukowych
  2. 2
    Opisy przypadków (case reports)
  3. 3
    Badania in vitro
  4. 4
    Badania na zwierzętach
  5. 5
    Badania przekrojowe (cross-sectional studies)
  6. 6
    Studia przypadków (case studies)
  7. 7
    Badania kohortowe (cohort studies)
  8. 8
    Randomizowane badania kontrolowane (randomized controlled trials)
  9. 9
    Meta analizy i przeglądy systematyczne (meta-analyses and meta-reviews)

Mam nadzieję, że powyższa lista będzie służyła Ci podczas Twoich osobistych eskapad naukowych.

Powodzenia!


SKOŃCZYŁEŚ (-AŚ) CZYTAĆ? CZAS NA NAUKĘ!


Czytanie artykułów online to świetny sposób na poszerzenie wiedzy. Smutne jest jednak to, że po zaledwie 1 dniu od ich przeczytania zapominamy większość napotkanych informacji.

Moją misją jest zmienić ten stan rzeczy. Stworzyłem 27 fiszek, aby ułatwić Ci przyswojenie informacji z tego artykułu. Wystarczy pobrać program ANKI i voila — możesz zacząć naukę!


  • bj pisze:

    Dzięki za kolejny super artykuł i mega pomocne zestawienie różnych typów badań.
    No i jeszcze bardziej dziękuję za dodatek w postaci fiszek. Idealna okazja, aby podejrzeć, jak robią je najlepsi!

    Zostały już więc pobrane, do Anki dodane i będą powtarzane 😉
    Na pewno jest to wiedza, która warto sobie głębiej wdrukować, żeby łatwiej w tym naukowym świecie nawigować
    (i rymować … 😉 to chyba jakiś efekt uboczny u mnie dziś, ale niech już tak zostanie 😉

    Jeszcze raz pięknie dziękuję i pozdrawiam

    • Nie ma za co, choc wspomne, ze fiszki nie sa moje. Niestety nie mam czasu na takie rzeczy. Zlecam razem z instrukcja, jak je dobrze zrobic, wiec efekt koncowy jest dobry, choc nie zawsze doskonaly 🙂 Pozdrawiam!

  • adrian pisze:

    A czy the Academy of Nutrition and Dietetics napisałoby takie stanowisko sobie z czapy? Jest to konsensus ekspertów danej dziedziny potwierdzony wieloma badaniami. To tak jakby nie ufać Europejskiej Radzie Resuscytacji w sprawie RKO, nonsensowny przykład. Idealnym przykładem byłyby tu pojedyncze opinie niektórych lekarzy np w sprawie rzekomego działania amantadyny na covid. PS nie stosuję diety wegetariańskiej w razie wątpliwości i chęci użycia argumentu ad personam.

    • Badaniami jakiej jakości?! Jest to konsensus jednej organizacji. Są kraje, m.in Belgia, gdzie rozważa się zakazanie wprowadzenia takich diet szczególnie u osób młodych przez odpowiedniki tej Academy.
      Widzę, że nie siedzisz w temacie, a jak siedzisz to płytko. Kolejny błąd to, to, że powołujesz się na resuscytację, czyli dziedzinę w pełni empiryczną o banalnych punktach końcowych w badaniach i porównujesz do dietetyki, czyli dziedziny, gdzie bezpośrednie pomiary są praktycznie niemożliwe. Przykład jest świetny i nie zamierzam się z niego wycofywać. Pomijam już nonsensowność Teojego argumentu, że jakaś rada ma konsensus. Przypominam, że parędziesiąt lat panował konsensus à propos negatywnego wpływu tłuszczów nasyconych na zdrowie. Obecnie od paru lat różne olbrzymie międzynarodowe rady wycofują się rakiem z tych zapewnień.

      • Kacper Oleszkiewicz pisze:

        Czytaniego tego komentarza upewniło mnie, że VL to było najlepiej wydane 680 zł w moim życiu 🙂

  • Urszula pisze:

    Zabrakło mi w weryfikowaniu jakości badań bardzo ważnego, moim zdaniem, czynnika, a mianowicie kto finansuje badania. Jest wiele przykładów (np. wpływ palenia papierosów na zdrowie), że finansowanie badań potencjalnie naukowych miało znaczący (negatywny) wpływ na wyniki. Konflikt interesów ma niebagatelny wpływ na jakość badań, pokusiłabym się nawet o twierdzenie, że zasadniczy. Niezależność badań jest warunkiem sine qua non ich obiektywizmu i, obawiam się, występuje coraz rzadziej. Pozdrawiam UG

    • Zgadzam sie w pelni z komentarzaem poza jedna rzecza – to ma mnostwo wspolnego z obiektywizmem badan, ale nic z hierarchia badan. Musimy rozrozniac te rzeczy.
      Dziękuję serdecznie za komentarz! Pozdrawiam!

  • Do zalet badań in vitro dodałbym że są bardziej etyczne

  • Kto wie komu zostało co podane w potrójnie ślepej próbie i jak podaje się te środki skoro nikt nie wie

  • MIchał pisze:

    Dzięki za fajny artykuł. W którym miejscu na liście znajdują się podręczniki naukowe?

  • >