110. ¿Nos podemos fiar de los estudios científicos?

Hace unas semanas un par de amigos me decían que tomar café era buenísimo porque habían escuchado en la tele que habían hecho un estudio científico sobre el asunto. Es algo habitual leer o escuchar titulares bastante llamativos sobre alimentación basados en estudios. Ni que decir tiene que hay ser muy crítico con lo que se lee o se escucha por ahí (migymencasa incluído), pero parece que cuando hay un estudio detrás que respalda esas afirmaciones podemos fiarnos.

Quiero dar unas pinceladas de lo que me parece lo más básico en cuanto a evidencia científica, para que así podamos comprender un poco mejor el peso o la calidad de la evidencia que hay detrás de ciertas afirmaciones.

Estudios observacionales: Correlación no implica causalidad

La gran mayoría de titulares en los medios de comunicación se basan en estudios observacionales. Pero lo que es más preocupante es que muchas de las recomendaciones a la población están basadas en este tipo de estudios. ¿Por qué es preocupante? Porque correlación no implica causalidad, vamos a ver por qué.

En los estudios observacionales, como su propio nombre indica, se observa o mejor dicho se pregunta. Por ejemplo, cogemos a 5.000 personas y las preguntamos cuántos vasos de vino toman a la semana. Se lo vamos preguntando año tras año y al cabo del tiempo vemos de qué va muriendo esta gente y cuándo. En el estudio de este ejemplo vemos que los que toman vino tienen menos infartos, con lo que podemos establecer una asociación entre consumo de vino e infartos, pero no podemos decir que consumir vino sea la causa de tener menos infartos.

Veamos otro ejemplo, para aclarar esto. Observa la siguiente gráfica.

Traducido de la fuente original

Compara la temperatura media global con el número de piratas. Como podéis ver a mayor temperatura, menos piratas. Podríamos sacar el titular llamativo, pero equivocado, de que la temperatura aniquila los piratas 🙂

Con este divertido ejemplo, nos damos cuenta de que correlación no implica causalidad, ya que los piratas se extinguieron debido a diferentes causas socioeconómicas. Estos son los factores de confusión, los que entran en juego y desvirtúan esa causalidad entre las dos variables.

Volviendo al ejemplo del vino, estos beneficios puede ser debidos al Efecto Roseto que provoca el juntarse a tomar un vino con los amigos. O algo curioso (y verídico), como que en Europa a mayor consumo de vino, menor consumo de leche, o un millón de cosas que entran en juego en la vida y los hábitos de cada persona que no podemos controlar ni medir.

Entones, ¿estos estudios no valen para nada?

Descubrir una asociación entre dos variables nos puede dar una pista por dónde pueden ir los tiros, pero en ningún caso podemos hacer afirmaciones tajantes al respecto. No valen para establecer recomendaciones, pero sí nos valen para establecer hipótesis y ponerlas a prueba en un estudio de intervención.

Estudios de intervención

En este tipo de estudios hacemos normalmente dos grupos, el grupo control (en el que sólo hacemos un seguimiento) y el de intervención (al que le hacemos algo, como por ejemplo darle de comer un determinado tipo de dieta). Este tipo de estudios son mucho más difíciles y más caros de hacer, imagina que tienes que estar comiendo de una determinada manera el resto de tu vida.

Pero la cosa no queda ahí, sencillamente por sentirte estudiado mejoras tu hábitos de vida. Si crees que estás en el grupo bueno (intervención), intentarás mejorar inconscientemente. Pero las propias personas que se encargan de hacer el estudio quieren verificar su hipótesis y aunque hagan las cosas bien en cuanto sesgo (que luego veremos), inconscientemente o no, van a dar mejor soporte a los del grupo de intervención.

Para poder evitar esto, el estudio tendría que ser doble ciego, es decir, que ni los científicos ni los sujetos estudiados sepan cuál es el grupo bueno. Esto se puede hacer con una pastilla, dando en su lugar un placebo, pero con la dieta la cosa se vuelve más complicada. Con lo cual, de un estudio de intervención nos podemos fiar más que de uno observacional, pero darnos cuenta de que tampoco es la verdad más absoluta. Porque además tenemos que tener en cuenta la variable del sesgo.

Sesgo: el que paga, manda

Si tengo una empresa que se dedica a hacer zumos y hago un estudio buscando efectos positivos en la salud de mi tipo de zumo, ya te digo yo que los voy a encontrar y si no los encuentro pues no publico el estudio y sigo buscando. Es de cajón, si soy una empresa e invierto dinero en promocionarme y la promoción no sale (o sale que mi producto es perjudicial) no voy a tirarme piedras contra mi propio tejado y publicarlo.

Este ejemplo se refleja muy bien en este estudio, que precisamente analiza el resultado de los estudios sobre refrescos y leche patrocinados. Incluyeron 206 productos, de los cuales 111 estaban patrocinados. El 22% de ellos estaba subvencionado por la industria, el 47% no lo pagaba la industria y el 32% parte lo pagaba la industria y parte no.

La fuente de financiación estaba significativamente relacionada con que los resultados fueran favorables. (Correlación no implica causalidad, PERO en este caso el tongo salta a la vista…) En estudios de intervención pagados por la industria las conclusiones desfavorables sobre los productos fueron (lógicamente) del 0%. Los que no estaban financiados por la industria encontraron en el 37% de los casos conclusiones desfavorables. Por lo tanto, el 100% de los estudios financiados por empresas encontraron beneficios o en el peor de los casos, no encontraron perjuicio al consumir sus productos.

En esto del sesgo también tienen peso las ideas preconcebidas por uno mismo y/o el posicionamiento. Pongamos un ejemplo familiar, yo mismo, si llevas tiempo siguiendo mi trabajo verás que me gusta el punto de vista evolutivo en las cosas (lo que se llama ahora Paleo), por lo que debes tener en cuenta que puedo arrimar el ascua a mi sardina a la hora de buscar estudios que corroboren mi punto de vista. Esto se llama «escoger cerezas» (cherry picking) que es elegir sólo los estudios que a mí me interesan. Avisados estáis. Aunque tengo que decir siento debilidad  por un buen estudio que vaya en contra de mis ideas 🙂

Estudios en animales

Lo primero que hay que tener en cuenta es que no somos genéticamente iguales a un ratón, un conejo o incluso a un chimpancé. Un estudio en animales no tiene por qué tener los mismos resultados en humanos. Dicho esto, si alimentamos a los animales con comida a la que no están adaptados obtendremos resultados poco aplicables, como alimentar a un conejo (herbívoro) con colesterol (procedencia animal). Esto se hizo en este estudio provocando aterosclerosis a los conejos y apoyando el mito, que aún hoy perdura, de que las grasas por sí solas provocan también aterosclerosis en humanos.

Otro detalle curioso y poco mencionado, es el que habitualmente se sacan conclusiones sobre macronutrientes (proteínas, carbohidratos y grasas) sin prestar atención a la procedencia de esos macros: si son grasas trans o si la proteína dada a los animales es en forma de caseína, algo muy común a pesar de que parece ser altamente bioactiva.

N=1

Esta expresión significa algo así como «resultados en un solo caso». Cuando yo hago un experimento (como los 3 días de ayuno) y os lo cuento, eso es un N=1. Hay que tener cuidado con esto porque no es significativo. Por ejemplo, el típico borrachín del pueblo que fumaba y bebía como el que más, nunca hizo deporte y vivió 90. Si nos fijamos sólo en él podemos llegar a la errónea conclusión de que para llegar a esa edad debemos beber y fumar como si no hubiera un mañana. Y este señor no sólo era un N=1 sino un no-respondedor, esto significa que le hagas lo que le hagas es alguien indestructible. En los estudios siempre hay gente que aunque esté en el grupo de los malos responde bien.

N=1 no nos dice nada, pero con otro caso así tendremos un N=2, luego un N=3 y así sucesivamente podremos llegar a un estudio de varios casos en los que, por ejemplo, funciona una dieta totalmente carnívora (ejemplo). Se puede transformar lo anecdótico en datos. Una forma, complicada y también con sesgo, de popularizar los estudios científicos y ser capaces de llevar a cabo estudios que de otra forma jamás se llevarían a cabo por la falta de financiación.

Nada tiene sentido en biología si no es a la luz de la evolución

Y para despedir, qué mejor frase que la del genetista y biólogo ucraniano Theodosius Grygorovych. Como ya he dicho alguna vez, me gusta ver las cosas desde el punto de vista evolutivo y a raíz de ahí ir afinando. Me chirría mucho cuando algo que concluye un estudio con una evidencia de baja calidad va en contra de nuestros genes. Pero también creo que hay que prestar atención y revisar a fondo estudios bien diseñados que no vayan en la linea de nuestro pensamiento. Es la mejor forma se seguir aprendiendo.