Já tratamos várias vezes aqui no blog sobre o grande problema que acomete todos os estudos observacionais/epidemiológicos: o fato de que os mesmos não podem estabelecer causa e efeito. Isto se dá pelo fato de não serem experimentos. Há inúmeras variáveis, muitas das quais ocultas, isto é, não aparentes aos pesquisadores, e que podem ser as reais causas por trás das associações observadas.
Por exemplo, há uma associação entre a quantidade de sorvete consumido e o número de afogamentos, mas (espero) ninguém imaginaria que tomar sorvete causa afogamentos ou, pior ainda, que proibir o consumo de sorvetes evitaria mortes no mar e nas piscinas. Está claro que a variável oculta – no caso, o calor – é que se constitui na verdadeira CAUSA de ambos comportamentos – comprar sorvetes e entrar na água.
Para quem ainda não leu, recomendo uma pausa para ler a postagem que trata deste assunto.
Relembro, também, que a esmagadora maioria das manchetes sobre saúde – o novo estudo que mostra que carne vermelha, gordura, proteína, etc. vão acelerar a sua morte – são derivadas desse tipo de estudo.
Mas alguém pode achar que isso é preciosismo – que é detalhe. Afinal, será que estes erros – os chamados vieses – são realmente tão grandes, e podem influenciar tanto assim os resultados de um estudo? A resposta é sim – e você nem imagina o quanto.
Existe um viés, capaz de gerar falsos resultados completamente absurdos, e que é quantificável. Em outras palavras, podemos medir com exatidão a magnitude do efeito gerado isoladamente por este viés. É o viés do paciente bem comportado (healthy user bias). Vamos à história de sua descoberta:
Entre 1966 e 1974 um grande ensaio clínico randomizado foi conduzido, avaliando várias drogas versus placebo em pacientes que tivessem recentemente sofrido um infarto:
Isso ocorreu muitos anos antes da descoberta das estatinas, e o estudo foi negativo: embora o desfecho substituto (colesterol) tivesse baixado:
 |
| Redução importante dos níveis de colesterol em relação ao placebo |
o desfecho concreto (mortes) não se modificou:
 |
| Mortalidade estatisticamente igual entre os grupos |
Isso, por si só, já é interessante, mas este não é o assunto dessa postagem. Nosso assunto é MUITO mais interessante.
Os autores, atordoados, tentando entender porque a mortalidade não mudou (afinal, o colesterol foi reduzido), levantaram a seguinte hipótese: a medicação talvez fosse eficaz; as pessoas é que não tomavam o remédio direito. Felizmente, este dado podia ser avaliado de forma objetiva: todos os participantes recebiam de graça frascos com a medicação, e devolviam de volta os frascos a cada 4 meses para receber novos frascos. Isso permitia aos pesquisadores contar quantos comprimidos sobraram. Assim, era possível avaliar quem tomava todas as doses, e quem era mais displicente.
Pois bem, a análise dos dados, publicada em 1980 no New England Journal of Medicine, mostrou um resultado realmente impressionante:
A tabela acima mostra que quem usou corretamente o clofibrato (uma medicação antiga para reduzir o colesterol) teve uma mortalidade de 15% nos anos em que durou o estudo. Já aqueles que usaram a medicação de forma errática tiveram uma mortalidade de 24,6%. Uma diferença ABSOLUTA de quase DEZ por cento em mortalidade, eis uma coisa que não se vê todos os dias em ensaios clínicos randomizados de remédios para o coração. Para fins de comparação, o Lípitor (atorvastatina), em pacientes de alto risco cardiovascular, reduz o risco absoluto de ataques cardíacos em 1 (um) por cento, e isso é considerado excelente (clique aqui para entender a diferença entre risco relativo e risco absoluto).
Assim, já que os que usavam o remédio corretamente morriam DEZ por cento menos (em termos absolutos) do que os que usavam de forma errática, devemos concluir que o clofibrato é uma medicação altamente eficaz na prevenção secundária de mortalidade cardiovascular (de fato, 10 vezes mais eficaz do que as estatinas), e que trata-se apenas de convencer as pessoas a tomar seu remédio corretamente, certo? Certo?
Não.
Acontece que os autores resolveram ver o que ocorreu com o braço placebo do estudo. Lembre-se que o estudo era duplo-cego, ou seja, nem os pacientes, e nem os pesquisadores sabiam quem estava tomando o quê. Assim, havia também pessoas que tomavam religiosamente suas três pílulas de placebo por dia, e aqueles que tomavam o placebo de forma errática. Mas o placebo é uma pílula inerte – que não contém medicação NENHUMA. Assim, é óbvio que não faz nenhuma diferença tomar o placebo corretamente ou não, certo? Tanto faz tomar NADA três vezes ao dia ou nada às vezes sim, às vezes não, certo? Certo?
Não.
Eis o que o estudo encontrou:
A mortalidade foi de 28,2% no grupo que tomava o placebo de forma inadequada, e de apenas 15,1% em quem tomava o placebo bem certinho. Uma diferença ABSOLUTA de 13%. Eu disse TREZE por cento de diferença absoluta em mortalidade, o mais concreto e inequívoco dos desfechos duros.
Respire fundo, tome um ar e absorva esta informação. Tomar corretamente seu placebo, uma pílula inerte que não contém nada, produziu uma redução ABSOLUTA de TREZE por cento em mortalidade em um ensaio clínico randomizado com mais de 8 mil participantes e duração de 8 anos. Como é possível?
Ok, eu confesso que usei impropriamente uma linguagem causal de propósito (como fazem alguns jornalistas de saúde). Porque é evidente que tomar o placebo corretamente não foi a CAUSA da redução gigantesca de mortalidade. Mas a pergunta persiste – então, o que foi?
A resposta, por incrível que pareça, é simplesmente que as pessoas que tomam seus remédios religiosamente como prescrito são diferentes daquelas que os tomam de forma errática. São mais “certinhas“, mais bem comportadas. Por isso, têm menor chance de fumar ou beber em demasia, cuidam-se melhor no que diz respeito a peso, atividade física e alimentação, usam cinto de segurança, capacete, etc.
A magnitude deste efeito impressiona. Treze por cento de redução ABSOLUTA (não relativa!) na mortalidade é algo quase sem precedentes. E é tudo produto de variáveis de confusão – não é real, o placebo não reduz a mortalidade, obviamente.
Para colocar o viés do paciente bem comportado no devido contexto, vamos cotejar com outra situação na qual há evidente participação de variáveis de confusão: comparar pessoas que comem carne vermelha com as que não comem. Pense um pouco: quem é mais “certinho“, mais bem comportado? Quem come carne vermelha todos os dias, mesmo lendo e ouvindo que não deveria, ou quem evita esta prática, pois ouviu falar que faz mal?
Observe a manchete do site O Globo em 2012:
Harvard lança sinal de alerta para a carne vermelha
Pesquisas mostram aumento do risco de doenças crônicas devido ao consumo exagerado deste tipo de proteína
“A pesquisa de Harvard, que acompanhou 120 mil americanos por mais de 20 anos, revelou que o consumo de uma porção diária de carne processada — salsicha ou bacon, por exemplo — eleva em 20% o risco de morte, enquanto a carne não processada, como um bife, aumenta as chances em 13%.”
Ok, vamos ao nosso checklist para avaliação de artigos:
- Trata-se de um ensaio clínico randomizado ou um estudo epidemiológico observacional? Resposta: verificando o estudo original, já pelo título sabe-se que é epidemiológico / observacional, ou seja, não pode estabelecer causa e efeito, e está sujeito a vieses por causa de incontáveis variáveis de confusão, inclusive e especialmente o viés do paciente bem comportado;
- Os percentuais são de risco relativo ou de risco absoluto? Resposta: risco relativo. Para saber o risco absoluto, que os autores do estudo OMITIRAM no artigo original, é preciso achar os número e calcular nós mesmos. Vamos lá:
Pode-se observar que houve 1.713 mortes em 151.212 pessoas/ano no grupo que consumia a menor quantidade de carne vermelha (ou seja, 1,13%) versus 2.130 mortes em 151.315 pessoas/ano no grupo que consumia mais carne vermelha (ou seja, 1,40%).
Assim, a diferença ABSOLUTA de mortalidade entre os que comiam mais carne vermelha versus os praticamente vegetarianos foi de 1,40% – 1,13% = 0,27%.
Vou reescrever então o trecho da notícia:
“A pesquisa de Harvard, que acompanhou 120 mil americanos por mais de 20 anos, revelou que o consumo de uma porção diária de carne vermelha, como um bife, eleva em 0,27% o risco de morte”
Mas nem mesmo esse percentual microscópico é confiável, pois você precisa dar-se conta de que é um estudo observacional, que não pode estabelecer causa e efeito. Será que os comedores de carne vermelha são diferentes dos que não comem carne em outros aspectos? Vamos perguntar aos próprios autores do estudo de Harvard:
“Men and women with higher intake of red meat were less likely to be physically active, and more likely to be current smokers, drink alcohol and have higher BMI. In addition, a higher red meat intake was associated with a higher intake of total energy, but lower intakes of whole grain, fruit and vegetables.”
Traduzindo: “Homens e mulheres com maior consumo de carne vermelha eram menos propensos a ser fisicamente ativos, e mais propensos a ser fumantes atuais e a beber álcool, e têm maior IMC (índice de massa corporal). Além disso, uma maior ingestão de carne vermelha foi associada a uma maior ingestão de energia total, mas menor ingestão de grãos, frutas e legumes.”
Alguém aí consegue imaginar se essas diferenças poderiam explicar uma diferença absoluta de mortalidade de míseros 0,27% em 20 anos? Na verdade, o difícil é explicar que a diferença não seja muito maior.
E é aqui que vem o ponto crucial: se apenas o fato de tomar corretamente os comprimidos de placebo está associado com uma redução absoluta de mortalidade de 13 (treze) por cento, e nós sabemos que isso NÃO é devido ao placebo, e sim ao fato de que pacientes bem comportados vivem mais, pergunta-se: é razoável acreditar que a diferença absoluta de pífios 0,27% (a terça parte de 1 ponto percentual) possa ser atribuída à carne vermelha, mesmo sabendo que eles fumavam mais, bebiam mais e eram mais obesos e mais sedentários, ou seja, eram “mal comportados”?
A maravilha do caso do efeito da adesão ao tratamento, que é um subtipo de viés do paciente bem comportado, é o fato de que podemos medir com precisão a sua magnitude, pois sabemos que a totalidade do efeito observado é por causa das sutis diferenças entres os que aderem corretamente ao tratamento e os que não o fazem. Assim, fica claro que o fato de que os grupos diferem entre si no que diz respeito a tabagismo, etilismo, sedentarismo, renda, etc., não é um pequeno detalhe, e sim algo que pode produzir disparidades de mais de 10% em risco absoluto de morte. O que significa que diferenças pequenas em estudos observacionais são completamente ridículas como base para tomadas de decisão em políticas de saúde, ou para gerar manchetes. Como já se disse aqui, estudos epidemiológicos servem apenas para levantar hipóteses. E, com diferenças absolutas de menos de 1%, nem mesmo para isso (trata-se obviamente de ruído, e não de sinal).
Mas os autores dos estudos observacionais têm ainda uma última carta na manga: os ajustes matemáticos. Funciona assim:
Sabemos que fumar faz mal. E sabemos que quem come mais carne vermelha fuma mais também (afinal, não são bem comportados). Assim, nós podemos ajustar os valores obtidos em comedores de carne vermelha, multiplicando-os por um coeficiente que eliminaria o efeito do cigarro nestes números. Aí, nós multiplicamos por vários outros coeficientes (um para IMC, outro para sedentarismo, outro para comer pouca salada, etc), até que restaria apenas o efeito PURO da carne vermelha. Não é lindo?
Sou só eu que vejo um problema com isso? Sou só eu que questiono a validade de introduzir diversas novas variáveis (os coeficientes), cada um com sua própria margem de erro, e obtidos por sua vez de outros estudos, também epidemiológicos, sujeitos a seus próprios vieses?
Mas, mais uma vez, o estudo do efeito da adesão ao tratamento, nos permite medir com precisão o quanto o ajuste para diversas características, a chamada análise multivariada, realmente consegue eliminar o efeito das múltiplas variáveis de confusão.
Voltando ao estudo, então. Os autores resolveram fazer uma análise multivariada, controlando não apenas para tabagismo, etilismo, sedentarismo, obesidade, mas para um total de QUARENTA características.
Relembrando: estamos comparando pessoas que usaram placebo corretamente versus pessoas que usaram placebo de foram incorreta. Como sabemos que placebo não tem efeito farmacológico, e que com certeza não pode reduzir (de forma absoluta) a mortalidade em 13%, os resultados ajustados devem produzir um valor de ZERO, certo? Em outras palavras, se eu excluir tabagismo, etilismo, sedentarismo, obesidade, etc, usar ou não usar corretamente o placebo não pode estar associado com nenhuma diferença em mortalidade – é óbvio. Vamos aos resultados:
Vamos nos focar nos números entre parênteses no lado direito da tabela, que corresponde aos resultados de quem usou correta ou incorretamente o placebo, após o AJUSTE para 40 características que poderiam estrar afetando os resultados. A mortalidade, após análise multivariada, foi corrigida para 25,8% nos descuidados, e 16,4% nos bem comportados. A diferença absoluta de mortalidade ficou em 9,4%. Ou seja, a manipulação estatística dos dados através do ajuste dos mesmos para os fatores que sabidamente estariam por trás da diferença absoluta de 13% de mortalidade explicou apenas 3,6 destes 13%. O que nos deixa com duas alternativas:
- Os modelos matemáticos de análise multivariada são completamente incompetentes, uma forma de torturar os número até que eles confessem aquilo se quer ouvir;
- As incontáveis outras variáveis (além das quarenta) que não foram medidas ou consideradas, e que diferem entre os que usam o placebo correta ou incorretamente, são mais importantes e, por serem infinitas e desconhecidas, são incontroláveis por modelos matemáticos.
Reproduzo, aqui, o que os autores do estudo sobre o efeito da adesão ao tratamento escreveram, após constatar este fenômeno:
Traduzindo: “Embora ajustes possam ser feitos na análise para fatores que são conhecidos e mensurados, existem ainda muitos fatores prognósticos desconhecidos que afetam a mortalidade, e a distribuição desses fatores nos dois grupos de tratamento, dentro dos subgrupos de [adesão ou não] ao tratamento, não pode ser determinada”
Reproduzo, ainda, outro trecho relevante, na mesma linha (mas não vou traduzi-los por economia de tempo e espaço):
Em resumo, já foi amplamente discutido neste blog o fato de que estudos observacionais não podem estabelecer causa e efeito, de que variáveis de confusão estão sempre presentes, e que tais resultados deveriam ser usados exclusivamente para formular hipóteses a ser testadas em ensaios clínicos randomizados.
No entanto, percebe-se que muitos acreditam que exageramos o papel que eventuais variáveis de confusão possam ter; que quando muitos estudos epidemiológicos apontam para uma mesma direção, “alguma coisa de verdade deve haver ali”. Há ainda aqueles que realmente acreditam que modelos matemáticos (análise multivariada) podem reduzir dramaticamente a importância das variáveis de confusão, tornando confiáveis as associações obtidas em estudos observacionais / epidemiológicos.
O estudo do efeito da adesão ao tratamento (dentro do Coronary Drug Project de 1975) permitiu testar, pela primeira vez, a magnitude real do impacto de tais variáveis. Como a intervenção em questão era placebo, a totalidade da diferença observada foi gerada exclusivamente por variáveis de confusão. E o desfecho observado foi mortalidade por todas as causas (ou seja, não poderia haver erro de aferição ou subjetividade). A magnitude do efeito foi da ordem de 13% de diferença absoluta de mortalidade. E a análise multivariada, a despeito de ter sido conduzida ad hoc por bioestatísticos que já sabiam que a totalidade desta diferença era espúria, ainda assim foi incapaz de reduzir de forma significativa tal diferença, indicando que o controle matemático das variáveis de confusão é um jogo de adivinhação com resultados pífios – longe de ser a ciência exata que os ingênuos imaginam.
Como seria bom se os autores de estudos epidemiológicos na área da nutrição pudessem substituir parte de sua arrogância epistemológica por um pouco da cautela demonstrada pelos autores deste estudo de 1975.
Mas, enfim, se depois de tudo isso você ainda estiver convicto de que a diferença absoluta de 0,27% de mortalidade identificada pelo estudo observacional de Harvard é real, sugiro que comece a tomar seu placebo três vezes ao dia, SEM FALTA.