Quando alguém é carismático, tem um discurso assertivo, possui um bom português, é inteligente, fluente, tem boa aparência e domina a oratória; os ouvintes (ou leitores) tendem a tomar o que essa pessoa fala como verdade absoluta.
Quando falo “boa aparência” envolve uma constelação de atributos (altura, beleza, idade, tom de voz, forma física etc). Não há aqui embutido um preconceito meu, apenas é um conjunto de atributos que, incrivelmente, atua de forma inconsciente em muitas pessoas e termina influindo na credibilidade do que é passado na mensagem.
Geralmente, opiniões absolutas que usam palavras como “sempre”, “nunca”, “todos”, “nenhum” (ou as têm de forma implícita) contém invariavelmente bobagens.
No caso do festejado depoimento da Dra. Luana Araujo na CPI, ainda que ela tenha dito coisas pertinentes (segundo me disseram, porque só assisti pequenos trechos), além de faltar com a verdade aqui e ali, comete alguns equívocos, ainda que esbanje confiança nas “verdades” que está falando.
Aqui alguns pequenos trechos da sessão de 2 de junho de 2021 da CPI, que durou 7:21’19” e dois trechos tirados de um post recente dela no seu blog, cada um deles seguido dos meus comentários (cada fala dela pode ser conferida clicando-se no link com a hora no título).
1 – Senador Eduardo Girão – 4:22’06”
“E várias meta-análises, algumas já publicadas, como a do Dr. Pierre Kory, outras de uma das maiores especialistas do mundo em Medicina baseada em evidência, a da Dra. Tess Lawrie, em vias de publicação, dentre outras, em preprint, como a da Dra. Karale, em colaboração com pesquisadores da Clínica Mayo… e que o estudo mais recente na cidade do México com 220 mil demonstrou grande eficácia na prevenção da COVID-19.”
Meu comentário: O senador, lendo, errou em 2 pontos. O estudo na cidade do México, foi com 233 mil pessoas e não 220 mil e não focou na prevenção, mas no tratamento já na fase inicial da COVID-19.
A título de curiosidade: a Mayo Clinic, centro médico acadêmico americano sem fins lucrativos com foco em saúde, educação e pesquisa integradas; é classificada como a número 1 nos Estados Unidos para 2019-20, entre os melhores hospitais, mantendo uma posição no topo ou perto por mais de 27 anos.
2 – Dra. Luana Araújo – 4:30’24”
“Existem revisões sistemáticas importantíssimas, num grupo, por exemplo, chamado de Cochrane, que falam exatamente sobre os tratamentos, todos que têm sido analisados.”
Meu comentário: Ela faltou com a verdade, porque a Cochrane não fez exame sistemático de todos os tratamentos propostos para a COVID-19, nem a maioria deles. Remédios como Remdesivir, Fluvoxamina, Budesonida, Tocilizumab não foram avaliados. Quem duvida basta procurar os termos citados e ir na aba Cochrane Evidence.
No caso, de fato, a Cochrane publicou uma revisão sistemática da HQC reprovando-a e uma revisão inconclusiva sobre a Vitamina D, mas a revisão sistemática da IVM ainda está em curso. Dra. Luana também nada comentou do enorme estudo do México, nem para corrigir o senador.
Aliás, uma das meta-análises favoráveis à IVM tem coautoria da Tess Lawrie, que é colaboradora assídua do Cochrane como coautora em 39 artigos sob o nome Theresa A Lawrie; portanto profunda conhecedora das técnicas de revisões sistemáticas e meta-análises.
3 – Dra. Luana Araújo – 4:32’33”
“Com relação às meta-análises, e o senhor citou, com relação a juntar estudos que podem ser enviesados, é por isso que é tão importante que dentro da formação médica, existe uma formação sólida em epidemiologia.”
Meu comentário: Ela perdeu a noção aqui. Meta-análise é um campo de estudo da estatística (No caso de Medicina, geralmente é um tópico de uma ou mais cadeiras do curso de graduação ou pós-graduação) e não apenas na área de epidemiologia (“ramo da medicina que estuda os diferentes fatores que intervêm na difusão e propagação de doenças, sua frequência, seu modo de distribuição, sua evolução e a colocação dos meios necessários a sua prevenção.”)
4 – Dra. Luana Araújo – 4:32’48”
“Porque existe um vício comum aos profissionais de saúde, que eles leem o abstract, introdução, resumo e eles leem a conclusão, não leem a metodologia, que é a coisa mais importante que existe no artigo científico, porque é só através dela que a gente consegue entender se existe algum tipo de viés, se existe algum tipo de fator de confundimento. “
Meu comentário: Ela empregou um termo mais usado em epidemiologia (fator de confundimento). No contexto mais geral é bem mais usual usar o termo variável de confusão (confounding factor), também chamada de fator de confusão ou confundidor, é uma variável que influencia tanto a variável dependente, quanto a variável independente, causando uma associação espúria.
A título de curiosidade, ela quis mostrar sua proficiência em inglês, mas pronunciou a palavra abstract de forma equivocada (“ébstract“) (Quem acha que estou sendo implicante, a Dra. Luana fez um curso de quase 1 ano em Johns Hopkins em Baltimore nos EUA, portanto ela deveria saber pronunciar essa palavra).
No geral, para entender vieses e outros problemas de um estudo, o artigo inteiro é importante, e não apenas adicionalmente a metodologia. Às vezes, há problemas na escolhas das variáveis, dosagens, sintomas, efeitos adversos, tempo de tratamento, desbalanceamento de atributos nas amostras etc.
No caso de pesquisadores que publiquem meta-análises ou qualquer estudo que referencie um artigo, saindo dos profissionais de saúde curiosos, a acusação dela é um completo absurdo. Equivale a chamar pesquisadores de farsantes.
Em suma, qualquer autor sério lê os artigos selecionados de cabo a rabo para estabelecer pesos e classificações que serão quantificadas no resultado da meta-análise.
Inclusive, em algumas meta-análises, os autores, entram em contato com os responsáveis por cada estudo pré-selecionado para ser incluído nele. Por exemplo, esse foi o caso da meta-análise de IVM do pesquisador inglês Dr. Andrew Hill.
5 – Dra. Luana Araújo – 4:35’03”
“Eu considero absolutamente natural que lá no início da pandemia, a gente tenha tentado todas essas coisas. O mundo inteiro tentou isso, mas insistir, depois de 1 ano da pandemia, e de evidências acumuladas, dezenas de revisões sistemáticas, estudos bem-feitos, randomizados, controlados, de qualidade (você pode randomizar e controlar porcaria), tudo muito bem feito, que a gente insiste em algo que infelizmente não tem valor, e pior do que isso, pode vulnerabilizar as pessoas.”
Meu comentário: No que se refere à Ivermectina, ela está completamente equivocada. Dra. Luana não só não se referiu às meta-análises favoráveis citadas pelo senador, como citou, de forma genérica “dezenas de revisões sistemáticas, estudos bem-feitos, randomizados, controlados, de qualidade”, como reprovando qualquer alternativa para a fase inicial da COVID-19, o que é totalmente inverdade, já que TODOS os estudos randomizados e revisões sistemáticas a favorecem, exceto o tal questionável estudo colombiano (mesmo essa favorece na progressão da doença, mas sem relevância estatística).
Também relativo a outros fármacos, como a Budesonida inalável, Fluvoxamina, Dutasterida etc; não há nenhum tipo de revisão ou estudo contrário que foi publicado.
Mesmo sobre a HQC, ainda que basicamente refutada, a Dra Luana inflou os números, referindo-se a “dezenas” de pesquisas contrárias.
6 – Dra. Luana Araújo 4:36’31”
“Existe uma revisão sistemática, que mostra um odds ratio, uma medida estatística de aumento de risco , de 1.77 para o uso da cloroquina. Isso significa um aumento de mortalidade de 77%. Esse dado não é brasileiro, este dado é de uma revisão sistemática que foi feita. “
Meu comentário: Afirmação verdadeira, mas completamente fora do lugar e irrelevante, porque o fator de 1,77 foi especificamente para a cloroquina e não para a hidoxicloroquina, e não teve estatisticamente NENHUMA relevância, com p-value bem acima de 5% (21%). O valor para HQC foi de 1,11 (bem menor). A fala dela induz a um erro de interpretação.
Mais a mais, a Dra. Luana confundiu o conceito mais simples de risk ratio (a relação direta de chances), usado no artigo, com odds ratio. Mais detalhes em “Armadilhas comuns na análise estatística: probabilidades versus risco” (2015).
7 – Blog Des – Infectando! – Dra. Luana Araújo – “PERGUNTA DO DIA: “DRª, MAS O QUE RAIOS É UMA META-ANÁLISE?” (27 de Maio de 2021)
“As meta-análises não conseguem providenciar esse contexto, porque os estudos …. não são controlados e não são cegos. Ainda que utilizem isso, no seu conjunto, não há unidade, não há homogeneidade. É como comparar laranjas e limões, só por serem frutas.”
Meu comentário: Se realmente a limitação para uso de estudos para uma meta-análise, mesmo se limitando a estudos randomizados (RCTs – randomized controlled trials), exigisse uma semelhança tão grande assim entre diferentes estudos que usam diferentes desenhos; seria quase impossível fazer uma meta-análise na prática: exigiria estudos quase clonados um do outro.
Por essa razão, as técnicas de meta-análises tentam englobar essa heterogeneidade e ainda assim obter diagnósticos úteis, onde a soma seja maior que as partes (Veja por exemplo em “Advances in the meta-analysis of heterogeneous clinical trials I: The inverse variance heterogeneity model – Contemporary Clinical Trials 2015 e “Advances in the meta-analysis of heterogeneous clinical trials II: The quality effects model” — Contemporary Clinical Trials 2015).
8 – Blog Des – Infectando! – Dra. Luana Araújo – “PERGUNTA DO DIA: “DRª, MAS O QUE RAIOS É UMA META-ANÁLISE?” (27 de Maio de 2021)
“Em resumo: A META-ANÁLISE NÃO CONSEGUE DEFINIR A EFICÁCIA DE UMA MEDICAÇÃO E NÃO DEVE SER USADA PARA ISSO.”
Meu comentário: Tanto o título do artigo, quando esse resumo no final do artigo, à guisa de conclusão, estão em caixa alta. Irritante.
A meu ver, Dra. Luana está totalmente errada nisso.
Ora, vou começar deixando um artigo geral (Meta-analysis in medical research – 2010) no contexto da Medicina.
Para a CPI ela ainda disse que meta-análise é só um método estatístico e o que vale é uma revisão sistemática.
Ora, na verdade, eles formam um par, senão não é nem pesquisa quantitativa.
Uma meta-análise sem revisão sistemática não existe em pesquisa minimamente séria, seria só brincar com números. Uma revisão sistemática sem meta-análise é valida, mas é só um texto, sem que dê para derivar nada numérico.
Enfim, a meta-análise põe uma camada estatística sobre a revisão sistemática, de modo a obter números simples que resumam as evidências selecionadas.
Um post no blog The Logic of Science, intitulado “The hierarchy of evidence: Is the study’s design robust?” (2016) resume bem o papel das revisões sistemáticas e meta-análises.
A autor (anônimo , que se autodenomina fallacy man) diz de si mesmo: “B.S., M.S. e Ph.D. em biologia, e atualmente é pesquisador de pós-doutorado em uma universidade. Tenho mais de uma década de experiência em pesquisa e publiquei vários artigos revisados por pares, servi como revisor para muitos periódicos e apresentei minha pesquisa em conferências profissionais nacionais.”
Abaixo traduzo, de forma levemente adaptada, o trecho final de um post.
Revisões sistemáticas e meta-análises (força = muito forte)
No topo da pirâmide de evidências, temos revisões sistemáticas e meta-análises. Estes não são experimentos em si, mas sim revisões e análises de experimentos anteriores. As revisões sistemáticas vasculham cuidadosamente a literatura em busca de informações sobre um determinado tópico e, em seguida, condensam os resultados de vários testes em um único artigo que discute tudo o que sabemos sobre esse tópico. As meta-análises vão um passo adiante e realmente combinam os conjuntos de dados de vários documentos e executam análises estatísticas em todos eles.
Ambos os projetos produzem resultados muito poderosos porque evitam a armadilha de depender de qualquer estudo. Uma das coisas mais importantes que você deve ter em mente ao ler artigos científicos é que você deve sempre tomar cuidado com a síndrome do estudo único. Artigos ruins e artigos com conclusões incorretas ocasionalmente são publicados (às vezes sem culpa dos autores). Portanto, você sempre tem que olhar para o corpo geral da literatura, ao invés de se apegar a um ou dois artigos, e meta-análises e revisões fazem isso por você. …. a revisão sistemática tende a corrigir erro atômicos, colocando um estudo ruim no contexto mais amplo de todos os outros estudos que discordam dele’
Epílogo
As mentiras mais fáceis de acreditar são aquelas que, além de originárias de uma fonte credível, como falamos acima, se coadunam com o nosso conjunto de crenças, e portanto nos confortam, por ajudar a mantê-las.
