Opinião

UOL faz crítica tosca a artigo sobre IVM

Metapesquisa do tratamento com ivermectina

Enfim, o artigo “Preliminary meta-analysis of randomized trials of ivermectin to treat SARSCoV-2 infection” do Dr. Andrew Hill foi publicado em 19 de janeiro, sem revisão por pares, no Research Square.

É um artigo consistente, bem organizado, com 37 páginas e repleto de tabelas no final.

Afinal, de onde veio isso?

O Dr. Andrew Hill leciona na Universidade de Liverpool, atua na Unitaid, ligada à OMS, além de ser um pesquisador prolífico, com mais de 200 artigos publicados sobre hepatite C, AIDS etc., incluindo nos 2 mais reputados periódicos do mundo (New England Journal of Medicine e The Lancet). Ou seja, ele não “nasceu” em 2020, como muitos.

Dr. Andrew teve ainda um importante papel na mudança no início desse ano do status da Ivermectina de contrário para neutro, nas recomendações oficiais da NIH (National Institute of Health).

Primeiro, um vídeo dele vazou, enfim resultou no artigo acima citado. Para acompanhar essa história melhor, que inclui um e-mail do Dr. Andrew para mim, leia aqui.

A UOL chega para detonar!

Muito rapidamente a UOL preparou uma reportagem intitulada “Covid-19: por que estudo que indica eficácia da ivermectina não é confiável”, assinada por Giulia Granchi, cujo objetivo é massacrar o artigo.

Giulia é repórter do UOL, novinha, e trabalha no “Bem Estar”. Se formou jornalista em 2017 na Cásper Líbero.

Dr. Marco Bittencourt é convocado para o linchamento

Giulia Granchi pescou então o especialista Marcio Sommer Bittencourt com doutorado na USP em cardiologia finalizado em 2014 (pela foto, pouco mais de 30 anos), para dar um ar de respeitabilidade à sua matéria (falácia da autoridade).

O que Dr. Marcio falou no passado sobre a pandemia?

Pelas postagens passadas em tempos de pandemia, desde março de 2020, dá para ver que ele é do tipo que não dá nada para pacientes, sem que esteja rigorosamente demonstrado por estudos anteriores, ainda que eles venham a falecer por falta de qualquer opção medicamentosa.

No tempo da H1N1, provavelmente o Dr. Marcio não teria receitado Tamiflu, por exemplo, antes de ter sido provado de forma cabal que o remédio funciona. Isso, aliás, matou muita gente à toa.

Quando alguém em maio ranqueou lugares perigosos para contágio de COVID-19 em ordem decrescente, colocando locais como hospitais, academias, e transportes públicos (faltou por boate) na frente da lista e a casa em último, o mesmo Marcio Sommer Bittencourt disse, de forma irresponsável, colocando todos os lugares no mesmo balaio:

“Ranquear os lugares não faz sentido porque o contágio depende de quantas pessoas estão circulando lá, o quão próximas elas estão e quanto tempo se passa dentro do ambiente, Por isso a ideia do isolamento físico, usar máscara e ficar a dois metros de distância.”

Em suma, segundo Marcio Bittencourt, na sua própria casa você passa a ser forçado a usar máscara, ficar a 2 metros de distância, e a manter isolamento físico. Ou seja, não nasce mais ninguém….

De volta à vaca fria

Sem mais delongas, vamos dissecar o artigo da UOL, ponto por ponto, em 5 itens:

Item 1: preconceito in natura

Sobre o artigo, o douto Marcio Sommer Bittencourt inicia dizendo: “É tão mal feito que não dá para tirar qualquer conclusão, o que os próprios autores reconhecem no fim do artigo”

𝙍𝙚𝙨𝙥𝙤𝙨𝙩𝙖: Essa frase é tão eivada de preconceitos que me dá engulhos. Se os próprios autores tiveram a humildade de reconhecer as limitações de forma clara, não tem nada de errado. Isso é muito comum em papers.

Item 2: mentira cristalina

Única frase da própria Giulia: “O estudo é uma meta-análise, o que significa que primeiro é feita a coleta de forma sistemática de todos os dados disponíveis —sem quaisquer filtros específicos”

𝙍𝙚𝙨𝙥𝙤𝙨𝙩𝙖: É mentira dizer que a metapesquisa não tem filtros, o paper diz claramente “foram excluídos estudos de prevenção e estudos não randomizados ou controlados por casos. Identificamos e incluímos 18 RCTs”

Item 3: cerejas com melancias, dá para acreditar?

Marcio Sommer Bittencourt desarvora: “Esse novo estudo, no entanto, não seguiu todas essas etapas, e as que foram seguidas não foram feitas de forma correta … Em uma explicação leiga, imagine que o estudo quer saber quantas frutas as pessoas comem por dia. Só que um analisa cerejas e indica que as pessoas comem 50 unidades, e outro analisa melancias, que diz que as pessoas comem um terço. Não são dados compatíveis e por isso as pesquisas não devem ser analisadas juntas”

𝙍𝙚𝙨𝙥𝙤𝙨𝙩𝙖: Mais uma tonelada de preconceitos do senhor Marcio Sommer Bittencourt. Ele comparou uma seleção de 18 randomized controlled trials (RCTs) em pessoas com análise comparada de cerejas e melancias. Piada completa.

Item 4: não deu tempo, brother

Marcio Sommer Bittencourt continua sua artilharia: “Outro problema é que a maioria dos artigos escolhidos para a meta-análise não foram publicados e revisados por pares, o que garantiria a checagem da qualidade”

𝙍𝙚𝙨𝙥𝙤𝙨𝙩𝙖: Claro!!! Não houve tempo suficiente para todos artigos serem revisto por pares. Isso pode levar meses. Essa é uma premissa que o artigo teve que se submeter, para poder acontecer. Estamos em uma pandemia. Dos 18 artigos, 5 são revistos por pares.

Item 5: mentira + acusação sem provas ou evidências

Marcio Sommer Bittencourt fuzila: “A maioria dos estudos escolhidos não é duplo-cego nem possui grupo placebo, então, o médico sabendo, ele pode resolver tirar alguns participantes do estudo, caso avalie o quadro de determinada pessoa como grave”

𝙍𝙚𝙨𝙥𝙤𝙨𝙩𝙖: Mentira parcial, pois 11 dos 18 artigos são duplo cego (DB) e 7 dos 18 artigos usam placebo. A segunda parte é uma acusação frontal de fraude em várias das pesquisas usadas, sem qualquer evidência ou prova. Ainda que exista chance de fraude, não se pode afirmar isso a priori.

O que a UOL não disse

A reportagem não disse quem é Dr. Andrew Hill, seu papel junto a OMS através da Unitaid, sua atuação junto a fundações Bill e Melinda Gates e Fundação Clinton (do Bill Clinton) e finalmente sua atuação junto a NIH norte-americana para mudar o status da ivermectina.

Isso tudo não interessava à causa. Afinal, a conclusão do artigo da Giulia já estava pronto antes dela começar a redigi-lo.

Em relação ao artigo em si, a reportagem deixou de falar o problema mais relevante com os artigos usados na metapesquisa, embora Dr. Andrew Hill e seus colegas foram transparentes na tabela final.

Na tabela de avaliação de risco de viés, cada artigo é avaliado como risco baixo, alto ou pouco claro com base nos critérios pré-especificados estabelecidos no índice de risco Cochrane de vieses. Com base nisso, a qualidade de evidência por artigo é limitada em 12 dos artigos, OK em 5 dos artigos e boa em apenas 1 dos 18 artigos.

Ainda bem que o próprio Dr. Andrew Hill disse que estudos maiores e melhores estarão chegando logo, para que ele finalmente possa ter argumentos mais conclusivos para convencer a OMS a mudar o status da ivermectina para COVID-19.

Há precedentes

Outro exemplo deplorável foi a doutora e escritora brasileira Natália Pasternak (assídua colaborada da grande imprensa), que publicou em julho de 2020 um artigo triste de “divulgação científica” na revista Questão de Ciência, onde debocha e descarta a ivermectina, chamando-o pejorativamente de remédio contra minhocas.

Conclusão

Não sou contra criticar nada, mas é preciso fazê-lo de forma sóbria, relativamente isenta e embasada; podemos dizer que isso é tudo que o artigo da UOL não é. Ele desqualifica o trabalho de um time de pesquisadores de forma leviana, sendo que a jornalista deu voz a um professor com PhD (falácia da autoridade), embora com um currículo muito mais modesto que o do Dr. Andrew Hill.

Preconceituoso, nojento, lamentável, tosco e triste.

Epílogo

Para quem ainda não leu, penso que é bem interessante ler os artigos sobre tratamento precoce de COVID-19 recentemente publicados: o meu e o ótimo artigo de Rodrigo Losso, complementares entre si, sóbrios e neutros; do ponto de vista político.

Update (23/Jan): Saiu um novo vídeo do Dr. Andrew Hill detalhando o paper dele, que saiu preprint em 19 de janeiro. São 45′ com legendas em inglês, mas eu recomendo fortemente para os interessados.

Paulo Buchsbaum

Fui geofísico da Petrobras, depois fiz mestrado em Tecnologia na PUC-RJ, fui professor universitário da PUC e UFF, hoje sou consultor de negócios e já escrevi 3 livros: "Frases Geniais", "Do Bestial ao Genial" e um livro de administração: "Negócios S/A". Tenho o lance de exatas, mas me interesso e leio sobre quase tudo e tenho paixão por escrever, atirando em muitas direções.

Artigos relacionados

27 Comentários

  1. O próprio comentário do autor já indica com diversos preconceitos: Pouca idade, deve ter em torno de 30 anos…. Modus operandi habitual de tentativa de destruição de reputações por critérios não técnicos… O Dr Márcio (não doutor por ser médico e sim por ter PhD) e um médico de renome internacional sendo Msc por Harvard em Saúde Pública e PhD em Cardiologia… E não, não tem 30 anos, como se isso importasse ou fosse característica definidora de seu embasamento no assunto…. O autor deste texto é formado em Geofísica!!!! O fato de ter grau avançado em uma área não dá confiabilidade de opinião em outras…. Um médico ou biólogo, por mais que seja PhD não está apto a opinar em Geofísica ou Matemática ou Economia….. O mesmo vale no sentido inverso…. A opinião do autor, mesmo tem grau avançado de formação em outra área, nesse caso tem relevância zero…. E realmente um Papo de Boteco….. Hoje temos economistas, matemáticos, físicos dando opinião e Covid, tratamentos e vacinas como se fossem PhD em Imunologia. Microbiologia ou Infectologia…. Com relação ao tratamento, a opinião Técnica do Dr Márcio está correta. Porém use quem quiser, prescreve quem quiser. Saiba os risco e a falta de embasamento dos benefícios mas use se quiser… Só não ache que isso é a cura, não é…. Se fosse, o mundo inteiro, EUA, Europa estaria usando e não haveriam mais interações…. Por que só os gênios daqui advogam isso? O Brasil é o celeiro de gênios agora? Quantos Nobel de Medicina ou qq área temos? Cada um tem o direito de crer no que quiser, porém influenciar os outros a risco e muito diferente…. E a ansiedade hoje de tentar fazer assassinato de reputações para gerar cliques e impressionante…. Até mesmo para um papo de Boteco.

    1. Citar a idade em si sem maiores comentários não destila nenhum preconceito. É apenas um fato. Não falei 30, falei 30 e poucos, pode ser 35 anos, isso não importa.

      Não me refiro aqui à opinião do Dr. Marcio sobre a ivermectina, refiro-me à forma desrespeitosa como ele se referiu ao artigo, botando claramente em dúvida a honestidade e a competência do Dr. Andrew Hill e sua equipe. (https://threadreaderapp.com/thread/1352588785540804608.html)

      Nessa curta reportagem da UOL, Dr. Marcio falou inverdades que tentam jogar a reputação do Dr. Andrew Hill no chão:

      1) insinuar que que Dr. Andrew Hill prestou uma declaração falsa quando disse que usou o PRISMA (Ele não só usou, como empregou RevMan 5.3 – O manual está aqui: https://training.cochrane.org/sites/training.cochrane.org/files/public/uploads/resources/downloadable_resources/English/RevMan_5.3_User_Guide.pdf),
      uma ferramenta de software especializada para lidar com metapesquisa, critérios Conchrane, incluindo o framework do Prisma),
      2) que os autores de estudos individuais usados (por constar como coautores) estão em conluio com a metapesquisa, quando a verdade é que a equipe do Dr. Andrew Hill teve acesso à cada pesquisa individualmente, mas eles, de países diferentes, não trocaram figurinhas entre si. Se o Dr.Marcio estive certo, o Dr. Andrew Hill seria um grande fraudador, que armou tudo para dar certo.
      3) Ele afirma que a maioria dos artigos não são duplo cego, quando o são.

      E discordo que é preciso negar o direito de não especialistas de falar. Não posso falar de pontes porque não sou arquiteto ou engenheiro?

      Em uma crítica mais extensa, Dr. Marcio sentou a pua (https://threadreaderapp.com/thread/1352588785540804608.html),

      Você acha mesmo elegante e responsável a forma como o Dr. Marcio Bittencourt se referiu ao colega Dr. Andrew Hill (“picaretagem”, “lixo”, “baboseira”), um cara que tem mais 200 artigos publicados (The Lancet, Science, NEJM) revisto por pares?

      Em nenhum momento, Dr. Andrew Hill diz que está provado que a IVM funciona (https://youtu.be/eu61dtsSLrk ). Ele (junto à OMS) vai chegar a 56 trabalhos até abril/2021 alcançando 7.491 pacientes.

      Não duvido que o Dr. Marcio Bittencourt seja um ótimo médico e pesquisador, mas ele pegou pesado aqui contra o Dr. Andrew Hill e seus pesquisadores.

  2. Prezado Sr Paulo Buchsbaun… Acredito que aprendemos e evoluímos com as críticas. Por favor, permita-me um comentário. Para conseguir meu doutorado pela Faculdade de Medicina da USP, precisei estudar necessariamente medicina baseada em evidências, bem como bioestátistica e aprender a reconhecer como desenhar, analisar e interpretar dados científicos sem paixão ou torcida, mas com isenção… Como cidadão gostaria muito e torço muito para que o tratamento precoce funcione e que as vidas fossem todas salvas… Porém como médico que tem preço a ciência não posso me eximir da responsabilidade científica em tudo que eu falar ou escrever, pois existe uma linha tênue entre curandeirismo e tratamento baseado em evidências científicas. Em uma doença como Covid, em que a taxa de mortalidade global no mundo não passa de 1% dos infectados, o que não minimiza o número de milhares de mortes, cientificamente 99% das pessoas vão se curar independente do tratamento que fizer e isto é muito claro e até intuitivo, não precisa ter doutorado na área para entender que 99% dos infectados se tomarem chá de alho, mel, jujuba, hidroxicloroquina, ivermectina, feijão do apóstolo Waldomiro e por aí vai, vão se recuperar independente do que usarem para se tratar… Assim para se provar cabalmente que determinado medicamento empregado no tratamento seja efetivo, ele precisa ser melhor que placebo, chá de alho ou bala de jujuba… Para que isto ocorra é fundamental que o medicamento X seja confrontado contra placebo de maneira duplo cega (nem o paciente nem o pesquisador sabem o que estão administrando); randomizada (aleatoria); prospectiva (análise futura com seguimento a partir de determinado ponto do tempo) e com número de pacientes minimamente expressivo e significativo para se evitar o viés que aquele resultado seja ao acaso, pela sorte…. após este desenho do trabalho e aplicação do estudo, todos os dados precisam ser submetidos ao menos a 2 revisores independentes para que se aprovados, e só então publicados em revistas científicas… O que ocorreu desde o início da pandemia foi uma tentativa de ter o maior número de dados possíveis em menor intervalo de tempo para que todos os cientistas, médicos e profissionais de saúde tivessem o máximo de informação possível em menor intervalo de tempo, desta forma as revistas científicas aceitaram publicar a maioria das informações coletadas e experiências com qualquer coisa no mundo que falasse sobre a COVD, sem necessariamente ter um crivo científico definidor sobre o tratamento…. O que o Dr. Márcio Sommer Bittencurt traz é justamente isso; na totalidade dos estudos que o autor traz sobre a ivermectina, não há 1 estudo randomizado, duplo cego, placebo controlado que tenha significado estatístico suficiente que comprove que ivermectina seja melhor que placebo…. Os estudos retrospectivos, ou relatos de casos ou não placebos controlados ou observacionais, são todos classificados como gerador de hipótese científica e não definidores de tratamento. A partir da geração da hipótese vc precisa testar adequadamente de acordo com o crivo científico adequado, como se fez com as vacinas fase 3 por exemplo… Nada impede que desenhem e façam um estudo duplo cego, randomizado, prospectivo, placebo controlado que mostre no futuro o beneficio da ivermectina ou cloroquina ou qualquer outra coisa, estão testando colchicina agora por exemplo desta forma, este ainda nao saiu…. Mas o mais importante de tudo é não deixar que as nossas crenças pessoais turve a nossa visão para continuarmos sendo médicos éticos e não curandeiros….. todos querem um medicamento milagroso, inclusive eu, aí se temos pessoas que não tem o conhecimento adequado em medicina baseada em evidências ou bioestatística interpreta erroneamente dados incorretos, acaba sendo forte combustível para fomentar crenças não ciência…. O que o Dr. Márcio Sommer Bittencourt traz em sua explanação é a mais pura ciência… Mas para quem torce e acredita que a terra é plana, qualquer argumento que possa indicar que o terraplanismo seja verdade, é muito difícil encarar as evidências claras que a terra seja redonda… Veja o desastre que foi em Manaus, veja o depoimento do medico intensivista fez e que deixou claro que todos os pacientes que atendeu tinham usado tratamento precoce sem sucesso e estavam morrendo na uti naquele momento com a falta de oxigênio…. A irresponsabilidade do tratamento precoce e pessoas que estão também utilizando como profilaxia, pode levar a um descuido populacional fatal, em que muitas vão se contaminar acreditando ter uma droga milagrosa que impeça que ela adoeça…. Esta responsabilidade de divulgar os dados corretos e preciso a todos, além dos profissionais de saúde precisa ser compartilhada com todos os meios de comunicação pois isto implica diretamente em vidas que poderiam ser salvas…. Grande abraço a todos que cosenguiram ler

    1. 1) “Em uma doença como Covid, em que a taxa de mortalidade global no mundo não passa de 1% dos infectados, o que não minimiza o número de milhares de mortes, cientificamente 99% das pessoas vão se curar independente do tratamento que fizer e isto é muito claro e até intuitivo, não precisa ter doutorado na área para entender que 99% dos infectados se tomarem chá de alho, mel, jujuba, hidroxicloroquina, ivermectina, feijão do apóstolo Waldomiro e por aí vai, vão se recuperar”

      Concordo, e falo isso em outro lugar. Também não considero a IVM provada, nem o Dr. Andrew Hill considera. Critico muito a forma como foi conduzida a reportagem e a falta de contraditório. Não se apresentou o autor e o contexto: é como se um aventureiro qualquer dando uma de pilantra publicando um artigo preprint (qualquer um pode publicar!) para promover a IVM, sem esperança dele ser publicado. Dr Marcio se esqueceu o tal “anônimo” publicou mais de 200 papers em periódicos de ponta como The Lancet, NEJM ou Science, trabalha junto à UNITAID (OMS), conduz ONGs que dão assistência a vítimas de AIDS na África, participa de ações junto às fundações Clinton (Bill Clinton) e a fundação Bill e Melinda Gates.

      2)” O que o Dr. Márcio Sommer Bittencourt traz é justamente isso; na totalidade dos estudos que o autor traz sobre a ivermectina, não há 1 estudo randomizado, duplo cego, placebo controlado que tenha significado estatístico suficiente que comprove que ivermectina seja melhor que placebo….”

      Sim, verdade, não há um estudo randomizado, duplo cego, placebo controlado que tenha significado estatístico, mas aí que entra o poder potencial de uma metapesquisa. Ela traz a capacidade de transformar VÁRIOS estudos fracos (não estou falando aqui de fraude, quando há, o estudo não vale nada) em um estudo forte. Você bem sabe que na área de ciências biológicas e sociais são feitas centenas de metapesquisas usando estudos individuais não tão bons e existem heterogeneidade. (https://training.cochrane.org/handbook/current/chapter-10#section-10-10).

      O Dr.Andrew Hill usou o software RevMan 5.3, o padrão ouro para metapesquisas, que usam o PRISMA e os critérios Cochrane, apesar das acusações (sem base) que o Dr. Andrew Hill (“Uma lista de regras famosas é o PRISMA. Eles dizem que seguiram, mas não seguiram.” – https://threadreaderapp.com/thread/1352588785540804608.html) não teria usado o PRISMA.

      ✪ ✪ ✪

      No dia 19 de janeiro, Carlos Chaccour, médico venezuelano radicado na Espanha e um dos maiores especialistas mundiais em Ivermectina, publicou um belo trabalho na The Lancet, segundo periódico de maior expressão na Medicina. (https://www.thelancet.com/journals/eclinm/article/PIIS2589-5370(20)30464-8/fulltext)

      Anteriormente, ele já tinha escrito sobre a segurança de altas dosagens, e formas alternativas de uso do remédio (nebulização) tendo publicado uma pesquisa com dosagens elevadas em ratos na Nature.
      (https://www.nature.com/articles/s41598-020-74084-y)

      Além disso, o artigo “Efficacy and Safety of High-Dose Ivermectin for Reducing Malaria Transmission (IVERMAL) – https://bit.ly/3qOS0Tw – 2016 – revisado por Carlos Chaccour), mostra referências a estudos de perfil de segurança com até 10 vezes a dosagem padrão usada para IVM (2 mg / kg)

      Seu trabalho corrente, além de encontrar resultados interessantes em uma pequena amostras de pacientes (que é o menos importante, no caso), especula sobre alguns possíveis mecanismos de ação e porque a concentração in vitro elevada não derruba as chances da ivermectina no tratamento da COVID-19.

      Considerando que a maior parte do impacto da doença grave ocorre nos pulmões e que esse tecido pode ser um local-chave para a transmissão, foi considerado o potencial de acumulação de drogas candidatas no tecido pulmonar. Foi previsto que ivermectina chega a atingir concentrações pulmonares mais de 10 vezes maiores do que a prevista pela dosagem in vitro
      (“Prioritization of Anti‐SARS‐Cov‐2 Drug Repurposing Opportunities Based on Plasma and Target Site Concentrations Derived from their Established Human Pharmacokinetics – https://bit.ly/3sRS4Ul – Maio/2020)

      Como se estimava que precisaríamos 35 vezes a concentração IC50 encontrada in vitro no experimento na universidade de Monash na Austrália, a concentração de 10 vezes poderiam fazer com que uma dosagem 3,5 vezes maior que a padrão já tivesse efetivo efeito anti-viral. Os autores australianos da Universidade Monash, que fizeram a descoberta inicial em abril, concordam com isso (https://www.mdpi.com/2073-4409/9/9/2100, “Ivermectin as a Broad-Spectrum Host-Directed, Antiviral: The Real Deal?”, em artigo revisto por pares, publicado na revista Cells.(Set/2020)

      Dentro desse contexto, alguns dos estudos que estão no prelo (O Dr. Andrew Hill estimou que até abril teremos o resultado de 7.491 pacientes em 56 estudos de 21 países) preveem doses de até 1,2 mg /kg

      ✪ ✪ ✪

      Eu não defendo tomar IVM como profilático, e acho longe de dizer que a IVM é um remédio que funciona; mas se eu tivesse COVID-19 hoje, sendo minha filha médica, me reservo ao direito de tomar Ivermectina (decisão individual), mesmo que a chance de funcionar ainda não seja alta, porque os efeitos colaterais e riscos são bem baixos e não há nenhuma opção minimamente disponível. Se isso já puder reduzir o risco de morte em 10% (e nao os 75% resultantes da metapesquisa do Dr.Andrew Hill, já será alguma coisa. Sei que tenho que observar o curso da doença, tendo em vista que IVM nunca será uma bala de prata.

  3. Curioso, tudo que você critica no artigo da UOL e particularmente do que foi dito pelo Márcio Bittencourt, você repete, às avessas. Usa o curriculum do autor ( falácia de autoridade), desconstrói de forma leviana pontos importantes de crítica, como viés (1 em 18 bom? ) e descarrega uma raiva ( ou será inveja? ) que não me pareceu sóbria. Sugiro que você reveja seu ” modus operandis”. Sua crítica não parece isenta!

    1. Eu nunca disse que as pesquisas individuais são de boa qualidade, só não se ponde imputar previamente o carimbo de fraude, como o Dr. Marcio fez no Twitter
      (https://twitter.com/MBittencourtMD/status/1352588785540804608)

      𝙖)“Eles dizem que seguiram – o Prisma, mas não seguiram”
      𝙍𝙚𝙨𝙥: então os autores da metapesquisa mentiram! Eles não precisam (muitas não fazem isso!) incluir todos os diagramas intermediários como o Dr. Marcio fala, ainda mais em um preprint.
      Dr. Andrew Hill usou RevMan 5.3, o padrão ouro para manipulação e análises estatísticas de metapesquisas.

      𝙗) “Como garantir que não temos vários outros assim e eles selecionaram so o que interessa?”
      𝙍𝙚𝙨𝙥: Ou seja, Dr. Andrew Hill é um fraudador, depois de 200 estudos publicados, que joga fora estudos que dão errado.

      𝙘) “Incluiram estudos não publicados, inclusive dados de autores da meta analise.”
      𝙍𝙚𝙨𝙥: ou seja, acusou Dr. Andrew Hill de fraude, uma vez que os autores do meta-estudo eram os autores individuais,
      quando na verdade, os autores dos estudos por ter aberto os dados de suas pesquisas (uma em cada país!) foram individualmente incluídos como coautores, sem participar efetivamente do
      paper que os analisou.(Dr. Andrew Hill fala isso no seu vídeo)

      Em suma, acho que críticas podem e devem ser feitas, mas ele usou adjetivos, exageros, acusações sem provas e até inverdades.

      Metapesquisas comumente lidam com heterogeneidade de pesquisas e, sim, consequentemente até podem converter várias evidências incipientes em uma evidência forte.

      E não há inveja ou raiva nenhuma aqui. Esses sentimentos não habitam dentro de mim. Nem por Dr. Marcio, nem por qualquer uma das pessoas que comentam aqui. Acho essencial manter a educação e a sobriedade.

  4. Artigo desrespeitoso e com informações falsas sobre o artigo pré-print da Ivermectina e com ofensas e informações falsas a respeito do Dr. Márcio Bittencourt, cuja competência como médico epidemiologista e pesquisador é incomparável com a do autor deste blog. Lamentável posição, e ademais culpa o UOL por apurar a veracidade das informações divulgadas com especialistas – como o Dr. Bittencourt corretamente é. A opinião publicada não vale meio centavo.

    1. Me cite uma frase de desrespeito. TODAS as minha afirmações se referem ao que foi escrito, nunca aos autores em si. Não há nenhuma qualificação, exceto factual, àjornalista Giulia e ao Dr, Marco Bittencourt. O Dr. Marcio usou um tom muito exagerado e rocambolesco na sua crítica, até ultrapassando o limite da verdade, em alguns pontos, como pode ser faclimente verificável, além de insinuar que o Dr. Andrew Hill e colegas mentiram e/ou fraudaram o paper, especialmente na sua crítico no Twitter (https://threadreaderapp.com/thread/1352588785540804608.htm), onde emprega termos vulgares como “baboseira”, “lixo”, “picaretagem”.

    1. Um trxto escrito por um tal de Guilherme que não foi capaz de colocar uum único argumento quer desqualificar um texto repleto deles.

  5. Sem falar no nível de misoginia das observações sobre a repórter. Um disserviço absurdo publicar esse lixo como se fosse artigo de respeito. Paulo, espero que você tenha que se desculpar publicamente por escrever um texto inteiramente baseado em argumentos ad hominem.

    1. Então você deve ser daquele tipo que acha que só de alguém criticar um texto escrito por uma mulher já caracteriza misoginia. Por acaso, criticar o governo Dilma é misoginia? Criticar o Bolsonaro seria então misandria? Repare que não falei uma vírgula sobre as pessoas em si (exceto fatos curriculares e dados pessoais, nome, estimativa de idade), falei apenas sobre o que foi escrito entre aspas. Partindo desse pressuposto, você nunca poderia despedir uma funcionária do sexo feminino, nunca poderia fazer críticas a uma proposta de uma tese de uma mulher, porque isso seria misoginia. Fala sério! É forçar muito a barra….

      “Ad hominem” é quando se fala mal da pessoa que fez o artigo, filme ou argumento (o que não é o caso), eu falei mal do texto escrito pelo autor, sem nenhum tipo de qualificação ao autor. Então é um uso equivocado desse termo em latim. Se fosse diferente, quem mete pau em um filme estaria fazendo “ad hominem”.

      “(Attacking the person): This fallacy occurs when, instead of addressing someone’s argument or position, you irrelevantly attack the person or some aspect of the person who is making the argument. The fallacious attack can also be direct to membership in a group or institution.”
      (https://www.txstate.edu/philosophy/resources/fallacy-definitions/Ad-Hominem.html)

    2. Guilherme, sacar a carta da misoginia a uma critica pertinaz feira a uma pessoa sem que o seu gênero estivesse envolvido na crítica é tratar mulher como “café-com-leite”. Do meu ponto de vista esta sua atitude é muito machista. Espero que você se desculpe publicamente por tal atitude.

  6. Politização da ciência, análise de dados médicos por quem não tem qualquer conhecimento em medicina e pessoas comentando sobre diagnóstico e tratamento de doenças sem nunca terem tido noção de pesquisa clínica e medicina translacional, ou, o que é ainda pior, sem nunca ter estado frente a frente com um paciente: isso é tudo o que continuamos não precisando durante uma pandemia. As críticas e análises do Dr. Márcio são condizentes com as análises dos maiores pesquisadores do mundo em epidemiologia e saúde pública, além de estarem alinhadas ao posicionamento das principais sociedades MÉDICAS ao redor do mundo. E nem vamos entrar no mérito de discussões como “currículo menos extenso” ou “menor tempo profissional” conforme mencionado acima… são inúmeros os exemplos de pessoas com mais de 20-30 anos de exercício medíocre da profissão, não devendo absolutamente ser a sustentação de qualquer discussão. O fato continua sendo o mesmo: não há demonstração científica adequada até o momento de que ivermectina ou qualquer das propostas de tratamento precoce deva ser usado para o tratamento de COVID-19. E acredito que apenas os pesquisadores de área médica deveriam se ater a essas investigações clínicas.

    1. Não estou aqui politizando a ciência, estou criticando a forma como foi conduzida a matéria, sem mostrar o outro lado, como manda o jornalismo. Muito menos o Dr. Andrew Hill afirma que a IVM está provada como remédio para COVID-19, Se alguém usar isso para provar, dr.Andrew Hill não pode ser responsabilizado. Na matéria faltou contexto do artigo e faltou qualquer tipo de contraditório. Para mim é claro que não há demonstração que a IVM funciona, até então. Não foi isso que eu falei na minha crítica. E 20-30 anos de mediocridade não pode ser atribuído ao Dr. Andrew Hill (a mim você não pode julgar): ele tem mais de 200 artigos publicados em revistas como Science, The Lancet, e NEJM e atua junto à OMS, o que seria difícil fazer com um histórico medíocre.

      E há inverdades explícitas, que podem ser constatadas por uma simples passada de olhos no paper. Por exemplo, a maioria dos estudos são duplo cego e não a minoria do estudos, como falou o Dr. Marcio Bittencourt, em sua crítica à metapesquisa. Se ele tem pontos válidos em sua crítica, quando Dr. Marcio usa o recurso da mentira, ele termina perdendo a credibilidade e isenção nessa crítica.

    2. Quem resolveu “descer” ao nível do leigo foi o Dr Marcio ao dar uma entrevista para a UOL. Logo, deve estar sujeito à critica do público para o qual escreveu. A critica do Paulo foi muito bem fundamentada nas afirmações falsas feitos pelo Dr. Marcio e não existe fórum inadequado para discutir falsidades dirigidas a um público leigo. A postagem do Paulo é direcionada ao mesmo público que o Dr. Márcio se dirigiu. Quisesse o Dr. Márcio discutir em outros termos, com outro público que se dirige-se a esse. Não faltam publicações científicas que aceitam críticas a outros trabalhos científicos. A incapacidade (ou não desejo) do Dr. Márcio de fazer sua argumentação ser válida a um público “adequado”, como você sugere., deve ser cobrada ele e não de quem o contra-argumenta.

      1. E, cá para nós, o texto da crítica do Dr. Marcio Bittencourt no Twitter ((https://twitter.com/MBittencourtMD/status/1352588785540804608)) ao trabalho do Dr. Andrew Hill foi absolutamente deprimente.

        Repleto de acusações não provadas de fraude e incompetência, falsidades, hipérboles, afirmações absolutas e desrespeito.

        Duvido que se o Dr. Andrew Hill, com o mesmo currículo que ele tem (+ 200 artigos em revistas de ponta) fosse brasileiro, o Dr. Marcio Bittencourt teria tido coragem de escrever um texto tão grosseiro.

  7. Curiosamente o autor usa seu facebook para reclamar de ter sido criticado pelo texto em que critica outras pessoas.

    Pela formacao me parece alguém que deveria ver inovação com bons olhos mas ve na idade do autor um motivo de critica.
    Tem grande parte de argumentação baseada em agressões ao tom e não ao ponto pricipal da critica.
    Usa o vies de autoridade do autor do estudo para defesa, algo que mostra a falta de argumentação apropriada.
    Ignora todas as criticas que não consegue responder, mas ainda assim acha que tem razao.

    Refere que sao 11 estudos duplo cegos mas apenas 7 tem placebo. Claramente nao entende do assunto pois nao sabe que não é possivel cegar estudo com farmaco sem comprimido de placebo.

    Talvez o mais belo exemplo de um efeito dunning kruger dos ultimos meses.

    1. 𝟏) “Curiosamente o autor usa o seu Facebook para reclamar de ter sido criticado pelo texto em que critica outras pessoas”

      𝙍𝙚𝙨𝙥: No fundo, nessa história, eu sou um mensageiro de uma missiva imaginária do Dr. Andrew Hill, que ele nunca escreveu.

      Isso porque o Dr. Andrew Hill foi enxovalhado sem piedade por um PhD daqui, de nossas plagas; sendo que ele não pode exercer direito de defesa, porque está em outro país sem saber o que aqui se passa. Duvido que se Dr. Andrew fosse um colega médico-pesquisador brasileiro, que o Dr. Marcio se atreveria a referir a ele em um tom tão desrespeitoso.

      Por outro lado, assim como todos têm o direito de me criticar, tenho direito de responder às críticas, mas sempre com muita educação.

      𝟐) “Pela formação me parece alguém que deveria ver inovação com bons olhos mas vê na idade do autor um motivo de critica.”

      𝙍𝙚𝙨𝙥: Já disse que não fiz nenhum juízo de ninguém em decorrência da idade. Só observei o fato por mera informação, assim como o romancista descreve seus personagens.

      Nunca entendi que era crime dizer que alguém tem 30 e poucos anos. Não disse nada depois tipo “… portanto é inexperiente”, nem sequer pensei nisso. Da mesma maneira se digo que fulana é bonita, não quer dizer estou dando em cima dela. Ou se digo que a pessoa é alta, eu deveria ter preconceitos de pessoas altas? Essas ilações ficam na cabeça do leitor. Se eu dissesse que o Dr. Marcio tem 60 e poucos anos, eu estaria cometendo o pecado de etarismo? Ou seja, não gostaria nem de mim mesmo!

      𝟑) “Tem grande parte de argumentação baseada em agressões ao tom e não ao ponto principal da critica.”

      𝙍𝙚𝙨𝙥: De fato, o tom do Dr. Marcio é ruim e desrespeitoso, mas isso em si não torna seus argumentos errados. No entanto, além disso, os argumentos são também fracos. No artigo na UOL nem existem, quase, só há metáforas (cerejas e melancias) e inverdades. No Twitter, os argumentos se resumem a falsidades e acusações s/ a pesquisa. Não é uma crítica embasada, mas é quase toda baseada em suposições. tipo “ah, eles disseram que seguiram o Prisma, mas não seguiram” (Eles usaram RevMan 5.3, o pacote ouro para metapesquisas com ou sem Prisma), “não mostraram ou publicaram a tabela obrigatória X ou Y” (Ver depois), “Ah, eles botaram o autor do estudo tal como coautor, portanto isso afetou a independência da metapesquisa” (Quando não foi mesmo assim, como claramente é descrito no vídeo de apresentação do trabalho do Dr. Andrew Hill – https://youtu.be/eu61dtsSLrk ).

      Tudo que ele não viu no artigo, ele supôs (baseado em nada provado ou evidenciado) que os autores não fizerem, quando sabemos que um preprint não costuma ter muitos anexos, muitas vezes nem o artigo revisto tem. Pode consultar pequisas revistas por pares com meta-análises. Eu, por curiosidade, vi vários artigos com metapesquisas. Poucos têm os diagramas que ele citou explicitados.

      Enfim, a maior da parte das alegações feitas no Twitter são improcedentes, porque depende de fraude ou incompetência extrema do Dr. Andrew Hill e sua equipe. Analisei a parte inicial do Twitter do Dr. Marcio Bittencourt em um dos comentários do post do Facebook, ponto por ponto.

      𝟒) “Refere que são 11 estudos duplo cegos mas apenas 7 tem placebo. Claramente não entende do assunto pois não sabe que não é possível cegar estudo com fármaco sem comprimido de placebo.”

      𝙍𝙚𝙨𝙥: Primeiro, você está omitindo convenientemente que o Dr. Marcio Bittencourt faltou com a verdade, porque a maioria dos estudos era duplo-cego. (Sigla: DB)

      Depois, você acha que há incompatibilidade de duplo-cego com ausência de placebo, mas você está enganado: nos estudos duplo-cego sem placebo, tanto o paciente quanto os agentes do estudo não sabem quem está tomando o remédio da experiência (no caso, a ivermectina) e quem está tomando o remédio (que não é placebo) designado para o grupo de controle. Placebo não é remédio, é “pílula de farinha”.

      Vou dar um exemplo: no estudo de Okumos et alli da Turquia, o grupo de tratamento toma IVM e no grupo de controle toma Favipiravir. Tantos os pesquisadores quanto o paciente não sabem qual paciente está tomando IVM e qual paciente está tomando Favipiravir. Portanto é duplo-cego sem placebo.

      Você consegue entender isso?

      No final, essa “falha” de não usar placebo, termina não sendo tão grave, porque, de fato, aparentemente favipiravir ou HCQ não fazem efeito mesmo…. HQC só tem efeito negativo, quando
      o paciente faz algo tipo miocardite, e aí a HQC atua de forma negativa em quem tem miocardite. Mesmo assim, é raro.

      Se você estivesse certo (não está!), você não acha que seria meio bizarro se alguém como Dr. Andrew Hill, com mais de 200 artigos publicados, ainda não soubesse que duplo-cego exige placebo?

      𝟓) “Talvez o mais belo exemplo de um efeito dunning kruger dos ultimos meses.”

      𝙍𝙚𝙨𝙥: Não acredito saber mais do que todos. De fato, não sou médico e sei muito menos de Medicina que o Dr. Marcio, mas estudei muito sobre estatística, mais do que muito médico.

      Os argumentos estatísticos do Dr. Marcio Bittencourt são fracos. Existem várias técnicas para lidar com a heterogeneidade em meta-análises. Mede-se o Tau, I², Chi² (com os graus de liberdade) que refletem a consistência e heterogeneidade das diferentes pesquisas. Pode fazer um levantamento bibliográfico sobre isso para ver que eu não estou errado

      As pesquisas não são “armadas” ou combinadas a priori entre os diferentes autores, ainda que todas sejam RCTs, duplos-cegos, e controladas por placebo,

      Sendo assim, é inevitável que as pesquisas que sejam selecionadas em uma metapesquisa tenham diferentes critérios de seleção de pacientes, dosagens, conjunto de sintomas que disparem o tratamento, critérios para início do uso dos sintomas em dias, braços de controle etc. No caso da COVID-19, isso é mais acentuado, porque a janela de tempo é pequena.

      Só que, ao contrário do que você pensa, toda essa heterogeneidade é medida e “descontada” no resultado agregado, gerando ICs mais largos. Tanto que o IC de 95% em volta de 75% de diminuição de letalidade é enorme (42 a 89%) para 2.244 pacientes. Se tudo fosse mais homogêneo, o IC seria mais estreito!

  8. Caro, Sr Paulo
    Muito me admira a soberba atual de análise de dados científicos da área médica por quem não tem qualquer formação ou conhecimento em medicina ou epidemiologia. Agora todo mundo virou especialista no assunto… O Dr. Márcio, além de ser um pesquisador de renome, tem compactuado com o que as reconhecidas sociedades internacionais publicam. A idade, utilizada como forma de descrédito ao médico em questão, não interessa, foi uma crítica desrespeitosa. Temos exemplos de pesquisadores muito novos excelentes, comprometidos com a ciência, assim como pesquisadores mais velhos metidos em falcatruas (um francês bem famoso, por exemplo…). Infelizmente é difícil para os leigos, e muitas vezes até para alguns médicos, aceitar que para determinadas doenças o melhor a ser feito é o tratamento de suporte, essencial nessa doença. Nem sempre o tratamento é medicamentoso. E não adianta se valer de falsas crenças pessoais, isso não é ciência.

    1. 𝟏) “A idade, utilizada como forma de descrédito ao médico em questão, não interessa, foi uma crítica desrespeitosa.”

      𝙍𝙚𝙨𝙥: Já disse inúmeras vezes acima, que a faixa de idade foi citada apenas como referência descritiva e não para depreciar ou para chegar a alguma conclusão ou ilação.
      Qualquer conclusão, além da enunciação de um fato, fica por conta da cabeça do leitor. Não há nenhum sentido me imputar preconceito contra jovens por causa dessa frase.
      Se eu digo que alguém é alto, baixo, obeso, magro, novo, idoso; sem adjetivar, não estou insultando, estou descrevendo.

      𝟐) “Márcio, além de ser um pesquisador de renome, tem compactuado com o que as reconhecidas sociedades internacionais publicam”

      𝙍𝙚𝙨𝙥: Meu nome não está em jogo nesse caso. O que vejo como lamentável é a forma altamente depreciativa com que o Dr. Marcio Bittencourt se refere a outro pesquisador de renome (Dt. Andrew Hill), sem que esse tenha direito à defesa, visto que é de outro país e outra língua. Veja esse texto, se você acha que ele configura uma crítica respeitosa, madura e sóbria. (https://twitter.com/MBittencourtMD/status/1352588785540804608). Acho que não! Duvido que ele teria tido coragem de ser tão agressivo, desrespeitoso e repleto de acusações de fraude e incompetência, se o Dr. Andrew Hill fosse um PhD brasileiro ao invés de britânico. O Dr. Andrew Hill tomaria conhecimento disso e responderia à altura, lógico.

      Fora que a minha linha de argumentação aqui não é médica (isso não me cabe), é Estatística, assunto que tenho bastante experiência e é usado em muitas áreas fora da Medicina. É muito comum metapesquisas, que são aplicadas para muitos áreas fora da Medicina, incluírem pesquisas bastante heterogêneas entre si (ao contrário da frase em caixa alta no Twitter “VARIOS SACOS DE LIXOS EMPILHADOS SAO UMA PILHA DE LIXO” e a metodologia Prisma para gestão de metapesquisas, executadas no trabalho via software RevMan 5.3, usando da colaboração Cochrane
      (https://training.cochrane.org/sites/training.cochrane.org/files/public/uploads/resources/downloadable_resources/English/RevMan_5.3_User_Guide.pdf ), tem diversos recursos para trabalhar essa heterogeneidade. O Dr. Marcio Bittencourt gostaria que um colega PhD escrevesse um artigo assim sobre um do de seus artigos publicados, com termos como “baboseira”, “monte de lixo”, “picaretagem”, meta análise entre aspas e sem hífen etc?

      É totalmente irresponsável pegar um monte de pesquisas, e chamá-la todas elas de lixo a priori; só por tirar conclusões contrárias ao que Dr. Marcio acredita. Claro que fraudes existem, mas a maior fraqueza das pesquisas individuais usadas na metapesquisa (que levam à classificação Cochrane ‘limitada’ – 12 de 18), não é pela confiabilidade a priori, mas por ter amostras pequenas e por uma partes delas (7 em 18) não ter usado duplo-cego. No entanto, a qualificação “lixo” é altamente desrespeitosa com colegas médicos pesquisadores, alguns deles com PhD.

      Na verdade, a heterogeneidade não inviabiliza a pesquisa, ela apenas torna o IC 95% da conclusão bem maior do que seria se as pesquisas individuais fossem mais homogêneas.

      𝟑) “Infelizmente é difícil para os leigos, e muitas vezes até para alguns médicos, aceitar que para determinadas doenças o melhor a ser feito é o tratamento de suporte, essencial nessa doença. Nem sempre o tratamento é medicamentoso.”

      𝙍𝙚𝙨𝙥: A pesquisa precisa continuar. Não se pode desistir porque não há nada provado. Veja a história da Tamiflu para H1N1. Vários remédios estão sendo pesquisados agora, não é apenas a IVM. Aqui está a mais nova (https://brasil.elpais.com/internacional/2021-01-25/remedio-usado-contra-o-cancer-e-100-vezes-mais-potente-que-tratamentos-atuais-contra-covid-19.html).

      No caso da IVM, o Dr. Andrew Hill, junto a OMS, irá até abril (segundo seu vídeo em https://youtu.be/eu61dtsSLrk levantar 56 pesquisas, envolvendo 7.491 pacientes de 21 países. Se a tendência inicial for preservada, ele espera alinhar com a OMS, para mudar o status mundial da IVM, estabelecendo-se a dosagem e a forma de administração recomendada, que tende a ser superior à atual de 200 mcg/kg

  9. Dr Márcio é um médico respeitadíssimo nacional e internacionalmente. Suas afirmações são baseadas na ciência e em evidências científicas. Um epidemiologista renomado que merece todo respeito! Apoio suas afirmações! Esse artigo é uma
    absurdo e me entristece muito que a UOL publique um absurdo desses!

    1. 𝟏)”Dr Márcio é um médico respeitadíssimo nacional e internacionalmente. Suas afirmações são baseadas na ciência e em evidências científicas.”

      𝙍𝙚𝙨𝙥: Sim, mas o que vemos aqui é a forma altamente depreciativa com que o Dr. Marcio Bittencourt se refere a outro pesquisador de renome internacional (Dr. Andrew Hill), sem que esse tenha direito à defesa, visto que é de outro país e outra língua.

      Veja esse texto, se você acha que configura uma crítica respeitosa, madura e sóbria. (https://twitter.com/MBittencourtMD/status/1352588785540804608).

      Duvido que Dr. Marcio teria tido coragem de ser tão agressivo, desrespeitoso e repleto de acusações de fraude e incompetência, se o Dr. Andrew Hill fosse um PhD brasileiro ao invés de britânico.

      𝟐) “Esse artigo é uma absurdo e me entristece muito que a UOL publique um absurdo desses!”

      𝙍𝙚𝙨𝙥: Não foi publicado na ‘UOL’, foi no ‘Papo de Boteco’. Veja que as referência internacionais ao Dr. Andrew Hill, foram bem menos desrespeitosas, veja o Financial Times (https://www.ft.com/content/e7cb76fc-da98-4a31-9c1f-926c58349c84)

  10. Eu não conheço o Dr. Márcio, nem tampouco o Dr. Andrew Hill. Sou leigo, da área jurídica, mas um apreciador da ciência em Geral. É óbvio que tanto o médico e pesquisador estrangeiro, como o nacional, possuem grande qualificação. Penso que quando estamos a falar do trabalho de alguém, a primeira condição é cautela. A pessoa pode estar enganada, equivocada, mas nunca podemos supor má fé ou fraude sem elementos concludentes sobre isso. Dito isso, parece-me que, de fato, houve um excesso do Dr. Márcio. Por outro giro, embora negue de pés juntos qualquer intenção desairosa em relação ao Dr. Márcio, é difícil entender a razão da referência a idade dele no contexto do texto. Só queria anotar que ele parecia jovem??!! Assim, sem mais razão?? Então , do mesmo jeito poderia anotar que os olhos dele seriam da cor tal ou qual, que a pele dele era assim ou assado, qual o sentido disso?? O senhor tem costume em fazer anotações em seus textos de tal teor, que em nada se relacionam com qualquer coisa mais?? Poderia então, da mesma forma, o senhor ter dito “pela foto, um pouco acima do peso” ou “pela foto, um rapaz bonito”?? Seria uma constatação como essas?? Ou , no fundo, no fundo, vc quis destacar a pouca idade do pesquisador e talvez uma falta de maturidade. A questão é; quem quer que leia o texto, logo concluirá que a idade não aparece no texto impunemente, mas sim com uma função não declarada. Talvez uma manifestação do inconsciente do autor a tenha colocado ali, muito embora ele racionalmente não veja idade como indicativo de maior ou menor capacidade.

    1. Romancistas dizem a idade, porque o leitor é curioso. Eu sou curioso, então quis ver a idade, compartilhei isso com os leitores. Só isso!

      Eu seria um idiota de achar que alguém com 35 anos é “inexperiente” ou “verde”, quando, na verdade, está no ápice do seu intelecto, já com 10 ou 12 anos de formado, mestrado e doutorado. Se ele tivesse 20 anos, tudo bem, não dava nem para estar formado.

      Não posso ser “cancelado” porque as pessoas intuem que, por citar a idade, eu pensei algo que eu não pensei…. Não mesmo. Juro por tudo!

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Verifique também
Fechar
Botão Voltar ao topo
%d blogueiros gostam disto:
Send this to a friend