CAPÍTULO 8: COMO AVALIAR A QUALIDADE DE UM ARTIGO CIENTÍFICO
“Uma boa redação não corrige uma pesquisa ruim”
(Robert B.Taylor, Academic Medicine, Springer Science, 2006, NY, first edition).
Devemos sempre nos questionar, diante de um artigo, se a qualidade da informação nele contida é de qualidade suficiente para responder a nossas perguntas e, por conseguinte, nortear a nossa conduta.
Os dados em medicina, assim como em qualquer outro ramo da ciência, precisam ser reprodutíveis. Resultados passíveis de reprodução são a base da construção do conhecimento científico. Se os dados não fossem reprodutíveis, não poderíamos gerar conhecimento útil para uso em todo o mundo, pois cada centro de pesquisa teria que criar seu próprio conhecimento e experiência sem a contribuição de dados de outras instituições e sem a possibilidade de que outros pesquisadores utilizassem seus dados. Desta forma, necessitamos acreditar que, por exemplo, um outro pesquisador obterá resultados semelhantes aos nossos, mesmo que este cientista trabalhe em um centro de pesquisa diferente situado em outro país, desde que ele esteja diante de uma população de pacientes parecida àquela que foi estudada por nós e que tenha sido submetida ao mesmo tratamento que aplicamos em nosso trabalho. Assim como na área clínica, a reprodutibilidade dos resultados é fundamental também no caso de pesquisa em áreas básicas e laboratoriais diante de um cenário experimental similar.
A chance de o dado ser reprodutível varia de acordo com a qualidade do estudo, isto é, quanto mais rigorosamente for seguido um protocolo de pesquisa pré-estabelecido, como no caso de um estudo prospectivo no qual os dados são obtidos e coletados de acordo com um protocolo. O protocolo de um estudo prospectivo, por sua vez, é desenhado e implementado antes que o primeiro dado seja obtido e é seguido uniformemente até o fim do estudo. Em contrapartida, um estudo retrospectivo não obedece a um protocolo pré-estabelecido por ocasião da obtenção dos dados, apenas segue um protocolo para sua coleta (posterior à geração do dado experimental) e análise.
Assim, por exemplo, se formos ver o que aconteceu com 100 pacientes tratados com uma doença X, nos últimos 5 anos, em nosso serviço, após o centésimo já ter sido tratado sem um protocolo pré-estabelecido, apenas de uma maneira mais ou menos uniforme, teremos várias lacunas na obtenção de dados que podem não ter sido sistematicamente anotados durante o tratamento em todos os casos e as doses dos medicamentos administrados assim como a análise e relato dos resultados obtidos podem ter também grandes variações. Certamente tais variações podem comprometer sobremaneira a reprodutibilidade dos dados obtidos. Por outro lado, já em um estudo prospectivo, todos os 100 pacientes teriam sido avaliados de acordo com um protocolo pré-estabelecido antes do primeiro paciente ser incluído no estudo, com todas as informações desejadas discriminadas antes que o estudo fosse iniciado e colhidas durante sua execução de forma completa e sistemática. Em um estudo prospectivo os pacientes são também tratados de forma uniforme assim como os dados obtidos durante o tratamento são colhidos e anotados de forma completa e sem variação. Percebemos, portanto, que um estudo prospectivo terá uma chance muito maior de ser reprodutível do que um estudo retrospectivo.
Um outro procedimento que aumenta a confiabilidade de nossos dados é o uso de um grupo controle. Por exemplo, no caso de um protocolo no qual se quer avaliar a eficácia de um tratamento X, podemos ter também uma população de pacientes similar mas não submetidos ao tratamento experimental X (grupo controle). O grupo controle pode ser obtido simplesmente juntando-se, por exemplo, um grupo de pacientes não expostos ao tratamento X e que foram avaliados e tratados anos antes do estudo atual ou preferivelmente analisando uma amostra de pacientes sorteados (aleatorizados) para não receber o tratamento X ao mesmo tempo que outros são sorteados para recebê-lo. Desta forma, quanto ao tipo de grupo controle utilizado, os estudos podem ser então apenas controlados ou controlados e aleatorizados.
No caso de estudos apenas controlados (não aleatorizados) ou mesmo em estudos que consistem da descrição de séries de pacientes retrospectivamente selecionados submetidos a um dado tratamento, um procedimento que aumenta a qualidade dos dados é obtê-los de pacientes consecutivos (tanto em relação ao grupo experimental quanto em ao grupo controle), isto é, tentar obter dados de todos os pacientes tratados durante um dado intervalo de tempo, para se evitar, assim, que se selecione de forma inadvertida os dados presentes no grupo controle ou em uma série de pacientes retrospectiva. A este grupo de pacientes com características comuns tratados durante um intervalo de tempo determinado denominamos coorte.
Em relação aos estudos aleatorizados, também denominados randomizados, a aleatorização de pacientes para receber ou não o tratamento X ocorre de forma prospectiva, isto é, como parte de um desenho prospectivo do estudo. A alocação dos pacientes por braços experimentais diferentes de forma aleatória garante que todos os braços do estudo tenham pacientes semelhantes e que, portanto, diferenças que possam emergir entre os braços experimentais se devam, assim, à intervenção experimental e não à gravidade de sua condição que está sendo tratada ou de variáveis outras que possam interferir com o tratamento e que o pesquisador porventura desconheça. É obvio também que a aleatorização de pacientes para braços experimentais diferentes, cuja identidade seja desconhecida tanto para o investigador como para o paciente, por ocasião do estudo e só revelada quando este já tiver terminado (estudo duplo cego) impede que existam vieses de preferência do paciente e/ou do investigador para um dado braço experimental e que possam se manifestar inadvertidamente na coleta ou análise dos dados do estudo. O desenho aleatorizado e duplo cego no tocante a aleatorização aumenta mais ainda, portanto, a reprodutibilidade dos dados experimentais, desde que se tenham dados oriundos do seguimento de quase todos os pacientes inicialmente aleatorizados.
Quando existem vários estudos aleatorizados ou várias séries de casos controladas (séries de caso-controle) na literatura que avaliaram a mesma questão, isto é, os mesmos tipos de tratamento (braços experimentais semelhantes), podemos agrupá-los na forma de uma revisão sistemática e eventualmente meta-análise. A revisão sistemática, na qual se baseará eventualmente a meta-análise depende da busca na literatura seguindo um protocolo de pesquisa específico. Após obtenção dos estudos que preencham critérios de inclusão e exclusão específicos, acordados pelos autores antes da busca na literatura, outros artigos são obtidos através da busca a citações presentes nos artigos selecionados inicialmente não presentes no primeiro levantamento. Após tentar incluir todos os estudos que preencheram os critérios de inclusão e exclusão, os dados oriundos de cada um dos trabalhos incluídos são então tabulados e avaliados.
A meta-análise consiste basicamente em um tratamento matemático de todos os resultados destes estudos incluídos visando se obter um resultado global de um dado efeito (de um tratamento, de um fator de prognóstico, etc) como se estivéssemos diante de um só grande estudo, contendo a somatória dos pacientes de cada um dos estudos incluídos. Tal tratamento matemático é muito mais confiável se o grau de heterogeneidade dos estudos incluídos não for muito grande, isto é, se pudéssemos imaginar que todos os estudos, apesar de pequenas diferenças entre eles, pudessem, conceitualmente pelo menos, terem se originado de uma instituição única. Se as diferenças entre os estudos, por outro lado, forem muito grandes, o tratamento matemático dos dados não é possível, e teremos a possibilidade de fazer apenas uma revisão sistemática da literatura na qual se avaliarão os resultados tabulados do estudo e se tentará entender melhor o porquê das variações observadas nos estudos selecionados para inclusão.
É fundamental que se entenda que o nível de uma meta-análise ou revisão sistemática, além do seguimento escrupuloso dos princípios metodológicos acima discriminados, depende da qualidade dos estudos presentes na literatura. Se há raros estudos ou os que existam forem de má qualidade, a metaanálise ou revisão sistemática, por mais rigorosas que sejam, não produzirão também dados de boa qualidade.
Um outro parâmetro importante é o número de sujeitos experimentais ou de observações feitas em um dado estudo. Intuitivamente, quanto maior o número de pacientes incluídos em um estudo e o número de observações experimentais conduzidas, melhor será a estimação do parâmetro pesquisado. Se analisarmos 100 pacientes tratados com o remédio X e observarmos um benefício em 20 deles, por exemplo, no aumento de sua hemoglobina teremos uma taxa de resposta de 20%. Entretanto se esta observação tivesse sido obtida a partir da observação de 10000 pacientes, a taxa de 20% seria muito mais crível. Intuimos facilmente que em um estudo de 10000 pacientes uma taxa de 20% será muito mais precisa em relação ao efeito do tratamento X do que a mesma taxa oriunda de um estudo de 100 pacientes. Portanto, quanto maior o tamanho da amostra, maior será a possibilidade de chegarmos em um outro estudo semelhante a um valor (no caso, a taxa de resposta) também similar. Dizemos em jargão estatístico que o intervalo de confiança ao redor de uma estimativa oriunda de 100 pacientes será muito maior do que aquele oriundo de uma estimativa derivada de 10000 pacientes. Entendemos, por exemplo, o intervalo de confiança de 95% como uma uma faixa de possibilidade da estimativa de efeito reportada em um estudo (no caso 20%) ser reproduzida em estudo semelhante e com igual número de pacientes 95% das vezes em que isto fosse hipoteticamente tentado. Assim o intervalo de confiança de 95% ao redor da taxa de resposta de 20% variará de 10 a 30% para a estimativa oriunda da observação de 100 pacientes enquanto que para aquela derivada da análise de 10000 pacientes será de apenas 19 a 21%.
Observamos, assim, que a qualidade dos dados reportados em um estudo variará em qualidade, ou seja, em potencial de reprodutibilidade, de acordo com o desenho experimental do estudo, e número de pacientes incluídos. Dados consistentes de vários estudos semelhantes e de boa qualidade metodológica sumarizados em uma meta-análise, por sua vez, podem refletir ainda melhor a reprodutibilidade esperada de efeitos terapêuticos de um dado tratamento.
Percebemos assim que podemos derivar da breve discussão metodológica acima uma hierarquia de qualidade, a meu ver de potencial reprodutibilidade, dos dados oriundos de estudos presentes na literatura médica. Estes níveis hierárquicos são denominados de níveis de evidência, ou seja, de níveis de qualidade de dados (evidências) existentes que podem, por sua vez, corroborar mais ou menos condutas médicas a serem tomadas em cenários clínicos que sejam semelhantes aos reportados nos estudos clínicos em análise.
Quanto mais elevado o nível de evidência, portanto, maior será a chance de que poderemos reproduzir estes dados em um paciente aos nossos cuidados, desde que este paciente preencha os mesmo critérios de inclusão e exclusão dos estudos selecionados e que o tratamento que lhe seja dado seja semelhante ao reportado nestes estudos.
A tabela 1 esquematiza níveis hierárquicos de evidências presentes na literatura. Percebemos que o nível mais alto de evidência é dado a revisões sistemáticas com homogeneidade (meta-análises) de estudos aleatorizados de boa qualidade e a estudos aleatorizados de boa qualidade metodológica e com grande número de pacientes (intervalo de confiança estreito). Já o nível mais baixo é dado a opiniões individuais de “experts” no assunto. Entretanto, algumas vezes, especialmente no caso de doenças muito raras ou cenários clínicos pouco estudados, a qualidade da evidência presente na literatura não é boa mesmo e deve-se, mesmo assim, decidir acerca de condutas clínicas com base no que existe e, nesses casos, a opinião de “experts” pode ser muito útil. O que é errado, todavia, é tomar condutas com base em evidências de nível inferior se existem evidências de melhor nível na literatura. Portanto devemos saber julgar a qualidade da evidência disponível para poder melhor embasar nossas condutas clínicas.
O leitor interessado em maiores informações acerca de princípios básicos de análise e interpretação de estudos clínicos poderá encontar mais informações nas seguintes páginas:
1)http://bmj.bmjjournals.com/collections/read.shtml
13) http://bmj.bmjjournals.com/cgi/content/full/315/7103/305
Tabela 1. Exemplos de níveis de evidência para estudos terapêuticos.
CAPÍTULO 9 : MEDICINA BASEADA EM EVIDÊNCIA:
“A prática da medicina é uma arte baseada na ciência.”
(Aequanimitas; “Teacher and student”).
A prática de uma medicina calcada em resultados de estudos clínicos não é recente. Desde há muito clínicos renomados buscam na literatura subsídios para corroborar hipóteses e nortear suas condutas em consonância com suas experiências individuais, especialmente diante de casos difíceis.
Entretanto, tal prática corriqueira nas mão dos nossos mestres mais famosos, ganhou recentemente um novo ímpeto e denominação: medicina baseada em evidencia (MBE). Define-se MBE como sendo a utilização explícita, consciente e judiciosa da melhor evidência atualmente disponível na literatura médica oriunda de observações clinicas sistemáticas (estudos clínicos) com o intuito de tomar decisões pertinentes ao cuidado de pacientes.
Este processo se inicia com a formulação de uma pergunta específica referente a um paciente acerca, por exemplo, de seu tratamento, diagnóstico ou prognóstico. Em seguida, estrutura-se esta pergunta através de uma terminologia adequada para a busca em bancos de dados de artigos na literatura como MEDLINE, CANCERLIT, EMBASE, etc. Após a busca e seleção dos artigos pertinentes ao caso em questão, os mesmos são julgados quanto a sua qualidade e seus resultados analisados de tal sorte a se poder extrapolar o conhecimento assim obtido para responder a pergunta inicialmente formulada.
Quais as vantagens da disseminação desta abordagem? Por um lado aposentam-se opiniões anedóticas individuais em troca de opiniões baseadas em resultados de estudos clínicos. A obtenção da informação não é mais exclusiva a alguns mais versados mas é agora acessível a todos, irrespectivamente de sua formação acadêmica. As decisões passam de subjetivas a objetivas e define-se, portanto, uma arena comum para discussões travadas em pé de igualdade por todos aqueles que detenham esta informação. Assim, diante deste novo cenário para o exercício da clínica, cabe-nos tentar elaborar quais as razões para esta redescoberta da MBE e quais as suas implicações para o clínico.
Em primeiro lugar, devemos compreender o contexto no qual se opera esta mudança. No seio de uma comunidade médica globalizada pela tecnologia da informação e assoberbada por uma quantidade crescente e volumosa de novos conhecimentos, é compreensível a ênfase que se dá ao domínio desta informação. Paralelamente, a consulta a literatura médica foi extremamente facilitada pela utilização de microcomputadores que acessam em minutos enormes bancos de dados onde todos estes estudos clínicos estão catalogados. Tal acesso, como vimos, não é exclusivo em absoluto a comunidade médica, sendo compartilhado igualmente por profissionais paramédicos e leigos. Portanto, a prática da MBE se encaixa perfeitamente neste novo paradigma vigente atualmente em nossa sociedade que enfatiza a globalização, a democratização do acesso ao conhecimento e valoriza sobremaneira a manipulação da informação. É, compreensível, conseqüentemente, que o exercício de uma MBE seja estimulado tanto pela comunidade médica como por pacientes e fontes pagadoras.
Apesar da atração que a MBE vem exercendo no nosso meio acadêmico, esta abordagem tem também suas limitações, a saber:
1) Qual e a solidez da evidência disponível na literatura para resolver uma dada questão clínica? Sabe-se que o conhecimento clínico é essencialmente observacional e é calcado na reprodutibilidade dos achados relatados. A reprodutibilidade de uma observação clínica, por sua vez, será tanto maior quanto melhor for a qualidade dos estudos que a descrevem. Assim, por exemplo, o conceito de que uma uma droga seja superior a outra para o tratamento de uma dada doença será possivelmente muito mais reprodutível e, portanto, crível, se este resultado for oriundo de um estudo do tipo duplo cego randomizado envolvendo um grande número de pacientes. Entretanto, tal achado teria muito menor credibilidade se fosse originado, por exemplo, de um estudo retrospectivo. Deduzimos, assim, que um julgamento judicioso da evidência propriamente dita deve preceder a utilização de seus resultados para substanciar uma decisão clínica.
2) Quando os estudos obtidos são contraditórios? Tal situação que é extremamente comum é muitas vezes resolvida pela escolha dos estudos de melhor qualidade. Outras vezes podemos combinar os estudos que tenham se proposto a resolver a mesma questão através de uma meta-análise. Desta maneira, através de um numero maior de pacientes oriundos da combinação de todos os estudos similares escolhidos para a meta-análise, buscam-se efeitos significativos que não tenham sido evidenciados em estudos individuais, devido a um contingente insuficiente de doentes para demonstrá-los de maneira estatisticamente adequada. Apesar desta metodologia estar sendo cada vez mais utilizada, um estudo recente questionou a sua validade. Finalmente uma outra estratégia para contornar a controvérsia gerada por estudos conflitantes é a reunião de um painel de expertos que julga criticamente a evidência oriunda de todos os estudos existentes e sugere um conjunto de condutas consensuais.
3) Os dados existentes podem ser extrapolados para um determinado doente sob os nossos cuidados Obviamente o contexto no qual o nosso paciente está muitas vezes é diferente daquele no qual os estudos obtidos na literatura foram conduzidos. Estes estudos podem ser mais antigos e, portanto, não puderam oferecer para os pacientes estudados o benefício de novas medicações ou recursos atualmente disponíveis. Outras vezes os recursos de que dispomos em uma dada instituição são inferiores aos utilizados em um destes estudos. Finalmente, o nosso paciente pode não preencher completamente os critérios de inclusão e exclusão dos estudos escolhidos. Portanto, muita cautela deve ser tomada na extrapolação de dados da literatura, mesmo que consensuais, para um determinado paciente sob os nossos cuidados.
4) E quando não há dados na literatura? Tal condição, apesar de incomum, pode ocorrer. As vezes, tudo o que encontramos após uma busca na literatura são apenas um ou dois relatos de casos semelhantes ao do nosso paciente. Nesta situação, dispomos de evidência insuficiente para justificar uma conduta e a conduta clínica dependerá principalmente da experiência individual do médico assistente.
5) Não podemos esquecer que os estudos mais cotados pela MBE, estudos duplo cegos aleatorizados com grande número de pacientes são muito caros. Portanto, o patrocínio destes estudos infelizmente, grande parte das vezes, se dá através de verbas da indústria farmacêutica e/ou de equipamentos o que poderia ensejar um viés na divulgação ou não dos resultados obtidos, de acordo com o interesse econômico a ser suscitado pela sua publicação. Curiosamente estes estudos mais robustos constituem, geralmente, o ponto mais alto de muitos congressos, recheando suas sessões plenárias e repercutindo de forma importante no preço das ações das empresas que os patrocinam, logo após sua divulgação. Do acima exposto, poderíamos pensar que a MBE é uma forma politicamente correta e cientificamente aceita para difundir para a população médica e leiga boas informações técnicas, porém não isentas de interesses econômicos.
Alguns mecanismo podem coibir o predomínio de interesses econômicos na prática da MBE. Por exemplo a requisição para publicação em boas revistas do prévio registro de todos os estudos clínicos em um banco de dados central permitirá acesso por todos investigadores inclusive aos resultados de estudos negativos que não foram publicados pela Indústria. Uma outra maneira de reduzir o viés econômico é a declaração explícita em artigos científicos e aulas de todos os conflitos de interesse existentes em relação a cada investigador ou palestrante que poderiam interferir sobre sua análise imparcial dos dados apresentados como, por exemplo, recebimento de verbas da indústria, salários, etc.
Deduzimos do que acima se expos que o manuseio adequado da informação presente na literatura exige, portanto, um conhecimento profundo do médico para analisar e sintetizar o conjunto de estudos coletados de maneira ponderada de acordo com a qualidade destes trabalhos. Ainda dentro do paradigma de uma MBE, o clínico não só obtém e julga a evidência, mas também deve conciliá-la com a melhor conduta para um dado paciente. Esta conduta deve se adequar não somente a análise dos estudos clínicos mas também às limitações e vontades do paciente em questão. É, portanto, neste ato conciliatório da evidência com os valores e desígnios da pessoa que se esta tratando, que se demonstra, inclusive no contexto de uma MBE, o lado humano e, porque não, artístico de nossa profissão.
Apesar destas limitações, a prática baseada em evidências oriundas de estudos clínicos é seguramente o melhor caminho para se atingir o ideal do exercício de uma medicina científica e objetiva. Necessita-se, entretanto, de um equilíbrio saudável entre a MBE e a experiência clínica do médico assistente pois é do julgamento deste que depende a conduta clínica. A evidência deve embasar escolhas clínicas mas não deve nunca suplantar o julgamento do clínico pois este envolve, como vimos, além da evidência vários outros fatores não menos importantes e peculiares ao paciente em questão. O que a ênfase atual na prática de uma MBE seguramente contribuiu para o clínico moderno foi em salientar ainda mais a importância de sempre se incorporar a evidência existente ao seu julgamento que é, entretanto, soberano.
O desafio, portanto, continua e o sucesso desta empreitada requisitará ainda mais as qualidades intelectuais e humanas do clínico.
