Como avaliar a qualidade e a relevância de fontes para uma revisão de literatura

Para avaliar uma fonte para uma revisão de literatura, verifique primeiro se ela responde à pergunta e aos limites do escopo; depois examine credibilidade e qualidade metodológica antes de definir sua função na revisão. A decisão final é incluir, usar com ressalva ou excluir a fonte para o papel da evidência pretendido, aplicando critérios predefinidos de forma consistente.

Comece pela relevância ao escopo; depois interprete os sinais de credibilidade e os limites metodológicos antes de decidir quanto peso a fonte pode receber na revisão.

Índice⌄

Avaliar a relevância para a pergunta e o escopo da revisão

A relevância da fonte é a adequação entre uma fonte e a pergunta da revisão, somada ao escopo predefinido da revisão, e não apenas se a fonte discute o mesmo tópico amplo.

Os limites exatos de inclusão dependem do que a revisão definiu como elegível; portanto, a relevância deve ser julgada com base nesses limites, e não apenas na similaridade temática.

Os critérios principais verificam se cada fonte se enquadra nas dimensões que definem o escopo da revisão.

Essas verificações avaliam adequação e elegibilidade, não a qualidade da fonte.

• Alinhamento com a pergunta da revisão: a fonte aborda a pergunta, a relação ou o problema que a revisão pretende examinar.
• Conceito: a fonte examina os conceitos ou construtos exigidos pela revisão, em vez de apenas mencionar o tópico amplo.
• População ou unidade: a população, os participantes, os casos, os documentos ou outra unidade de análise se enquadram nos limites de inclusão definidos.
• Ambiente ou contexto: a fonte se insere no contexto geográfico, institucional, social, clínico ou outro especificado pela revisão, quando esse limite afeta a elegibilidade.
• Período de tempo: a fonte abrange o período definido pela revisão quando a data de publicação, o período do estudo ou o contexto histórico faz parte do escopo.
• Regra explícita de elegibilidade: a fonte satisfaz qualquer outro limite de inclusão predefinido que determine materialmente se ela pertence à revisão.

A relação entre a pergunta da revisão, o escopo definido e uma fonte candidata pode ser visualizada como uma verificação de adequação ao escopo em todas essas dimensões.

Uma fonte dentro do escopo está alinhada com a pergunta da revisão e os limites de inclusão aplicáveis; uma fonte com adequação parcial corresponde a algumas dimensões, mas difere em uma condição que pode limitar sua aplicabilidade.

Uma fonte fora do escopo está fora de um limite que a revisão definiu como necessário para a elegibilidade.

Uma correspondência parcial não exige exclusão automática: sua implicação depende de qual limite difere e de como esse limite se relaciona com a pergunta da revisão.

Por exemplo, duas fontes podem examinar o mesmo conceito, mas uma fonte que estuda uma população ou período de tempo diferente pode ter apenas adequação parcial quando essas dimensões são limites explícitos de inclusão.

Encontrar fontes candidatas pertence à estratégia de busca bibliográfica; a avaliação de relevância determina se essas fontes realmente se ajustam à pergunta e ao escopo da revisão.

Relevância temática e conceitual

A relevância conceitual depende se os conceitos, construtos, resultados ou argumentos de uma fonte realmente abordam a pergunta da revisão; a mera sobreposição temática ampla é insuficiente.

A terminologia compartilhada pode indicar que uma fonte trata do mesmo tópico, mas não estabelece uma contribuição substantiva para a questão que está sendo revisada.

Uma fonte tem relevância conceitual direta quando seu conceito central, construto, resultado ou argumento está alinhado com o que a pergunta da revisão examina.

A relevância de suporte se aplica quando uma fonte contribui com evidências ou contexto que ajudam a interpretar o conceito exigido sem abordá-lo diretamente, enquanto a sobreposição temática superficial ocorre quando a fonte apenas menciona o tópico amplo sem contribuir para a relação conceitual exigida.

Esses níveis descrevem a contribuição para a pergunta da revisão, e não uma escala universal de pontuação, e o contraste entre adequação conceitual e sobreposição temática pode ser visualizado comparando as fontes de acordo com o que elas realmente contribuem.

• Relevância direta: a fonte aborda diretamente o conceito, construto, resultado ou argumento exigido pela pergunta da revisão.
• Relevância de suporte: a fonte contribui com evidências ou contexto úteis para o conceito exigido, mas não aborda a pergunta da revisão diretamente.
• Sobreposição superficial: a fonte compartilha um tópico ou terminologia, mas não contribui materialmente para o conceito que está sendo examinado.

Por exemplo, se uma pergunta de revisão examina como um determinado fator se relaciona com um resultado, uma fonte que analisa essa relação tem relevância conceitual direta; uma fonte que apenas menciona o fator e o resultado dentro do mesmo tópico amplo tem sobreposição superficial.

A primeira pode contribuir diretamente para responder à pergunta da revisão, enquanto a segunda não deve ser tratada como substantivamente relevante apenas pela terminologia.

Adequação de população, contexto e período de tempo

Diferenças de população, ambiente, contexto e período de tempo importam quando alteram a aplicabilidade de uma fonte à pergunta da revisão ou sua adequação ao escopo da revisão.

Uma diferença não torna automaticamente uma fonte inelegível; sua implicação depende se essa dimensão é um limite explícito de elegibilidade ou se afeta materialmente como a evidência pode ser aplicada.

A adequação ao escopo pode ser verificada comparando cada requisito da revisão com a condição correspondente da fonte.

O diagrama mostra se os atributos de população, contexto e período de tempo estão alinhados com o limite da revisão, enquanto a tabela registra a correspondência, correspondência parcial ou não correspondência resultante e sua implicação para a elegibilidade ou uso qualificado.

Como registrar a adequação da fonte ao escopo da revisão

Dimensão do escopo	Requisito da revisão	Condição da fonte	Implicação para a avaliação
População/unidade	A população ou unidade especificada pelo escopo da revisão	Corresponde à população ou unidade exigida, ou difere em uma característica relevante para a pergunta da revisão	Uma correspondência apoia a aplicabilidade direta; uma diferença material pode limitar a aplicabilidade ou exigir ressalvas, podendo afetar a elegibilidade quando esse limite populacional é explícito.
Ambiente/contexto	O ambiente, o entorno ou as condições contextuais definidas pela revisão	Corresponde ao contexto exigido, ou difere em condições que são materiais para a pergunta da revisão	Uma correspondência contextual apoia a aplicabilidade; uma diferença material pode exigir uso qualificado em vez de exclusão automática, a menos que o ambiente seja um requisito explícito de elegibilidade.
Período de tempo	O período de publicação ou estudo definido pelo escopo da revisão	Está dentro do período exigido, ou difere temporalmente quando essa diferença afeta a aplicabilidade à pergunta da revisão	Uma correspondência temporal apoia a adequação ao escopo; uma diferença temporal material pode limitar a aplicabilidade ou afetar a elegibilidade quando a revisão define um limite de tempo.

Um estudo fundacional mais antigo pode permanecer relevante quando a revisão precisa da formulação original de um conceito influente, mesmo que esteja fora do período usado para evidências sobre condições atuais.

Nesse caso, a diferença de período de tempo exige uma ressalva sobre o papel da evidência da fonte, em vez de uma conclusão automática de que a fonte é inutilizável.

Avaliar a autoridade e a credibilidade da fonte

A credibilidade da fonte deve ser avaliada por meio de múltiplos sinais convergentes, e não por um único indicador de prestígio ou status de publicação.

Autoridade, expertise do autor, padrões de publicação, proveniência, propósito e suporte de evidências podem fortalecer a confiança quando são relevantes para a fonte, mas nenhum sinal isolado garante confiabilidade ou correção.

A expertise do autor indica se a pessoa responsável pela fonte possui conhecimento relevante, enquanto os padrões de publicação e a revisão por pares indicam o nível de escrutínio editorial ou acadêmico aplicado antes da publicação.

A proveniência e a transparência mostram se a origem das informações e do material de apoio pode ser rastreada, e o propósito ajuda a explicar como a fonte pode enquadrar suas afirmações.

O suporte de evidências, por sua vez, determina se as afirmações substantivas são apoiadas por material que pode ser examinado, em vez de serem aceitas apenas com base na autoridade.

Esses sinais de credibilidade devem ser interpretados em conjunto, porque cada condição observada afeta a confiança de maneira diferente.

• Expertise do autor: qualificações, experiência ou conhecimento relevante sobre o assunto podem apoiar a confiança na autoridade do autor; experiência pouco clara ou não relacionada exige um exame mais cuidadoso.
• Padrões de publicação: um processo editorial ou de revisão documentado pode apoiar a confiança de que a fonte passou por escrutínio; um processo pouco claro oferece menos garantia.
• Revisão por pares: a revisão por pares indica que um trabalho acadêmico passou por avaliação de outros especialistas, mas não estabelece por si só que toda afirmação ou conclusão está correta.
• Proveniência: autoria clara, origem da publicação e material de apoio rastreável fortalecem a transparência; proveniência pouco clara levanta preocupações sobre como as afirmações foram produzidas.
• Propósito: um propósito identificável — informativo, educacional, persuasivo ou comercial — ajuda o leitor a interpretar como as afirmações podem ser enquadradas e quais interesses podem influenciar a apresentação.
• Suporte de evidências: afirmações vinculadas a evidências identificáveis apoiam maior confiança; afirmações sem suporte ou difíceis de rastrear exigem ressalvas ou verificação independente.

Credenciais sólidas ou processos de publicação podem apoiar a confiança, mas a credibilidade da fonte continua sendo um julgamento baseado nos sinais combinados e na própria evidência.

Uma fonte pode, portanto, ser credível e ainda assim ter relevância limitada para uma revisão de literatura específica se não abordar a pergunta ou o escopo da revisão.

Autoria e expertise no assunto

A expertise do autor apoia a confiança somente quando a expertise no assunto do autor ou da organização responsável é relevante para a afirmação específica que está sendo avaliada.

Qualificações, afiliação, histórico de publicações ou função profissional podem fornecer sinais úteis, mas nenhum deles estabelece autoridade para afirmações fora da área à qual essa expertise se aplica.

Avalie a autoria conectando cada sinal de expertise ao assunto da afirmação e considerando o que esse sinal pode e não pode estabelecer.

O exemplo anotado destaca sinais comuns de autoria que ajudam a identificar expertise relevante, sem substituir esses sinais pela avaliação da própria evidência.

• Identidade do autor: a autoria clara estabelece quem é responsável pela afirmação e permite avaliar sua expertise; a identidade por si só não demonstra expertise relevante.
• Qualificações e expertise disciplinar: qualificações em uma área relacionada à afirmação podem apoiar a confiança na expertise no assunto; credenciais em uma área não relacionada não estabelecem autoridade para essa afirmação.
• Afiliação: uma afiliação pode fornecer contexto sobre o ambiente profissional ou acadêmico do autor; a associação institucional por si só não estabelece expertise relevante nem a precisão da afirmação.
• Histórico de publicações: um histórico de publicações relacionado ao assunto pode indicar trabalho contínuo na área relevante; o histórico de publicações fora desse assunto não estabelece expertise para a afirmação que está sendo avaliada.
• Função: uma função profissional ou de pesquisa pode apoiar a confiança quando suas responsabilidades são relevantes para o assunto; um título por si só não demonstra expertise além dessa função.
• Interesses declarados: interesses declarados fornecem transparência sobre relacionamentos ou interesses conflitantes relevantes para a interpretação da fonte; a declaração por si só não estabelece nem falta de confiabilidade nem precisão.

Por exemplo, um autor com credenciais substanciais em uma disciplina pode demonstrar expertise relevante para afirmações dentro dessa disciplina, mas não para afirmações especializadas em uma área não relacionada.

A confiança deve, portanto, refletir a correspondência entre a expertise do autor e a afirmação específica, e não o prestígio aparente das credenciais isoladamente.

Revisão por pares, tipo de fonte e padrões de publicação

A revisão por pares é um sinal de controle de publicação que oferece escrutínio acadêmico, mas não garante que uma fonte seja correta ou metodologicamente robusta.

Os padrões de publicação devem, portanto, ser avaliados em conjunto com o tipo de fonte, o processo editorial, a transparência, o propósito e as evidências que a fonte apresenta.

Diferentes tipos de fonte passam por diferentes formas de revisão ou escrutínio editorial, de modo que seus processos de publicação fornecem sinais distintos de credibilidade.

Um artigo acadêmico pode ser revisado por pares da disciplina, um livro acadêmico pode passar por avaliação editorial e revisão especializada, e um relatório institucional pode passar por revisão interna, técnica ou editorial de acordo com o processo da organização responsável.

Para o uso de evidências, a questão relevante é qual escrutínio ocorreu, quão transparente é esse processo e quais são suas limitações, e não onde o tipo de fonte se situa em uma hierarquia universal.

O que cada processo de publicação sinaliza — e o que não garante

Tipo de fonte	Processo de revisão ou editorial	O que sinaliza	Limitação da avaliação
Artigo acadêmico revisado por pares	Revisado por pares da disciplina e processado por meio do processo editorial de um periódico antes da publicação.	A revisão por pares fornece escrutínio disciplinar e sinaliza que o artigo acadêmico passou por um processo formal de revisão.	A revisão por pares não estabelece qualidade metodológica por si só; fragilidades, viés ou limitações podem persistir.
Livro acadêmico	Pode passar por avaliação editorial e revisão especializada por meio de uma editora acadêmica, dependendo do processo de publicação.	Um processo documentado de revisão e editorial pode sinalizar uma avaliação acadêmica e um controle de publicação adequados à obra.	O formato de livro acadêmico não estabelece a qualidade de cada afirmação; o processo de revisão real e as evidências de apoio ainda exigem avaliação.
Relatório institucional ou governamental	Pode passar por revisão interna, técnica, editorial ou de aprovação de acordo com os padrões de publicação da organização responsável.	Proveniência clara, transparência e um processo de revisão documentado podem fornecer sinais de credibilidade relevantes para o uso das evidências do relatório.	A publicação institucional não estabelece automaticamente confiabilidade; propósito, proveniência, transparência, suporte de evidências e o processo de revisão aplicável permanecem relevantes.

Os controles de publicação fornecem escrutínio, mas não substituem a avaliação crítica da própria evidência.

Um artigo acadêmico revisado por pares ainda pode conter fragilidades metodológicas, viés ou limitações, enquanto material não revisado por pares pode permanecer adequado para um determinado uso da evidência quando seu propósito, proveniência, transparência e evidências de apoio justificarem esse uso.

Atualidade, propósito e suporte de evidências

Atualidade, propósito e suporte de evidências são atributos distintos de credibilidade da fonte e podem apontar em direções diferentes.

Uma data de publicação recente não estabelece, por si só, evidências sólidas, enquanto uma fonte mais antiga pode continuar pertinente para um conceito fundacional quando desenvolvimentos posteriores no campo não alteraram esse fundamento.

Cada atributo deve ser avaliado a partir de sua condição observada até sua implicação para a credibilidade, em vez de ser reduzido a uma única pontuação.

O propósito pode moldar como uma afirmação é enquadrada e pode introduzir viés potencial sem tornar a informação automaticamente falsa.

O suporte de evidências depende se as evidências citadas apoiam a afirmação, são rastreáveis até fontes identificáveis e são proporcionais à força da afirmação.

• Atualidade: compare a data de publicação com a taxa e o tipo de mudança no campo relevantes para a revisão. Uma fonte permanece atual para o uso da evidência pretendido quando suas informações ainda representam o conceito ou as condições que estão sendo examinados; quando uma mudança subsequente pode alterar a afirmação, a confiança no uso direto é limitada, a menos que sua relevância contínua possa ser estabelecida.
• Propósito: identifique o propósito comunicativo da fonte e considere como seu público ou interesses podem afetar a seleção, o enquadramento ou a interpretação das informações. O viés potencial exige escrutínio adequado e pode justificar um uso cauteloso ou contextual, mas o propósito isoladamente não determina se uma afirmação é precisa.
• Suporte de evidências: verifique se as evidências citadas realmente apoiam a afirmação e se esse suporte é rastreável até fontes identificáveis. Um suporte relevante, rastreável e proporcional à afirmação fortalece a confiança, enquanto um suporte sem base, fracamente conectado ou não rastreável limita a confiança, independentemente do número de citações fornecidas.

Uma fonte mais antiga, mas fundacional e bem apoiada, pode permanecer relevante quando usada para o conceito ou a contribuição que originalmente estabeleceu.

Em contrapartida, uma fonte recente que faz uma afirmação sem suporte pode continuar sendo uma evidência fraca, apesar de sua atualidade; portanto, a confiança e o uso da evidência devem refletir os atributos específicos de credibilidade que estão sendo avaliados.

Avaliar criticamente a qualidade metodológica

A avaliação crítica julga se o delineamento, a condução, a análise e o relato de um estudo tornam seus achados confiáveis o suficiente para o papel que desempenharão na revisão.

Ela examina a qualidade metodológica diretamente, em vez de assumir que a reputação da publicação ou o tipo de fonte estabelece a força das evidências.

Os critérios de avaliação devem corresponder ao delineamento do estudo, porque diferentes perguntas de pesquisa e métodos criam diferentes riscos de viés e limitações.

Um sinal metodológico que importa para um delineamento pode ter uma implicação diferente em outro; portanto, a avaliação deve interpretar cada verificação em relação à pergunta de pesquisa, ao delineamento e ao uso pretendido da evidência.

Ferramentas de avaliação podem apoiar esse processo, mas não devem ser tratadas como sistemas universais de pontuação que estabelecem a qualidade do estudo mecanicamente.

A sequência diagnóstica organiza as perguntas de avaliação, em vez de fornecer limiares fixos para evidências aceitáveis:

1. Adequação da pergunta de estudo e do delineamento: identifique a pergunta de pesquisa e avalie se o delineamento do estudo é apropriado para respondê-la; um alinhamento inadequado limita o que os achados podem estabelecer.
2. Condução e qualidade dos dados: examine como participantes, observações, medições ou outros dados foram obtidos e tratados; fragilidades na execução podem introduzir viés ou reduzir a confiança.
3. Análise: avalie se a abordagem analítica é adequada ao delineamento e aos dados do estudo e se a interpretação relatada é apoiada por essa análise.
4. Viés, relato e limitações: identifique sinais que sugiram riscos de viés, relato incompleto ou outras limitações, distinguindo um risco possível da confirmação de que os achados são inválidos.
5. Confiança no uso: combine os julgamentos sobre delineamento, condução, análise, relato, viés e limitações para decidir quanta confiança o estudo justifica para seu papel da evidência pretendido; uma fragilidade pode exigir ressalva sem invalidar automaticamente o estudo.

A avaliação crítica opera no nível de um estudo individual e determina como seus pontos fortes e limitações metodológicas afetam a confiança em seus achados.

Ela é distinta da análise crítica da literatura, que aborda relações analíticas mais amplas entre fontes após a avaliação das evidências individuais.

Delineamento de pesquisa e adequação metodológica

A adequação metodológica depende de o delineamento do estudo e a abordagem metodológica serem adequados à pergunta de pesquisa e poderem sustentar o tipo de afirmação que está sendo feita.

Um delineamento rigoroso pode ainda ser mal adequado a uma pergunta específica; portanto, qualidade metodológica e adequação do delineamento não devem ser tratadas como o mesmo julgamento.

Avalie a adequação entre delineamento e pergunta traçando o caminho da pergunta de pesquisa até a escolha do delineamento, as evidências que esse delineamento pode produzir e a inferência que o estudo pretende fazer.

A abordagem metodológica deve gerar o tipo de dado necessário para responder à pergunta, enquanto o delineamento do estudo deve apoiar a afirmação apenas dentro de seus limites inferenciais legítimos.

Uma incompatibilidade entre a evidência necessária e o delineamento escolhido limita a interpretação mesmo quando o estudo é, de resto, cuidadosamente conduzido.

• Alinhamento com a pergunta de pesquisa: determine se o delineamento do estudo é adequado à pergunta que está sendo feita; um delineamento que não aborda a relação ou o fenômeno exigido limita o que o estudo pode responder.
• Adequação da evidência: verifique se a abordagem metodológica pode produzir o tipo de evidência necessário para a pergunta de pesquisa; dados inadequados restringem a relevância dos achados para essa pergunta.
• Suporte à afirmação: avalie se o delineamento pode sustentar a afirmação feita a partir dos achados; conclusões que extrapolam as capacidades do delineamento exigem ressalva.
• Limitação inferencial: identifique o que o delineamento não estabelece e como essa limitação afeta a interpretação, a confiança ou a aplicabilidade.

Por exemplo, um estudo pode usar um delineamento observacional rigoroso para identificar uma associação; no entanto, esse delineamento pode ser mal adequado a uma afirmação de que um fator causou outro.

O estudo ainda pode fornecer evidências úteis, mas a inferência deve permanecer dentro do que o delineamento é adequado para sustentar.

Amostragem, coleta de dados e análise

A execução metodológica apoia as conclusões de um estudo quando a amostragem, a coleta de dados, a medição e a análise são adequadas ao delineamento do estudo e internamente coerentes.

As condições de qualidade relevantes variam conforme a metodologia; validade, confiabilidade e outros critérios de execução devem ser interpretados de acordo com os métodos utilizados, em vez de serem aplicados como regras idênticas a estudos qualitativos, quantitativos e de métodos mistos.

A amostragem deve fornecer uma amostra adequada ao propósito do estudo, com a seleção da amostra avaliada quanto a condições que possam introduzir viés ou afetar a precisão.

A coleta de dados deve ser consistente com a abordagem metodológica, enquanto a validade e a confiabilidade da medição devem ser avaliadas onde esses conceitos forem relevantes para o método.

A análise deve ser adequada aos dados e ao propósito da pesquisa, porque uma incompatibilidade pode reduzir a precisão ou limitar a interpretabilidade.

As conclusões devem estar alinhadas com os resultados e permanecer dentro do que a amostragem, a medição e a análise podem sustentar.

Essas verificações de execução conectam cada procedimento metodológico à sua condição de qualidade, possível efeito e implicação para a confiança:

• Amostragem e seleção da amostra: avalie como a amostra foi selecionada e se ela é adequada ao propósito do estudo; uma amostra não representativa pode introduzir viés de seleção ou limitar a amplitude com que a evidência pode ser interpretada quando a representatividade é exigida para a inferência pretendida.
• Coleta de dados: examine se os dados foram coletados de forma consistente com a abordagem metodológica declarada; inconsistências inexplicadas ou desvios do procedimento podem reduzir a confiança na comparabilidade ou na interpretabilidade dos dados resultantes.
• Medição: avalie a validade e a confiabilidade da medição quando relevantes para o delineamento do estudo; medições que não representam adequadamente o construto pretendido ou que não produzem observações suficientemente confiáveis podem limitar a confiança na evidência resultante.
• Análise: determine se o método analítico é adequado ao tipo de dado e à questão examinada; uma análise que não corresponde aos dados pode limitar a precisão, a interpretabilidade ou a inferência apoiada pelos resultados.
• Alinhamento das conclusões: compare as conclusões com os resultados relatados e as limitações metodológicas; conclusões que extrapolam o que a evidência sustenta exigem ressalva, em vez de rejeição automática do estudo.

Uma amostra não representativa é, então, um sinal de alerta quando a representatividade é necessária para a inferência pretendida, e não uma prova de que todos os achados são inutilizáveis.

Da mesma forma, uma incompatibilidade analítica pode reduzir a confiança em uma conclusão específica, com sua implicação dependendo de como a incompatibilidade afeta a evidência que sustenta essa conclusão.

Viés, limitações e transparência no relato

Viés, limitações e transparência no relato são sinais que modificam a confiança em um estudo, e não rótulos simples de aprovação ou reprovação.

Uma limitação gerenciável pode ser reconhecida e refletida adequadamente na interpretação, enquanto uma preocupação material é aquela que enfraquece de forma significativa a evidência que sustenta um achado relevante ou deixa uma fonte importante de incerteza não resolvida.

A transparência no relato permite que características observáveis da fonte sejam separadas de inferências sobre seus possíveis efeitos.

O relato seletivo pode aumentar o risco de que os achados relatados forneçam um relato incompleto da evidência, enquanto a omissão de detalhes metodológicos pode limitar a confiança em como o estudo foi conduzido ou interpretado.

Interesses concorrentes declarados identificam uma influência potencial que exige julgamento em contexto, em vez de provar viés, e limitações reconhecidas podem melhorar a transparência quando suas implicações são abordadas.

Uma conclusão qualificada que reflete a incerteza declarada e as limitações relevantes do estudo apoia uma interpretação mais proporcional dos achados.

Os sinais a seguir exigem interpretação em contexto, pois suas implicações dependem de como afetam os achados e o uso pretendido da evidência:

• Relato seletivo: evidências de que desfechos, análises ou achados relevantes são relatados de forma incompleta sugerem um risco de relato seletivo; se as omissões puderem alterar materialmente a interpretação, a confiança nas conclusões afetadas deve ser reduzida ou qualificada.
• Interesses concorrentes: um interesse concorrente financeiro, profissional ou outro relevante declarado identifica uma fonte potencial de influência; sua presença exige considerar como poderia afetar a pesquisa ou o relato, mas a declaração por si só não estabelece que os achados são tendenciosos.
• Limitações não abordadas: uma limitação importante que é evidente, mas não considerada na interpretação, pode aumentar o risco de conclusões que extrapolam o que a evidência sustenta; uma limitação declarada e adequadamente abordada pode permanecer gerenciável quando seu efeito é delimitado.
• Omisão de detalhes metodológicos: a ausência de informações necessárias para entender como procedimentos importantes foram realizados sugere relato incompleto e pode limitar a confiança quando o detalhamento ausente impede uma avaliação significativa dos achados.
• Conclusão qualificada: uma conclusão que reflete a incerteza declarada do estudo e as limitações relevantes apoia uma interpretação proporcional; uma conclusão que excede o que a evidência relatada pode sustentar representa uma ameaça mais material à confiança.

Uma limitação é gerenciável quando seu escopo e efeito plausível podem ser identificados e a afirmação relevante pode ser interpretada com a ressalva adequada.

Ela se torna uma ameaça material quando enfraquece substancialmente o suporte à afirmação ou impede uma avaliação necessária; nesse caso, a evidência pode justificar confiança reduzida ou exclusão daquele papel da evidência específico.

Tomar uma decisão defensável de seleção de fontes

Uma decisão defensável de seleção de fontes combina relevância, credibilidade e qualidade metodológica usando critérios explícitos que são aplicados consistentemente.

A decisão deve então considerar se alguma fragilidade material afeta o papel da evidência pretendido da fonte, em vez de reduzir a avaliação a uma única pontuação ou a um ponto de corte arbitrário.

Uma fonte pode atender a alguns critérios e apenas parcialmente a outros; portanto, as fragilidades devem ser julgadas por seu efeito prático na revisão.

Uma fragilidade é material quando altera significativamente se a fonte pode sustentar a afirmação, o contexto ou o papel da evidência para o qual está sendo considerada.

Regras formais de inclusão e exclusão dependem do método de revisão e do escopo predefinido; portanto, os critérios devem ser estabelecidos antes da seleção de fontes, em vez de serem alterados posteriormente para admitir evidências com base em preferência.

O fluxo de decisão organiza os resultados da avaliação anterior em um julgamento de seleção coerente, sem criar pontos de corte universais:

1. Confirmar relevância: determinar se a fonte atende à pergunta da revisão e ao escopo predefinido com proximidade suficiente para ser considerada para uso.
2. Avaliar credibilidade e qualidade metodológica: identificar se a fonte atende, atende parcialmente ou não atende aos critérios aplicáveis de credibilidade e metodologia para seu tipo de fonte e delineamento de estudo.
3. Identificar fragilidades materiais: determinar se alguma fragilidade é material para o papel pretendido da fonte ou se pode ser gerenciada por meio de ressalva.
4. Escolher a decisão: incluir a fonte quando ela atende aos critérios necessários para seu uso pretendido; excluí-la quando uma fragilidade material impede esse uso; optar pelo uso qualificado quando ela permanece informativa, mas suas limitações restringem a interpretação ou o peso da evidência.
5. Registrar a fundamentação: documentar quais critérios foram aplicados, os pontos fortes ou fragilidades importantes identificados, o papel da evidência pretendido e por que a decisão final foi tomada.

Uma fonte limítrofe pode, portanto, ser tratada de forma diferente dependendo de como será usada.

Por exemplo, uma fonte com uma limitação metodológica pode ser inadequada como evidência primária para uma afirmação central, mas ainda assim apoiar um contexto de fundo qualificado se a limitação não prejudicar esse papel mais restrito; a fundamentação deve registrar essa distinção para que fontes semelhantes sejam julgadas consistentemente.

Uma vez concluída a fundamentação da seleção, as fontes restantes podem ser levadas adiante para organizar fontes da revisão de literatura como uma tarefa separada.

Equilibrar relevância com qualidade da evidência

Relevância e qualidade da evidência são dimensões separadas da utilidade de uma fonte, e a solidez em uma não cancela automaticamente a fragilidade na outra.

Uma fonte pode ser altamente relevante, mas metodologicamente limitada, ou metodologicamente sólida, mas periférica à pergunta da revisão; portanto, seu papel da evidência deve refletir ambas as dimensões.

A comparação abaixo mantém a mesma base em quatro combinações: relevância para a pergunta da revisão, qualidade da evidência, contribuição provável e a ressalva necessária para o uso.

Como relevância e qualidade mudam a papel da evidência

Relevância	Qualidade da evidência	Papel provável na revisão	Ressalva necessária
Alta relevância	Evidência forte	Pode contribuir diretamente para responder à pergunta da revisão e pode sustentar afirmações centrais quando se ajusta ao papel da evidência pretendido.	A ressalva crítica normal permanece necessária, mas a confiança pode ser comparativamente alta quando nenhuma limitação material afeta a afirmação relevante.
Alta relevância	Evidência fraca	Pode ainda contribuir porque aborda de perto a pergunta da revisão, especialmente quando poucas fontes cobrem a mesma questão.	Exige ressalva clara sobre as limitações metodológicas, a confiança reduzida e o papel mais restrito que a evidência pode razoavelmente sustentar.
Menor relevância	Evidência forte	Pode fornecer evidência periférica, contexto, comparação ou suporte contextual, em vez de evidência direta para a pergunta central da revisão.	Sua contribuição deve ser limitada ao aspecto para o qual a fonte se ajusta ao escopo da revisão, em vez de ser tratada como evidência diretamente relevante.
Baixa relevância	Evidência fraca	Geralmente tem pouca utilidade como evidência para responder à pergunta da revisão, pois tanto a adequação da fonte quanto a solidez da evidência são limitadas.	O uso geralmente exige justificativa substancial, e a exclusão pode ser apropriada quando a fonte não atende aos critérios predefinidos da revisão ou não pode sustentar um papel da evidência necessário.

Uma fonte limítrofe pode ser exclusivamente relevante para um aspecto estreito da revisão e, ao mesmo tempo, ter uma limitação metodológica que enfraquece a confiança.

Essa fonte pode ser discutida com ressalva explícita quando sua relevância adiciona informações indisponíveis em outro lugar, mas não deve ser tratada como equivalente a uma evidência mais forte que sustente a mesma afirmação.

Incluir, excluir ou usar com ressalva

O resultado final do uso da fonte é incluir, excluir ou usar com ressalva, de acordo com critérios predefinidos de relevância e qualidade e com o papel da evidência pretendido da fonte.

Inclusão significa que a fonte tem relevância e adequação da evidência suficientes para esse papel; exclusão significa que ela falha em um limite material ou requisito de qualidade; e uso com ressalva significa que uma limitação importa, mas não remove todo o valor informacional.

Os três resultados devem ser aplicados consistentemente e apoiados por uma fundamentação registrada, em vez de tratados como regras universais de aprovação ou reprovação:

• Incluir: inclua quando a fonte atender aos requisitos materiais de relevância e tiver adequação da evidência suficiente para seu papel pretendido. A fonte pode contribuir no nível justificado por seus pontos fortes e limitações, com a fundamentação registrando por que ela atende aos critérios aplicáveis.
• Excluir: exclua quando a fonte falhar em um limite material, condição de relevância ou requisito de qualidade que a impeça de sustentar o papel da evidência pretendido. A fundamentação deve identificar o critério específico não atendido para que fontes comparáveis possam ser julgadas consistentemente.
• Usar com ressalva: retenha com ressalva quando a fonte atender parcialmente aos critérios relevantes e ainda contribuir com informações úteis, apesar de uma limitação material. Sua limitação deve ser declarada explicitamente, e ela deve ter menos peso inferencial do que evidências mais fortes que abordem a mesma afirmação.

Por exemplo, um estudo que é exclusivamente relevante para uma questão restrita, mas metodologicamente limitado, pode permanecer útil como evidência qualificada, recebendo menos peso inferencial do que estudos mais fortes.

Após registrar a fundamentação final, as fontes incluídas ou mantidas com ressalva podem seguir para a etapa de sintetizar estudos.