Évaluer la qualité et la pertinence des sources pour une revue de littérature

Pour évaluer une source pour une revue de littérature, vérifiez d’abord sa pertinence par rapport à la question et au périmètre, puis sa crédibilité et sa qualité méthodologique. Aucun signal isolé — y compris l’évaluation par les pairs ou le prestige de la publication — ne suffit à établir la force des preuves. La décision finale consiste à inclure, exclure ou utiliser la source avec des nuances selon son rôle probant et des critères définis à l’avance.

La pondération de ces critères dépend de la question de recherche, du périmètre prédéfini, de la discipline, du type de source, du plan d’étude et de l’usage attendu. L’objectif est de rendre explicite ce que chaque source peut réellement soutenir, plutôt que de la classer à partir d’un seul signe de prestige.

Table des matières⌄

Évaluer la pertinence par rapport à la question de recherche et au périmètre

La pertinence d'une source correspond à l'adéquation entre une source et la question de recherche, ainsi que le périmètre prédéfini de la revue, et non seulement au fait que la source aborde le même sujet général.

Les limites d'inclusion exactes dépendent de ce que la revue a défini comme éligible, de sorte que la pertinence doit être jugée par rapport à ces limites et non uniquement par rapport à la similarité thématique.

Les critères principaux vérifient si chaque source se situe dans les dimensions qui définissent le périmètre de la revue.

Ces vérifications évaluent l'adéquation et l'éligibilité, et non la qualité de la source.

• Alignement avec la question de recherche: la source aborde la question, la relation ou le problème que la revue vise à examiner.
• Concept: la source examine les concepts ou les construits requis par la revue, et non seulement le sujet général.
• Population ou unité: la population, les participants, les cas, les documents ou toute autre unité d'analyse correspond aux limites d'inclusion définies.
• Cadre ou contexte: la source se situe dans le cadre géographique, institutionnel, social, clinique ou autre précisé par la revue lorsque cette limite affecte l'éligibilité.
• Période temporelle: la source couvre la période définie par la revue lorsque la date de publication, la période d'étude ou le contexte historique fait partie du périmètre.
• Règle d'éligibilité explicite: la source satisfait toute autre limite d'inclusion prédéfinie qui détermine matériellement si elle appartient à la revue.

La relation entre la question de recherche, le périmètre défini et une source candidate peut être visualisée comme une vérification d'adéquation au périmètre à travers ces dimensions.

Une source dans le périmètre s'aligne sur la question de recherche et les limites d'inclusion applicables ; une source partiellement adaptée correspond à certaines dimensions mais diffère sur une condition qui peut limiter son applicabilité.

Une source hors périmètre se situe en dehors d'une limite que la revue a définie comme nécessaire à l'éligibilité.

Une correspondance partielle n'exige pas automatiquement l'exclusion : sa conséquence dépend de la limite qui diffère et de la relation de cette limite avec la question de recherche.

Par exemple, deux sources peuvent examiner le même concept, mais une source qui étudie une population ou une période différente peut n'être qu'une correspondance partielle lorsque ces dimensions constituent des limites d'inclusion explicites.

La recherche de sources candidates relève de la stratégie de recherche documentaire ; l'évaluation de la pertinence détermine si ces sources correspondent réellement à la question de recherche et au périmètre.

Pertinence thématique et conceptuelle

La pertinence conceptuelle dépend du fait que les concepts, construits, résultats ou arguments d'une source abordent ou non la question de recherche ; un simple chevauchement thématique large ne suffit pas.

Une terminologie partagée peut indiquer qu'une source concerne le même sujet, mais elle n'établit pas une contribution substantielle à la question examinée.

Une source présente une pertinence conceptuelle directe lorsque son concept central, son construit, son résultat ou son argument s'aligne sur ce que la question de recherche examine.

La pertinence de soutien s'applique lorsqu'une source apporte des preuves ou un contexte qui aident à interpréter le concept requis sans l'aborder directement, tandis qu'un chevauchement thématique superficiel se produit lorsque la source ne mentionne que le sujet général sans contribuer à la relation conceptuelle requise.

Ces niveaux décrivent la contribution à la question de recherche plutôt qu'une échelle de notation universelle, et le contraste entre l'adéquation conceptuelle et le chevauchement thématique peut être visualisé en comparant les sources selon ce qu'elles apportent réellement.

• Pertinence directe: la source aborde directement le concept, le construit, le résultat ou l'argument requis par la question de recherche.
• Pertinence de soutien: la source apporte des preuves ou un contexte utiles au concept requis sans aborder directement la question de recherche.
• Chevauchement superficiel: la source partage un sujet ou une terminologie mais ne contribue pas de manière substantielle au concept examiné.

Par exemple, si une question de recherche examine comment un facteur particulier est lié à un résultat, une source qui analyse cette relation présente une pertinence conceptuelle directe ; une source qui mentionne simplement le facteur et le résultat dans le même sujet général présente un chevauchement thématique superficiel.

La première peut contribuer directement à répondre à la question de recherche, tandis que la seconde ne doit pas être traitée comme substantiellement pertinente sur la seule base de la terminologie.

Adéquation de la population, du contexte et de la période

Les différences de population, de cadre, de contexte et de période importent lorsqu'elles modifient l'applicabilité d'une source à la question de recherche ou son adéquation au périmètre de la revue.

Une différence ne rend pas automatiquement une source inéligible ; sa conséquence dépend du fait que cette dimension constitue une limite d'éligibilité explicite ou affecte matériellement la manière dont les preuves peuvent être appliquées.

L'adéquation au périmètre peut être vérifiée en comparant chaque exigence de la revue avec la condition correspondante de la source.

Le diagramme montre si les attributs de population, de contexte et de période s'alignent sur la limite de la revue, tandis que le tableau consigne la concordance, la concordance partielle ou la discordance résultante et sa conséquence pour l'éligibilité ou l'utilisation nuancée.

Dimension du périmètre	Exigence de la revue	Condition de la source	Conséquence pour l'évaluation
Population/unité	La population ou l'unité spécifiée par le périmètre de la revue	Correspond à la population ou à l'unité requise, ou diffère sur une caractéristique pertinente pour la question de recherche	Une concordance soutient l'applicabilité directe ; une différence matérielle peut limiter l'applicabilité ou nécessiter des nuances et peut affecter l'éligibilité lorsque cette limite de population est explicite.
Cadre/contexte	Le cadre, l'environnement ou les conditions contextuelles définis par la revue	Correspond au contexte requis, ou diffère dans des conditions qui sont matérielles pour la question de recherche	Une concordance contextuelle soutient l'applicabilité ; une différence matérielle peut exiger une utilisation nuancée plutôt qu'une exclusion automatique, sauf si le cadre est une exigence d'éligibilité explicite.
Période temporelle	La période de publication ou d'étude définie par le périmètre de la revue	Se situe dans la période requise, ou diffère dans le temps d'une manière qui affecte l'applicabilité à la question de recherche	Une concordance temporelle soutient l'adéquation au périmètre ; une différence temporelle matérielle peut limiter l'applicabilité ou affecter l'éligibilité lorsque la revue définit une limite temporelle.

Une étude fondatrice plus ancienne peut rester pertinente lorsque la revue a besoin de la formulation originale d'un concept influent, même si elle se situe en dehors de la période utilisée pour les preuves relatives aux conditions actuelles.

Dans ce cas, la différence de période exige une nuance quant au rôle probant de la source plutôt qu'une conclusion automatique d'inutilisabilité.

Évaluer l'autorité et la crédibilité de la source

La crédibilité d'une source doit être évaluée par plusieurs signaux convergents plutôt que par un seul indicateur de prestige ou de statut de publication.

L'autorité, l'expertise de l'auteur, les normes de publication, la provenance, la finalité et le soutien par les preuves peuvent renforcer la confiance lorsqu'ils sont pertinents pour la source, mais aucun signal unique ne garantit la fiabilité ou l'exactitude.

L'expertise de l'auteur indique si la personne responsable de la source possède des connaissances pertinentes, tandis que les normes de publication et l'évaluation par les pairs indiquent le niveau de contrôle éditorial ou scientifique appliqué avant la publication.

La provenance et la transparence montrent si l'origine des informations et des documents à l'appui peut être retracée, et la finalité aide à expliquer comment la source peut formuler ses affirmations.

Le soutien par les preuves détermine ensuite si les affirmations substantielles sont étayées par des éléments vérifiables plutôt qu'acceptées sur la seule autorité.

Ces signaux de crédibilité doivent être interprétés ensemble, car chaque condition observée affecte la confiance différemment.

• Expertise de l'auteur: des qualifications, une expérience ou des connaissances pertinentes dans le domaine peuvent soutenir la confiance dans l'autorité de l'auteur ; une expertise floue ou non pertinente exige un examen plus approfondi.
• Normes de publication: un processus éditorial ou de révision documenté peut soutenir la confiance dans le fait que la source a fait l'objet d'un examen ; un processus flou offre moins de garanties.
• Évaluation par les pairs: l'évaluation par les pairs indique qu'un travail scientifique a été évalué par d'autres spécialistes, mais elle n'établit pas en soi que chaque affirmation ou conclusion est correcte.
• Provenance: des auteurs clairs, une origine de publication identifiable et des documents à l'appui traçables renforcent la transparence ; une provenance floue soulève des inquiétudes sur la manière dont les affirmations ont été produites.
• Finalité: une finalité informative, éducative, persuasive ou commerciale identifiable aide les lecteurs à interpréter comment les affirmations peuvent être formulées et quels intérêts peuvent influencer la présentation.
• Soutien par les preuves: les affirmations liées à des preuves identifiables soutiennent une plus grande confiance ; les affirmations non étayées ou difficiles à retracer exigent des nuances ou une vérification indépendante.

Des références solides ou des processus de publication peuvent soutenir la confiance, mais la crédibilité d'une source reste un jugement basé sur l'ensemble des signaux et sur les preuves elles-mêmes.

Une source peut être crédible mais avoir une pertinence limitée pour une revue de littérature particulière si elle ne répond pas à la question de recherche ou au périmètre.

Auteur et expertise dans le domaine

L'expertise de l'auteur ne soutient la confiance que lorsque l'expertise dans le domaine de l'auteur ou de l'organisation responsable est pertinente pour l'affirmation spécifique évaluée.

Les qualifications, l'affiliation, l'historique de publication ou le rôle professionnel peuvent fournir des signaux utiles, mais aucun n'établit l'autorité pour des affirmations en dehors du domaine auquel cette expertise s'applique.

Évaluez l'auteur en reliant chaque signal d'expertise au sujet de l'affirmation et en considérant ce que ce signal peut et ne peut pas établir.

L'exemple annoté met en évidence les indices courants relatifs à l'auteur qui aident à identifier l'expertise pertinente sans substituer ces indices à l'appréciation des preuves elles-mêmes.

• Identité de l'auteur : une attribution claire établit qui est responsable de l'affirmation et permet d'évaluer son expertise ; l'identité seule ne démontre pas une expertise pertinente.
• Qualifications et expertise disciplinaire: des qualifications dans un domaine lié à l'affirmation peuvent soutenir la confiance dans l'expertise dans le domaine ; des titres dans un domaine non connexe n'établissent pas l'autorité pour cette affirmation.
• Affiliation: une affiliation peut fournir un contexte sur le cadre professionnel ou académique d'un auteur ; l'association institutionnelle seule n'établit pas une expertise pertinente ni l'exactitude de l'affirmation.
• Historique de publication: un historique de publication lié au sujet peut indiquer un travail soutenu dans le domaine pertinent ; un historique de publication en dehors de ce sujet n'établit pas l'expertise pour l'affirmation évaluée.
• Rôle: un rôle professionnel ou de recherche peut soutenir la confiance lorsque ses responsabilités sont pertinentes pour le sujet ; un titre seul ne démontre pas une expertise au-delà de ce rôle.
• Intérêts divulgués: les intérêts divulgués offrent une transparence sur les relations ou les intérêts concurrents pertinents pour l'interprétation de la source ; la divulgation seule n'établit ni la non-fiabilité ni l'exactitude.

Par exemple, un auteur possédant des qualifications solides et pertinentes dans une discipline peut démontrer une expertise pour des affirmations relevant de cette discipline, mais pas pour des affirmations spécialisées dans un domaine non connexe.

La confiance doit refléter l'adéquation entre l'expertise de l'auteur et l'affirmation concernée, et non le seul prestige apparent des titres.

Évaluation par les pairs, type de source et normes de publication

L'évaluation par les pairs constitue un mécanisme de contrôle éditorial et scientifique, mais elle ne garantit ni l'exactitude d'une source ni sa solidité méthodologique.

Les normes de publication doivent être évaluées parallèlement au type de source, au processus éditorial, à la transparence, à la finalité et aux preuves que la source présente.

Différents types de sources font l'objet de différentes formes d'examen ou de contrôle éditorial.

Leurs processus de publication fournissent des signaux de crédibilité différents.

Un article scientifique peut être évalué par des pairs de la discipline, un ouvrage scientifique peut faire l'objet d'une évaluation éditoriale et d'un examen par des spécialistes, et un rapport institutionnel peut faire l'objet d'un examen interne, technique ou éditorial selon le processus de l'organisation responsable.

Pour décider de l'usage d'une source comme preuve, demandez quel examen a eu lieu, dans quelle mesure ce processus est transparent et quelles en sont les limites, plutôt que de placer le type de source dans une hiérarchie universelle.

Type de source	Processus d'évaluation ou éditorial	Ce qu'il indique	Limite de l'évaluation
Article scientifique évalué par les pairs	Évalué par des pairs disciplinaires et traité par un processus éditorial de revue avant publication.	L'évaluation par les pairs fournit un examen disciplinaire et indique que l'article scientifique a fait l'objet d'un processus d'évaluation formel.	L'évaluation par les pairs n'établit pas en soi la qualité méthodologique ; des faiblesses, des biais ou des limites peuvent subsister.
Ouvrage scientifique	Peut faire l'objet d'une évaluation éditoriale et d'un examen par des spécialistes via un éditeur scientifique, selon le processus de publication.	Un processus d'évaluation et éditorial documenté peut indiquer un examen scientifique et un contrôle de publication adaptés au travail.	Le format ouvrage scientifique n'établit pas la qualité de chaque affirmation ; le processus d'évaluation réel et les preuves à l'appui requièrent encore une évaluation.
Rapport institutionnel ou gouvernemental	Peut faire l'objet d'un examen interne, technique, éditorial ou d'approbation selon les normes de publication de l'organisation responsable.	Une provenance claire, une transparence et un processus d'évaluation documenté peuvent fournir des signaux de crédibilité pertinents pour l'utilisation probante du rapport.	La publication institutionnelle n'établit pas automatiquement la fiabilité ; la finalité, la provenance, la transparence, le soutien par les preuves et le processus d'évaluation applicable restent pertinents.

Les contrôles de publication fournissent un examen mais ne remplacent pas l'évaluation critique des preuves elles-mêmes.

Un article scientifique évalué par les pairs peut encore contenir des faiblesses méthodologiques, des biais ou des limites, tandis qu'un document non évalué par les pairs peut rester adapté à un usage probant particulier lorsque sa finalité, sa provenance, sa transparence et les preuves à l'appui justifient cet usage.

Actualité, finalité et soutien par les preuves

L'actualité, la finalité et le soutien par les preuves sont des attributs distincts de la crédibilité d'une source, et ils peuvent pointer dans des directions différentes.

Une date de publication récente n'établit pas en soi la solidité des preuves, tandis qu'une source plus ancienne peut rester pertinente pour un concept fondateur lorsque les développements ultérieurs du domaine n'ont pas remis en cause l'apport pour lequel elle est citée.

Chaque attribut doit être évalué de sa condition observée à sa conséquence pour la crédibilité, plutôt que d'être regroupé en un seul score.

La finalité peut influencer la formulation d'une affirmation et peut introduire un biais potentiel sans rendre l'information automatiquement fausse.

Le soutien par les preuves dépend du fait que les preuves citées soutiennent l'affirmation, sont traçables jusqu'à des sources identifiables et sont proportionnées à la force de l'affirmation.

• Actualité: comparez la date de publication avec le rythme et le type d'évolution du domaine pertinents pour la revue. Une source reste actuelle pour l'usage probant visé lorsque ses informations représentent encore le concept ou les conditions examinés ; lorsqu'une évolution ultérieure pourrait modifier l'affirmation, la confiance dans l'utilisation directe est limitée à moins que sa pertinence continue puisse être établie.
• Finalité: identifiez la finalité communicative de la source et considérez comment son public ou ses intérêts peuvent affecter la sélection, la formulation ou l'interprétation des informations. Un biais potentiel appelle un examen approprié et peut justifier une utilisation prudente ou contextuelle, mais la finalité seule ne détermine pas si une affirmation est exacte.
• Soutien par les preuves: vérifiez si les preuves citées soutiennent réellement l'affirmation et si ce soutien est traçable jusqu'à des sources identifiables. Un soutien pertinent, traçable et proportionné à l'affirmation renforce la confiance, tandis qu'un soutien non étayé, faiblement connecté ou intraçable limite la confiance, quel que soit le nombre de citations fournies.

Une source plus ancienne mais fondatrice et bien étayée peut rester pertinente lorsqu'elle est utilisée pour le concept ou la contribution qu'elle a initialement établie.

À l'inverse, une source récente formulant une affirmation non étayée peut fournir des preuves faibles malgré sa récence ; la confiance et l'usage probant doivent donc refléter les attributs de crédibilité effectivement observés.

Évaluer de manière critique la qualité méthodologique

L'évaluation critique juge si la conception, la conduite, l'analyse et le compte rendu d'une étude rendent ses résultats suffisamment fiables pour le rôle qu'ils joueront dans la revue.

Elle examine directement la qualité méthodologique, sans supposer que la réputation de la publication ou le type de source établit la force des preuves.

Les critères d'évaluation doivent correspondre au plan d'étude, car des questions de recherche et des méthodes différentes créent des risques de biais et des limites différents.

Un signal méthodologique qui importe pour un plan peut avoir une implication différente dans un autre ; l'évaluation doit donc interpréter chaque vérification en relation avec la question de recherche, le plan et l'usage probant visé.

Des outils d'évaluation peuvent soutenir ce processus, mais ils ne doivent pas être traités comme des systèmes de notation universels qui établissent mécaniquement la qualité de l'étude.

La séquence diagnostique organise les questions d'évaluation sans fournir de seuils fixes pour des preuves acceptables :

1. Adéquation de la question d'étude et du plan: identifier la question de recherche et évaluer si le plan d'étude est approprié pour y répondre ; un mauvais alignement limite ce que les résultats peuvent établir.
2. Conduite et qualité des données: examiner comment les participants, les observations, les mesures ou autres données ont été obtenus et traités ; des faiblesses dans l'exécution peuvent introduire des biais ou réduire la confiance.
3. Analyse: évaluer si l'approche analytique correspond au plan d'étude et aux données et si l'interprétation rapportée est étayée par cette analyse.
4. Biais, compte rendu et limites: identifier les signaux qui suggèrent des risques de biais, un compte rendu incomplet ou d'autres limites, tout en distinguant un risque possible de la confirmation que les résultats sont invalides.
5. Confiance dans l'utilisation: combiner les jugements sur le plan, la conduite, l'analyse, le compte rendu, les biais et les limites pour décider du niveau de confiance que l'étude mérite pour son rôle probant visé ; une faiblesse peut exiger des nuances sans invalider automatiquement l'étude.

L'évaluation critique opère au niveau d'une étude individuelle et détermine comment ses forces et limites méthodologiques affectent la confiance dans ses résultats.

Elle se distingue de l'analyse critique de la littérature, qui aborde des relations analytiques plus larges entre les sources après que les preuves individuelles ont été évaluées.

Plan de recherche et adéquation méthodologique

L'adéquation méthodologique dépend du fait que le plan d'étude et l'approche méthodologique soient adaptés à la question de recherche et puissent soutenir le type d'affirmation avancée.

Un plan rigoureux peut être mal adapté à une question particulière, de sorte que la qualité méthodologique et la pertinence du plan ne doivent pas être traitées comme un même jugement.

Évaluez l'adéquation entre le plan et la question en retraçant le lien entre la question de recherche et le choix du plan, les preuves que ce plan peut produire et l'inférence que l'étude entend faire.

L'approche méthodologique doit générer le type de données nécessaires pour répondre à la question, tandis que le plan d'étude ne doit soutenir l'affirmation que dans ses limites inférentielles légitimes.

Un décalage entre les preuves requises et le plan choisi limite l'interprétation, même lorsque l'étude est par ailleurs menée avec soin.

• Alignement avec la question de recherche: déterminer si le plan d'étude est adapté à la question posée ; un plan qui ne répond pas à la relation ou au phénomène requis limite ce que l'étude peut apporter.
• Adéquation des preuves: vérifier si l'approche méthodologique peut produire le type de preuves nécessaires pour la question de recherche ; des données inadaptées restreignent la pertinence des résultats pour cette question.
• Soutien à l'affirmation: évaluer si le plan peut soutenir l'affirmation formulée à partir des résultats ; des conclusions qui dépassent les capacités du plan exigent des nuances.
• Limite inférentielle: identifier ce que le plan n'établit pas et comment cette limite affecte l'interprétation, la confiance ou l'applicabilité.

Échantillonnage, collecte de données et analyse

L'exécution méthodologique soutient les conclusions d'une étude lorsque l'échantillonnage, la collecte de données, la mesure et l'analyse sont appropriés au plan d'étude et cohérents en interne.

Les conditions de qualité pertinentes varient selon la méthodologie ; la validité, la fiabilité et les autres critères d'exécution doivent être interprétés selon les méthodes utilisées plutôt qu'appliqués comme des règles identiques aux études qualitatives, quantitatives et mixtes.

L'échantillonnage doit fournir un échantillon adapté à l'objectif de l'étude, avec une sélection de l'échantillon évaluée pour les conditions susceptibles d'introduire un biais ou d'affecter la précision.

La collecte de données doit être cohérente avec l'approche méthodologique, tandis que la validité et la fiabilité des mesures doivent être évaluées lorsque ces concepts sont pertinents pour la méthode.

L'analyse doit être appropriée aux données et à l'objectif de recherche, car un décalage peut réduire la précision ou limiter l'interprétabilité.

Les conclusions doivent s'aligner sur les résultats et rester dans les limites que l'échantillonnage, la mesure et l'analyse peuvent soutenir.

Ces vérifications d'exécution relient chaque procédure méthodologique à sa condition de qualité, à son effet possible et à sa conséquence pour la confiance :

• Échantillonnage et sélection de l'échantillon: évaluer comment l'échantillon a été sélectionné et s'il est adapté à l'objectif de l'étude ; un échantillon non représentatif peut introduire un biais de sélection ou limiter l'étendue de l'interprétation des preuves lorsque la représentativité est requise pour l'inférence visée.
• Collecte de données: examiner si les données ont été collectées de manière cohérente avec l'approche méthodologique déclarée ; des incohérences inexpliquées ou des écarts par rapport à la procédure peuvent réduire la confiance dans la comparabilité ou l'interprétabilité des données obtenues.
• Mesure: évaluer la validité et la fiabilité des mesures lorsqu'elles sont pertinentes pour le plan d'étude ; des mesures qui ne représentent pas adéquatement le construit visé ou ne produisent pas d'observations suffisamment fiables peuvent limiter la confiance dans les preuves obtenues.
• Analyse: déterminer si la méthode d'analyse est appropriée au type de données et à la question examinée ; une analyse qui ne correspond pas aux données peut limiter la précision, l'interprétabilité ou l'inférence soutenue par les résultats.
• Alignement des conclusions: comparer les conclusions avec les résultats rapportés et les limites méthodologiques ; les conclusions qui dépassent ce que les preuves soutiennent exigent des nuances plutôt qu'un rejet automatique de l'étude.

Un échantillon non représentatif est un signal d'alerte lorsque la représentativité est nécessaire pour l'inférence visée, et non la preuve que chaque résultat est inutilisable.

De même, un décalage analytique peut réduire la confiance dans une conclusion particulière, sa conséquence dépendant de la manière dont le décalage affecte les preuves soutenant cette conclusion.

Biais, limites et transparence du compte rendu

Les biais, les limites et la transparence du compte rendu sont des signaux qui modifient la confiance dans une étude, plutôt que des étiquettes binaires de succès ou d'échec.

Une limite gérable peut être reconnue et prise en compte de manière appropriée dans l'interprétation, tandis qu'une préoccupation matérielle est une préoccupation qui affaiblit sensiblement les preuves soutenant un résultat pertinent ou laisse une source importante d'incertitude non résolue.

La transparence du compte rendu permet de distinguer les caractéristiques observables de la source des inférences concernant leurs effets possibles.

Un compte rendu sélectif peut accroître le risque que les résultats rapportés fournissent un aperçu incomplet des preuves, tandis qu'un détail méthodologique manquant peut limiter la confiance dans la manière dont l'étude a été menée ou interprétée.

Les intérêts concurrents divulgués identifient une influence potentielle qui nécessite un jugement en contexte plutôt que la preuve d'un biais, et les limites reconnues peuvent améliorer la transparence lorsque leurs implications sont traitées.

Une conclusion nuancée qui reflète l'incertitude et les limites pertinentes de l'étude soutient une interprétation plus proportionnée des résultats.

Les signaux suivants nécessitent une interprétation en contexte, car leurs implications dépendent de la manière dont ils affectent les résultats et l'usage prévu des preuves :

• Compte rendu sélectif: des éléments indiquant que des résultats ou analyses pertinents sont rapportés de manière incomplète suggèrent un risque de compte rendu sélectif ; si les omissions pouvaient modifier matériellement l'interprétation, la confiance dans les conclusions concernées doit être réduite ou nuancée.
• Intérêts concurrents: un intérêt concurrent financier, professionnel ou autre pertinent divulgué identifie une source potentielle d'influence ; sa présence exige de considérer comment il pourrait affecter la recherche ou le compte rendu, mais la divulgation seule n'établit pas que les résultats sont biaisés.
• Limites non traitées: une limite importante qui est évidente mais non prise en compte dans l'interprétation peut accroître le risque que les conclusions dépassent ce que les preuves soutiennent ; une limite divulguée et traitée de manière appropriée peut rester gérable lorsque son effet est circonscrit.
• Détail méthodologique manquant: l'absence d'informations nécessaires pour comprendre comment des procédures importantes ont été réalisées suggère un compte rendu incomplet et peut limiter la confiance lorsque le détail manquant empêche une évaluation significative des résultats.
• Conclusion nuancée: une conclusion qui reflète l'incertitude déclarée de l'étude et les limites pertinentes soutient une interprétation proportionnée ; une conclusion qui dépasse ce que les preuves rapportées peuvent soutenir représente une menace plus matérielle pour la confiance.

Prendre une décision de sélection des sources défendable

Une décision de sélection des sources défendable combine la pertinence, la crédibilité et la qualité méthodologique en utilisant des critères explicites appliqués de manière cohérente.

La décision doit déterminer si une faiblesse matérielle affecte le rôle probant visé de la source, plutôt que de réduire l'évaluation à un score unique ou à un seuil arbitraire.

Une source peut satisfaire certains critères et n'en satisfaire que partiellement d'autres ; les faiblesses doivent être jugées en fonction de leur effet pratique sur la revue.

Une faiblesse est matérielle lorsqu'elle modifie de manière significative la capacité de la source à soutenir l'affirmation, le contexte ou le rôle probant pour lequel elle est considérée.

Les règles formelles d'inclusion et d'exclusion dépendent de la méthode de revue et du périmètre prédéfini ; les critères doivent être établis avant la sélection des sources plutôt que modifiés après coup pour admettre des preuves sur la base d'une préférence.

Le flux décisionnel organise les résultats d'évaluation précédents en un jugement de sélection cohérent sans créer de seuils universels :

1. Confirmer la pertinence: déterminer si la source correspond suffisamment à la question de recherche et au périmètre prédéfini pour être considérée comme utilisable.
2. Évaluer la crédibilité et la qualité méthodologique: identifier si la source satisfait, satisfait partiellement ou ne satisfait pas aux critères de crédibilité et méthodologiques applicables à son type de source et à son plan d'étude.
3. Identifier les faiblesses matérielles: déterminer si une faiblesse est matérielle pour le rôle visé de la source ou si elle peut être gérée par des nuances.
4. Choisir la décision: inclure la source lorsqu'elle satisfait aux critères nécessaires à l'usage prévu ; l'exclure lorsqu'une faiblesse matérielle empêche cet usage ; choisir une utilisation nuancée lorsqu'elle reste informative mais que ses limites contraignent l'interprétation ou le poids probant.
5. Enregistrer la justification: documenter les critères appliqués, les forces ou faiblesses importantes identifiées, le rôle probant visé et la raison de la décision finale.

Une source limite peut être traitée différemment selon son usage.

Par exemple, une source présentant une limitation méthodologique peut être inadaptée comme preuve principale pour une affirmation centrale, mais peut soutenir un contexte nuancé si la limitation n'affecte pas ce rôle plus restreint ; la justification doit enregistrer cette distinction afin que des sources similaires soient jugées de manière cohérente.

Une fois la justification de la sélection complète, les sources restantes peuvent être transmises pour organiser les sources de la revue de littérature en tant que tâche distincte.

Équilibrer la pertinence et la qualité des preuves

La pertinence et la qualité des preuves sont des dimensions distinctes de l'utilité d'une source, et la force sur l'une ne compense pas automatiquement la faiblesse sur l'autre.

Une source peut être hautement pertinente mais méthodologiquement limitée, ou méthodologiquement solide mais périphérique à la question de recherche ; son rôle probant doit refléter les deux dimensions.

La comparaison ci-dessous maintient la même base pour quatre combinaisons : la pertinence par rapport à la question de recherche, la qualité des preuves, la contribution probable et les nuances nécessaires à l'utilisation.

Pertinence	Qualité des preuves	Rôle probable dans la revue	Nuances nécessaires
Pertinence élevée	Preuves solides	Peut contribuer directement à répondre à la question de recherche et peut soutenir des affirmations centrales lorsqu'elle correspond au rôle probant visé.	Une qualification critique normale reste nécessaire, mais la confiance peut être comparativement élevée lorsqu'aucune limitation matérielle n'affecte l'affirmation concernée.
Pertinence élevée	Preuves faibles	Peut contribuer car elle aborde étroitement la question de recherche, surtout lorsque peu de sources couvrent le même sujet.	Exige des nuances claires concernant les limites méthodologiques, une confiance réduite et le rôle plus restreint que les preuves peuvent raisonnablement soutenir.
Pertinence plus faible	Preuves solides	Peut fournir des preuves périphériques, du contexte, une comparaison ou un soutien contextuel plutôt que des preuves directes pour la question centrale de la revue.	Sa contribution doit être limitée à l'aspect pour lequel la source correspond au périmètre de la revue, plutôt que traitée comme une preuve directement pertinente.
Faible pertinence	Preuves faibles	A généralement peu d'utilité probante pour répondre à la question de recherche, car l'adéquation de la source et la force probante sont limitées.	L'utilisation exige généralement une justification substantielle, et l'exclusion peut être appropriée lorsque la source ne satisfait pas aux critères prédéfinis de la revue ou ne peut pas soutenir un rôle probant nécessaire.

Une source limite peut être uniquement pertinente pour un aspect restreint de la revue tout en présentant une limitation méthodologique qui affaiblit la confiance.

Une telle source peut être discutée avec des nuances explicites lorsque sa pertinence apporte des informations indisponibles ailleurs, mais elle ne doit pas être traitée comme équivalente à des preuves plus solides soutenant la même affirmation.

Inclure, exclure ou utiliser avec des nuances

Le résultat final de l'utilisation d'une source est de l'inclure, de l'exclure ou de l'utiliser avec des nuances, en fonction des critères de pertinence et de qualité prédéfinis et du rôle probant visé de la source.

L'inclusion signifie que la source présente une pertinence et une adéquation probante suffisantes pour ce rôle ; l'exclusion signifie qu'elle ne satisfait pas à une limite matérielle ou à une exigence de qualité ; et l'utilisation avec des nuances signifie qu'une limitation importe mais ne supprime pas toute valeur informationnelle.

Les trois résultats doivent être appliqués de manière cohérente et étayés par une justification enregistrée, plutôt que traités comme des règles universelles de succès ou d'échec :

• Inclure: inclure lorsque la source satisfait aux exigences matérielles de pertinence et présente une adéquation probante suffisante pour le rôle visé. La source peut contribuer au niveau justifié par ses forces et ses limites, la justification indiquant pourquoi elle satisfait aux critères applicables.
• Exclure: exclure lorsque la source ne satisfait pas à une limite matérielle, à une condition de pertinence ou à une exigence de qualité qui l'empêche de soutenir le rôle probant visé. La justification doit identifier le critère spécifique non satisfait afin que des sources comparables puissent être jugées de manière cohérente.
• Utiliser avec des nuances: retenir avec des nuances lorsque la source satisfait partiellement aux critères pertinents et apporte des informations utiles malgré une limitation matérielle. Sa limitation doit être énoncée explicitement, et elle doit porter un poids inférentiel moindre que des preuves plus solides traitant de la même affirmation.

Par exemple, une étude qui est uniquement pertinente pour une question restreinte mais méthodologiquement limitée peut rester utile comme preuve nuancée tout en recevant un poids inférentiel moindre que des études plus solides.

Une fois la justification finale enregistrée, les preuves retenues peuvent passer à la tâche distincte consistant à apprendre à synthétiser les études.