Bewertung der Quellenqualität und -relevanz für ein Literaturreview

Bewerten Sie jede Quelle in getrennten Schritten nach Relevanz zur Review-Frage und zum festgelegten Umfang, Glaubwürdigkeit und Transparenz sowie – bei empirischen Studien – nach methodischer Qualität. Schließen Sie eine Quelle ein, wenn sie die notwendigen Kriterien für ihre konkrete Evidenzrolle erfüllt; verwenden Sie sie mit Qualifizierung, wenn eine relevante Einschränkung die Aussagekraft begrenzt, und schließen Sie sie für diese Rolle aus, wenn eine wesentliche Abweichung die beabsichtigte Nutzung untergräbt.

Kein einzelnes Glaubwürdigkeitssignal beweist starke Evidenz. Autorenexpertise, Publikationsstandards, Peer-Review und Evidenzunterstützung müssen zusammen beurteilt werden; bei empirischen Studien bestimmen zusätzlich Studiendesign, Verzerrungsrisiken und Einschränkungen, wie weit die Ergebnisse interpretiert werden können.

Inhaltsverzeichnis⌄

Relevanz für die Review-Frage und den Umfang bewerten

Quellenrelevanz ist die Passung zwischen einer Quelle und der Review-Frage sowie dem vorab festgelegten Umfang des Reviews, nicht allein die Frage, ob die Quelle dasselbe breite Thema behandelt.

Die Relevanz muss anhand dieser Grenzen beurteilt werden und nicht allein anhand der Themenähnlichkeit.

Diese Prüfungen bewerten Passung und Einschlussfähigkeit, nicht die methodische oder inhaltliche Qualität der Quelle.

• Ausrichtung an der Review-Frage: Die Quelle behandelt die Frage, die Beziehung oder das Problem, das das Review untersuchen soll.
• Konzept: Die Quelle untersucht die Konzepte oder Konstrukte, die das Review benötigt, anstatt nur das breitere Thema zu erwähnen.
• Population oder Einheit: Die Population, Teilnehmenden, Fälle, Dokumente oder andere Analyseeinheit passen zu den definierten Einschlussgrenzen.
• Setting oder Kontext: Die Quelle liegt innerhalb des geografischen, institutionellen, sozialen, klinischen oder anderen Kontexts, den das Review festgelegt hat, wenn diese Grenze die Einschlussfähigkeit beeinflusst.
• Zeitraum: Die Quelle deckt den vom Review definierten Zeitraum ab, wenn Veröffentlichungsdatum, Studienzeitraum oder historischer Kontext Teil des Umfangs sind.
• Explizite Einschlussregel: Die Quelle erfüllt jede andere vorab festgelegte Einschlussgrenze, die maßgeblich darüber entscheidet, ob sie in das Review gehört.

Die Beziehung zwischen der Review-Frage, dem definierten Umfang und einer Kandidatenquelle lässt sich als Prüfung der Passung zum Umfang über diese Dimensionen hinweg veranschaulichen.

Eine Quelle innerhalb des Umfangs stimmt mit der Review-Frage und den anwendbaren Einschlussgrenzen überein; eine Quelle mit teilweiser Passung entspricht einigen Dimensionen, weicht jedoch bei einer Bedingung ab, die ihre Anwendbarkeit einschränken kann.

Eine Quelle außerhalb des Umfangs fällt außerhalb einer Grenze, die das Review als notwendig für die Einschlussfähigkeit definiert hat.

Eine teilweise Übereinstimmung führt nicht automatisch zum Ausschluss: ihre Bedeutung hängt davon ab, welche Grenze abweicht und wie diese Grenze mit der Review-Frage zusammenhängt.

Zum Beispiel können zwei Quellen dasselbe Konzept untersuchen, aber eine Quelle, die eine andere Population oder einen anderen Zeitraum untersucht, kann nur eine teilweise Passung aufweisen, wenn diese Dimensionen explizite Einschlussgrenzen sind.

Das Auffinden von Kandidatenquellen gehört zur Suchstrategie für die Literatur; die Relevanzbewertung entscheidet anschließend, ob diese Quellen tatsächlich zur Review-Frage und zum festgelegten Umfang passen.

Thematische und konzeptionelle Relevanz

Die konzeptionelle Relevanz hängt davon ab, ob die Konzepte, Konstrukte, Ergebnisse oder Argumente einer Quelle die Review-Frage wirklich behandeln; eine bloße Überschneidung beim übergeordneten Thema genügt nicht.

Eine gemeinsame Terminologie kann zwar darauf hindeuten, dass eine Quelle dasselbe Thema betrifft, aber sie belegt für sich genommen keinen substanziellen Beitrag zur Review-Frage.

Diese Stufen beschreiben den Beitrag zur Review-Frage und keine universelle Bewertungsskala; der Unterschied zwischen konzeptioneller Passung und thematischer Überschneidung lässt sich veranschaulichen, indem man Quellen danach vergleicht, was sie konkret beitragen.

• Direkte Relevanz: Die Quelle behandelt das von der Review-Frage geforderte Konzept, Konstrukt, Ergebnis oder Argument direkt.
• Unterstützende Relevanz: Die Quelle liefert nützliche Evidenz oder Kontext zum geforderten Konzept, behandelt die Review-Frage jedoch nicht direkt.
• Oberflächliche Überschneidung: Die Quelle teilt ein Thema oder eine Terminologie, trägt aber nicht substanziell zum untersuchten Konzept bei.

Wenn eine Review-Frage beispielsweise untersucht, wie ein bestimmter Faktor mit einem Ergebnis zusammenhängt, besitzt eine Quelle, die diese Beziehung analysiert, direkte konzeptionelle Relevanz; eine Quelle, die den Faktor und das Ergebnis lediglich im selben breiten Thema erwähnt, weist oberflächliche Überschneidung auf.

Die erste kann unmittelbar zur Beantwortung der Review-Frage beitragen, während die zweite nicht allein aufgrund der Terminologie als substanziell relevant behandelt werden sollte.

Passung von Population, Kontext und Zeitraum

Unterschiede bei Population, Setting, Kontext und Zeitraum sind bedeutsam, wenn sie die Anwendbarkeit einer Quelle auf die Review-Frage oder ihre Passung zum Review-Umfang verändern.

Ein Unterschied führt nicht automatisch zum Ausschluss; seine Implikation hängt davon ab, ob diese Dimension eine explizite Einschlussgrenze darstellt oder wesentlich beeinflusst, wie die Evidenz angewendet werden kann.

Passung von Review-Anforderung und Quellenbedingung

Umfangsdimension	Review-Anforderung	Quellenbedingung	Bewertungsimplikation
Population/Einheit	Die Population oder Einheit, die der Review-Umfang festgelegt hat	Entspricht der geforderten Population oder Einheit oder weicht bei einem für die Review-Frage relevanten Merkmal ab	Eine Übereinstimmung unterstützt die direkte Anwendbarkeit; eine wesentliche Abweichung kann die Anwendbarkeit einschränken oder eine Qualifizierung erfordern und kann die Einschlussfähigkeit beeinflussen, wenn diese Populationsgrenze explizit ist.
Setting/Kontext	Das Setting, die Umgebung oder die kontextuellen Bedingungen, die das Review definiert hat	Entspricht dem geforderten Kontext oder weicht bei Bedingungen ab, die für die Review-Frage wesentlich sind	Eine kontextuelle Übereinstimmung unterstützt die Anwendbarkeit; eine wesentliche Abweichung kann eine qualifizierte Nutzung erfordern, anstatt automatisch ausgeschlossen zu werden, es sei denn, das Setting ist eine explizite Einschlussvoraussetzung.
Zeitraum	Der Veröffentlichungs- oder Untersuchungszeitraum, den der Review-Umfang definiert hat	Liegt innerhalb des geforderten Zeitraums oder weicht zeitlich ab, wo diese Abweichung die Anwendbarkeit auf die Review-Frage beeinflusst	Eine zeitliche Übereinstimmung unterstützt die Umfangspassung; eine wesentliche zeitliche Abweichung kann die Anwendbarkeit einschränken oder die Einschlussfähigkeit beeinflussen, wenn das Review eine zeitliche Grenze definiert.

Eine ältere grundlegende Studie kann relevant bleiben, wenn das Review die ursprüngliche Formulierung eines einflussreichen Konzepts benötigt, auch wenn sie außerhalb des Zeitraums liegt, der für Evidenz zu aktuellen Bedingungen verwendet wird.

In diesem Fall erfordert die zeitliche Abweichung eine Qualifizierung der Evidenzrolle der Quelle, anstatt automatisch zu schlussfolgern, dass die Quelle unbrauchbar ist.

Autorität und Glaubwürdigkeit der Quelle bewerten

Die Glaubwürdigkeit einer Quelle sollte anhand mehrerer konvergierender Signale bewertet werden und nicht anhand eines einzelnen Merkmals von Prestige oder Publikationsstatus.

Autorität, Autorenexpertise, Publikationsstandards, Provenienz, Zweck und Evidenzunterstützung können das Vertrauen stärken, wenn sie für die Quelle relevant sind, aber kein einzelnes Signal garantiert Vertrauenswürdigkeit oder Korrektheit.

Diese Glaubwürdigkeitssignale sollten zusammen interpretiert werden, da jeder beobachtete Umstand das Vertrauen unterschiedlich beeinflusst.

• Autorenexpertise: relevante Qualifikationen, Erfahrung oder Fachwissen können das Vertrauen in die Autorität des Autors stützen; unklare oder nicht einschlägige Expertise erfordert eine genauere Prüfung.
• Publikationsstandards: Ein dokumentierter Redaktions- oder Begutachtungsprozess kann das Vertrauen stützen, dass die Quelle einer Prüfung unterzogen wurde; ein unklarer Prozess bietet weniger Sicherheit.
• Peer-Review: Peer-Review zeigt an, dass eine wissenschaftliche Arbeit von anderen Fachleuten begutachtet wurde, aber es belegt für sich genommen nicht, dass jede Behauptung oder Schlussfolgerung korrekt ist.
• Provenienz: Klare Autorenschaft, Publikationsherkunft und nachvollziehbares unterstützendes Material stärken die Transparenz; unklare Provenienz wirft Bedenken darüber auf, wie Behauptungen entstanden sind.
• Zweck: Ein erkennbarer informativer, bildender, überzeugender oder kommerzieller Zweck hilft einzuschätzen, wie Behauptungen präsentiert werden können und welche Interessen die Darstellung beeinflussen können.
• Evidenzunterstützung: Behauptungen, die mit identifizierbarer Evidenz verknüpft sind, stärken das Vertrauen; nicht unterstützte oder schwer nachvollziehbare Behauptungen erfordern eine Einschränkung oder unabhängige Überprüfung.

Starke Qualifikationen oder Publikationsprozesse können das Vertrauen stützen, aber die Glaubwürdigkeit einer Quelle bleibt ein Urteil, das auf den kombinierten Signalen und der Evidenz selbst basiert.

Eine Quelle kann daher glaubwürdig sein und dennoch nur eine begrenzte Relevanz für ein bestimmtes Literaturreview haben, wenn sie die Review-Frage oder den Umfang nicht adressiert.

Aktualität, Zweck und Evidenzunterstützung

Aktualität, Zweck und Evidenzunterstützung sind getrennte Glaubwürdigkeitsattribute einer Quelle, und sie können in unterschiedliche Richtungen weisen.

Ein aktuelles Veröffentlichungsdatum begründet für sich genommen keine starke Evidenz. Eine ältere Quelle kann für ein grundlegendes Konzept weiterhin relevant sein, wenn spätere Veränderungen im Feld ihre Aussage für diesen Verwendungszweck nicht überholt haben.

• Aktualität: Vergleichen Sie das Veröffentlichungsdatum mit dem Veränderungstempo und dem Gegenstand des für das Review relevanten Feldes. Eine Quelle ist für die beabsichtigte Evidenzrolle hinreichend aktuell, wenn ihre Informationen die untersuchten Bedingungen weiterhin repräsentieren; könnten spätere Entwicklungen die Aussage verändert haben, ist eine aktuelle Überprüfung oder eine Qualifizierung der Nutzung erforderlich.
• Zweck: den kommunikativen Zweck der Quelle identifizieren und berücksichtigen, wie ihr Publikum oder ihre Interessen die Auswahl, Rahmung oder Interpretation von Informationen beeinflussen können. Eine potenzielle Verzerrung erfordert eine angemessene Prüfung und kann eine vorsichtige oder kontextbezogene Nutzung rechtfertigen, aber der Zweck allein bestimmt nicht, ob eine Behauptung korrekt ist.
• Evidenzunterstützung: prüfen, ob zitierte Evidenz die Behauptung tatsächlich stützt und ob diese Unterstützung auf identifizierbare Quellen zurückverfolgt werden kann. Relevante, nachvollziehbare Unterstützung im Verhältnis zur Behauptung stärkt das Vertrauen, während nicht unterstützte, schwach verbundene oder nicht nachvollziehbare Unterstützung das Vertrauen begrenzt, unabhängig von der Anzahl der angegebenen Zitate.

Eine ältere, aber grundlegende und gut unterstützte Quelle kann relevant bleiben, wenn sie für das Konzept verwendet wird, das sie ursprünglich etabliert hat.

Im Gegensatz dazu kann eine aktuelle Quelle, die eine nicht unterstützte Behauptung aufstellt, trotz ihrer Aktualität schwache Evidenz bleiben, daher sollten Vertrauen und Evidenznutzung die spezifischen Glaubwürdigkeitsattribute widerspiegeln, die bewertet werden.

Methodische Qualität kritisch bewerten

Die kritische Bewertung beurteilt, ob Design, Durchführung, Analyse und Berichterstattung einer Studie ihre Ergebnisse ausreichend vertrauenswürdig für die Rolle machen, die sie im Review spielen werden.

Sie prüft die methodische Qualität direkt, anstatt anzunehmen, dass der Publikationsruf oder der Quellentyp die Stärke der Evidenz begründet.

Bewertungskriterien sollten zum Studiendesign passen, da unterschiedliche Forschungsfragen und Methoden unterschiedliche Risiken für Verzerrungen und Einschränkungen schaffen.

Die diagnostische Abfolge organisiert Bewertungsfragen, anstatt feste Schwellenwerte für akzeptable Evidenz zu liefern:

1. Passung von Studienfrage und Design: die Forschungsfrage identifizieren und bewerten, ob das Studiendesign zu ihrer Beantwortung geeignet ist; eine schlechte Passung schränkt ein, was die Ergebnisse belegen können.
2. Durchführung und Datenqualität: prüfen, wie Teilnehmende, Beobachtungen, Messungen oder andere Daten gewonnen und behandelt wurden; Schwächen in der Durchführung können Verzerrungen einführen oder das Vertrauen verringern.
3. Analyse: beurteilen, ob der analytische Ansatz zum Studiendesign und zu den Daten passt und ob die berichtete Interpretation durch diese Analyse gestützt wird.
4. Verzerrung, Berichterstattung und Einschränkungen: Signale identifizieren, die auf Risiken von Verzerrungen, unvollständiger Berichterstattung oder andere Einschränkungen hindeuten, dabei ein mögliches Risiko von der Bestätigung unterscheiden, dass die Ergebnisse ungültig sind.
5. Vertrauen in die Nutzung: die Urteile über Design, Durchführung, Analyse, Berichterstattung, Verzerrung und Einschränkungen kombinieren, um zu entscheiden, wie viel Vertrauen die Studie für ihre beabsichtigte Evidenzrolle rechtfertigt; eine Schwäche kann eine Qualifizierung erfordern, ohne die Studie automatisch ungültig zu machen.

Die kritische Bewertung operiert auf der Ebene einer einzelnen Studie und bestimmt, wie ihre methodischen Stärken und Einschränkungen das Vertrauen in ihre Ergebnisse beeinflussen.

Sie unterscheidet sich von der kritischen Analyse der Literatur, die breitere analytische Beziehungen zwischen mehreren Quellen behandelt, nachdem die einzelne Evidenz bewertet wurde.

Forschungsdesign und methodische Passung

Die methodische Passung hängt davon ab, ob das Studiendesign und der methodische Ansatz für die Forschungsfrage geeignet sind und die Art der gemachten Aussage stützen können.

Ein rigoroses Design kann dennoch für eine bestimmte Frage schlecht geeignet sein; methodische Sorgfalt und Designangemessenheit sind deshalb nicht dasselbe Urteil.

• Ausrichtung an der Forschungsfrage: Bestimmen Sie, ob das Studiendesign für die gestellte Frage geeignet ist; ein Design, das die erforderliche Beziehung oder das Phänomen nicht adressiert, schränkt ein, was die Studie beantworten kann.
• Eignung der Evidenz: Prüfen Sie, ob der methodische Ansatz die Art von Evidenz produzieren kann, die für die Forschungsfrage benötigt wird; ungeeignete Daten schränken die Relevanz der Ergebnisse für diese Frage ein.
• Unterstützung der Aussage: Bewerten Sie, ob das Design die aus den Ergebnissen gezogene Aussage stützen kann; Schlussfolgerungen, die über die Fähigkeiten des Designs hinausgehen, erfordern eine Qualifizierung.
• Inferenzielle Einschränkung: Identifizieren Sie, was das Design nicht belegt und wie diese Einschränkung Interpretation, Vertrauen oder Anwendbarkeit beeinflusst.

Beispielsweise kann eine Studie ein rigoroses Beobachtungsdesign verwenden, um einen Zusammenhang zu identifizieren, doch dieses Design kann schlecht auf eine Aussage abgestimmt sein, dass ein Faktor einen anderen verursacht hat.

Die Studie kann dennoch nützliche Evidenz liefern, aber die Schlussfolgerung sollte innerhalb dessen bleiben, was das Design zu stützen geeignet ist.

Stichprobenziehung, Datenerhebung und Analyse

Die methodische Durchführung stützt die Schlussfolgerungen einer Studie, wenn Stichprobenziehung, Datenerhebung, Messung und Analyse für das Studiendesign geeignet und intern kohärent sind.

Die relevanten Qualitätsbedingungen variieren je nach Methodik, daher sollten Validität, Reliabilität und andere Durchführungskriterien entsprechend den verwendeten Methoden interpretiert werden, anstatt als identische Regeln über qualitative, quantitative und Mixed-Methods-Studien hinweg angewendet zu werden.

Diese Durchführungsprüfungen verbinden jedes methodische Verfahren mit seiner Qualitätsbedingung, möglichen Auswirkung und Implikation für das Vertrauen:

• Stichprobenziehung und Stichprobenauswahl: Bewerten Sie, wie die Stichprobe ausgewählt wurde und ob sie für den Zweck der Studie angemessen ist; eine nicht repräsentative Stichprobe kann eine Selektionsverzerrung einführen oder einschränken, wie breit die Evidenz interpretiert werden kann, wenn Repräsentativität für die beabsichtigte Schlussfolgerung erforderlich ist.
• Datenerhebung: Prüfen Sie, ob die Daten konsistent mit dem angegebenen methodischen Ansatz erhoben wurden; ungeklärte Inkonsistenzen oder Abweichungen vom Verfahren können das Vertrauen in die Vergleichbarkeit oder Interpretierbarkeit der resultierenden Daten verringern.
• Messung: Bewerten Sie die Messvalidität und -reliabilität, wo sie für das Studiendesign relevant sind; Messungen, die das beabsichtigte Konstrukt nicht angemessen repräsentieren oder nicht ausreichend verlässliche Beobachtungen liefern, können das Vertrauen in die resultierende Evidenz einschränken.
• Analyse: Bestimmen Sie, ob die Analysemethode für die Art der Daten und die untersuchte Frage geeignet ist; eine Analyse, die nicht zu den Daten passt, kann die Präzision, Interpretierbarkeit oder die durch die Ergebnisse gestützte Schlussfolgerung einschränken.
• Übereinstimmung der Schlussfolgerungen: Vergleichen Sie die Schlussfolgerungen mit den berichteten Ergebnissen und methodischen Einschränkungen; Schlussfolgerungen, die über das hinausgehen, was die Evidenz stützt, erfordern eine Qualifizierung, nicht eine automatische Ablehnung der Studie.

Eine nicht repräsentative Stichprobe ist ein Warnsignal, wenn Repräsentativität für die beabsichtigte Schlussfolgerung notwendig ist; sie beweist nicht, dass jedes Ergebnis der Studie unbrauchbar ist.

Ebenso kann eine analytische Diskrepanz das Vertrauen in eine bestimmte Schlussfolgerung verringern, wobei ihre Implikation davon abhängt, wie die Diskrepanz die Evidenz beeinflusst, die diese Schlussfolgerung stützt.

Verzerrung, Einschränkungen und Transparenz der Berichterstattung

Verzerrung, Einschränkungen und Transparenz der Berichterstattung sind Signale, die das Vertrauen in eine Studie modifizieren, und keine einfachen Ja/Nein-Kennzeichnungen.

Eine Einschränkung ist beherrschbar, wenn ihr Umfang und ihre plausible Wirkung nachvollziehbar eingegrenzt werden können; eine wesentliche Einschränkung schwächt dagegen die für eine relevante Aussage benötigte Evidenz substanziell oder lässt eine zentrale Unsicherheit ungelöst.

Die Transparenz der Berichterstattung erlaubt es, beobachtbare Merkmale der Quelle von Schlussfolgerungen über ihre möglichen Auswirkungen zu trennen.

Die folgenden Signale erfordern eine Interpretation im Kontext, da ihre Implikationen davon abhängen, wie sie die Ergebnisse und die beabsichtigte Nutzung der Evidenz beeinflussen:

• Selektive Berichterstattung: Hinweise darauf, dass Ergebnisse, Analysen oder relevante Befunde unvollständig berichtet werden, deuten auf ein Risiko selektiver Berichterstattung hin; wenn die Auslassungen die Interpretation wesentlich verändern könnten, sollte das Vertrauen in die betroffenen Schlussfolgerungen verringert oder qualifiziert werden.
• Interessenkonflikte: Ein offengelegtes finanzielles, berufliches oder sonstiges relevantes konkurrierendes Interesse identifiziert eine potenzielle Einflussquelle; sein Vorhandensein erfordert eine Berücksichtigung, wie es die Forschung oder Berichterstattung beeinflussen könnte, aber die Offenlegung allein belegt nicht, dass die Ergebnisse verzerrt sind.
• Nicht adressierte Einschränkungen: Eine wichtige Einschränkung, die offensichtlich ist, aber in der Interpretation nicht berücksichtigt wird, kann das Risiko erhöhen, dass Schlussfolgerungen über das hinausgehen, was die Evidenz stützt; eine offengelegte und angemessen adressierte Einschränkung kann beherrschbar bleiben, wenn ihre Wirkung eingegrenzt ist.
• Fehlende methodische Details: Fehlende Informationen, die zum Verständnis der Durchführung wichtiger Verfahren erforderlich sind, deuten auf eine unvollständige Berichterstattung hin und können das Vertrauen einschränken, wenn das fehlende Detail eine sinnvolle Bewertung der Ergebnisse verhindert.
• Qualifizierte Schlussfolgerung: Eine Schlussfolgerung, die die angegebene Unsicherheit und die relevanten Einschränkungen der Studie widerspiegelt, unterstützt eine verhältnismäßige Interpretation; eine Schlussfolgerung, die über das hinausgeht, was die berichtete Evidenz stützen kann, stellt eine substanziellere Bedrohung des Vertrauens dar.

Wenn eine Einschränkung eine notwendige Bewertung verhindert oder die Unterstützung für die zentrale Aussage wesentlich schwächt, sollte das Vertrauen entsprechend reduziert werden; für eine Evidenzrolle, die gerade auf dieser Aussage beruht, kann dann auch ein Ausschluss begründet sein.

Eine vertretbare Entscheidung zur Quellenauswahl treffen

Eine vertretbare Entscheidung zur Quellenauswahl kombiniert Relevanz, Glaubwürdigkeit und methodische Qualität anhand expliziter Kriterien, die konsistent angewendet werden.

Die Entscheidung sollte dann prüfen, ob eine wesentliche Schwäche die beabsichtigte Evidenzrolle der Quelle beeinträchtigt, anstatt die Bewertung auf eine einzelne Punktzahl oder eine willkürliche Grenze zu reduzieren.

Formale Einschluss- und Ausschlussregeln hängen von der Review-Methode und dem vorab festgelegten Umfang ab, daher sollten Kriterien vor der Quellenauswahl festgelegt werden, anstatt nachträglich geändert zu werden, um Evidenz basierend auf Präferenz zuzulassen.

Der Entscheidungsfluss ordnet die früheren Bewertungsergebnisse in ein konsistentes Auswahlurteil, ohne universelle Grenzen zu schaffen:

1. Relevanz bestätigen: bestimmen, ob die Quelle die Review-Frage und den vorab festgelegten Umfang ausreichend erfüllt, um für die Nutzung in Betracht gezogen zu werden.
2. Glaubwürdigkeit und methodische Qualität bewerten: identifizieren, ob die Quelle die anwendbaren Glaubwürdigkeits- und methodischen Kriterien für ihren Quellentyp und ihr Studiendesign erfüllt, teilweise erfüllt oder nicht erfüllt.
3. Wesentliche Schwächen identifizieren: bestimmen, ob eine Schwäche für die beabsichtigte Rolle der Quelle wesentlich ist oder ob sie durch Qualifizierung gehandhabt werden kann.
4. Die Entscheidung treffen: die Quelle einschließen, wenn sie die notwendigen Kriterien für ihre beabsichtigte Nutzung erfüllt; sie ausschließen, wenn eine wesentliche Schwäche diese Nutzung verhindert; eine qualifizierte Nutzung wählen, wenn sie informativ bleibt, aber ihre Einschränkungen die Interpretation oder das Evidenzgewicht begrenzen.
5. Die Begründung dokumentieren: festhalten, welche Kriterien angewendet wurden, welche bedeutenden Stärken oder Schwächen identifiziert wurden, welche Evidenzrolle beabsichtigt war und warum die endgültige Entscheidung getroffen wurde.

Eine Grenzfallquelle kann daher je nach Verwendungszweck unterschiedlich behandelt werden.

Beispielsweise kann eine Quelle mit einer methodischen Einschränkung als primäre Evidenz für eine zentrale Aussage ungeeignet sein, aber dennoch einen qualifizierten kontextuellen Hintergrund unterstützen, wenn die Einschränkung diese engere Rolle nicht untergräbt; die Begründung sollte diese Unterscheidung festhalten, damit ähnliche Quellen konsistent beurteilt werden.

Nach der Auswahlbegründung folgt als separater Schritt das Ordnen der Quellen für das Literaturreview.

Relevanz gegen Evidenzqualität abwägen

Relevanz und Evidenzqualität sind getrennte Dimensionen des Nutzens einer Quelle; Stärke in einer Dimension gleicht Schwäche in der anderen nicht automatisch aus.

Eine Quelle kann hoch relevant, aber methodisch eingeschränkt sein oder methodisch stark, aber randständig zur Review-Frage; ihre Evidenzrolle sollte beide Dimensionen widerspiegeln.

Der folgende Vergleich legt dieselbe Grundlage für vier Kombinationen an: Relevanz für die Review-Frage, Evidenzqualität, voraussichtlicher Beitrag und die für die Nutzung erforderliche Qualifizierung.

Relevanz und Evidenzqualität gemeinsam interpretieren

Relevanz	Evidenzqualität	Voraussichtliche Rolle im Review	Erforderliche Qualifizierung
Hohe Relevanz	Starke Evidenz	Kann direkt zur Beantwortung der Review-Frage beitragen und zentrale Aussagen stützen, wenn sie in die beabsichtigte Evidenzrolle passt.	Die übliche kritische Qualifizierung bleibt notwendig, aber das Vertrauen kann vergleichsweise hoch sein, wenn keine substanzielle Einschränkung die relevante Aussage beeinträchtigt.
Hohe Relevanz	Schwache Evidenz	Kann trotzdem beitragen, da sie die Review-Frage eng adressiert, besonders wenn wenige Quellen dasselbe Thema abdecken.	Erfordert eine klare Qualifizierung hinsichtlich methodischer Einschränkungen, reduzierten Vertrauens und der engeren Rolle, die die Evidenz sinnvollerweise stützen kann.
Niedrige Relevanz	Starke Evidenz	Kann periphere Evidenz, Hintergrund, Vergleich oder kontextuelle Unterstützung bieten, anstatt direkte Evidenz für die zentrale Review-Frage zu liefern.	Ihr Beitrag sollte auf den Aspekt beschränkt werden, für den die Quelle in den Review-Umfang passt, anstatt als direkt relevante Evidenz behandelt zu werden.
Niedrige Relevanz	Schwache Evidenz	Hat normalerweise geringen Evidenznutzen für die Beantwortung der Review-Frage, da sowohl die Passung der Quelle als auch die Evidenzstärke eingeschränkt sind.	Die Nutzung erfordert im Allgemeinen eine substanzielle Begründung, und der Ausschluss kann angemessen sein, wenn die Quelle die vordefinierten Kriterien des Reviews nicht erfüllt oder keine notwendige Evidenzrolle stützen kann.

Eine Grenzfallquelle kann für einen engen Aspekt des Reviews einzigartig relevant sein und gleichzeitig eine methodische Einschränkung aufweisen, die das Vertrauen schwächt.

Eine solche Quelle kann mit expliziter Qualifizierung diskutiert werden, wenn ihre Relevanz Informationen hinzufügt, die anderswo nicht verfügbar sind, aber sie sollte nicht als gleichwertig mit stärkerer Evidenz behandelt werden, die dieselbe Aussage stützt.

Einschließen, ausschließen oder mit Qualifizierung verwenden

Das endgültige Ergebnis der Quellennutzung ist es, die Quelle gemäß vordefinierter Relevanz- und Qualitätskriterien sowie der beabsichtigten Evidenzrolle einzuschließen, auszuschließen oder mit Qualifizierung zu verwenden.

Einschluss bedeutet, dass die Quelle ausreichende Relevanz und Evidenzangemessenheit für diese Rolle hat; Ausschluss bedeutet, dass sie eine wesentliche Grenze oder Qualitätsanforderung nicht erfüllt; und qualifizierte Nutzung bedeutet, dass eine Einschränkung von Bedeutung ist, aber nicht den gesamten Informationswert aufhebt.

Die drei Ergebnisse sollten konsistent angewendet und durch eine dokumentierte Begründung gestützt werden, anstatt als universelle Bestehens-/Durchfallregeln behandelt zu werden:

• Einschließen: Schließen Sie die Quelle ein, wenn sie die wesentlichen Relevanzanforderungen erfüllt und eine ausreichende Evidenzangemessenheit für ihre beabsichtigte Rolle aufweist. Die Quelle kann auf dem Niveau beitragen, das durch ihre Stärken und Einschränkungen gerechtfertigt ist, wobei die Begründung festhält, warum sie die anwendbaren Kriterien erfüllt.
• Ausschließen: Schließen Sie die Quelle aus, wenn sie eine wesentliche Grenze, Relevanzbedingung oder Qualitätsanforderung nicht erfüllt, die sie daran hindert, die beabsichtigte Evidenzrolle zu unterstützen. Die Begründung sollte das spezifisch nicht erfüllte Kriterium identifizieren, damit vergleichbare Quellen konsistent beurteilt werden können.
• Mit Qualifizierung verwenden: Behalten Sie die Quelle mit Qualifizierung, wenn sie die relevanten Kriterien teilweise erfüllt und trotz einer wesentlichen Einschränkung nützliche Informationen liefert. Ihre Einschränkung sollte explizit angegeben werden, und sie sollte weniger inferenzielles Gewicht tragen als stärkere Evidenz, die dieselbe Aussage adressiert.

Zum Beispiel kann eine Studie, die für eine enge Frage einzigartig relevant, aber methodisch eingeschränkt ist, als qualifizierte Evidenz nützlich bleiben, während sie weniger inferenzielles Gewicht erhält als stärkere Studien.

Nachdem die endgültige Begründung dokumentiert wurde, kann die beibehaltene Evidenz in einem separaten Schritt synthetisiert werden.