تقييم جودة المصادر وملاءمتها لمراجعة الأدبيات

لتقييم أي مصدر لمراجعة الأدبيات، ابدأ بمدى ملاءمته لسؤال المراجعة ونطاقها، ثم افحص مصداقيته ودعم ادعاءاته بالأدلة؛ وإذا كان المصدر دراسة، قيّم جودة منهجيتها. لا تُصدر الحكم من مؤشر واحد: أدرج المصدر عندما تكفي ملاءمته وأدلته للدور المقصود، استبعده عند وجود إخفاق جوهري يمنع ذلك الدور، أو استخدمه استخداماً مشروطاً عندما يبقى مفيداً رغم قيد مؤثر.

تتحدد كفاية المصدر بحسب سؤال المراجعة ونطاقها والتخصص ونوع المصدر وتصميم الدراسة. خبرة المؤلف، ومعايير النشر، وتحكيم الأقران، وشفافية المصدر، والغرض، ودعم الأدلة مؤشرات ترفع أو تخفض الثقة بحسب السياق، لكنها لا تثبت الجودة منفردة. لذلك يكون التقييم حكماً تشخيصياً يفسر المؤشرات مجتمعة ويضبط وزن المصدر بما يمكنه إثباته فعلاً.

جدول المحتويات⌄

تقييم الملاءمة لسؤال المراجعة ونطاقها

ملاءمة المصدر هي درجة التوافق بين المصدر وسؤال المراجعة إلى جانب النطاق المحدد سلفاً للمراجعة، وليست مجرد كون المصدر يناقش الموضوع العام نفسه.

تعتمد حدود الإدراج الدقيقة على ما حددته المراجعة كمؤهل للإدراج، لذا يجب الحكم على الملاءمة وفقاً لتلك الحدود وليس بناءً على تشابه الموضوع فحسب.

تختبر المعايير الرئيسية ما إذا كان كل مصدر يقع ضمن الأبعاد التي تحدد نطاق المراجعة.

تتحقق هذه المعايير من الملاءمة والأهلية، وليس من جودة المصدر.

• المواءمة مع سؤال المراجعة: يتناول المصدر السؤال أو العلاقة أو المشكلة التي تهدف المراجعة إلى فحصها.
• المفهوم: يدرس المصدر المفاهيم أو البنى التي تتطلبها المراجعة، وليس مجرد الإشارة إلى الموضوع الأوسع.
• المجتمع أو الوحدة: يتوافق المجتمع أو المشاركون أو الحالات أو الوثائق أو أي وحدة تحليل أخرى مع حدود الإدراج المحددة.
• السياق أو الإطار: يقع المصدر ضمن السياق الجغرافي أو المؤسسي أو الاجتماعي أو السريري أو أي سياق آخر حددته المراجعة عندما يؤثر هذا الحد على الأهلية.
• الفترة الزمنية: يغطي المصدر الفترة التي حددتها المراجعة عندما يكون تاريخ النشر أو فترة الدراسة أو السياق التاريخي جزءاً من النطاق.
• قاعدة الأهلية الصريحة: يستوفي المصدر أي حد إدراج محدد مسبق آخر يحدد بشكل جوهري ما إذا كان ينتمي إلى المراجعة.

يمكن تصور العلاقة بين سؤال المراجعة والنطاق المحدد والمصدر المرشح على أنها فحص مدى التوافق عبر هذه الأبعاد.

المصدر الواقع ضمن النطاق يتوافق مع سؤال المراجعة وحدود الإدراج المطبقة؛ والمصدر ذو الملاءمة الجزئية يتطابق مع بعض الأبعاد لكنه يختلف في شرط قد يحد من قابليته للتطبيق.

المصدر الواقع خارج النطاق يقع خارج حد اعتبرته المراجعة ضرورياً للأهلية.

التطابق الجزئي لا يستوجب الاستبعاد تلقائياً: تأثيره يعتمد على أي حد يختلف وكيف يرتبط هذا الحد بسؤال المراجعة.

على سبيل المثال، قد يدرس مصدران نفس المفهوم، لكن المصدر الذي يدرس مجتمعاً أو فترة زمنية مختلفة قد يكون ذا ملاءمة جزئية فقط عندما تكون تلك الأبعاد حدود إدراج صريحة.

ينتمي إيجاد المصادر المرشحة إلى استراتيجية البحث عن الأدبيات؛ أما تقييم الملاءمة فيحدد ما إذا كانت تلك المصادر تتناسب فعلياً مع سؤال المراجعة ونطاقها.

الملاءمة الموضوعية والمفاهيمية

تعتمد الملاءمة المفاهيمية على ما إذا كانت مفاهيم المصدر أو بناه أو نتائجه أو حججه تتناول سؤال المراجعة فعلياً؛ فلا يكفي التداخل الموضوعي الواسع وحده.

قد تشير المصطلحات المشتركة إلى أن المصدر يتعلق بالموضوع نفسه، لكنها لا تثبت مساهمة جوهرية في السؤال قيد المراجعة.

يكون للمصدر ملاءمة مفاهيمية مباشرة عندما يتوافق مفهومه المركزي أو بنيته أو نتيجته أو حجته مع ما يفحصه سؤال المراجعة.

تنطبق الملاءمة الداعمة عندما يساهم المصدر بأدلة أو سياق يساعد في تفسير المفهوم المطلوب دون تناوله مباشرة.

أما التداخل الموضوعي السطحي فيحدث عندما يذكر المصدر الموضوع الأوسع فقط دون المساهمة في العلاقة المفاهيمية المطلوبة.

تصف هذه المستويات درجة المساهمة في سؤال المراجعة وليست مقياساً عالمياً للتصنيف، ويمكن تصور التباين بين الملاءمة المفاهيمية والتداخل الموضوعي بمقارنة المصادر بناءً على ما تساهم به فعلياً.

• ملاءمة مباشرة: يتناول المصدر مباشرة المفهوم أو البنية أو النتيجة أو الحجة التي يتطلبها سؤال المراجعة.
• ملاءمة داعمة: يساهم المصدر بأدلة أو سياق مفيد للمفهوم المطلوب لكنه لا يتناول سؤال المراجعة مباشرة.
• تداخل سطحي: يشترك المصدر في موضوع أو مصطلحات لكنه لا يساهم بشكل جوهري في المفهوم قيد الفحص.

على سبيل المثال، إذا كان سؤال المراجعة يفحص كيفية ارتباط عامل معين بنتيجة ما، فإن المصدر الذي يحلل هذه العلاقة تكون له ملاءمة مفاهيمية مباشرة؛ أما المصدر الذي يذكر العامل والنتيجة فقط ضمن نفس الموضوع الأوسع فله تداخل موضوعي سطحي.

يمكن للأول أن يساهم مباشرة في الإجابة على سؤال المراجعة، بينما لا ينبغي التعامل مع الثاني على أنه ذو صلة جوهرية بمجرد اشتراكه في المصطلحات.

ملاءمة المجتمع والسياق والفترة الزمنية

تكتسب الاختلافات في المجتمع والسياق والفترة الزمنية أهميتها عندما تغير من قابلية تطبيق المصدر على سؤال المراجعة أو توافقه مع نطاق المراجعة.

لا يجعل الاختلاف المصدر غير مؤهل تلقائياً؛ إذ يعتمد تأثيره على ما إذا كان ذلك البعد يشكل حداً صريحاً للأهلية أو يؤثر بشكل جوهري على كيفية تطبيق الأدلة.

يمكن التحقق من توافق النطاق بمقارنة كل متطلب من متطلبات المراجعة مع الشرط المقابل في المصدر.

يوضح الرسم البياني ما إذا كانت سمات المجتمع والسياق والفترة الزمنية تتوافق مع حدود المراجعة، بينما يسجل الجدول المطابقة الناتجة، أو المطابقة الجزئية، أو عدم المطابقة وتأثير ذلك على الأهلية أو الاستخدام المشروط.

مطابقة نطاق المراجعة مع شروط المصدر

بُعد النطاق	متطلب المراجعة	شرط المصدر	التأثير في التقييم
المجتمع/الوحدة	المجتمع أو الوحدة المحددة بنطاق المراجعة	يتطابق مع المجتمع أو الوحدة المطلوبين، أو يختلف في خاصية ذات صلة بسؤال المراجعة	يدعم التطابق قابلية التطبيق المباشر؛ أما الاختلاف الجوهري فقد يحد من قابلية التطبيق أو يتطلب تحفظاً في الاستخدام، وقد يؤثر على الأهلية عندما يكون حد المجتمع صريحاً.
السياق/الإطار	السياق أو البيئة أو الظروف السياقية المحددة في المراجعة	يتطابق مع السياق المطلوب، أو يختلف في ظروف جوهرية لسؤال المراجعة	يدعم التطابق السياقي قابلية التطبيق؛ أما الاختلاف الجوهري فقد يتطلب استخداماً مشروطاً بدلاً من الاستبعاد التلقائي، ما لم يكن السياق متطلباً صريحاً للأهلية.
الفترة الزمنية	فترة النشر أو الدراسة المحددة بنطاق المراجعة	يقع ضمن الفترة المطلوبة، أو يختلف زمنياً حيث يؤثر ذلك الاختلاف على قابلية التطبيق لسؤال المراجعة	يدعم التطابق الزمني توافق النطاق؛ أما الاختلاف الزمني الجوهري فقد يحد من قابلية التطبيق أو يؤثر على الأهلية عندما تحدد المراجعة حداً زمنياً.

قد تظل دراسة تأسيسية أقدم ذات صلة عندما تحتاج المراجعة إلى الصياغة الأصلية لمفهوم مؤثر، حتى لو وقعت خارج الفترة المستخدمة للأدلة المتعلقة بالظروف الحالية.

في هذه الحالة، يتطلب الاختلاف في الفترة الزمنية تحفظاً في تحديد الدور الإثباتي للمصدر، لا استنتاجاً تلقائياً بأن المصدر غير قابل للاستخدام.

تقييم سلطة المصدر ومصداقيته

ينبغي تقييم مصداقية المصدر من خلال مؤشرات متقاربة متعددة لا عبر علامة واحدة على المكانة أو حالة النشر.

يمكن للسلطة العلمية، وخبرة المؤلف، ومعايير النشر، ومصدر المعلومات، والغرض، ودعم الأدلة أن تعزز الثقة عندما تكون ذات صلة بالمصدر، لكن لا تضمن أي علامة منفردة الموثوقية أو الصحة.

تشير خبرة المؤلف إلى ما إذا كان الشخص المسؤول عن المصدر يمتلك المعرفة ذات الصلة، بينما تشير معايير النشر وتحكيم الأقران إلى مستوى التدقيق التحريري أو العلمي الذي خضع له المصدر قبل النشر.

يظهر المصدر والشفافية ما إذا كان أصل المعلومات والمواد الداعمة يمكن تتبعه، ويساعد الغرض في تفسير كيفية صياغة المصدر لادعاءاته.

يحدد دعم الأدلة بعد ذلك ما إذا كانت الادعاءات الجوهرية مدعومة بمادة يمكن فحصها بدلاً من قبولها بناءً على السلطة وحدها.

ينبغي تفسير مؤشرات المصداقية هذه معاً لأن كل شرط ملاحظ يؤثر على الثقة بشكل مختلف.

• خبرة المؤلف: يمكن للمؤهلات أو الخبرة أو المعرفة الموضوعية ذات الصلة أن تدعم الثقة في خبرة المؤلف ذات الصلة؛ أما الخبرة غير الواضحة أو غير المرتبطة فتستدعي تدقيقاً أوثق.
• معايير النشر: يمكن لعملية تحريرية أو مراجعة موثقة أن تدعم الثقة في أن المصدر خضع للتدقيق؛ أما العملية غير الواضحة فتوفر ضماناً أقل.
• تحكيم الأقران: يشير تحكيم الأقران إلى أن العمل العلمي خضع لتقييم من قبل متخصصين آخرين، لكنه لا يثبت بذاته أن كل ادعاء أو استنتاج صحيح.
• مصدر المعلومات: تعزز نسب التأليف الواضح وأصل النشر والمواد الداعمة القابلة للتتبع الشفافية؛ أما مصدر المعلومات غير الواضح فيثير القلق بشأن كيفية إنتاج الادعاءات.
• الغرض: يساعد الغرض المحدد، سواء كان تعليمياً أو إعلامياً أو إقناعياً أو تجارياً، القراء على تفسير كيفية صياغة الادعاءات وما المصالح التي قد تؤثر على العرض.
• دعم الأدلة: الادعاءات المرتبطة بأدلة يمكن تحديدها تدعم ثقة أكبر؛ أما الادعاءات غير المدعومة أو التي يصعب تتبعها فتتطلب تحفظاً أو تدقيقاً مستقلاً.

يمكن للمؤهلات القوية أو عمليات النشر الرصينة أن تدعم الثقة، لكن تظل مصداقية المصدر حكماً يرتكز على المؤشرات المجتمعة والأدلة نفسها.

قد يكون المصدر موثوقاً مع ذلك ومحدود الملاءمة لمراجعة أدبيات معينة إذا لم يتناول سؤال المراجعة أو نطاقها.

التأليف والخبرة الموضوعية

تدعم خبرة المؤلف الثقة فقط عندما تكون خبرة المؤلف أو الجهة المسؤولة موضوعية وذات صلة بالادعاء المحدد قيد التقييم.

يمكن للمؤهلات والانتماء وسجل النشر أو الدور المهني أن توفر مؤشرات مفيدة، لكن لا يثبت أي منها السلطة لادعاءات خارج المجال الذي تنطبق عليه تلك الخبرة.

قيم التأليف بربط كل مؤشر خبرة بموضوع الادعاء والنظر في ما يمكن لذلك المؤشر إثباته وما لا يمكنه إثباته.

يسلط المثال المشروح الضوء على القرائن الشائعة في التأليف التي تساعد في تحديد الخبرة ذات الصلة دون أن تحل هذه القرائن محل تقييم الأدلة نفسها.

• هوية المؤلف: يحدد التأليف الواضح الجهة المسؤولة عن الادعاء ويتيح تقييم خبرتها؛ لكن الهوية وحدها لا تثبت الخبرة ذات الصلة.
• المؤهلات والخبرة التخصصية: يمكن للمؤهلات في مجال ذي صلة بالادعاء أن تدعم الثقة في الخبرة الموضوعية؛ أما المؤهلات في مجال غير ذي صلة فلا تثبت السلطة لذلك الادعاء.
• الانتماء: يمكن أن يوفر الانتماء سياقاً عن البيئة المهنية أو الأكاديمية للمؤلف؛ لكن الارتباط المؤسسي وحده لا يثبت الخبرة ذات الصلة أو دقة الادعاء.
• سجل النشر: يمكن لسجل النشر المتعلق بالموضوع أن يشير إلى عمل مستمر في المجال ذي الصلة؛ أما تاريخ النشر خارج ذلك الموضوع فلا يثبت الخبرة للادعاء قيد التقييم.
• الدور: يمكن للدور المهني أو البحثي أن يدعم الثقة عندما تكون مسؤولياته ذات صلة بالموضوع؛ لكن اللقب وحده لا يثبت خبرة تتجاوز ذلك الدور.
• المصالح المفصح عنها: توفر المصالح المفصح عنها شفافية بشأن العلاقات أو المصالح المتضاربة ذات الصلة بتفسير المصدر؛ لكن الإفصاح وحده لا يثبت عدم الموثوقية أو الصحة.

على سبيل المثال، قد يُظهر مؤلف ذو مؤهلات كبيرة في تخصص ما خبرة ذات صلة بالادعاءات ضمن ذلك التخصص، لكن ليس للادعاءات المتخصصة في مجال غير ذي صلة.

ينبغي أن تعكس الثقة التطابق بين خبرة المؤلف والادعاء المعين، لا المكانة الظاهرية للمؤهلات وحدها.

تحكيم الأقران ونوع المصدر ومعايير النشر

تحكيم الأقران هو أحد مؤشرات ضبط النشر التي توفر تدقيقاً علمياً، لكنه لا يضمن صحة المصدر أو قوته المنهجية.

لذا ينبغي تقييم معايير النشر إلى جانب نوع المصدر والعملية التحريرية والشفافية والغرض والأدلة التي يقدمها المصدر.

تخضع أنواع المصادر المختلفة لأشكال متفاوتة من المراجعة أو التدقيق التحريري، لذا تقدم عمليات النشر لديها مؤشرات مصداقية مختلفة.

قد تخضع المقالة العلمية لمراجعة من قبل أقران في التخصص، وقد يخضع الكتاب العلمي لتقييم تحريري ومراجعة متخصصة، وقد يخضع التقرير المؤسسي لمراجعة داخلية أو فنية أو تحريرية وفقاً لعملية الجهة المسؤولة.

بالنسبة لاستخدام الأدلة، السؤال ذو الصلة هو: ما التدقيق الذي تم، ومدى شفافية تلك العملية، وما حدودها، وليس موقع نوع المصدر في تسلسل هرمي عالمي.

ما الذي تعنيه ضوابط النشر بحسب نوع المصدر

نوع المصدر	عملية المراجعة أو التحرير	ما تشير إليه	حدود التقييم
مقالة علمية محكَّمة	تخضع لمراجعة الأقران في التخصص وتُعالج عبر العملية التحريرية للمجلة قبل النشر.	توفر مراجعة الأقران تدقيقاً تخصصياً وتشير إلى أن المقالة العلمية خضعت لعملية مراجعة رسمية.	لا تثبت مراجعة الأقران وحدها الجودة المنهجية؛ فقد تبقى نقاط ضعف أو تحيز أو قيود.
كتاب علمي	قد يخضع لتقييم تحريري ومراجعة متخصصة عبر ناشر علمي، حسب عملية النشر.	يمكن لعملية المراجعة والتحرير الموثقة أن تشير إلى تدقيق علمي وضبط نشر مناسب للعمل.	لا يثبت شكل الكتاب العلمي جودة كل ادعاء؛ فلا تزال عملية المراجعة الفعلية والأدلة الداعمة بحاجة إلى تقييم.
تقرير مؤسسي أو حكومي	قد يخضع لمراجعة داخلية أو فنية أو تحريرية أو اعتماد حسب معايير النشر للجهة المسؤولة.	يمكن للمصدر الواضح والشفافية وعملية المراجعة الموثقة أن توفر مؤشرات مصداقية ذات صلة باستخدام الأدلة في التقرير.	لا يثبت النشر المؤسسي تلقائياً الموثوقية؛ فتبقى الغرض والمصدر والشفافية ودعم الأدلة وعملية المراجعة المطبقة ذات صلة.

توفر ضوابط النشر تدقيقاً لكنها لا تغني عن التقييم النقدي للأدلة نفسها.

قد تظل المقالة العلمية المحكَّمة تحتوي على نقاط ضعف منهجية أو تحيز أو قيود، بينما قد تبقى المواد غير المحكَّمة مناسبة لاستخدام إثباتي معين عندما يبرر غرضها ومصدرها وشفافيتها وأدلتها الداعمة ذلك الاستخدام.

حداثة المصدر والغرض ودعم الأدلة

الحداثة والغرض ودعم الأدلة هي سمات منفصلة لمصداقية المصدر، وقد تشير كل منها إلى اتجاه مختلف.

لا يثبت تاريخ النشر الحديث وحده قوة الأدلة، بينما قد يظل المصدر الأقدم حديثاً بالنسبة لمفهوم تأسيسي عندما لا يكون التغيير اللاحق في المجال قد أزال أهميته.

ينبغي تقييم كل سمة من حالتها الملاحظة إلى تأثيرها على المصداقية، لا دمجها في درجة واحدة.

يمكن للغرض أن يشكل كيفية صياغة الادعاء وقد يُدخل تحيزاً محتملاً دون أن يجعل المعلومة خاطئة تلقائياً.

يعتمد دعم الأدلة على ما إذا كانت الأدلة المذكورة تدعم الادعاء، وما إذا كان يمكن تتبعها إلى مصادر محددة، وما إذا كانت متناسبة مع قوة الادعاء.

• الحداثة: قارن تاريخ النشر بمعدل ونوع التغيير في المجال ذي الصلة بالمراجعة. يظل المصدر حديثاً للاستخدام الإثباتي المقصود عندما تمثل معلوماته المفهوم أو الظروف قيد الفحص؛ وحيث يمكن لتغيير لاحق أن يغير الادعاء، تكون الثقة في الاستخدام المباشر محدودة ما لم يمكن إثبات استمرار أهميته.
• الغرض: حدد الغرض التواصلي للمصدر وانظر كيف قد يؤثر جمهوره أو اهتماماته على اختيار المعلومات أو صياغتها أو تفسيرها. يستدعي التحيز المحتمل تدقيقاً مناسباً وقد يبرر استخداماً حذراً أو سياقياً، لكن الغرض وحده لا يحدد دقة الادعاء.
• دعم الأدلة: تحقق مما إذا كانت الأدلة المذكورة تدعم الادعاء فعلياً وما إذا كان يمكن تتبع ذلك الدعم إلى مصادر محددة. الدعم ذو الصلة والقابل للتتبع والمتناسب مع الادعاء يعزز الثقة، بينما الدعم غير المدعوم أو ضعيف الارتباط أو غير القابل للتتبع يحد من الثقة بغض النظر عن عدد الاستشهادات المقدمة.

يمكن لمصدر أقدم وتأسيسي ومدعوم جيداً أن يظل ذا صلة عند استخدامه للمفهوم أو المساهمة التي أسسها أصلاً.

في المقابل، يمكن لمصدر حديث يقدم ادعاء غير مدعوم أن يظل دليلاً ضعيفاً رغم حداثته، لذا ينبغي أن تعكس الثقة واستخدام الأدلة سمات المصداقية المحددة قيد التقييم.

التقييم النقدي للجودة المنهجية

يحكم التقييم النقدي على ما إذا كان تصميم الدراسة وإجراؤها وتحليلها وتقاريرها تجعل نتائجها موثوقة بما يكفي للدور الذي ستؤديه في المراجعة.

يفحص هذا التقييم الجودة المنهجية مباشرة بدلاً من افتراض أن سمعة النشر أو نوع المصدر يثبت قوة الأدلة.

يجب أن تتوافق معايير التقييم مع تصميم الدراسة، لأن أسئلة البحث وطرقه المختلفة تخلق مخاطر تحيز وقيوداً مختلفة.

قد يكون للمؤشر المنهجي الذي يهم في تصميم ما تأثير مختلف في تصميم آخر، لذا ينبغي للتقييم أن يفسر كل فحص فيما يتعلق بسؤال البحث وتصميمه والاستخدام الإثباتي المقصود.

يمكن لأدوات التقييم أن تدعم هذه العملية، لكن لا ينبغي التعامل معها كنظم تسجيل عالمية تثبت جودة الدراسة بشكل آلي.

يحدد التسلسل التشخيصي أسئلة التقييم بدلاً من توفير عتبات ثابتة للأدلة المقبولة:

1. ملاءمة سؤال الدراسة وتصميمها: حدد سؤال البحث وقيم ما إذا كان تصميم الدراسة مناسباً للإجابة عليه؛ فضعف التوافق يحد مما يمكن للنتائج إثباته.
2. جودة الإجراء والبيانات: افحص كيفية الحصول على المشاركين أو الملاحظات أو القياسات أو البيانات الأخرى وكيفية معالجتها؛ قد تؤدي نقاط الضعف في التنفيذ إلى إدخال تحيز أو تقليل الثقة.
3. التحليل: قيم ما إذا كان الأسلوب التحليلي يتناسب مع تصميم الدراسة والبيانات، وما إذا كان التفسير المبلغ عنه مدعوماً بذلك التحليل.
4. التحيز والتقارير والقيود: حدد المؤشرات التي تشير إلى مخاطر التحيز أو عدم اكتمال التقارير أو قيود أخرى، مع التمييز بين الخطر المحتمل والتأكيد على أن النتائج غير صحيحة.
5. الثقة في الاستخدام: اجمع أحكام التصميم والإجراء والتحليل والتقارير والتحيز والقيود لتقرر مقدار الثقة التي تستحقها الدراسة للدور الإثباتي المقصود؛ قد يتطلب ضعف واحد تحفظاً في الاستخدام دون إبطال الدراسة تلقائياً.

يعمل التقييم النقدي على مستوى الدراسة الفردية ويحدد كيف تؤثر نقاط القوة والضعف المنهجية على الثقة في نتائجها.

وهو متميز عن التحليل النقدي للأدبيات الذي يتناول العلاقات التحليلية الأوسع عبر المصادر بعد تقييم الأدلة الفردية.

تصميم البحث والملاءمة المنهجية

تعتمد الملاءمة المنهجية على ما إذا كان تصميم الدراسة والمنهج المتبع ملائمين لسؤال البحث وما إذا كان بإمكانهما دعم نوع الادعاء المطروح.

قد يكون التصميم صارماً لكنه غير ملائم لسؤال معين، لذا لا ينبغي التعامل مع الجودة المنهجية وملاءمة التصميم كحكم واحد.

قيم توافق التصميم مع السؤال بتتبع سؤال البحث وصولاً إلى اختيار التصميم، ونوع الأدلة التي يمكن لذلك التصميم إنتاجها، والاستدلال الذي تنوي الدراسة تقديمه.

يجب أن يولد المنهج المتبع نوع البيانات اللازمة للإجابة على السؤال، بينما يجب أن يدعم تصميم الدراسة الادعاء ضمن حدوده الاستدلالية المشروعة فقط.

عدم التوافق بين الأدلة المطلوبة والتصميم المختار يحد من التفسير حتى لو كانت الدراسة منفذة بعناية من جوانب أخرى.

• مواءمة سؤال البحث: حدد ما إذا كان تصميم الدراسة ملائماً للسؤال المطروح؛ فالتصميم الذي لا يتناول العلاقة أو الظاهرة المطلوبة يحد من قدرة الدراسة على الإجابة.
• ملاءمة الأدلة: تحقق مما إذا كان المنهج المتبع يمكنه إنتاج نوع الأدلة اللازمة لسؤال البحث؛ فالبيانات غير الملائمة تقيد صلة النتائج بذلك السؤال.
• دعم الادعاء: قيم ما إذا كان التصميم يمكنه دعم الادعاء المستند إلى النتائج؛ فالاستنتاجات التي تتجاوز قدرات التصميم تتطلب تحفظاً في الاستخدام.
• الحد الاستدلالي: حدد ما لا يثبته التصميم وكيف يؤثر هذا الحد على التفسير أو الثقة أو قابلية التطبيق.

على سبيل المثال، قد تستخدم دراسة تصميماً رصيناً قائماً على الملاحظة لتحديد ارتباط ما، لكن ذلك التصميم قد يكون غير ملائم لادعاء أن عاملاً ما تسبّب في آخر.

لا تزال الدراسة قادرة على تقديم أدلة مفيدة، لكن ينبغي أن يبقى الاستدلال ضمن ما يناسب التصميم دعمه.

أخذ العينات وجمع البيانات والتحليل

يدعم التنفيذ المنهجي استنتاجات الدراسة عندما يكون أخذ العينات وجمع البيانات والقياس والتحليل ملائماً لتصميم الدراسة ومتسقاً داخلياً.

تختلف شروط الجودة ذات الصلة باختلاف المنهجية، لذا ينبغي تفسير الصدق والثبات ومعايير التنفيذ الأخرى وفقاً للطرق المستخدمة، لا تطبيقها كقواعد متطابقة عبر الدراسات النوعية والكمية والمختلطة.

ينبغي أن توفر عينة ملائمة لغرض الدراسة، مع تقييم اختيار العينة للظروف التي قد تُدخل تحيزاً أو تؤثر على الدقة.

يجب أن يكون جمع البيانات متسقاً مع المنهج المتبع، بينما ينبغي تقييم صدق القياس وثباته حيث تكون تلك المفاهيم ذات صلة بالطريقة.

ينبغي أن يكون التحليل ملائماً للبيانات والغرض البحثي، لأن عدم التوافق يمكن أن يقلل الدقة أو يحد من قابلية التفسير.

ينبغي أن تتوافق الاستنتاجات مع النتائج وأن تبقى ضمن ما يمكن لأخذ العينات والقياس والتحليل دعمه.

تربط فحوصات التنفيذ هذه كل إجراء منهجي بشرط جودته وتأثيره المحتمل وانعكاسه على الثقة:

• أخذ العينات واختيار العينة: قيم كيفية اختيار العينة وما إذا كانت كافية لغرض الدراسة؛ قد تؤدي العينة غير التمثيلية إلى تحيز في الاختيار أو تحد من نطاق تفسير الأدلة عندما تكون التمثيلية مطلوبة للاستدلال المقصود.
• جمع البيانات: افحص ما إذا تم جمع البيانات بشكل متسق مع المنهج المعلن؛ قد يقلل عدم الاتساق غير المفسر أو الانحرافات عن الإجراء من الثقة في قابلية مقارنة البيانات الناتجة أو تفسيرها.
• القياس: قيم صدق القياس وثباته حيث يكون ذلك ذا صلة بتصميم الدراسة؛ قد تحد القياسات التي لا تمثل البنية المقصودة بشكل كاف أو التي لا تنتج ملاحظات موثوقة بدرجة كافية من الثقة في الأدلة الناتجة.
• التحليل: حدد ما إذا كانت الطريقة التحليلية مناسبة لنوع البيانات والسؤال قيد الفحص؛ قد يحد التحليل غير المتوافق مع البيانات من الدقة أو قابلية التفسير أو الاستدلال الذي تدعمه النتائج.
• مواءمة الاستنتاجات: قارن الاستنتاجات بالنتائج المبلغ عنها والقيود المنهجية؛ الاستنتاجات التي تتجاوز ما تدعمه الأدلة تتطلب تحفظاً في الاستخدام لا رفضاً تلقائياً للدراسة.

لذا فإن العينة غير التمثيلية هي إشارة تحذيرية عندما تكون التمثيلية ضرورية للاستدلال المقصود، وليست دليلاً على أن كل نتيجة غير قابلة للاستخدام.

وبالمثل، قد يقلل عدم التوافق التحليلي من الثقة في استنتاج معين، ويتوقف تأثيره على كيفية تأثير عدم التوافق على الأدلة الداعمة لذلك الاستنتاج.

التحيز والقيود وشفافية التقارير

التحيز والقيود وشفافية التقارير هي مؤشرات تعدل الثقة في الدراسة، وليست علامات نجاح أو فشل بسيطة.

يمكن التعرف على القيد القابل للإدارة وعكسه بشكل مناسب في التفسير، بينما الشاغل الجوهري هو الذي يضعف بشكل ملحوظ الأدلة الداعمة لنتيجة ذات صلة أو يترك مصدراً مهماً لعدم اليقين دون معالجة.

تتيح شفافية التقارير فصل السمات القابلة للملاحظة في المصدر عن الاستدلالات حول تأثيراتها المحتملة.

قد يزيد الإبلاغ الانتقائي من خطر أن تكون النتائج المبلغ عنها سرداً غير كامل للأدلة، بينما يمكن أن يحد نقص التفاصيل المنهجية من الثقة في كيفية إجراء الدراسة أو تفسيرها.

تحدد المصالح المتضاربة المفصح عنها تأثيراً محتملاً يتطلب حكماً في السياق لا إثباتاً للتحيز، ويمكن للقيود المعترف بها أن تحسن الشفافية عندما تتم معالجة آثارها.

يدعم الاستنتاج المشروط الذي يعكس حالة عدم اليقين وقيود الدراسة ذات الصلة تفسيراً أكثر توازناً للنتائج.

تتطلب المؤشرات التالية تفسيراً في السياق لأن تأثيراتها تعتمد على كيفية تأثيرها على النتائج والاستخدام المقصود للأدلة:

• الإبلاغ الانتقائي: تشير الأدلة على أن النتائج أو التحليلات أو النتائج ذات الصلة قد أبلغ عنها بشكل غير كامل إلى خطر الإبلاغ الانتقائي؛ إذا كان من الممكن أن تغير هذه الإغفالات التفسير بشكل جوهري، فينبغي تقليل الثقة في الاستنتاجات المتأثرة أو وضع تحفظ عليها.
• المصالح المتضاربة: تحدد المصلحة المتضاربة المالية أو المهنية أو غيرها من المصالح ذات الصلة المفصح عنها مصدر تأثير محتمل؛ يتطلب وجودها النظر في كيف يمكن أن تؤثر على البحث أو التقارير، لكن الإفصاح وحده لا يثبت أن النتائج متحيزة.
• القيود غير المعالجة: يمكن لقيد مهم واضح لكنه لم يؤخذ في الاعتبار في التفسير أن يزيد من خطر امتداد الاستنتاجات إلى ما وراء ما تدعمه الأدلة؛ قد يظل القيد المفصح عنه والمعالج بشكل مناسب قابلاً للإدارة عندما يكون تأثيره محدوداً.
• نقص التفاصيل المنهجية: المعلومات الغائبة اللازمة لفهم كيفية تنفيذ الإجراءات المهمة تشير إلى تقارير غير كاملة ويمكن أن تحد من الثقة عندما يمنع النقص التفصيلي التقييم الهادف للنتائج.
• الاستنتاج المشروط: الاستنتاج الذي يعكس حالة عدم اليقين المعلنة في الدراسة وقيودها ذات الصلة يدعم التفسير المتوازن؛ أما الاستنتاج الذي يتجاوز ما يمكن للأدلة المبلغ عنها دعمه فيمثل تهديداً أكثر جوهرية للثقة.

يكون القيد قابلاً للإدارة عندما يمكن تحديد نطاقه وتأثيره المحتمل وعندما يمكن تفسير الادعاء ذي الصلة بتحفظ مناسب.

يتحول إلى تهديد جوهري عندما يضعف بشكل كبير دعم الادعاء أو يمنع التقييم الضروري، وعندها قد تستحق الأدلة ثقة مخفضة أو استبعاداً من ذلك الدور الإثباتي المحدد.

اتخاذ قرار قابل للدفاع بشأن اختيار المصادر

يجمع القرار القابل للدفاع بشأن اختيار المصادر بين الملاءمة والمصداقية والجودة المنهجية باستخدام معايير صريحة تُطبق باستمرار.

ينبغي بعد ذلك أن ينظر القرار فيما إذا كان أي ضعف جوهري يؤثر على الدور الإثباتي المقصود للمصدر، بدلاً من اختصار التقييم في درجة واحدة أو حد فاصل تعسفي.

قد يستوفي المصدر بعض المعايير ويستوفي البعض الآخر جزئياً فقط، لذا ينبغي الحكم على نقاط الضعف من خلال تأثيرها العملي على المراجعة.

يكون الضعف جوهرياً عندما يغير بشكل ملحوظ ما إذا كان المصدر يمكنه دعم الادعاء أو السياق أو الدور الإثباتي الذي يُنظر فيه.

تعتمد قواعد الإدراج والاستبعاد الرسمية على طريقة المراجعة والنطاق المحدد سلفاً، لذا ينبغي وضع المعايير قبل اختيار المصادر لا تغييرها بعد ذلك لقبول أدلة بناءً على التفضيل.

ينظم تدفق القرار نتائج التقييم السابقة في حكم اختيار متسق دون إنشاء حدود فاصلة عالمية:

1. تأكيد الملاءمة: حدد ما إذا كان المصدر يفي بسؤال المراجعة والنطاق المحدد سلفاً بدرجة كافية ليتم النظر في استخدامه.
2. تقييم المصداقية والجودة المنهجية: حدد ما إذا كان المصدر يستوفي أو يستوفي جزئياً أو لا يستوفي معايير المصداقية والمنهجية المطبقة حسب نوع مصدره وتصميم دراسته.
3. تحديد نقاط الضعف الجوهرية: حدد ما إذا كان أي ضعف جوهرياً للدور المقصود للمصدر أو ما إذا كان يمكن التعامل معه من خلال التحفظ في الاستخدام.
4. اختيار القرار: أدرج المصدر عندما يستوفي المعايير اللازمة لاستخدامه المقصود؛ واستبعده عندما يمنع ضعف جوهري ذلك الاستخدام؛ واختر الاستخدام المشروط عندما يظل المصدر مفيداً لكن قيوده تقيد التفسير أو الوزن الإثباتي.
5. توثيق الأساس المنطقي: وثق المعايير المطبقة ونقاط القوة أو الضعف المهمة المحددة والدور الإثباتي المقصود وسبب اتخاذ القرار النهائي.

لذا قد يُتعامل مع المصدر الحدّي بشكل مختلف تبعاً لكيفية استخدامه.

على سبيل المثال، قد لا يكون المصدر ذو القيد المنهجي مناسباً كدليل أساسي لادعاء مركزي، لكنه قد يظل داعماً لخلفية سياقية مشروطة إذا كان القيد لا يقوض ذلك الدور الأضيق؛ ينبغي أن يوثق الأساس المنطقي ذلك التمييز ليتم الحكم على المصادر المماثلة باستمرار.

بمجرد اكتمال الأساس المنطقي للاختيار، يمكن نقل المصادر المتبقية إلى تنظيم مصادر مراجعة الأدبيات كمهمة منفصلة.

الموازنة بين الملاءمة وجودة الأدلة

الملاءمة وجودة الأدلة بعدان منفصلان لفائدة المصدر، ولا تلغي القوة في أحدهما تلقائياً الضعف في الآخر.

قد يكون المصدر عالي الملاءمة لكنه محدود منهجياً، أو قوياً منهجياً لكنه هامشي بالنسبة لسؤال المراجعة، لذا ينبغي أن يعكس دوره الإثباتي كلا البعدين.

تبقي المقارنة أدناه على الأساس نفسه عبر أربعة توليفات: الملاءمة لسؤال المراجعة، وجودة الأدلة، والمساهمة المحتملة، والتحفظ المطلوب للاستخدام.

الدور المحتمل للمصدر بحسب الملاءمة وجودة الأدلة

الملاءمة	جودة الأدلة	الدور المحتمل في المراجعة	التحفظ المطلوب
ملاءمة عالية	أدلة قوية	قد يساهم بشكل مباشر في الإجابة على سؤال المراجعة ويمكنه دعم الادعاءات المركزية عندما يتناسب مع الدور الإثباتي المقصود.	يبقى التحفظ النقدي المعتاد ضرورياً، لكن الثقة يمكن أن تكون عالية نسبياً عندما لا يؤثر أي قيد جوهري على الادعاء ذي الصلة.
ملاءمة عالية	أدلة ضعيفة	قد يظل مساهماً لأنه يتناول سؤال المراجعة بشكل وثيق، خاصة عندما تغطي مصادر قليلة نفس المسألة.	يتطلب تحفظاً واضحاً بشأن القيود المنهجية والثقة المخفضة والدور الأضيق الذي يمكن للأدلة دعمه بشكل معقول.
ملاءمة أقل	أدلة قوية	قد يقدم أدلة هامشية أو خلفية أو مقارنة أو دعم سياقي بدلاً من أدلة مباشرة لسؤال المراجعة المركزي.	ينبغي قصر مساهمته على الجانب الذي يتناسب فيه المصدر مع نطاق المراجعة، لا التعامل معه كدليل ذي صلة مباشرة.
ملاءمة منخفضة	أدلة ضعيفة	عادة ما تكون فائدته الإثباتية محدودة للإجابة على سؤال المراجعة لأن كلاً من توافق المصدر وقوة الأدلة محدودان.	يتطلب الاستخدام عموماً تبريراً كبيراً، وقد يكون الاستبعاد مناسباً عندما لا يستوفي المصدر معايير المراجعة المحددة سلفاً أو لا يمكنه دعم دور إثباتي ضروري.

قد يكون المصدر الحدّي فريداً في ملاءمته لجانب ضيق من المراجعة بينما يكون لديه أيضاً قيد منهجي يضعف الثقة.

يمكن مناقشة هذا المصدر بتحفظ صريح عندما تضيف ملاءمته معلومات غير متوفرة في مكان آخر، لكن لا ينبغي التعامل معه كمكافئ لأدلة أقوى تدعم نفس الادعاء.

الإدراج أو الاستبعاد أو الاستخدام المشروط

النتيجة النهائية لاستخدام المصدر هي إدراجه أو استبعاده أو استخدامه بتحفظ، وفقاً لمعايير الملاءمة والجودة المحددة سلفاً والدور الإثباتي المقصود للمصدر.

الإدراج يعني أن المصدر يتمتع بملاءمة وكفاية إثباتية كافية لذلك الدور، والاستبعاد يعني أنه لا يستوفي حداً جوهرياً أو متطلب جودة، والاستخدام المشروط يعني وجود قيد مؤثر لكنه لا يزيل كل قيمة معلوماتية.

ينبغي تطبيق النتائج الثلاث باستمرار ودعمها بأساس منطقي موثق، لا التعامل معها كقواعد نجاح أو فشل عالمية:

• الإدراج: أدرج المصدر عندما يستوفي متطلبات الملاءمة الجوهرية ويمتلك كفاية إثباتية كافية لدوره المقصود. يمكن للمصدر أن يساهم بالمستوى الذي تبرره نقاط قوته وقيوده، مع توثيق الأساس المنطقي لسبب استيفائه للمعايير المطبقة.
• الاستبعاد: استبعد المصدر عندما لا يستوفي حداً جوهرياً أو شرط ملاءمة أو متطلب جودة يمنعه من دعم الدور الإثباتي المقصود. ينبغي أن يحدد الأساس المنطقي المعيار المحدد الذي لم يُستوفَ ليتم الحكم على المصادر المماثلة باستمرار.
• الاستخدام المشروط: احتفظ بالمصدر بتحفظ عندما يستوفي المعايير ذات الصلة جزئياً ويظل يساهم بمعلومات مفيدة رغم وجود قيد جوهري. ينبغي ذكر قيده صراحة، وأن يحمل وزناً استدلالياً أقل من الأدلة الأقوى التي تتناول نفس الادعاء.

على سبيل المثال، قد تظل الدراسة الفريدة في ملاءمتها لسؤال ضيق لكنها محدودة منهجياً مفيدة كدليل مشروط، مع حصولها على وزن استدلالي أقل من الدراسات الأقوى.

بعد توثيق الأساس المنطقي النهائي، يمكن نقل الأدلة المحتفظ بها إلى المهمة المنفصلة المتمثلة في تعلم كيفية تركيب الدراسات.