Literatür Taraması İçin Kaynak Kalitesi ve Uygunluğunun Değerlendirilmesi

Literatür taramasında bir kaynağı değerlendirirken önce tarama sorusu ve önceden belirlenmiş kapsamla uygunluğunu, ardından güvenilirlik sinyallerini ve yöntemsel kalitesini inceleyin. Tek bir sinyal, kaynak türü veya puan tek başına yeterli değildir: kaynağı amaçlanan kanıt rolüne göre dahil edin, hariç tutun veya sınırlılıklarını açıkça belirterek kullanın.

Değerlendirme boyunca aynı ayrımı koruyun: uygunluk kaynağın tarama sorusuna katkısını, kanıt kalitesi ise o katkıya ne ölçüde güvenilebileceğini gösterir.

İçindekiler⌄

Tarama Sorusu ve Kapsamıyla Uygunluğu Değerlendirme

Kaynak uygunluğu, bir kaynağın aynı genel konuyu ele alıp almadığı değil, tarama sorusu ve taramanın önceden tanımlanmış kapsamı arasındaki uyumdur.

Dahil etme sınırları, taramanın önceden uygun olarak tanımladığı ölçütlere bağlıdır; bu nedenle uygunluk yalnızca konu benzerliğine göre değil, bu sınırlara göre değerlendirilmelidir.

Ana ölçütler, her kaynağın taramanın kapsamını tanımlayan boyutlar içinde olup olmadığını test eder.

Bu kontroller, kaynak kalitesini değil, uyumu ve uygunluğu değerlendirir.

• Tarama sorusuyla uyum: kaynak, taramanın incelemeyi amaçladığı soruyu, ilişkiyi veya sorunu ele alır.
• Kavram: kaynak, yalnızca daha geniş konudan bahsetmek yerine, taramanın gerektirdiği kavram veya yapıları inceler.
• Popülasyon veya birim: popülasyon, katılımcılar, vakalar, belgeler veya diğer analiz birimi, tanımlanmış dahil etme sınırlarına uyar.
• Ortam veya bağlam: kaynak, tarama tarafından belirtilen coğrafi, kurumsal, sosyal, klinik veya diğer bağlam içinde yer alır; bu sınır uygunluğu etkiliyorsa.
• Zaman aralığı: kaynak, yayın tarihi, çalışma dönemi veya tarihsel ortam kapsamın bir parçası olduğunda, tarama tarafından tanımlanan dönemi kapsar.
• Diğer önceden tanımlı ölçütler: kaynak, taramaya dahil edilip edilmemesini doğrudan belirleyen diğer önceden tanımlanmış uygunluk koşullarını karşılar.

Tarama sorusu, tanımlanmış kapsam ve aday kaynak arasındaki ilişki, bu boyutlar arasında bir kapsam uyumu kontrolü olarak görselleştirilebilir.

Kapsam içi bir kaynak, tarama sorusu ve geçerli dahil etme sınırlarıyla uyumludur; kısmen uyumlu bir kaynak bazı boyutlarla eşleşir ancak uygulanabilirliğini sınırlayabilecek bir koşulda farklılık gösterir.

Kapsam dışı bir kaynak, taramanın uygunluk için gerekli olarak tanımladığı bir sınırın dışında kalır.

Kısmi bir eşleşme otomatik olarak hariç tutmayı gerektirmez: sonucu, hangi sınırın farklı olduğuna ve bu sınırın tarama sorusuyla nasıl ilişkili olduğuna bağlıdır.

Örneğin, iki kaynak aynı kavramı inceleyebilir, ancak farklı bir popülasyon veya zaman aralığını inceleyen bir kaynak, bu boyutlar açık dahil etme sınırları olduğunda yalnızca kısmi bir uyum olabilir.

Aday kaynakları bulmak literatür arama stratejisine aittir; uygunluk değerlendirmesi, bu kaynakların gerçekten tarama sorusu ve kapsamına uyup uymadığını belirler.

Konusal ve Kavramsal Uygunluk

Kavramsal uygunluk, bir kaynağın kavramlarının, yapılarının, sonuçlarının veya argümanlarının tarama sorusunu gerçekten ele alıp almadığına bağlıdır; tek başına genel konu örtüşmesi yetersizdir.

Ortak terminoloji, bir kaynağın aynı konuyla ilgili olduğunu gösterebilir, ancak incelenen soruya önemli bir katkı sağladığı anlamına gelmez.

Bir kaynak, merkezi kavramı, yapısı, sonucu veya argümanı tarama sorusunun incelediği şeyle uyumlu olduğunda doğrudan kavramsal uygunluğa sahiptir.

Destekleyici uygunluk, bir kaynağın gerekli kavramı doğrudan ele almadan yorumlanmasına yardımcı olan kanıt veya bağlam sağlaması durumunda geçerlidir; yüzeysel konu örtüşmesi ise kaynağın gerekli kavramsal ilişkiye katkıda bulunmadan yalnızca daha geniş konudan bahsetmesi durumunda ortaya çıkar.

Bu düzeyler, evrensel bir puanlama ölçeğinden ziyade tarama sorusuna katkıyı tanımlar ve kavramsal uyum ile konu örtüşmesi arasındaki fark, kaynakların gerçekte neye katkıda bulunduğuna göre karşılaştırılmasıyla görselleştirilebilir.

• Doğrudan uygunluk: kaynak, tarama sorusunun gerektirdiği kavramı, yapıyı, sonucu veya argümanı doğrudan ele alır.
• Destekleyici uygunluk: kaynak, gerekli kavrama yararlı kanıt veya bağlam sağlar ancak tarama sorusunu doğrudan ele almaz.
• Yüzeysel örtüşme: kaynak, bir konuyu veya terminolojiyi paylaşır ancak incelenen kavrama önemli ölçüde katkıda bulunmaz.

Örneğin, bir tarama sorusu belirli bir faktörün bir sonuçla nasıl ilişkili olduğunu inceliyorsa, bu ilişkiyi analiz eden bir kaynak doğrudan kavramsal uygunluğa sahiptir; faktör ve sonuçtan aynı genel konu içinde yalnızca bahseden bir kaynak ise yüzeysel örtüşmeye sahiptir.

İlki tarama sorusunu yanıtlamaya doğrudan katkıda bulunabilirken, ikincisi yalnızca terminoloji temelinde önemli ölçüde ilgili olarak ele alınmamalıdır.

Popülasyon, Bağlam ve Zaman Aralığı Uyumu

Popülasyon, ortam, bağlam ve zaman aralığı farklılıkları, bir kaynağın tarama sorusuna uygulanabilirliğini veya tarama kapsamına uyumunu değiştirdiğinde önem kazanır.

Bir fark, bir kaynağı otomatik olarak uygunsuz hale getirmez; sonucu, bu boyutun açık bir uygunluk sınırı olup olmadığına veya kanıtın nasıl uygulanabileceğini önemli ölçüde etkileyip etkilemediğine bağlıdır.

Kapsam uyumu, her bir tarama gereksiniminin karşılık gelen kaynak durumuyla karşılaştırılmasıyla kontrol edilebilir.

Diyagram, popülasyon, bağlam ve zaman aralığı özelliklerinin tarama sınırıyla uyumlu olup olmadığını gösterirken, tablo ortaya çıkan eşleşme, kısmi eşleşme veya uyumsuzluk ile bunun uygunluk veya sınırlı kullanım açısından sonucunu kaydeder.

Kapsam uyumu: tarama gereksinimi ile kaynak durumunun karşılaştırılması

Kapsam Boyutu	Tarama Gereksinimi	Kaynak Durumu	Değerlendirme Sonucu
Popülasyon/birim	Tarama kapsamının belirttiği popülasyon veya birim	Gerekli popülasyon veya birimle eşleşir ya da tarama sorusuyla ilgili bir özellikte farklılık gösterir	Eşleşme doğrudan uygulanabilirliği destekler; önemli bir fark uygulanabilirliği sınırlayabilir veya sınırlılığın açıkça belirtilmesini gerektirebilir ve bu popülasyon sınırının açık olması durumunda uygunluğu etkileyebilir.
Ortam/bağlam	Taramanın tanımladığı ortam, çevre veya bağlamsal koşullar	Gerekli bağlamla eşleşir ya da tarama sorusu için önemli olan koşullarda farklılık gösterir	Bağlamsal eşleşme uygulanabilirliği destekler; ortam açık bir uygunluk gereksinimi olmadığı sürece, önemli bir fark otomatik hariç tutma yerine sınırlı kullanım gerektirebilir.
Zaman aralığı	Tarama kapsamının tanımladığı yayın veya çalışma dönemi	Gerekli dönem içinde yer alır ya da bu farkın tarama sorusuna uygulanabilirliği etkilediği bir zamanda farklılık gösterir	Zamansal eşleşme kapsam uyumunu destekler; tarama bir zaman sınırı tanımladığında, önemli bir zaman farkı uygulanabilirliği sınırlayabilir veya uygunluğu etkileyebilir.

Eski bir temel çalışma, mevcut koşullar hakkındaki kanıtlar için kullanılan dönemin dışında kalsa da, tarama, etkili bir kavramın ilk formülasyonunu incelemeyi gerektiriyorsa ilgili kalmaya devam edebilir.

Bu durumda, zaman aralığı farkı, kaynağın kullanılamaz olduğu yönünde otomatik bir sonuca varmak yerine, kaynağın kanıt rolünün ve kullanım sınırlarının açıkça belirtilmesini gerektirir.

Kaynağın Yetkinlik ve Güvenilirliğini Değerlendirme

Kaynak güvenilirliği, tek bir prestij veya yayın durumu göstergesi yerine birbirini tamamlayan birden fazla sinyal aracılığıyla değerlendirilmelidir.

Güvenilirlik; yazar uzmanlığı, yayın standartları, kaynağın kökeni ve izlenebilirliği, amaç ve kanıt desteği gibi birbirini tamamlayan sinyallerle değerlendirilir; hiçbir tek sinyal güvenilirliği veya doğruluğu garanti etmez.

Yazar uzmanlığı, kaynaktan sorumlu kişinin ilgili bilgiye sahip olup olmadığını gösterirken, yayın standartları ve akran değerlendirmesi, yayından önce uygulanan editöryal veya bilimsel inceleme düzeyini belirtir.

Kaynağın kökeni, izlenebilirliği ve şeffaflığı, bilginin ve destekleyici materyalin nereden geldiğinin takip edilip edilemeyeceğini gösterir ve amaç, kaynağın iddialarını nasıl çerçeveleyebileceğini açıklamaya yardımcı olur.

Kanıt desteği ise, önemli iddiaların yalnızca yetkinliğe dayanarak kabul edilmek yerine incelenebilecek materyalle desteklenip desteklenmediğini belirler.

Bu güvenilirlik sinyalleri birlikte yorumlanmalıdır çünkü gözlemlenen her durum güveni farklı şekilde etkiler.

• Yazar uzmanlığı: ilgili nitelikler, deneyim veya konu bilgisi, yazarın yetkinliğine olan güveni destekleyebilir; net olmayan veya ilgisiz uzmanlık daha yakın inceleme gerektirir.
• Yayın standartları: belgelenmiş bir editöryal veya inceleme süreci, kaynağın incelemeye tabi tutulduğuna dair güveni destekleyebilir; net olmayan bir süreç daha az güvence sağlar.
• Akran değerlendirmesi: akran değerlendirmesi, akademik bir çalışmanın diğer uzmanlar tarafından değerlendirildiğini gösterir, ancak tek başına her iddianın veya sonucun doğru olduğunu kanıtlamaz.
• Köken ve izlenebilirlik: açık yazarlık, yayın kaynağı ve izlenebilir destekleyici materyal şeffaflığı güçlendirir; belirsiz köken veya izlenebilirlik, iddiaların nasıl üretildiğine dair endişe uyandırır.
• Amaç: tanımlanabilir bir bilgilendirme, eğitim, ikna veya ticari amaç, okuyucuların iddiaların nasıl çerçevelenebileceğini ve sunumu hangi çıkarların etkileyebileceğini yorumlamasına yardımcı olur.
• Kanıt desteği: tanımlanabilir kanıtlara bağlı iddialar daha fazla güveni destekler; desteklenmeyen veya izlenmesi zor iddialar sınırlılığın açıkça belirtilmesini veya bağımsız kontrolü gerektirir.

Güçlü akademik veya profesyonel yeterlilikler ve belgelenmiş yayın süreçleri güveni destekleyebilir; ancak kaynak güvenilirliği yine de bu sinyallerin ve kanıtın kendisinin birlikte değerlendirilmesine dayanır.

Bu nedenle bir kaynak güvenilir olabilir ancak yine de belirli bir literatür taraması için, tarama sorusunu veya kapsamını ele almıyorsa sınırlı uygunluğa sahip olabilir.

Yazarlık ve Konu Uzmanlığı

Yazar uzmanlığı, yalnızca yazarın veya sorumlu kuruluşun konu uzmanlığı değerlendirilen belirli iddiayla ilgili olduğunda güveni destekler.

Nitelikler, bağlı kurum, yayın geçmişi veya profesyonel rol yararlı sinyaller sağlayabilir, ancak bunların hiçbiri, bu uzmanlığın geçerli olduğu alanın dışındaki iddialar için yetkinlik oluşturmaz.

Yazarı değerlendirirken her uzmanlık sinyalini iddianın konusuyla ilişkilendirin ve bu sinyalin neyi gösterebileceğini, neyi gösteremeyeceğini ayrı ayrı değerlendirin.

Açıklamalı örnek, ilgili uzmanlığı belirlemeye yardımcı olan yaygın yazarlık ipuçlarını gösterir, ancak bu ipuçlarını kanıtın kendisini değerlendirmenin yerine koymaz.

• Yazar kimliği: açık yazarlık, iddiadan kimin sorumlu olduğunu belirler ve uzmanlığının değerlendirilmesine olanak tanır; kimlik tek başına ilgili uzmanlığı göstermez.
• Nitelikler ve disiplin uzmanlığı: iddiayla ilgili bir alandaki nitelikler, konu uzmanlığına olan güveni destekleyebilir; ilgisiz bir alandaki yeterlilikler bu iddia için yetkinlik oluşturmaz.
• Bağlı kurum: bağlı kurum, yazarın profesyonel veya akademik ortamı hakkında bağlam sağlayabilir; kurumsal bağlantı tek başına ilgili uzmanlığı veya iddianın doğruluğunu göstermez.
• Yayın geçmişi: konuyla ilgili bir yayın geçmişi, ilgili alanda sürekli çalışıldığını gösterebilir; bu konu dışındaki bir yayın geçmişi, değerlendirilen iddia için uzmanlık oluşturmaz.
• Rol: sorumlulukları konuyla ilgili olduğunda profesyonel veya araştırma rolü güveni destekleyebilir; unvan tek başına bu rolün ötesinde bir uzmanlık göstermez.
• Açıklanan çıkarlar: açıklanan çıkarlar, kaynağın yorumlanmasıyla ilgili ilişkiler veya rekabet eden çıkarlar hakkında şeffaflık sağlar; açıklama tek başına güvenilmezlik veya doğruluk tespit etmez.

Örneğin, bir disiplinde önemli niteliklere sahip bir yazar, bu disiplin içindeki iddialar için ilgili uzmanlık gösterebilir ancak ilgisiz bir alandaki uzmanlaşmış iddialar için göstermeyebilir.

Bu nedenle güven, yalnızca unvanların veya kurum adlarının görünür prestijini değil, yazarın uzmanlığı ile belirli iddia arasındaki gerçek uyumu yansıtmalıdır.

Akran Değerlendirmesi, Kaynak Türü ve Yayın Standartları

Akran değerlendirmesi, bilimsel inceleme sağlayan bir yayın kontrol sinyalidir ancak bir kaynağın doğru veya yöntemsel olarak güçlü olduğunu garanti etmez.

Yayın standartları, kaynak türü, editöryal süreç, şeffaflık, amaç ve kaynağın sunduğu kanıtlarla birlikte değerlendirilmelidir.

Farklı kaynak türleri farklı inceleme veya editöryal denetim biçimlerinden geçer, bu sebeple yayın süreçleri farklı güvenilirlik sinyalleri sağlar.

Akademik bir makale disiplin akranları tarafından incelenebilir, akademik bir kitap editöryal değerlendirme ve uzman incelemesinden geçebilir ve kurumsal bir rapor, sorumlu kuruluşun sürecine göre dahili, teknik veya editöryal incelemeye tabi tutulabilir.

Kanıt kullanımı için geçerli soru, kaynak türünün evrensel bir hiyerarşide nerede olduğu değil, hangi incelemenin gerçekleştiği, bu sürecin ne kadar şeffaf olduğu ve sınırlılıklarının neler olduğudur.

Kaynak türlerine göre inceleme süreçleri, anlamları ve sınırlılıkları

Kaynak Türü	İnceleme veya Editöryal Süreç	Ne Anlama Gelir	Değerlendirme Sınırlılığı
Akran değerlendirmeli akademik makale	Yayından önce disiplin akranları tarafından incelenir ve bir dergi editöryal sürecinden geçirilir.	Akran değerlendirmesi disiplin incelemesi sağlar ve akademik makalenin resmi bir inceleme sürecinden geçtiğini gösterir.	Akran değerlendirmesi tek başına yöntemsel kaliteyi kanıtlamaz; zayıflıklar, yanlılık veya sınırlılıklar kalabilir.
Akademik kitap	Yayın sürecine bağlı olarak, akademik bir yayıncı aracılığıyla editöryal değerlendirme ve uzman incelemesinden geçebilir.	Belgelenmiş bir inceleme ve editöryal süreç, çalışmaya uygun akademik denetim ve yayın kontrolünü gösterebilir.	Akademik kitap formatı her iddianın kalitesini kanıtlamaz; fiili inceleme süreci ve destekleyici kanıtlar değerlendirme gerektirir.
Kurumsal veya hükümet raporu	Sorumlu kuruluşun yayın standartlarına göre dahili, teknik, editöryal veya onay incelemesinden geçebilir.	Açık köken, izlenebilirlik, şeffaflık ve belgelenmiş bir inceleme süreci, raporun kanıt kullanımıyla ilgili güvenilirlik sinyalleri sağlayabilir.	Kurumsal yayın otomatik olarak güvenilirlik sağlamaz; amaç, köken ve izlenebilirlik, şeffaflık, kanıt desteği ve geçerli inceleme süreci önemini korur.

Yayın kontrolleri inceleme sağlar ancak kanıtın kendisinin eleştirel değerlendirmesinin yerini almaz.

Akran değerlendirmeli akademik bir makale yöntemsel zayıflıklar, yanlılık veya sınırlılıklar içerebilirken, akran değerlendirmesinden geçmemiş materyal, amacı, kökeni ve izlenebilirliği, şeffaflığı ve destekleyici kanıtları bu kullanımı haklı çıkardığında belirli bir kanıt kullanımı için uygun kalabilir.

Güncellik, Amaç ve Kanıt Desteği

Güncellik, amaç ve kanıt desteği ayrı kaynak güvenilirliği özellikleridir ve farklı yönlere işaret edebilirler.

Yakın tarihli bir yayın tarihi tek başına güçlü kanıt oluşturmaz; alandaki sonraki gelişmeler geçerliliğini ortadan kaldırmamışsa daha eski bir kaynak, temel bir kavram için hâlâ ilgili olabilir.

Her özellik, gözlemlenen durumun güvenilirliği nasıl etkilediği açıklanarak değerlendirilmelidir; sonuç tek bir puana indirgenmemelidir.

Amaç, bir iddianın nasıl çerçevelendiğini şekillendirebilir ve bilgiyi otomatik olarak yanlış kılmadan olası yanlılık getirebilir.

Kanıt desteği, atıfta bulunulan kanıtın iddiayı destekleyip desteklemediğine, tanımlanabilir kaynaklara kadar izlenebilir olup olmadığına ve iddianın gücüyle orantılı olup olmadığına bağlıdır.

• Güncellik: yayın tarihini, taramayla ilgili alan değişikliğinin hızı ve türüyle karşılaştırın. Bir kaynak, bilgisi incelenen kavramı veya koşulları hâlâ temsil ettiğinde amaçlanan kanıt kullanımı için güncel kalır; sonraki bir değişiklik iddiayı değiştirebilecekse, devam eden geçerliliği gösterilemediği sürece doğrudan kullanıma olan güven sınırlıdır.
• Amaç: kaynağın iletişim amacını belirleyin ve hedef kitlesinin veya çıkarlarının bilginin seçimini, çerçevelenmesini veya yorumlanmasını nasıl etkileyebileceğini değerlendirin. Olası yanlılık uygun inceleme gerektirir ve ihtiyatlı veya bağlamsal kullanımı haklı çıkarabilir, ancak amaç tek başına bir iddianın doğru olup olmadığını belirlemez.
• Kanıt Desteği: atıfta bulunulan kanıtın iddiayı gerçekten destekleyip desteklemediğini ve bu desteğin tanımlanabilir kaynaklara kadar izlenebilir olup olmadığını kontrol edin. İddianın gücüyle orantılı, ilgili ve izlenebilir destek güveni güçlendirirken, desteklenmeyen, zayıf bağlantılı veya izlenemeyen destek, sağlanan atıf sayısına bakılmaksızın güveni sınırlar.

Daha eski ancak temel nitelikteki ve iyi desteklenen bir kaynak, başlangıçta ortaya koyduğu kavram veya katkı için kullanıldığında ilgili kalabilir.

Buna karşılık, desteklenmeyen bir iddiada bulunan yakın tarihli bir kaynak, güncelliğine rağmen zayıf kanıt olarak kalabilir; bundan dolayı güven ve kanıt kullanımı, değerlendirilen belirli güvenilirlik özelliklerini yansıtmalıdır.

Yöntemsel Kaliteyi Eleştirel Olarak Değerlendirme

Eleştirel değerlendirme, bir çalışmanın tasarımı, yürütülmesi, analizi ve raporlanmasına bakarak bulgularının literatür taramasında üstleneceği rol için ne ölçüde güvenilir olduğunu değerlendirir.

Bu değerlendirme, yayın itibarının veya kaynak türünün kanıtın gücünü belirlediğini varsaymak yerine yöntemsel kaliteyi doğrudan inceler.

Değerlendirme ölçütleri çalışma tasarımıyla uyuşmalıdır çünkü farklı araştırma soruları ve yöntemleri farklı yanlılık ve sınırlılık riskleri oluşturur.

Bir tasarım için önemli olan yöntemsel bir sinyal, başka bir tasarımda farklı bir sonuca sahip olabilir; bu yüzden değerlendirme, her kontrolü araştırma sorusu, tasarım ve amaçlanan kanıt kullanımıyla ilişkili olarak yorumlamalıdır.

Değerlendirme araçları bu süreci destekleyebilir, ancak çalışma kalitesini mekanik olarak belirleyen evrensel puanlama sistemleri olarak ele alınmamalıdır.

Değerlendirme sırası, kabul edilebilir kanıt için sabit eşikler koymak yerine inceleme sorularını düzenler:

1. Çalışma sorusu ve tasarım uyumu: araştırma sorusunu belirleyin ve çalışma tasarımının bu soruyu yanıtlamak için uygun olup olmadığını değerlendirin; zayıf uyum, bulguların neler ortaya koyabileceğini sınırlar.
2. Yürütme ve veri kalitesi: katılımcıların, gözlemlerin, ölçümlerin veya diğer verilerin nasıl elde edildiğini ve işlendiğini inceleyin; yürütmedeki zayıflıklar yanlılık getirebilir veya güveni azaltabilir.
3. Analiz: analitik yaklaşımın çalışma tasarımına ve verilere uyup uymadığını ve raporlanan yorumun bu analiz tarafından desteklenip desteklenmediğini değerlendirin.
4. Yanlılık, raporlama ve sınırlılıklar: yanlılık, eksik raporlama veya diğer sınırlılık risklerini düşündüren sinyalleri belirleyin, olası riski, bulguların geçersiz olduğu yönündeki kesin sonuçtan ayırarak.
5. Kullanıma güven: tasarım, yürütme, analiz, raporlama, yanlılık ve sınırlılık yargılarını birleştirerek çalışmanın amaçlanan kanıt rolü için bulgularına ne ölçüde güvenilebileceğine karar verin; bir zayıflık, çalışmayı otomatik olarak geçersiz kılmadan sınırlılığın açıkça belirtilmesini gerektirebilir.

Eleştirel değerlendirme, bireysel bir çalışma düzeyinde işler ve yöntemsel güçlü yanlarının ve sınırlılıklarının, bulgularına olan güveni nasıl etkilediğini belirler.

Bireysel kanıtlar değerlendirildikten sonra kaynaklar arasındaki daha geniş analitik ilişkileri ele alan literatürün eleştirel analizinden farklıdır.

Araştırma Tasarımı ve Yöntemsel Uyum

Yöntemsel uyum, çalışma tasarımının ve yöntemsel yaklaşımın araştırma sorusuna uygun olup olmadığına ve yapılan iddia türünü destekleyip destekleyemediğine bağlıdır.

Titiz bir tasarım belirli bir soru için hâlâ uygun olmayabilir, bundan dolayı yöntemsel kalite ve tasarım uygunluğu aynı yargı olarak ele alınmamalıdır.

Tasarım-soru uyumunu, araştırma sorusundan tasarım seçimine, bu tasarımın üretebileceği kanıta ve çalışmanın yapmayı amaçladığı çıkarıma kadar izleyerek değerlendirin.

Yöntemsel yaklaşım, soruyu yanıtlamak için gereken veri türünü üretmeli, çalışma tasarımı ise iddiayı yalnızca meşru çıkarım sınırları içinde desteklemelidir.

Gerekli kanıt ile seçilen tasarım arasındaki uyumsuzluk, çalışma başka yönlerden özenle yürütülmüş olsa bile yorumlamayı sınırlar.

• Araştırma sorusuyla uyum: çalışma tasarımının sorulan soruya uygun olup olmadığını belirleyin; gerekli ilişkiyi veya olguyu ele almayan bir tasarım, çalışmanın yanıtlayabileceklerini sınırlar.
• Kanıt uygunluğu: yöntemsel yaklaşımın araştırma sorusu için gereken kanıt türünü üretip üretemeyeceğini kontrol edin; uygun olmayan veriler, bulguların bu soruyla ilgisini kısıtlar.
• İddia desteği: tasarımın, bulgulardan yapılan iddiayı destekleyip destekleyemediğini değerlendirin; tasarımın yeteneklerinin ötesine geçen sonuçlar sınırlılığın açıkça belirtilmesini gerektirir.
• Çıkarım sınırlılığı: tasarımın neyi ortaya koymadığını ve bu sınırlılığın yorumlamayı, güveni veya uygulanabilirliği nasıl etkilediğini belirleyin.

Örneğin, bir çalışma bir ilişkiyi belirlemek için titiz bir gözlemsel tasarım kullanabilir, ancak bu tasarım bir faktörün diğerine neden olduğu iddiasıyla zayıf bir şekilde eşleşebilir.

Çalışma yine de yararlı kanıt sağlayabilir; ancak çıkarım, tasarımın destekleyebileceği sınırlar içinde kalmalıdır.

Örneklem, Veri Toplama ve Analiz

Yöntemsel yürütme, örneklem, veri toplama, ölçüm ve analiz çalışma tasarımına uygun ve kendi içinde tutarlı olduğunda bir çalışmanın sonuçlarını destekler.

İlgili kalite koşulları yönteme göre değişir, bu nedenle geçerlik, güvenilirlik ve diğer yürütme ölçütleri nitel, nicel ve karma yöntem çalışmalarında aynı kurallar olarak uygulanmak yerine kullanılan yöntemlere göre yorumlanmalıdır.

Örneklem, çalışmanın amacı için yeterli olmalı; örneklem seçimi ise yanlılık getirebilecek veya sonuçların kesinliğini etkileyebilecek durumlar açısından değerlendirilmelidir.

Veri toplama, yöntemsel yaklaşımla tutarlı olmalı, ölçüm geçerliği ve güvenilirliği ise bu kavramların yöntemle ilgili olduğu durumlarda değerlendirilmelidir.

Analiz, veri türü ve araştırma amacına uygun olmalıdır; uyumsuzluk sonuçların kesinliğini azaltabilir veya yorumlanabilirliği sınırlayabilir.

Sonuçlar, bulgularla uyumlu olmalı ve örneklem, ölçüm ve analizin destekleyebileceği şeyin içinde kalmalıdır.

Bu yürütme kontrolleri, her yöntemsel unsurun durumunu olası etkisi ve bulgulara duyulan güven üzerindeki sonucu ile ilişkilendirir:

• Örneklem ve örneklem seçimi: örneklemin nasıl seçildiğini ve çalışmanın amacı için yeterli olup olmadığını değerlendirin; temsili olmayan bir örneklem, seçim yanlılığı getirebilir veya amaçlanan çıkarım için temsil edicilik gerektiğinde kanıtın ne kadar geniş yorumlanabileceğini sınırlayabilir.
• Veri toplama: verilerin belirtilen yöntemsel yaklaşımla tutarlı bir şekilde toplanıp toplanmadığını inceleyin; açıklanamayan tutarsızlıklar veya prosedürden sapmalar, ortaya çıkan verilerin karşılaştırılabilirliğine veya yorumlanabilirliğine olan güveni azaltabilir.
• Ölçüm: çalışma tasarımıyla ilgili olduğu durumlarda ölçüm geçerliğini ve güvenilirliğini değerlendirin; amaçlanan yapıyı yeterince temsil etmeyen veya yeterince güvenilir gözlemler üretmeyen ölçümler, ortaya çıkan kanıta olan güveni sınırlayabilir.
• Analiz: analitik yöntemin veri türüne ve incelenen soruya uygun olup olmadığını belirleyin; veriyle eşleşmeyen bir analiz kesinliği, yorumlanabilirliği veya sonuçlar tarafından desteklenen çıkarımı sınırlayabilir.
• Sonuç uyumu: sonuçları raporlanan bulgular ve yöntemsel sınırlılıklarla karşılaştırın; kanıtın desteklediğinin ötesine geçen sonuçlar, çalışmanın otomatik olarak reddedilmesi değil sınırlılığın açıkça belirtilmesini gerektirir.

Bu nedenle temsili olmayan bir örneklem, temsil ediciliğin amaçlanan çıkarım için gerekli olduğu durumlarda bir uyarı sinyalidir, her bulgunun kullanılamaz olduğunun kanıtı değildir.

Benzer şekilde, analitik bir uyumsuzluk belirli bir sonuca duyulan güveni azaltabilir; bunun önemi, uyumsuzluğun o sonucu destekleyen kanıtı ne ölçüde etkilediğine bağlıdır.

Yanlılık, Sınırlılıklar ve Raporlama Şeffaflığı

Yanlılık, sınırlılıklar ve raporlama şeffaflığı, bir çalışmaya duyulan güveni etkileyen sinyallerdir; bunlar basit bir geçer-kalır etiketi olarak yorumlanmamalıdır.

Yönetilebilir bir sınırlılık, yorumlamaya uygun biçimde yansıtılabilir; önemli bir sınırlılık ise ilgili bir bulguyu destekleyen kanıtı anlamlı ölçüde zayıflatır veya önemli bir belirsizlik kaynağını çözümsüz bırakır.

Raporlama şeffaflığı, gözlemlenebilir bilgileri bu bilgilerin olası etkileri hakkındaki çıkarımlardan ayırmayı mümkün kılar.

Seçici raporlama, bulguların kanıtların eksik bir görünümünü sunma riskini artırabilir; eksik yöntemsel ayrıntı ise çalışmanın nasıl yürütüldüğü veya yorumlandığı konusunda güveni sınırlayabilir.

Açıklanan rekabet eden çıkarlar yanlılığı kanıtlamaz; bağlam içinde değerlendirilmesi gereken olası bir etki kaynağını gösterir. Sınırlılıklar açıkça belirtilip sonuçlar buna göre yorumlandığında şeffaflık artar.

Belirsizliği ve ilgili çalışma sınırlılıklarını açıkça yansıtan bir sonuç, bulguların daha orantılı yorumlanmasını destekler.

Aşağıdaki sinyaller bağlam içinde yorumlanmayı gerektirir çünkü sonuçları, bulguları ve kanıtların amaçlanan kullanımını nasıl etkilediklerine bağlıdır:

• Seçici raporlama: sonuçların, analizlerin veya ilgili bulguların eksik raporlandığına dair kanıt, seçici raporlama riskini gösterir; eğer eksiklikler yorumlamayı önemli ölçüde değiştirebilecekse, etkilenen sonuçlara duyulan güven azaltılmalı veya sonuçlar açık sınırlamalarla yorumlanmalıdır.
• Rekabet eden çıkarlar: açıklanan bir mali, profesyonel veya diğer ilgili rekabet eden çıkar, potansiyel bir etki kaynağını belirler; varlığı, araştırmayı veya raporlamayı nasıl etkileyebileceğinin değerlendirilmesini gerektirir, ancak açıklama tek başına bulguların yanlı olduğunu kanıtlamaz.
• Ele alınmamış sınırlılıklar: belirgin olan ancak yorumlamada dikkate alınmayan önemli bir sınırlılık, sonuçların kanıtın desteklediğinin ötesine geçme riskini artırabilir; açıklanan ve uygun şekilde ele alınan bir sınırlılık, etkisi sınırlandırıldığında yönetilebilir kalabilir.
• Eksik yöntemsel ayrıntı: önemli prosedürlerin nasıl yürütüldüğünü anlamak için gereken bilgilerin bulunmaması, eksik raporlamayı gösterir ve eksik ayrıntı, bulguların anlamlı bir şekilde değerlendirilmesini engellediğinde güveni sınırlayabilir.
• Sınırlılıkları yansıtan sonuç: çalışmanın belirtilen belirsizliğini ve ilgili sınırlılıklarını yansıtan bir sonuç, orantılı yorumlamayı destekler; raporlanan kanıtın destekleyebileceğini aşan bir sonuç, güven için daha önemli bir tehdit oluşturur.

Bir sınırlılık, kapsamı ve olası etkisi belirlenebildiğinde ve ilgili iddia sınırlılıkları uygun biçimde belirtilerek yorumlanabildiğinde yönetilebilirdir.

İddiaya olan desteği önemli ölçüde zayıflattığında veya gerekli bir değerlendirmeyi engellediğinde önemli bir tehdit haline gelir; bu durumda kanıt, azaltılmış güveni veya bu belirli kanıt rolünden hariç tutulmayı gerektirebilir.

Gerekçelendirilebilir Bir Kaynak Seçimi Kararı Verme

Gerekçelendirilebilir bir kaynak seçimi kararı, tutarlı şekilde uygulanan açık ölçütler kullanarak uygunluk, güvenilirlik ve yöntemsel kaliteyi birleştirir.

Karar aşamasında değerlendirmeyi tek bir puana veya keyfi bir kesme noktasına indirgemek yerine, herhangi bir önemli zayıflığın kaynağın amaçlanan kanıt rolünü etkileyip etkilemediği değerlendirilmelidir.

Bir kaynak bazı ölçütleri karşılayıp diğerlerini yalnızca kısmen karşılayabilir, bu nedenle zayıflıklar tarama üzerindeki pratik etkilerine göre değerlendirilmelidir.

Bir zayıflık, kaynağın belirli bir iddiayı, bağlamı veya amaçlanan kanıt rolünü destekleme gücünü anlamlı ölçüde değiştirdiğinde önemlidir.

Dahil etme ve hariç tutma kuralları tarama yöntemine ve önceden tanımlanmış kapsama bağlıdır; ölçütler, istenen sonucu destekleyen kaynakları sonradan seçmeye yol açmaması için kaynak seçiminden önce belirlenmelidir.

Karar akışı, önceki değerlendirme sonuçlarını evrensel kesme noktaları oluşturmadan tutarlı bir seçim kararında birleştirir:

1. Uygunluğu onaylayın: kaynağın, kullanım için değerlendirilebilecek kadar tarama sorusu ve önceden tanımlanmış kapsamla eşleşip eşleşmediğini belirleyin.
2. Güvenilirliği ve yöntemsel kaliteyi değerlendirin: kaynağın, kaynak türü ve çalışma tasarımı için geçerli güvenilirlik ve yöntemsel ölçütleri karşılayıp karşılamadığını, kısmen karşılayıp karşılamadığını veya karşılamadığını belirleyin.
3. Önemli zayıflıkları belirleyin: herhangi bir zayıflığın kaynağın amaçlanan rolü için önemli olup olmadığını veya sınırlılık açıkça belirtilerek yönetilip yönetilemeyeceğini belirleyin.
4. Kullanım kararını verin: kaynağı, amaçlanan kullanımı için gerekli ölçütleri karşıladığında dahil edin; önemli bir zayıflık bu kullanımı engellediğinde hariç tutun; kaynak bilgilendirici kaldığında ancak sınırlılıkları yorumlamayı veya kanıt ağırlığını kısıtladığında sınırlı kullanımı seçin.
5. Gerekçeyi kaydedin: hangi ölçütlerin uygulandığını, belirlenen önemli güçlü yanları veya zayıflıkları, amaçlanan kanıt rolünü ve nihai kararın neden verildiğini belgeleyin.

Sınırda bir kaynak bu nedenle nasıl kullanılacağına bağlı olarak farklı şekilde ele alınabilir.

Örneğin, yöntemsel sınırlılığı olan bir kaynak merkezi bir iddia için birincil kanıt olarak uygun olmayabilir ancak sınırlılık bu dar rolü zayıflatmıyorsa, sınırlılığı açıkça belirtilerek bağlamsal arka plan sağlamaya devam edebilir; gerekçe benzer kaynakların tutarlı şekilde değerlendirilmesi için bu ayrımı kaydetmelidir.

Seçim gerekçesi tamamlandığında, kalan kaynaklar ayrı bir görev olarak literatür taraması kaynaklarını düzenleme aşamasına taşınabilir.

Uygunluğu Kanıt Kalitesiyle Dengeleme

Uygunluk ve kanıt kalitesi, kaynak kullanışlılığının ayrı boyutlarıdır ve birindeki güçlülük diğerindeki zayıflığı otomatik olarak telafi etmez.

Bir kaynak yüksek düzeyde uygun ancak yöntemsel olarak sınırlı olabilir veya yöntemsel olarak güçlü ancak tarama sorusuna yalnızca dolaylı olarak ilgili olabilir, bu nedenle kanıt rolü her iki boyutu da yansıtmalıdır.

Aşağıdaki karşılaştırma, dört kombinasyon boyunca aynı temeli korur: tarama sorusuna uygunluk, kanıt kalitesi, olası katkı ve kullanım için gereken sınırlama ve açıklama.

Uygunluk ile kanıt kalitesinin birlikte yorumlanması

Uygunluk	Kanıt Kalitesi	Taramadaki Olası Rol	Gerekli Açıklama ve Sınır
Yüksek uygunluk	Güçlü kanıt	Tarama sorusunu yanıtlamaya doğrudan katkıda bulunabilir ve amaçlanan kanıt rolüne uyduğunda merkezi iddiaları destekleyebilir.	Olağan eleştirel değerlendirme yine gereklidir, ancak ilgili iddiayı etkileyen önemli bir sınırlılık olmadığında güven karşılaştırmalı olarak yüksek olabilir.
Yüksek uygunluk	Zayıf kanıt	Tarama sorusunu yakından ele aldığı için, özellikle aynı konuyu kapsayan az sayıda kaynak olduğunda, yine de katkıda bulunabilir.	Yöntemsel sınırlılıklar ve bunların güven üzerindeki etkisi açıkça belirtilmeli; kaynak yalnızca kanıtın makul biçimde destekleyebileceği dar rolde kullanılmalıdır.
Daha düşük uygunluk	Güçlü kanıt	Merkezi tarama sorusu için doğrudan kanıt yerine dolaylı kanıt, arka plan, karşılaştırma veya bağlamsal destek sağlayabilir.	Katkısı, doğrudan ilgili kanıt olarak ele alınmak yerine, kaynağın tarama kapsamına uyduğu yönle sınırlandırılmalıdır.
Düşük uygunluk	Zayıf kanıt	Genellikle tarama sorusunu yanıtlama açısından düşük kanıt kullanışlılığına sahiptir çünkü hem kaynak uyumu hem de kanıt gücü sınırlıdır.	Kullanım genellikle önemli gerekçe gerektirir ve kaynak taramanın önceden tanımlanmış ölçütlerini karşılamadığında veya gerekli bir kanıt rolünü destekleyemediğinde hariç tutma uygun olabilir.

Sınırda bir kaynak, taramanın dar bir yönü için benzersiz şekilde ilgili olabilirken aynı zamanda güveni zayıflatan yöntemsel bir sınırlılığa sahip olabilir.

Böyle bir kaynak, uygunluğu başka yerde bulunmayan bilgi eklediğinde sınırlılığı açıkça belirtilerek tartışılabilir, ancak aynı iddiayı destekleyen daha güçlü kanıtlarla eşdeğer olarak ele alınmamalıdır.

Dahil Etme, Hariç Tutma veya Sınırlılıkları Belirterek Kullanım

Nihai kaynak kullanım sonucu, önceden tanımlanmış uygunluk ve kalite ölçütlerine ve kaynağın amaçlanan kanıt rolüne göre dahil etme, hariç tutma veya sınırlılıkları belirtilerek kullanımdır.

Dahil etme, kaynağın bu rol için yeterli uygunluğa ve kanıt kalitesine sahip olduğu anlamına gelir; hariç tutma, kaynağın önemli bir sınırı veya kalite gereksinimini karşılamadığı anlamına gelir; sınırlılıkları belirtilerek kullanım ise bir sınırlılığın önemli olduğu ancak tüm bilgi değerini ortadan kaldırmadığı durumdur.

Üç sonuç, evrensel geçer-kalır kuralları olarak ele alınmak yerine tutarlı şekilde uygulanmalı ve kaydedilmiş bir gerekçe ile desteklenmelidir:

• Dahil etme: kaynak, temel uygunluk gereksinimlerini karşıladığında ve amaçlanan rolü için yeterli kanıt kalitesine sahip olduğunda dahil edin. Kaynağın taramadaki ağırlığı güçlü ve zayıf yönleriyle orantılı olmalı; gerekçe, geçerli ölçütlerin neden karşılandığını kaydetmelidir.
• Hariç tutma: kaynak, amaçlanan kanıt rolünü desteklemesini engelleyen önemli bir sınırı, uygunluk koşulunu veya kalite gereksinimini karşılamadığında hariç tutun. Gerekçe, karşılaştırılabilir kaynakların tutarlı şekilde değerlendirilebilmesi için karşılanmayan belirli ölçütü tanımlamalıdır.
• Sınırlılıkları belirtilerek kullanım: kaynak ilgili ölçütleri kısmen karşıladığında ve önemli bir sınırlılığa rağmen hâlâ yararlı bilgi sağladığında sınırlılıklarını açıkça belirterek kullanın. Sınırlılığı açıkça belirtilmeli ve aynı iddiayı ele alan daha güçlü kanıtlardan daha az çıkarımsal ağırlık taşımalıdır.

Örneğin, dar bir soru için benzersiz şekilde ilgili ancak yöntemsel olarak sınırlı bir çalışma, daha güçlü çalışmalardan daha düşük çıkarımsal ağırlık almalı; sınırlılıkları açıkça belirtilirse yine de yararlı bir kanıt kaynağı olabilir.

Nihai gerekçe kaydedildikten sonra, dahil edilen kaynaklar çalışmaları sentezleme ayrı görevine geçirilebilir.