Selin
New member
6. Replikasyonda Sık Karşılaşılan Sorunlar ve Çözüm Önerileri
Replikasyonun önündeki engeller yalnızca laboratuvar koşulları veya araştırmacıların teknik becerileriyle sınırlı değildir. Bilimsel yayın sistemi, finansman, veri paylaşımına ilişkin kısıtlamalar ve araştırmacılar üzerindeki zaman baskısı da süreci etkileyebilir.
6.1. Yöntemlerin eksik raporlanması
Bir makalede kullanılan yöntemler yeterince açıklanmadığında, başka bir araştırmacının hangi işlemleri tekrarlaması gerektiğini anlaması zorlaşır. Özellikle karmaşık istatistiksel analizlerde yalnızca sonuç tablolarını paylaşmak yeterli değildir. Veri işleme adımları, yazılım sürümleri, analiz kodları ve değişkenlerin tanımları da önem taşıyabilir.
National Academies'in 2019 raporu, hesaplamaya dayalı sonuçların yeniden elde edilebilmesi için veri, yöntem ve hesaplama ortamı bilgilerinin açık ve eksiksiz sunulmasını önerir. Ayrıca ölçümlerdeki belirsizliklerin ve analiz kararlarının açıklanması gerektiğini vurgular. Raporun araştırmacılara yönelik önerileri.
6.2. Yalnızca olumlu sonuçların öne çıkarılması
Beklenmedik ve dikkat çekici sonuçlar daha fazla ilgi görebilir. Buna karşılık bir hipotezi desteklemeyen araştırmaların yayımlanması daha zor olduğunda bilimsel literatür, gerçekte olduğundan daha tutarlı bir görüntü verebilir.
Bu sorunu azaltmak için araştırma sorularının ve analiz planlarının veri incelenmeden önce kaydedilmesi, yani ön kayıt (preregistration) uygulanması yararlı olabilir. Ön kayıt, araştırmacının sonradan yaptığı bütün keşifleri geçersiz kılmaz; ancak başlangıçta planlanan analizlerle sonradan geliştirilen analizlerin birbirinden ayrılmasını sağlar.
Center for Open Science, araştırma planlarının, verilerin, materyallerin ve kodların ilişkilendirilebildiği açık bilim uygulamalarını desteklemektedir. Center for Open Science.
6.3. Kaynak ve erişim eşitsizlikleri
Her araştırma grubu aynı laboratuvar altyapısına, finansmana, personele veya veri erişimine sahip değildir. Bu nedenle replikasyonun başarısızlığı her zaman yöntemin kusurlu olduğu anlamına gelmez. Bazen araştırmacıların aynı yöntemi uygulayabilmesi için gerekli koşullar sağlanmamıştır.
Örneğin, pahalı bir görüntüleme cihazı gerektiren bir çalışmanın başka bir kurumda tekrarlanması mümkün olmayabilir. Benzer biçimde, kişisel sağlık verilerinin paylaşılması etik ve hukuki nedenlerle sınırlandırılabilir. Bu durumlarda alternatif cihazlarla doğrulama, kontrollü veri erişimi, anonimleştirilmiş veri kümeleri veya ayrıntılı analiz kodları kullanılabilir.
Burada önemli olan, her şeyi sınırsız biçimde paylaşmak değil, bilimsel doğrulamayı mümkün olduğunca kolaylaştırırken gizliliği ve güvenliği korumaktır.
7. Replikasyonun Başarısını Nasıl Ölçmeliyiz?
Bir çalışmanın başarılı biçimde tekrarlanıp tekrarlanmadığını yalnızca iki araştırmanın sonuçlarının birebir aynı olup olmadığına bakarak belirlemek yanıltıcı olabilir. Özellikle insan davranışlarını inceleyen araştırmalarda küçük farklılıklar beklenebilir.
Bunun yerine birkaç ölçüt birlikte değerlendirilmelidir:
- Etki büyüklüğü: İki araştırmada gözlenen etkinin büyüklüğü ne kadar benzer?
- Belirsizlik: Güven aralıkları ve ölçüm hataları sonuçları nasıl etkiliyor?
- Yöntemsel uygunluk: İkinci araştırma, ilk çalışmanın temel varsayımlarını ve kritik koşullarını koruyor mu?
- Örneklem ve bağlam: Katılımcı grupları arasındaki farklılıklar sonucu açıklayabilir mi?
- Bağımsız doğrulama: Benzer sonuçlar farklı ekipler ve koşullar altında da gözleniyor mu?
Örneğin, ilk araştırmada bir eğitim programının etkisi beş puan, ikinci araştırmada dört puan olarak ölçülmüşse bu sonuçlar otomatik olarak çelişkili değildir. Örneklem büyüklükleri ve belirsizlik aralıkları incelenmelidir. Buna karşılık ilk araştırmada güçlü bir olumlu etki bulunurken ikinci araştırmada yeterli istatistiksel güce sahip bir çalışma, anlamlı bir etki olmadığını ve ilk sonuçla uyumsuzluğu gösteriyorsa daha ayrıntılı inceleme gerekebilir.
Ayrıca istatistiksel anlamlılık ile pratik önem birbirinden ayrılmalıdır. Çok büyük bir örneklemde küçük bir fark istatistiksel olarak anlamlı olabilir; ancak bu fark gerçek yaşamda önemsiz kalabilir. Tersine, küçük bir örneklemde gözlenen anlamlı olmayan bir fark da önemli bir etkinin bulunmadığını tek başına kanıtlamaz.
Bilimsel güven, tek bir araştırmanın kusursuz olmasına değil, farklı kanıtların zaman içinde birikmesine dayanır.
8. Sonuç ve Forum Tartışması: Asıl Önemli Olan Nedir?
Replikasyon için gereken dört temel unsur; uygun fiziksel ve teknik ortam, gerekli materyal ve kaynaklar, açık ve standartlaştırılmış yöntemler, yeterli veri ile güvenilir ölçüm ve doğrulama araçlarıdır. Bunların her biri gereklidir ancak tek başına yeterli değildir. Araştırmanın güvenilirliği, bu unsurların birlikte işlemesine ve belirsizliklerin dürüstçe değerlendirilmesine bağlıdır.
Kadınlar ve erkekler arasındaki bakış açılarını karşılaştırırken de benzer bir ilkeye ihtiyaç vardır. Veriye odaklanmak ile toplumsal etkileri anlamaya çalışmak birbirinin zıddı değildir. İyi bir bilimsel yaklaşım, hem ölçülebilir sonuçları hem de sonuçların ortaya çıktığı koşulları inceler. Bireysel farklılıkları cinsiyet kalıplarına indirgemek yerine, araştırmacıların farklı deneyimlerinden ve uzmanlıklarından yararlanmak daha üretken bir yol sunar.
Bilimsel nesnellik, insan deneyimini görmezden gelmek değil; onu da uygun kanıtlarla incelemek, varsayımları sorgulamak ve sonuçları eleştiriye açık tutmaktır.
Şimdi forumdaki tartışmayı şu sorularla sürdürelim:
1. Sizce replikasyonda en kritik unsur hangisi: uygun ortam, doğru materyaller, açık yöntemler veya güvenilir veri?
2. Bir araştırmanın ilk sonuçları bağımsız bir ekip tarafından doğrulanamadığında, bunun yöntem hatasından mı yoksa koşulların farklılığından mı kaynaklandığını nasıl ayırt edebiliriz?
3. Sizce nicel veriler ile katılımcı deneyimlerini birlikte incelemek, araştırmanın güvenilirliğini artırır mı? Hangi durumlarda?
4. Erkeklerin daha veri odaklı, kadınların ise daha toplumsal etki odaklı olduğu iddiasını destekleyen veya çürüten kişisel ya da mesleki deneyimleriniz var mı? Bu tür farklılıkların cinsiyetten ziyade eğitim, meslek veya çalışma ortamıyla açıklanabileceğini düşünüyor musunuz?
5. Bilimsel yayınlarda veri ve analiz kodlarının paylaşılması zorunlu olmalı mı, yoksa mahremiyet ve fikrî mülkiyet gibi nedenlerle istisnalar korunmalı mı?
Farklı görüşlerin, somut örneklerin ve eleştirel değerlendirmelerin bu konuyu daha iyi anlamamıza katkı sağlayacağını düşünüyorum. Sizce güvenilir bilim için asıl belirleyici olan, aynı sonucu tekrar elde etmek mi, yoksa o sonucun hangi koşullarda geçerli olduğunu ortaya koymak mı?
Kaynakça
1. National Academies of Sciences, Engineering, and Medicine (2019). Reproducibility and Replicability in Science. The National Academies Press. https://doi.org/10.17226/25303
2. Hyde, J. S. (2014). Gender Similarities and Differences. Annual Review of Psychology, 65, 373–398. https://doi.org/10.1146/annurev-psych-010213-115057
3. Zell, E., Krizan, Z. ve Teeter, S. R. (2015). Evaluating Gender Similarities and Differences Using Metasynthesis. American Psychologist, 70(1), 10–20. https://doi.org/10.1037/a0038208
4. Center for Open Science. Açık bilim, ön kayıt ve araştırma şeffaflığı kaynakları. https://www.cos.io/
Replikasyonun önündeki engeller yalnızca laboratuvar koşulları veya araştırmacıların teknik becerileriyle sınırlı değildir. Bilimsel yayın sistemi, finansman, veri paylaşımına ilişkin kısıtlamalar ve araştırmacılar üzerindeki zaman baskısı da süreci etkileyebilir.
6.1. Yöntemlerin eksik raporlanması
Bir makalede kullanılan yöntemler yeterince açıklanmadığında, başka bir araştırmacının hangi işlemleri tekrarlaması gerektiğini anlaması zorlaşır. Özellikle karmaşık istatistiksel analizlerde yalnızca sonuç tablolarını paylaşmak yeterli değildir. Veri işleme adımları, yazılım sürümleri, analiz kodları ve değişkenlerin tanımları da önem taşıyabilir.
National Academies'in 2019 raporu, hesaplamaya dayalı sonuçların yeniden elde edilebilmesi için veri, yöntem ve hesaplama ortamı bilgilerinin açık ve eksiksiz sunulmasını önerir. Ayrıca ölçümlerdeki belirsizliklerin ve analiz kararlarının açıklanması gerektiğini vurgular. Raporun araştırmacılara yönelik önerileri.
6.2. Yalnızca olumlu sonuçların öne çıkarılması
Beklenmedik ve dikkat çekici sonuçlar daha fazla ilgi görebilir. Buna karşılık bir hipotezi desteklemeyen araştırmaların yayımlanması daha zor olduğunda bilimsel literatür, gerçekte olduğundan daha tutarlı bir görüntü verebilir.
Bu sorunu azaltmak için araştırma sorularının ve analiz planlarının veri incelenmeden önce kaydedilmesi, yani ön kayıt (preregistration) uygulanması yararlı olabilir. Ön kayıt, araştırmacının sonradan yaptığı bütün keşifleri geçersiz kılmaz; ancak başlangıçta planlanan analizlerle sonradan geliştirilen analizlerin birbirinden ayrılmasını sağlar.
Center for Open Science, araştırma planlarının, verilerin, materyallerin ve kodların ilişkilendirilebildiği açık bilim uygulamalarını desteklemektedir. Center for Open Science.
6.3. Kaynak ve erişim eşitsizlikleri
Her araştırma grubu aynı laboratuvar altyapısına, finansmana, personele veya veri erişimine sahip değildir. Bu nedenle replikasyonun başarısızlığı her zaman yöntemin kusurlu olduğu anlamına gelmez. Bazen araştırmacıların aynı yöntemi uygulayabilmesi için gerekli koşullar sağlanmamıştır.
Örneğin, pahalı bir görüntüleme cihazı gerektiren bir çalışmanın başka bir kurumda tekrarlanması mümkün olmayabilir. Benzer biçimde, kişisel sağlık verilerinin paylaşılması etik ve hukuki nedenlerle sınırlandırılabilir. Bu durumlarda alternatif cihazlarla doğrulama, kontrollü veri erişimi, anonimleştirilmiş veri kümeleri veya ayrıntılı analiz kodları kullanılabilir.
Burada önemli olan, her şeyi sınırsız biçimde paylaşmak değil, bilimsel doğrulamayı mümkün olduğunca kolaylaştırırken gizliliği ve güvenliği korumaktır.
7. Replikasyonun Başarısını Nasıl Ölçmeliyiz?
Bir çalışmanın başarılı biçimde tekrarlanıp tekrarlanmadığını yalnızca iki araştırmanın sonuçlarının birebir aynı olup olmadığına bakarak belirlemek yanıltıcı olabilir. Özellikle insan davranışlarını inceleyen araştırmalarda küçük farklılıklar beklenebilir.
Bunun yerine birkaç ölçüt birlikte değerlendirilmelidir:
- Etki büyüklüğü: İki araştırmada gözlenen etkinin büyüklüğü ne kadar benzer?
- Belirsizlik: Güven aralıkları ve ölçüm hataları sonuçları nasıl etkiliyor?
- Yöntemsel uygunluk: İkinci araştırma, ilk çalışmanın temel varsayımlarını ve kritik koşullarını koruyor mu?
- Örneklem ve bağlam: Katılımcı grupları arasındaki farklılıklar sonucu açıklayabilir mi?
- Bağımsız doğrulama: Benzer sonuçlar farklı ekipler ve koşullar altında da gözleniyor mu?
Örneğin, ilk araştırmada bir eğitim programının etkisi beş puan, ikinci araştırmada dört puan olarak ölçülmüşse bu sonuçlar otomatik olarak çelişkili değildir. Örneklem büyüklükleri ve belirsizlik aralıkları incelenmelidir. Buna karşılık ilk araştırmada güçlü bir olumlu etki bulunurken ikinci araştırmada yeterli istatistiksel güce sahip bir çalışma, anlamlı bir etki olmadığını ve ilk sonuçla uyumsuzluğu gösteriyorsa daha ayrıntılı inceleme gerekebilir.
Ayrıca istatistiksel anlamlılık ile pratik önem birbirinden ayrılmalıdır. Çok büyük bir örneklemde küçük bir fark istatistiksel olarak anlamlı olabilir; ancak bu fark gerçek yaşamda önemsiz kalabilir. Tersine, küçük bir örneklemde gözlenen anlamlı olmayan bir fark da önemli bir etkinin bulunmadığını tek başına kanıtlamaz.
Bilimsel güven, tek bir araştırmanın kusursuz olmasına değil, farklı kanıtların zaman içinde birikmesine dayanır.
8. Sonuç ve Forum Tartışması: Asıl Önemli Olan Nedir?
Replikasyon için gereken dört temel unsur; uygun fiziksel ve teknik ortam, gerekli materyal ve kaynaklar, açık ve standartlaştırılmış yöntemler, yeterli veri ile güvenilir ölçüm ve doğrulama araçlarıdır. Bunların her biri gereklidir ancak tek başına yeterli değildir. Araştırmanın güvenilirliği, bu unsurların birlikte işlemesine ve belirsizliklerin dürüstçe değerlendirilmesine bağlıdır.
Kadınlar ve erkekler arasındaki bakış açılarını karşılaştırırken de benzer bir ilkeye ihtiyaç vardır. Veriye odaklanmak ile toplumsal etkileri anlamaya çalışmak birbirinin zıddı değildir. İyi bir bilimsel yaklaşım, hem ölçülebilir sonuçları hem de sonuçların ortaya çıktığı koşulları inceler. Bireysel farklılıkları cinsiyet kalıplarına indirgemek yerine, araştırmacıların farklı deneyimlerinden ve uzmanlıklarından yararlanmak daha üretken bir yol sunar.
Bilimsel nesnellik, insan deneyimini görmezden gelmek değil; onu da uygun kanıtlarla incelemek, varsayımları sorgulamak ve sonuçları eleştiriye açık tutmaktır.
Şimdi forumdaki tartışmayı şu sorularla sürdürelim:
1. Sizce replikasyonda en kritik unsur hangisi: uygun ortam, doğru materyaller, açık yöntemler veya güvenilir veri?
2. Bir araştırmanın ilk sonuçları bağımsız bir ekip tarafından doğrulanamadığında, bunun yöntem hatasından mı yoksa koşulların farklılığından mı kaynaklandığını nasıl ayırt edebiliriz?
3. Sizce nicel veriler ile katılımcı deneyimlerini birlikte incelemek, araştırmanın güvenilirliğini artırır mı? Hangi durumlarda?
4. Erkeklerin daha veri odaklı, kadınların ise daha toplumsal etki odaklı olduğu iddiasını destekleyen veya çürüten kişisel ya da mesleki deneyimleriniz var mı? Bu tür farklılıkların cinsiyetten ziyade eğitim, meslek veya çalışma ortamıyla açıklanabileceğini düşünüyor musunuz?
5. Bilimsel yayınlarda veri ve analiz kodlarının paylaşılması zorunlu olmalı mı, yoksa mahremiyet ve fikrî mülkiyet gibi nedenlerle istisnalar korunmalı mı?
Farklı görüşlerin, somut örneklerin ve eleştirel değerlendirmelerin bu konuyu daha iyi anlamamıza katkı sağlayacağını düşünüyorum. Sizce güvenilir bilim için asıl belirleyici olan, aynı sonucu tekrar elde etmek mi, yoksa o sonucun hangi koşullarda geçerli olduğunu ortaya koymak mı?
Kaynakça
1. National Academies of Sciences, Engineering, and Medicine (2019). Reproducibility and Replicability in Science. The National Academies Press. https://doi.org/10.17226/25303
2. Hyde, J. S. (2014). Gender Similarities and Differences. Annual Review of Psychology, 65, 373–398. https://doi.org/10.1146/annurev-psych-010213-115057
3. Zell, E., Krizan, Z. ve Teeter, S. R. (2015). Evaluating Gender Similarities and Differences Using Metasynthesis. American Psychologist, 70(1), 10–20. https://doi.org/10.1037/a0038208
4. Center for Open Science. Açık bilim, ön kayıt ve araştırma şeffaflığı kaynakları. https://www.cos.io/