Analiz Sonuçlarına Göre Test Geliştirme

Bir test hazırlanarak denenmiş ve test puanları analiz edilmişse bu testle ilgili aritmetik ortalama, standart sapma ve bu istatistiklerin dayandığı bağımsız gözlem (kişi) sayısı bilinmektedir. Ayrıca, denenen biçimiyle testin güvenirlik ve geçerlik tahminleri elde edilmiştir. Testin madde puanları analizleri de yapılmışsa, tüm maddelerin kolaylık ve ayırıcılık göstergeleri ile bu maddelerdeki çeldiricilerin işlerlikleri de belirlenmiştir. Bu bilgilere dayanarak, (1) denenen testin belli amaçlarla kullanılabilecek derecede nitelikli bir test ise, daha üstün nitelikli bir hale getirilip getirilemeyeceği ve (3) belli amaçlarla kullanılabilecek derecede nitelikli bir test değilse, nasıl geliştirilebileceği ortaya konabilir.

50 maddeden oluşan bir sosyal bilgiler testinin ele alındığı bir örnekte 185 kişilik örneklemden elde edilen aritmetik ortalama 27,4; standart sapma 6,44’tür. Bu durumda, test puanlarındaki bağıl değişkenlik 6,44 + 27,4 = 0,235 yani yüzde 23,5’tir. Bu derecedeki bir değişkenlik iyi sayılabilir. Çünkü normal dağılım gösteren bir niteliğin güvenirlik ve geçerliği yüksek bir ölçme aracıyla ölçülmesi halinde, değişkenliğin bu düzeyde olması beklenir. Sonuç olarak, hangi oranlarla, nereden geçmekte olduğu henüz belirlenmemiş olmakla birlikte, test puanlarında yeterli derecede değişkenlik olduğu anlaşılmaktadır.

Test puanları aritmetik ortalamasının tam puana (testteki soru sayısına) oranı, 37,4 + 50 = 0,548’dir. Bu da, testteki maddelerin ortalama kolaylığının 0,55 dolayında olduğunu göstermektedir. Yani bu test, tümüyle ele alındığında ne çok kolay ne de çok zor gelmiştir. Sonuç olarak, test puanlarında yeterli sayılabilecek derecede değişkenlik vardır. Zaten, aşırı derecede kolaylık ya da aksine aşırı derecede zorluk gibi bu değişkenliği sınırlayabilecek bir durum da söz konusu değildir.

Test puanlarındaki değişkenliği belli bir düzeyde tutarak güvenirlik ve geçerliği yükseltmek için neler yapılabilir? Başka bir deyişle, test puanları değişkenliğindeki kararlı kısım ve özellikle, ölçülmek istenen özelliklerdeki farklardan gelen pay nasıl artırılabilir? Bu amaçla, gerçek öğrenme düzeylerine uymayacak ölçüde kolay görünen maddeler, yokladıkları davranışlar değiştirilmeden kolaylaştırılmalıdır. Madde güçlüklerinin, gerçek öğrenme düzeyiyle uyumlu olması öğretimin, 0,50 dolayında olması da ölçmenin getirdiği birer koşuldur. Madde güçlüğü, 0,50 dolayında olursa, böyle maddelerden oluşan testin vereceği puanlarındaki değişkenlik artar. Onun için ölçmede daha çok böyle maddelerden yararlanılması önerilir. Ancak, madde güçlüklerinin, bu maddelerin yokladıkları davranışların öğrenilme dereceleriyle uyumlu olması da beklenir. Bu da bir geçerlik koşuludur. Bir davranış adayların büyük bir çoğunluğu tarafından, istenen yetkinlikle öğrenilmişse, böyle bir maddenin kolay görünmesi, yani güçlüğünün az olması doğaldır. Öte yandan, bir maddenin yokladığı davranış adayların sadece çok az bir kısmı tarafından, istenen yetkinlikle öğrenebilmişse bu durumda da kolaylığın az, güçlüğün fazla olması doğaldır.

Hem madde geliştirme hem de madde seçmede amacın, yoklanan davranışı değiştirmeden, (a) madde güçlüğünün belli düzeylere (0,50 de merkezlenmek üzere genellikle 0,20 ile 0,80 arasına) getirmek ve (b) ayırıcılığı, doğru yönde (pozitif) olma koşulu ile olabildiğince artırmaktır.

Madde geliştirme sırasında, yoklanan davranışı değiştirmeden madde güçlüğünü azaltmak için değişik yollar izlenebilir. Maddedeki çeldiricilerin, anlam bakımından doğru cevaptan uzaklaştırılması bunun bir yoludur. Çeldiriciler anlam bakımından doğru cevaptan uzaklaştırıldıkça, doğru cevabın bulunması kolaylaşır, madde güçlüğü azalır. Bu bir bakıma, yoklanan davranışta aranan yetkinliğinin düşürülmesi, daha az yetkinlikteki bir davranışın da puan kazandırabilmesi, yani daha düşük bir öğrenme düzeyinin de kabul edilmesi demektir.

Yoklanan davranışı değiştirmeden madde güçlüğünü artırma, yani maddeyi güçleştirme amacıyla, çeldiriciler anlam bakımından doğru cevaba yaklaştırılabilir. Yersiz ve karıştırıcı olmama koşulu işle doğru cevabın doğruluğunu belirleyici ek koşullar, ölçütler ve daha başka sınırlamalar getirilebilir. Bu durumlarda, maddeyle yoklanan davranışta aranan yetkinliğin artmakta olacağı açıktır. Böyle maddeler, yoklanan davranışı daha yüksek düzeylerde öğrenmiş olanlar tarafından doğru olarak cevaplanabilir.

Denenmiş maddeler arasından bir testte yer alacak olanları seçme sırasında neler yapılır? Madde seçiminde, ilk denemede iyi bulunan maddelerin ilk madde analizi, geliştirilerek yeniden denenen maddelerin de bu ikinci madde analizi ile elde edilen sonuçlardan yararlanılır. Aslında bu sırada yapılan iş, yoklanacak davranışları yoklamakta olan en ayırıcı ve uygun güçlükle maddelerin seçilmesidir. Böylelikle yoklanacak davranışların tümü, yeter sayıda madde ile testte kapsanmış olacaktır.

Güçlük ve ayırıcılık yönlerinden madde seçilirken, yoklanan davranışla ilgili gereğin karşılanması koşulu ile kolaylığın, 0,50 dolaylarında toplanmak üzere 0,20 ile 0,80 arasında, ayırıcılığının da olumlu yönde ve olanaklar ölçüsünde yüksek (özellikle 0,20’nin üzerinde, tercihen 0,30 veya daha yüksek) olmasına çalışılır. Bu amaçla, eldeki denenmiş maddelerin madde puanı analizi sonuçları bir tabloya işlenebilir (Özçelik, Ölçme ve Değerlendirme, 2016, s. 211-218).