TEST VE MADDE ANALİZLERİ

Transkript

1 TEST VE MADDE ANALİZLERİ

2 Madde güçlüğü Madde ayırt ediciliği Madde varyansı ve madde standart sapması Madde güvenirliği Çeldiricilerin işlerliği

3 Test Analizleri Merkezi Eğilim(Yığılma Ölçüleri) Merkezi Dağılım(Değişim Ölçüleri) Tepe değer (Mod) Ortanca (Medyan) Aritmetik ortalama Dizi genişliği (Ranj) Standart sapma ve varyans Çeyrek sapma Sola çarpık (Negatif) dağılım Sağa çarpık (Pozitif ) dağılım

4 Test ve Madde Analizlerinin Amacı Test ve maddelerin geçerliğini denetlemek, test ve maddelerin amaca uygunluğunu belirlemek Test ve maddelerin güvenirliğini denetlemek Test ve maddelerin güçlük derecesini belirlemek Test ve maddelerin kalitesini belirlemek, test ve maddelerin ayırıcılık gücünü belirlemek Çeldiricilerin iyi çalışıp çalışmadığını belirlemek

5 Test ve Madde Analizlerinin Amacı Madde analizi ile şu dört soruya cevap aranır. 1. Test maddesinin güçlük derecesi amaca uygun mudur? 2. Çeldiriciler beklenene yakın bir şekilde dağılmış mıdır? 3. Test maddeleri ölçülmek istenen özellikleri ne derece tutarlı ölçmektedir? 4. Test maddesi öğrenen ile öğrenemeyeni birbirinden ayırabilmekte midir? Test istatistikleri: öğrenci ve grubun başarıları, öğrenme düzeyleri ve uygulanan testin sonucunda elde edilen verilere göre sınavın zorluğu, kolaylığı, test puanlarına göre grup dağılımının çarpıklığı gibi alanlarda kıyaslamalar ve yorumlar yapılır..

6 Madde Analizi Bir gruba uygulanan testin maddeleri ve seçenekleri üzerinde yapılan çalışmaya denir. Testteki sorulara verilen cevapların analizi ile bu soruların(maddelerin)güçlük düzeylerinin istenilen düzeyde olup olmadığı ve ayırt edicilik düzeylerinin yeterli olup olmadığı, çeldiricilerin, beklenene yakın biçimde hazırlanıp hazırlanmadığı belirlenir. Zor,orta ve kolay

7 KPSS 2014 Aşağıdaki sorulardan hangisi madde analizi ile elde edilecek bilgilerden yararlanılarak cevaplanamaz? A. Testin zorluk derecesi amaca uygun mudur? B. Testteki sorularda yoklanan davranışlar, kazandırılması amaçlanan davranışlarla aynı mıdır? C. Testteki maddelerin çeldiricileri beklenene yakın biçimde çalışıyor mu? D. Test, ölçülmek istenen nitelikleri ne derece bir tutarlılıkla ölçmektedir? E. Test çok öğrenmiş ve az öğrenmiş olan öğrencileri birbirinden ayırabiliyor mu?

8 Madde Güçlük İndeksi - P i Bir maddeyi doğru cevaplama yüzdesi veya oranı olarak da tanımlanabilir. Maddenin doğru yapılma yüzdesidir. Maddenin kolaylığını ya da zorluğunu gösterir. Maddeyi doğru cevaplayan öğrencilerin oranını Madde güçlük indeksi 0,00 ile 1,00 arasında değer 0,00 a yaklaştıkça madde zor, 1,00 a yaklaştıkça madde kolay, 0,40 ile 0,60 arasında ise madde güçlüğü orta düzeydedir. 0,50 orta 0,00 1,00 kolay zor

9 Madde Güçlük İndeksi - P i Madde güçlük indeksi arttıkça (+1,00 a yaklaştıkça)soruyu bilen öğrenci sayısı artar, dolayısıyla soru kolaylaşır. Madde güçlük indeksi azaldıkça (0,00 a yaklaştıkça)soruyu bilen öğrenci sayısı azalır, dolayısıyla soru zorlaşır. Soruların orta güçlükte (0,50) olması istenilen bir düzeydir ve testin güvenirliğini artırır. Madde Güçlük İndeksi (P i ) 0,00 ile 0,39 Zor 0,40 ile 0,60 Orta 0,61 ile 1,00 Kolay

10 Madde güçlük indeksini hesaplama Bir test maddesine doğru cevap verenlerin,tüm cevaplayıcılara bölünmesi ile elde edilir. Formülü P i n(d) N Madde Güçlük İndeksi P i = n(d)/n Madde güçlük indeksi Maddeyi doğru cevaplayanlarının sayısı Tüm cevaplayıcıların sayısı Toplam 50 öğrencinin katıldığı bir sınavda 30 kişinin doğru cevapladığı bir maddenin madde güçlük indeksi 30/50= 0,60 olarak bulunur. Sonuç olarak, bu maddeyi sınava katılanların %60 nın doğru cevapladığı;%40 nın da yanlış cevapladığı ve sorunun orta güçlükte olduğu şeklinde yorumlanır.

11 Madde güçlük indeksini hesaplama %27 lik Alt-üst grup yöntemiyle madde güçlük indeksinin hesaplanması: Öncelikli olarak puanlar sıraya dizilir ve en başarılı %27 lik grup üst grup; en başarısız %27 lik grup da alt grup olarak belirlenir. Maddeye verilen cevap doğru ise 1 yanlış veya boş ise 0 puan verilerek ham puan hesaplanır. Aşağıdaki şekliyle tabloya aktarılır.

12 Madde Ayırıcılığı İndeksini Hesaplama %27 lik Alt Üst Grup Yöntemi ile Madde Ayırıcılık İndeksi Hesaplama R jx = n(dü) n(da) / N n(dü) Maddeyi doğru cevaplayanlardan üst gruptakilerin sayısı n(da) Maddeyi doğru cevaplayanlardan alt gruptakilerin sayısı N Alt ya da üst gruptaki herhangi birisindeki birey sayısı

13 Madde Ayırıcılık İndeksi (Rjx) Bir maddenin bilenle bilmeyeni birbirinden ayırma gücüdür. Madde ile ölçülmesi amaçlanan özelliğe sahip olan ve olamayanlar birbirinden ayırabilme gücüdür. 0,00 (yok) -1,00 (negatif) +1,00 (pozitif)

14 Ayırt Edicilik Madde Ayırıcılık İndeksi (R jx ) Sorunun Kalitesi 0,40 ve üzeri Çok iyi, kaliteli bir sorudur. 0,30 0,39 İyi bir madde, ama yine de geliştirilebilir. 0,20 0,29 Orta düzeyde bir madde, geliştirilmeli, düzeltilmelidir. 0,10 0,19 Ayırıcılığı zayıf bir maddedir. Testte bu tip maddelerin bulunması teste olumlu bir etkisi olmaz. Ancak testten çıkarılması kapsam geçerliğini düşürebilir. Bu nedenle düzeltilmeli, geliştirilmelidir. Düzeltilemiyorsa testten çıkarılabilir. Madde bu haliyle bilenle bilmeyeni iyi bir şekilde ayıramaz. Negatif değer Çok kötü bir maddedir. Düzeltilerek geliştirilemiyorsa kesinlikle testten alınmalıdır.

15 Madde Ayırıcılık İndeksi Madde ayırt ediciliği maddenin geçerliği olarak da yorumlanır. Maddenin kalitesi hakkında bilgi verir ve sınavda ölçülecek davranışa sahip olan ve olmayanları birbirinden ayırma derecelerini gösterir. Madde ayırt ediciliği yüksek maddeler bir testin güvenirliğini ve geçerliğini artırır. Alt ve üst grupta maddeyi doğru cevaplayanların sayıları arasındaki fart arttığı oranda (üst grup lehine), maddenin ayırıcılığı artar. Farkın kapanması ise ayırt ediciliğini düşürür.

16 Madde Ayırıcılık İndeksi Bir maddenin ayırt edicilik indeksinin negatif değerde çıkması için alt gruptaki doğru cevaplayıcıların sayısının üst gruptakilerden daha fazla olması gerekir. Böyle bir durumda sınıfın üst gruptaki öğrencilerinin alt gruptaki öğrencilerden daha zayıf olduğu, bu maddeyle ilişkili konuyu bilmedikleri gibi bir yorum çıkar ki, bu da mantıksız olur. Bu nedenle bu soru çok kötü bir soru olup testten çıkarılması gerekir. Ya da bu sorunun cevabı yanlış da verilmiş olabilme ihtimali de göz ardı edilmemelidir.

17 Çeldiriciler Doğru cevap seçeneği dışındaki seçeneklere çeldirici denir. Üst grupta doğru cevaba giden öğrenci sayısı alt grupta doğru cevaba giden öğrenci sayısından fazla olmalıdır. Üst grupta çeldiricilere giden öğrenci sayısı alt grupta çeldiricilere giden öğrenci sayısından az olmalıdır. Çeldiricilere giden öğrenci sayısı dengeli olmalıdır. Hiçbir öğrenci tarafından işaretlenmeyen çeldiriciler yeniden düzenlenmelidir.

18 İyi bir test maddesinin sahip olması gereken özellikler Kaliteli bir sorunun güçlük indeksi 0,50 civarında, ayırt edicilik indeksi ise 0,40 ın üzerinde olması Madde güvenirlik katsayısının 0,50 ye yakın olması Kaliteli bir soruda doğru cevabın üst grupta daha çok öğrenci tarafından cevaplandırılmış olması Yanlış cevabın(çeldiricilerin) alt grupta daha çok öğrenci tarafından cevaplandırılmış olması beklenir. Yanlış cevabın (çeldiricilerin) tüm seçeneklerde birbirine yakın oranda cevaplandırılmış olması

19 Madde Varyansı ve Standart Sapma Bir maddenin varyansı; o maddeyi doğru cevaplayanların oranıyla,doğru cevaplamayanların oranının çarpımıdır. Bir maddenin standart sapması; o maddenin varyansının karekökü ile belirtilmesidir. Bir maddenin standart sapması ve varyansı, maddenin ve testin güvenirliğinin hesaplanmasında kullanılır. Uygulamada değişkenlik ölçüsü olarak genellikle standart sapma kullanılır.

20 Madde Varyansı ve Standart Sapma Madde varyansı (S s ) 2 = P i. q i P i Madde güçlüğü, yani maddeyi doğru cevaplama yüzdesi q i ( 1 Pi ), yani maddeyi yanlış cevaplama yüzdesi Standart Sapma = Madde Varyansı

21 Madde Varyansı ve Standart Sapma Varyans ve standart sapma, bir dağılımdaki bireyler arasındaki farklılıkları gösteren bir istatistiktir. Maddenin varyansı ve standart sapması büyüdükçe farklılıklar artar, varyans küçüldükçe farklılıklar azalır. Madde varyansı 0,00 ile 0,25 arasındaki değerleri Maddenin standart sapması 0,00 ile 0,50 arasındaki değerleri İyi bir test maddenin varyansının 0,25 e, standart sapmasının 0,50 ye yakın olması istenir. Varyansı ve standart sapması iyi bir maddenin güçlüğü orta düzeyde yani 0,50 civarında olması

22 Madde Varyansı ve Madde Güçlüğü (S s ) 2 = P i. q i Varyans q i = ( 1 Pi ), Madde güçlüğü

23 Madde Güvenirlik İndeksi Madde ayırt edicilik gücü ile maddenin standart sapmasının çarpımıdır. Test maddesinin güvenirlik indeksi 0,50 ile 0,50 arasındaki değerleri alır. Madde Güvenirlik İndeksi r i = Rjx. Ss Rjx Ss Maddenin ayırt edicilik indeksi Maddenin standart sapması

24 Maddenin Güvenirlik İndeksi Madde ayırıcılık gücü ve madde standart sapması büyüdükçe, madde güvenirlik katsayısı da artar. Test maddelerinin güvenirliği arttıkça testin bütünün de güvenirliği artar. Bu nedenle güvenilir bir test oluşturmak içinayırıcılığı ve standart sapması büyük maddelerin seçilmesi gerekir. ÖRNEK Standart sapması ve ayırıcılık gücü indeksi 0,50 olan bir maddenin güvenirlik indeksi nedir? r = 0,50 x 0,50 = 0,25

25 DİZİ GENİŞLİĞİ Dizi genişliği, bir testten öğrencilerin aldıkları en yüksek ve en düşük puanlar arasındaki farktır. Örnek test puanlarımıza baktığımızda, en yüksek puan 10, en düşük puan ise 4 tür. Bu iki puan arasındaki fark 6 dır. Bu değere dizi genişliği adı verilir. Dizi genişliği küçükse, yapılacak ilk yorum testin güvenirliğinin ve ayırıcılık gücünün düşük olduğu yönündedir.

26 ORTANCA (MEDYAN) Ortanca, sıralanmış puanların yarısını üstte, yarısını altta kalacak biçimde ikiye bölen noktadır. Ortanca, puanların dağılımı hakkında ön bir fikir elde etmek için kullanılan bir ölçüdür. ÖRNEK; Türkçe dersinin sınavından öğrencilerin aldığı puanlar; 25, 14, 32, 46, 22, 61, 78, 52, 56 puandır. Sıralı olmayan bu puan dağılımı önce küçükten büyüğe doğru sıralanır; 14, 22, 25, 32, 46, 52, 56, 61, 78. Daha sonra bu sıralı puan dağılımında tam ortada yer alan değerin (medyan) 46 olduğu bulunabilir.

27 Testin Çarpıklık Değeri Dağılımın çarpıklık ölçüsü: Bir testten elde edilen puanların dağılımı normal dağılıma yaklaştıkça iyidir diye bilinir. Ancak istenen puan dağılımı, testin kullanılış maksadına bağlıdır. Çarpıklık değeri = 3X (Aritmetik ortalam - ortanca)/standartsapma Bu formülün uygulanması sonunda elde edilen değerlere göre testin güçlüğüne ilişkin olarak şunlar söylenebilir. Çarpıklık Negatif Pozitif Grup için testin güçlüğü Kolay Zor 0,10 dan küçük Hafif zor 0,10 0,25 arası Orta güçlükte 0,25 den büyük Çok zor

28 Çarpıklık Dağılım Grafikleri A) Sola çarpık dağılım: Aritmetik ortalamanın ortancadan, ortancanın mod dan küçük olduğu dağılım sola çarpık, negatif kayışlı dağılımdır. Grubun başarısı yüksektir. Test kolaydır, öğretim yeterlidir gibi yorumlar yapılır. Mod > Medyan > Aritmetik ortalama = Sola çarpık, kolay, negatif, öğrenciler başarılı B) Sağa çarpık dağılım: Aritmetik ortalamanın ortancadan, ortancanın mod dan büyük olduğu dağılım sağa çarpık, pozitif kayışlı dağılımdır. Grubun başarısı düşüktür. Test zordur, öğretim yetersizdir, öğrenciler hedef davranışları kazanmamıştır yorumları yapılır. Mod < Medyan < Aritmetik ortalama = Sağa çarpık, pozitif, kolay, öğrenciler başarılı C) Normal dağılım (Simetrik): Aritmetik ortalama, ortanca ve mod un birbirine eşit olduğu, (mod un tek olduğu) dağılımdır. Puanların yarısı eksenin sağında, yarısı solundadır. Mod = Medyan = Aritmetik ortalama : Normal dağılım, simetrik, orta güçlükte

29 REFERANSLAR Eğitimde Ölçme ve Değerlendirme Doç. Dr. Halil TEKİN (syf ) Ölçme ve Değerlendirme Editör: Can KÖNİ (syf ) Ölçme ve Değerlendirme Dr. Sevim Aşiroğlu (Web sitesi ders notları madde analizi) KPSS Eğitim Bilimleri Pratik Notları 2015 (Pegem Yayınevi)

30 Özlem ŞİMŞEK Şule YAĞIN CEYHUN