Araştırmalar, otomatik puanlamanın, bir kişinin İngilizceustalığını değerlendirirken insan denetçilerden daha güvenilir ve objektif sonuçlar verebileceğini göstermiştir. Bunun nedeni, otomatik bir puanlama sisteminin, sınava giren kişinin görünümü veya beden dili gibi alakasız faktörlerden etkilenebilen insanlardan farklı olarak tarafsız olmasıdır. Ek olarak, otomatik puanlama, daha aşina oldukları aksanları tercih edebilecek insan sınav görevlilerinin aksine, bölgesel aksanları eşit şekilde ele alır. Otomatik puanlama aynı zamanda sözlü veya yazılı bir test sorusu yanıtının bireysel özelliklerinin birbirinden bağımsız olarak analiz edilmesine olanak tanır, böylece dilin bir alanındaki zayıflık diğer alanların puanlamasını etkilemez.
, daha doğru, objektif, güvenli ve ilgili bir İngilizcetesti talebine yanıt olarak oluşturulmuştur. Otomatik puanlama sistemimiz, sınavın merkezi bir özelliğidir ve sınava giren kişi kim olursa olsun veya sınava nerede girilirse girilsin doğru, objektif ve ilgili sonuçların sunulmasını sağlamak için hayati önem taşır.
Doğruluğu sağlamak için puanlama sisteminin geliştirilmesi ve doğrulanması
PTE Academic'in otomatik puanlama sistemi, kapsamlı araştırma ve saha testlerinden sonra geliştirilmiştir. Bir prototip test geliştirildi ve 158 farklı ülkeden 126 farklı ana dil konuşan 10.000'den fazla test katılımcısından oluşan bir örneğe uygulandı. Bu veriler toplandı ve hem yazılı hem de sözlü PTE Academic öğeleri için otomatik puanlama motorlarını eğitmek için kullanıldı.
Bunu yapmak için, birden fazla eğitimli insan işaretleyici her cevabı değerlendirir. Bu sonuçlar, Google Arama veya Apple'ın Siri'si gibi sistemler tarafından kullanılanlara benzer şekilde makine öğrenimi algoritmaları için eğitim materyali olarak kullanılır. Model, her yanıtın alması gereken puanlarla ilgili ilk tahminlerde bulunur, daha sonra nasıl olduğunu iyi görmek için gerçek puanlara başvurur, kendini birkaç yönde ayarlar, ardından eğitim setini tekrar tekrar gözden geçirir, maksimum doğru bir çözüme ulaşana kadar ayarlar ve geliştirir - ideal olarak insan derecelendirme kümesini tahmin etmeye çok yaklaşan bir çözüm.
Bu model, eğitildikten ve yüksek düzeyde performans gösterdikten sonra, tıpkı insan işaretleyicilerin yapacağı gibi yeni yanıtlar alabilen bir işaretleme algoritması olarak kullanılır. Bu sistem tarafından verilen puanlar ile eğitilmiş insan belirteçleri arasındaki korelasyonlar oldukça yüksektir. ɫèAV'ın sistemi ile bir insan değerlendirici arasındaki standart ölçüm hatası, bir insan değerlendirici ile diğeri arasındaki hatadan daha azdır - başka bir deyişle, makine puanları bir çift insan puanlayıcı tarafından verilenlerden daha doğrudur, çünkü önyargı ve güvenilmezliğin çoğu onlardan sıkılmıştır. Genel olarak, bir makine puanlama sistemini, insan derecelendirmelerinden en iyi şeyleri alan ve ardından idealize edilmiş bir insan işaretleyici gibi davranan bir sistem olarak düşünebilirsiniz.
ɫèAV, makine puanlarının yetenekli insan puanlayıcılar tarafından verilen puanlarla tutarlı bir şekilde karşılaştırılabilir olmasını sağlamak için puanlama doğrulama çalışmaları yürütür. Burada, yeni bir dizi test alıcısı yanıtı (makine tarafından asla görülmez) hem insan puanlayıcılar hem de otomatik puanlama sistemi tarafından puanlanır. Araştırmalar, PTE Academic altında yatan otomatik puanlama teknolojisinin, dikkatli insan uzmanlardan elde edilenlerle karşılaştırılabilir puanlar ürettiğini göstermiştir. Bu, otomatik sistemin, test katılımcılarının dil becerilerini değerlendirirken bir insan değerlendirici gibi "hareket ettiği", ancak bunu bir makinenin hassasiyeti, tutarlılığı ve nesnelliği ile yaptığı anlamına gelir.
ɫèAV'ın Ordinate teknolojisi ile konuşma yanıtlarını puanlama
PTE Academic konuşulan kısmı, ɫèAV'ın Ordinate teknolojisi kullanılarak otomatik olarak puanlanır. Ordinat teknolojisi, konuşma tanıma, istatistiksel modelleme, dilbilim ve test teorisi alanlarında yıllarca süren araştırmalardan kaynaklanmaktadır. Teknoloji, akıcı ve ikinci dil konuşan İngilizce konuşmacılardan gelen konuşmaları analiz etmek ve otomatik olarak puanlamak için özel olarak tasarlanmış tescilli bir konuşma işleme sistemi kullanır. Ordinate puanlama sistemi, sınava girenlerin sözlü yanıtlarından sadece hız, zamanlama ve ritim gibi kelimelerin yanı sıra seslerinin gücü, vurgusu, tonlaması ve telaffuz doğruluğu gibi yüzlerce bilgi toplar. Biraz yanlış telaffuz edilen kelimeleri bile tanımak için eğitilmiştir ve yanıtın içeriğini, alaka düzeyini ve tutarlılığını hızlı bir şekilde değerlendirir. Özellikle, sözlü yanıtın anlamı değerlendirilir ve bu modellerin söylenenlerin yüksek bir puanı hak edip etmediğini değerlendirmesini mümkün kılar.
Intelligent Essay Assessor™ (IEA) ile yazma yanıtlarını puanlama
PTE Academic yazılı kısmı, ɫèAV'ın son teknoloji Bilgi Analizi Teknolojileri™ (KAT) motoru tarafından desteklenen otomatik bir puanlama aracı olan Intelligent Essay Assessor™ (IEA) kullanılarak puanlanır. 20 yılı aşkın araştırma ve geliştirmeye dayanan KAT motoru, bir öğrenci tarafından belirli bir komut istemine yanıt olarak yazılan bir makale gibi metnin anlamını otomatik olarak değerlendirir. KAT motoru, Gizli Anlamsal Analiz (LSA) olarak bilinen matematiksel yaklaşımın tescilli bir uygulamasını kullanarak yazmayı yetenekli insan puanlayıcılar kadar doğru bir şekilde değerlendirir. LSA, ilgili metnin büyük gövdelerini ve anlamlarını analiz ederek dilin anlamını değerlendirir. Bu nedenle, LSA kullanarak, KAT motoru metnin anlamını bir insan gibi anlayabilir.
PTE Academic İngilizce hangi yönlerini değerlendiriyor?
