Yapay Zekâ ChatGPT’ye ÖSYM Seçimi Imtihan Soruları Hazırlattık!
Günümüzde yapay zekâ uygulamaları bir tek rahat görevlerde değil, karmaşık düşünme ve çözümleme gerektiren işlerde de bizi şaşırtmaya devam ediyor. Peki ÖSYM için imtihan sorusu hazırlayabilecek kadar güvenilir mi?
Kısa sürede ÖSYM Başkanı, “Imtihan sorularını yapay zekâ oluşturacak.” şeklinde bir izahat yapmıştı. Başkan, insan faktörünün arka plana atılmayacağını belirtmiş olsa da akıllarda pek oldukça soru işareti olacak benzer biçimde görünüyor.
Ikimiz de sizler için günümüzdeki en popüler yapay zekâ aracı olan ChatGPT 4’e ÖSYM seçimi sorular hazırlattık ve cevaplarını istedik. Peşinden da çıkan neticeleri bir öğretmenimize sorduk. Gelin bakalım ne tür sonuçlar çıkmış beraber tartışalım:
Ilk olarak ÖSYM internet adresinden 2021-AYT/Fen Bilimleri sorusunun görselini ChatGPT’ye vererek kendisinden benzer bir soru yapmasını istedik:
Not: ÖSYM, kendi hazırladığı suali hiçbir yerde paylaşmaya izin vermediği için sansürlemek durumundayız.
Peşinden da ChatGPT bizlere şöyleki bir soru hazırladı:
Aslına bakarsak bakıldığında oldukça iyi hazırlanmış benzer biçimde duruyor, öyleki değil mi? Örnek olarak attığımız suali, sansürlediğimiz için bir ihtimal göremediniz fakat neredeyse ona oldukça benzer bir soru hazırladı. Hatta tablosuna kadar dikkat edip örneksiz bir soru oluşturdu. Peki hakikaten görünmüş olduğu kadar iyi mi?
Hazırladığı bu suali detaylı bir halde çözmesini ve peşinden da cevabı istedik:
Özet geçecek olursak: “Birbirini işaret eden Spider-Man” diyebiliriz bundan dolayı kendisi cevabı “20” buldu. Hem de bir değil iki kez çözdü ve gene aynı sonuca ulaştı. İlkinde cevabı bulduktan sonrasında bu cevabın seçeneklerde olmadığını fark etti ve kendi kendine çelişkiye düşüp “Soruda bu seçenek yok, o yüzden çözümde hata olmalı.” dedi ve yeniden çözmeye başladı.
Uzunca bir süre beynini yorduktan sonrasında cevabı tekrardan “20” buldu ve “Soru hatalı yada yazım hatası var.” deyip kendi kendine söz attı. İçimizden “Yahu suali sen hazırladın, iyi mi soru hatalı olabilir?” dedik ve bayağı güldük. İşin gülünç bir tarafı daha var…
Bulmuş olduğu “20” yanıtını teyit etmek amacıyla Kimya Öğretmeni Muzaffer Baz hocamıza ulaştık ve kendisi bizlere şöyleki bir yanıt verince daha da şaşırdık:
“Şimdi probleminin başlangıcında bir kere mantık hatası var. Soru kökünde başlangıç kısmı tam belirgin değil. İlk başta çözelti var mı, yok mu? Yoksa suya 40 g tuz ekleyince mi doygun oluyor? Bunların hiçbiri belirtilmemiş. Ben ilk başta çözeltide tuz varmış benzer biçimde düşünerek suali çözdüm ve netice 1300/85=15,29 çıktı ve tam sayı çıkmadı.”
Yapay zekânın cevabı yanlış bulmasının sebebi muhtemelen hocamızın da söylediği benzer biçimde probleminin hatalı olmasından kaynaklı. Bundan dolayı yukarı çıkıp birazcık okursanız kendisi de varsayım üstünden çözmeye çalışmış ve kafası karışmış. Ek olarak hocamız, yapay zekâ ile soru hazırlanmasına rağmen şöyleki cevaplarda da bulunmuş oldu:
“Soruların yapay zekâ ile değil de insan eliyle oluşturulması gerekiyor bundan dolayı suali çözümleyecek olan şahıs, insan. Bu sebeple daha anlaşılır bir üslupla öğrencilere sorular sorulması gerekiyor. Öğrencinin kafasını karıştırabilecek, ne istediğini muntazam bir şekilde anlatamayan sorular, kaliteli değildir. Ek olarak bu sistemle meydana getirilen bir sınavda güçlük seviyesi de belirlenemeyebilir. Her şeyi hesaba kattığımızda şu anki hâli ile yapay zekânın hiçbir şekilde soru hazırlaması mümkün gözükmüyor. Ha doğal ki ileride insan eliyle bir soru havuzu oluşturulur ve bu soru havuzuyla eğitilen bir yapay zekâ soru oluşturursa daha kapsayıcı, güzel ve yanıltıcı olmayan bir imtihan ortaya çıkar.
Kendisine verdiği cevaplardan dolayı teşekkür ediyoruz.
Bir ihtimal bazılarınız “Siz suali görsel olarak attınız, bir de yazı olarak deneyin.” diyebileceği için bir talih daha verdik ve matematik sorusu hazırlattık:
Başlangıçta matematik sorusu olduğundan ümitliydik fakat netice tahmin ettiğimiz benzer biçimde olmadı. Suali yazıyla yazmamıza ve prompt’unu da değiştirmemize karşın bu sefer oldukça daha fena bir sonuçla karşı karşıya kaldık. Hatta bu sefer netice o denli kötüydü ki hata vermesine bile sebep oldu.
“Oluşturduğun probleminin cevabının şıklarda olmasına itina göster.” dediğimiz için suali oluşturur oluşturmaz çözmeye başladı ve işin içinden çıkamadı.
Netice olarak, yapay zekâ şu an güvenilir bir kaynak olabilecek benzer biçimde durmuyor.
Evet, yapay zekâ günümüzde oldukça popüler ve süre geçtikçe akılalmaz seviyelere illaki ulaşacaktır sadece gelin görün ki bu hâli ile hocalarımızın hazırladığı soruları hazırlayabilecek yeterliliğe haiz değil.
Yapay zekâ, şu an daha 2-3 yaşlarında ve her şeyi yeni yeni öğrenen bir bebek benzer biçimde. Siz ona bir şey verirsiniz, eğitirsiniz ve öğretirsiniz. O da karşılığında size, öğrettiğiniz şekilde benzer cevaplar verir.
Biz burada ChatGPT 4 kullandık ve hiçbir şekilde bir eğitim vermeden benzer sorular hazırlamasını istedik. Kim bilir ÖSYM’den birden fazla sorular atıp soru tarzlarını ve yazılış biçimlerini öğrenmesini isteseydik sonuçlar değişik olabilirdi, bilemiyoruz.
Şu an kullandığımız sürüm, internetten veri çekebiliyor fakat kendi başına emir hareketler yapamıyor. Hatta internetten veri çekse bile kimi zaman detayları uydurup yanlış bilgiler verebiliyor. Zamanında “Kim Milyoner Olmak İster?” yarışmasının bazı sorularına da yanlış cevaplar vermişti.
ÖSYM’nin bu mevzuyu iyi mi ele alacağını tam olarak bilmiyoruz.
Tahmini olarak bu yaptığımız benzer biçimde bir şey yapmayacaklardır. Eğer ki bilmediğimiz, arka planda muntazam veri setine haiz, eğitilen ve tasarlanan bir sistem var ise bu yaptığımız rahat örneklere karşı oldukça daha verimli sonuçlar da elde edebilirler. O yüzden başlıkta attığımız kanıya derhal varmak da oldukça mantıklı olmayabilir.
Gün gelir de eğer bigün yapay zekâ için önündeki engeller kalkıp muntazam bir öğrenme algoritması geliştirilip internetteki yada dünya gündemindeki her veriyi süratli bir halde öğrenip kavrayabilirse işte o süre kim bilir bu yazıları biz değil onlar yazıyor olacak.
Sizin bu mevzu hakkında görüşleriniz neler?
