Sohbet botlarına uygulanan bilişsel testler, yıllar içinde performans düşüşü ve empati yoksunluğu gibi endişe verici sonuçlar ortaya koyuyor. Bu durum yapay zekanın tıbbi teşhislerdeki güvenilirliğini ve gelecekteki rolünü yeniden değerlendirmenin gerekliliğine işaret ediyor.

---

23 Aralık 2024, 11:05 Güncelleme: 23 Aralık 2024, 11:58

Hakemli bilimsel dergi The BMJ'de yayınlanan yeni bir çalışma, çeşitli sohbet botlarını bilişsel sağlığı ölçmek için kullanılan testlere tabi tuttu. Teknoloji sektörünün önde gelen sohbet botlarından bazılarının bunamaya benzer hafif bilişsel bozukluğa dair açık işaretler gösterdiği kaydedildi.

Bulgular, belirtilerin tıpkı insanlarda olduğu gibi geçen yıllarla birlikte daha belirgin hale geldiğini gösterdi. En kötü performansı daha eski büyük dil modelleri (LLM) sergiledi.

Doktorların yerini alacağı varsayımı sorgulanıyor

Çalışmanın amacı aslında bu teknolojinin tıbbi alanda özellikle de bunamada teşhis aracı olarak kullanılabilecek kadar yetkin olup olmadığını anlamaktı.

Araştırma makalesinde "Bu bulgular yapay zekanın yakında insan doktorların yerini alacağı varsayımını sorguluyor. Zira önde gelen sohbet botlarında görülen bilişsel bozukluk, tıbbi teşhislerdeki güvenilirliklerini etkileyebilir ve hastaların güvenini zedeleyebilir" ifadeleri kullanıldı.

Araştırmada demansın erken belirtilerini tespit etmek için tasarlanmış bir test olan Montreal Bilişsel Değerlendirmesi kullanıldı. Bu testte daha yüksek puan almak bilişsel yeteneğin de iyi olduğuna işaret ediyor.

Hangi yapay zeka aracı kaç puan aldı?

Test edilen yapay zeka araçlarından OpenAI firmasına ait son model olan GPT-4o, 30 üzerinden 26 ile en yüksek puanı aldı. Google'ın Gemini ailesi ise 30 üzerinden 16 alarak en düşük puanı elde etti.

Gemini modelleri beş kelimelik bir diziyi hatırlamayı içeren epey basit bir gecikmeli hatırlama görevinde bütünüyle başarısız oldu.

Araştırmacılar ayrıca bu testlere dayanarak tüm sohbet botlarının endişe verici derecede bir empati yoksunluğu gösterdiğini buldu. Uzmanlara göre bu frontotemporal bunamanın belirgin bir belirtisi.

Öte yandan araştırmacılar tüm sohbet botlarının isimlendirme, dikkat, dil ve soyutlama gibi çoğu görev türünde başarılı olduğunu tespit etti.

Yapay zeka modelleri de tedavi edilebilir

Araçlardan her biri, daire içine alınmış sayılar arasına çizgi çizmek gibi görsel uzamsal görevlerde kötü performans gösterdi. Belirli bir zamanı gösteren bir saat çizme görevi de araçlar için son derece zordu.