Araştırmacılar, OmniPredict’in Multimodal Büyük Dil Modeli (MLLM) kullanan ilk sistem olduğunu belirtti. Sistem, gelişmiş sohbet botları ve görüntü tanıma teknolojilerinde kullanılan altyapılardan yararlanıyor. Ancak bu teknolojiyi, yayaların çevresel koşullara bağlı olarak nasıl hareket edebileceğini gerçek zamanlı tahmin etmek için kullanıyor.

Geliştirilen yapay zekâ, görsel verileri bağlamsal bilgilerle birleştirerek bir yayanın bir sonraki hamlesini öngörmeyi hedefliyor. Projenin yürütücüsü ve Otonom Araçlar ve Sensör Sistemleri Merkezi Direktörü Dr. Srinkanth Saripalli, şehir ortamlarının ve insan davranışlarının öngörülemez olduğunu belirterek, yeni modelin makinelerin yalnızca mevcut durumu algılamakla kalmayıp, olası insan davranışlarını da hesaba katmasını amaçladığını ifade etti.

OmniPredict’in, otonom sürüş sistemlerinin yalnızca anlık hareketlere tepki vermek yerine, potansiyel riskleri önceden değerlendirmesine katkı sağlaması hedefleniyor. Araştırmacılara göre bu yaklaşım, özellikle yoğun şehir içi trafiğinde ve kalabalık yaya alanlarında araçların daha kontrollü hareket etmesine imkân tanıyabilir.

Sistemin olası kullanım alanlarının yalnızca şehir içi trafikle sınırlı olmadığı da vurgulandı. Araştırma ekibi, insan duruşu, yönelimi, tereddüt anları veya stres belirtileri gibi davranış ipuçlarını analiz edebilen bir yapay zekânın, askeri ve acil durum operasyonları gibi alanlarda da durumsal farkındalığı artırabileceğini belirtti.

Geleneksel otonom sürüş sistemleri genellikle binlerce görüntü ve veri setiyle eğitilmiş bilgisayarlı görü modellerine dayanıyor. Ancak araştırmacılar, bu sistemlerin değişken hava koşulları, beklenmedik insan davranışları ve nadir olaylar karşısında sınırlı kalabildiğine dikkat çekiyor. OmniPredict ise sahneyi yalnızca algılamakla kalmayıp, davranışsal yorumlama yaparak unsurların nasıl hareket edebileceğini tahmin etmeye çalışıyor.

Sistem, yaya davranışları araştırmalarında en zorlu veri setleri arasında yer alan JAAD ve WiDEVIEW üzerinde test edildi. Araştırmacılar, herhangi bir özel ön eğitim uygulanmadan yapılan testlerde OmniPredict’in yüzde 67 doğruluk oranına ulaştığını ve mevcut modelleri yaklaşık yüzde 10 oranında geride bıraktığını açıkladı. Çalışmanın sonuçları Computers & Engineering dergisinde yayımlandı.

Araştırma ekibi, OmniPredict’in henüz yol kullanımına hazır bir sistem olmadığını ancak otonom araçların gelecekte daha fazla davranışsal muhakemeye dayalı çalışabileceğine işaret ettiğini belirtti. Çalışmada, yapay zekânın insanları ikame etmek yerine, karar süreçlerini destekleyen bir araç olarak konumlandırıldığı vurgulandı. (İLKHA)