Çok modlu (multimodal) yapay zeka nedir?
Kısa cevap
Çok modlu yapay zeka; metin, görsel, ses ve video gibi farklı türdeki bilgileri aynı anda anlayabilen ve bunlar arasında dönüşüm yapabilen yapay zekadır.
İlk yapay zeka modelleri genelde tek bir veri türüyle çalışırdı: ya metin ya görsel. Çok modlu (multimodal) modeller ise birden fazla türü birlikte işler.
Günlük hayattan örnekler:
- Buzdolabının fotoğrafını çekip "bunlarla ne yemek yapabilirim?" diye sormak
- Bir grafiğin ekran görüntüsünü yükleyip yorumlatmak
- Sesli konuşarak soru sorup sesli cevap almak
- Bir metinden görsel, bir görselden video üretmek
Bugün ChatGPT, Gemini ve Claude gibi asistanlar görselleri anlayabiliyor; bazıları ses ve video ile de çalışabiliyor. Görsel ve video üreten modeller de aslında çok modludur: metni (prompt) alıp görsele ya da videoya dönüştürürler.
Çok modluluk sayesinde yapay zekayı kullanmak daha doğal hale geliyor: uzun uzun anlatmak yerine bir fotoğraf göstermek çoğu zaman yeterli oluyor. Görselden video üretmenin nasıl çalıştığını bu soruda anlattık.