Kurucu ortak · Çok modlu yapay zekâ / Inference sistemleri · Geçmiş proje
Nova Replica
Gerçek zamanlı yapay zekâ avatarları ve dijital insanlar
Nova Replica’da gerçek zamanlı görüntülü sohbet edebilen, etkileşimli yapay zekâ avatarları üzerinde çalıştık.
Projenin kurucu ortaklarından biriydim. Daha çok bu deneyimi mümkün kılan yapay zekâ modellerinin çalıştırılması ve birlikte yönetilmesiyle ilgileniyordum.
Araştırma modellerini uygulamada çalıştırmak
En büyük zorluklardan biri, bir araştırma demosuyla güvenilir biçimde çalışabilen bir sistem arasındaki farktı.
Avatarın farklı parçaları için araştırma makalelerindeki modelleri denedik. Bunlar arasında konuşma ve görüntü üretimi modelleri de vardı.
Tek başına gerçek zamanlı çalışabilen bir modelin örnek kodu, onu verimli biçimde kullanıma almak için her zaman uygun olmuyordu. Modelleri yüklemek, belleği yönetmek, inference adımlarını koordine etmek ve bütün akışı hızlı tutmak ayrı sorunlar çıkarıyordu.
Zamanımın önemli bir kısmı model kodlarının içine girip birlikte nasıl daha verimli çalışabileceklerini anlamakla geçti.
Gereksiz yükü azaltmak ve inference aşamalarını koordine etmek için paralel çalışma, bellek yönetimi ve Python event loop davranışı üzerine çalıştım.
Ayrıca İngilizce için geliştirilmiş açık kaynaklı metinden sese modellerini Türkçeye uyarladım. Etkileşimli görüntülü konuşmayı desteklemek için dört yapay zekâ modelini birlikte yöneten bir sistem geliştirdim.
Prototipten sonra
Ortaya çıkan sistemle gerçek zamanlı avatar sohbetleri yapabiliyorduk. Garanti BBVA ve Müzeverse’in yer aldığı projelerde de çalıştık.
Nova Replica’dan aklımda kalan şu: Bir araştırma modelini çalıştırmak başlı başına bir iş. Modeli optimize etmek, etrafındaki altyapıyı kurmak ve gerçek kullanım koşullarına hazırlamak ise ayrı bir mühendislik problemi.
