Yapay Zeka Ses Aracı, Ünlülerin Deepfake Ses Kliplerini Oluşturmak İçin Kötüye Kullanıldı

Bir sentetik konuşma başlangıç ​​şirketi, yeni AI ses platformunu piyasaya sürdükten sadece birkaç gün sonra, araç, derin sahte ünlü ses klipleri oluşturmak için şimdiden kötüye kullanılıyor.

Konuşma yapay zekası girişimi ElevenLabs, birkaç gün önce platformunun, kullanıcıların metinden konuşmaya ses için tamamen yeni sentetik sesler oluşturmasına olanak tanıyan bir beta sürümünü piyasaya sürdü . Şimdiden ve belki de şaşırtıcı olmayan bir şekilde, internet bu teknolojiyle hain şeyler yaptı.

Şirket, Twitter’da  “  ses klonlama kötüye kullanım vakalarının sayısında artış” görüldüğünü ve “ek önlemler uygulayarak” sorunu çözmenin yollarını düşündüğünü açıkladı.

Şirket bu “kötüye kullanım vakaları” hakkında ayrıntılı bilgi vermese de,  ünlülerin şüpheli şeyler okuması veya söylemesi gibi ses çıkarmak için oluşturulmuş seslerin yer aldığı klipler içeren 4chan gönderilerine ilişkin raporlar ortaya çıktı .

Ses klipleri şiddet içeren, ırkçı, homofobik ve transfobik içeriğe sahip. Tüm bu kliplerin ElevenLabs teknolojisi kullanılarak yapılıp yapılmadığı henüz belli değil, ancak 4chan’daki ses dosyalarının bir koleksiyonunu içeren bir gönderi, şirketin platformuna bir bağlantı içeriyordu.

Şu anda ElevenLabs, kullanıcıların teknolojisini kötüye kullanmasını nasıl önleyebileceği konusunda geri bildirim topluyor. Şimdiye kadarki fikirler, kullanıcıların kimliklerini veya ödeme bilgilerini girmelerini istemek gibi ses klonlamayı etkinleştirmek için hesap doğrulamasına daha fazla katman eklemeyi içeriyor.

Dikkate alınması gereken diğer hususlar arasında, kullanıcıların klonlamak istedikleri sesin telif hakkı sahipliğini doğrulaması, örneğin istemli metin içeren bir örnek eklenmesi yer alır. Şirket, aracını genel kullanım için tamamen bırakmayı ve kullanıcıların manuel olarak doğrulanmak üzere ses klonlama istekleri göndermesini bile düşünüyor.

Derin sahte ses kliplerinin ilk kez bu kadar yaygın bir sorun haline gelmesine rağmen, yapay zeka ve makine öğrenimindeki gelişmeler birkaç yıl önce benzer bir olaya yol açtı ve derin sahte video kliplerde, özellikle pornografide, yüzlerin kullanıldığı bir artış oldu. mevcut pornografik materyaller üzerinden ünlüler.