Buluş, sesten nitelik çıkarımı, sese ait sahte yüz üretimi, eğitim seti için gerekli video üretimi ve gerçek zamanlı yapay temsilci üretilmesi işlemlerini gerçekleştiren yapay/sanal temsilci sentezleme yöntemi ile ilgilidir. Buluş özellikle, konuşan kişinin sesinden özelliklerinin çıkarılmasını, bu özelliklere uygun GAN tabanlı sahte bir yüz görüntüsünün sentezlenmesini, sonraki eğitim adımına beslemek için bir video kaydı alınması ve yapay yüze uygun şekilde sentezlenmesini ve gerçek zamanda konuşmacının sesiyle yeni video sentezlenmesini sağlayan bir yapay/sanal temsilci sentezleme yöntemi ile ilgilidir.The invention is related to the artificial/virtual representative synthesis method that performs feature extraction from voice, fake face production of voice, video production required for the training set and real-time artificial representative production. In particular, the invention is an artificial/virtual representative synthesis that enables extracting the features of the speaker's voice, synthesizing a GAN-based fake face image suitable for these features, recording a video to feed it to the next training step and synthesizing it in accordance with the artificial face, and synthesizing a new video with the speaker's voice in real time. It's about the method.
TR2021/0091342021-06-022021-06-02
Artificial representation synthesis method with audio-to-video conversion.
TR2021009134A1
(en)