WO2020158926A1 - データ変換学習装置、データ変換装置、方法、及びプログラム - Google Patents

データ変換学習装置、データ変換装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020158926A1
WO2020158926A1 PCT/JP2020/003691 JP2020003691W WO2020158926A1 WO 2020158926 A1 WO2020158926 A1 WO 2020158926A1 JP 2020003691 W JP2020003691 W JP 2020003691W WO 2020158926 A1 WO2020158926 A1 WO 2020158926A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
attribute code
converter
attribute
converted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/003691
Other languages
English (en)
French (fr)
Inventor
弘和 亀岡
卓弘 金子
田中　宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/427,157 priority Critical patent/US20220215851A1/en
Publication of WO2020158926A1 publication Critical patent/WO2020158926A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Definitions

  • the present invention relates to a data conversion learning device, a data conversion device, a method, and a program, and more particularly to a data conversion learning device, a data conversion device, a method, and a program for converting data.
  • Star Generative Adversarial Network is a neural network model and its learning method that aims to convert data such as images and sounds to different attributes (styles) while maintaining the content (content).
  • the major feature is that learning with unpaired data is possible and mutual conversion between various attributes is possible with one model.
  • a neural network is used to model a converter G that outputs input data (eg image) x and target attribute label and outputs data y of attribute class k. Learn the converter G using. At this time, the converted data Is to be like real data and to be like attribute k, and a converter G is learned by using a discriminator D for discriminating between real data and synthetic data and an attribute discriminator C for discriminating attributes. First, the loss function of the discriminator D when the cross entropy criterion is used is
  • Formula (2) is a criterion that takes a small value when the attribute discriminator C can correctly discriminate the actual data of the attribute k from the attribute k. Become.
  • the second purpose of the converter G is Is to be discriminated by the attribute discriminator C as the attribute k, and therefore the goal of the converter G is to reduce the equation (3).
  • StarGAN is a method of learning the converter G, the discriminator D, and the attribute discriminator C so as to reduce them.
  • This method has the feature that it is possible to learn with unpaired data whose contents are not always the same and that mutual conversion between various attributes is possible with one model.
  • the transformer will be trained so that the transformed data will follow the data distribution of the target attributes, and whether or not the transformer will be able to properly transform to the specified attributes depends on the network architecture design. It was a method of dependence.
  • the present invention has been made to solve the above problems, and an object thereof is to provide a data conversion learning device, method, and program capable of learning a converter capable of converting data having desired attributes.
  • the data conversion learning device based on each of the conversion source data having different attributes, and the attribute code indicating the attribute of each of the conversion source data, the conversion source Is a learning unit that learns a converter that inputs the data and the attribute code into the data of the attribute indicated by the attribute code, and regards the data converted by the converter with the input of any attribute code as if it were actual data. And an attribute different from the attribute code likelihood and the converted data likelihood and the attribute code of the conversion source data, which are identified by an integrated identifier that identifies attribute code likelihood and converted data likelihood.
  • the data converted by the converter with the code as an input it is represented using the data re-converted by the converter with the attribute code of the conversion source data as an input and the error between the conversion source data.
  • the likelihood of the converted data being identified by the integrated discriminator.
  • the integrated discriminator is identified so as to minimize the value of the learning criterion represented by using the attribute code likeness of the conversion source data, which is identified by the integrated discriminator. It is configured to include a learning unit for learning.
  • the learning unit uses the conversion source data based on each of the conversion source data having different attributes and the attribute code indicating each attribute of the conversion source data. And learning a converter for converting the attribute code as an input into the data of the attribute indicated by the attribute code, wherein the data converted by the converter with an arbitrary attribute code as an input seems to be real data and has an attribute code The attribute identifier different from the attribute code of the arbitrary attribute code and the converted data, and the attribute code of the conversion source data, which is identified by an integrated identifier that identifies the likelihood of being converted data.
  • learning the integrated discriminator so as to minimize the value of the learning criterion represented by using the attribute code likelihood of the conversion source data identified by the integrated discriminator. including.
  • the data conversion device uses a converter that receives the data and the attribute code as input and converts the data into the data of the attribute indicated by the attribute code.
  • the converter includes a data conversion unit that estimates target data from an attribute code indicating an attribute, and the converter is based on each of the conversion source data having different attributes and the attribute code indicating each attribute of the conversion source data.
  • the arbitrary attribute code which is identified by an integrated discriminator that identifies real data and attribute code-likeness and converted data-likeness with respect to data converted by the converter with an arbitrary attribute code as an input.
  • the program according to the fourth aspect causes the computer to convert the conversion source data and the attribute code based on the conversion source data having different attributes and the attribute code indicating the attribute of each of the conversion source data.
  • Learning a converter for converting into data of an attribute indicated by the attribute code as an input, and regarding the data converted by the converter with an arbitrary attribute code as an input it looks like actual data and attribute code
  • the converter using the attribute code different from the attribute code of the converted data and the attribute code like the arbitrary attribute code and the converted data identified by the integrated identifier for identifying the data like converted data as an input.
  • the learning criterion value represented by using the error between the data reconverted by the converter with the attribute code of the conversion source data as an input and the conversion source data is minimized.
  • the converter is learned, and for the data converted by the converter with an arbitrary attribute code as an input, the converted data likeness and the conversion source data identified by the integrated discriminator , Performing the learning of the integrated discriminator so as to minimize the value of the learning criterion represented by the attribute code likelihood of the conversion source data identified by the integrated discriminator. It is a program of.
  • the data conversion learning device, method, and program according to an aspect of the present invention it is possible to obtain the effect of being able to learn a converter that can convert data having desired attributes.
  • the data conversion device of one aspect of the present invention it is possible to obtain an effect that data having a desired attribute can be converted.
  • the Star Generative Adversarial Network (StarGAN) in the embodiment of the present invention is a neural network for converting data such as images and sounds into different attributes (styles) while maintaining the content (content).
  • a major feature of the model and its learning method is that it can learn with unpaired data and that one model can perform mutual conversion between various attributes.
  • the Modified Star Generative Adversarial Networks (mStarGAN) proposed in the present embodiment is a method for improving this point and learning the converter so that the converted data follows the data distribution of the target attribute.
  • Modified Star Generative Adversarial Networks proposed in this embodiment is as follows. ⁇ 3. It is characterized by.
  • a multi-class classifier that integrates a fake data classifier and an attribute classifier and regards whether it is composite data as one of the attributes (hereinafter, integrated classifier D) instead of the fake data classifier and the attribute classifier To use.
  • the one-hot vector that represents the attribute class is called the attribute code and is represented as c.
  • the purpose of the integrated discriminator D is the output of the converter G. Is a false class, and the real data of the attribute k ⁇ ⁇ 1,...,K ⁇ Is correctly identified as class k, so for example
  • the output of the integrated discriminator D Represents the probability that the input y belongs to the class k.
  • the first term of equation (8) is a criterion that takes a small value when the integrated discriminator D assigns a high probability to the attribute k with respect to the actual data of the attribute k, that is, when the attribute k is correctly identified.
  • the second term is a criterion that takes a small value when the integrated discriminator D can discriminate the data converted to any attribute as the false class.
  • the purpose of the converter G is Is to be correctly identified as the target attribute k by the integrated discriminator D, and is not identified as false data.
  • the first term in equation (9) is Takes a small value when the integrated discriminator D is identified as the attribute k, and the second term is Is a criterion that takes a large value when the integrated discriminator D discriminates it as a false class K+1.
  • the method of learning the converter G and the integrated discriminator D so as to reduce them is mStarGAN of the method according to the embodiment of the present invention.
  • Equation (14) is minimized under the constraint Using the Lagrange undetermined multiplier method
  • a data conversion learning device 100 includes a CPU, a RAM, a ROM that stores a program for executing a data conversion learning processing routine described below, and various data. Can be configured with a computer including.
  • the data conversion learning device 100 functionally includes an input unit 10, a calculation unit 20, and an output unit 50 as shown in FIG.
  • the input unit 10 receives each of the conversion-source audio signals having different attributes, and the attribute code indicating the attribute of each of the conversion-source audio signals.
  • the attribute code indicating the attribute of the conversion source audio signal may be manually given.
  • the attributes of the audio signal include, for example, sex, adult/child, speaker ID, whether or not the speaker is a native speaker (origin), type of utterance mood (anger, sadness, etc.), utterance mode (lecture style, free utterance). Such as the wind).
  • the arithmetic unit 20 includes an acoustic feature extraction unit 30 and a learning unit 32.
  • the acoustic feature extraction unit 30 extracts an acoustic feature amount sequence from each of the input conversion source audio signals.
  • the learning unit 32 inputs the acoustic feature amount sequence and the attribute code based on the acoustic feature amount sequence in each of the conversion source voice signals and the attribute code indicating each attribute of the conversion source voice signal, and A converter for converting an audio signal having the indicated attribute into an acoustic feature quantity sequence is learned.
  • the learning unit 32 learns the converter so as to minimize the value of the learning criterion shown in the equation (12).
  • This learning criterion is identified by an integrated discriminator that discriminates between an acoustic feature quantity sequence converted by a converter using an arbitrary attribute code as an input, like real voice and attribute code, and converted voice likeness.
  • the conversion source voice Error between the acoustic feature amount sequence reconverted by the converter using the attribute code of the acoustic feature amount sequence of the signal and the acoustic feature amount sequence of the conversion source audio signal, and the acoustic feature amount sequence of the conversion source audio signal It is represented by using the distance between the acoustic feature amount sequence of the audio signal converted by the converter using the attribute code of 1) and the acoustic feature amount sequence of the conversion source audio signal.
  • the learning unit 32 learns the integrated discriminator so as to minimize the value of the learning criterion shown in the equation (13).
  • This learning criterion is for the acoustic feature amount sequence converted by the converter with an arbitrary attribute code as an input, for the converted sound likeness and the acoustic feature amount sequence of the conversion source audio signal identified by the integrated discriminator. , Which is the attribute code of the acoustic feature quantity sequence of the conversion source audio signal, which is identified by the integrated discriminator.
  • the learning unit 32 alternately repeats the learning of the converter and the learning of the integrated discriminator until a predetermined end condition is satisfied, and outputs the finally obtained converter by the output unit 50.
  • each of the converter and the integrated discriminator is configured using a convolutional network or a recursive network.
  • the data conversion device 150 includes a CPU, a RAM, and a ROM that stores a program for executing a data conversion processing routine described later and various data. It can be composed of a computer.
  • the data converter 150 functionally includes an input unit 60, a calculation unit 70, and an output unit 90, as shown in FIG.
  • the input unit 60 receives, as inputs, the conversion source audio signal and the attribute code indicating the attribute of the target audio signal.
  • the attribute code indicating the attribute of the target voice signal may be manually provided.
  • the calculation unit 70 includes an acoustic feature extraction unit 72, a data conversion unit 74, and a converted voice generation unit 78.
  • the acoustic feature extraction unit 72 extracts an acoustic feature amount sequence from the input conversion source audio signal.
  • the data conversion unit 74 uses the converter learned by the data conversion learning device 100 to extract the target voice signal from the acoustic feature quantity sequence extracted by the acoustic feature extraction unit 72 and the attribute code accepted by the input unit 60. Estimate the acoustic feature quantity sequence.
  • the converted voice generation unit 78 generates a time domain signal from the estimated acoustic feature quantity sequence of the target voice signal, and outputs it as the target voice signal by the output unit 90.
  • the computer 84 includes a CPU 86, a memory 88, a storage unit 92 storing a program 82, a display unit 94 including a monitor, and an input unit 96 including a keyboard and a mouse.
  • the CPU 86, the memory 88, the storage unit 92, the display unit 94, and the input unit 96 are connected to each other via a bus 98.
  • the storage unit 92 is realized by an HDD, SSD, flash memory, or the like.
  • a program 82 for causing the computer 84 to function as the data conversion learning device 100 or the data conversion device 150 is stored in the storage unit 92.
  • the CPU 86 reads the program 82 from the storage unit 92, expands it in the memory 88, and executes the program 82.
  • the program 82 may be provided by being stored in a computer-readable medium.
  • step S100 an acoustic feature quantity sequence is extracted from each of the input conversion source audio signals.
  • step S102 the converter and the integrated discriminator are learned based on the acoustic feature amount sequence in each of the conversion source audio signals and the attribute code indicating each attribute of the conversion source audio signal, and the learning result Is output by the output unit 50, and the data conversion learning processing routine ends.
  • the input unit 60 receives the learning result of the data conversion learning device 100.
  • the data conversion device 150 executes the data conversion processing routine shown in FIG.
  • step S150 an acoustic feature quantity sequence is extracted from the input conversion source audio signal.
  • step S152 using the converter learned by the data conversion learning device 100, from the acoustic feature quantity sequence extracted by the acoustic feature extraction unit 72 and the attribute code accepted by the input unit 60, the target speech signal Estimate the acoustic feature quantity sequence of.
  • step S156 a time domain signal is generated from the estimated acoustic feature amount sequence of the target voice signal, and is output as the target voice signal by the output unit 90, and the data conversion processing routine ends.
  • VCC2SF1 Male speaker VCC2SF1, male speaker VCC2SM1, female speaker VCC2SF2, male speaker
  • the attribute code is a four-dimensional one-hot vector corresponding to the speaker ID.
  • 81 sentences were used as learning data and 35 sentences were used as test data, and the sampling frequency of all speech signals was 16000 Hz.
  • the spectrum envelope, fundamental frequency (F 0 ), and aperiodic index were extracted by WORLD analysis, and the 35th-order mel cepstrum analysis was performed on the extracted spectrum envelope sequence.
  • the data conversion learning device regarding the data converted by the converter with an arbitrary attribute code as an input, looks like an actual voice and the attribute code and the converted voice.
  • the audio signal converted by the converter by inputting an attribute code different from the attribute code of the original audio signal and an attribute code likeness and converted audio likeness, which are identified by the integrated identifier for identifying ,
  • the data conversion learning device identifies the converted voice like the voice signal converted by the converter with an arbitrary attribute code as an input and the voice signal of the conversion source by the integrated discriminator.
  • the integrated discriminator is learned so as to minimize the value of the learning criterion represented by using the attribute code likelihood of the conversion source audio signal identified by. As a result, it is possible to learn a converter that can convert a voice signal having a desired attribute.
  • the data conversion device assigns an arbitrary attribute code based on each of the conversion-source audio signals having different attributes and the attribute code indicating each attribute of the conversion-source audio signal.
  • an arbitrary attribute code-likeness and a converted voice-likeness which are identified by an integrated discriminator that identifies real voice-likeness and attribute code-likeness and converted voice-likeness .
  • An audio signal is converted using a converter that has been learned in advance so as to minimize the value of the learning criterion expressed by using the error from the original audio signal. As a result, it can be converted into a voice signal having a desired attribute.
  • the data conversion learning device and the data conversion device are configured as separate devices, but they may be configured as one device.
  • the data to be converted is the acoustic feature amount sequence of the audio signal
  • the present invention is not limited to this, and the feature amount or the feature amount sequence of an image, video, text, etc. It may be the target.
  • the data conversion learning device and the data conversion device described above have a computer system inside
  • the "computer system” means a home page providing environment (or display environment) if a WWW system is used. ) Is also included.
  • the program can be stored in a computer-readable recording medium and provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

所望の属性のデータに変換することができる。　学習部３２は、変換器の学習規準の値を最小化するように、変換器を学習し、統合識別器の学習規準の値を最小化するように、統合識別器を学習する。

Description

データ変換学習装置、データ変換装置、方法、及びプログラム
　本発明は、データ変換学習装置、データ変換装置、方法、及びプログラムに係り、特に、データを変換するためのデータ変換学習装置、データ変換装置、方法、及びプログラムに関する。
　Star Generative Adversarial Network(StarGAN)は、画像や音声などのデータに対し、コンテンツ（内容）を保ったまま異なる属性（スタイル）への変換を行うことを目的としたニューラルネットワークモデルおよびその学習方式で、unpairedデータでの学習が可能である点と一つのモデルで多種の属性間の相互変換が可能である点が大きな特長である。
　StarGANでは、入力データ（例えば画像）xとターゲット属性ラベルを入力として属性クラスkのデータyを出力する変換器Gをニューラルネットワークでモデル化し、各属性の学習データ
Figure JPOXMLDOC01-appb-I000001

を用いて変換器Gを学習する。このとき、変換データ
Figure JPOXMLDOC01-appb-I000002

を実データらしく、かつ属性kらしくすることが目標であり、実データか合成データかを識別する識別器Dと、属性を識別する属性識別器Cを用いて変換器Gを学習する。まず、クロスエントロピー規準を用いた場合の識別器Dの損失関数は
Figure JPOXMLDOC01-appb-M000003
                                                 （１）
と書ける。式(1)は識別器Dがyを実データと識別し、
Figure JPOXMLDOC01-appb-I000004

を合成データと正しく識別できている場合に小さい値をとる規準となっているため、これを小さくすることが識別器Dの目標となる。一方、変換器Gの第一の目的は
Figure JPOXMLDOC01-appb-I000005

を識別器Dに合成データと見破られないような品質のデータを生成することであるため、これを大きくすることが変換器Gの目標となる。変換器Gの二つ目の目標は、
Figure JPOXMLDOC01-appb-I000006

が属性kらしいデータとなるようにxを変換することである。これを実現するための規準として
Figure JPOXMLDOC01-appb-M000007
                                                 （２）
Figure JPOXMLDOC01-appb-M000008
                                                 （３）
のような損失関数を導入する。式(2)は属性kの実データを属性識別器Cが正しく属性kと識別できている場合に小さい値をとる規準となっているため、これを小さくすることが属性識別器Cの目標となる。一方、変換器Gの第二の目的は
Figure JPOXMLDOC01-appb-I000009

を属性識別器Cに属性kと識別されるようにすることであるため、式(3)を小さくすることが変換器Gの目標となる。
「声の雰囲気や聞き取りやすさを変換する」、NTTコミュニケーション科学研究所オープンハウス2018 の配布冊子P37
　以上の規準のみで変換器Gを学習する場合、xと
Figure JPOXMLDOC01-appb-I000010

が同一コンテンツ（音声の場合は発話内容）をもつデータとなることが保証されない。そこで上述の規準に加え、循環無矛盾規準と呼ぶ損失関数
Figure JPOXMLDOC01-appb-M000011
                                                 （４）
を導入する。
Figure JPOXMLDOC01-appb-I000012

は、属性k′のサンプルxを属性kとなるように変換した
Figure JPOXMLDOC01-appb-I000013

をさらに属性k′なるように再変換したものを表し、式(4)は
Figure JPOXMLDOC01-appb-I000014

が変換元のxと近くなるほど小さい値をとる規準となっている。これを小さくすることが変換器Gの第三の目標となる。以上をまとめると、変換器G、識別器D、属性識別器Cの学習規準はそれぞれ
Figure JPOXMLDOC01-appb-M000015
                                                 （５）
Figure JPOXMLDOC01-appb-M000016
                                                 （６）
Figure JPOXMLDOC01-appb-M000017
                                                 （７）
となり、これらを小さくするように変換器G、識別器D、属性識別器Cを学習する方法がStarGANである。
　この方式は、コンテンツが必ずしも同一でないunpairedデータでの学習が可能である点と一つのモデルで多種の属性間の相互変換が可能である点を特長にもつ。一方で、変換されたデータがターゲットの属性のデータ分布に従うように変換器が学習される保証はなく、変換器が指定の属性への適切な変換を行えるようになるかどうかはネットワークアーキテクチャ設計に依存する方法となっていた。
　本発明は、上記問題点を解決するために成されたものであり、所望の属性のデータに変換することができる変換器を学習できるデータ変換学習装置、方法、及びプログラムを提供することを目的とする。
　また、所望の属性のデータに変換することができるデータ変換装置を提供することを目的とする。
　上記目的を達成するために、第一の態様に係るデータ変換学習装置は、属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習する学習部であって、任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、を用いて表される学習規準の値を最小化するように、前記変換器を学習し、任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、を用いて表される学習規準の値を最小化するように、前記統合識別器を学習する学習部を含んで構成されている。
　また、第二の態様に係るデータ変換学習方法は、学習部が、属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習することであって、任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、を用いて表される学習規準の値を最小化するように、前記変換器を学習し、任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、を用いて表される学習規準の値を最小化するように、前記統合識別器を学習することを含む。
　また、第三の態様に係るデータ変換装置は、データ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を用いて、入力された変換元のデータ、及び目標のデータの属性を示す属性コードから、目標のデータを推定するデータ変換部を含み、前記変換器は、属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、を用いて表される学習規準の値を最小化するように予め学習されたものであり、前記統合識別器は、任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、を用いて表される学習規準の値を最小化するように予め学習されたものである。
　また、第四の態様に係るプログラムは、コンピュータに、属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習することであって、任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、を用いて表される学習規準の値を最小化するように、前記変換器を学習し、任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、を用いて表される学習規準の値を最小化するように、前記統合識別器を学習することを実行させるためのプログラムである。
　本発明の一態様に係るデータ変換学習装置、方法、及びプログラムによれば、所望の属性のデータに変換することができる変換器を学習できる、という効果が得られる。
　本発明の一態様に係るデータ変換装置によれば、所望の属性のデータに変換することができる、という効果が得られる。
本発明の実施の形態に係るデータ変換学習装置の構成を示すブロック図である。 本発明の実施の形態に係るデータ変換装置の構成を示すブロック図である。 データ変換学習装置又はデータ変換装置として機能するコンピュータの一例の概略ブロック図である。 本発明の実施の形態に係るデータ変換学習装置におけるデータ変換学習処理ルーチンを示すフローチャートである。 本発明の実施の形態に係るデータ変換装置におけるデータ変換処理ルーチンを示すフローチャートである。 変換器のネットワーク構成を示す図である。 統合識別器のネットワーク構成を示す図である。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の実施の形態に係る概要＞
　まず、本発明の実施の形態における概要を説明する。
　本発明の実施の形態におけるStar Generative Adversarial Network(StarGAN)は、画像や音声などのデータに対し、コンテンツ（内容）を保ったまま異なる属性（スタイル）への変換を行うことを目的としたニューラルネットワークモデルおよびその学習方式で、unpairedデータでの学習が可能である点と一つのモデルで多種の属性間の相互変換が可能である点が大きな特長である。一方で、変換されたデータがターゲットの属性のデータ分布に従うように変換器が学習される保証はなく、変換器が適切な変換を行えるようになるかどうかはネットワークアーキテクチャ設計によるところが大きかった。本実施の形態で提案するModified Star Generative Adversarial Networks(mStarGAN)は、この点を改良し、変換されたデータがターゲットの属性のデータ分布に従うように変換器を学習する手法である。
　本実施の形態で提案するModified Star Generative Adversarial Networks (mStarGAN) は、以下の１．～３．を特長とする。
1. 偽データ識別器と属性識別器を統合し、合成データかどうかを属性の一つと見なした多クラス分類器（以下、統合識別器D）を偽データ識別器と属性識別器の代わりに用いる。
2. 変換器Gの出力
Figure JPOXMLDOC01-appb-I000018

が統合識別器に正しくターゲット属性kと識別され、かつ合成データと見破られないように変換器Gを学習する
3. 属性kの実データが正しく属性kと識別され、かつ
Figure JPOXMLDOC01-appb-I000019

が正しく合成データと識別されるように統合識別器Dを学習するようにStarGANを改良することにより、変換されたデータがターゲットの属性のデータ分布に従うように変換器を学習することを可能にする。
＜本発明の実施の形態の原理＞
＜本発明の実施の形態の定式化＞
Figure JPOXMLDOC01-appb-I000020

を任意属性の実データとする。各実データは属性クラスk=1,...,Kのいずれかに属し、属性クラスk=K+1を、偽データである合成データを表す属性とする。属性クラスを表すone-hotベクトルを属性コードと呼び、cと表記する。統合識別器Dの目的は、変換器Gの出力
Figure JPOXMLDOC01-appb-I000021

を偽クラス、属性k∈｛1,...,K｝の実データ
Figure JPOXMLDOC01-appb-I000022

をクラスkと正しく識別することであるので、例えば
Figure JPOXMLDOC01-appb-M000023
                                                 （８）
を統合識別器Dの学習規準とすることができる。ただし、統合識別器Dの出力
Figure JPOXMLDOC01-appb-I000024

は、入力yがクラスkに属する確率を表す。式(8)の第一項は属性kの実データに対し統合識別器Dが属性kに高い確率を割り当てている場合、すなわち、正しく属性kと識別できている場合に、小さい値をとる規準、第二項はいかなる属性に変換されたデータも統合識別器Dが偽クラスと識別できている場合に小さい値をとる規準となっている。
　一方、変換器Gの目的は、
Figure JPOXMLDOC01-appb-I000025

が統合識別器Dにターゲット属性kと正しく識別され、かつ偽データと識別されないようにすることであるため、例えば
Figure JPOXMLDOC01-appb-M000026
                                                 （９）
を変換器Gの学習規準とすることができる。式(9)の第一項は
Figure JPOXMLDOC01-appb-I000027

が統合識別器Dに属性kと識別される場合に小さい値をとり、第二項は
Figure JPOXMLDOC01-appb-I000028

が統合識別器Dに偽クラスK+1と識別されてしまう場合に大きい値をとる規準となっている。
　上述の規準に加え、本発明の実施の形態に係る方法ではStarGANと同様、循環無矛盾規準
Figure JPOXMLDOC01-appb-M000029
                                                 （１０）
を変換器Gの学習規準に含める。これに加えてさらに、属性kの実データ
Figure JPOXMLDOC01-appb-I000030

に対し、同じ属性kをターゲット属性として変換したデータG(x,k)が変換元のxと近いほど小さい値をとる恒等写像規準
Figure JPOXMLDOC01-appb-M000031
                                                 （１１）
を含めることもできる。以上をまとめると、変換器G、統合識別器Dの学習規準はそれぞれ
Figure JPOXMLDOC01-appb-M000032
                                                 （１２）
Figure JPOXMLDOC01-appb-M000033
                                   （１３）
となり、これらを小さくするように変換器G及び統合識別器Dを学習する方法が本発明の実施の形態に係る方法のmStarGANである。
＜学習問題の最適解＞
　以下で、式(12)において
Figure JPOXMLDOC01-appb-I000034

のとき、以上の学習問題の最適解が
Figure JPOXMLDOC01-appb-I000035

の分布と
Figure JPOXMLDOC01-appb-I000036

が一致している場合に相当することを示す。まず、所与の変換器Gにおいて式(13)を最小にする統合識別器Dの解を求める。
Figure JPOXMLDOC01-appb-I000037

と変数変換すると、式(8)は
Figure JPOXMLDOC01-appb-M000038
                                                 （１４）
と書き直せるので、
Figure JPOXMLDOC01-appb-I000039

という制約のもとで式(14)を最小にする
Figure JPOXMLDOC01-appb-I000040

はLagrange未定乗数法を用いて
Figure JPOXMLDOC01-appb-M000041
                                                 （１５）
Figure JPOXMLDOC01-appb-M000042
                                                 （１６）
と求まる。次に、式(15)、(16)を式(9)に代入すると
Figure JPOXMLDOC01-appb-M000043
Figure JPOXMLDOC01-appb-I000044

                                                 （１７）
となり、最適な統合識別器DのもとでのI(G)は
Figure JPOXMLDOC01-appb-I000045

と
Figure JPOXMLDOC01-appb-I000046

のKullback-Leiblerダイバージェンスに一致することが分かる。このことから、以上の統合識別器Dと変換器Gの学習方法は分布フィッティングとしての解釈が可能である。
＜本発明の実施の形態に係るデータ変換学習装置の構成＞
　次に、本発明の実施の形態に係るデータ変換学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係るデータ変換学習装置１００は、ＣＰＵと、ＲＡＭと、後述するデータ変換学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このデータ変換学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
　入力部１０は、属性が異なる変換元の音声信号の各々、及び変換元の音声信号の各々の属性を示す属性コードを受け付ける。なお、変換元の音声信号の属性を示す属性コードは、人手で与えておけばよい。また、音声信号の属性とは、例えば、性別、大人／子供、話者ＩＤ、母語話者か否か（出身）、発話ムードの種類（怒り、悲しみなど）、発話モード（講演風、自由発話風など）などである。
　演算部２０は、音響特徴抽出部３０と、学習部３２を含んで構成されている。
　音響特徴抽出部３０は、入力された変換元の音声信号の各々から、音響特徴量系列を抽出する。
　学習部３２は、変換元の音声信号の各々における音響特徴量系列と、変換元の音声信号の各々の属性を示す属性コードに基づいて、音響特徴量系列及び属性コードを入力として当該属性コードが示す属性の音声信号の音響特徴量系列に変換する変換器を学習する。
　具体的には、学習部３２は、上記（１２）式に示す学習規準の値を最小化するように、変換器を学習する。この学習規準は、任意の属性コードを入力として変換器によって変換された音響特徴量系列について、実音声らしくかつ属性コードらしさと、変換された音声らしさとを識別する統合識別器によって識別される、任意の属性コードらしさ及び変換された音声らしさと、変換元の音声信号の音響特徴量系列の属性コードとは異なる属性コードを入力として変換器によって変換された音響特徴量系列について、変換元の音声信号の音響特徴量系列の属性コードを入力として変換器によって再変換された音響特徴量系列と、変換元の音声信号の音響特徴量系列との誤差と、変換元の音声信号の音響特徴量系列の属性コードを入力として変換器によって変換された音声信号の音響特徴量系列と、変換元の音声信号の音響特徴量系列との距離とを用いて表される。
　また、学習部３２は、上記（１３）式に示す学習規準の値を最小化するように、統合識別器を学習する。この学習規準は、任意の属性コードを入力として変換器によって変換された音響特徴量系列について、統合識別器によって識別される、変換された音声らしさと、変換元の音声信号の音響特徴量系列について、統合識別器によって識別される、変換元の音声信号の音響特徴量系列の属性コードらしさと、を用いて表される。
　学習部３２は、予め定められた終了条件を満たすまで、上記の変換器の学習と、統合識別器の学習とを交互に繰り返し、最終的に得られた変換器を出力部５０により出力する。ここで、変換器及び統合識別器の各々は、畳み込みネットワーク又は再帰型ネットワークを用いて構成される。
＜本発明の実施の形態に係るデータ変換装置の構成＞
　次に、本発明の実施の形態に係るデータ変換装置の構成について説明する。図２に示すように、本発明の実施の形態に係るデータ変換装置１５０は、ＣＰＵと、ＲＡＭと、後述するデータ変換処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このデータ変換装置１５０は、機能的には図２に示すように入力部６０と、演算部７０と、出力部９０とを備えている。
　入力部６０は、変換元の音声信号と、目標の音声信号の属性を示す属性コードとを、入力として受け付ける。なお、目標の音声信号の属性を示す属性コードは人手で与えればよい。
　演算部７０は、音響特徴抽出部７２と、データ変換部７４と、変換音声生成部７８とを含んで構成されている。
　音響特徴抽出部７２は、入力された変換元の音声信号から、音響特徴量系列を抽出する。
　データ変換部７４は、データ変換学習装置１００により学習された変換器を用いて、音響特徴抽出部７２により抽出された音響特徴量系列及び入力部６０で受け付けた属性コードから、目標の音声信号の音響特徴量系列を推定する。
　変換音声生成部７８は、推定された目標の音声信号の音響特徴量系列から、時間領域信号を生成し、目標の音声信号として出力部９０により出力する。
　データ変換学習装置１００及びデータ変換装置１５０の各々は、一例として、図３に示すコンピュータ８４によって実現される。コンピュータ８４は、ＣＰＵ８６、メモリ８８、プログラム８２を記憶した記憶部９２、モニタを含む表示部９４、及びキーボードやマウスを含む入力部９６を含んでいる。ＣＰＵ８６、メモリ８８、記憶部９２、表示部９４、及び入力部９６はバス９８を介して互いに接続されている。
　記憶部９２はＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現される。記憶部９２には、コンピュータ８４をデータ変換学習装置１００又はデータ変換装置１５０として機能させるためのプログラム８２が記憶されている。ＣＰＵ８６は、プログラム８２を記憶部９２から読み出してメモリ８８に展開し、プログラム８２を実行する。なお、プログラム８２をコンピュータ可読媒体に格納して提供してもよい。
＜本発明の実施の形態に係るデータ変換学習装置の作用＞
　次に、本発明の実施の形態に係るデータ変換学習装置１００の作用について説明する。入力部１０により、属性が異なる変換元の音声信号の各々、及び変換元の音声信号の各々の属性を示す属性コードを受け付けると、データ変換学習装置１００は、図４に示すデータ変換学習処理ルーチンを実行する。
　まず、ステップＳ１００では、入力された変換元の音声信号の各々から、音響特徴量系列を抽出する。
　次に、ステップＳ１０２では、変換元の音声信号の各々における音響特徴量系列と、変換元の音声信号の各々の属性を示す属性コードに基づいて、変換器及び統合識別器を学習し、学習結果を出力部５０により出力して、データ変換学習処理ルーチンを終了する。
＜本発明の実施の形態に係るデータ変換装置の作用＞
　次に、本発明の実施の形態に係るデータ変換装置１５０の作用について説明する。入力部６０により、データ変換学習装置１００による学習結果を受け付ける。また、入力部６０により、変換元の音声信号と、目標の音声信号の属性を示す属性コードとを受け付けると、データ変換装置１５０は、図５に示すデータ変換処理ルーチンを実行する。
　まず、ステップＳ１５０では、入力された変換元の音声信号から、音響特徴量系列を抽出する。
　次に、ステップＳ１５２では、データ変換学習装置１００により学習された変換器を用いて、音響特徴抽出部７２により抽出された音響特徴量系列及び入力部６０で受け付けた属性コードから、目標の音声信号の音響特徴量系列を推定する。
　ステップＳ１５６では、推定された目標の音声信号の音響特徴量系列から、時間領域信号を生成し、目標の音声信号として出力部９０により出力して、データ変換処理ルーチンを終了する。
＜実験結果＞
　本発明の実施の形態の手法によるデータ変換効果を確認するため、Voice Conversion Challenge(VCC)2018の4話者の音声データ（女性話者VCC2SF1、男性話者VCC2SM1、女性話者VCC2SF2、男性話者VCC2SM2）を用いて話者性変換実験を行った。ここでは属性コードを、話者IDに対応する4次元のone-hotベクトルとした。各話者につき81文を学習データ、35文をテストデータとし、全音声信号のサンプリング周波数は16000Hzとした。各発話に対し、WORLD分析によりスペクトル包絡、基本周波数(F0)、非周期性指標の抽出を行い、抽出したスペクトル包絡系列に対し35次のメルケプストラム分析を行った。F0に関しては、変換目標音声の学習データから有声区間における対数F0の平均msrcと標準偏差σsrc、変換元音声の学習データから有声区間における対数F0の平均mtrgと標準偏差σsrcを算出した。また、入力音声の対数F0パターンy(0),...,y(N-1)を
Figure JPOXMLDOC01-appb-M000047
                                                 （１８）
のように変換した。本実験では本発明の実施の形態の方法を用い、変換器のネットワーク構成を図６のとおりとし、統合識別器のネットワーク構成を図７のとおりとした。これとほぼ同等のネットワーク構成を用いた従来のStarGANによる音声変換結果と比較したところ、本発明の実施の形態の方法の方が高い品質と変換効果が得られることを聴取確認した。
　ここで、上記図６、図７において、"c", "h", "w" はそれぞれ、変換器の入出力および統合識別器の入出力を画像と見なしたときのチャネル、高さ、幅を表す。"Conv", "Batch norm", "GLU", "Deconv", "Softmax"はぞれぞれ畳み込み層、バッチ正規化層、ゲート付き線形ユニット、転置畳み込み層、ソフトマックス層を表す。畳み込み層または転置畳み込み層における"k", "c", "s" はそれぞれカーネルサイズ、出力チャネル数、ストライド幅を表す。
　以上説明したように、本発明の実施の形態に係るデータ変換学習装置は、任意の属性コードを入力として変換器によって変換されたデータについて、実音声らしくかつ属性コードらしさと、変換された音声らしさとを識別する統合識別器によって識別される、任意の属性コードらしさ及び変換された音声らしさと、変換元の音声信号の属性コードとは異なる属性コードを入力として変換器によって変換された音声信号について、変換元の音声信号の属性コードを入力として変換器によって再変換された音声信号と、変換元の音声信号との誤差と、を用いて表される学習規準の値を最小化するように、変換器を学習する。また、データ変換学習装置は、任意の属性コードを入力として変換器によって変換された音声信号について、統合識別器によって識別される、変換された音声らしさと、変換元の音声信号について、統合識別器によって識別される、変換元の音声信号の属性コードらしさと、を用いて表される学習規準の値を最小化するように、統合識別器を学習する。これにより、所望の属性の音声信号に変換することができる変換器を学習できる。
　また、本発明の実施の形態に係るデータ変換装置は、属性が異なる変換元の音声信号の各々、及び前記変換元の音声信号の各々の属性を示す属性コードに基づいて、任意の属性コードを入力として変換器によって変換された音声信号について、実音声らしくかつ属性コードらしさと、変換された音声らしさとを識別する統合識別器によって識別される、任意の属性コードらしさ及び変換された音声らしさと、変換元の音声信号の属性コードとは異なる属性コードを入力として変換器によって変換された音声信号について、変換元の音声信号の属性コードを入力として変換器によって再変換された音声信号と、変換元の音声信号との誤差と、を用いて表される学習規準の値を最小化するように予め学習された変換器を用いて音声信号を変換する。これにより、所望の属性の音声信号に変換することができる。
　なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、上述した実施の形態では、データ変換学習装置及びデータ変換装置を別々の装置として構成しているが、一つの装置として構成してもよい。
　また、変換対象となるデータが、音声信号の音響特徴量系列である場合を例に説明したが、これに限定されるものではなく、画像や、映像、テキストなどの特徴量又は特徴量系列を対象としてもよい。
　また、上述のデータ変換学習装置、データ変換装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
１０、６０ 入力部
２０、７０ 演算部
３０ 音響特徴抽出部
３２ 学習部
５０、９０ 出力部
７２ 音響特徴抽出部
７４ データ変換部
７８ 変換音声生成部
８２ プログラム
８４ コンピュータ
１００ データ変換学習装置
１５０ データ変換装置

Claims (6)

  1. 　属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習する学習部であって、
    　任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、
    　前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、
    　を用いて表される学習規準の値を最小化するように、前記変換器を学習し、
    　任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、
    　変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、
    　を用いて表される学習規準の値を最小化するように、前記統合識別器を学習する学習部
    　を含むデータ変換学習装置。
  2. 　前記変換器の学習規準は、更に、
    　前記変換元のデータの属性コードを入力として前記変換器によって変換された前記データと、前記変換元のデータとの距離とを用いて表される請求項１記載のデータ変換学習装置。
  3. 　前記データは、音声信号の音響特徴量系列である請求項１又は請求項２記載のデータ変換学習装置。
  4. 　データ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を用いて、入力された変換元のデータ、及び目標のデータの属性を示す属性コードから、目標のデータを推定するデータ変換部
    　を含み、
    　前記変換器は、
    　属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、
    　任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、
    　前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、
    　を用いて表される学習規準の値を最小化するように予め学習されたものであり、
    　前記統合識別器は、
    　任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、
    　変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、
    　を用いて表される学習規準の値を最小化するように予め学習されたものであるデータ変換装置。
  5. 　学習部が、属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習することであって、
    　任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、
    　前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、
    　を用いて表される学習規準の値を最小化するように、前記変換器を学習し、
    　任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、
    　変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、
    　を用いて表される学習規準の値を最小化するように、前記統合識別器を学習することを含む
    　データ変換学習方法。
  6. 　コンピュータに、
    　属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習することであって、
    　任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、
    　前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、
    　を用いて表される学習規準の値を最小化するように、前記変換器を学習し、
    　任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、
    　変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、
    　を用いて表される学習規準の値を最小化するように、前記統合識別器を学習すること
    　を実行させるためのプログラム。
PCT/JP2020/003691 2019-02-01 2020-01-31 データ変換学習装置、データ変換装置、方法、及びプログラム Ceased WO2020158926A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/427,157 US20220215851A1 (en) 2019-02-01 2020-01-31 Data conversion learning device, data conversion device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-016909 2019-02-01
JP2019016909A JP7225857B2 (ja) 2019-02-01 2019-02-01 データ変換学習装置、データ変換装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020158926A1 true WO2020158926A1 (ja) 2020-08-06

Family

ID=71841107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003691 Ceased WO2020158926A1 (ja) 2019-02-01 2020-01-31 データ変換学習装置、データ変換装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220215851A1 (ja)
JP (1) JP7225857B2 (ja)
WO (1) WO2020158926A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691585B2 (en) * 2017-11-30 2020-06-23 The University Of Massachusetts Efficient software testing system
JP7127419B2 (ja) * 2018-08-13 2022-08-30 日本電信電話株式会社 音声変換学習装置、音声変換装置、方法、及びプログラム
CA3081168A1 (en) * 2019-05-22 2020-11-22 Royal Bank Of Canada System and method for machine learning architecture for partially-observed multimodal data
US11163807B2 (en) * 2019-06-05 2021-11-02 Premier Healthcare Solutions, Inc. System for data structure clustering based on variation in data attribute performance
US11457033B2 (en) * 2019-09-11 2022-09-27 Artificial Intelligence Foundation, Inc. Rapid model retraining for a new attack vector
US11403369B2 (en) * 2020-01-21 2022-08-02 Disney Enterprises, Inc. Secure content processing pipeline

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHOI, YUNJEY: "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation", ARXIV, 21 September 2018 (2018-09-21), pages 1 - 15, XP055641474, Retrieved from the Internet <URL:https://arxiv.org/pdf/1711.09020v3.pdf> [retrieved on 20200313] *
KAMEOKA, HIROKAZU: "StarGAN-VC: Non-parallel many-to-many voice conversion with star generative adversarial networks", ARXIV, 18 December 2018 (2018-12-18), XP033516966, Retrieved from the Internet <URL:https://arxiv.org/pdf/1806.02169v2.pdf> [retrieved on 20200313] *

Also Published As

Publication number Publication date
JP7225857B2 (ja) 2023-02-21
JP2020126308A (ja) 2020-08-20
US20220215851A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
EP3994683B1 (en) Multilingual neural text-to-speech synthesis
CN108447486B (zh) 一种语音翻译方法及装置
JP7127419B2 (ja) 音声変換学習装置、音声変換装置、方法、及びプログラム
JP5768093B2 (ja) 音声処理システム
CN114360491B (zh) 语音合成方法、装置、电子设备及计算机可读存储介质
CN113892135A (zh) 多语言语音合成和跨语言话音克隆
CN109887484A (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
US11894008B2 (en) Signal processing apparatus, training apparatus, and method
WO2024055752A1 (zh) 语音合成模型的训练方法、语音合成方法和相关装置
CN116564269B (zh) 语音数据的处理方法、装置、电子设备和可读存储介质
WO2019240228A1 (ja) 音声変換学習装置、音声変換装置、方法、及びプログラム
CN107480144A (zh) 具备跨语言学习能力的图像自然语言描述生成方法和装置
CN114882868A (zh) 语音合成、情绪迁移、交互方法、存储介质、程序产品
WO2023245389A1 (zh) 歌曲生成方法、装置、电子设备和存储介质
CN113763924B (zh) 声学深度学习模型训练方法、语音生成方法及设备
CN119054014A (zh) 用于将文本注入自动语音辨识训练的对齐预测
CN119547135A (zh) 用于asr的联合语音和文本流式传输模型
CN119479609A (zh) 语音生成方法、装置、设备、存储介质及产品
KR102426020B1 (ko) 한 화자의 적은 음성 데이터로 감정 운율을 담은 음성 합성 방법 및 장치
CN111310847B (zh) 训练要素分类模型的方法和装置
JP7225857B2 (ja) データ変換学習装置、データ変換装置、方法、及びプログラム
CN115294961B (zh) 一种语音合成方法和装置、电子设备及存储介质
JP2005196020A (ja) 音声処理装置と方法並びにプログラム
CN111599342A (zh) 音色选择方法和选择系统
KR102944446B1 (ko) 프롬프트에 기반하여 감정을 표현하는 음성을 합성하는 방법, 장치, 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20749600

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20749600

Country of ref document: EP

Kind code of ref document: A1