WO2020162392A1 - 音信号合成方法およびニューラルネットワークの訓練方法 - Google Patents

音信号合成方法およびニューラルネットワークの訓練方法 Download PDF

Info

Publication number
WO2020162392A1
WO2020162392A1 PCT/JP2020/003926 JP2020003926W WO2020162392A1 WO 2020162392 A1 WO2020162392 A1 WO 2020162392A1 JP 2020003926 W JP2020003926 W JP 2020003926W WO 2020162392 A1 WO2020162392 A1 WO 2020162392A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
component
sound
sound signal
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/003926
Other languages
English (en)
French (fr)
Inventor
竜之介 大道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2020571180A priority Critical patent/JP7359164B2/ja
Publication of WO2020162392A1 publication Critical patent/WO2020162392A1/ja
Priority to US17/392,579 priority patent/US20210366454A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/08—Instruments in which the tones are synthesised from a data store, e.g. computer organs by calculating functions or polynomial approximations to evaluate amplitudes at successive sample points of a tone waveform
    • G10H7/10—Instruments in which the tones are synthesised from a data store, e.g. computer organs by calculating functions or polynomial approximations to evaluate amplitudes at successive sample points of a tone waveform using coefficients or parameters stored in a memory, e.g. Fourier coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/08—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by combining tones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/211—Random number generators, pseudorandom generators, classes of functions therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/471—General musical sound synthesis principles, i.e. sound category-independent synthesis methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/471—General musical sound synthesis principles, i.e. sound category-independent synthesis methods
    • G10H2250/475—FM synthesis, i.e. altering the timbre of simple waveforms by frequency modulating them with frequencies also in the audio range, resulting in different-sounding tones exhibiting more complex waveforms

Definitions

  • Patent Document 3 there has been proposed a sound synthesis technique (hereinafter referred to as a “probabilistic neural vocoder”) that uses a neural network to generate a sound waveform according to a condition input.
  • the probabilistic neural vocoder estimates a probability density distribution regarding samples of a sound signal, or a parameter expressing the probability density distribution, for each time step.
  • the final sound signal sample is determined by generating pseudo-random numbers according to the estimated probability density distribution.
  • the stochastic component Sa(t) is sampled from the probability density distribution generated by the first generation model M1, but the method of generating the stochastic component Sa is not limited to the above examples.
  • a generation model for example, a neural network
  • a generation model such as Parallel WaveNet that uses the first control data Xa and a random number as input and outputs the component value of the stochastic component Sa is used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

コンピュータにより実現される音信号合成方法は、音信号の条件を表す制御データと、音信号の決定的成分を表す第１データおよび音信号の確率的成分を表す第２データとの関係を学習したニューラルネットワークに制御データを入力することで、第１データおよび第２データを推定し、第１データが表す決定的成分と第２データが表す確率的成分とを合成することで音信号を生成する。

Description

音信号合成方法およびニューラルネットワークの訓練方法
　本発明は、音信号を合成する技術に関する。
　例えば音声または楽音等の音には、通常、音高または音韻等の発音条件が同様であれば音源による毎回の発音に共通に含まれる成分（以下「決定的成分」という）と、発音毎にランダムに変化する非周期的な成分（以下「確率的成分」という）とが含まれる。確率的成分は、音の生成過程における確率的な要因により生じる成分である。例えば、確率的成分は、音声において人間の発声器官内の空気の乱流によって生成される成分、または、擦弦楽器の楽音において弦と弓との摩擦によって生成される成分等である。
　音声を合成する音源には、複数の正弦波を加算して音を合成する加算合成音源、ＦＭ変調により音を合成するＦＭ音源、録音した波形をテーブルから読み出して音を生成する波形テーブル音源、自然楽器や電気回路をモデリングして音を合成するモデリング音源等がある。従来の音源には、音信号の決定的成分を高品質に合成できるものはあったが、確率的成分の再現については配慮されておらず、確率的成分を高品質に生成できるものは無かった。これまで、特許文献１や特許文献２に記載されているような種々のノイズ音源も提案されてきたが、確率的成分の強度分布の再現性が低く、生成される音信号の品質の向上が望まれている。
　一方、特許文献３のように、ニューラルネットワークを用いて、条件入力に応じた音波形を生成する音合成技術（以下「確率的ニューラルボコーダ」という）が提案されている。確率的ニューラルボコーダは、時間ステップ毎に、音信号のサンプルに関する確率密度分布、あるいはそれを表現するパラメータを推定する。最終的な音信号のサンプルは、推定された確率密度分布に従う疑似乱数を生成することで確定する。
特開平４－７７７９３号公報 特開平４－１８１９９６号公報 米国特許出願公開第２０１８／０３２２８９１号明細書
　確率的ニューラルボコーダは、確率的成分の確率密度分布を高精度に推定でき、音信号の確率的成分を比較的高品質に合成できるが、ノイズの少ない決定的成分の生成が苦手である。そのため、確率的ニューラルボコーダが生成する決定的成分は、ノイズを含む信号になる傾向があった。以上の事情を考慮して、本開示は、高品質な音信号を合成することを目的とする。
　本開示に係る音信号合成方法は、音信号の条件を表す第２制御データに基づいて前記音信号の決定的成分を表す第１データを生成し、第１生成モデルを用いて、前記音信号の条件を表す第１制御データと前記第１データとに基づいて前記音信号の確率的成分を表す第２データを生成し、前記第１データが表す決定的成分と前記第２データが表す確率的成分とを合成することで前記音信号を生成する。
　本開示に係るニューラルネットワークの訓練方法は、参照信号の決定的成分と確率的成分と前記参照信号に対応する制御データとを取得し、前記制御データに応じて前記決定的成分に応じて前記確率的成分の確率密度分布を推定するように、ニューラルネットワークを訓練する。
音合成装置のハードウェア構成を示すブロック図である。 音合成装置の機能構成を示すブロック図である。 制御データと音信号の時間関係を示す説明図である。 第１訓練部の処理の説明図である。 第１訓練部の処理のフローチャートである。 準備処理のフローチャートである。 第１生成部の処理の説明図である。 音生成処理のフローチャートである。 第２実施形態における音合成装置の機能構成を示すブロック図である。 第３実施形態における第２生成部の処理の説明図である。
Ａ：第１実施形態
　図１は、音合成装置１００のハードウェア構成を例示するブロック図である。音合成装置１００は、制御装置１１と記憶装置１２と表示装置１３と入力装置１４と放音装置１５とを具備するコンピュータシステムである。音合成装置１００は、例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の情報端末である。
　制御装置１１は、１以上のプロセッサにより構成され、音合成装置１００を構成する各要素を制御する。制御装置１１は、例えば、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより構成される。制御装置１１は、合成音の波形を表す時間領域の音信号Ｖを生成する。
　記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する１以上のメモリである。記憶装置１２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、音合成装置１００とは別体の記憶装置１２（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置１１が記憶装置１２に対する書込および読出を実行してもよい。すなわち、記憶装置１２を音合成装置１００から省略してもよい。
　表示装置１３は、制御装置１１が実行した演算の結果を表示する。表示装置１３は、例えば液晶表示パネル等のディスプレイである。表示装置１３を音合成装置１００から省略してもよい。
　入力装置１４は、利用者からの入力を受け付ける。入力装置１４は、例えばタッチパネルである。入力装置１４を音合成装置１００から省略してもよい。
　放音装置１５は、制御装置１１が生成した音信号Ｖが表す音声を再生する。放音装置１５は、例えばスピーカまたはヘッドホンである。なお、音信号Ｖをデジタルからアナログに変換するＤ/Ａ変換器と、音信号Ｖを増幅する増幅器とについては、図示を便宜的に省略した。また、図１では、放音装置１５を音合成装置１００に搭載した構成を例示したが、音合成装置１００とは別体の放音装置１５を音合成装置１００に有線または無線で接続してもよい。
　図２は、音合成装置１００の機能構成を示すブロック図である。制御装置１１は、記憶装置１２に記憶された第１プログラムモジュールを実行することで、音信号Ｖの生成に用いられる第１生成モデルＭ1および音源データＱを準備する準備機能を実現する。準備機能は、解析部１１１、条件付け部１１２、時間合せ部１１３、減算部１１４、第１訓練部１１５および音源データ生成部１１６により実現される。また、制御装置１１は、記憶装置１２に記憶された第１生成モデルＭ1および音源データＱを含む第２プログラムモジュールを実行することで、歌手の歌唱音または楽器の演奏音等の音の波形を表す時間領域の音信号Ｖを生成する音生成機能を実現する。音生成機能は、生成制御部１２１、第１生成部１２２、第２生成部１２３および合成部１２４により実現される。なお、複数の装置の集合（すなわちシステム）で制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路（例えば信号処理回路）で実現してもよい。
　まず、第１生成モデルＭ1と音源データＱとについて説明する。
　第１生成モデルＭ1は、合成されるべき音信号Ｖの確率的成分Ｓaの条件を指定する第１制御データＸaに応じて、時間領域における確率的成分Ｓaの時系列を生成するための統計的モデルである。第１生成モデルＭ1の特性（具体的には入力と出力との間の関係）は、記憶装置１２に記憶された複数の変数（例えば係数およびバイアス等）により規定される。音源データＱは、音信号Ｖの決定的成分Ｄaの生成に適用されるパラメータである。
　決定的成分Ｄa（definitive component）は、音高または音韻等の発音条件が共通すれば音源による毎回の発音に同様に含まれる音響成分である。決定的成分Ｄaは、調波成分（すなわち周期的な成分）を非調波成分と比較して優勢に含む音響成分とも換言される。例えば、音声を発音する声帯の規則的な振動に由来する周期的な成分が決定的成分Ｄaである。他方、確率的成分Ｓa（probability component）は、発音過程における確率的な要因により発生する非周期的な音響成分である。例えば、確率的成分Ｓaは、音声において人間の発声器官内の空気の乱流によって発生する成分、または、擦弦楽器の楽音において弦と弓との摩擦によって生成される成分等である。確率的成分Ｓaは、非調波成分を調波成分と比較して優勢に含む音響成分とも換言される。決定的成分Ｄaは、周期性がある規則的な音響成分であり、確率的成分Ｓaは、確率的に生成される不規則な音響成分であると表現してもよい。
　第１生成モデルＭ1は、確率的成分Ｓaの確率密度分布を生成するニューラルネットワークである。確率密度分布は、確率的成分Ｓaの各値に対応する確率密度値で表現されてもよいし、確率的成分Ｓaの平均値と分散とにより表現されてもよい。ニューラルネットワークは、例えばWaveNetのように、音信号の過去の複数のサンプルに基づいて、現在のサンプルの確率密度分布を推定する回帰的なタイプでもよい。また、ニューラルネットワークは、例えば、CNN（Convolutional Neural Network）またはRNN（Recurrent Neural Network）でもよいし、その組み合わせでもよい。さらに、ニューラルネットワークは、LSTM（Long short-term memory）またはATTENTION等の付加的要素を備えるタイプでもよい。第１生成モデルＭ1の複数の変数は、訓練データを用いた訓練を含む準備機能により確立される。変数が確立された第１生成モデルＭ1は、後述する音生成機能による音信号Ｖの確率的成分Ｓaの生成に使用される。
　音源データＱは、合成されるべき音信号Ｖの決定的成分Ｄaの条件を指定する第２制御データＹaに応じて決定的成分Ｄaの時系列を生成するために、第２生成部１２３が使用するデータである。第２生成部１２３は、第２制御データＹaが指定する決定的成分Ｄa（第１データの一例）の時系列を生成する音源である。音源データＱは、例えば第２生成部１２３の動作を規定する音源パラメータである。
　第２生成部１２３が決定的成分Ｄaの時系列を生成する方式は任意である。第２生成部１２３は、例えば、加算合成音源、波形テーブル音源、ＦＭ音源、モデリング音源、および素片接続型音源の何れかである。この実施形態では、加算合成音源を第２生成部１２３として例示する。加算合成音源に適用される音源データＱは、決定的成分Ｄaに含まれる複数の調波成分の周波数（または位相）と振幅の軌跡を示す調波データである。この調波データは、訓練データに含まれる決定的成分Ｄの各調波成分の軌跡に基づいて作成されてもよいし、ユーザにより任意に編集された各調波の軌跡に基づいて作成されてもよい。
　第１生成モデルＭ1は、時刻ｔにおける決定的成分Ｄa(t)だけでなく、当該時刻ｔの前方の時刻(t-k)から後方の時刻(t+m)までの複数の決定的成分Ｄa(t-k-1:t+m)に基づいて、時刻tの確率的成分Ｓa(t)の確率密度分布を推定する。ここで、kおよびmは、同時に0にならない0以上の任意の整数である。なお、以上の例示の通り、特定の時刻ｔに特に着目する場合には各要素の符号に記号(t)を付加し、任意の時刻ｔについて言及する場合には当該記号(t)を省略する。
　図３は、第１制御データＸaと第２制御データＹaと決定的成分Ｄaと確率的成分Ｓaと音信号Ｖとの時間関係の説明図である。第２生成部１２３は、時刻tよりもサンプルのｋ個分だけ前方の時刻(t-k)までの第２制御データＹa(:t-k)に応じて時刻(t-k)の決定的成分Ｄa(t-k)を生成する。
　図３においては、サンプルのｋ個分に相当する遅延を付加する処理が符号Ｄkで図示されている。第１生成部１２２には、第１制御データＸa(:t-k)をサンプルのｋ個分だけ遅延した第１制御データＸa(:t)と、時刻(t-k)から時刻(t+m)までの複数の決定的成分Ｄa(t-k-1:t+m)とが供給される。複数の決定的成分Ｄa(t-k-1:t+m)は、第２生成部１２３が生成した決定的成分Ｄ(t-k)を、変数ｎ（ｎは０から(k+m)までの正数）に相当するサンプルの個数分だけ遅延することで生成される。第１生成部１２２は、第１生成モデルＭ1を利用して、決定的成分Ｄa(t-k-1:t+m)と第１制御データＸa(t)とに応じた時刻tの確率的成分Ｓa(t)を生成する。
　合成部１２４は、第２生成部１２３が生成した決定的成分Ｄa(t-k)をサンプルのｋ個分だけ遅延した決定的成分Ｄa(t)と、第１生成部１２２が生成した確率的成分Ｓa(t)とを加算することで、音信号Ｖにおける時刻tのサンプルＶ(t)を合成する。以上に説明した通り、第１生成モデルＭ1は、時刻ｔまでの第１制御データＸa(:t)と、その時刻ｔの近傍（時刻(t-k)から時刻(t+m)まで）の複数の決定的成分Ｄa(t-k-1:t+m)とに基づいて、時刻tの確率的成分Ｓa(t)の確率密度分布を推定する。
　図２に例示される通り、記憶装置１２は、第１生成モデルＭ1の訓練のために楽譜データＣと参照信号Ｒとの複数組を記憶する。楽譜データＣは、楽曲の全部または一部の楽譜（すなわち音符の時系列）を表す。例えば、音高と発音期間とを音符毎に指定する時系列データが楽譜データＣとして利用される。歌唱音を合成する場合には音符毎の音韻（例えば発音文字）も楽譜データＣにより指定される。
　各楽譜データＣに対応する参照信号Ｒは、当該楽譜データＣが表す楽譜を演奏することで発音される音の波形を表す。具体的には、参照信号Ｒは、当該楽譜データＣが表す音符の時系列に対応する部分波形の時系列を表す。各参照信号Ｒは、サンプリング周期（例えば、48kHz）毎のサンプルの時系列で構成され、決定的成分Ｄと確率的成分Ｓとを含む音波形を表す時間領域の信号である。なお、参照信号Ｒを収録するための演奏は、人間による楽器の演奏に限らず、歌手による歌唱、または楽器の自動演奏であってもよい。高品質な音信号Ｖを生成可能な第１生成モデルＭ1を機械学習により生成するためには、一般的に十分な数の訓練データが要求される。したがって、多数の楽器または演奏者について多数の演奏の音信号が事前に収録され、参照信号Ｒとして記憶装置１２に記憶される。
　準備機能について説明する。解析部１１１は、複数の楽譜にそれぞれ対応する複数の参照信号Ｒの各々について、周波数領域におけるスペクトルの時系列から決定的成分Ｄを算定する。参照信号Ｒのスペクトルの算定には、例えば離散フーリエ変換等の公知の周波数解析が用いられる。解析部１１１は、参照信号Ｒのスペクトルの時系列から調波成分の軌跡を決定的成分Ｄのスペクトル（以下「決定的スペクトル」という）Ｐの時系列として抽出し、その決定的スペクトルＰの時系列から時間領域の決定的成分Ｄを生成する。
　時間合せ部１１３は、決定的スペクトルＰの時系列に基づき、各参照信号Ｒに対応する楽譜データＣにおける各発音単位の開始時点と終了時点とを、参照信号Ｒにおけるその発音単位に対応する部分波形の開始時点と終了時点とにそれぞれ揃える。すなわち、時間合せ部１１３は、参照信号Ｒのうち楽譜データＣが指定する各発音単位に対応する部分波形を特定する。ここで、発音単位は、例えば、音高と発音期間とで規定される１つの音符である。なお、１つの音符を、音色等の波形の特徴が変化する時点において分割して、複数の発音単位に分けてもよい。
　条件付け部１１２は、各参照信号Ｒに時間が揃えられた楽譜データＣの各発音単位の情報に基づき、その参照信号Ｒの各部分波形に対応する第１制御データＸと第２制御データＹとを生成する。第１制御データＸは第１訓練部１１５に出力され、第２制御データＹは音源データ生成部１１６に出力される。確率的成分Ｓの条件を指定する第１制御データＸは、図４に例示される通り、例えば音高データＸ1と開始停止データＸ2とコンテキストデータＸ3とを含む。音高データＸ1は、部分波形の音高を指定する。音高データＸ1は、ピッチベンドやビブラートによる音高変化を含んでいてもよい。開始停止データＸ2は、部分波形の開始期間（アタック）と終了期間（リリース）とを指定する。コンテキストデータＸ3は、前後の音符との音高差等、前後の１または複数の発音単位との関係を特定する。第１制御データＸは、さらに、楽器、歌手、奏法等、その他の情報を含んでもよい。歌唱音を合成する場合には、例えば発音文字により表現される音韻がコンテキストデータＸ3により指定される。決定的成分Ｄの条件を指定する第２制御データＹは、各発音単位の音高と発音開始タイミングと減衰開始タイミングとを少なくとも指定する。
　図２の減算部１１４は、各参照信号Ｒの決定的成分Ｄを当該参照信号Ｒから減算することで、時間領域の確率的成分Ｓを生成する。ここまでの各機能部の処理により、参照信号Ｒの決定的スペクトルＰ、決定的成分Ｄ、および確率的成分Ｓが得られる。
　以上により、参照信号Ｒと楽譜データＣとの複数組を利用して、第１生成モデルＭ1の訓練用のデータ（以下「単位データ」という）が発音単位毎に得られる。各単位データは、第１制御データＸと決定的成分Ｄと確率的成分Ｓとのセットである。複数の単位データは、第１訓練部１１５による訓練に先立ち、第１生成モデルＭ1の訓練のための訓練データと、第１生成モデルＭ1のテストのためのテストデータとに分けられる。複数の単位データの大部分が訓練データとして選択され、一部がテストデータとして選択される。訓練データによる訓練は、複数の訓練データを所定数毎にバッチとして分割し、バッチ単位で全バッチにわたり順番に行われる。以上の説明から理解される通り、解析部１１１、条件付け部１１２、時間合せ部１１３、および減算部１１４は、複数の訓練データを生成する前処理部として機能する。
　音源データ生成部１１６は、第２制御データＹと決定的成分Ｄとを利用して音源データＱを生成する。具体的には、第２制御データＹの供給により第２生成部１２３が決定的成分Ｄを生成するように、第２生成部１２３の動作を規定する音源データＱが生成される。なお、音源データ生成部１１６による音源データＱの生成に決定的スペクトルＰを利用してもよい。
　第１訓練部１１５は、複数の訓練データを利用して第１生成モデルＭ1を訓練する。具体的には、第１訓練部１１５は、所定数の訓練データをバッチ毎に受け取り、当該バッチに含まれる複数の訓練データの各々における決定的成分Ｄと確率的成分Ｓと第１制御データＸとを利用して第１生成モデルＭ1を訓練する。
　第１訓練部１１５は、複数の訓練データを利用して第１生成モデルＭ1を訓練する。具体的には、第１訓練部１１５は、所定数の訓練データをバッチ毎に受け取り、当該バッチに含まれる複数の訓練データの各々における決定的成分Ｄと確率的成分Ｓと第１制御データＸとを利用して第１生成モデルＭ1を訓練する。
　図４は、第１訓練部１１５の処理を説明する図であり、図５は、第１訓練部１１５がバッチ毎に実行する処理の具体的な手順を例示するフローチャートである。各発音単位の決定的成分Ｄと確率的成分Ｓとは同じ部分波形から生成されたものである。
　第１訓練部１１５は、１つのバッチの各訓練データに含まれる時刻ｔ毎の第１制御データＸ(t)と複数の決定的成分Ｄ(t-k-1:t+m)とを暫定的な第１生成モデルＭ1に順次に入力することで、確率的成分Ｓの確率密度分布（第２データの一例）を訓練データ毎に推定する（Ｓ1）。
　第１訓練部１１５は、確率的成分Ｓの損失関数Ｌを算定する（Ｓ2）。損失関数Ｌは、確率的成分Ｓの損失関数をバッチ内の複数の訓練データについて累積した数値である。確率的成分Ｓの損失関数は、例えば、第１生成モデルＭ1が各訓練データから推定した確率的成分Ｓの確率密度分布に対する、当該訓練データ内の確率的成分Ｓ（すなわち正解値）の対数尤度の符号を反転した数値である。第１訓練部１１５は、損失関数Ｌが低減されるように第１生成モデルＭ1の複数の変数を更新する（Ｓ3）。
　第１訓練部１１５は、各バッチの所定数の訓練データを利用した以上の訓練（Ｓ1～Ｓ3）を、所定の終了条件が成立するまで反復する。終了条件は、例えば、前述のテストデータについて算出される損失関数Ｌの値が十分に小さくなること、または、相前後する訓練の間における損失関数Ｌの変化が十分に小さくなることである。
　こうして確立された第１生成モデルＭ1は、複数の訓練データにおける第１制御データＸおよび決定的成分Ｄと確率的成分Ｓとの間に潜在する関係を学習している。この第１生成モデルＭ1を用いた音生成機能により、未知の第１制御データＸaと決定的成分Ｄaとから高品質な確率的成分Ｓaを生成できる。
　図６は、準備処理のフローチャートである。準備処理は、例えば音合成装置１００の利用者からの指示を契機として開始される。
　準備処理を開始すると、制御装置１１（解析部１１１および減算部１１４）は、複数の参照信号Ｒの各々から決定的成分Ｄと確率的成分Ｓとを生成する（Ｓa1）。制御装置１１（条件付け部１１２および時間合せ部１１３）は、楽譜データＣから第１制御データＸと第２制御データＹとを生成する（Ｓa2）。すなわち、第１制御データＸと決定的成分Ｄと確率的成分Ｓとを含む訓練データが参照信号Ｒの部分波形毎に生成される。制御装置１１（第１訓練部１１５）は、複数の訓練データを利用した機械学習により第１生成モデルＭ1を訓練する（Ｓa3）。第１生成モデルＭ1の訓練（Ｓa3）の具体的な手順は、図４を参照して前述した通りである。次に、制御装置１１（音源データ生成部１１６）は、第２制御データＹと決定的成分Ｄとを利用して音源データＱを生成する（Ｓa4）。なお、第１生成モデルＭ1の訓練（Ｓa3）と音源データＱの生成（Ｓa4）との順序を逆転してもよい。
　続いて、準備機能により準備された第１生成モデルＭ1と音源データＱとを用いて音信号Ｖを生成する音生成機能について説明する。音生成機能は、楽譜データＣaを入力として音信号Ｖを生成する機能である。楽譜データＣaは、例えば楽譜の一部または全部を構成する音符の時系列を指定する時系列データである。歌唱音の音信号Ｖを合成する場合には、音符毎の音韻が楽譜データＣaにより指定される。楽譜データＣaは、例えば表示装置１３に表示される編集画面を参照しながら、利用者が入力装置１４を利用して編集した楽譜を表す。なお、外部装置から通信網を介して受信した楽譜データＣaを利用してもよい。
　図２の生成制御部１２１は、楽譜データＣaの一連の発音単位の情報に基づいて第１制御データＸaと第２制御データＹaとを生成する。第１制御データＸaは、楽譜データＣaが指定する発音単位毎に、音高データＸ1と開始停止データＸ2とコンテキストデータＸ3とを含む。なお、第１制御データＸaには、さらに、楽器、歌手、奏法等、その他の情報を含んでもよい。第２制御データＹaは、決定的成分Ｄの条件を指定するデータであり、各発音単位の音高と発音開始タイミングと減衰開始タイミングとを少なくとも指定する。
　第１生成部１２２は、後述する第２生成部１２３が生成した決定的成分Ｄaを受け取り、第１生成モデルＭ1を用いて、第１制御データＸaと決定的成分Ｄaとに応じた確率的成分Ｓaを生成する。図７は、第１生成部１２２の処理を説明する図である。第１生成部１２２は、第１生成モデルＭ1を用いて、サンプリング周期毎（時刻ｔ毎）に、第１制御データＸa(t)と複数の決定的成分Ｄa(t-k-1:t+m)とに応じた確率的成分Ｓaの確率密度分布（第２データの一例）を推定する。
　第１生成部１２２は、乱数生成部１２２aを含む。乱数生成部１２２aは、確率的成分Ｓaの確率密度分布に従う乱数を生成し、その値をその時刻ｔにおける確率的成分Ｓa(t)として出力する。第１生成部１２２は、時刻ｔに対応する決定的成分Ｄa(t-k-1:t+m)を第１生成モデルＭ1に入力することで確率的成分Ｓaを生成するから、確率的成分Ｓaの時系列は、決定的成分Ｄaの時系列と時間的に相互に対応する。すなわち、決定的成分Ｄaと確率的成分Ｓaとは、合成音における同じ時点のサンプルである。
　図２の第２生成部１２３は、音源データＱを利用して第２制御データＹaに応じた決定的成分Ｄa（第１データの一例）を生成する。具体的には、第２生成部１２３は、音源データＱを参照することで、第２制御データＹaが指定する音高または音色等に応じた調波データを生成する。第２生成部１２３は、調波データを適用した所定の演算により時間領域の決定的成分Ｄaを生成する。例えば、第２生成部１２３は、調波データが表す複数の調波成分を加算することで決定的成分Ｄaを生成する。
　合成部１２４は、決定的成分Ｄaと確率的成分Ｓaとを合成することにより音信号Ｖのサンプルの時系列を合成する。合成部１２４は、例えば決定的成分Ｄaと確率的成分Ｓaとを加算することにより音信号Ｖのサンプルの時系列を合成する。
　図８は、制御装置１１が楽譜データＣaから音信号Ｖを生成する処理（以下「音生成処理」という）のフローチャートである。音生成処理は、例えば音合成装置１００の利用者からの指示を契機として開始される。
　音生成処理を開始すると、制御装置１１（生成制御部１２１）は、楽譜データＣaから発音単位毎の第１制御データＸaと第２制御データＹaとを生成する（Ｓb1）。制御装置１１（第２生成部１２３）は、第２制御データＹaと音源データＱとに応じて決定的成分Ｄaを表す第１データを生成する（Ｓb2）。次に、制御装置１１（第１生成部１２２）は、第１生成モデルＭ1を利用して、第１制御データＸaと決定的成分Ｄaとに応じた確率的成分Ｓaの確率密度分布を表す第２データを生成する（Ｓb3）。制御装置１１（第１生成部１２２）は、確率的成分Ｓaの確率密度分布に応じて確率的成分Ｓaを生成する（Ｓb4）。制御装置１１（合成部１２４）は、決定的成分Ｄaと確率的成分Ｓaとを合成することで、音信号Ｖを生成する（Ｓb5）。
　以上に説明した通り、第１実施形態では、音信号Ｖの条件を表す第２制御データＹaに応じて決定的成分Ｄaが生成され、音信号Ｖの条件を表す第１制御データＸaと決定的成分Ｄaとに応じて確率的成分Ｓaが生成される。したがって、高品質な音信号Ｖの生成が実現される。具体的には、例えば特許文献１または特許文献２の技術と比較して、確率的成分Ｓaの強度分布が忠実に再現された高品質な音信号Ｖが生成される。また、例えば特許文献３の確率的ニューラルボコーダと比較して、ノイズ成分が少ない決定的成分Ｄaが生成される。すなわち、第１実施形態によれば、決定的成分Ｄaおよび確率的成分Ｓaの双方が高品質な音信号Ｖを生成できる。
Ｂ：第２実施形態
　第２実施形態を説明する。なお、以下の各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
　第１実施形態では、第２生成部１２３が音源データＱに応じて決定的成分Ｄaを生成する構成を例示したが、決定的成分Ｄaを生成するための構成は以上の例示に限定されない。第２実施形態では、第２生成モデルＭ2を利用して決定的成分Ｄaを生成する。すなわち、第１実施形態の音源データＱが第２実施形態では第２生成モデルＭ2に置換される。
　図９は、音合成装置１００の機能的な構成を例示するブロック図である。第２実施形態の音合成装置１００は、第１実施形態の音源データ生成部１１６に代えて、第２生成モデルＭ2を訓練する第２訓練部１１７を具備する。第２生成モデルＭ2は、音信号Ｖの条件を指定する第２制御データＹaに応じて音信号Ｖの決定的成分Ｄaを生成するための統計的モデルである。第２生成モデルＭ2の特性（具体的には入力と出力との間の関係）は、記憶装置１２に記憶された複数の変数（例えば係数およびバイアス等）により規定される。第２生成モデルＭ2の変数は、第２訓練部１１７による訓練（すなわち機械学習）により確立される。
　第２生成モデルＭ2は、決定的成分Ｄaを表す第１データを推定するニューラルネットワークである。第２生成モデルＭ2は、例えばCNNまたはRNNである。第２生成モデルＭ2は、LSTMまたはATTENTION等の付加的要素を具備してもよい。第１データは、決定的成分Ｄaのサンプル（すなわち１個の成分値）を表す。
　第２訓練部１１７には、第２制御データＹと決定的成分Ｄとを含む複数の訓練データが供給される。第２制御データＹは、例えば参照信号Ｒの部分波形毎に条件付け部１１２により生成される。第２訓練部１１７は、各訓練データの第２制御データＹを暫定的な第２生成モデルＭ2に入力することで生成される決定的成分Ｄと、当該訓練データの決定的成分Ｄとの間の損失関数が低減されるように、第２生成モデルＭ2の変数を反復的に更新する。したがって、第２生成モデルＭ2は、複数の訓練データにおける第２制御データＹと決定的成分Ｄとの間に潜在する関係を学習する。すなわち、訓練後の第２生成モデルＭ2に未知の第２制御データＹaを入力した場合、当該関係のもとで統計的に妥当な決定的成分Ｄaが第２生成モデルＭ2から出力される。
　第２生成部１２３は、訓練後の第２生成モデルＭ2を利用して、第２制御データＹaに応じた決定的成分Ｄaの時系列を生成する。第１生成部１２２は、第１実施形態と同様に、第１制御データＸa(t)と複数の決定的成分Ｄa(t-k-1:t+m)とに応じた確率的成分Ｓa(t)を生成する。合成部１２４は、第１実施形態と同様に、決定的成分Ｄaと確率的成分Ｓaとから音信号Ｖのサンプルを生成する。
　第２実施形態においては、第１制御データＸaに応じて確率的成分Ｓaが生成され、第２制御データＹaに応じて決定的成分Ｄaが生成される。したがって、第１実施形態と同様に、決定的成分Ｄaおよび確率的成分Ｓaの双方が高音質な音信号Ｖを生成できる。
Ｃ：第３実施形態
　第２実施形態では、第２生成モデルＭ2が決定的成分Ｄaを第１データとして推定した。第３実施形態の第２生成モデルＭ2は、決定的成分Ｄaの確率密度分布を表す第１データを推定する。確率密度分布は、決定的成分Ｄaの各値に対応する確率密度値で表現されてもよいし、決定的成分Ｄaの平均値と分散とにより表現されてもよい。
　第２訓練部１１７は、第２制御データＹaの入力に対して決定的成分Ｄaの確率密度分布を推定するように第２生成モデルＭ2を訓練する。第２訓練部１１７による第２生成モデルＭ2の訓練は、第１実施形態における第１訓練部１１５による第１生成モデルＭ1の訓練と同様の手順で実現される。第２生成部１２３は、訓練後の第２生成モデルＭ2を利用して、第２制御データＹaに応じた決定的成分Ｄaの時系列を生成する。
　図１０は、第２生成部１２３が決定的成分Ｄaを生成する処理の説明図である。第２生成モデルＭ2は、第２制御データＹaの入力に対して決定的成分Ｄaの確率密度関数を推定する。第２生成部１２３は、狭幅部１２３aと乱数生成部１２３bとを含む。狭幅部１２３aは、決定的成分Ｄaの確率密度関数の分散を低減する。例えば、確率密度分布が、決定的成分Ｄaの各値に対応する確率密度値により規定される場合、狭幅部１２３aは、確率密度分布のピークを探索し、当該ピークにおける確率密度値を維持しつつ、ピーク以外の範囲における確率密度値を減少させる。また、決定的成分Ｄaの確率密度分布が平均値と分散とで規定される場合、狭幅部１２３aは、確率密度分布の分散を、１未満の係数の乗算等の演算により低減する。乱数生成部１２３bは、狭幅化された確率密度分布に従う乱数を生成し、当該乱数を決定的成分Ｄaとして出力する。
　第３実施形態においても第２実施形態と同様の効果が実現される。また、第３実施形態では、決定的成分Ｄaの確率密度分布を狭幅化することで、ノイズ成分が少ない決定的成分Ｄaが生成される。したがって、第３実施形態によれば、第２実施形態と比較して、決定的成分Ｄaのノイズ成分が低減された高品質な音信号Ｖを生成できる。ただし、決定的成分Ｄaの確率密度分布の狭小化（狭幅部１２３a）を省略してもよい。
Ｄ：変形例
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）第１実施形態の音生成機能では、楽譜データＣaの一連の発音単位の情報に基づいて、音信号Ｖを生成したが、鍵盤等から供給される発音単位の情報に基づいて、リアルタイムに音信号Ｖを生成してもよい。生成制御部１２１は、各時点の第１制御データＸaを、その時点までに供給された発音単位の情報に基づいて生成する。その場合、第１制御データＸaに含まれるコンテキストデータＸ3には、基本的に、未来の発音単位の情報を含むことができないが、過去の情報から未来の発音単位の情報を予測して、未来の発音単位の情報を含めてもよい。また、生成される音信号Ｖ(t)のレイテンシを減らすため、図３の遅延量kを小さい値にする必要がある。それにより、第１生成モデルＭ1に供給できる決定的成分Ｄa(t-k-1:t+m)の範囲が制限されるが、大きな問題はない。
（２）決定的成分Ｄの生成方法は、実施形態において説明したような、参照信号Ｒのスペクトルにおける調波成分の軌跡を抽出する方法には限らない。例えば、同じ第１制御データＸに対応する複数の発音単位の部分波形を、スペクトル操作等により相互に位相をそろえて平均をとり、その平均の波形を決定的成分Ｄとしてもよい。或いは、Bonada, Jordi氏の論文「High quality voice transformations based on modeling radiated voice pulses in frequency domain.」（Proc. Digital Audio Effects (DAFx). Vol. 3. 2004.）において、振幅スペクトル包絡と位相スペクトル包絡から推定される１周期分のパルス波形を、決定的成分Ｄとして用いてもよい。
（３）前述の各形態では、準備機能および音生成機能の双方を具備する音合成装置１００を例示したが、音生成機能を具備する音合成装置１００とは別個の装置（以下「機械学習装置」という）に準備機能を搭載してもよい。機械学習装置は、前述の各形態で例示した準備機能により第１生成モデルＭ1を生成する。例えば音合成装置１００と通信可能なサーバ装置により機械学習装置が実現される。機械学習装置による訓練後の第１生成モデルＭ1が音合成装置１００に搭載され、音信号Ｖの生成に利用される。機械学習装置が音源データＱを生成して音合成装置１００に転送してもよい。なお、第２実施形態または第３実施形態の第２生成モデルＭ2も機械学習装置により生成される。
（４）前述の各形態においては、第１生成モデルＭ1が生成する確率密度分布から確率的成分Ｓa(t)をサンプリングしたが、確率的成分Ｓaを生成する方法は以上の例示に限定されない。例えば、以上のサンプリングの過程（すなわち確率的成分Ｓaの生成過程）を模擬する生成モデル（例えばニューラルネットワーク）を確率的成分Ｓaの生成に利用してもよい。具体的には、例えばParallel WaveNetのように、第１制御データＸaと乱数とを入力として確率的成分Ｓaの成分値を出力する生成モデルが利用される。
（５）携帯電話機またはスマートフォン等の端末装置との間で通信するサーバ装置により音合成装置１００を実現してもよい。例えば、音合成装置１００は、端末装置から受信した楽譜データＣaから音生成機能により音信号Ｖを生成し、当該音信号Ｖを端末装置に送信する。なお、生成制御部１２１を端末装置に搭載してもよい。音合成装置１００は、端末装置の生成制御部１２１が生成した第１制御データＸaおよび第２制御データＹaを当該端末装置から受信し、第１制御データＸaおよび第２制御データＹaに応じた音信号Ｖを音生成機能により生成して端末装置に送信する。以上の説明から理解される通り、生成制御部１２１は音合成装置１００から省略される。
（６）前述の各形態に係る音合成装置１００は、各形態での例示の通り、コンピュータ（具体的には制御装置１１）とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置が、前述の非一過性の記録媒体に相当する。
１００…音合成装置、１１…制御装置、１２…記憶装置、１３…表示装置、１４…入力装置、１５…放音装置、１１１…解析部、１１２…条件付け部、１１３…時間合せ部、１１４…減算部、１１５…第１訓練部、１１６…音源データ生成部、１１７…第２訓練部、１２１…生成制御部、１２２…第１生成部、１２２a，１２３b…乱数生成部、１２３…第２生成部、１２３a…狭幅部、１２４…合成部。

Claims (8)

  1. 　音信号の条件を表す第２制御データに基づいて前記音信号の決定的成分を表す第１データを生成し、
    　第１生成モデルを用いて、前記音信号の条件を表す第１制御データと前記第１データとに基づいて前記音信号の確率的成分を表す第２データを生成し、
    　前記第１データが表す決定的成分と前記第２データが表す確率的成分とを合成することで前記音信号を生成する
    　コンピュータにより実現される音信号合成方法。
  2. 　前記音信号の生成においては、前記決定的成分と前記確率的成分とを加算する
    　請求項１に記載の音信号合成方法。
  3. 　前記第２データは、前記確率的成分の確率密度分布を表すデータであり、
    　前記音信号合成方法は、さらに、前記第２データが表す前記確率密度分布に従う乱数を生成することで前記確率的成分を生成し、
    　前記音信号の生成においては、前記第１データが表す前記決定的成分と前記乱数の生成により生成された前記確率的成分とを合成することで前記音信号を生成する
    　請求項１または２に記載の音信号合成方法。
  4. 　前記第１生成モデルは、前記第１制御データおよび前記第１データを入力として前記第２データを推定するニューラルネットワークである
    　請求項１から３のいずれかに記載の音信号合成方法。
  5. 　前記第２データの推定においては、前記ニューラルネットワークにより、複数の時刻の各々における前記第２データを、前記第１制御データと、当該時刻の近傍の相異なる時刻に対応する複数の第１データと基づいて推定する
    　請求項４に記載の音信号合成方法。
  6. 　前記第１データの生成においては、加算合成音源、波形テーブル音源、ＦＭ音源、モデリング音源、素片接続型音源の何れかにより、前記第１データを生成する
    　請求項１から５のいずれかに記載の音信号合成方法。
  7. 　前記第１データの生成においては、ニューラルネットワークを用いて前記第１データを生成する
    　請求項１から５のいずれかに記載の音信号合成方法。
  8. 　参照信号の決定的成分と確率的成分と前記参照信号に対応する制御データとを取得し、
    　前記制御データに応じて前記決定的成分に応じて前記確率的成分の確率密度分布を推定するように、ニューラルネットワークを訓練する
    　ニューラルネットワークの訓練方法。
PCT/JP2020/003926 2019-02-06 2020-02-03 音信号合成方法およびニューラルネットワークの訓練方法 Ceased WO2020162392A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020571180A JP7359164B2 (ja) 2019-02-06 2020-02-03 音信号合成方法およびニューラルネットワークの訓練方法
US17/392,579 US20210366454A1 (en) 2019-02-06 2021-08-03 Sound signal synthesis method, neural network training method, and sound synthesizer

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019019625 2019-02-06
JP2019-019625 2019-02-06
JP2019028452 2019-02-20
JP2019-028452 2019-02-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/392,579 Continuation US20210366454A1 (en) 2019-02-06 2021-08-03 Sound signal synthesis method, neural network training method, and sound synthesizer

Publications (1)

Publication Number Publication Date
WO2020162392A1 true WO2020162392A1 (ja) 2020-08-13

Family

ID=71947344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003926 Ceased WO2020162392A1 (ja) 2019-02-06 2020-02-03 音信号合成方法およびニューラルネットワークの訓練方法

Country Status (3)

Country Link
US (1) US20210366454A1 (ja)
JP (1) JP7359164B2 (ja)
WO (1) WO2020162392A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700762A (zh) * 2020-12-23 2021-04-23 武汉理工大学 一种基于缸压信号的汽车声音合成方法及装置
WO2023068228A1 (ja) * 2021-10-18 2023-04-27 ヤマハ株式会社 音響処理方法、音響処理システムおよびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020194098A (ja) * 2019-05-29 2020-12-03 ヤマハ株式会社 推定モデル確立方法、推定モデル確立装置、プログラムおよび訓練データ準備方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05158478A (ja) * 1991-12-04 1993-06-25 Kawai Musical Instr Mfg Co Ltd 電子楽器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4067762B2 (ja) * 2000-12-28 2008-03-26 ヤマハ株式会社 歌唱合成装置
GB2480108B (en) * 2010-05-07 2012-08-29 Toshiba Res Europ Ltd A speech processing method an apparatus
JP6802958B2 (ja) * 2017-02-28 2020-12-23 国立研究開発法人情報通信研究機構 音声合成システム、音声合成プログラムおよび音声合成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05158478A (ja) * 1991-12-04 1993-06-25 Kawai Musical Instr Mfg Co Ltd 電子楽器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700762A (zh) * 2020-12-23 2021-04-23 武汉理工大学 一种基于缸压信号的汽车声音合成方法及装置
CN112700762B (zh) * 2020-12-23 2022-10-04 武汉理工大学 一种基于缸压信号的汽车声音合成方法及装置
WO2023068228A1 (ja) * 2021-10-18 2023-04-27 ヤマハ株式会社 音響処理方法、音響処理システムおよびプログラム
JPWO2023068228A1 (ja) * 2021-10-18 2023-04-27

Also Published As

Publication number Publication date
JPWO2020162392A1 (ja) 2020-08-13
JP7359164B2 (ja) 2023-10-11
US20210366454A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
JP6733644B2 (ja) 音声合成方法、音声合成システムおよびプログラム
JP6724932B2 (ja) 音声合成方法、音声合成システムおよびプログラム
JP6737320B2 (ja) 音響処理方法、音響処理システムおよびプログラム
JP7067669B2 (ja) 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム
US20210366454A1 (en) Sound signal synthesis method, neural network training method, and sound synthesizer
US20210350783A1 (en) Sound signal synthesis method, neural network training method, and sound synthesizer
US11875777B2 (en) Information processing method, estimation model construction method, information processing device, and estimation model constructing device
CN112289289A (zh) 一种可编辑的普遍音色合成分析系统及方法
WO2020241641A1 (ja) 生成モデル確立方法、生成モデル確立システム、プログラムおよび訓練データ準備方法
US11756558B2 (en) Sound signal generation method, generative model training method, sound signal generation system, and recording medium
JP7740068B2 (ja) 音響生成方法、音響生成システムおよびプログラム
US20210366455A1 (en) Sound signal synthesis method, generative model training method, sound signal synthesis system, and recording medium
CN118103905A (zh) 音响处理方法、音响处理系统及程序
JP7107427B2 (ja) 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム
De Poli et al. Sound modeling: signal-based approaches
SHI Extending the sound of the guzheng
Santacruz et al. VOICE2TUBA: transforming singing voice into a musical instrument
WO2025004653A1 (ja) 音響処理方法、音響処理システムおよびプログラム
CN116805480A (zh) 音响设备及该音响设备的参数输出方法
Serra et al. Synthesis of the singing voice by performance sampling and spectral models
Nunn Analysis and resynthesis of polyphonic music

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20752016

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20752016

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020571180

Country of ref document: JP

Kind code of ref document: A