JP5188300B2 - 基本周波数軌跡モデルパラメータ抽出装置、基本周波数軌跡モデルパラメータ抽出方法、プログラム及び記録媒体 - Google Patents

基本周波数軌跡モデルパラメータ抽出装置、基本周波数軌跡モデルパラメータ抽出方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP5188300B2
JP5188300B2 JP2008183223A JP2008183223A JP5188300B2 JP 5188300 B2 JP5188300 B2 JP 5188300B2 JP 2008183223 A JP2008183223 A JP 2008183223A JP 2008183223 A JP2008183223 A JP 2008183223A JP 5188300 B2 JP5188300 B2 JP 5188300B2
Authority
JP
Japan
Prior art keywords
fundamental frequency
series
target value
time series
pitch target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008183223A
Other languages
English (en)
Other versions
JP2010020258A (ja
Inventor
弘和 亀岡
邦夫 柏野
康智 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008183223A priority Critical patent/JP5188300B2/ja
Publication of JP2010020258A publication Critical patent/JP2010020258A/ja
Application granted granted Critical
Publication of JP5188300B2 publication Critical patent/JP5188300B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、基本周波数軌跡から、音高目標値および基本周波数生成系のフィルタ特性を推定するための基本周波数軌跡モデルパラメータ抽出装置、基本周波数軌跡モデルパラメータ抽出方法、プログラム及び記録媒体に関する。
歌唱音響信号から推定される基本周波数(F0)軌跡には、歌唱者が歌おうとする音高目標値の時系列と歌唱力・歌唱スタイル・個人性・感情に基づく様々な動的変動が観測される。歌声は、多くのジャンルの音楽を特徴付ける重要な要素の1つであり、この歌声のF0軌跡に着目した様々な研究が現在盛んに行われている。特に、歌声から楽曲を検索するハミング検索では、歌唱された歌声のF0軌跡から、歌唱者の意図する音高列を正しく推定して、楽曲データベースの旋律と照合する必要がある。
従来、F0軌跡そのものをDPマッチングによって照合する方法が提案されている(例えば、非特許文献1、非特許文献2参照)。しかしながら、これら従来技術では、歌声の動的変動の影響を受けて検索性能が低下するという問題があった。
ところで、オーバーシュートや、ビブラートのようなF0軌跡の動的変動は、歌声知覚に影響を与え、歌声の自然性を保つためには必要不可欠な成分であることが知られている。そこで、これらの動的変動を制御する2次系F0制御モデルが提案され、自然性、かつ、明瞭性のある歌声合成技術が実現されている(例えば、非特許文献3参照)。つまり、楽譜に相当する階段状の信号に2次系のインパルス応答を畳み込むことが、歌声のF0軌跡の生成モデルとして有効であることが示された。
橋口博樹、西村拓一、張建新、滝田順子、岡隆一、"モデル依存傾斜制限型の連続DPを用いた鼻歌入力による楽曲信号のスポッティング検索,"電子情報通信学会論文誌D-II, Vol. J84-D-II, No. 12, pp. 2479-2488, 2001. Adams, N. H. et al., "Time Series Alignment for Music Information Retrieval," In Proc. ISMIR 2004, 2004. Saitou, T., Unoki, M. and Akagi, M., "Development of an F0 control model based on F0 dynamic characteristics for singing-voice synthesis," Speech Communication, Vol. 46, pp. 405-417, 2005.
しかしながら、上述した非特許文献3による従来技術では、制御パラメータが手作業あるいは規則に基づいて決定されるものであり、F0軌跡から自動推定する方法は確立されていない。つまり、音声認識や音声合成で提案される学習アルゴリズムの枠組みが、上述した歌声合成技術では確立されていない。すなわち、入力となる階段状の信号および2次系の制御パラメータがいずれも未知の下で、観測されるF0軌跡だけから、それらを推定することは不良設定問題であり、その解法は提案されていない。
本発明は、このような事情を考慮してなされたものであり、その目的は、動的変動そのものを適切にモデル化し、F0軌跡のみから旋律を構成する音高列を正しく推定することができる基本周波数軌跡モデルパラメータ抽出装置、基本周波数軌跡モデルパラメータ抽出方法、プログラム及び記録媒体を提供することにある。
上述した課題を解決するために、本発明は、基本周波数軌跡から、音高目標値および基本周波数生成系のフィルタ特性を推定する基本周波数軌跡モデルパラメータ抽出装置であって、入力される音響信号から観測基本周波数時系列を抽出する基本周波数抽出手段と、前記基本周波数抽出手段により抽出された観測基本周波数時系列をフレーム分割するフレーム分割手段と、前記基本周波数抽出手段により抽出された観測基本周波数時系列に基づいて、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する初期音高目標値系列を生成する初期音高目標値生成手段と、前記初期音高目標値生成手段により生成された初期音高目標値時系列と前記フレーム分割手段によりフレーム分割された観測基本周波数系列とに基づいて、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表す、フィルタの特性パラメータを更新し、逆フィルタ出力値系列と特性パラメータとを生成する逆フィルタ出力値系列更新手段と、全てのフレームの逆フィルタ出力値系列と観測基本周波数系列とから、音高目標値時系列を生成する音高目標値更新手段と、前記逆フィルタ出力値系列更新手段により生成された特性パラメータと前記音高目標値更新手段により生成された音高目標値時系列とが所定の規準を満たしているか否かを判定し、所定の規準を満たしていないと判定された場合に、所定の規準を満たすまで、前記逆フィルタ出力値系列更新手段と前記音高目標値更新手段による処理を再度行なわせる収束判定手段と、前記収束判定手段により所定の規準を満たすと判定された場合に、その特性パラメータと音高目標値時系列とを出力する基本周波数軌跡パラメータ出力手段とを備え、前記逆フィルタ出力値系列更新手段は、前記観測基本周波数時系列y=(y ,…,y 、前記音高目標値時系列m=(m q1 ,…,m qN とし、定数行列B、Aを、下記式(25)とし、B はBの転置行列を表わすものとし、y=(y ,…,y は、y からy を縦に並べたベクトルを表わし、行列のi,j成分がx i,j から構成される行列X=(X i,j )と書くとき、Tr (f) (X)を、下記式(26)で表わし、D を下記式(27)で表した場合に下記式(24)を解いて、α (f) 、β (f) 、γ (f) を求め、求まったα (f) 、β (f) 、γ (f) と前記定数行列B、Aとを用い、特徴パラメータ行列W (f) を、下記式(28)により算出して出力し、これにより、前記逆フィルタ出力値系列を、下記式(29)により求めて出力し、前記音高目標値更新手段は、前記基本周波数抽出において出力された観測基本周波数時系列y ,…,y と、前記逆フィルタ出力値系列を入力して、前記逆フィルタ出力値系列の成分である下記式(36)と、前記観測基本周波数時系列の要素yを含んだフレーム番号の集合である下記式(42)を用いて、下記式(37)、下記式(38)、下記式(39)、下記式(40)、下記式(41)の各式による動的計画法に基づいて再帰計算を行い、前記音高目標値時系列m q1 ,m q2 ,…,m qN を更新することを特徴とする基本周波数軌跡モデルパラメータ抽出装置である。
本発明は、基本周波数軌跡から、音高目標値および基本周波数生成系のフィルタ特性を推定する基本周波数軌跡モデルパラメータ抽出装置であって、入力される音響信号から観測基本周波数時系列を抽出する基本周波数抽出手段と、前記基本周波数抽出手段により抽出された観測基本周波数時系列をフレーム分割するフレーム分割手段と、前記基本周波数抽出手段により抽出された観測基本周波数時系列に基づいて、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する初期音高目標値系列を生成する初期音高目標値生成手段と、前記初期音高目標値生成手段により生成された初期音高目標値時系列と前記フレーム分割手段によりフレーム分割された観測基本周波数系列とに基づいて、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表す、フィルタの特性パラメータを更新し、逆フィルタ出力値系列と特性パラメータとを生成する逆フィルタ出力値系列更新手段と、全てのフレームの逆フィルタ出力値系列と観測基本周波数系列とから、音高目標値時系列を生成する音高目標値更新手段と、前記逆フィルタ出力値系列更新手段により生成された特性パラメータと前記音高目標値更新手段により生成された音高目標値時系列とが所定の規準を満たしているか否かを判定し、所定の規準を満たしていないと判定された場合に、所定の規準を満たすまで、前記逆フィルタ出力値系列更新手段と前記音高目標値更新手段による処理を再度行なわせる収束判定手段と、前記収束判定手段により所定の規準を満たすと判定された場合に、その特性パラメータと音高目標値時系列とを出力する基本周波数軌跡パラメータ出力手段とを備え、前記逆フィルタ出力値系列更新手段は、行列m (f) を下記式(32)で表わし、行列Uを下記式(33)で表した場合に、下記式(30)により計算されるベクトルw=(w ,…,w M−1 の要素w ,…,w N−1 を、下記式(31)に代入して特徴パラメータ行列W (f) を出力し、下記式(34)により前記逆フィルタ出力値系列を求めて出力し、前記音高目標値更新手段は、前記基本周波数抽出において出力された観測基本周波数時系列y ,…,y と、前記逆フィルタ出力値系列を入力して、前記逆フィルタ出力値系列の成分である下記式(36)と、前記観測基本周波数時系列の要素yを含んだフレーム番号の集合である下記式(42)を用いて、下記式(37)、下記式(38)、下記式(39)、下記式(40)、下記式(41)、の各式による動的計画法に基づいて再帰計算を行い、前記音高目標値時系列m q1 ,m q2 ,…,m qN を更新することを特徴とする基本周波数軌跡モデルパラメータ抽出装置である。
本発明は、上記の発明において、前記逆フィルタ出力値系列更新手段は、Toeplitz型行列で示される特徴パラメータ行列Wにおいて、下記式(98)のJの値が最小となるような前記特徴パラメータ行列Wの各成分w,w,・・・,wN−1を求めることにより前記特徴パラメータ行列Wを決定することを特徴とする。
また、上述した課題を解決するために、本発明は、基本周波数軌跡から、音高目標値および基本周波数生成系のフィルタ特性を推定する基本周波数軌跡モデルパラメータ抽出方法であって、入力される音響信号から観測基本周波数時系列を抽出する基本周波数抽出ステップと、前記抽出された観測基本周波数時系列をフレーム分割するフレーム分割ステップと、前記抽出された観測基本周波数時系列に基づいて、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する初期音高目標値系列を生成する初期音高目標値生成ステップと、前記生成された初期音高目標値時系列と前記フレーム分割された観測基本周波数系列とに基づいて、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表す、フィルタの特性パラメータを更新し、逆フィルタ出力値系列と特性パラメータとを生成する逆フィルタ出力値系列更新ステップと、全てのフレームの逆フィルタ出力値系列と観測基本周波数系列とから、音高目標値時系列を生成する音高目標値更新ステップと、前記生成された特性パラメータと前記生成された音高目標値時系列とが所定の規準を満たしているか否かを判定する判定ステップと、前記所定の規準を満たしていないと判定された場合に、所定の規準を満たすまで、前記逆フィルタ出力値系列更新ステップと前記音高目標値更新ステップによる処理を再度行なわせる再帰ステップと、前記所定の規準を満たすと判定された場合に、その特性パラメータと音高目標値時系列とを出力する基本周波数軌跡パラメータ出力ステップとを含み、前記逆フィルタ出力値系列更新ステップにおいて、前記観測基本周波数時系列y=(y ,…,y 、前記音高目標値時系列m=(m q1 ,…,m qN とし、定数行列B、Aを、下記式(25)とし、B はBの転置行列を表わすものとし、y=(y ,…,y は、y からy を縦に並べたベクトルを表わし、行列のi,j成分がx i,j から構成される行列X=(X i,j )と書くとき、Tr (f) (X)を、下記式(26)で表わし、D を下記式(27)で表した場合に、下記式(24)を解いて、α (f) 、β (f) 、γ (f) を求め、求まったα (f) 、β (f) 、γ (f) と前記定数行列B、Aとを用い、特徴パラメータ行列W (f) を、下記式(28)により算出して出力し、これにより、前記逆フィルタ出力値系列を、下記式(29)により求めて出力し、前記音高目標値更新ステップにおいて、前記基本周波数抽出において出力された観測基本周波数時系列y ,…,y と、前記逆フィルタ出力値系列を入力して、前記逆フィルタ出力値系列の成分である下記式(36)と、前記観測基本周波数時系列の要素yを含んだフレーム番号の集合である下記式(42)を用いて、下記式(37)、下記式(38)、下記式(39)、下記式(40)、下記式(41)の各式による動的計画法に基づいて再帰計算を行い、前記音高目標値時系列m q1 ,m q2 ,…,m qN を更新することを特徴とする基本周波数軌跡モデルパラメータ抽出方法である。
また、上述した課題を解決するために、本発明は、基本周波数軌跡から、音高目標値および基本周波数生成系のフィルタ特性を推定する基本周波数軌跡モデルパラメータ抽出方法であって、入力される音響信号から観測基本周波数時系列を抽出する基本周波数抽出ステップと、前記抽出された観測基本周波数時系列をフレーム分割するフレーム分割ステップと、前記抽出された観測基本周波数時系列に基づいて、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する初期音高目標値系列を生成する初期音高目標値生成ステップと、前記生成された初期音高目標値時系列と前記フレーム分割された観測基本周波数系列とに基づいて、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表す、フィルタの特性パラメータを更新し、逆フィルタ出力値系列と特性パラメータとを生成する逆フィルタ出力値系列更新ステップと、全てのフレームの逆フィルタ出力値系列と観測基本周波数系列とから、音高目標値時系列を生成する音高目標値更新ステップと、前記生成された特性パラメータと前記生成された音高目標値時系列とが所定の規準を満たしているか否かを判定する判定ステップと、前記所定の規準を満たしていないと判定された場合に、所定の規準を満たすまで、前記逆フィルタ出力値系列更新ステップと前記音高目標値更新ステップによる処理を再度行なわせる再帰ステップと、前記所定の規準を満たすと判定された場合に、その特性パラメータと音高目標値時系列とを出力する基本周波数軌跡パラメータ出力ステップとを含み、前記逆フィルタ出力値系列更新ステップにおいて、行列m (f) を下記式(32)で表わし、行列Uを下記式(33)で表した場合に、下記式(30)により計算されるベクトルw=(w ,…,w M−1 の要素w ,…,w N−1 を、下記式(31)に代入して特徴パラメータ行列W (f) を出力し、下記式(34)により前記逆フィルタ出力値系列を求めて出力し、前記音高目標値更新ステップにおいて、前記基本周波数抽出において出力された観測基本周波数時系列y ,…,y と、前記逆フィルタ出力値系列を入力して、前記逆フィルタ出力値系列の成分である下記式(36)と、前記観測基本周波数時系列の要素yを含んだフレーム番号の集合である下記式(42)を用いて、下記式(37)、下記式(38)、下記式(39)、下記式(40)、下記式(41)の各式による動的計画法に基づいて再帰計算を行い、前記音高目標値時系列m q1 ,m q2 ,…,m qN を更新することを特徴とする基本周波数軌跡モデルパラメータ抽出方法である。
本発明は、上記の発明において、前記逆フィルタ出力値系列更新ステップは、Toeplitz型行列で示される特徴パラメータ行列Wにおいて、下記式(98)のJの値が最小となるような前記特徴パラメータ行列Wの各成分w,w,・・・,wN−1を求めることにより前記特徴パラメータ行列Wを決定することを特徴とする。
また、上述した課題を解決するために、本発明は、上述の基本周波数軌跡モデルパラメータ抽出方法の各ステップをコンピュータにより実行させるためのプログラムである。
また、上述した課題を解決するために、本発明は、上述のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
この発明によれば、入力される音響信号から観測基本周波数時系列を抽出し、抽出された観測基本周波数時系列をフレーム分割し、抽出された観測基本周波数時系列に基づいて、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する初期音高目標値系列を生成し、生成された初期音高目標値時系列とフレーム分割された観測基本周波数系列とに基づいて、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表す、フィルタの特性パラメータを更新し、逆フィルタ出力値系列と特性パラメータとを生成し、全てのフレームの逆フィルタ出力値系列と観測基本周波数系列とから、音高目標値時系列を生成し、生成された特性パラメータと生成された音高目標値時系列とが所定の規準を満たしているか否かを判定し、所定の規準を満たしていないと判定された場合に、所定の規準を満たすまで、逆フィルタ出力値系列更新と前記音高目標値更新による処理を再度行なわせ、所定の規準を満たすと判定された場合に、その特性パラメータと音高目標値時系列とを出力する。したがって、動的変動そのものを適切にモデル化することができ、F0軌跡のみから旋律を構成する音高列を正しく推定することができるという利点が得られる。つまり、F0軌跡に含まれる動的変動そのものを適切にモデル化できるため、高精度なハミング検索や高品質な歌声合成が可能となる。
以下、本発明の一実施形態を、図面を参照して説明する。
A.原理
まず、本発明の原理について説明する。なお、以下の説明において、記号Nはサンプル数を示し、記号≡は、左辺の式を右辺の式で定義することを意味し、記号∝は、左辺が右辺と比例することを意味する。また、確率(遷移確率)を記号Pで表わすこととする。
A−1.基本周波数抽出過程
音響信号を入力として観測基本周波数時系列を出力する。出力した観測基本周波数時系列を次式(1)と表す。
Figure 0005188300
以後、yのことをサンプルnにおける観測基本周波数と呼ぶことにする。また、サンプルnは、時刻n△に対応するものとする。ここで、△をサンプリング周期と呼ぶ。
A−2.フレーム分割過程
基本周波数抽出過程1において出力された観測基本周波数時系列を適当なフレーム長およびフレームシフト長により複数のフレームに分ける。フレーム番号をfとし、f番目のフレームにおける観測基本周波数の集合を、次式(2)と置く。
Figure 0005188300
また、集合У(f)の要素を縦に並べたベクトルを、次式(3)と置く。
Figure 0005188300
但し、Tはフレームシフト長、Mはフレーム長である。また、Fはフレーム数である。例えば、フレーム長Mが4点、フレームシフト長Tが2点の場合、次式(4)に示すようになる。
Figure 0005188300
A−3.初期音高目標値生成過程
基本周波数抽出過程1において出力された観測基本周波数時系列y,…,yを入力として、次式(5)で示される、音高目標値時系列の初期値を生成する。
Figure 0005188300
但し、qを「状態」と呼び、各時刻nおいて1,2,…,I(Iは正の整数)の中のいずれかの値をとる。例えば、I=3とすると、次式(6)のようになる。
Figure 0005188300
は、iに対応した実数値を表し、m,…,m,…,mを「音高目標値集合」と呼ぶ。従って、mq1,…,mqnは、状態系列q,…,qに対応した実数値列を表し、これを「音高目標値時系列」と呼ぶ。例えば、m=50、m=150、m=125とし、qを数式(6)とすると、mq1,…,mqnは、次式(7)となる。
Figure 0005188300
音高目標値時系列の初期値mq1,mq2,…,mqNは、具体的には以下のような2つのステップにより求める。
A−3−1.音高目標値時系列生成過程(状態系列q,…,qの決定)
,…,mを適当に設定し(例えば、12平均律音階に対応する周波数値)、動的計画法に基づいて、数式(8)〜(11)に示すように、以下のような再帰計算を行なう。
Sa1.初期化:
Figure 0005188300
Sa2.再帰計算:
Figure 0005188300
Sa3.終了:
Figure 0005188300
Sa4.バックトラック:
Figure 0005188300
A−3−2.音高目標値集合生成過程(音高目標値集合m,…,mの決定)
ステップSa1により決まったq1,…,qNをそれぞれ次式(12)と置き、次式(13)により、数式(14)を求める。
Figure 0005188300
Figure 0005188300
Figure 0005188300
以上より求まった、数式(12)、(14)を用いて、次式(15)で示す、音高目標値時系列の初期値が求まる。
Figure 0005188300
但し、Pi,j(i,j∈{1,…,I})は、予め設定しておく定数であり、「状態iから状態jへの行きやすさ(難しさ)」を表す。例えば、Pi,jを大きめ、Pi,j(i≠j)を小さめにとると、mq1,…,mqnは、移り変わりの少ない安定した階段状の系列として推定されやすくなる。逆に、Pi,jを小さめ、Pi,j(i≠j)を大きめにとると、mq1,…,mqnは、同じ値に長く留まろうとしないようになり、移り変わりの激しい系列として推定されやすくなる。このように、定数Pi,j(i,j∈{1,…,I})は、音高目標値系列の移り変わりの激しさを調節するための定数である。
A−4.逆フィルタ出力値更新過程
音高目標値時系列と観測基本周波数系列とを入力として、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表すフィルタの特性パラメータを更新し、特性パラメータの更新値と逆フィルタ出力値とを生成する。
A−4−1.数値微分フィルタ係数算出過程
数値微分フィルタ係数算出過程A−4−1では、以上のように、適当な1階数値微分係数{a}と2階数値微分係数{b}を任意に設定する。
1階数値微分係数{a}は、任意のサンプリング時刻における観測基本周波数の1階微分を近似するために用いる係数である。具体的には、時刻n△における観測基本周波数の1階微分は、結合係数a1−n,…,aN−nによるy,…,yの線形結合によって次式(16)で近似できる。
Figure 0005188300
この結合係数{a}選び方には任意性があり、例えば、数式(16)が時刻n△における観測基本周波数の1階微分の良い近似を与える結合係数の例として、次式(17)が挙げられる(詳細は後述)。
Figure 0005188300
時刻n△における観測基本周波数の1階微分を、前後の観測値yn+1,yn−1の差分(中心差分)で近似する場合が1階数値微分係数のシンプルな例の1つであり、この場合、結合係数は、次式(18)で表わされる。
Figure 0005188300
他に、後退差分で近似する場合には、次式(19)となり、
Figure 0005188300
前進差分で近似する場合には、次式(20)となる。
Figure 0005188300
同様に、各サンプリング時刻n△における観測基本周波数の2階微分は、結合係数b1−n,…,bN−nによるy,…,yの線形結合は、次式(21)によって近似できる。
Figure 0005188300
この結合係数{b}の選び方には、やはり任意性があり、例えば、数式(21)が時刻n△における観測基本周波数の2階微分の良い近似を与える結合係数の例として、次式(22)が挙げられる。
Figure 0005188300
前進差分商と後退差分商の差分商とで近似する場合には、次式(23)となる。
Figure 0005188300
他にも2階微分の近似を与える結合係数は多数あるが、ここでは省略する。
A−4−2.微分方程式逆フィルタ出力更新値生成過程
この微分方程式逆フィルタ出力更新値生成過程A−4−2では、フレーム毎の特性パラメータ行列W(f)及び逆フィルタ出力更新値を生成する。具体的には、前段で出力した音高目標値時系列mq1,mq2,…,mqNと、数値微分フィルタ係数算出過程4−1で設定した1階数値微分係数{a}と2階数値微分係数{b}とを用いて、次式(24)を解いて、α(f)、β(f)、γ(f)を求める。
Figure 0005188300
但し、ベクトルy=(y,…,y、ベクトルm=(mq1,…,mqNとし、定数行列B、Aは、次式(25)の通りである。また、BはBの転置行列を表わすものとし、y=(y,…,yは、下記に示すようにyからyを縦に並べたベクトルを表わす。
Figure 0005188300
また、行列のi,j成分がxi,jから構成される行列X=(Xi,j)と書くと、Tr(f)(X)は、次式(26)で表わされる。但し、Dは、次式(27)で表わされる。
Figure 0005188300
Figure 0005188300
求まったα(f)、β(f)、γ(f)と定数行列B、Aとを用い、特徴パラメータ行列W(f)を、次式(28)として出力する。これにより、逆フィルタ出力値系列は、次式(29)により求めて出力する。
Figure 0005188300
Figure 0005188300
なお、逆フィルタ出力値更新過程(A−4)は、下記の式(83)のJの値を最大にするような特徴パラメータ行列Wを求める処理である。このときWを式(28)で定義し、パラメータα,β,γを求めることで、下記の式(83)のJの値を最大にするようなWを算出する方法が、「微分方程式逆フィルタ出力更新値生成過程(A−4−2)」である。
A−4−3.差分方程式逆フィルタ出力更新値生成過程
該差分方程式逆フィルタ出力更新値生成過程A−4−3では、次式(30)により計算されるベクトルw=(w,…,wM−1の要素w,…,wN−1を、次式(31)のように代入して特徴パラメータ行列W(f)を出力する。
Figure 0005188300
Figure 0005188300
但し、行列m(f)は、次式(32)で表わされ、行列Uは、次式(33)で表わされる。
Figure 0005188300
Figure 0005188300
これにより、逆フィルタ出力値系列を、次式(34)で求めて出力する。
Figure 0005188300
但し、行列0は、成分がすべて0のL次元縦ベクトルとする。
なお、上述した通り、逆フィルタ出力値更新過程(A−4)は、下記の式(83)のJの値を最大にするような特徴パラメータ行列Wを求める処理である。このときWをToeplitz型行列である式(31)で定義し、下記式(98)のJの値を最小にするWの各成分w,w,・・・,wN−1を決定することにより、下記の式(83)のJの値を最大にするような特徴パラメータ行列Wを算出する方法が、「差分方程式逆フィルタ出力更新値生成過程(A−4−3)」である。つまり、式(30),式(31)は、下記式(98)のJの値を最小にするWの各成分w,w,・・・,wN−1を決定するための具体的な計算方法の一つであり、式(30),式(31)を再帰的に計算することによって最適なWに近づけることができる。
A−5.音高目標値更新過程
基本周波数抽出過程A−1において出力された観測基本周波数時系列y1,…,yNと、逆フィルタ出力値系列を入力として、次式(35)で表わされる音高目標値時系列を更新する。
Figure 0005188300
前段で求めたベクトル(=逆フィルタ出力値系列)の成分、すなわち、数式(36)で示される成分を用いて、音高目標値時系列mq1,mq2,…,mqNを以下の2つのステップにより求める。
Figure 0005188300
A−5−1.音高目標値時系列更新過程(状態系列q,…,qの決定)
前段で出力されたm,…,mを用い、動的計画法に基づいて、数式(37)〜(41)に示すように、以下のような再帰計算を行う。
Sb1.初期化:
Figure 0005188300
Sb2.再帰計算:
Figure 0005188300
Figure 0005188300
Sb3.終了:
Figure 0005188300
Sb4.バックトラック:
Figure 0005188300
但し、εは、観測yを含んだフレーム番号の集合、すなわち、次式(42)で表わされる。
Figure 0005188300
A−5−2.音高目標値集合更新過程5−2(音高目標値集合m,…,mの決定)
上記ステップSb1により求めたq,…,qを用いて、集合C(i=1,…,I)を次式(43)により更新する。
Figure 0005188300
これを用いて、次式(44)により、m,…,mを求める。但し、|C|、|ε|は、それぞれ集合C、εの要素数を表す。以上より求めたq,…,qとm,…,mを用いて、音高目標値時系列mq1,mq2,…,mqNが求まる。
Figure 0005188300
A−6.収束判定過程
反復計算が所定の回数を満たしたか否か、あるいは、反復計算においてパラメータの更新の変化率が所定値以下になったか否か、あるいは、目的関数値の変化率が所定値以下になったか否かを判定する。
B.歌唱の基本周波数制御モデル
歌唱の基本周波数(F0)軌跡は、歌唱者が頭の中で思い描く旋律(ステップ状成分からなる階段関数)に、歌唱者の表現意図や身体的特性による動的変動成分が付加されて観測される。本発明は、観測されるF0軌跡から、歌唱者が歌おうとする旋律概形と歌唱者ごとに異なる動的変動成分とを分離する手法に関する。
B−1.2階の微分方程式に基づくF0制御
F0軌跡の動的特性は、次式(45)で示される、2次系の制御システムを用いて良く表現できる。
Figure 0005188300
ここで、歌唱者が頭の中で思い描く旋律概形を、ステップ状成分からなる階段関数u(t)と表現する。このu(t)を入力としたときに、数式(45)に従ってF0軌跡y(t)が観測されるものとする。はじめに、このシステムの伝達関数G(s)を求め、その特性を確認する。まず、数式(45)の両辺をラプラス変換する。Y(s)=L[y(t)]とすると、関数y(t)のn階導関数y(n)(t)のラプラス変換は、次式(46)と書ける。
Figure 0005188300
y(0)=0、u(0)=0とし、数式(45)の両辺をラプラス変換すると、次式(47)で表される。
Figure 0005188300
伝達関数は、G(s)=Y(s)/U(s)で表されるので、次式(48)となる。
Figure 0005188300
一方、制動2次系伝達関数H(s)は、一般的に、次式(48)のように記述される。
Figure 0005188300
この伝達関数のステップ応答を図1に示す。ζ=0では、定常振動となり、これは音高安定時間が持続した場合に観測される4〜7[Hz]の周期的な振動であるビブラートに対応すると考える。さらに、(|ζ|<1)では減衰振動となり、これは音高遷移時に目的音高より大きく振れてしまうオーバーシュートに対応すると考える。このように、音高遷移における基本周波数の挙動を2次系の制御システムは適切に表現できる。また、パラメータΩ、ζ、Kと数式(45)の微分方程式の係数α、β、γとの関係は、次式(50)の通りである。
Figure 0005188300
B−2.差分方程式への変換
連続時間信号を扱う数式(45)の微分方程式を、離散時間信号を扱う差分方程式に変換する。連続時間信号y(t)が、Nyquist周波数より低い帯域制限を受けた信号であると仮定すると、このy(t)は、対応する離散時間信号yと連続時間信号sinc(πt/△)の離散畳込みで、次式(51)に示すように表現することができる。
Figure 0005188300
ここで、△はサンプリング周期とする。数式(51)よりy(t)の1階微分、2階微分は、それぞれ数式(52)、(53)となる。
Figure 0005188300
Figure 0005188300
ここで、t=n△における1階微分は、次式(54)で表わされる。
Figure 0005188300
観測N点だけで上記微分の近似を行うと、次式(55)となる。
Figure 0005188300
同様に、t=n△における2階微分は、次式(56)で表わされる。
Figure 0005188300
これを同様に観測N点だけで近似を行うと、次式(57)となる。
Figure 0005188300
数式(55)と数式(57)を数式(45)の微分方程式に代入すると、次式(58)で表わされる。
Figure 0005188300
上記数式(58)は、y=(y,y,…,y、u=(u,u,…,uと置くと、次式(59)に示すように簡潔に表現できる。
Figure 0005188300
但し、行列B、Aは、次式(60)の通りである。
Figure 0005188300
Figure 0005188300
数式(59)の線形方程式のパラメータは、実際には、α、β、γの3つ(行列B、Aは定数行列)であるが、次式(61)のように置き、行列W=(Wi,j)の要素が、WがToeplitz型であるという拘束つきの自由パラメータであるような状況も併せて考えることにする(数式(59)が成立するための必要条件は、WがToeplitz型であることによる)。すなわち、α、β、γを推定すべきパラメータとする問題(以降、「ケース1」)、及び、行列Wの要素Wi,jをToeplitz行列の拘束条件の下で推定すべきパラメータとする問題(以後、「ケース2」)を、以後同時並行的に検討する。
B−3.階段関数uのモデル化
システムの入力となる旋律概形を表す階段関数unは、図2に示すような状態集合S={S,…,S}からなるHMM(隠れマルコフモデル)を利用して、以下のようにモデル化する。すなわち、1回の状態遷移によりサンプル点が1個生成されるモデルであり、状態によって出力の統計的な傾向が異なる。ここでは、式の見やすさのため、S=iとし、次式(62)で表わす。
Figure 0005188300
すなわち、数式(63)、(64)で表わされる。
Figure 0005188300
Figure 0005188300
Siは、状態Sにおける出力確率分布(正規分布)の平均を表す。一様なマルコフ連鎖を想定し、状態Sから状態Sへの遷移確率は、P(S|S)と表す。ここで、遷移確率P(S|S)は、定数とする。前述したPi,jは、logP(S|S)のことである。同じ状態へ遷移する遷移確率P(S|S)を自己遷移確率といい、これが大きいほど同じ状態に留まろうとする傾向が強くなる。qは、状態集合Sの要素(HMMの状態番号)の中のいずれかの値をとる。従って、状態系列q,…,qと、各時刻の状態における出力確率分布の平均mqnによって階段関数が決定される。
B−4.F0制御モデルのパラメータの解釈
上述では、2階の微分方程式を利用したF0制御モデルと、入力となる階段階数とをモデル化した。以上より、ケース1では、次式(65)が、ケース2では、次式(66)が推定したいパラメータである。
Figure 0005188300
Figure 0005188300
ここで、各パラメータメータの解釈を図3を参照して説明する。まず、微分方程式の係数α、β、γ、あるいは(Wi,j)は、歌声の動的変動を表すパラメータである。音高が安定するときの振動であったり、音高遷移における連続的なダイナミクスを表現する。状態系列q,…,qは、音高が安定する長さを決定するパラメータである。これは、必ずしも楽譜に記される音符の長さに対応するわけではなく、歌唱者の意図や、歌唱スタイルに基づいて生成される運動指令の長さを表現したものであると、ここでは想定している。最後に、HMMの各状態の平均mS1,…,mSIは、歌唱者が意図する旋律の音高(音高目標値)に対応するパラメータである。これは、必ずしも楽譜に記される音符の音高(客観的に定まっている音高値)には対応しない。
C.F0制御モデルのパラメータ最尤推定
微分方程式の係数α、β、γと、階段関数をモデル化する状態系列q,…,q、各状態の正規分布の平均mSl,…,mSIを、観測系列y=(y,…,yから最尤推定する方法について述べる。
観測系列が線形差分方程式に理想的に従うならば、数式(59)を解けば良いが、実際には、理想的な差分方程式からの誤差があると考えられる。そこで、次式(67)と次式(68)との間に、数式(69)が成り立つと仮定する。
Figure 0005188300
Figure 0005188300
Figure 0005188300
但し、行列W、B、A、mは、それぞれ、次式(70)、(71)、(72)で表わされる。
Figure 0005188300
Figure 0005188300
Figure 0005188300
ここで、εの要素εは平均0、分散σの正規分布に従う互いにGauss性白色雑音である。いま、観測系列yに対するパラメータΘの尤度は、数式(69)より、次式(73)となるから、多次元正規分布であることが分かり、その正規化係数は、次式(74)とすればよく、結局、次式(75)のような形となる。
Figure 0005188300
Figure 0005188300
Figure 0005188300
このとき、パラメータΘの対数尤度は、次式(76)となる。
Figure 0005188300
パラメータΘの事後確率は、次式(77)であるので、ここで、次式(78)が成り立つとすると、次式(79)と表すことができる。
Figure 0005188300
Figure 0005188300
Figure 0005188300
ここで、事前確率P(α,β,γ)とP(mS1,…,mSI)は一様分布とし、P(q,…,q)は、先に述べたようにHMMによる一様なマルコフ連鎖を想定している。このため、次式(80)で表わすことができる。
Figure 0005188300
遷移確率(P)(Si|Sj)は、事前に決定する定数である。以後、簡単のため、次式(81)で表わすことにする。したがって、次式(82)となる。
Figure 0005188300
Figure 0005188300
以上より、数式(76)と数式(80)を、数式(79)に代入し、定数項を除いた次式(83)がパラメータΘに関して最大化したい目的関数である。
Figure 0005188300
しかし、数式(83)を最大化するパラメータΘは、解析的に求めることができない。そこで、Θの各要素(微分方程式の係数、ガウス性雑音の分散、状態系列、状態の出力分布の平均)に関して、他の要素を固定した下で、数式(83)を最大化するステップを、数式(83)の値が収束するまで繰り返す。
C−1.特徴パラメータ行列Wの更新
状態系列q,…,q、HMMの各状態の正規分布の平均値mS1,…,mSIを固定したとき、数式(83)を最大にするWを求めたい。ここでは、これを実現する3つの解法について説明する。
C−1−1.解法1(微分方程式逆フィルタを用いた方法)
ここでは、ケース1(自由パラメータはα、β、γ)を想定する。上記数式(83)の右辺の第2項は、第3項に比べてJへの寄与が無視できるほど小さいと仮定し、次式(84)を最小化するα、β、γが、Jを最大化するものと近似的に見なす。
Figure 0005188300
をαに関して偏微分すると、次式(85)を得る。
Figure 0005188300
これを0と置くと、次式(86)となる。
Figure 0005188300
また、同様に、J1をβ及びγに関して偏微分して0と置くと、次式(87)、(88)を得る。
Figure 0005188300
Figure 0005188300
以上より立てられる次式(89)の正規方程式を解けばよい。
Figure 0005188300
すなわち、次式(90)がα、β、γの更新値となる。
Figure 0005188300
また、以上により求めたα、β、γを用い、雑音の分散推定値が次式(91)により求まる。
Figure 0005188300
C−1−2.解法2(逆フィルタを用いた方法)
ここでも、ケース1(自由パラメータはα、β、γ)を想定する。解放1のように、数式(83)の第2項(log|W|)の寄与を無視しないとすると、Jを最大化するα、β、γは解析的に求まらない。そこで、ここでは、α、β、γの更新値を勾配法により数値計算する方法について説明する。以下で与えられる、Jのα、β、γに関する勾配ベクトル▽Jにより、最急降下法、共役勾配法、準ニュートン法などが適用できる。
Figure 0005188300
Figure 0005188300
Figure 0005188300
Figure 0005188300
また、勾配法により、α、β、γを更新するごとに、雑音の分散推定値σを、次式(96)により更新する。
Figure 0005188300
C−1−3.解法3(差分方程式逆フィルタを用いた方法)
ここでは、ケース2(自由パラメータは行列Wの要素)を想定する。行列Wを、以下のように対角成分が、次式(97)で示すように、全て1のToeplitz型の上三角行列と仮定し、α、β、γの代わりに、w,…,w(M≦N−1)をパラメータとして求める。但し、w=0(m≧M+1)とする。
Figure 0005188300
すなわち、ここでは、行列Wに関して数式(70)のような要素に関する拘束を仮定しない代わりに、数式(97)のような構造の拘束を与える。
このとき、|W|=1であることに注意すると、log|W|=0であるので、次式(98)を最小化するw,…,wを求めればよい。
Figure 0005188300
行列WはToeplitz行列のため、ベクトルw=(w,…,wN−1とすると、次式(99)で表わされる。
Figure 0005188300
但し、行列Uは、次式(100)で表わされる。
Figure 0005188300
したがって、Jは、次式(101)で表わされる。
Figure 0005188300
これを行列wに関して偏微分して0と置くと、次式(102)で表わされる正規方程式を得る。
Figure 0005188300
これを解くと、次式(103)を得る。
Figure 0005188300
以上により求まった行列wの要素を数式(97)に基づいて、行列Wの中に代入すれば、Toeplitz型の拘束条件の下での最適な行列Wを求めたことになる。また、以上により求まった行列Wを用い、雑音の分散推定値が次式(104)により求まる。
Figure 0005188300
C−2.状態系列q,…,qの推定
特徴パラメータ行列W、HMMの各状態における正規分布の平均値mS1,…,mSIを固定したとき、状態系列q,…,qに関して数式(83)の最大化を考える。つまり、数式(83)から関係する項だけを取り出して、次式(105)と置き、これを最大にする最適な状態系列q,…,qを求める。但し、次式(106)が成立するものとする。
Figure 0005188300
Figure 0005188300
この問題は、ビタビ(Viterbi)アルゴリズム(動的計画法)により効率的に解くことができる。まず、次のような、最初から時刻kに状態Sに至るまでの部分系列に関する最適な状態系列について、次式(107)のような量が定義されているとする。
Figure 0005188300
この量は、漸化式で、次式(108)のようにして得られる。
Figure 0005188300
これをk=Nまで計算すれば、最適経路が求められる。
図4にアルゴリズムを示す。図において、まず、次式(109)に従って初期化を行う(ステップSc1)。
Figure 0005188300
次に、次式(110)に従って再帰処理を行う(ステップSc2)。
Figure 0005188300
次に、次式(111)に従って終了処理を行う(ステップSc3)。
Figure 0005188300
そして、次式(112)で示されるように、状態系列のバックトラックを行う(ステップSc4)。
Figure 0005188300
C−3.HMMの各状態の出現確率分布(正規分布)の平均mS1,…,mSIの推定
特徴パラメータ行列Wと状態系列q,…,qを固定したとき、数式(83)が最大となるように、HMMの各状態における正規分布の平均mS1,…,mSIを更新する。つまり、数式(83)からms1,…,mSIに関係する項だけを取り出して符号を反転した、次式(113)で示される値の最小化を考えればよい。
Figure 0005188300
すなわち、次式(114)を解くと、次式(115)を得る。
Figure 0005188300
Figure 0005188300
ここで、集合C={n|q=S}とし、|C|をその要素数とする。数式(115)より、各状態における正規分布の平均mSiが更新される。以上は、前述したビタビアルゴリズムによって求められた最適な状態系列を用いて、HMMの各状態のパラメータを学習する操作であるため、しばしばビタビ学習と呼ばれる。最終的に状態系列q,…,qとHMMの各状態の正規分布の平均値mS1,…,mSIから、次式(116)で示される入力の階段階数u、すなわち、行列mが求まる。
Figure 0005188300
C−4.初期値設定
初期値設定では、B−1、B−2、B−3で説明した3段階のパラメータ推定を、パラメータΘの対数事後確率が収束するまで順番に繰り返す。しかし、以上の反復法によるパラメータ推定は、初期値を適切に設定しないと、局所解に収束してしまう。この問題に対処するため、推定手順の前半に2つの初期値設定、すなわち第1の初期値設定及び第2の初期値設定を行う。
第1の初期値設定では、観測系列yに、B−2で説明したビタビアルゴリズムを適用する。ここでは、次式(117)に示す値を最小化する状態系列q1,…,qNを、前述したB−2と同様の方法で求め、これを次式(118)で示す初期状態系列とする。
Figure 0005188300
Figure 0005188300
第2の初期値設定では、第1の初期値設定で求めた初期状態系列をもとにHMMの各状態の正規分布の平均を求める。すなわち、次式(119)、(120)を解き、次式(121)を得て、これを次式(122)とする。
Figure 0005188300
Figure 0005188300
Figure 0005188300
Figure 0005188300
以上のように、初期値設定の段階で、観測系列yから、ある程度の階段関数unの概形を推定することにより、局所解に収束してしまうことを防ぐことが可能となる。
D.時変なF0制御モデルへの拡張
前述では、特徴パラメータ行列Wは、時不変なものとして推定を行ったが、観測系列フレームと呼ぶ区間に分割し(但し、区間は重複してもよい)、α、β、γ、あるいは特徴パラメータ行列Wを、フレーム毎に自由度もつパラメータと見なして推定するようにしてもよい。
(実施例)
図5は、本実施形態による、基本周波数軌跡モデルパラメータ抽出装置の構成を示すブロック図である。図において、基本周波数抽出部1は、入力される音響信号から観測基本周波数時系列を抽出する。初期音高目標値生成部2は、抽出された観測基本周波数時系列を入力として、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する音高目標値の初期値の時系列、すなわち、初期音高目標値系列を生成する。フレーム分割部3は、観測基本周波数時系列をフレーム分割する。
逆フィルタ出力値系列更新部4は、初期音高目標値時系列とフレーム分割された観測基本周波数系列とを入力として、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表すフィルタの特性パラメータを更新し、観測基本周波数系列から逆フィルタ出力値系列と特性パラメータとを生成する。音高目標値更新部5は、全てのフレームの逆フィルタ出力値系列と観測基本周波数系列とを入力として、音高目標値時系列を生成する。
収束判定部6は、特性パラメータと音高目標値時系列とが所定の規準を満たしているかどうかを判定し、満たしていない場合には、逆フィルタ出力値系列更新部4と音高目標値更新部5とに再処理させる。基本周波数軌跡パラメータ出力部7は、収束判定部6において所定の規準を満たすと判定された特性パラメータと音高目標値時系列とを出力する。
図6は、本実施形態において、逆フィルタ出力値系列更新部4で、前述した逆フィルタを用いる第1動作例(C−1−2.解法2)を説明するためのフローチャートである。まず、基本周波数抽出部1は、入力される音響信号から観測基本周波数時系列yを抽出する(ステップSA1)。次に、初期音高目標値生成部2は、抽出された観測基本周波数時系列yを入力として、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する音高目標値の初期値の時系列、すなわち、初期音高目標値系列minitを生成する(ステップSA2)。フレーム分割部3は、観測基本周波数時系列をフレーム分割し、観測基本周波数系列У(1),…,У(F)、y(1),…,y(F)を出力する(ステップSA3)。
次に、逆フィルタ出力値系列更新部4は、初期音高目標値時系列minitとフレーム分割された観測基本周波数系列У(1),…,У(F)、y(1),…,y(F)とを入力として、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表すフィルタの特性パラメータを更新し、観測基本周波数系列から逆フィルタ出力値系列u^(1),…,u^(F)と特性パラメータW(1),…,W(F)とを生成する(ステップSA4)。次に、音高目標値更新部5は、全てのフレームの逆フィルタ出力値系列u^(1),…,u^(F)と観測基本周波数系列y(1),…,y(F)とを入力として、音高目標値時系列mを生成する(ステップSA4)。
収束判定部6は、特性パラメータW(1),…,W(F)と音高目標値時系列mとが所定の規準を満たしているかどうかを判定し(ステップSA6)、満たしていない場合には(ステップSA6のNG)、ステップSA4に戻り、逆フィルタ出力値系列更新と音高目標値更新とを再実行する。一方、収束判定部6において所定の規準を満たすと判定された場合には(ステップSA6の収束)、基本周波数軌跡パラメータ出力部7は、特性パラメータW(1),…,W(F)と音高目標値時系列mとを出力する(ステップSA7)。
次に、図7は、本実施形態において、逆フィルタ出力値系列更新部4で、前述したA−4−1、A−4−2で説明した微分方程式逆フィルタを用いる第1動作例(C−1−1.解法1)を説明するためのフローチャートである。
まず、基本周波数抽出部1は、入力される音響信号から観測基本周波数時系列yを抽出する(ステップSB1)。次に、初期音高目標値生成部2は、抽出された観測基本周波数時系列yを入力として、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する音高目標値の初期値の時系列、すなわち、初期音高目標値系列minitを生成する(ステップSB2)。フレーム分割部3は、観測基本周波数時系列をフレーム分割し、観測基本周波数系列У(1),…,У(F)、y(1),…,y(F)を出力する(ステップSB3)。
次に、逆フィルタ出力値系列更新部4は、前述したA−4−1で説明したように、適当な1階数値微分係数と2階数値微分係数を用いて、数値微分フィルタ係数A、Bを算出し(ステップSB4)、該数値微分フィルタ係数A、Bと、初期音高目標値時系列minitと、フレーム分割された観測基本周波数系列У(1),…,У(F)、y(1),…,y(F)とを入力として、前述したA−4−2で説明したように、適当な1階数値微分係数と2階数値微分係数を用いて、フレーム毎の逆フィルタ出力値系列u^(1),…,u^(F)と特性パラメータW(1),…,W(F)とを生成する(ステップSB4)。
次に、音高目標値更新部5は、全てのフレームの逆フィルタ出力値系列u^(1),…,u^(F)と観測基本周波数系列y(1),…,y(F)とを入力として、音高目標値時系列mを生成する(ステップSB5)。収束判定部6は、特性パラメータW(1),…,W(F)と音高目標値時系列mとが所定の規準を満たしているかどうかを判定し(ステップSB7)、満たしていない場合には(ステップSB7のNG)、ステップSB5に戻り、微分方程式逆フィルタ出力値系列更新と音高目標値更新とを再実行する。一方、収束判定部6において所定の規準を満たすと判定された場合には(ステップSB7の収束)、基本周波数軌跡パラメータ出力部7は、特性パラメータW(1),…,W(F)と音高目標値時系列mとを出力する(ステップSB8)。
次に、図8は、本実施形態において、逆フィルタ出力値系列更新部4で、前述したA−4−3で説明した差分方程式逆フィルタを用いる第2動作例(C−1−3.解法3)を説明するためのフローチャートである。まず、基本周波数抽出部1は、入力される音響信号から観測基本周波数時系列yを抽出する(ステップSC1)。次に、初期音高目標値生成部2は、抽出された観測基本周波数時系列yを入力として、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する音高目標値の初期値の時系列、すなわち、初期音高目標値系列minitを生成する(ステップSC2)。フレーム分割部3は、観測基本周波数時系列をフレーム分割し、観測基本周波数系列У(1),…,У(F)、y(1),…,y(F)を出力する(ステップSC3)。
次に、逆フィルタ出力値系列更新部4は、初期音高目標値時系列minitと、フレーム分割された観測基本周波数系列У(1),…,У(F)、y(1),…,y(F)とを入力として、前述したA−4−3で説明したように、フレーム毎の逆フィルタ出力値系列u^(1),…,u^(F)と特性パラメータW(1),…,W(F)とを生成する(ステップSC4)。
次に、音高目標値更新部5は、全てのフレームの逆フィルタ出力値系列u^(1),…,u^(F)と観測基本周波数系列y(1),…,y(F)とを入力として、音高目標値時系列mを生成する(ステップSC5)。収束判定部6は、特性パラメータW(1),…,W(F)と音高目標値時系列mとが所定の規準を満たしているかどうかを判定し(ステップSC6)、満たしていない場合には(ステップSC6のNG)、ステップSC4に戻り、差分方程式逆フィルタ出力値系列更新と音高目標値更新とを再実行する。一方、収束判定部6において所定の規準を満たすと判定された場合には(ステップSC6の収束)、基本周波数軌跡パラメータ出力部7は、特性パラメータW(1),…,W(F)と音高目標値時系列mとを出力する(ステップSC7)。
上述した実施形態によれば、歌声知覚に対しての妥当性が確認された2次系歌声生成モデルの制御パラメータを実データから教師なし学習する枠組みが確立されれば、歌声合成技術が飛躍的に向上させることができる。例えば、従来不可能であった歌唱スタイルの転写が実現される。歌唱者Aの歌い方を制御パラメータから学習し、旋律aを表す階段状の信号に畳み込むことによって、歌唱者Aの歌い方による旋律aの歌声を自動生成できる。
また、上述した実施形態によれば、表現豊かな歌い方を制御パラメータによって予め学習することで、高品質な歌声合成が期待される。
さらに、カラオケ採点システムへの応用も考えられる。これまで、歌唱力の自動評価手法が提案されているが、聴取実験に基づいて様々な評価尺度を提案し、歌の上手・下手の2クラス識別を行っているものの、歌い方を精密にモデル化するまでには至っていない。これに対して、上述した実施形態によれば、制御パラメータを評価尺度に利用することで、性能向上を図ることができる。
また、上述した実施形態においては、基本周波数抽出部1、初期音高目標値生成部2、フレーム分割部3、逆フィルタ出力値系列更新部4、音高目標値更新部5、収束判定部6、基本周波数軌跡パラメータ出力部7は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されていてもよく、このプログラムをコンピュータが読み出して実行することによって、上記処理を行うようにしてもよい。すなわち、放送装置5における、各処理手段、処理部は、CPU等の中央演算処理装置がROMやRAM等の主記憶装置に上記プログラムを読み出して、情報の加工・演算処理を実行することにより、実現するようにしてもよい。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
2次系伝達関数のステップ応答を示す概念図である。 階段関数uのモデル化を説明するための概念図である。 F0制御パラメータの解釈を説明するための概念図である。 最適な状態系列を求めるためのビタビアルゴリズムの一例を示す概念図である。 本実施形態による、基本周波数軌跡モデルパラメータ抽出装置の構成を示すブロック図である。 本実施形態において、逆フィルタ出力値系列更新部4で、前述した逆フィルタを用いる第1動作例(C−1−2.解法2)を説明するためのフローチャートである。 本実施形態において、逆フィルタ出力値系列更新部4で、前述したA−4−1、A−4−2で説明した微分方程式逆フィルタを用いる第1動作例(C−1−1.解法1)を説明するためのフローチャートである。 本実施形態において、逆フィルタ出力値系列更新部4で、前述したA−4−3で説明した差分方程式逆フィルタを用いる第2動作例(C−1−3.解法3)を説明するためのフローチャートである。
符号の説明
1 基本周波数抽出部
2 初期音高目標値生成部
3 フレーム分割部
4 逆フィルタ出力値系列更新部
5 音高目標値更新部
6 収束判定部
7 基本周波数軌跡パラメータ出力部

Claims (8)

  1. 基本周波数軌跡から、音高目標値および基本周波数生成系のフィルタ特性を推定する基本周波数軌跡モデルパラメータ抽出装置であって、
    入力される音響信号から観測基本周波数時系列を抽出する基本周波数抽出手段と、
    前記基本周波数抽出手段により抽出された観測基本周波数時系列をフレーム分割するフレーム分割手段と、
    前記基本周波数抽出手段により抽出された観測基本周波数時系列に基づいて、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する初期音高目標値系列を生成する初期音高目標値生成手段と、
    前記初期音高目標値生成手段により生成された初期音高目標値時系列と前記フレーム分割手段によりフレーム分割された観測基本周波数系列とに基づいて、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表す、フィルタの特性パラメータを更新し、逆フィルタ出力値系列と特性パラメータとを生成する逆フィルタ出力値系列更新手段と、
    全てのフレームの逆フィルタ出力値系列と観測基本周波数系列とから、音高目標値時系列を生成する音高目標値更新手段と、
    前記逆フィルタ出力値系列更新手段により生成された特性パラメータと前記音高目標値更新手段により生成された音高目標値時系列とが所定の規準を満たしているか否かを判定し、所定の規準を満たしていないと判定された場合に、所定の規準を満たすまで、前記逆フィルタ出力値系列更新手段と前記音高目標値更新手段による処理を再度行なわせる収束判定手段と、
    前記収束判定手段により所定の規準を満たすと判定された場合に、その特性パラメータと音高目標値時系列とを出力する基本周波数軌跡パラメータ出力手段と
    を備え
    前記逆フィルタ出力値系列更新手段は、
    前記観測基本周波数時系列y=(y ,…,y 、前記音高目標値時系列m=(m q1 ,…,m qN とし、
    定数行列B、Aを、
    Figure 0005188300
    とし、
    はBの転置行列を表わすものとし、
    y=(y ,…,y は、y からy を縦に並べたベクトルを表わし、
    行列のi,j成分がx i,j から構成される行列X=(X i,j )と書くとき、Tr (f) (X)を、
    Figure 0005188300
    で表わし、D
    Figure 0005188300
    で表した場合に
    Figure 0005188300
    を解いて、α (f) 、β (f) 、γ (f) を求め、
    求まったα (f) 、β (f) 、γ (f) と前記定数行列B、Aとを用い、特徴パラメータ行列W (f) を、
    Figure 0005188300
    により算出して出力し、これにより、前記逆フィルタ出力値系列を、
    Figure 0005188300
    により求めて出力し、
    前記音高目標値更新手段は、
    前記基本周波数抽出において出力された観測基本周波数時系列y ,…,y と、前記逆フィルタ出力値系列を入力して、
    前記逆フィルタ出力値系列の成分である
    Figure 0005188300
    と、前記観測基本周波数時系列の要素yを含んだフレーム番号の集合である
    Figure 0005188300
    を用いて、
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    の各式による動的計画法に基づいて再帰計算を行い、前記音高目標値時系列m q1 ,m q2 ,…,m qN を更新する
    ことを特徴とする基本周波数軌跡モデルパラメータ抽出装置。
  2. 基本周波数軌跡から、音高目標値および基本周波数生成系のフィルタ特性を推定する基本周波数軌跡モデルパラメータ抽出装置であって、
    入力される音響信号から観測基本周波数時系列を抽出する基本周波数抽出手段と、
    前記基本周波数抽出手段により抽出された観測基本周波数時系列をフレーム分割するフレーム分割手段と、
    前記基本周波数抽出手段により抽出された観測基本周波数時系列に基づいて、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する初期音高目標値系列を生成する初期音高目標値生成手段と、
    前記初期音高目標値生成手段により生成された初期音高目標値時系列と前記フレーム分割手段によりフレーム分割された観測基本周波数系列とに基づいて、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表す、フィルタの特性パラメータを更新し、逆フィルタ出力値系列と特性パラメータとを生成する逆フィルタ出力値系列更新手段と、
    全てのフレームの逆フィルタ出力値系列と観測基本周波数系列とから、音高目標値時系列を生成する音高目標値更新手段と、
    前記逆フィルタ出力値系列更新手段により生成された特性パラメータと前記音高目標値更新手段により生成された音高目標値時系列とが所定の規準を満たしているか否かを判定し、所定の規準を満たしていないと判定された場合に、所定の規準を満たすまで、前記逆フィルタ出力値系列更新手段と前記音高目標値更新手段による処理を再度行なわせる収束判定手段と、
    前記収束判定手段により所定の規準を満たすと判定された場合に、その特性パラメータと音高目標値時系列とを出力する基本周波数軌跡パラメータ出力手段と
    を備え、
    前記逆フィルタ出力値系列更新手段は、
    行列m (f)
    Figure 0005188300
    で表わし、行列Uを
    Figure 0005188300
    で表した場合に、
    Figure 0005188300
    により計算されるベクトルw=(w ,…,w M−1 の要素w ,…,w N−1 を、
    Figure 0005188300
    に代入して特徴パラメータ行列W (f) を出力し、
    Figure 0005188300
    により前記逆フィルタ出力値系列を求めて出力し、
    前記音高目標値更新手段は、
    前記基本周波数抽出において出力された観測基本周波数時系列y ,…,y と、前記逆フィルタ出力値系列を入力して、
    前記逆フィルタ出力値系列の成分である
    Figure 0005188300
    と、前記観測基本周波数時系列の要素yを含んだフレーム番号の集合である
    Figure 0005188300
    を用いて、
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    の各式による動的計画法に基づいて再帰計算を行い、前記音高目標値時系列m q1 ,m q2 ,…,m qN を更新する
    ことを特徴とする基本周波数軌跡モデルパラメータ抽出装置。
  3. 前記逆フィルタ出力値系列更新手段は、
    Toeplitz型行列で示される特徴パラメータ行列Wにおいて、
    Figure 0005188300
    のJの値が最小となるような前記特徴パラメータ行列Wの各成分w,w,・・・,wN−1を求めることにより前記特徴パラメータ行列Wを決定する
    ことを特徴とする請求項に記載の基本周波数軌跡モデルパラメータ抽出装置。
  4. 基本周波数軌跡から、音高目標値および基本周波数生成系のフィルタ特性を推定する基本周波数軌跡モデルパラメータ抽出方法であって、
    入力される音響信号から観測基本周波数時系列を抽出する基本周波数抽出ステップと、
    前記抽出された観測基本周波数時系列をフレーム分割するフレーム分割ステップと、
    前記抽出された観測基本周波数時系列に基づいて、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する初期音高目標値系列を生成する初期音高目標値生成ステップと、
    前記生成された初期音高目標値時系列と前記フレーム分割された観測基本周波数系列とに基づいて、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表す、フィルタの特性パラメータを更新し、逆フィルタ出力値系列と特性パラメータとを生成する逆フィルタ出力値系列更新ステップと、
    全てのフレームの逆フィルタ出力値系列と観測基本周波数系列とから、音高目標値時系列を生成する音高目標値更新ステップと、
    前記生成された特性パラメータと前記生成された音高目標値時系列とが所定の規準を満たしているか否かを判定する判定ステップと、
    前記所定の規準を満たしていないと判定された場合に、所定の規準を満たすまで、前記逆フィルタ出力値系列更新ステップと前記音高目標値更新ステップによる処理を再度行なわせる再帰ステップと、
    前記所定の規準を満たすと判定された場合に、その特性パラメータと音高目標値時系列とを出力する基本周波数軌跡パラメータ出力ステップとを含み、
    前記逆フィルタ出力値系列更新ステップにおいて、
    前記観測基本周波数時系列y=(y ,…,y 、前記音高目標値時系列m=(m q1 ,…,m qN とし、
    定数行列B、Aを、
    Figure 0005188300
    とし、
    はBの転置行列を表わすものとし、
    y=(y ,…,y は、y からy を縦に並べたベクトルを表わし、
    行列のi,j成分がx i,j から構成される行列X=(X i,j )と書くとき、Tr (f) (X)を、
    Figure 0005188300
    で表わし、D
    Figure 0005188300
    で表した場合に
    Figure 0005188300
    を解いて、α (f) 、β (f) 、γ (f) を求め、
    求まったα (f) 、β (f) 、γ (f) と前記定数行列B、Aとを用い、特徴パラメータ行列W (f) を、
    Figure 0005188300
    により算出して出力し、これにより、前記逆フィルタ出力値系列を、
    Figure 0005188300
    により求めて出力し、
    前記音高目標値更新ステップにおいて、
    前記基本周波数抽出において出力された観測基本周波数時系列y ,…,y と、前記逆フィルタ出力値系列を入力して、
    前記逆フィルタ出力値系列の成分である
    Figure 0005188300
    と、前記観測基本周波数時系列の要素yを含んだフレーム番号の集合である
    Figure 0005188300
    を用いて、
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    の各式による動的計画法に基づいて再帰計算を行い、前記音高目標値時系列m q1 ,m q2 ,…,m qN を更新する
    ことを特徴とする基本周波数軌跡モデルパラメータ抽出方法。
  5. 基本周波数軌跡から、音高目標値および基本周波数生成系のフィルタ特性を推定する基本周波数軌跡モデルパラメータ抽出方法であって、
    入力される音響信号から観測基本周波数時系列を抽出する基本周波数抽出ステップと、
    前記抽出された観測基本周波数時系列をフレーム分割するフレーム分割ステップと、
    前記抽出された観測基本周波数時系列に基づいて、値が有限個の離散的な実数値の中からしか取り得ない拘束を有する初期音高目標値系列を生成する初期音高目標値生成ステップと、
    前記生成された初期音高目標値時系列と前記フレーム分割された観測基本周波数系列とに基づいて、フレーム毎の音高目標値時系列と観測基本周波数系列との関係を表す、フィルタの特性パラメータを更新し、逆フィルタ出力値系列と特性パラメータとを生成する逆フィルタ出力値系列更新ステップと、
    全てのフレームの逆フィルタ出力値系列と観測基本周波数系列とから、音高目標値時系列を生成する音高目標値更新ステップと、
    前記生成された特性パラメータと前記生成された音高目標値時系列とが所定の規準を満たしているか否かを判定する判定ステップと、
    前記所定の規準を満たしていないと判定された場合に、所定の規準を満たすまで、前記逆フィルタ出力値系列更新ステップと前記音高目標値更新ステップによる処理を再度行なわせる再帰ステップと、
    前記所定の規準を満たすと判定された場合に、その特性パラメータと音高目標値時系列とを出力する基本周波数軌跡パラメータ出力ステップとを含み、
    前記逆フィルタ出力値系列更新ステップにおいて、
    行列m (f)
    Figure 0005188300
    で表わし、行列Uを
    Figure 0005188300
    で表した場合に、
    Figure 0005188300
    により計算されるベクトルw=(w ,…,w M−1 の要素w ,…,w N−1 を、
    Figure 0005188300
    に代入して特徴パラメータ行列W (f) を出力し、
    Figure 0005188300
    により前記逆フィルタ出力値系列を求めて出力し、
    前記音高目標値更新ステップにおいて、
    前記基本周波数抽出において出力された観測基本周波数時系列y ,…,y と、前記逆フィルタ出力値系列を入力して、
    前記逆フィルタ出力値系列の成分である
    Figure 0005188300
    と、前記観測基本周波数時系列の要素yを含んだフレーム番号の集合である
    Figure 0005188300
    を用いて、
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    Figure 0005188300
    の各式による動的計画法に基づいて再帰計算を行い、前記音高目標値時系列m q1 ,m q2 ,…,m qN を更新する
    ことを特徴とする基本周波数軌跡モデルパラメータ抽出方法
  6. 前記逆フィルタ出力値系列更新ステップは、
    Toeplitz型行列で示される特徴パラメータ行列Wにおいて、
    Figure 0005188300
    のJの値が最小となるような前記特徴パラメータ行列Wの各成分w,w,・・・,wN−1を求めることにより前記特徴パラメータ行列Wを決定する
    ことを特徴とする請求項5記載の基本周波数軌跡モデルパラメータ抽出方法。
  7. 請求項4〜6の何れか一項に記載の基本周波数軌跡モデルパラメータ抽出方法の各ステップをコンピュータにより実行させるためのプログラム。
  8. 請求項7に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2008183223A 2008-07-14 2008-07-14 基本周波数軌跡モデルパラメータ抽出装置、基本周波数軌跡モデルパラメータ抽出方法、プログラム及び記録媒体 Active JP5188300B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008183223A JP5188300B2 (ja) 2008-07-14 2008-07-14 基本周波数軌跡モデルパラメータ抽出装置、基本周波数軌跡モデルパラメータ抽出方法、プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008183223A JP5188300B2 (ja) 2008-07-14 2008-07-14 基本周波数軌跡モデルパラメータ抽出装置、基本周波数軌跡モデルパラメータ抽出方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2010020258A JP2010020258A (ja) 2010-01-28
JP5188300B2 true JP5188300B2 (ja) 2013-04-24

Family

ID=41705190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008183223A Active JP5188300B2 (ja) 2008-07-14 2008-07-14 基本周波数軌跡モデルパラメータ抽出装置、基本周波数軌跡モデルパラメータ抽出方法、プログラム及び記録媒体

Country Status (1)

Country Link
JP (1) JP5188300B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5318042B2 (ja) * 2010-07-14 2013-10-16 日本電信電話株式会社 信号解析装置、信号解析方法及び信号解析プログラム
JP5626793B2 (ja) * 2011-03-01 2014-11-19 日本電信電話株式会社 基本周波数モデルパラメータ推定装置、方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3511360B2 (ja) * 1998-03-09 2004-03-29 日本電信電話株式会社 音楽音響信号分離方法、その装置およびそのプログラム記録媒体
JP4542395B2 (ja) * 2004-08-25 2010-09-15 日本電信電話株式会社 非定常時系列データ分類方法、装置、プログラム及びそのプログラムを記録した記録媒体
DE102004049457B3 (de) * 2004-10-11 2006-07-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Extraktion einer einem Audiosignal zu Grunde liegenden Melodie
JP4660739B2 (ja) * 2006-09-01 2011-03-30 独立行政法人産業技術総合研究所 音分析装置およびプログラム

Also Published As

Publication number Publication date
JP2010020258A (ja) 2010-01-28

Similar Documents

Publication Publication Date Title
JP5471858B2 (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
JP4738057B2 (ja) ピッチパターン生成方法及びその装置
JP5038995B2 (ja) 声質変換装置及び方法、音声合成装置及び方法
US7668717B2 (en) Speech synthesis method, speech synthesis system, and speech synthesis program
JP6293912B2 (ja) 音声合成装置、音声合成方法およびプログラム
JP2017107228A (ja) 歌声合成装置および歌声合成方法
JP5294086B2 (ja) 重み係数学習システム及び音声認識システム
CN104835493A (zh) 语音合成字典生成装置和语音合成字典生成方法
JP4632384B2 (ja) 音声情報処理装置及びその方法と記憶媒体
JPWO2010119534A1 (ja) 音声合成装置、方法およびプログラム
EP3879524A1 (en) Information processing method and information processing system
JP2006309162A (ja) ピッチパターン生成方法、ピッチパターン生成装置及びプログラム
JP5188300B2 (ja) 基本周波数軌跡モデルパラメータ抽出装置、基本周波数軌跡モデルパラメータ抽出方法、プログラム及び記録媒体
JP6505346B1 (ja) Dnn音声合成の教師無し話者適応を実現するコンピュータシステム、そのコンピュータシステムにおいて実行される方法およびプログラム
JP5771575B2 (ja) 音響信号分析方法、装置、及びプログラム
Lee et al. A comparative study of spectral transformation techniques for singing voice synthesis
JP2001117580A (ja) 音声信号処理装置および音声信号処理方法
JP5914119B2 (ja) 音響モデル性能評価装置とその方法とプログラム
CN104538026A (zh) 一种用于参数化语音合成的基频建模方法
JP3281281B2 (ja) 音声合成方法及び装置
JP4167084B2 (ja) 音声合成方法及び装置、並びに音声合成プログラム
Lakshminarayana et al. Multi-speaker text-to-speech using ForwardTacotron with improved duration prediction
JP2004317845A (ja) モデルデータ生成装置、モデルデータ生成方法、およびこれらの方法
JP4230254B2 (ja) 音声生成モデル話者適応化方法、その装置、そのプログラム及びその記録媒体
Hahn Expressive sampling synthesis. Learning extended source-filter models from instrument sound databases for expressive sample manipulations

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5188300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350