JP5262464B2 - 音声処理装置およびプログラム - Google Patents

Description

本発明は、音声の韻律（例えば強弱や高低などの抑揚）を変化させる技術に関する。

音声信号から抽出された特徴量の時間的な変化を利用者が編集する技術が従来から提案されている。例えば特許文献１には、楽曲から取得した特徴量の数値の時系列（グラフ）を利用者による編集のために表示装置に表示させる技術が開示されている。
特開２００８−１６５１３０号公報

特許文献１の技術のもとで特徴量の数値の時系列を編集すれば、音声の韻律を適宜に変更することが可能である。しかし、時系列に表示された特徴量の多数の数値の各々を個別に変更しようとすれば、極めて煩雑な作業が必要となって利用者の負担が過大となる。以上の事情に鑑みて、本発明は、音声信号の特徴量の時系列を変更する利用者の負担を軽減することを目的とする。

以上の課題を解決するために、本発明の第１態様に係る音声処理装置は、音声の韻律に関連する特徴量の抽出値の時系列を取得する抽出値取得手段と、抽出値を基準とした相対値の時系列を設定する相対値制御手段と、抽出値を相対値に応じて変化させた編集値の時系列を算定する編集値算定手段と、相対値の時系列を表す相対値画像を表示装置に表示させる表示制御手段と、抽出値の時系列における特徴点に応じた時間軸上の位置に制御点を設定し、相対値画像のうち相対値の数値軸の方向における各制御点の位置を利用者からの指示に応じて可変に設定する制御点設定手段とを具備し、相対値制御手段は、制御点の近傍（例えば、図３の制御点ＰC[i-1]から制御点ＰC[i+1]までの区間内）の複数の時点の各々の相対値を、数値軸の方向における当該制御点の位置に応じて設定する。

以上の態様においては、相対値画像における制御点の位置に応じて当該制御点の近傍の各時点における相対値が設定されるから、抽出値や編集値を１個ずつ個別に変更する構成と比較して、特徴量を編集する作業の負担を軽減することができる。また、相対値画像が表示装置に表示されるから、音声の特徴量が変化する度合を利用者が直感的に把握できるという利点もある。さらに、抽出値の時系列における特徴点に応じて制御点の時間軸上の位置が設定されるから、総ての制御点の位置を利用者が指定する構成と比較して、特徴量の編集の負担を軽減することが可能である。なお、特徴点は、例えば、抽出値の時間的な変化の態様（時間軸上の波形）から特定される地点である。例えば、抽出値の時系列の極値点（極大点または極小点）や、抽出値の時系列の変曲点や、相前後する抽出値の差分値が閾値を上回る地点や、抽出値の変化率（傾き）が大きく変化する地点や、抽出値の時系列の端点（始点または終点）である。

本発明の好適な態様において、表示制御手段は、抽出値の時系列を表す抽出値画像と編集値の時系列を表す編集値画像とを相対値画像とともに表示装置に表示させる。以上の態様においては、相対値画像とともに抽出値画像と編集値画像とを参照することで、編集の前後における特徴量の変化を利用者が直感的に把握できるという利点がある。以上の効果は、抽出値画像と相対値画像と編集値画像とを共通の時間軸上に配置する構成のもとで格別に顕著となる。

本発明の好適な態様において、相対値制御手段は、制御点に対応する時点から他の時点（例えば他の制御点）にかけて相対値が連続的に（例えば直線的または曲線的に）変化するように、制御点に対応する時点と他の時点との間の各時点における相対値を設定する。以上の態様においては、制御点から他の時点にかけて相対値が連続的に変化するから、相対値の不連続な変化が抑制された自然な音声を生成できるという利点がある。

本発明の好適な態様において、制御点設定手段は、時間軸の方向における制御点の位置を利用者からの指示に応じて可変に設定する。以上の態様においては、時間軸の方向における制御点の位置が利用者からの指示に応じて設定されるから、例えば制御点の位置が自動的に（すなわち利用者からの指示に依存せずに）選定される構成と比較して、利用者の意図を特徴量の編集に精緻に反映させることが可能である。

本発明の第２態様に係る音声処理装置は、音声の韻律に関連する特徴量の抽出値の時系列を取得する抽出値取得手段と、抽出値を基準とした相対値の時系列を設定する相対値制御手段と、抽出値を相対値に応じて変化させた編集値の時系列を算定する編集値算定手段と、編集値の時系列に応じて音声を加工する音声処理手段と、抽出値の時系列を表す抽出値画像と、編集値の時系列を表す編集値画像と、相対値の時系列を表す相対値画像と、音声処理手段による処理前の音声波形と、音声処理手段による処理後の音声波形とを、共通の時間軸のもとで表示装置に表示させる表示制御手段と、相対値画像のうち相対値の数値軸の方向における制御点の位置を利用者からの指示に応じて可変に設定する制御点設定手段とを具備し、相対値制御手段は、制御点の近傍の複数の時点の各々の相対値を、数値軸の方向における当該制御点の位置に応じて設定する。

また、以上の各態様に係る音声処理装置は、音声の処理（韻律の変換）に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

なお、音声の特徴量が変化する度合の把握を容易化するという観点からすると、音声の韻律に関連する特徴量の抽出値の時系列を取得する抽出値取得手段と、抽出値を基準とした相対値の時系列を利用者からの指示に応じて可変に設定する相対値制御手段と、相対値に応じて抽出値を変化させた編集値の時系列を算定する編集値算定手段と、抽出値の時系列を表す抽出値画像と相対値の時系列を表す相対値画像と編集値の時系列を表す編集値画像とを表示装置に表示させる表示制御手段とを具備する音声処理装置も好適である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音声処理装置のブロック図である。図１に示すように、音声処理装置１００は、演算処理装置１０と記憶装置１２とを含むコンピュータシステムで実現される。記憶装置１２は、演算処理装置１０が実行するプログラムや演算処理装置１０が使用するデータを記憶する。例えば、音声の時間軸上の波形を表す音声信号Ｓ1が記憶装置１２に格納される。半導体記録媒体や磁気記録媒体などの公知の記録媒体が記憶装置１２として任意に採用される。

演算処理装置１０は、記憶装置１２に格納されたプログラムを実行することで複数の機能（抽出値取得部４２，特徴量制御部４４，表示制御部４６，音声処理部４８）を実現する。なお、専用の電子回路（ＤＳＰ）が演算処理装置１０と同等の各要素を実現する構成や、演算処理装置１０の各要素を複数の集積回路に分散的に搭載した構成も採用される。

図１に示すように、演算処理装置１０には、入力装置２２と表示装置２４と放音装置２６とが接続される。入力装置２２は、音声処理装置１００に対する指示の入力のために利用者が操作する操作子で構成される。表示装置２４（例えば液晶表示装置）は、演算処理装置１０（表示制御部４６）による制御のもとに画像を表示する。

図１の抽出値取得部４２は、音声の韻律に関連する特徴量の数値（以下「抽出値」という）Ａの時系列を音声信号Ｓ1から抽出する。韻律とは、音声の音響的な特徴（例えば音高や音量）に起因して受聴者が知覚する音声の抑揚や調子を意味する。韻律が強調された音声は感情的ないし情緒的な印象を受聴者に与え、韻律が抑制された音声は無機的ないし理性的な印象を受聴者に与える。本形態の抽出値取得部４２は、音声の音高（ピッチ）を抽出値Ａとして所定の時間（例えば10ミリ秒）毎に音声信号Ｓ1から抽出する。音高の検出には公知の技術が任意に採用される。なお、実際には各抽出値Ａの時系列に対して移動平均演算などの平滑化処理を実行することで、例えば雑音に起因して抽出値Ａの時系列に発生する瞬間的な変動が抑制される。

図１の特徴量制御部４４は、抽出値取得部４２が取得した抽出値Ａの時系列を、入力装置２２に対する利用者からの操作に応じて変更することで、抽出値Ａと同種の特徴量（音高）を表す編集値Ｂの時系列を生成する。表示制御部４６は、表示装置２４に画像を表示させる。例えば、表示制御部４６は、音声信号Ｓ1の特徴量の編集時に利用者が視認する画像（以下「編集画像」という）を表示装置２４に表示させる。音声処理部４８は、特徴量制御部４４が算定した編集値Ｂの時系列を利用して音声信号Ｓ1を加工することで音声信号Ｓ2を生成する。例えば、音声処理部４８は、音声信号Ｓ1の特徴量を抽出値Ａから編集値Ｂに変換することで音声信号Ｓ2を生成する。編集前の音声信号Ｓ1や編集後の音声信号Ｓ2は、放音装置２６（例えばスピーカやヘッドホン）から音響として再生される。

図２は、表示制御部４６が表示装置２４に表示させる編集画像６０の模式図である。図２に示すように、編集画像６０は、波形領域６２と波形領域６３と編集領域６５とを含む。波形領域６２および波形領域６３は、Ｘ方向に長尺な矩形状の領域である。表示制御部４６は、Ｘ方向（横方向）を共通の時間軸として、波形領域６２内に音声信号Ｓ1の波形を配置するとともに波形領域６３内に音声信号Ｓ2の波形を配置する。したがって、利用者は、編集前の音声信号Ｓ1の波形と編集後の音声信号Ｓ2の波形とを容易に対比することが可能である。

編集領域６５は、編集の前後の特徴量（例えば抽出値Ａや編集値Ｂ）の時間的な変化を利用者に提示する領域である。図２に示すように、編集領域６５は、波形領域６２と波形領域６３との間隙に位置する。編集領域６５と波形領域６２および波形領域６３とは時間軸が共通する。したがって、編集領域６５と波形領域６２と波形領域６３との各々においてＸ方向の位置が共通する時点は時間的に同時である。

編集領域６５は、Ｘ方向に交差するＹ方向に相隣接する領域６６と領域６７とに区分される。表示制御部４６は、抽出値画像ＧAと編集値画像ＧBとを領域６６内に配置する。抽出値画像ＧAは、Ｙ方向（縦方向）を抽出値Ａの数値軸として抽出値Ａの時間的な変化を時間軸（Ｘ方向）に沿って描画した曲線である。同様に、編集値画像ＧBは、Ｙ方向を数値軸として編集値Ｂの時間的な変化を時間軸に沿って描画した曲線である。例えば、図２の抽出値Ａ(t)は、抽出値取得部４２が抽出した抽出値Ａの時系列のうち時間軸上の時点ｔにおける数値を意味し、図２の編集値Ｂ(t)は、特徴量制御部４４が算定した編集値Ｂの時系列のうち時点ｔにおける数値を意味する。

抽出値画像ＧAと編集値画像ＧBとは相異なる態様（例えば色彩や線種）で表示されて相互に重複し得る。例えば、編集値画像ＧBは抽出値画像ＧAと比較して視覚的に顕著な態様（例えば高彩度の色彩）で表示される。以上のように抽出値Ａの時系列（抽出値画像ＧA）と編集値Ｂの時系列（編集値画像ＧB）とが対比的に表示されるから、利用者は、抽出値Ａと編集値Ｂとの関係（相違の程度）を容易に把握することが可能である。

なお、抽出値Ａは所定の周期で特定された離散的な数値であるが、図２に示すように、各抽出値Ａを相互に連結した画像（折線や曲線）が抽出値画像ＧAとして描画される。編集値画像ＧBについても同様に、各編集値Ｂを相互に連結した折線や曲線として描画される。また、音声信号Ｓ1の強度（音量）がゼロである区間内では音高（抽出値Ａ）が検出されないから、抽出値画像ＧAや編集値画像ＧBは存在しない。

図２に示すように、表示制御部４６は、相対値画像ＧCを領域６７内に配置する。相対値画像ＧCは、抽出値Ａを基準値としたときの編集値Ｂの相対的な数値（以下「相対値」という）Ｃの時間的な変化を、Ｙ方向を相対値Ｃの数値軸として描画した折線である。領域６６と領域６７とで時間軸は共通する。すなわち、領域６６および領域６７の各々においてＸ方向（時間軸）の同じ位置にある各時点は時間的に同時である。以下の数式(1)で定義されるように、時点ｔにおける抽出値Ａ(t)と相対値Ｃ(t)との加算値が編集値Ｂ(t)に相当する。
Ｂ(t)＝Ａ(t)＋Ｃ(t) ……(1)
以上のように、領域６６には、編集の前後における特徴量（音高）の絶対的な数値が表示されるのに対し、領域６７には、編集前の特徴量に対する編集後の特徴量の相対的な数値が表示される。

領域６７のうちＹ方向の中央にはＸ方向に延在する基準線Ｌ0が配置される。基準線Ｌ0は、相対値Ｃのゼロ（抽出値Ａと編集値Ｂとの合致）を意味する直線である。基準線Ｌ0から上方に離間するほど相対値Ｃは正数の範囲で増加し、基準線Ｌ0から下方に離間するほど相対値Ｃは負数の範囲で減少する。数式(1)の定義から理解されるように、相対値画像ＧCの表す相対値Ｃが基準線Ｌ0の上方に位置する区間内（Ｃ＞０）では編集値Ｂが抽出値Ａを上回り、相対値Ｃが基準線Ｌ0の下方に位置する区間内（Ｃ＜０）では編集値Ｂが抽出値Ａを下回る。特徴量の編集が実行されていない段階では抽出値Ａの時系列と編集値Ｂの時系列とは合致するから、相対値Ｃは時間軸上の全区間にわたってゼロに設定される。

図１に示すように、特徴量制御部４４は、制御点設定部５２と相対値制御部５４と編集値算定部５６とを含んで構成される。制御点設定部５２は、図２のように相対値画像ＧCに設定される制御点ＰCの位置を、利用者からの指示に応じて可変に制御する。制御点ＰCは、相対値Ｃ（相対値画像ＧC）の編集時に利用者が操作する地点である。制御点設定部５２は、第１に、利用者が入力装置２２の操作（例えばマウスによるポイント）で時間軸の方向（Ｘ方向）および数値軸の方向（Ｙ方向）について指定した地点を新規な制御点ＰCとして設定し、第２に、既存の制御点ＰCの数値軸の方向（Ｙ方向）における位置を利用者による入力装置２２の操作（例えばマウスによるドラッグ）に応じて可変に制御する。

相対値制御部５４は、相対値Ｃの時系列を制御点ＰCの位置に応じて（したがって、利用者からの指示に応じて）可変に設定する。本形態の相対値制御部５４は、図２に示すように、特徴量制御部４４が位置を制御した各制御点ＰCを相対値画像ＧC（相対値Ｃの時系列）が通過するように相対値Ｃの時系列を可変に設定する。図１の編集値算定部５６は、抽出値取得部４２が取得した抽出値Ａの時系列と相対値制御部５４が設定した相対値Ｃの時系列とについて数式(1)の演算を実行することで更新後の編集値Ｂの時系列を算定する。特徴量制御部４４（制御点設定部５２，相対値制御部５４，編集値算定部５６）の動作の具体例を以下に説明する。

いま、図３の部分(A)に示すように２個の制御点ＰC（ＰC[i-1]，ＰC[i+1]）が設定された状態を想定する。制御点ＰC[i-1]および制御点ＰC[i+1]は基準線Ｌ0の線上に位置するから、時間軸上において制御点ＰC[i-1]から制御点ＰC[i+1]までの各時点における相対値Ｃはゼロである。したがって、図３の部分(A)に示すように、制御点ＰC[i-1]から制御点ＰC[i+1]までの区間内において、抽出値Ａの時系列（抽出値画像ＧA）と編集値Ｂの時系列（編集値画像ＧB）とは合致する。

図３の部分(B)のように利用者から指示された位置に制御点設定部５２が新規な制御点ＰC[i]を設定すると、相対値制御部５４は、制御点ＰC[i]の時点ｔに対応する相対値Ｃ(t)を、制御点ＰC[i]の追加前の数値（基準線Ｌ0が示すゼロ）から、数値軸の方向における制御点ＰC[i]の位置に対応する数値Ｃ1に変更する。さらに、相対値制御部５４は、制御点ＰC[i]の近傍の各時点における相対値Ｃを制御点ＰC[i]での相対値Ｃ(t)の数値Ｃ1に応じて設定する。さらに詳述すると、相対値制御部５４は、新規な制御点ＰC[i]から当該制御点ＰC[i]に隣接する既存の制御点ＰC[i±1]にかけて相対値Ｃが連続的に変化するように制御点ＰC[i]と各制御点ＰC[i±1]との間の各時点における相対値Ｃを算定する。例えば、図３の部分(B)に示すように、制御点ＰC[i]と各制御点ＰC[i±1]との間の各時点における相対値Ｃは、制御点ＰC[i]と制御点ＰC[i±1]とを連結する線分Ｌの線上の数値（すなわち、制御点ＰC[i]での数値Ｃ1と各制御点ＰC[i±1]での数値（ゼロ）とを直線補間した数値）に変更される。したがって、図３の部分(B)に示すように、相対値Ｃは、制御点ＰC[i-1]から制御点ＰC[i]にかけてゼロから数値Ｃ1に直線的に増加するとともに、制御点ＰC[i]から制御点ＰC[i+1]にかけて数値Ｃ1からゼロに減少する。

表示制御部４６は、図３の部分(B)に示すように、制御点ＰC[i]の追加前の段階で制御点ＰC[i-1]と制御点ＰC[i+1]とを連結していた線分を、新規な制御点Ｐ[i]と各制御点Ｐ[i±1]とを連結する線分Ｌに変更する。したがって、図２に示したように、相対値画像ＧCは、各制御点ＰCを節点とする折線となる。

また、図３の部分(C)に示すように、利用者からの指示に応じて制御点設定部５２が制御点ＰC[i]を数値軸の方向（Ｙ方向）に移動させると、相対値制御部５４は、制御点ＰC[i]の時点ｔに対応する相対値Ｃ(t)を、移動前の数値Ｃ1から移動後の数値軸の方向の位置に対応した数値Ｃ2に変更する。そして、相対値制御部５４は、制御点ＰC[i]が新規に追加された場合と同様に、制御点ＰC[i]の近傍の各時点における相対値Ｃを制御点ＰC[i]での相対値Ｃ(t)の数値Ｃ2に応じて設定する。すなわち、相対値制御部５４は、移動後の制御点ＰC[i]から各制御点ＰC[i±1]にかけて相対値Ｃが連続的に変化するように制御点ＰC[i]と各制御点ＰC[i±1]との各時点における相対値Ｃを算定（すなわち直線補間）する。制御点ＰC[i]と各制御点ＰC[i±1]とを連結する線分Ｌを表示制御部４６が更新する動作も、制御点ＰC[i]の追加の場合と同様である。

以上のように制御点ＰC[i]の追加や移動とともに相対値Ｃが変更されると、編集値算定部５６は、抽出値取得部４２が取得した抽出値Ａの時系列と相対値制御部５４による変更後の相対値Ｃの時系列とについて数式(1)の演算を実行することで更新後の編集値Ｂの時系列を算定する。したがって、図３の部分(B)のように基準線Ｌ0の上方に制御点ＰC[i]を追加した場合（または制御点ＰC[i]を上方に移動した場合）、制御点ＰC[i]の近傍の各時点における編集値Ｂは抽出値Ａに対して増加する。一方、図３の部分(C)のように制御点ＰC[i]を下方に移動した場合（または基準線Ｌ0の下方に新規な制御点ＰC[i]を追加した場合）、制御点ＰC[i]の近傍の各時点における編集値Ｂは抽出値Ａに対して減少する。表示制御部４６は、編集値算定部５６が編集値Ｂを更新するたびに（すなわち制御点ＰC[i]が追加または移動するたびに）、更新後の編集値Ｂの時系列に対応するように編集値画像ＧBを変更する。

利用者が図２の操作子（変換）７１を操作すると、編集領域６５での編集の結果が音声信号Ｓ2に反映される。すなわち、音声処理部４８は、音声信号Ｓ1の特徴量を、抽出値取得部４２が生成した抽出値Ａから操作子７１の操作時の編集値Ｂに変換することで音声信号Ｓ2を生成する。そして、表示制御部４６は、音声処理部４８による処理後の音声信号Ｓ2の波形を波形領域６３に配置する。

利用者が操作子７２を操作すると、記憶装置１２に格納された編集前の音声信号Ｓ1が放音装置２６に供給され、利用者が操作子７３を操作すると、編集後の音声信号Ｓ2が放音装置２６に供給される。すなわち、利用者は、操作子７２や操作子７３を操作することで編集の前後の音声を試聴することが可能である。

また、利用者が操作子７４を操作すると、表示制御部４６は、領域６６に配置された抽出値画像ＧAや編集値画像ＧBのＹ方向の縮尺を増減する。同様に、操作子７５が操作されると、表示制御部４６は、領域６７に配置された相対値画像ＧCのＹ方向の縮尺を増減する。さらに、操作子７６が操作されると、表示制御部４６は、音声信号Ｓ1，Ｓ2の波形や編集領域６５内の画像（抽出値画像ＧA，編集値画像ＧB，相対値画像ＧC）のＸ方向の縮尺を増減する。なお、操作子７４〜７６の操作で変更されるのは画像のみであり、実際の音声信号Ｓ1，Ｓ2や各変数（抽出値Ａ，編集値Ｂ，相対値Ｃ）は操作子７４〜７６の操作では変化しない。また、利用者がスクロールバー７７を操作すると、表示制御部４６は、音声信号Ｓ1のうち波形領域６２内に表示される区間（音声信号Ｓ2のうち波形領域６３内に表示される区間）を時間軸に沿って移動させる。以上のように編集画像６０内の各要素を利用者が視認し易い態様に変更できる。

以上の形態においては、制御点ＰCの追加や移動に連動して当該制御点ＰCの周辺の各時点における相対値Ｃ（さらには編集値Ｂ）が変更されるから、例えば抽出値Ａまたは編集値Ｂを１個ずつ個別に変更する構成（以下「対比例」という）と比較して、特徴量を編集する利用者の負担が軽減されるという利点がある。なお、特徴量を極めて精緻に編集するという観点のみからすれば、抽出値Ａを１個ずつ個別に編集する対比例も確かに有効ではある。しかし、抽出値Ａの抽出の周期にもよるが、抽出値Ａを１個ずつ編集するほどの精緻さが必要となるケースは現実的には殆どない。したがって、特徴量の精緻な編集という観点からしても、対比例に対する本形態の有効性は何ら損なわれない。

また、以上の形態においては、相対値画像ＧCが表示装置２４に表示されるから、音声の特徴量が変化する度合を直感的に把握しながら、利用者が音声の特徴量を編集できるという利点がある。また、抽出値画像ＧAおよび編集値画像ＧBも表示されるから、相対値画像ＧCとともに抽出値画像ＧAと編集値画像ＧBとを参照することで、編集の前後で音声の特徴量が変化する様子を利用者が直感的に把握できるという利点もある。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、以下の各形態において作用や機能が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

図４は、第２実施形態に係る音声処理装置１００のブロック図である。本形態の音声処理装置１００は、特徴点抽出部４３を第１実施形態に追加した構成である。特徴点抽出部４３は、抽出値取得部４２が特定した抽出値Ａの時間的な変化における特徴点Ｑを特定する。図５の部分(A)に示すように、特徴点Ｑは、抽出値Ａの時間的な変化の態様（時間軸上の波形）から特定される地点である。例えば、抽出値Ａの時系列の極値点（抽出値Ａが極大となる極大点または抽出値Ａが極小となる極小点）や、抽出値Ａの時系列の変曲点（曲率の符号が変化する時点）や、相前後する抽出値Ａの差分値（変化量）が閾値を上回る地点や、抽出値Ａの時系列の端点（始点および終点）が特徴点Ｑとして特定される。

さらに、特徴点抽出部４３は、抽出値Ａ(t)から抽出値ａ(t)を特定する。図５の部分(B)に示すように、抽出値ａ(t)は、時間軸上で相前後する各特徴点Ｑを連結した線分（各特徴点を含む）上にあって抽出値Ａ(t)と同じ時点ｔにおける数値である。すなわち、抽出値ａ(t)の時系列は、特徴点Ｑを節点として抽出値Ａ(t)の時系列を近似する折線として表現される。また、抽出値ａ(t)は、相前後する特徴点Ｑにおける抽出値Ａ(t)を直線補間した数値としても把握される。

図６は、表示制御部４６が表示装置２４に表示させる編集画像６０の模式図である。図６に示すように、表示制御部４６は、抽出値画像Ｇaと編集値画像ＧBとを編集領域６５の領域６６に配置するとともに、抽出値画像Ｇaと相対値画像ＧCとを領域６７に配置する。

領域６６および領域６７の各々の抽出値画像Ｇaは、抽出値ａの時間的な変動を表す折線（図５の部分(B)）である。領域６６内の編集値画像ＧBは、第１実施形態と同様に編集値Ｂの時間的な変化を表す。抽出値画像Ｇaと編集値画像ＧBとは相異なる態様で表示される。一方、領域６７内の相対値画像ＧCは、第１実施形態と同様に、基準線Ｌ0を基準値（ゼロ）とした相対値Ｃの時系列を表す。抽出値画像Ｇaと相対値画像ＧCとは相異なる態様（例えば色彩や線種）で領域６７内に配置されて相互に重複し得る。例えば、相対値画像ＧCは抽出値画像Ｇaと比較して視覚的に顕著な態様（例えば高彩度の色彩）で表示される。

図４の制御点設定部５２は、図６に示すように、相対値画像ＧCのうち利用者が指定した地点を第１実施形態と同様に制御点ＰCとして設定するほか、相対値画像ＧCのうち特徴点抽出部４３が抽出した各特徴点Ｑに対応する地点を制御点ＰCとして設定する。特徴点Ｑを制御点ＰCとして相対値Ｃを更新する動作の具体例を以下に説明する。

特徴量の編集を開始した時点においては、図７の部分(A)に示すように、相対値画像ＧCのうち抽出値Ａの各特徴点Ｑと同時刻に制御点ＰCが設定される。未編集の段階では各制御点ＰCは基準線Ｌ0の線上に位置するから（Ｃ＝０）、図７の部分(A)に示すように、抽出値ａの時系列（抽出値画像Ｇa）と編集値Ｂの時系列（編集値画像ＧB）とは合致する。

図７の部分(B)のように、利用者からの指示に応じて制御点設定部５２が既存の制御点ＰC[i]をＹ方向に移動すると、第１実施形態と同様に、相対値制御部５４は、制御点ＰC[i]の周辺（すなわち制御点ＰC[i-1]からＰC[i+1]まで）の各時点における相対値Ｃを、移動後の制御点ＰC[i]の位置に対応した相対値Ｃに応じて更新し、表示制御部４６は、制御点ＰC[i]の移動に応じて相対値画像ＧCを更新する。さらに、第１実施形態と同様に、特徴点抽出部４３の特定した抽出値ａと更新後の相対値Ｃとから編集値算定部５６が編集値Ｂ（Ｂ(t)＝ａ(t)＋Ｃ(t)）の時系列を算定し、表示制御部４６は、編集値画像ＧBを、更新後の編集値Ｂの時系列を表す内容に更新する。本形態においては相対値画像ＧCに加えて抽出値画像Ｇaも折線であるから、図６や図７のように、編集値画像ＧBは、相対値画像ＧCの各制御点ＰCに対応した地点を節点とする折線となる。

なお、以上においては特徴点Ｑに対応する制御点ＰCが移動した場合のみを例示したが、第１実施形態と同様に、相対値画像ＧCのうち利用者から指定された任意の地点に新規な制御点ＰCを設定することも可能である。また、利用者が任意に設定した制御点ＰCが移動される点も第１実施形態と同様である。

以上の形態においても第１実施形態と同様の効果が実現される。さらに、本形態においては、抽出値Ａ（抽出値ａ）の時系列における特徴点Ｑに応じて相対値画像ＧCの制御点ＰCが自動的に（すなわち利用者からの指示を必要とせずに）設定される。したがって、総ての制御点ＰCを利用者が自分で指定する第１実施形態と比較して、相対値Ｃを編集する作業の負担が軽減されるという利点がある。また、特徴点Ｑに対応する位置に加えて、利用者が指定した任意の位置に制御点ＰCを設定することも可能であるから、第１実施形態と同様に利用者の意図を特徴量の編集に反映させることも可能である。

＜Ｃ：第３実施形態＞
図８は、本発明の第３実施形態に係る表示制御部４６が表示装置２４に表示させる編集画像６０の模式図である。図８に示すように、本形態の編集画像６０は、図２に例示した要素（例えば編集領域６５）に加えて、既定値適用部８１と変数適用部８３と仮記憶部８５とを含んで構成される。

既定値適用部８１は、相対値Ｃの時系列の編集に既定値（プリセット）を適用するために利用者が操作する領域である。図８に示すように、既定値適用部８１には操作子８１１および操作子８１２が配置される。利用者が操作子（上昇）８１１を操作すると、相対値制御部５４は、音声信号Ｓ1の全区間にわたる各相対値Ｃに所定値を加算する。したがって、表示制御部４６は、相対値画像ＧCをＹ方向の上方に移動（平行移動）させる。一方、利用者が操作子（低下）８１２を操作すると、相対値制御部５４は、音声信号Ｓ1の全区間にわたる各相対値Ｃから所定値を減算し、表示制御部４６は、相対値画像ＧCをＹ方向の下方に移動させる。以上のように既定値適用部８１を利用すれば、音声信号Ｓ1の特徴量を全体的に変化させる場合の利用者の負担が軽減されるという利点がある。

図８の変数適用部８３は、既存の相対値Ｃの時系列を利用するために利用者が操作する領域である。図８に示すように、変数適用部８３には操作子８３１および操作子８３２が配置される。例えば図８のように相対値画像ＧCが編集された状態で利用者が操作子（セーブ）８３２を操作すると、演算処理装置１０は、操作子８３２の操作時における相対値Ｃの時系列を表すデータ（以下「相対値データ」という）を記憶装置１２に格納する。相対値データは、例えば、相対値画像ＧCの各制御点ＰCについて時間軸上の位置（時刻）と数値軸上の位置（相対値Ｃ）とを指定する系列である。制御点ＰCの位置や個数が相違する複数の相対値画像ＧCの各々について相対値データが個別に記憶される。

一方、利用者が操作子（ロード）８３１を操作したうえで１個の相対値データを選択すると、相対値制御部５４は相対値Ｃの時系列を相対値データの内容に設定し、表示制御部４６は、当該相対値データが示す相対値画像ＧCを編集領域６５の領域６７に配置する。以上のように変数適用部８３を操作することで既存の相対値Ｃの時系列（相対値画像ＧC）を利用できるから、利用者による相対値Ｃの編集の負担が軽減されるという利点がある。

図８の仮記憶部８５は、編集画像６０における編集の内容を示すファイル（以下「編集ファイル」という）を記憶装置１２に格納して随時に利用するために利用者が操作する領域である。図８に示すように、仮記憶部８５は、別個の編集ファイルに対応する複数（３個）の領域８６を含む。利用者が何れかの領域８６の操作子８５１を操作すると、当該領域８６に対応した編集ファイルが選択される。

１個の領域８６内の操作子（記憶）８５２を利用者が操作すると、演算処理装置１０は、当該領域８６に対応する編集ファイルに現時点での編集の内容を格納する。編集ファイルには、例えば、編集前の音声信号Ｓ1と、抽出値Ａ，編集値Ｂおよび相対値Ｃの各々の時系列（抽出値画像ＧA，編集値画像ＧB，相対値画像ＧC）と、編集後の音声信号Ｓ2とが格納される。

操作子８５２の操作後（編集ファイルの作成後または更新後）に、利用者は、特徴量の編集（相対値Ｃの変更）を継続できる。仮記憶部８５内の操作子８７を利用者が操作すると、演算処理装置１０は、操作子８５１の操作で選択された編集ファイルを記憶装置１２から取得し、当該編集ファイルの音声信号Ｓ2を放音装置２６に出力する。したがって、操作子８５２の操作時における音声信号Ｓ2の再生音が放音装置２６から放射される。

一方、１個の領域８６内の操作子（復帰）８５３を利用者が操作すると、演算処理装置１０は、当該領域８６に対応する編集ファイルを記憶装置１２から取得し、編集ファイルの内容を編集領域６５に反映させる。すなわち、編集領域６５が操作子８５２の操作時の内容に復帰する。また、１個の領域８６内の操作子（クリア）８５４が操作されると、演算処理装置１０は、当該領域８６に対応する編集ファイルを初期化する。すなわち、操作子（記憶）８５２の操作時の編集の内容が消去される。

以上のように操作子８５２の操作時の編集の内容が記憶装置１２に保持されるとともに操作子８５３の操作で随時に編集領域６５に反映されるから、多様な編集を順次に試行しながら所望の韻律の音声信号Ｓ2を生成しようとする利用者の作業の負担を軽減することが可能である。なお、図８においては第１実施形態（図２）を変形した編集画像６０を例示したが、本形態の構成は第２実施形態にも同様に適用される。

＜Ｄ：変形例＞
以上に例示した各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から２以上の態様を任意に選択して組合せてもよい。

（１）変形例１
以上の各形態においては、制御点設定部５２が移動または新規に設定した制御点ＰC[i]の両側の制御点ＰC[i-1]と制御点ＰC[i+1]との間の区間内の各相対値Ｃを制御点ＰC[i]の相対値Ｃに連動して設定したが、制御点ＰC[i]の設定または移動に連動して相対値Ｃが設定される範囲は適宜に変更される。例えば、制御点ＰC[i]を中点または端点（始点または終点）とする所定長の範囲内の各時点の相対値Ｃが制御点ＰC[i]の相対値Ｃに応じて設定される構成も好適である。編集値Ｂ（抽出値Ａ）を１個ずつ個別に編集する対比例と比較して作業の負担を軽減するという観点からすると、制御点ＰC[i]の近傍に位置する複数の時点の各々の相対値Ｃが当該制御点ＰC[i]の位置（相対値Ｃ）に応じて設定される構成が格別に好適である。

（２）変形例２
編集領域６５に表示される要素や表示の態様は以上の例示に限定されない。例えば、第１実施形態において、第２実施形態と同様に、抽出値画像ＧAを相対値画像ＧCとともに領域６７に配置してもよいし、第２実施形態において、抽出値Ａの時系列を表す抽出値画像ＧAを抽出値画像Ｇaの代わりに表示してもよい。また、編集領域６５を領域６６と領域６７とに区分する必要はない。例えば、抽出値画像ＧA（または抽出値画像Ｇa）と編集値画像ＧBと相対値画像ＧCとを単一の領域内に配置した構成も好適である。なお、利用者による相対値Ｃの編集を容易化するという観点からすると、相対値Ｃの時系列を表す相対値画像ＧCを表示装置２４に表示する構成が好適であり、抽出値画像ＧA（または抽出値画像Ｇa）や編集値画像ＧBは適宜に省略され得る。

（３）変形例３
以上の各形態においては、利用者が指定した任意の時点や抽出値Ａの時系列の特徴点Ｑの時点を相対値画像ＧCの制御点ＰCとして設定したが、制御点ＰCの設定の方法は以上の例示に限定されない。例えば、時間軸上の所定の間隔毎に制御点ＰCを設定する構成も採用される。

（４）変形例４
編集の対象となる特徴量は音高に限定されない。例えば、音声信号Ｓ1の音量（強度）を特徴量として音声信号Ｓ1から抽出する構成や、音声信号Ｓ1の周波数スペクトルのうち強度が最大となるピークの頂点からみて高域側の成分を近似する直線の傾きを特徴量として音声信号Ｓ1から抽出する構成も採用される。以上の説明から理解されるように、音声の韻律に関連する（韻律を特徴づける）数値が特徴量として好適である。また、複数種の特徴量を並列に編集する構成も採用される。例えば、特徴量の種類の変更が利用者から指示されるたびに、当該特徴量に対応する画像（例えば抽出値画像ＧAまたは抽出値画像Ｇa，編集値画像ＧB，相対値画像ＧC）が、利用者による編集のために編集領域６５に表示される。以上の構成によれば、音声信号Ｓ2の韻律を多面的に編集することが可能となる。

（５）変形例５
以上の各形態においては利用者からの指示に応じて相対値Ｃの時系列を編集し、相対値Ｃの編集の結果から編集値Ｂの時系列を算定したが、例えば、利用者からの指示に応じて編集値Ｂを編集し、編集値Ｂの編集の結果から相対値Ｃ（Ｃ(t)＝Ａ(t)−Ｂ(t)）の時系列を算定する構成も採用される。編集値Ｂの編集には、以上の各形態にて例示した相対値Ｃの編集と同様の方法が適用される。

（６）変形例６
以上の各形態においては音声信号Ｓ1を分析することで抽出値Ａの時系列を抽出値取得部４２が算定する構成を例示したが、音声信号Ｓ1から事前に抽出された抽出値Ａの時系列を抽出値取得部４２が記憶装置１２から取得する構成も採用される。抽出値Ａの時系列は、音声処理装置１００が音声信号Ｓ1から抽出した数値でもよいし、音声処理装置１００とは別個の装置が音声信号Ｓ1から抽出した数値でもよい。すなわち、音声信号Ｓ1の分析で抽出値Ａを抽出する処理は、抽出値Ａの時系列を取得する方法の一例であり、本発明の必須の要件ではない。

本発明の第１実施形態に係る音声処理装置のブロック図である。 編集画像の模式図である。 相対値の編集の手順を説明するための概念図である。 第２実施形態に係る音声処理装置のブロック図である。 特徴点の抽出の手順を説明するための概念図である。 編集画像の模式図である。 相対値の編集の手順を説明するための概念図である。 第３実施形態に係る編集画像の模式図である。

符号の説明

１００……音声処理装置、１０……演算処理装置、１２……記憶装置、２２……入力装置、２４……表示装置、２６……放音装置、４２……抽出値取得部、４４……特徴量制御部、４６……表示制御部、４８……音声処理部、５２……制御点設定部、５４……相対値制御部、５６……編集値算定部。

Claims (8)

1. 音声の韻律に関連する特徴量の抽出値の時系列を取得する抽出値取得手段と、
   前記抽出値を基準とした相対値の時系列を設定する相対値制御手段と、
   前記抽出値を前記相対値に応じて変化させた編集値の時系列を算定する編集値算定手段と、
   前記相対値の時系列を表す相対値画像を表示装置に表示させる表示制御手段と、
   前記抽出値の時系列における特徴点に応じた時間軸上の位置に制御点を設定し、前記相対値画像のうち前記相対値の数値軸の方向における前記制御点の位置を利用者からの指示に応じて可変に設定する制御点設定手段とを具備し、
   前記相対値制御手段は、前記制御点の近傍の複数の時点の各々の相対値を、前記数値軸の方向における当該制御点の位置に応じて設定する
   音声処理装置。
2. 前記表示制御手段は、前記抽出値の時系列を表す抽出値画像と前記編集値の時系列を表す編集値画像とを前記相対値画像とともに前記表示装置に表示させる
   請求項１の音声処理装置。
3. 前記表示制御手段は、前記抽出値画像と前記相対値画像と前記編集値画像とを共通の時間軸上に配置する
   請求項２の音声処理装置。
4. 前記相対値制御手段は、前記制御点に対応する時点から他の時点にかけて相対値が連続的に変化するように、前記制御点に対応する時点と前記他の時点との間の各時点における相対値を設定する
   請求項１から請求項３の何れかの音声処理装置。
5. 前記制御点設定手段は、時間軸の方向における前記制御点の位置を利用者からの指示に応じて可変に設定する
   請求項１から請求項４の何れかの音声処理装置。
6. 音声の韻律に関連する特徴量の抽出値の時系列を取得する抽出値取得手段と、
   前記抽出値を基準とした相対値の時系列を設定する相対値制御手段と、
   前記抽出値を前記相対値に応じて変化させた編集値の時系列を算定する編集値算定手段と、
   前記編集値の時系列に応じて前記音声を加工する音声処理手段と、
   前記抽出値の時系列を表す抽出値画像と、前記編集値の時系列を表す編集値画像と、前記相対値の時系列を表す相対値画像と、前記音声処理手段による処理前の音声波形と、前記音声処理手段による処理後の音声波形とを、共通の時間軸のもとで表示装置に表示させる表示制御手段と、
   前記相対値画像のうち前記相対値の数値軸の方向における制御点の位置を利用者からの指示に応じて可変に設定する制御点設定手段とを具備し、
   前記相対値制御手段は、前記制御点の近傍の複数の時点の各々の相対値を、前記数値軸の方向における当該制御点の位置に応じて設定する
   音声処理装置。
7. 音声の韻律に関連する特徴量の抽出値の時系列を取得する抽出値取得処理と、
   前記抽出値を基準とした相対値の時系列を設定する相対値制御処理と、
   前記抽出値を前記相対値に応じて変化させた編集値の時系列を算定する編集値算定処理と、
   前記相対値の時系列を表す相対値画像を表示装置に表示させる表示制御処理と、
   前記抽出値の時系列における特徴点に応じた時間軸上の位置に制御点を設定し、前記相対値画像のうち前記相対値の数値軸の方向における前記制御点の位置を利用者からの指示に応じて可変に設定する制御点設定処理とをコンピュータに実行させるプログラムであって、
   前記相対値制御処理においては、前記制御点の近傍の複数の時点の各々の相対値を、前記数値軸の方向における当該制御点の位置に応じて設定する
   プログラム。
8. 音声の韻律に関連する特徴量の抽出値の時系列を取得する抽出値取得処理と、
   前記抽出値を基準とした相対値の時系列を設定する相対値制御処理と、
   前記抽出値を前記相対値に応じて変化させた編集値の時系列を算定する編集値算定処理と、
   前記編集値の時系列に応じて前記音声を加工する音声処理と、
   前記抽出値の時系列を表す抽出値画像と、前記編集値の時系列を表す編集値画像と、前記相対値の時系列を表す相対値画像と、前記音声処理手段による処理前の音声波形と、前記音声処理手段による処理後の音声波形とを、共通の時間軸のもとで表示装置に表示させる表示制御処理と、
   前記相対値画像のうち前記相対値の数値軸の方向における制御点の位置を利用者からの指示に応じて可変に設定する制御点設定処理とをコンピュータに実行させるプログラムであって、
   前記相対値制御処理においては、前記制御点の近傍の複数の時点の各々の相対値を、前記数値軸の方向における当該制御点の位置に応じて設定する
   プログラム。

Images