JP5648347B2 - 音声合成装置 - Google Patents

Description

本発明は、音声素片を利用して音声（発話音や歌唱音）を合成する技術に関する。

所望の音声（以下「指定音」という）を合成する技術が従来から提案されている。例えば特許文献１や特許文献２には、歌詞等の目的の発音文字に応じて選択された複数の音声素片を相互に接続することで音声信号を生成する素片接続型の音声合成技術が開示されている。例えば１個の音素で構成されるモノフォンや複数の音素で構成される音素連鎖が音声素片として利用される。音素連鎖には、２個の音素で構成されるダイフォンや３個の音素で構成されるトライフォンがある。

特開２００２−２０２７９０号公報 特開２００７−２４０５６４号公報

ところで、音素数が相違する複数種の音声素片を併用する構成（例えばモノフォンとダイフォンとトライフォンとを併用する構成）では、音素数が相違する２個以上の音声素片が１個の指定音に対する選択の候補となり得る。したがって、例えば複数の候補の何れかを利用者が任意に選択する構成が想定される。しかし、音声合成に最適な音素数の音声素片を利用者が選択することは困難である。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の第１態様に係る音声合成装置は、指定音毎に音声素片を選択する素片選択手段（例えば素片選択部２６）と、素片選択手段が選択した音声素片の素片データを利用して音声信号（例えば音声信号ＳOUT）を生成する音声合成手段（例えば音声合成部２８）とを具備し、前記素片選択手段は、各指定音に対する音声素片の選択の履歴を示す履歴情報（例えば履歴情報Ｈ）を参照して、一の指定音に合致または類似する指定音（例えば対応指定音）について前記履歴情報が示す履歴に係る音声素片を前記一の指定音について選択する。以上の構成では、音声素片の過去の選択の結果が新たな指定音の音声素片の選択に反映されるから、各指定音に対する適切な音声素片の選択が効率化されるという利点がある。

第１態様の好適例に係る音声合成装置は、各指定音に対応する音符画像（例えば音符画像５２）が時系列に配置された楽譜領域（例えば楽譜領域４２）と、素片選択手段が各指定音について選択した音声素片の音素数を識別可能な音素数画像（例えば音素数画像５６）が配置された音素領域（例えば音素領域４４）とを含む画像（例えば編集画面４０）を表示装置に表示させる表示制御手段（例えば表示制御部２２）を具備する。以上の態様においては、音声素片の音素数を識別可能な音素数画像が各指定音の音符画像とともに表示装置に表示されるから、各指定音の合成に適用される音声素片の音素数を利用者が直感的に把握できるという利点がある。

なお、相異なる複数の音素で構成される複数種の音声素片が併用される構成では、各指定音の音声素片の音素数を利用者が認識することは困難である。以上の課題を解決するために、本発明の第２態様に係る音声合成装置は、指定音毎に音声素片を選択する素片選択手段（例えば素片選択部２６）と、素片選択手段が選択した音声素片の素片データを利用して音声信号（例えば音声信号ＳOUT）を生成する音声合成手段（例えば音声合成部２８）と、素片選択手段が各指定音について選択した音声素片の音素数を識別可能な音素数画像（例えば音素数画像５６）が配置された音素領域（例えば音素領域４４）を含む画像（例えば編集画面４０）を表示装置に表示させる表示制御手段（例えば表示制御部２２）とを具備する。以上の構成では、各指定音について選択された音声素片の音素数を識別可能な音素数画像が表示装置に表示されるから、各指定音の合成に適用される音声素片の音素数を利用者が直感的に把握できるという利点がある。なお、表示装置に表示される画像は、各指定音に対応する音符画像（例えば音符画像５２）が時系列に配置された楽譜領域（例えば楽譜領域４２）を包含し得る。また、第２態様の音声合成装置において素片選択手段が音声素片を選択する方法は任意である。

第１態様または第２態様の好適例において、素片選択手段は、指定音に対して選択した音声素片を、利用者からの指示に応じて、音素数が相違する音声素片に変更し、表示制御手段は、素片選択手段による音声素片の変更に応じて音素数画像を更新する。以上の態様においては、音声素片の音素数の変化に応じて音素数画像が更新されるから、音素数の変化を利用者が直感的に把握できるという利点がある。

音声素片の音素数が音素数画像から識別可能となる構成の典型例は、音素数毎に相異なる表示態様で音素数画像を表示する構成である。音素数画像の表示態様とは、利用者が視覚的に知覚できる画像の状態を意味する。具体的には、画像の形状や寸法，階調の濃淡，表示色（色相，明度，彩度），模様，またはこれらの組合せが、画像の表示態様の概念に包含される。例えば、第１態様または第２態様の好適例において、表示制御手段は、音声素片の音素数に対応する個数の単位図形（例えば単位図形５６２）を配列した音素数画像を表示させる。以上の態様においては、音声素片の音素数に対応する個数（例えば音素数と同数）の単位図形を配列した音素数画像が表示されるから、利用者が各音声素片の音素数を直感的に把握できるという利点がある。

以上の各態様に係る音声合成装置の好適例において、素片選択手段は、音素数が相違する２以上の音声素片を含む複数の音声素片から指定音毎に音声素片を選択し、音素数が相違する２以上の音声素片が１個の指定音に対する選択の候補として存在する場合には、音素数が多い音声素片を選択する。以上の態様では、音素数が多い音声素片から優先的に選択されて指定音の合成に適用される。したがって、多数の音声素片が用意された構成でも、利用者による音声素片の選択を必要とせずに、聴感的に自然な印象の合成音を生成し得る適切な音声素片を選択することが可能である。

本発明の第３態様に係る音声合成装置は、音素数が相違する２以上の音声素片を含む複数の音声素片から指定音毎に音声素片を選択する素片選択手段と、素片選択手段が選択した音声素片の素片データを利用して音声信号を生成する音声合成手段とを具備し、素片選択手段は、利用者が一の指定音について音声素片を指定した場合に当該音声素片を選択し、一の指定音について利用者が音声素片を指定しない場合に、音素数が相違する２以上の音声素片が当該一の指定音に対する選択の候補として存在するならば、音素数が多い音声素片を選択する。また、本発明の第４態様に係る音声合成装置は、音素数が相違する２以上の音声素片を含む複数の音声素片から指定音毎に音声素片を選択する素片選択手段と、前記素片選択手段が選択した音声素片の素片データを利用して音声信号を生成する音声合成手段とを具備し、前記素片選択手段は、音素数が相違する２以上の音声素片が一の指定音に対する選択の候補として存在する場合に、利用者から指示された音素数の音声素片を選択する。

以上の各態様に係る音声合成装置は、音声の合成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）で実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働でも実現される。各態様に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音声合成装置のブロック図である。 素片群の模式図である。 楽譜情報の模式図である。 編集画面の模式図である。 素片選択部の動作のフローチャートである。 素片選択の具体例の説明図である。 素片選択の具体例の説明図である。 音声素片の変更（結合）の具体例の説明図である。 音声素片の変更（分割）の具体例の説明図である。 音声素片の結合／分割に係る素片選択部の動作のフローチャートである。 履歴情報の模式図である。 第２実施形態における素片選択部の動作のフローチャートである。 第２実施形態における素片選択部の動作のフローチャートである。 変形例における設定画面の模式図である。 変形例における設定画面の模式図である。 変形例における設定画面の模式図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００のブロック図である。音声合成装置１００は、素片接続型の音声合成で歌唱音や発話音等の合成音を生成する音響処理装置であり、図１に示すように、演算処理装置１０と記憶装置１２と入力装置１４と表示装置１６と放音装置１８とを具備するコンピュータシステムで実現される。

演算処理装置（ＣＰＵ）１０は、記憶装置１２に格納されたプログラムＰGMの実行で、合成音の音声信号ＳOUTの生成に必要な複数の機能（表示制御部２２，情報生成部２４，素片選択部２６，音声合成部２８）を実現する。音声信号ＳOUTは、合成音の波形を表す時間領域信号である。なお、演算処理装置１０の各機能を専用の電子回路（DSP）で実現した構成や、演算処理装置１０の各機能を複数の集積回路に分散した構成も採用され得る。

入力装置１４は、利用者からの指示を受付ける機器（例えばマウスやキーボード）である。表示装置（例えば液晶表示装置）１６は、演算処理装置１０から指示された画像を表示する。放音装置（例えばスピーカやヘッドホン）１８は、演算処理装置１０が生成する音声信号ＳOUTに応じた音波を放射する。

記憶装置１２は、演算処理装置１０が実行するプログラムＰGMや演算処理装置１０が使用する各種のデータ（素片群Ｖ，楽譜情報Ｓ）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１２として採用される。なお、プログラムＰGMや各種のデータ（素片群Ｖ,楽譜情報Ｓ）を複数の記録媒体に分散して記憶した構成も採用され得る。

素片群Ｖは、図２に示すように、相異なる音声素片に対応する素片データＤVの集合（音声合成ライブラリ）である。素片データＤVは、例えば音声素片の波形のサンプル系列であり、合成音の素材として利用される。音声素片は、単数または複数の音素（phoneme）で構成される音声合成単位である。１個の音素は、言語上の意味の区別の最小単位（例えば母音や子音）に相当する。なお、以下では便宜的に、無音を１個の音素（記号＃）として説明する。また、相異なる音高や音量に対応する複数の素片データＤVを１種類の音声素片について用意した構成も採用され得る。

図２に示すように、素片群Ｖの各素片データＤVが示す音声素片は、音声素片を構成する音素の個数に応じて複数種（モノフォンＰ1，ダイフォンＰ2，トライフォンＰ3）に区分される。モノフォン（monophone）Ｐ1は、子音ｃ（例えば図２の音素/ｈ/）または母音ｖ（例えば図１の音素/ａ/）に対応する１個の音素で構成される。ダイフォン（diphone）Ｐ2は、２個の音素（例えばｃ-ｖ，ｖ-ｃ，ｖ-ｖ，ｃ-ｃ，＃-ｃ，＃-ｖ，ｃ-＃，ｖ-＃）を連結した音素連鎖である。例えば図２の例示のように子音の音素/ｈ/と母音の音素/ａ/とを連結した音素連鎖/ｈ-ａ/がダイフォンＰ2に該当する。また、トライフォン（triphone）Ｐ3は、３個の音素（例えばｃ-ｖ-ｃ，ｖ-ｃ-ｖ，＃-ｃ-ｖ，ｖ-ｃ-＃）を連結した音素連鎖である。例えば図１の例示のように母音の音素/ａ/と子音の音素/ｎ/と母音の音素/ａ/とを連結した音素連鎖/ａ-ｎ-ａ/（ｖ-ｃ-ｖ）がトライフォンＰ3に該当する。

図１の記憶装置１２に格納された楽譜情報Ｓは、指定音の時系列を指定する情報（スコアデータ）である。図３に示すように、楽譜情報Ｓは、相異なる指定音に対応する複数の単位情報ＤSの時系列で構成される。各単位情報ＤSは、指定音の音高（ノートナンバ）ｓ1と発音期間ｓ2と発音文字ｓ3と素片識別子ｓ4とを含んで構成される。発音期間ｓ2は、例えば発音の開始の時刻と発音の継続長とで規定される。発音文字ｓ3は、指定音の発音の内容を指定する文字（例えば音節）である。素片識別子ｓ4は、指定音の合成に使用される音声素片（素片群Ｖ内の複数の素片データＤVのうち発音文字ｓ3に対応する素片データＤV）を識別するための情報である。

図１の表示制御部２２は、楽譜情報Ｓの生成および編集のために利用者が視認する図４の編集画面４０を表示装置１６に表示させる。図４に示すように、編集画面４０は、指定音の時系列を利用者に提示する楽譜領域４２と、各指定音の合成に使用される音声素片の時系列を利用者に提示する音素領域４４とを含んで構成される。

楽譜領域４２は、相互に交差する時間軸（横軸）と音高軸（縦軸）とが設定されたピアノロール型の画像領域である。利用者が入力装置１４に対する操作で指定音の音高と発音期間と発音文字とを指示すると、表示制御部２２は、その指定音に対応する画像（以下「音符画像」という）５２を楽譜領域４２に配置する。音高軸の方向における音符画像５２の位置は指定音の音高に応じて決定され、時間軸の方向における音符画像５２の位置および全長は指定音の発音期間に応じて決定される。また、指定音の発音文字が音符画像５２に付加される。

図１の情報生成部２４は、利用者による指定音の指示毎に、その指定音の音高ｓ1と発音期間ｓ2と発音文字ｓ3とを含む単位情報ＤSを記憶装置１２の楽譜情報Ｓに追加する。素片選択部２６は、利用者が以上の手順で指示した指定音の合成に使用される音声素片（素片データＤV）を指定音毎に順次に選択し、その音声素片の素片識別子ｓ4を楽譜情報Ｓの単位情報ＤSに追加する。表示制御部２２は、以下に詳述するように、素片選択部２６が選択した音声素片の時系列を編集画面４０の音素領域４４に表示する。

図４に示すように、音素領域４４は、第１領域４６と第２領域４８とを含んで構成される。第１領域４６には、各指定音の合成に使用される音声素片（素片データＤV）の時系列を利用者に提示する帯状の画像（以下「素片画像」という）５４が、楽譜領域４２と共通の時間軸のもとで配置される。各素片画像５４には音声素片の記号（例えば/ｈ/，/ａ/）が付加される。他方、第２領域４８には、各音声素片を構成する音素の個数を利用者に提示する画像（以下「音素数画像」という）５６が配置される。音素数画像５６は、１個の音素に相当する単位図形５６２（円形）を音声素片の音素数と同数だけ配列した画像である。各単位図形５６２には音素の記号が付加される。

図１の音声合成部２８は、記憶装置１２に格納された楽譜情報Ｓが示す各指定音を合成して音声信号ＳOUTを生成する。具体的には、音声合成部２８は、楽譜情報Ｓの素片識別子ｓ4が指定する音声素片（すなわち素片選択部２６が選択した音声素片）の素片データＤVを素片群Ｖから順次に取得し、各素片データＤVを楽譜情報Ｓの音高ｓ1や発音期間ｓ2に調整したうえで相互に連結して音声信号ＳOUTを生成する。素片データＤVの調整（加工）には公知の技術が任意に採用される。以上の処理で生成された音声信号ＳOUTが放音装置１８に供給されて音波として再生される。

次に、各指定音の音声素片の選択について詳述する。図５は、素片選択部２６が音声素片（素片データＤV）を選択する動作のフローチャートである。利用者が入力装置１４の操作で新たな指定音（以下「新規指定音」という）を指示するたびに図５の処理が実行される。

利用者は、入力装置１４を適宜に操作することで新規指定音の音声素片を任意に選択することが可能である。図５の処理を開始すると、素片選択部２６は、新規指定音の音声素片が利用者から指定されたか否かを判定する（ＳA1）。音声素片が指定された場合、素片選択部２６は、利用者が指定した音声素片の素片識別子ｓ4を選択して楽譜情報Ｓに追加する（ＳA2）。他方、利用者が音声素片を指定しない場合（ＳA1：NO）、新規指定音に対応する音声素片を素片選択部２６が自動的に選択する。

ところで、記憶装置１２の素片群Ｖには、音素数が相違する複数種の音声素片の素片データＤVが包含されるから、音素数が相違する２個以上の音声素片が、１個の指定音を合成可能な音声素片として素片選択部２６による選択の候補となる可能性がある。例えば、発音文字「は（ｈａ）」については、１個のダイフォン/ｈ-ａ/と、モノフォン/ｈ/およびモノフォン/ａ/の組合せとが選択の候補となり得る。第１実施形態では、音素数が多い音声素片を利用したほうが聴感的に自然な合成音を生成できることを考慮して、以下に詳述するように、音素数が多い音声素片を優先的に（すなわち、トライフォンＰ3→ダイフォンＰ2→モノフォンＰ1の順番で）選択する。

素片選択部２６は、新規指定音の先頭部の合成にトライフォンＰ3を利用できるか否か（新規指定音の先頭の音素に対応するトライフォンＰ3の素片データＤVが素片群Ｖ内に存在するか否か）を判定する（ＳA11）。手順ＳA11の結果が肯定である場合、素片選択部２６は、新規指定音の発音文字ｓ3に対応するトライフォンＰ3を選択し、そのトライフォンＰ3の素片識別子ｓ4を楽譜情報Ｓに追加する（ＳA12）。すなわち、新規指定音のダイフォンＰ2やモノフォンＰ1を利用可能な場合でもトライフォンＰ3が優先的に選択される。

他方、手順ＳA11の結果が否定である場合（発音文字ｓ3の先頭に対応するトライフォンＰ3が存在しない場合）、素片選択部２６は、新規指定音の先頭部の合成にダイフォンＰ2を利用できるか否か（新規指定音の先頭の音素に対応するダイフォンＰ2の素片データＤVが素片群Ｖ内に存在するか否か）を判定する（ＳA13）。手順ＳA13の結果が肯定である場合、素片選択部２６は、新規指定音の発音文字ｓ3に対応するダイフォンＰ2を選択し、そのダイフォンＰ2の素片識別子ｓ4を楽譜情報Ｓに追加する（ＳA14）。すなわち、新規指定音のモノフォンＰ1を利用可能な場合でもダイフォンＰ2が優先的に選択される。

図６の部分(A)に示すように、前後が無音（＃）となる位置に利用者が発音文字「は[ｈａ]」の新規指定音が追加された状況を想定する。素片選択部２６は、図６の部分(B)に示すように、新規指定音の先頭部の合成にトライフォン/＃-ｈ-ａ/を利用できる場合（ＳA11：YES）にはそのトライフォン/＃-ｈ-ａ/を選択し（ＳA12）、図６の部分(C)に示すように、トライフォン/＃-ｈ-ａ/は利用できないがダイフォン/＃-ｈ/とダイフォン/ｈ-ａ/とを利用できる場合（ＳA13：YES）にはダイフォン/＃-ｈ/およびダイフォン/ｈ-ａ/を選択する（ＳA14）。

手順ＳA12のトライフォンＰ3の選択または手順ＳA14のダイフォンＰ2の選択を実行すると、素片選択部２６は、新規指定音の末尾部の合成にトライフォンＰ3を利用できるか否か（新規指定音の末尾の音素に対応するトライフォンＰ3の素片データＤVが素片群Ｖ内に存在するか否か）を判定する（ＳA15）。手順ＳA15の結果が肯定である場合、素片選択部２６は、新規指定音の発音文字ｓ3に対応するトライフォンＰ3を選択し、そのトライフォンＰ3の素片識別子ｓ4を楽譜情報Ｓに追加する（ＳA16）。すなわち、新規指定音のダイフォンＰ2やモノフォンＰ1を利用可能な場合でもトライフォンＰ3が優先的に選択される。なお、素片選択部２６は、新規指定音の中間部に相当する母音のモノフォンＰ1を手順ＳA16にて選択して楽譜情報Ｓに追加する。

他方、手順ＳA15の結果が否定である場合、素片選択部２６は、新規指定音の末尾部の合成にダイフォンＰ2を利用できるか否か（新規指定音の末尾の音素に対応するダイフォンＰ2の素片データＤVが素片群Ｖ内に存在するか否か）を判定する（ＳA17）。手順ＳA17の結果が肯定である場合、素片選択部２６は、新規指定音の発音文字ｓ3に対応するダイフォンＰ2を選択し、そのダイフォンＰ2の素片識別子ｓ4を楽譜情報Ｓに追加する（ＳA18）。すなわち、新規指定音のモノフォンＰ1を利用可能な場合でもダイフォンＰ2が優先的に選択される。なお、素片選択部２６は、新規指定音の中間部に相当する母音のモノフォンＰ1を手順ＳA18にて選択して楽譜情報Ｓに追加する。

例えば、図６の部分(A)の場合を想定すると、直後が無音となる発音文字「は［ｈａ］」に対応するトライフォン/ｈ-ａ-＃/は素片群Ｖに存在しないから、素片選択部２６は、図６の部分(B)や部分(C)に示すように、ダイフォン/ａ-＃/を利用できる場合（ＳA17：YES）にそのダイフォン/ａ-＃/を選択する（ＳA18）。他方、図７の部分(A)は、発音文字「は[ｈａ]」の指定音と発音文字「が[ｇａ]」の指定音との間に発音文字「な[ｎａ]」の新規指定音を追加した場合が想定されている。素片選択部２６は、図７の部分(B)に示すように、新規指定音の末尾部の合成にトライフォン/ａ-ｇ-ａ/を利用できる場合（ＳA15：YES）にはそのトライフォン/ａ-ｇ-ａ/を選択し（ＳA16）、図７の部分(C)に示すように、トライフォン/ａ-ｇ-ａ/は利用できないがダイフォン/ａ-ｇ/を利用できる場合（ＳA17：YES）にはそのダイフォン/ａ-ｇ/を選択する（ＳA18）。

他方、手順ＳA13または手順ＳA17の結果が否定である場合（トライフォンＰ3もダイフォンＰ2も存在しない場合）、素片選択部２６は、新規指定音の発音文字ｓ3に対応するモノフォンＰ1を利用できるか否かを判定する（ＳA19）。手順ＳA19の結果が否定である場合、素片選択部２６は、音声素片の不足（合成音を生成できないこと）を例えば表示装置１６から利用者に報知する（ＳA20）。

他方、手順ＳA19の結果が肯定である場合、素片選択部２６は、新規指定音の発音文字ｓ3に対応するモノフォンＰ1を選択し、そのモノフォンＰ1の素片識別子ｓ4を楽譜情報Ｓに追加する（ＳA21）。例えば、素片選択部２６は、例えば図６の部分(A)の場合には、図６の部分(D)に示すようにモノフォン/ｈ/およびモノフォン/ａ/を選択し（ＳA21）、図７の部分(A)の場合には、図７の部分(D)に示すようにモノフォン/ｎ/およびモノフォン/ａ/を選択する（ＳA21）。以上に説明したように、素片選択部２６は、トライフォンＰ3をダイフォンＰ2やモノフォンＰ1に優先して選択し、ダイフォンＰ2をモノフォンＰ1に優先して選択する。

素片選択部２６が図５の処理で選択した音声素片は、利用者からの指示に応じて変更され得る。第１に、利用者は、相前後する２個の音声素片を１個の音声素片に変更する指示（以下「素片結合指示」という）を入力装置１４に付与することが可能である。例えば、利用者は、図８の部分(A)に示すように、表示装置１６に表示される結合指示子６２（マウスポインタ）を任意に移動させて２個の音声素片を指定することで素片結合指示を付与する。

第２に、利用者は、複数の音素で構成される１個の音声素片を２個の音声素片に変更する指示（以下「素片分割指示」という）を入力装置１４に付与することが可能である。例えば、利用者は、図９の部分(A)に示すように、表示装置１６に表示される分割指示子６４（マウスポインタ）を任意に移動させて１個の音声素片を指定することで素片分割指示を付与する。

図１０は、素片結合指示や素片分割指示に関連する素片選択部２６の動作のフローチャートである。図１０の処理は、例えば所定の時間毎に反復される。図１０の処理を開始すると、素片選択部２６は、素片結合指示が利用者から付与されたか否かを判定する（ＳB11）。

手順ＳB11の結果が否定である場合、素片選択部２６は、以下の手順ＳB12から手順ＳB14の処理を実行せずに手順ＳC11を開始する。他方、素片結合指示が付与された場合（ＳB11：YES）、素片結合指示が指定された２個の音声素片の各々の音素で構成される１個の音声素片（以下「結合素片」という）を利用できるか否か（結合素片の素片データＤVが素片群Ｖ内に存在するか否か）を判定する（ＳB12）。例えば、図８の部分(A)に示すように、相前後する既存のダイフォン/ａ-ｎ/とダイフォン/ｎ-ａ/とを指定した素片結合指示が付与された場合、素片選択部２６は、図８の部分(B)のように、双方の素片の音素を配列したトライフォン/ａ-ｎ-ａ/（結合素片）の素片データＤVが素片群Ｖ内に存在するか否かを判定する。

結合素片を利用できない場合（ＳB12：NO）、素片選択部２６は、音声素片を結合できないことを例えば表示装置１６から利用者に報知する（ＳB13）。他方、結合素片を利用できる場合（ＳB12：YES）、素片選択部２６は、結合素片を選択し、楽譜情報Ｓのうち素片結合指示で指定された２個の音声素片の素片識別子ｓ4を１個の結合素片の素片識別子ｓ4に変更する（ＳB14）。表示制御部２２は、図８の部分(B)に示すように、編集画面４０のうち第１領域４６内の各素片画像５４と第２領域４８内の各音素数画像５６とを手順ＳB14の変更後の内容に更新する。なお、図８では２個のダイフォンＰ2を１個のトライフォンＰ3に変更する場合を例示したが、２個のモノフォンＰ1を１個のダイフォンＰ2に変更する場合にも同様の処理が実行される。

以上の処理が完了すると、素片選択部２６は、素片分割指示が利用者から付与されたか否かを判定する（ＳC11）。手順ＳC11の結果が否定である場合、素片選択部２６は、以下の手順ＳC12から手順ＳC14の処理を実行せずに図１０の処理を終了する。他方、素片分割指示が付与された場合（ＳC11：YES）、素片分割指示で指定された１個の音声素片の前半部および後半部に相当する２個の音声素片（以下「分割素片」という）を利用できるか否か（各分割素片の素片データＤVが素片群Ｖ内に存在するか否か）を判定する（ＳC12）。例えば、図９の部分(A)に示すように、１個のトライフォン/ａ-ｎ-ａ/を指定した素片分割指示が付与された場合、素片選択部２６は、図９の部分(B)のように、前半部に相当するダイフォン/ａ-ｎ/と後半部に相当するダイフォン/ｎ-ａ/との各々（分割素片）の素片データＤVが素片群Ｖ内に存在するか否かを判定する。

２個の分割素片を利用できない場合（ＳC12：NO）、素片選択部２６は、音声素片を分割できないことを例えば表示装置１６から利用者に報知する（ＳC13）。他方、２個の分割素片を利用できる場合（ＳC12：YES）、素片選択部２６は、各分割素片を選択し、楽譜情報Ｓのうち素片分割指示で指定された１個の音声素片の素片識別子ｓ4を２個の分割素片の各々の素片識別子ｓ4に変更する（ＳC14）。表示制御部２２は、図９の部分(B)に示すように、編集画面４０のうち第１領域４６内の各素片画像５４と第２領域４８内の各音素数画像５６とを手順ＳC14の変更後の内容に更新する。なお、図９では１個のトライフォンＰ3を２個のダイフォンＰ2に変更する場合を例示したが、１個のダイフォンＰ2を２個のモノフォンＰ1に変更する場合にも同様の処理が実行される。

以上に説明したように、本実施形態では、音素数が相違する複数の音声素片（モノフォンＰ1，ダイフォンＰ2，トライフォンＰ3）の素片データＤVが素片群Ｖに収録され、音素数が多い音声素片から優先的に選択されて指定音の合成に適用される。したがって、多数の音声素片が素片群Ｖに収録された構成でも、利用者による音声素片の選択を必要とせずに、聴感的に自然な印象の合成音を生成し得る適切な音声素片を選択することが可能である。しかも、素片選択部２６が選択した音声素片は、利用者からの指示（素片結合指示，素片分割指示）に応じて音素数が相違する音声素片に変更されるから、利用者の所望の音素数を利用して利用者の意図を反映した多様な合成音を生成できるという利点もある。

また、第１実施形態では、音声素片の音素数と同数の単位図形５６２を配列した音素数画像５６が表示されるから、利用者が各指定音の音声素片の音素数を直感的に把握できるという利点がある。しかも、素片結合指示や素片分割指示に応じて音声素片の音素数が変化すると音素数画像５６の態様も更新されるから、各音声素片の音素数の変化を利用者が直感的に把握することも可能である。

＜Ｂ：第２実施形態＞
本発明の第２実施形態を説明する。なお、以下の各例示において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

第２実施形態の記憶装置１２は、第１実施形態と同様の素片群Ｖおよび楽譜情報Ｓに加えて、各指定音に対する音声素片の選択の履歴を示す図１１の履歴情報Ｈを記憶する。図１１に例示するように、履歴情報Ｈは、各指定音に対する音声素片の選択の履歴を示す情報である。具体的には、履歴情報Ｈは、図１１に示すように、素片選択部２６が過去に音声素片を選択した各指定音の特徴量Ｆと、素片選択部２６がその指定音について選択した音声素片の素片識別子ｓ4とを含むデータテーブルである。特徴量Ｆは、指定音の音高ｓ1や時間長（発音期間ｓ2が示す継続長）を含んで構成される。

図１２は、第２実施形態における素片選択部２６の動作のフローチャートである。図１２に示すように、素片選択部２６は、利用者からの指示に応じて音声素片を選択する処理（ＳA1，ＳA2）や自動的に指定音の音声素片を選択する処理（ＳA11〜ＳA21）に加えて、記憶装置１２内の履歴情報Ｈを参照して指定音の音声素片を選択する処理（ＳD11〜ＳD13）と、音声素片の選択の結果を履歴情報Ｈに反映させる処理（ＳD20）とを実行する。

利用者が新規指定音の音声素片を選択しない場合（ＳA1：NO）、素片選択部２６は、新規指定音に特徴量Ｆが近似または合致する指定音（以下「対応指定音」という）が履歴情報Ｈに登録されているか否かを判定する（ＳD11）。例えば、特徴量Ｆが示す音高が新規指定音の音高ｓ1を含む所定の範囲内にあり、かつ、特徴量Ｆが示す時間長が新規指定音の発音期間ｓ2の継続長を含む所定の範囲内にある指定音が、対応指定音として履歴情報Ｈから検索される。

履歴情報Ｈ内に対応指定音が存在する場合（ＳD11：YES）、素片選択部２６は、履歴情報Ｈのうち対応指定音に対応する音声素片を利用できるか否か（対応指定音について過去に選択された音声素片の素片データＤVが素片群Ｖ内に存在するか否か）を判定する（ＳD12）。履歴情報Ｈに登録された音声素片は素片選択部２６が過去に実際に選択した音声素片であるから、基本的にはその音声素片の素片データＤVは素片群Ｖに包含される（ＳD12：YES）。しかし、記憶装置１２の素片群Ｖが更新された場合や部分的に削除された場合には、過去に選択された音声素片の素片データＤVが素片群Ｖ内に存在しない可能性がある（ＳD12：NO）。

履歴情報Ｈにて対応指定音に対応する音声素片を利用可能である場合（ＳD12：YES）、素片選択部２６は、対応指定音に対応する音声素片を今回の新規指定音についても同様に選択し、その音声素片の素片識別子ｓ4を楽譜情報Ｓに追加する（ＳD13）。すなわち、新規指定音に近似または合致する対応指定音が履歴情報Ｈに登録されている場合には対応指定音の音声素片が新規指定音についても選択される。

他方、履歴情報Ｈ内に対応指定音が存在しない場合（ＳD11：NO）または対応指定音の過去の音声素片を利用できない場合（ＳD12：NO）、素片選択部２６は、第１実施形態と同様の方法で新規指定音の音声素片を選択する（ＳA11〜ＳA21）。そして、新規指定音の音声素片を選択した素片選択部２６は、今回の新規指定音の特徴量Ｆと自身が選択した音声素片とを対応させて履歴情報Ｈに登録する（ＳD20）。なお、利用者からの指示に応じて新規指定音の音声素片を選択した場合（ＳA2）にも同様に、新規指定音の特徴量Ｆと利用者からの指示に応じた音声素片とが履歴情報Ｈに登録される（ＳD20）。

図１３は、素片結合指示や素片分割指示に関連する素片選択部２６の動作のフローチャートである。図１３に例示された動作は、図１２の動作に手順ＳB15および手順ＳC15を追加した内容である。素片結合指示に応じた結合素片を手順ＳB14で選択すると、素片選択部２６は、履歴情報Ｈのうち今回の編集（素片結合）の対象とされた指定音に対応する素片識別子ｓ4を、手順ＳB14で選択した結合素片の素片識別子ｓ4に更新する（ＳB15）。同様に、素片分割指示に応じた各分割素片を手順ＳC14で選択すると、素片選択部２６は、履歴情報Ｈのうち編集対象の指定音に対応する素片識別子ｓ4を、手順ＳC14で選択した各分割素片の素片識別子ｓ4に更新する（ＳC15）。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、新規指定音に類似または合致する指定音について過去に素片選択部２６が選択した音声素片が新規指定音についても選択されるから、例えば音高が共通する複数の指定音については同じ音声素片が選択される。したがって、利用者が例えば手順ＳA2で選択した音声素片や図１３の処理での変更後の音声素片を効率的に選択できるという利点がある。

＜Ｃ：変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）変形例１
以上の各形態では、素片群Ｖの全部の音声素片を素片選択部２６による選択の候補としたが、例えば利用者からの指示に応じた音素数の音声素片のみを選択の候補とする構成（他の音素数の音声素片を選択の候補から除外する構成）も採用され得る。例えば、表示制御部２２は、図１４の設定画面８１を表示装置１６に表示させる。利用者は、素片選択部２６による選択の有効／無効を、設定画面８１に対する操作（チェックの付加／解除）で音素数毎に個別に設定する。素片選択部２６は、設定画面８１にて選択が有効化された音素数の音声素片のみを選択の候補とし、設定画面８１にて選択が無効化された音素数の音声素片は選択の候補から除外する。例えば、図１４の例示の場合にはダイフォンＰ2およびトライフォンＰ3のみが選択の候補となる。以上の構成によれば、利用者の所望の音素数の音声素片のみが選択的に利用されるから、利用者の意図を高度に反映した多様な合成音を生成できるという利点がある。

（２）変形例２
以上の各形態では、各指定音の全部の音声素片について音素数画像５６を編集画面４０の第２領域４８に表示したが、例えば利用者からの指示に応じた音素数の音声素片を音素数画像５６の表示の対象から除外する構成も採用され得る。例えば、表示制御部２２は、図１５の設定画面８２を表示装置１６に表示させる。利用者は、音素数画像５６の表示の有効／無効を、設定画面８２に対する操作で音素数毎に個別に設定する。表示制御部２２は、設定画面８２にて表示が有効化された音素数の音声素片のみについて第２領域４８に音素数画像５６を表示し、設定画面８２にて表示が無効化された音素数の音声素片については音素数画像５６を表示しない。例えば、図１５の例示の場合にはダイフォンＰ2およびトライフォンＰ3のみについて音素数画像５６が表示され、モノフォンＰ1については音素数画像５６が表示されない。なお、音素数画像５６（音素数は不問）の表示／非表示を利用者が可変に設定できる構成も好適である。

（３）変形例３
以上の各形態では、音素数と同数の単位図形５６２を配列した音素数画像５６を表示したが、音素数画像５６の態様は適宜に変更される。ただし、音素数画像５６を視認した利用者が音素数の相違を視覚的に識別できるように音素数毎に相異なる表示態様で音素数画像５６を表示する構成が好適である。表示態様とは、利用者が視覚的に知覚できる画像の状態を意味する。例えば、画像の形状や寸法，階調の濃淡，表示色（色相，明度，彩度），模様，またはこれらの組合せが、画像の表示態様の概念に包含される。

（４）変形例４
第２実施形態において、履歴情報Ｈの参照や更新（登録）の有効／無効を利用者が可変に設定できる構成も好適である。例えば、表示制御部２２は、図１６の設定画面８３を表示装置１６に表示させる。利用者は、履歴情報Ｈの参照の有効／無効（履歴参照）と、履歴情報Ｈの更新の有効／無効（履歴更新）とを、設定画面８３に対する操作で可変に設定する。素片選択部２６は、履歴情報Ｈの参照が有効化されている場合には履歴情報Ｈを利用した音声素片の選択（ＳD11〜ＳD13）を実行し、履歴情報Ｈの参照が無効化されている場合には手順ＳD11から手順ＳD13を省略する。また、素片選択部２６は、履歴情報Ｈの更新が有効化されている場合には音声素片の選択後に履歴情報Ｈの更新（ＳD20）を実行し、履歴情報Ｈの更新が無効化されている場合には手順ＳD20を省略する。

また、履歴情報Ｈのうち音声素片の選択時に参照する範囲を制限する構成も採用され得る。例えば、素片選択部２６は、履歴情報Ｈに登録された複数の指定音のうち最新のＮ1個のみを新規指定音の音声素片の選択時に参照する。また、履歴情報Ｈに登録する履歴数を制限する構成も採用され得る。例えば、素片選択部２６は、音声素片を選択した過去の指定音のうち最新のＮ2個のみについて履歴情報Ｈに履歴を登録する（さらに過去の情報は破棄する）。参照履歴の個数Ｎ1や登録履歴の個数Ｎ2は利用者からの指示に応じて可変に設定される。

（５）変形例５
音声素片の素片データＤVは波形のサンプル系列に限定されない。例えば時間領域または周波数領域で音声素片について抽出される特徴量（例えば周波数スペクトルやケプストラム）も素片データＤVとして利用され得る。

１００……音声合成装置、１０……演算処理装置、１２……記憶装置、１４……入力装置、１６……表示装置、１８……放音装置、２２……表示制御部、２４……情報生成部、２６……素片選択部、２８……音声合成部、４０……編集画面、４２……楽譜領域、４４……音素領域、４６……第１領域、４８……第２領域、５２……音符画像、５４……素片画像、５６……音素数画像、５６２……単位図形、６２……結合指示子、６４……分割指示子。

Claims (6)

1. 指定音毎に音声素片を選択する素片選択手段と、
   前記素片選択手段が選択した音声素片の素片データを利用して音声信号を生成する音声合成手段とを具備し、
   前記素片選択手段は、各指定音に対する音声素片の選択の履歴を示す履歴情報を参照して、一の指定音に合致または類似する指定音について前記履歴情報が示す履歴に係る音声素片を前記一の指定音について選択する
   音声合成装置。
2. 音素数が相違する２以上の音声素片を含む複数の音声素片から指定音毎に音声素片を選択する手段であって、音素数が相違する２以上の音声素片が１個の指定音に対する選択の候補として存在する場合に音素数が多い音声素片を選択する素片選択手段と、
   前記素片選択手段が選択した音声素片の素片データを利用して音声信号を生成する音声合成手段と、
   前記素片選択手段が各指定音について選択した音声素片の音素数を識別可能な音素数画像が配置された音素領域を含む画像を表示装置に表示させる表示制御手段と
   を具備する音声合成装置。
3. 前記素片選択手段は、指定音に対して選択した音声素片を、利用者からの指示に応じて、音素数が相違する音声素片に変更し、
   前記表示制御手段は、前記素片選択手段による音声素片の変更に応じて前記音素数画像を更新する
   請求項２の音声合成装置。
4. 前記表示制御手段は、音声素片の音素数に対応する個数の単位図形を配列した前記音素数画像を表示させる
   請求項２または請求項３の音声合成装置。
5. 音素数が相違する２以上の音声素片を含む複数の音声素片から指定音毎に音声素片を選択する素片選択手段と、
   前記素片選択手段が選択した音声素片の素片データを利用して音声信号を生成する音声合成手段とを具備し、
   前記素片選択手段は、利用者が一の指定音について音声素片を指定した場合に当該音声素片を選択し、前記一の指定音について利用者が音声素片を指定しない場合に、音素数が相違する２以上の音声素片が当該一の指定音に対する選択の候補として存在するならば、音素数が多い音声素片を選択する
   音声合成装置。
6. 音素数が相違する２以上の音声素片を含む複数の音声素片から指定音毎に音声素片を選択する素片選択手段と、
   前記素片選択手段が選択した音声素片の素片データを利用して音声信号を生成する音声合成手段とを具備し、
   前記素片選択手段は、音素数が相違する２以上の音声素片が一の指定音に対する選択の候補として存在する場合に、利用者から指示された音素数の音声素片を選択する
   音声合成装置。
   

Images