JP3846300B2 - 録音原稿作成装置および方法 - Google Patents

Description

【０００１】
【技術分野】
この発明は，音声対話の分野における，主に音声合成のための，音声情報データベース作成装置，さらにこのシステムの一部として位置づけられる録音原稿作成装置，録音管理装置，ラベリング装置，および方法に関する。
【０００２】
従来，音声情報データベースの作成は，言語処理，録音，音声波形のラベリングなどの各分野に関する専門知識や技能を有した人間が手間と時間をかけて行っていたため，音声情報データベースの作成は，各分野の専門家を有する，または集めることのできる特定の企業や機関だけが行うことができた。また，必要な技能と時間の観点からも，音声情報データベース作成に必要なコストは膨大なものであった。
【０００３】
この問題点はさらに，所望の音声で音声情報データベースを作成しさえすれば，あたかもその人が発話しているかのような自然な声質の合成音声が得られるという，波形接続型音声合成の特長が十分に活かされず，音声合成が広く普及しない要因にもなっていた。
【０００４】
【発明の開示】
この発明は，音声合成により作成したいすべての文字列を含む元原稿から，音声情報データベースに音声情報を格納すべき最小限の文字列を持つ録音原稿を作成する装置および方法を提供するものである。
【０００５】
この発明はまた，上記録音原稿を話者が声を出して発音することにより得られる音声波形に基づいて作成された音声情報データベースが既に存在するときに，さらに追加すべき文字列を含む追加原稿について，最小限の文字列を持つ追加録音原稿を作成する装置および方法を提供するものである。
【０００６】
この発明はまた，録音原稿を話者が声を出して読むことを支援する録音管理装置および方法を提供するものである。
【０００７】
この発明はさらに，録音により得られる音声波形とそれに対応する文字列とを用いて，音声波形についてのラベル情報（音声単位のラベルとその時間情報とからなる）を作成するとともに，作成したラベル情報の信頼性を高めることのできるラベリング装置および方法を提供するものである。
【０００８】
この発明は最終的には，専門的知識をもたない者であっても，比較的容易に音声情報データベースを作成することができるシステムを提供するものである。
【０００９】
この発明による録音原稿作成装置は，複数の文字列を含む元原稿を設定する手段，元原稿に含まれる文字列を構成するすべての音声単位を抽出する元原稿分析手段，および上記元原稿分析手段によって抽出されたすべての音声単位を含むように元原稿から文字列を選択して録音原稿を作成する第１の文字列選択手段を備えているものである。
【００１０】
上記元原稿設定手段とは，手入力される元原稿を受付けるものでもよいし，ＦＤ等の記録媒体に格納されたものを読取るリーダでもよい。文字列とは，単語，句，節，文を含む概念である。いずれにしても元原稿には複数の文字列がある。第１の文字列選択手段は元原稿から選択する文字列の数が最小に（または，できるだけ少なくなるように）選択するものである。
【００１１】
元原稿から選択して録音原稿に加えるべき文字列を最小にするためのこの発明の実施態様においては，上記元原稿分析手段は，元原稿に含まれる文字列を構成するすべての音声単位について，その元原稿における出現回数を検出するものであり，上記文字列選択手段は，出現回数の少ない音声単位を含む文字列から順に，上記すべての音声単位を網羅するまで，文字列を選択するものである。
【００１２】
このようにして，この発明によると，音声情報データベースを作成するにあたって話者が声を出して読むべき録音原稿を元原稿から，操作者が言語処理の専門知識を有していなくても，作成することができる。しかも，録音原稿には（できるだけ）最小限の文字列のみが含まれることとなる。
【００１３】
一実施態様では，上記文字列選択手段は，作成すべき音声情報データベースに関する所与の仕様を満たす条件の下で文字列を選択するものである。
【００１４】
ここで，仕様とは，合成音声の品質レベル，音声情報データベースの容量，録音作業を含む音声情報データベースの作成時間等であり，これらの仕様に基づく要求を満たすように，文字列選択手段の動作が制御される。
【００１５】
この発明はさらに追加録音原稿作成装置を提供している。この追加録音原稿作成装置は上記の録音原稿作成装置に付随するものでもよいし，独立したものでもよい。
【００１６】
この追加録音原稿作成装置は，既存の音声情報データベースに含まれるすべての第１の音声単位を抽出する音声情報データベース分析手段，追加元原稿に含まれる文字列を構成するすべての第２の音声単位を抽出する追加元原稿分析手段，第２の音声単位について，第１の音声単位に含まれていない音声単位を検出する比較手段，および上記比較手段によって検出された音声単位を含む文字列を追加元原稿から選択して追加録音原稿を作成する第２の文字列選択手段を備えているものである。
【００１７】
既に作成された音声情報データベースのデータを有効に利用し，（できるだけ）最小限の文字列を含む追加録音原稿で追加原稿の文字列を音声合成できる音声情報データが作成できるようになる。
【００１８】
録音原稿作成装置（追加録音原稿作成装置を含む）は，一般的には，音声情報データベース作成装置の一部として位置づけられ，音声情報データベース作成装置および録音原稿作成装置はコンピュータシステムにより実現される。このコンピュータシステムを制御する録音原稿作成のためのプログラムは，所与の元原稿に含まれる文字列を構成するすべての音声単位を抽出し，かつそれらの音声単位について，その元原稿における出現回数を検出し，出現回数の少ない音声単位を含む文字列から順に，上記の抽出したすべての音声単位を網羅するまで，元原稿から文字列を選択して録音原稿に加えるようにコンピュータを制御するものである。
【００１９】
さらに，この発明による録音原稿作成方法は，所与の元原稿に含まれる文字列を構成するすべての音声単位を抽出し，かつそれらの音声単位について，その元原稿における出現回数を検出し，出現回数の少ない音声単位を含む文字列から順に，上記の抽出したすべての音声単位を網羅するまで，元原稿から文字列を選択して録音原稿に加えるものである。
【００２０】
この発明による追加録音原稿作成方法は，既存の音声情報データベースに含まれるすべての第１の音声単位を抽出し，追加元原稿に含まれる文字列を構成するすべての第２の音声単位を抽出し，第２の音声単位について，第１の音声単位に含まれていない音声単位を検出し，検出された音声単位を含む文字列を追加元原稿から選択して追加録音原稿を作成するものである。
【００２１】
この発明による録音管理装置は，録音原稿に含まれる複数の文字列を，所与の表示トリガごとに順次表示する表示装置，表示装置に表示された文字列について話者から入力された音声信号を一時的に記憶する録音手段，上記音声信号を分析する音声信号分析手段，上記音声分析手段の分析結果に基づいて音声採否を判定し，採用と判定したときには上記録音手段に一時記憶された音声信号を音声波形データベースに格納するように制御するとともに表示トリガを上記表示装置に与える音声採否判定手段，および上記音声信号分析手段の分析結果または上記音声採否判定手段の判定結果に基づいて，話者に与えるべき指示情報を作成する話者管理手段を備えているものである。
【００２２】
表示装置には，話者が声を出して読むべき（発音すべき）文字列が表示されるから，話者はこの表示にしたがって，発話していけばよい。話者に対して，音声分析結果に基づく指示情報が与えられるから，話者はこの指示にしたがって行動すればよい。指示情報には，音声分析結果（たとえば，声の高さ，音量，話速など）や，これらについての注意，休息指示等が含まれる。さらに，話者の発話した音声についての採否が判定され，採用と判定されたときのみ話者の音声がデータベースに格納されるので，良質の音声波形データを確保することができる。このようにして，音声の分析結果とその履歴情報に基づいて，録音原稿を読上げた話者の音声をデータベースに登録するか否かを判定したり，発話に関する指示情報を話者に対してフィードバックするので，録音作業を管理するための録音ディレクタが付き添わなくても，話者ひとりだけで，録音作業を進めることができ，かつ質の高い音声データを収録することができる。
【００２３】
好ましい実施態様では，上記表示装置に表示される文字列を表わす合成音声信号を作成する音声合成手段，および音声合成手段によって作成された合成音声信号を出力する音声出力手段がさらに設けられる。
【００２４】
適切な読上げ方を手本として，標準音声を出力することにより，話者が録音原稿の文字列を不適切に読上げることを防ぎ，録音音声の品質を向上できる。
【００２５】
この発明による録音管理方法は，録音原稿に含まれる複数の文字列を，所与の表示トリガごとに順次表示し，表示された文字列について話者から入力された音声信号を一時的に記憶し，上記音声信号を分析し，上記分析結果に基づいて音声採否を判定し，採用と判定したときには一時記憶された音声信号を音声波形データベースに格納するとともに表示トリガを発生し，上記音声信号の分析結果または上記音声採否判定結果に基づいて，話者に与えるべき指示情報を作成して出力するものである。
【００２６】
この発明による録音管理のためのプログラムは，録音原稿に含まれる複数の文字列を，所与の表示トリガごとに順次表示し，表示装置に表示された文字列について話者から入力された音声信号を分析し，分析結果に基づいて音声採否を判定し，採用と判定したときには，一時記憶された音声信号を音声波形データベースに格納するとともに表示トリガを発生し，上記音声信号の分析結果または上記音声採否判定結果に基づいて，話者に与えるべき指示情報を作成するようにコンピュータを制御するものである。
【００２７】
この発明によるラベリング装置は，録音原稿中の文字列と，この文字列を発音することにより得られる音声波形データとの対応づけにより，音声波形データを音声単位ごとに区切り，音声単位を表わすラベルとその区切りを表わす時間情報とを含む第１のラベル情報を作成する第１のラベリング手段，および上記第１のラベリング手段によって作成された第１のラベル情報における時間情報を修正または無効化するラベリングエラー除去手段を備えているものである。
【００２８】
上記ラベリングエラー除去手段は，一実施態様では，音声単位ごとに設けられた修正規則に基づいて時間情報を修正するものである。
【００２９】
上記ラベリングエラー除去手段は，他の実施態様では，上記第１のラベリング手段とは異別の第２のラベリング手段によって上記録音原稿中の文字列について作成された第２のラベル情報に含まれる時間情報と，上記第１のラベル情報の対応する時間情報との差を算出し，この差が測定値を超えている場合に，その時間情報について無効化情報を付与するものである。
【００３０】
上記ラベリングエラー除去手段は，さらに他の実施態様では，既に作成されているラベル情報について統計的手法により，音声単位ごとに継続時間の信頼区間を作成し，上記第１のラベル情報に含まれる時間情報から生成される音声単位ごとの継続時間を対応する信頼区間と比較し，継続時間が信頼区間外の場合に，その継続時間を生成した時間情報に無効化情報を付与するものである。
【００３１】
この発明によると，作成されたラベル情報の時間情報について，その時間情報が適切なものかどうかのチェックが行われ，必要に応じて修正または無効化されるので，最終的に得られるラベル情報は信頼性の高いものとなる。
【００３２】
この発明によるラベリング方法は，録音原稿中の文字列と，この文字列を発音することにより得られる音声波形データとの対応づけにより，音声波形データを音声単位ごとに区切り，音声単位を表わすラベルとその区切りを表わす時間情報とを含むラベル情報を作成し，ラベリング手段によって作成されたラベル情報における時間情報を修正または無効化するものである。
【００３３】
この発明によるラベリングのためのプログラムは，録音原稿中の文字列と，この文字列を発音することにより得られる音声波形データとの対応づけにより，音声波形データを音声単位ごとに区切り，音声単位を表わすラベルとその区切りを表わす時間情報とを含むラベル情報を作成し，ラベリング手段によって作成されたラベル情報における時間情報を修正または無効化するようにコンピュータを制御するものである。
【００３４】
この発明による音声情報データベース作成システムは，音声合成により作成すべき文字列を含む元原稿から，音声情報データベースに音声情報を格納すべき文字列を，元原稿に含まれる文字列の音声単位を分析してできるだけ少ない文字列ですべての音声単位を含むように選択して録音原稿を作成する手段，上記録音原稿作成手段により作成された録音原稿に含まれる複数の文字列を，所与の表示トリガごとに順次表示する表示装置，表示装置に表示された文字列について話者から入力された音声信号を一時的に記憶する録音手段，上記音声信号を分析し，この分析結果に基づいて音声採否を判定し，採用と判定したときには上記録音手段に一時記憶された音声信号を音声波形データベースに格納するように制御するとともに表示トリガを上記表示装置に与え，さらに上記分析結果または上記音声採否判定結果に基づいて，話者に与えるべき指示情報を作成する録音管理装置，上記録音原稿作成手段により作成された録音原稿中の文字列と，上記音声波形データベースに格納された音声波形データとの対応づけにより，音声波形データを音声単位ごとに区切り，音声単位を表わすラベルとその区切りを表わす時間情報とを含む第１のラベル情報を作成するとともに，作成されたラベル情報における時間情報を修正または無効化するラベリング装置，上記音声波形データベースに格納された音声波形から特徴量を作成する特徴量作成手段，ならびに上記音声波形データベースに格納された音声波形データと，上記ラベリング装置により作成されたラベル情報および上記特徴量作成手段により作成された特徴量を含むインデックス情報とを対応づけて記憶する音声情報データベース作成手段を備えているものである。
【００３５】
この発明による音声情報データベース作成方法は，音声合成により作成すべき文字列を含む元原稿から，音声情報データベースに音声情報を格納すべき文字列を，元原稿に含まれる文字列の音声単位を分析してできるだけ少ない文字列ですべての音声単位を含むように選択して録音原稿を作成し，作成された録音原稿に含まれる複数の文字列を，表示装置に，所与の表示トリガごとに順次表示し，表示装置に表示された文字列について話者から入力された音声信号を一時的に記憶し，上記音声信号を分析し，この分析結果に基づいて音声採否を判定し，採用と判定したときには一時記憶された音声信号を音声波形データベースに格納するように制御するとともに表示トリガを上記表示装置に与え，さらに上記分析結果または上記音声採否判定結果に基づいて，話者に与えるべき指示情報を作成し，作成された録音原稿中の文字列と，上記音声波形データベースに格納された音声波形データとの対応づけにより，音声波形データを音声単位ごとに区切り，音声単位を表わすラベルとその区切りを表わす時間情報とを含むラベル情報を作成するとともに，作成されたラベル情報における時間情報を修正または無効化し，上記音声波形データベースに格納された音声波形から特徴量を作成し，そして上記音声波形データベースに格納された音声波形データと，作成されたラベル情報および作成された特徴量を含むインデックス情報とを対応づけて音声情報データベースに格納するものである。
【００３６】
この発明によると，専門的な知識を持たない一般的の利用者であっても，比較的容易に，比較的短時間で，比較的高品質の音声情報データベースを作成できる。したがって，波形接続型音声合成において，一般の利用者でも容易に所望の声で，自然な合成音声を作成でき，波形接続型の音声合成が広く一般に普及するようになることが期待される。
【００３７】
この発明は，特に，波形接続型の音声合成で用いられる音声情報データベースの作成を対象としているが，その他の合成方式（波形重畳型など）のためのデータベースの作成にも適用することができる。さらに，音声合成用途以外でもこの発明により作成した音声データベースは，音声認識のための統計的音響モデル（ＨＭＭ）の学習データや音声分析のための試料データとしても利用することができる。
【００３８】
【実施例】
（１）波形接続型音声合成
波形接続型音声合成は，多数（複数）の単語，句，節，文についての音声波形データをあらかじめ用意しておき，これらの音声波形データから必要な部分を切出し（切出された音声波形を波形素片という），複数の波形素片を組合せて接続することによって，新たな単語，句，節または文を表わす合成音声の音声波形を作成するものである。あらかじめ用意する音声波形データを元波形データという。元波形データには後述するようにインデックス情報が付随し，元波形データとインデックス情報のセット（これを波形情報という）は音声情報データベースに格納される。音声合成のために元波形データから必要な部分を切出す単位が音声単位である。
【００３９】
この明細書において，音声単位は，単語，音節，音素および分割音素を含む。単語とは意味の一つのまとまりを表し，文法上の働きをもつものとしての言語の最小単位である。例えば，「ねこが寝る」という文において，「ねこ（neko）」，「が（ga）」，「寝る（neru）」はそれぞれ単語である。音節とは言語学上の発音の単位である。例えば，「ね（ne）」，「こ（ko）」などである。日本語ではかな文字の１つ１つが音節に相当し，100〜300種類程度ある。音節は１つまたは複数の音素で構成される。音素とは，音声の基本的な最小単位である。例えば，「ｎ」，「ｅ」，「ｋ」，「ｏ」などである。音素は，母音（Vowel ，記号Ｖで表す）と子音（Consonant ，記号Ｃで表す）に分類される。日本語では，母音は５種類（ａ，ｉ，ｕ，ｅ，ｏ），子音は約20種類（ｎ，ｋ，ｓ，ｔ，ｍ，ｒなど）がある。分割音素とは，音素をさらに分割したものであり，いくつに分割したものかは問わない。音素は，波形接続型音声合成において最も一般的に用いられる音声単位である。音節も，一般的に用いられる音声単位の１つである。
【００４０】
以上に基づいて，「音声単位」を次のように定義する。すなわち，音声単位とは，母音または子音である音素を分割した分割音素を１つまたは連続させたものである。換言すれば，すべての音声単位は，１つまたは連続する複数の分割音素により構成される。
【００４１】
波形接続型の音声合成では，音声単位として，音節や音素のほかに，ＶＣＶ素片やＣＶＣ素片などの音韻環境を考慮した音声単位も一般的に用いられる。音韻環境を考慮した音声単位とは，ある音声単位について，その前後（両方またはいずれか一方）の音声単位の違いも含めて種類を区別したものである。上では連続する３つの音素からなる音声単位（ＶＣＶ素片，ＣＶＣ素片）を２種類挙げているが，これ以外にも連続する１つ以上の音節からなるものや，連続する１つ以上の分割音素からなるものなど，音韻環境を考慮した音声単位には様々なものが存在する。ＶＣＶ素片とは，母音，子音，母音の３つの連続する音素を１つの音声単位とみなしたものである。例えば，「e-k-o」や「o-g-a」などで種類は700〜800程度ある。ＣＶＣ素片とは，子音，母音，子音の３つの連続する音素を１つの音声単位とみなしたものである。例えば，「n-e-k」や「k-o-g」などで種類は5000〜6000程度ある。
【００４２】
図１は音声波形において，音素，音節および単語の区切りをつけて，音声波形と対応付けて示すものである。図２は，音韻環境を考慮した音声単位を音声波形と対応付けて示すものである。
【００４３】
音声波形とは，空気の振動（音）により発生する空気の粗密を時間変化として表したものである。図１および図２のような音声波形の図において，横軸は時間を，縦軸は空気の密度の高さをそれぞれ表している。音声波形をコンピュータ上で扱うときには通常サンプリング処理により標本化された時系列データを音声波形ファイルとして取扱い，音声波形ファイルに録音（ファイル保存），書込み，読出し等の処理を行う。音声波形データの開始時点からの経過時間を用いて各音声単位の始点，終点および継続時間を表すことができる。
【００４４】
図１において，音声波形の開始点から音の始まりに相当する区間には，ポーズ（無音）を示すラベル「pau 」が与えられ（「ラベル」については後に説明する），「ｔ」，「ａ」，「ｎ」，「ａ」，「ｋ」，「ａ」の音声単位（音素）で音声波形が区切られている。音声波形の下段には，音素の区切り，音節の区切りおよび単語の区切りが音声波形に対応付けて示されている。
【００４５】
図２は，子音「ｋ」を中心として，前後の母音「ａ」を音韻環境として考慮したＶＣＶ形式の音声単位の音声波形を示すものである。この音声波形において，上段には音素単位で音韻環境を考慮した音声単位が示され，下段には分割音素単位で音韻環境を考慮した音声単位が示されている（ここでは，分割音素は１音素を２つに分割したものである）。図２の下段において，音素「ａ」の前半の分割音素を「ａ｜」で後半の分割音素を「｜ａ」で表している。
【００４６】
図３は音声波形とラベル情報との関係を示す。
【００４７】
ラベル情報は，音声波形を音声単位で区切ったときの音声単位（音声波形を構成する音声単位）ごとに設けられ，その音声単位における符号（これをラベルという）（たとえば，音声単位が音素の場合には，ｎ，ｅ，ｋ，ｏ等のアルファベット，音声単位が音節の場合にはｎｅ，ｋｏなどのかな文字）と，その音声単位の音声波形における時間位置情報（単に，時間情報という）とから構成される。時間情報は，音声単位の終りの位置がどこであるのか（音声単位の終点）または音声単位の始まりの位置がどこであるのか（音声単位の始点）を示す情報である。
【００４８】
コンピュータ上では，ラベル情報を，各音声単位を表すラベル（アルファベット記号で表記）とその終点を表す時間情報の組を時系列順に記述したテキスト・ファイルとして扱う。この場合，各音声単位の始点は，直前の音声単位の終点に等しく，各音声単位の継続時間は，直前の音声単位の終点を示す時間情報とその音声単位の終点を示す時間情報との差によって求めることができる。音声波形ファイルの開始時点から音の始まりまでに相当する区間には，ポーズ（無音）を示すラベル「pau 」が与えられる。音声波形ファイルの録音時に，正確に音の開始点と終了点で録音を開始，停止することが難しいため，通常は，音声波形の先頭や末尾にはポーズが含まれる。図３において，音声単位の終点（0.160，0.250など）を時間情報として保持するためには，音の始点を示すために先頭のポーズの終点情報（0.120 ）が必要である（逆に音の終点は最後の音声単位の終点に等しいため，末尾のポーズの終点を示す時間情報は必要ない）。
【００４９】
上述したように，波形情報データベースには複数の音声波形についての波形情報が格納される。波形情報は音声波形データとインデックス情報とから構成される。インデックス情報とは，音声波形（元波形）ごとに，その音声波形を構成する各音声単位について，ラベル情報と音声波形の特徴量（音声単位ごと）とを記述したものである。
【００５０】
特徴量には，音声波形（音声単位ごと）の音韻的特徴と韻律的特徴がある。音韻的特徴には，ケプストラムおよびベクトル量子化データが含まれる。ケプストラムは，音声波形の短時間振幅スペクトルの対数を逆フーリエ変換したものである。ベクトル量子化データは，音声波形の複数のパラメータ値のベクトルを代表ベクトルの符号で表したものである。また韻律的特徴には基本周波数，パワーおよび上述した継続時間が含まれている。基本周波数とは，音源である声帯が振動する周波数であり，音声の「高さ」（ピッチ）を表す指数である。基本周波数が高いほど声の高さは高くなる。パワーとは，音声波形の振幅である。音の「大きさ」に対応する。継続時間は，換言すると音声単位に相当する音声波形の時間長（「長さ」）である。音声単位の長さに対応する音声の継続時間（一つの音声波形で考えると，継続時間の平均値）が小さいことは話速が速いことを示す。
【００５１】
図４は波形情報（音声波形データとインデックス情報のセット）を用いて波形接続型音声合成を行う様子を示している。「さかた」と発音（発話）する合成音声の音声波形を作成するために，「さとう」と発話された音声波形（これを音声１とする）と「たなか」と発話された音声波形（これを音声２とする）の２つの元波形を用いる。これらの元波形を含む音声情報データベースに格納されたインデックス情報が図４の左側に示されている。音声（音声１，２を含む）のそれぞれについて，インデックス情報は，各音声波形を構成する音声単位（ここでは音素）のラベルおよび始点（以下，ラベル情報）と，長さ（時間長），高さ（周波数）および大きさ（振幅）（以下，波形の特徴量）を含む。
【００５２】
作成すべき合成音声を表わす文字列「さかた」が与えられると，インデックス情報を参照して，「sakata」の音声波形を合成するのに必要な音声単位を選択する。音声１から「ｓ」および「ａ」，音声２から「ｔ」および「ａ」と「ｋ」および「ａ」がそれぞれ選択される。
【００５３】
選択された各音声単位に対応する波形素片を，インデックス情報に記述された始点と長さに基づいて，元波形からそれぞれ切出す。音声１の元波形から「ｓ」と「ａ」をそれぞれ表わす波形素片が，音声２の元波形から「ｔ」と「ａ」をそれぞれ表わす波形素片と「ｋ」と「ａ」をそれぞれ表わす波形素片がそれぞれ切出される。これらの波形素片が「ｓ」，「ａ」，「ｋ」，「ａ」，「ｔ」，「ａ」の順序に接続（合成）される。
【００５４】
このように，元波形から切り出した波形素片に対して，信号処理を行うことなく，波形素片を所与の順序で接続するので，音質を劣化させることなく合成音声の音声波形を作成することができる。
【００５５】
図５は波形接続型音声合成処理の流れを示すものである。
【００５６】
音声合成により作成すべき発音（発話）を表わす文字列が与えられる。この入力文字列は，音声単位のラベル列に変換される。例えば，日本語の場合に漢字かな交じりの文の入力があったとすると，この文の単語への分割，幾つかの単語をグループ化したうえでアクセント位置の決定，単語グループ間に挿入するポーズ（間）の長さの決定などの処理を行う。音声単位のラベル列を直接入力するようにしてもよい。
【００５７】
韻律予測処理92では，音声単位ラベル列に基づいて，各音声単位の韻律的特徴を予測する。具体的には，音声情報作成における特徴量抽出の処理で，音声単位ごとに音の高さ，強さ，長さのパターンを抽出した結果を利用する。韻律的特徴を直接指定して入力してもよい。
【００５８】
音声単位選択処理93では，音声情報データベース97から音声単位ラベル列のラベルと一致する音声単位を選択する。一致する音声単位が複数ある場合には，音声情報データベースのインデックス情報を参照して，韻律的特徴が最も一致する音声単位を選ぶようにする。
【００５９】
波形接続処理94では，選択された音声単位のインデックス情報を参照して，元波形データからその音声単位に相当する波形素片を切出し（信号処理せずそのまま），音声単位ラベル列の順に接続する。
【００６０】
音声出力処理95では，接続して出来上がった合成音声の音声波形を音声デバイス（たとえばスピーカ）96へ送り，音を出力する。
【００６１】
波形接続型音声合成は，音声波形データに対して信号処理を行わないという特徴をもつため，以下のような長所がある。
・信号処理による音質の劣化がない。一般に音声波形に対して信号処理を行うと，声が不自然になるなど音質の劣化が発生する。
・元の音声波形データの声の特徴をそのまま残した合成音声が得られる。特定の人物たとえばアナウンサやタレントなどと同じ声の特徴を持つ合成音声を作成できる。
・音声情報データベースを交換することにより合成音声の声を自由に変えられる。
【００６２】
また，予め用意した音声波形をもとにして合成音声を作成するために以下の点を考慮しなければならない。
・合成したい音の全てを含むような音声波形データ（元波形データ）を用意し，かつ元波形データの量が大きくなりすぎないようにする。すなわち元波形として用意されていない音は合成できない。また，元波形のデータの量が大きくなりすぎると音声情報データベースに入らない。
・十分に良好な音質の元波形データを用意し，かつ元波形データに音質のばらつきがないようにする。
・元波形データから必要な部分を探し出して切り出すために，元波形の内容を示す情報（インデックス情報）を作成する必要がある。
【００６３】
（２）第１実施例
図６は音声情報データベース作成システムのハードウェア構成を示すブロック図である。このシステムは最も典型的には，いわゆるパーソナル・コンピュータまたはワークステーションとその周辺機器により実現することができるが，もちろん，音声情報データベース作成システム専用のハードウェア・アーキテクチャを持つものでよい。
【００６４】
音声情報データベース作成システムは，演算装置（ＣＰＵ）20，ワークメモリ（ＲＡＭ）21，通信Ｉ／Ｆ部22，入力Ｉ／Ｆ部23，出力Ｉ／Ｆ部24，データベース25，画面データメモリ26，処理プログラムメモリ27，入力装置28，出力装置29および合成音声出力装置30を含んでいる。
【００６５】
演算装置20は，音声情報データベース作成処理，その他のシステム管理処理のためのプログラムを実行する。
【００６６】
ワークメモリ21は，音声情報データベース作成処理における入出力データや中間処理データを格納するためのメモリである。
【００６７】
通信Ｉ／Ｆ部22は，入出力装置等のハードウェアを接続する場合，または外部機器と直接またはネットワークを介して通信するためのものであり，ノイズ除去や同期処理などを実行する。ネットワークは用途に応じて適切なものを使用すればよい。
【００６８】
データベース25は，音声情報データベース作成システムにおいて作成された各種データベース（詳細は後述する）を格納するためのものである。
【００６９】
画面データメモリ26は，出力装置に含まれる画面表示装置に出力される画面データを保持するメモリである。
【００７０】
処理プログラムメモリ27は，音声情報データベース作成処理のための各種実行プログラム（ＯＳを含む）（このプログラムの詳細については後述する）を格納するメモリである。上述した各種メモリは，半導体メモリ，磁気ディスク，光ディスク，光磁気ディスク，その他の記憶媒体により実現される。
【００７１】
入力装置28は，操作者が音声情報データベース作成システムに情報を入力する為のものであり，例えば，キーボード，マウス，マイクロフォン，ＦＤドライブ，表示画面等を含むものであり，入力Ｉ／Ｆ23を介して演算装置20と接続される。
【００７２】
出力装置29は，音声情報データベース作成システムの操作者に情報を出力するものであり，例えば，ディスプレイ（表示装置），スピーカ等の操作者に情報を伝達するものであり，出力Ｉ／Ｆ24を介して演算装置20と接続される。
【００７３】
この音声情報データベース作成システムが，作成した音声情報データベースを用いて所望の音声を合成する機能（図６に示す）を持つ場合には，合成した音声を表わす波形データは合成音声出力装置30により記録媒体31に記録される。記録媒体は，ＣＤ−ＲＯＭ，フロッピーディスク，ＤＶＤ等を含む。
【００７４】
図７は上記の音声情報データベース作成システムにおいて，主に演算装置20が達成する諸機能を幾つかにまとめて表す機能ブロック図である。
【００７５】
この音声情報データベース作成システムには４つのデータベース，すなわち原稿データベース11，音声波形データベース12，ラベル情報データベース13，および最終的に作成されるべき音声情報データベース15が含まれる。これらのデータベースは基本的にこのシステムが運用される過程で作成されるもので，具体的には図６に示すデータベース25に対応する。
【００７６】
仕様入力部（手段）４は，この音声情報データベース作成システムを運用する操作者ＯＰが音声情報データベースを作成するにあたって定める仕様（事項）（音声情報データベース容量，音声情報データベース品質，作成時間および元原稿ファイル名）を入力（コンピュータに取込む）するもので，具体的には，図６に示す入力装置28により実現され，詳細は図８に示されている。
【００７７】
原稿作成部（手段）５は，仕様入力部４から入力された仕様情報に応じて原稿データベース11内の元原稿，または仕様入力部４から与えられる元原稿に基づいて録音原稿を作成するものである。録音原稿とは，話者ＳＰが声に出して読む原稿（すなわち，録音されるべき原稿）をいう。話者ＳＰ（話し手，発話者）は録音原稿を声に出して読む人である。システムの操作者ＯＰと話者ＳＰとは同一人でも，異なる人でもよい。原稿作成部（手段）５は，図６に示す処理プログラムメモリ27に格納された原稿作成プログラム（図11参照）を実行する演算装置20により実現され，詳細については図８を参照して後述する。
【００７８】
録音管理部（手段）６は，話者ＳＰの発話音声（または録音音声）の分析結果とその履歴情報に基づいて，その音声を音声情報データベースに収録すべきかどうかの判定，話者ＳＰに対する発話の指示，長時間にわたる録音作業の過程で不可欠な休息時間の設定等を行うものである。これにより，録音ディレクタ（操作ＯＰ）の付き添いがなくても，話者ＳＰだけで録音作業を進めることができ，かつ質の高い音声波形データを収録することが可能になる。録音管理部（手段）６は，処理プログラムメモリ27内の録音管理プログラム（図15，16参照）とこれに従う動作を行う演算装置20とにより実現され，その詳細は図９に示されている。
【００７９】
表示装置９は，原稿作成部（手段）５によって作成された原稿の表示，録音管理部（手段）６から出力される休息指示，発話注意等の表示を行うもので，図６の出力装置29に含まれる。
【００８０】
音声入力装置（手段）10は，話者が発生する音声（発話音声）を電気信号（音声波形）に変換するもので，マイクロフォンにより実現される。図６の入力装置28に含まれる。
【００８１】
録音部（手段）７は，音声入力装置10から入力する音声波形に基づいて発話開始および終了を検出するとともに，検出した発話開始と終了との間の音声波形を記録媒体（磁気テープ，磁気ディスク，半導体メモリ等）に一時的に記録する。音声波形は好ましくはディジタルデータに変換されるがアナログのまま一時的に保持してもよい。録音部７の詳細は図９に示され，図６の入力Ｉ／Ｆ23に対応する。
【００８２】
ラベリング部（手段）８は，録音原稿作成部（手段）５で作成された録音原稿を記録した音声波形データのラベル情報を作成する。さらに，作成したラベル情報からラベリングエラーを検出し，ラベリングエラー箇所の修正または除去を行う。これにより，熟練者の技能を必要とせず熟練者と同じ水準でラベリング情報を作成することができる。ラベリング部（手段）８は，図６に示す処理プログラムメモリ27に格納されたラベリングエラー除去プログラム（図18参照）を実行する演算装置20により実現され，詳細については図10を参照して後述する。
【００８３】
特徴量抽出部（手段）４は，ラベル情報を参照しながら，音声波形ごと，または音声単位ごとに音律または音韻特徴を算出し，音声情報データベース15のインデックス情報を作成する。特徴量抽出部14は，処理プログラムメモリ27内の特徴量抽出プログラムとこれに従う動作を行う演算装置20とにより実現される。
【００８４】
出力装置16は，音声情報データベース15に記録された音声情報をＣＤ−ＲＯＭ，フロッピーディスク，ＤＶＤ等の記録媒体17に記録するものである。
【００８５】
操作者ＯＰは，作成すべき音声情報データベースに関する仕様を仕様入力部４を用いて入力する。仕様入力部４は，図８に示すように，ＦＤドライブ（記録媒体読取装置）41と入力装置42を含む。入力装置42は，図12に示すような仕様入力画面を表示する表示装置，表示画面上のボックス等に文字，数字等を入力するためのキーボード，各種操作用のマウス等を含む。
【００８６】
仕様の項目には，作成すべき音声情報データベースの上限容量，同データベースの品質，同データベースを作成するのに要する（許容できる）上限作成時間，および元原稿ファイル名がある。上限容量は，一般的に動作環境やアプリケーションのデータ領域の制限上，音声情報データベースのために使用できるメモリ容量が制限される場合に用いる。品質は，高いほど音声情報データベース15の容量は大きくなるが合成音声の品質も高くなる（詳細は後述する）。作成時間は主に話者ＳＰが音声を入力作業を行う時間である。
【００８７】
音声情報データベースの作成時間が長ければ，データベースの容量は増大する。したがって，上限作成時間はデータベース容量を制限する。データベース作成時間は作成されるデータベースの容量に比例すると考えて良いので，入力された上限作成時間をデータベース容量に次式を用いて変換することができる。
【００８８】
データベース容量＝データベース作成時間×変換係数
【００８９】
変換係数は，データベース作成時間とデータベース容量の比を示す値で，予め用意しておく，または実績値に基づいて調整することが可能である。すなわち，実際の音声情報データベースの作成終了時点において，完成した音声情報データベースの容量と作成に要した時間に基づいて次式を用いて変換係数を調整する。
【００９０】

【００９１】
音声情報データベースの品質は整数値で表されるレベルで表記される。品質レベルが高くなるほど音声単位の種類は増え，その音声情報データベースを用いて生成される合成音声の質も高くなる。この実施例では品質レベルは３レベルあり，例えば，元原稿中のすべての音素が含まれているという品質が「レベル１」，すべての音節が含まれているという品質が「レベル２」，アクセントの有無を区別した音節が含まれているという品質が「レベル３」である。例えば「すずき（suzuki）」という音声は，レベル１ではｓ，ｕ，ｚ，ｋ，ｉの５種類，レベル２では，su，zu，kiの３種類の単位にそれぞれ分類される。品質レベルが高くなれば，データベース容量が増大し，作成時間が長くなる。元原稿ファイル名とは，テキスト・ファイル形式で作成された元原稿のファイル名である。
【００９２】
操作者ＯＰが音声情報データベースの仕様を入力する場合に，音声情報データ作成システムの表示装置に，図12に示す仕様入力画面が表示される。
【００９３】
この仕様入力画面の左端には，開始，仕様入力，原稿作成，録音，ラベリング，特徴量抽出，終了の順に音声情報データベース作成の工程が表示され，現在行っている工程の表示に，周囲や他の工程とは異なる色が付される。画面上段に表示された仕様入力領域には，音声情報データベースの容量（ＤＢ容量），同データベースの品質（ＤＢ品質）レベル，作成時間の各希望値を入力するボックスと，原稿ファイル名を入力するボックスとがある。さらに，入力を確定する「設定」ボタンが設けられている。画面下段に表示された完成時の音声情報データベースの属性表示領域には，ＤＢ容量，ＤＢ品質レベルおよび作成時間について，予め設定されたデフォルト値と，操作者ＯＰが入力した設定仕様値が表示される。
【００９４】
この仕様入力画面において入力されるＤＢ容量，ＤＢ品質および作成時間は仕様入力部42から原稿作成部５の文字列選択処理53に与えられる。ＤＢ容量と作成時間については少なくともいずれか一方が入力されていればよい。
【００９５】
仕様入力画面において元原稿ファイル名が入力されていれば，その入力ファイル名は入力装置42からＦＤドライブ41に与えられる。ＦＤドライブ41は装着されたＦＤに格納されているファイルのうち，入力された元原稿ファイル名の元原稿ファイルを読出し，原稿作成部５の元原稿設定処理51に与える。
【００９６】
図８において原稿作成部５は，元原稿設定処理（手段）51，元原稿分析処理（手段）52および文字列選択処理（手段）53を含んでいる。これらの各処理の動作を図11を参照して説明する。
【００９７】
原稿作成部５は仕様入力部４から仕様データが与えられると，原稿作成処理を開始する（ステップＳ１）。
【００９８】
元原稿設定処理51はＦＤドライブ41から元原稿ファイルが与えられているかどうかを判断する（ステップＳ２）。元原稿ファイルが与えられていればその元原稿ファイルをワークエリアに取込む（ステップＳ３）。元原稿ファイルが与えられていない場合には，元原稿設定処理51は原稿データベース11から既存の元原稿ファイルを読出し，読出した元原稿ファイルをワークエリアに設定する（ステップＳ４）。
【００９９】
原稿データベース11に複数の元原稿ファイル（既に作成されて格納されているもの）が存在する場合には，仕様情報に含まれるＤＢ容量およびＤＢ品質に基づいて適切なものを選択するようにしてもよい。また，ＦＤ等の記録媒体から読出した元原稿ファイルと原稿データベース11から読出した元原稿ファイルとを組合わせたものを元原稿として設定してもよい。元原稿（元原稿ファイル）とは録音原稿の元（源）になる単語，句，節，文等を格納したもので，この元原稿から所要の単語，句，節，文を取出して後述するように録音原稿が作成される。
【０１００】
元原稿分析処理52はワークエリアに設定された元原稿に含まれる文字列を分析して，文字列を構成する各音声単位が元原稿に出現する回数を計測する（ステップＳ５）。
【０１０１】
図13(A) は元原稿の一例を示すものである。この元原稿は日本人の多くの苗字を列挙したものである（図では一部のみが示されている）。この元原稿は各苗字を表わす文字列のリストである。
【０１０２】
このような元原稿が分析される。分析とは，品質レベルに応じて元原稿に記述された単語，句，節，文などを音声単位に分解することである。この実施例では，品質レベル１の音声単位は音素，品質レベル２の音声単位は音節，品質レベル３の音声単位はアクセントを含む音節である。設定されている品質レベル以下の品質レベルのすべてについて，それぞれに応じた音声単位への分析が行なわれる。品質レベル３が設定されているとすると，品質レベル１における音素への分解，品質レベル２における音節への分解および品質レベル３におけるアクセントを含む音節への分解のすべてが行なわれる。
【０１０３】
このように分解された音声単位のすべてについて，品質レベル別に各音声単位が元原稿中に出現する回数を計測し，元原稿分析結果として音声単位リストを作成する。図７(B) は元原稿分析結果を示すものである。元原稿分析結果は品質レベル別の音声単位リストとして記述され，このリストでは出現回数の小さい順に配列され，出現回数が同じものについてはアルファベット順に並べられる。母音だけからなる音節は音素であり，品質レベル１のものとしてリストアップされているから，品質レベル２および品質レベル３のリストには含まれていない。
【０１０４】
原稿作成部５における文字列選択処理53は，元原稿に含まれる単語，句，節，文章（これらを文字列という）に基づいて，先に作成した元原稿分析結果を参照して，できるだけ少ない文字列で，できるだけ多くの音声単位を含むような録音原稿を作成するものである。このために，録音原稿に加えるべき文字列を元原稿から次のように選択する。すなわち，まず最も低い品質レベルについての元原稿分析結果リストを参照して，最も出現回数の少ない音声単位を含む文字列（苗字）を元原稿から選択し，録音原稿に移す（追加する）（ステップＳ８）。録音原稿に追加した文字列に含まれるすべての音声単位を元原稿分析結果リストから削除する（ステップＳ９）。さらに選択した文字列を元原稿から削除する（ステップＳ10）。元原稿分析結果リストにおいて出現回数が少ない音声単位の順に元原稿分析結果リストに残っている音声単位が無くなるまで，上記の処理を繰返す（ステップＳ７）。
【０１０５】
最も低い品質レベルについて，終了すれば，次の品質レベルの元原稿分析結果リストを参照して，録音原稿に追加すべき（移すべき）文字列（苗字）を元原稿において選択する。この処理は設定された品質レベルに達するまで繰返される。
【０１０６】
図14(A) は品質レベル１について作成された録音原稿の例を示している。この録音原稿では，４つの苗字が列挙されている。この４つの苗字は，図13(B) に示す品質レベル１についての元原稿分析結果リストのすべての音声単位を含んでいる。
【０１０７】
図14(B) は品質レベル２についての処理が終了した時点で得られる録音原稿の例を示している。図14(A) の録音原稿と比較すると２つの苗字（しみず，みやもと）が追加されている。これは，図13(B) に示す品質レベル２についての元原稿分析結果リストに挙げられた音声単位（音節）のすべてを含むように苗字を追加的に選択したことによる。
【０１０８】
品質レベル３が設定されている場合には，さらに品質レベル３の要求を満たす文字列の選択と追加が行なわれ，図14(C) に示すような録音原稿が得られる。これは図13(B) に示す品質レベル３についての元原稿分析結果リストに挙げられているアクセントを含む音節のすべてを含むように，元原稿から苗字を抽出したことによる。
【０１０９】
仕様入力部４において，上述したように音声情報ＤＢ容量，ＤＢ品質および作成時間が入力される。このうち，要求されたＤＢ品質（品質レベル１〜３）を満たすように上述の処理が行なわれる。すなわち，要求されたＤＢ品質が品質レベル２であれば，図14(B) の録音原稿が得られた時点で処理が終了し，品質レベル３が要求されている場合には図14(C) の録音原稿が得られるまで処理が続けられる。
【０１１０】
他方，要求されたＤＢ容量および作成時間もステップＳ８〜Ｓ10の処理の繰返しを制御するために用いられる。作成時間は上述したようにＤＢ容量に換算できる。仕様入力部４において入力されたＤＢ容量，または入力された作成時間から換算されたＤＢ容量のうちのいずれか小さい方がワークエリアに設定される（ステップＳ６）。元原稿から文字列（苗字）が選択され，録音原稿にその選択された文字列が移される（加えられる）たびに，加えられた文字列（苗字）についての音声情報容量（音声情報データベース15に格納される波形データ等を含むデータ容量）がワークエリアのＤＢ容量から減算される。この減算結果を残りＤＢ容量という。残りＤＢ容量が零になると録音原稿作成処理は，たとえ途中であっても，終了する（ステップＳ７）。
【０１１１】
図７において，原稿作成部５において上述のように作成された録音原稿は録音管理部６に与えられる。録音管理部６では，後述するように録音原稿に含まれる文字列（苗字）を順次表示装置９に表示させるとともに，必要に応じて休息指示および発話注意を生成して表示させる。
【０１１２】
話者ＳＰは，表示装置９に表示された文字列を表示の順序にしたがって声を出して読む（発話する）。
【０１１３】
話者ＳＰにより発話された音声が音声入力装置10に入力され，電気信号に変換される。
【０１１４】
音声入力装置10から出力される音声を表わす電気信号は音声波形信号として録音部７および録音管理部６に入力される。録音部７に入力された音声波形信号は音声波形データとして録音（保存）される。録音管理部６は，後述するように入力された音声波形を分析する。分析の結果，良品質の音声波形であると判定した場合には，録音管理部６は，録音部７に音声波形データを音声波形データベース12に保存させる指令を与える。
【０１１５】
録音管理部６は，機能の観点から大きく分けると，話者管理処理（手段）６ａ，音声分析処理（手段）６ｂ，音声採否判定処理（手段）６ｃおよび録音管理処理（手段）６ｄを備えている。話者管理処理（手段）６ａは発話注意生成処理（手段）61，休息指示生成処理（手段）62，音声分析結果保持処理（手段）63を備えている。音声分析処理（手段）６ｂは，基本周波数検出処理（手段）64，音量検出処理（手段）65，話速検出処理（手段）66を備えている。音声採否判定処理（手段）６ｃは音声分析結果比較処理（手段）67および音声採否判定処理（手段）68を備えている。
【０１１６】
録音部７は，発話開始，終了検出処理（手段）71および録音処理（手段）72を含んでいる。
【０１１７】
話者は表示装置９の表示にしたがって，録音原稿内の文字列（苗字）を一つずつ声を出して読む。一つの文字列についての音声信号が音声入力装置10から録音管理部６および録音部７に与えられる。
【０１１８】
音声分析処理６ｂは，音声入力装置10から入力された一つの文字列の音声信号について，その基本周波数（高さ），音量（パワー）および話速をそれぞれ処理64，65，66において検出し，これらの検出結果を音声波形分析結果として音声採否判定処理６ｃの音声分析結果比較処理67と話者管理処理６ａの音声分析結果保持処理63に与える。
【０１１９】
音声採否判定処理６ｃの音声分析結果比較処理67は，予め設定して音声波形データベース12に記憶しておいた音声採否判定基準を読出し，与えられる音声波形分析結果と読出した音声採否判定基準とを比較して，音声入力装置10から録音部７に入力された音声を音声波形データベース12に音声波形データとして登録するか否かの判定を行う。音声波形分析結果の各属性（基本周波数，音量，話速）の全てが音声採否判定基準の範囲内に収まっている場合には，録音部７に保存された音声波形データを音声波形データベース12に保存させ（採用と決定），それ以外の場合には，録音部７に音声波形データを消去（不採用と決定）させる。この動作は各文字列を表わす音声信号について順次行なわれる。
【０１２０】
音声分析結果保持処理63は，音声分析処理６ｂから出力された音声波形分析結果の履歴情報を保存しておく。また，音声分析結果保持処理63は音声採否判定処理68による採否判定結果を受取る。採否判定結果が不採用であったときには，音声分析結果保持処理63は録音管理処理６ｄに繰返し指令を与え，不採用となった音声に対応する文字列を再度表示装置９に表示させる。
【０１２１】
発話注意生成処理61または休息指示生成処理62は，音声分析結果保持処理63に保持された音声波形分析結果の履歴情報または，採否判定結果についての情報に基づいて，次のようにして，必要に応じて，発話注意または休息指示を生成して，録音管理処理６ｄに与える。
【０１２２】
発話注意生成処理61は，波形分析結果（周波数，音量，話速）について平均値を常時算出している。そして，今回の波形分析結果とこの平均値を比較し，比較結果に応じて，発話注意を生成する。たとえば，今回の音量と音量の平均値とを比較し，今回の音量が音量の平均値を大きく下廻っていれば（差が所定の閾値以上であれば），「声が小さくなっています」という発話注意を生成する。
【０１２３】
休息指示生成処理62は音声採否判定処理68が不採用と判定した頻度に基づいて休息指示を発生する。たとえば，今回の不採用判定が前回の不採用判定に近ければ，話者の疲れが原因で不採用が頻発していると考えられるので，休息指示を発生する。
【０１２４】
録音管理処理６ｄは，原稿作成部５から与えられる録音原稿を保持し，順次表示装置９に発話すべき文字列を表示する。表示装置９に表示される画面の一例が図17に示されている。この画面では31番目の文字列（苗字）として「佐藤」が表示されている。
【０１２５】
音声採否判定処理68の採否判定結果は音声分析結果保持処理63を介して録音管理処理６ｄに与えられるので，録音管理処理６ｄは採用判定であれば次の文字列（苗字）を表示装置９に表示させ，不採用であれば前回と同じ文字列（苗字）を表示させるように表示装置９を制御する。
【０１２６】
録音管理処理６ｄはまた，発話注意生成処理61から与えられる発話注意や休息指示生成処理62から与えられる休息指示を表示装置９に表示させるように制御する。図17の表示画面では，アドバイスとして，「10分間の休憩をとってください」という休息指示と，「声が小さくなっています」という発話注意とが表示されている。
【０１２７】
表示装置９にはまた，発話注意処理61が算出した音声分析結果の平均値（ハッチングで示す）と今回の音声分析結果が音声の属性ごとに（音量，話速，高さ，発話内容）グラフで表示されている。発話内容は，音声認識による信頼度を示すスコアである。
【０１２８】
休息指示生成処理62は休息指示を出力した後，指示した休息時間が経過したときに再開指示を録音管理処理６ｄに与える。録音管理処理６ｄはこれに応答して，発話すべき文字列の表示を続ける。
【０１２９】
なお，図17において，「録音」ボタンは話者が発話の開始を明示的に入力する場合に用いるもので，発話開始検出機能が備えられている場合には不要である。「再生」ボタンは話者が録音音声を再生して確認するときに用いるものである。
【０１３０】
録音部７には音声入力装置10からの音声信号が入力している。発話開始・終了検出処理71は入力する音声信号の開始時点と終了時点を検出するもので，これらの開始時点から終了時点までの間の音声信号が録音装置72に与えられて録音される。
【０１３１】
図15および図16は，録音管理部６による録音管理処理を示すフローチャートである。
【０１３２】
録音管理処理６ｄは，原稿作成部５によって作成された録音原稿を読込む（ステップＳ21）。このとき，録音済みの文字列（苗字）の数（録音済件数）（変数またはカウンタ）を０にリセットし，録音原稿の文字列数（録音原稿に含まれる文字列（苗字）の総数）を，録音全件数（変数またはカウンタ）としてセットする（ステップＳ22）。
【０１３３】
録音管理部６ｄは，録音済件数が録音全件数よりも小さいか否かの判定を行う（ステップＳ23）。録音済件数が録音全件数以上になった場合には，録音処理を終了する（ステップＳ23でＮｏ）。
【０１３４】
録音済件数が録音全件数よりも小さい場合には，録音管理処理６ｄは，録音原稿の文字列リストの中から（録音済件数＋１）番目の文字列を読上げ文字列として設定し（たとえばバッファに格納し）（ステップＳ24），これを表示装置７に出力する（ステップＳ25）。
【０１３５】
表示装置７には，図17に示すような録音表示画面が表示される。上述した仕様入力画面と同様に画面左側に音声単位データベース作成工程が表示されている。この段階では「録音」が明示されている。画面上段には録音原稿文字列表示領域があり，この領域には話者が読上げるべき文字列（「佐藤（さとう）」）が表示される。画面中段には，上述したように音声波形分析結果領域がある。
【０１３６】
話者ＳＰが読上げる文字列を発話する（声を出して読む）と，その音声が音声入力装置10に入力され，音声は入力装置10から音声波形として録音部７と音声管理部６の音声分析処理６ｂに入力する（ステップＳ26でＹＥＳ）。録音部７に入力された音声波形は音声波形データとして録音される。
【０１３７】
音声分析処理６ｂは上述のように入力された音声波形を，高さ（基本周波数），大きさ（パワー），速さ（継続時間）について分析して（ステップＳ27），その音声波形分析結果を音声採否判定処理６ｃおよび話者管理処理６ａに出力する。
【０１３８】
音声採否判定処理６ｃでは，上述したように予め設定して音声波形データベース12に保存しておいた音声採否判定基準を読出し，読出した音声採否判定基準を用いて，音声波形分析結果が示す高さ（基本周波数），大きさ（パワー），速さ（継続時間）のいずれもが音声採否判定基準内に収まっている（採用）か否（不採用）かの判定を行う（ステップＳ28）。
【０１３９】
高さ（基本周波数），大きさ（パワー），速さ（継続時間）のいずれもが音声採否判定基準内に収まっている場合（ステップＳ28でＹＥＳ）には，音声採用判定処理６ｃは，録音部７および話者管理処理６ａ（さらに録音管理処理６ｄに）に採用信号を出力する。録音部７では，採用信号を入力すると，先に録音しておいた音声波形データを音声波形データベース12に登録する。また，録音管理処理６ｄでは，採用信号が入力されると，そのときの音声波形データが音声波形データベース12に登録されたのであるから，録音済件数に１を加える。すなわち,（録音済件数＋１）を録音済件数として設定する（ステップＳ29）。
【０１４０】
高さ（基本周波数），大きさ（パワー），速さ（継続時間）のいずれかが音声採否判定基準内の範囲に収まっていない場合（ステップＳ28でＮＯ）には，その音声を不採用（録音失敗）として扱われ，音声採否判定処理６ｃは，不採用信号を話者管理処理６ａおよび録音部７に出力する。
【０１４１】
話者管理処理６ａは，不採用信号が入力されると，前回不採用の文字列が何番目であったかを示す前回失敗番号と今回の発話の文字列が何番目であるものかを示す（録音済件数＋１）とを読取り，読取った前回失敗番号と（録音済件数＋１）との差が予め設定された休息要否判定値未満であるかどうかの判定を行う（ステップＳ30）。
【０１４２】
話者管理処理６ａは，（録音済件数＋１）と前回失敗番号との差が休息要否判定値以上の場合には，休息は不要で単に録音をやり直せばよい。このときには，前回失敗番号として（録音済件数＋１）を設定するとともに，録音のやり直しのために（録音済件数＋１）を録音件数として録音管理処理６ｄに出力する。録音管理処理６ｄは，（録音済件数＋１）番目の文字列を表示装置９に表示させ，もう一度（録音済件数＋１）番目の文字列の録音をやりなおす（ステップＳ34からステップＳ25に戻る）。
【０１４３】
話者管理処理６ａは，（録音済件数＋１）と前回失敗番号との差が休息要否判定値未満の場合には，頻繁に不採用判定があったのであり，休息が必要であるとして休息指示を生成し，録音管理処理６ｄに出力する（ステップＳ31）。録音管理処理６ｄは出力された休息指示を表示装置９に表示する。話者ＳＰは表示装置９に表示された休息指示を見て，休息する。
【０１４４】
話者管理処理６ａの休息指示生成処理62は，休息指示を表示した時点から経過時間の計測を開始して，既定の休息時間が経過するまで待ち状態となる（ステップＳ32）。経過時間を計測（ステップＳ33）して，休息時間が経過すると（ステップＳ32でＹＥＳ）ステップＳ34へ進み，（録音済件数＋１）番目の文字列を再度読上げ文字列とする。
【０１４５】
以上のように録音済件数が録音全件数に等しくなるまで繰返し録音処理が行われる（ステップＳ23）。
【０１４６】
ラベリング部８には，原稿作成部５で作成された録音原稿と音声波形データベース12に保存された音声波形データとが与えられる。ラベリング部８は，音声波形データにおいて，その波形に対応する文字列を構成する各音声単位の境界を定め，各音声単位を表わすラベルと，境界を示す時間情報からなるラベル情報を作成する。ラベリング部８はまた，作成したラベル情報についてのラベリング・エラー除去（時間情報の修正と時間情報の無効化）を行う。ラベリング部８は，ラベル情報をラベル情報データベース13に保存する。
【０１４７】
一例として原稿作成部５で作成された録音原稿の中の「さとう（satoo ）」という文字列（苗字）を取上げる。音声波形データベース12にはこの文字列を話者が発話したときの音声波形データが既に格納されている。音声単位が音素の場合には，上記文字列は，音素を単位としたラベル列ｓ，ａ，ｔ，ｏ，ｏで表わされる。音声単位が音節の場合には，ラベルはsa，to，o となる。ラベリングとは，これらのラベル列の各音声単位と音声波形データとを対応させることであり，音声波形データを，音声単位ごとに区切ることである。音声単位が音素の場合について図３を再度参照のこと。
【０１４８】
図10はラベリング部８の機能ブロック図である。ラベリング部８は，ラベリング処理（手段）８ａと，ラベリングエラー除去処理（手段）８ｂとから構成されている。ラベリング処理８ａには，統計モデル作成処理（手段）81，音声単位境界決定処理（手段）82およびラベル情報生成処理（手段）83が含まれている。ラベリングエラー除去処理８ｂには，時間情報エラー修正処理（手段）84，時間情報比較処理（手段）85およびラベル情報無効化処理（手段）86が含まれている。
【０１４９】
ラベリング処理８ａの音声単位境界決定処理82は，原稿作成部５から与えられる録音原稿および音声波形データベース12に保存された音声波形データを読込む。録音原稿は統計モデル作成処理81にも与えられる。録音原稿に含まれる一つ一つの文字列（たとえば「satoo 」）について次の処理が行なわれる。
【０１５０】
統計モデル作成処理81は，予め用意した統計モデル（音声単位ごとに音響的特徴を統計的にモデル化したもの；たとえばHidden Markov Model ）を利用して，入力された録音原稿中の特定の一つの文字列に対応するラベル列にしたがって，そのラベル列を表わす音声波形に相当する音響的特徴量の系列を作成する。音声単位境界決定処理82はこの作成された系列と，上記文字列に対応して実際に録音された音声波形の音響的特徴量の系列とのマッチングをとることによって，実際に録音された（音声波形データベース12からの）音声波形において音声単位の境界を抽出する。
【０１５１】
抽出された音声単位の境界情報（時間情報）は，音声単位を示すラベルと対にされ，ラベル情報生成処理83からラベル情報データベース13に与えられる。ラベル情報は，音声単位を表わすラベルとその音声単位の終了時点（時間情報）（音声波形データの開始時点を０とする）との対を，文字列の順序（時間の順序）で記述したものである。
【０１５２】
なお，ラベリングの詳細については，特開平10−49193 号公報などに開示されている。また，ＨＭＭを用いた自動ラベリングのほか，ＤＰマッチングによる自動ラベリングの方式を利用してもよい。
【０１５３】
ラベリングエラー除去処理８ｂは，生成したラベル情報において，ラベリングエラーの可能性が高い音声単位について，その時間情報（終了時点）を修正したり（時間情報エラー修正），その音声単位自体をデータベースにおいて無効化するための情報を付与したりする（ラベル情報無効化処理）ものである。すなわちエラー除去の処理内容は，修正規則に基づく時間情報エラー修正と，別個に作成された複数のラベル情報の差異に基づくラベル情報無効化の２つに大きく，分けられる。
【０１５４】
時間情報エラー修正処理84では，予め用意した修正規則により，ラベル情報の時間情報を修正する。
【０１５５】
ラベル情報無効化のために，時間情報比較処理85では，先の統計モデル（たとえばＨＭＭモデル）を用いて生成したラベル情報（第１のラベル情報という）（データベース13に格納したもの）と，これとは別の統計モデルを用いて作成した第２のラベル情報との差異を比較する。そして，ラベル情報無効化処理86において，時間情報の差異が予め設定した閾値を超える場合に，それに対応する第１のラベル情報の該当する部分に無効化情報を付与する（無効化情報が付与されたラベル情報は，続く特徴量抽出処理の対象外とされるので，ラベリングエラーが存在したとしても音声単位データベースの品質に悪い影響を与えないようになっている）。
【０１５６】
図18はラベリング部８におけるラベリングエラーの除去処理８ｂの動作を示すフローチャートである。
【０１５７】
ラベリングエラー除去処理８ｂはラベリング処理８ａによって作成され，保存された一文字列（一苗字）についてのラベル情報をラベル情報データベース13から読込む（ステップＳ41）。このラベル情報を第１のラベル情報とする。
【０１５８】
第１のラベル情報に含まれるラベル数をカウントし，このカウント値を変数「全ラベル数」にセットし，ラベル修正規則の数を変数「全規則数」にセットし，変数「処理済ラベル数」を０にリセットする（ステップＳ42）。ラベル修正規則については後述する。変数「処理済修正規則数」を０にリセットする（ステップＳ44）。ラベル修正規則については，後述する。変数「処理済修正規則数」を０にセットする（ステップＳ44）。
【０１５９】
（処理済ラベル数＋１）番目のラベル情報に対して修正規則を順に適用する（ステップＳ46）。修正規則の条件に適合しない場合は，ラベル情報は更新しない。適合する場合は，修正規則の実行部の記述にしたがって，ラベル情報を更新する（ステップＳ47）。
【０１６０】
図19(A) は，ラベル情報の一例を示すものである。ラベル情報はｓ，ａ，ｔ，ｏおよびｏの音声単位（音素）とこれらの音素に対応する境界情報が列記されている。境界情報は，「satoo 」の音声波形データの開始時点を零として各音声単位の終了時点の時間情報である。
【０１６１】
図19(B) は，修正規則の例を示すものである。修正規則は各音声単位について設定されている。修正規則は，「if（条件部），then（実行部）」という形式で表現されており，条件部に記述された条件を満足する場合に限って実行部に記述された処理が実行される。
【０１６２】
図19(A) に示すラベル情報について図19(B) に示す修正規則を具体的に適用してみる。
【０１６３】
図19(A) の第３番目のラベル「ａ」の持続時間は0.076 （秒）（0.101−0.025＝0.076 ）である。図19(B) のラベル「ａ」についての修正規則の条件部は「if（持続時間＜30）」であるから（30は0.030 秒の意味），ラベル「ａ」の持続時間は条件部を満たさない（ステップＳ46でＮＯ）。したがって，修正規則の実行部は実行されない。
【０１６４】
ラベル情報の５番目のラベル「ｏ」の持続時間は0.028 （0.191−0.163）であるから，音声単位「ｏ」についての修正規則の条件部（if（持続時間＜40））を満たす（ステップＳ46でＹＥＳ）。したがって，その実行部「修正持続時間＝持続時間×1.5 」が実行される。持続時間の値＝0.028 であるから，修正持続時間＝0.042（＝0.028×1.5）となる。５番目のラベルの「ｏ」の終了時点は0.205（＝直前の音声単位の終了時点0.163＋0.042）と修正される。図19(C) は，修正した後のラベル情報を示す。
【０１６５】
処理済修正規則数に１を加えながら（ステップＳ48），（処理済ラベル数＋１）番目のラベル情報に対してすべての修正規則を適用する（ステップＳ45による繰返し）。
【０１６６】
一つのラベル情報に対してすべての修正規則を適用し終えれば，処理済ラベル数に１を加え（ステップＳ49），ステップＳ43に戻る。一つの文字列の全ラベルについてステップＳ44〜Ｓ49の処理を終えれば（ステップＳ43でＮＯ），時間情報のエラー修正処理を終える。
【０１６７】
次にラベル情報無効化処理に移る。
【０１６８】
第１のラベル情報を作成したときに用いた統計モデルとは異なる統計モデルを用いて，第１のラベル情報の作成と同じやり方で自動ラベリングを実行し，第２のラベル情報を作成する（ステップＳ50）。作成された第２のラベル情報の例が図20(A) に示されている。
【０１６９】
処理済ラベル数を０に戻し，ラベル無効化の閾値を設定する（ステップＳ51）。ラベル無効化閾値の例が図20(C) に示されている。
【０１７０】
修正された第１のラベル情報（図19(C) ）と第２のラベル情報（図20(A) ）とにおいて，対応するラベルの時間情報の差をそれぞれ算出し（ステップＳ53），この差がラベル無効化閾値を超えているかどうかを判定する（ステップＳ54）。各ラベルについての差の一例が図20(B) に示されている。これらの差のうち閾値を超えているものがあれば（ステップＳ54でＹＥＳ），対応する第１のラベル情報に無効化情報を付与する（ステップＳ55）。例えば，図20(B) において，２番目のラベル「ａ」の時間情報の差は， 0.014（ｓ）であり，ラベル無効化閾値である 0.050（ｓ）の範囲に収まっているので，無効化情報を付する必要はない。これに対して５番目のラベル「ｏ」の時間情報の差は， 0.051（ｓ）であり，ラベル無効化閾値を超えているため，５番目の「ｏ」のラベルに無効化情報を付与する。その直後のラベル（６番目のラベル「ｏ」）のラベルにも自動的に無効化情報を付与する。図20(D) では，第５番目と第６番目のラベル「ｏ」に無効化情報×が付けられている。処理済ラベル数に１を加えながらすべてのラベルについて上記の処理を繰返す（ステップＳ56，Ｓ52）。無効化処理を終えた第１のラベル情報はデータベース13に再び格納される。
【０１７１】
図21は，音声情報データベース15に含まれるインデックス情報（図21(A) ）と，これに対応する音声波形データ（図21(B) ）の一例を示したものである。
【０１７２】
特徴量抽出部14は，ラベル情報データベース13に保存されたラベル情報を読出し，対応する音声波形データを音声波形データベース12から読出す。特徴量抽出部14は，読出した対応するラベル情報と音声波形について，音声単位ごとに，特徴量（長さ，高さ，大きさなど）を算出して，算出した特徴量をラベル情報とともに列記してインデックス情報を作成する。このとき上述した無効化情報が付与された音声単位については特徴量の算出は行わない。さらに特徴量抽出部14はインデックス情報と音声波形データとを対にして音声情報データとして，音声情報データベース15に保存する。
【０１７３】
（３）第２実施例
図22は，音声情報データ作成システムの第２実施例の全体構成を示す機能ブロック図である。この図において，図７に示すものと同一物には同一符号を付し重複説明を避ける。録音原稿を話者ＳＰが声を出して読むにあたって適切な読み方を話者ＳＰに示すための標準音声を作成する機能を録音管理部６Ａが持つ。標準音声はスピーカ18から出力される。原稿作成部５Ａは，元原稿を追加したときに，既に作成されている録音原稿に追加すべき追加録音原稿を作成する機能を持つ。この追加録音原稿は最小限で足りる。追加録音原稿の作成のために音声情報データベース15から音声情報（インデックス情報）が原稿作成部５Ａに与えられる。ラベリング部８Ａは第１の実施例とは異なり，作成したラベル情報（特に時間情報）について，ラベル情報の統計的分析結果に基づいてエラー除去を行う機能を持つ。
【０１７４】
図23は原稿作成部５Ａの機能的構成を示すブロック図である。図24は原稿作成部５Ａの追加録音原稿を作成する動作を示すフローチャートである。以下に，追加録音原稿を作成する処理について説明する。録音原稿作成処理は第１実施例において説明した通りであり，追加録音原稿作成処理はこれに付加される機能であると理解されたい。
【０１７５】
以下の説明では，第１実施例において既に作成された苗字についての追加録音原稿の存在を前提とする。
【０１７６】
音声情報データベース15には苗字についての録音原稿を話者ＳＰが読上げて，これを録音して得られる音声情報が既に格納されているものとする。音声情報データベース分析処理（手段）54は，データベース15から苗字についての音声情報中のインデックス情報を読出し，このインデックス情報を分析してインデックス情報に含まれる音声単位のリストを，品質レベルごとに作成する（図24，ステップＳ61）。音声情報データベースの分析結果の一例が図25(A) に示されている。これは図13(B) に示す元原稿分析結果と全く同じである（音声単位のリストにおける配列順序が異なっているが）。
【０１７７】
仕様入力部４において，現在の音声情報データベース15を前提として，新たに追加的に合成により得たい文字列（単語，句，節，文などを含む）を列挙した原稿（追加元原稿という）の入力を操作者ＯＰから受け付ける（ステップＳ62）。入力が終了するまでは，待ち状態にある（ステップＳ63）。追加元原稿に対応するテキストファイル名だけを入力装置42において入力させて，追加元原稿の内容は，そのファイルをＦＤドライブ41により読み込むようにしてもよい。もちろん追加元原稿をキーボードから入力してもよいし，原稿データベース11に格納されているものを用いてもよい。
【０１７８】
追加元原稿の一例が図25(B) に示されている。この追加元原稿は地名リストである。
【０１７９】
追加元原稿が元原稿設定処理51Ａに設定されると，元原稿分析処理52Ａは，追加元原稿に含まれるすべての文字列について，それらを品質レベル別に，ラベル（音声単位）に分解し，それらの出現回数を計数して，音声単位リストを作成する（ステップＳ64）。これが追加元原稿分析結果であり，図25(B) に示す追加元原稿について，具体例が図25(C) に示されている。
【０１８０】
分析結果比較処理55A は，元原稿分析処理52Ａによる追加元原稿分析結果と音声情報データベース分析処理54による音声情報データベース分析結果とを比較し，追加元原稿分析結果（図25(B) ）に存在するが，音声情報データベース分析結果（図25(A) ）には存在しない音声単位を，品質レベル別に抽出する。この差分抽出結果の一例が図25(D) に示されている。
【０１８１】
文字列選択処理（手段）53Ａは，差分抽出結果に含まれている音声単位について，その音声単位を含む文字列を，録音原稿に追加していく，という処理を品質レベル別に品質レベルの低い方から高い方に向って順に行う。追加録音原稿が，その品質レベルの全音声単位を網羅した時点で，その品質レベルの処理を終え，次の品質レベルの処理に移る。図25(D) に示す例では，品質レベル１には差分として抽出された音声単位がないので，品質レベル２から処理を行うことになる。品質レベル２における処理では「きょうと」が追加され，品質レベル３における処理ではさらに「なら」が追加され，最終的には，追加録音原稿には，「きょうと」と「なら」の２つの文字列が追加される。音声情報データベースにこの２つの文字列の音声を追加するだけで，図25(A) の地名リスト中のすべての地名を，高い品質で合成することができるようになる。
【０１８２】
このようにして，追加原稿の分析結果とインデックス情報分析結果とを比較して，追加元原稿にあってインデックス情報にない音声単位（不足音声単位）を抽出し，不足している音声単位を含む文字列を録音原稿に追加していくので，最初から録音原稿を作り直す必要はない。
【０１８３】
図24において，分析結果比較処理55と文字列選択処理53Ａの動作の流れは次の通りである。
【０１８４】
音声情報データベース分析結果と追加元原稿分析結果を参照し，追加元原稿に存在して，音声情報データベースには存在しないような音声単位をすべて列挙し，音声単位リストとする。また，追加元原稿に含まれるすべての文字列を，文字列リストに加える（ステップＳ65）。
【０１８５】
音声単位リストに音声単位が残っている場合（ステップＳ66でＹＥＳ），音声単位リストから出現回数が最小の音声単位１つを選択し，さらに，文字列リストからその音声単位を含む文字列を１つだけ選択して，追加録音原稿にその文字列を追加する（ステップＳ67）。
【０１８６】
追加録音原稿に追加した文字列に含まれる音声単位のうち，音声単位リストに残っているものをすべて音声単位リストから削除する（ステップＳ68）。また，追加録音原稿に追加した文字列を文字列リストから削除する（ステップＳ69）。
【０１８７】
音声単位リストが空になるまでステップＳ67〜Ｓ69を繰り返す。これにより，追加録音原稿作成が終了する。
【０１８８】
この追加録音原稿作成処理においても，データベース容量やデータベース作成時間の要求がある場合は，この要求による制限が考慮されるのはいうまでもない。
【０１８９】
図26は録音管理部６Ａの構成を示すブロック図である。
【０１９０】
録音管理部６Ａは，上述した第１実施例の録音管理部６に音声合成処理（手段）６ｅがさらに設けられたものである。
【０１９１】
音声合成処理６ｅは，原稿作成部３Ａから録音管理処理６ｄを介して読込んだ録音原稿中の文字列を音で表わす合成音声を作成する。すなわち，音声合成処理６ｅは録音原稿の各文字列について，正しい読み上げ方（アクセント位置，間の取り方，抑揚などの点で），または（話者管理手段６ｃが保持する録音音声分析結果の履歴情報に基づいて）その話者に適切な声の大きさ，高さ，速さで，録音原稿の文字列を読み上げる合成音声を作成する。音声合成手段６ｅで作成された合成音声（予め用意した録音音声でもよい）は標準音声としてスピーカなどの音声出力装置18から出力される。これにより，話者ＳＰは，発話すべき文字列の合成音声を聞き，発話すべき音声の高さ，大きさ，速さを参考にすることができるため，文字列を不適切に読むことを防ぎ，録音音声（音声情報データ）の質を向上させることができる。
【０１９２】
図27は，録音管理部６Ａによる録音管理処理を示すフローチャートである。図15に示すものと同一処理には同一符号を付し重複説明を避ける。また，図16はそのまま適用することができる。
【０１９３】
音声合成手段６ｅは，録音管理処理６ｄから入力された（録音済件数＋１）番目の文字列に対する適切な声の高さ，大きさ，速さ，抑揚等の目標値，またはこれまでの録音音声の分析結果に基づき，韻律的特徴のパラメータを設定する（ステップＳ36）。音声合成手段６ｅは，設定したパラメータを用いて（録音件数＋１）番目の読上げ文字列の合成音声を作成し，作成した合成音声を標準音声として音声出力装置（スピーカ）18に出力する（ステップＳ37）。したがって，表示画面に文字列が表示される（ステップＳ25）だけでなく，その標準音声も出力される。
【０１９４】
図28はラベリング部８Ａの機能的構成を示すブロック図である。図10と比較すると，ラベリングエラー除去処理８ｂに代えて，ラベリングエラー除去処理（手段）８ｃおよびラベル情報統計分析処理（手段）８ｄが設けられている。ラベリングエラー除去処理８ｃは，ラベル情報信頼性確認処理（手段）87およびラベル情報無効化処理（手段）86を含む。ラベル情報統計分析処理８ｄは，信頼区間算出処理（手段）88および統計分析処理（手段）89を含む。
【０１９５】
ラベリング情報統計分析処理８ｄは，既存のラベル情報（ラベル情報データベース13内のラベル情報）を統計的に分析して，音声単位ごとに継続時間の平均値と標準偏差から信頼区間（継続時間に関する信頼区間）を算出し，信頼区間情報を作成する。分析対象となる既存のラベル情報は，話者により音声の特徴が異なり，継続時間の信頼区間が変わることが多いために，これからラベリングエラー除去の処理をしようとするラベル情報と同じ話者のラベル情報を使用することが望ましい。
【０１９６】
ラベリングエラー除去処理８ｃは，ラベル情報統計分析処理８ｄで得られた各音声単位の信頼区間情報を参照して，エラー除去対象のラベル情報に含まれる各音声単位の継続時間が対応するラベルの信頼区間内に収まっているか否かをチェックする。ラベリングエラー除去処理８ｃは，信頼区間に収まっていないラベル情報に無効化情報を付与する，さらに信頼区間内に収まるようにラベル時間情報を修正してもよい。ラベリングエラー除去処理８ｃは，ラベリング処理８ａにより生成されたラベル情報に含まれる各音声単位について，その音声単位の継続時間が，ラベル情報統計分析処理８ｄにより算出された，その音声単位に対応する継続時間の信頼区間の範囲外にある場合，その箇所を（ラベリングの信頼性が低い，すなわち，ラベリングエラーの可能性が高いと判定して），無効化する。これにより，統計的に信頼性が低いと判断されたラベル情報を自動的に無効化でき，結果として，ラベリング結果の品質を高めることができる。
【０１９７】
図29は，ラベリング部８Ａのラベル情報統計分析処理８ｄおよびラベリングエラー除去処理８ｃによるラベリングエラー除去処理の手順を示すフローチャートである。
【０１９８】
ラベル情報統計分析処理８ｄの統計分析処理89はラベリング処理８ａによって作成され，ラベル情報データベース13に保存されたラベル情報，好ましくは同じ話者ＳＰによって録音された音声波形から得られた一群のラベル情報を読込む（ステップＳ71）。
【０１９９】
統計分析処理89は，音声単位別に継続時間の平均値と標準偏差を算出し，ラベル情報の中にその音声単位が出現する個数を計数する（ラベル情報の統計分析）（ステップＳ72）。
【０２００】
図30(A) は統計分析処理89に読込まれたラベル情報の一例を示すものである。図30(B) は統計分析処理89による統計分析の結果の一例を示すものである。
【０２０１】
信頼区間算出処理88は，統計分析処理89による統計分析結果に基づき音声単位ごとの継続時間の信頼区間を以下の算出式により算出する（ステップＳ73）。
【０２０２】
信頼区間＝平均値±Ｚ［（標準偏差）²／（出現回数）］^1/2 ‥‥（式１）
【０２０３】
ここで，Ｚは正規分布に基づく定数である。
【０２０４】
図30(C) は上記の算出式より算出した音声単位ごとの継続時間の信頼区間の一例を示している。
【０２０５】
このようにして得られた信頼区間に関するデータはラベル情報信頼性確認処理87に与えられる。ラベル情報信頼性確認処理87はまた，統計分析処理89が取得したものと同じラベル情報（これをエラー除去対象ラベル情報という）をラベル情報データベース13から読込む。
【０２０６】
ラベル情報信頼性確認処理87は，エラー除去対象ラベル情報に含まれるラベル数をカウントし，変数「全ラベル数」に設定する。また，「処理済ラベル数」を０に設定する（ステップＳ74）。
【０２０７】
（処理済ラベル数＋１）番目のラベルに対応する音声単位の継続時間を算出する（継続時間は，その音声単位の終点を示す時間情報と，直前の音声単位の終点を示す時間情報との差で求められる）（ステップＳ76）。
【０２０８】
（処理済ラベル数＋１）番目のラベルに対応する音声単位の継続時間が，その音声単位の信頼区間の範囲内におさまっていない場合は，ラベル情報無効化処理86は，（処理済ラベル数＋１）番目のラベルに無効化情報を付与する（ステップＳ78）。図30(D) は無効化情報付与後のラベル情報の一例を示すものである。音声単位「ｏ」の継続時間の信頼区間は，図30(C) によると，46.8〜115.2 （ms）である。図30(D) において第５番目および第６番目の音声単位（ラベル）「ｏ」の継続時間はそれぞれ0.191（ｓ）および0.312（ｓ）であり，信頼区間の範囲内に入っていない。したがってラベル「ｏ」は２つとも無効化情報（×印で示す）が付される。他のラベルｓ，ａ，ｔの継続時間は対応する信頼区間の範囲内にあるので無効化情報は付与されない。
【０２０９】
処理済ラベル数の値に１を加え，ステップＳ75を経てステップＳ76に戻り（ステップＳ79），ステップＳ76〜Ｓ78の処理を，処理済ラベル数が全ラベル数に等しくなるまで繰返す（ステップＳ75）。
【０２１０】
以上のようにして，ラベリングエラー除去処理が終了すると，処理後のラベル情報は再びラベル情報データベース13に格納される。
【図面の簡単な説明】
【図１】音声波形における音素，音節および単語の区切りを付け，音声波形と対応付けて示す。
【図２】音韻環境を考慮して音声単位を音声波形と対応付けて示す。
【図３】音声波形とラベル情報との関係を示す。
【図４】波形情報を用いて波形接続型音声合成を行う様子を示す。
【図５】波形接続型音声合成処理の流れを示すものである。
【図６】音声情報データベース作成システムのハードウェア構成を示すブロック図である。
【図７】第１実施例における音声単位データ作成システムの全体構成を示すブロック図である。
【図８】原稿作成部の機能的構成を示すブロック図である。
【図９】録音管理部の機能的構成を示すブロック図である。
【図１０】ラベリング部の機能的構成を示すブロック図である。
【図１１】原稿作成部による録音原稿作成処理を示すフローチャートである。
【図１２】仕様入力表示画面を示す。
【図１３】 (A) は，元原稿の一例を示す。(B) は，元原稿分析結果の一例を示す。
【図１４】 (A) は，レベル１処理後の録音原稿の一例を示す。(B) は，レベル２処理後の録音原稿の一例を示す。(C) は，レベル３処理後の録音原稿の一例を示す。
【図１５】録音管理部による録音処理を示すフローチャートである。
【図１６】録音管理部による録音処理を示すフローチャートである。
【図１７】録音画面を示す。
【図１８】ラベリング部によるラベリングエラー除去処理を示すフローチャートである。
【図１９】 (A) は，第１のラベル情報を示す。(B) は，修正規則を示す。(C) は，修正後の第１のラベル情報を示す。
【図２０】 (A) は，第２のラベル情報を示す。(B) は，ラベルの差異情報を示す。(C) は，無効化閾値を示す。(D) は，無効化情報付与後の第１のラベル情報を示す。
【図２１】 (A) は，インデックス情報を示す。(B) は，音声波形データを示す。
【図２２】第２実施例における音声単位データ作成システムの全体構成を示すブロック図である。
【図２３】第２実施例における原稿作成部の機能的構成を示すブロック図である。
【図２４】第２実施例における原稿作成部による追加録音原稿作成処理を示すフローチャートである。
【図２５】 (A) は，音声情報データベース分析結果の一例を示す。(B) は，追加元原稿の一例を示す。(C) は，追加元原稿分析結果の一例を示す。(D) は，差分抽出結果の一例を示す。(E) は，品質レベル２処理後の追加元原稿の一例を示す。(F) は，品質レベル３処理後の追加元原稿の一例を示す。
【図２６】第２実施例における録音管理部の機能的構成を示すブロック図である。
【図２７】第２実施例における録音管理部による録音処理を示すフローチャートである。
【図２８】第２実施例におけるラベリング部の機能的構成を示すブロック図である。
【図２９】第２実施例におけるラベリング部によるラベリングエラー除去処理を示すフローチャートである。
【図３０】 (A) は，ラベル情報の一例を示す。(B) は，統計分析結果の一例を示す。(C) は，信頼区間情報の一例を示す。(D) は，無効化情報付与後のラベル情報の一例を示す。
【符号の説明】
４ 仕様入力部
５，５Ａ 原稿作成部
５ａ 原稿作成処理
５ｂ 音声情報データベース分析処理
６，６Ａ 録音管理部
６ａ 話者管理処理
６ｂ 音声分析処理
６ｃ 音声採否判定処理
６ｄ 録音管理処理
６ｅ 音声合成処理
７ 録音部
８，８Ａ ラベリング部
８ａ ラベリング処理
８ｂ，８ｃ ラベリングエラー除去処理
８ｄ ラベル情報統計分析処理
９ 表示装置
10 音声入力装置
11 原稿データベース
12 音声波形データベース
13 ラベル情報データベース
14 特徴量抽出部
15 音声情報データベース
16 出力装置
17 記録媒体

Claims (5)

1. 複数の文字列を含む元原稿を設定する手段，
   元原稿に含まれる文字列を構成するすべての音声単位を抽出し，かつそれらの音声単位について，その元原稿における出現回数を検出する元原稿分析手段，および
   上記元原稿分析手段によって抽出された音声単位の出現回数の検出結果に基づいて，出現回数の少ない音声単位を含む文字列から順に，上記すべての音声単位を網羅するまで，元原稿から文字列を選択して録音原稿を作成する第１の文字列選択手段，
   を備えた録音原稿作成装置。
2. 既存の音声情報データベースに含まれるすべての第１の音声単位を抽出する音声情報データベース分析手段，
   追加元原稿に含まれる文字列を構成するすべての第２の音声単位を抽出する追加元原稿分析手段，
   第２の音声単位のうち，第１の音声単位に含まれていない音声単位を検出する比較手段，および
   上記比較手段によって検出された音声単位を含む文字列を追加元原稿から選択して追加録音原稿を作成する第２の文字列選択手段，
   をさらに備えた請求項１に記載の録音原稿作成装置。
3. 元原稿分析手段および第１の文字列選択手段を備えた録音原稿作成装置の制御方法であって，
   上記元原稿分析手段は，元原稿に含まれる文字列を構成するすべての音声単位を抽出し，かつそれらの音声単位について，その元原稿における出現回数を検出し，
   上記第１の文字列選択手段は，出現回数の少ない音声単位を含む文字列から順に，上記の抽出したすべての音声単位を網羅するまで，元原稿から文字列を選択して録音原稿を作成する，
   録音原稿作成装置の制御方法。
4. 上記録音原稿作成装置は音声情報データベース分析手段，追加元原稿分析手段，比較手段および第２の文字列選択手段をさらに備えており，
   上記音声情報データベース分析手段は，既存の音声情報データベースに含まれるすべての第１の音声単位を抽出し，
   上記追加元原稿分析手段は，追加元原稿に含まれる文字列を構成するすべての第２の音声単位を抽出し，
   上記比較手段は，第２の音声単位のうち，第１の音声単位に含まれていない音声単位を検出し，
   上記第２の文字列選択手段は，検出された音声単位を含む文字列を追加元原稿から選択して追加録音原稿を作成する，
   請求項３に記載の録音原稿作成装置の制御方法。
5. 元原稿分析手段および文字列選択手段を備えた録音原稿作成装置を制御するプログラムであって，
   上記元原稿分析手段が，元原稿に含まれる文字列を構成するすべての音声単位を抽出し，かつそれらの音声単位について，その元原稿における出現回数を検出し，
   上記文字列選択手段が，出現回数の少ない音声単位を含む文字列から順に，上記の抽出したすべての音声単位を網羅するまで，元原稿から文字列を選択して録音原稿を作成するように制御するプログラム。

Images