JP3664499B2 - 音声情報の処理方法及びその装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、音声情報から種々の目的で行われる検索に有用な性質を抽出し、抽出した各部分に検索用のマークを付して記憶しておき、検索に際して音声情報をその各部分に付した検索用のマークと共に表示部に視認可能に表示するようにした音声情報の処理方法及びその装置に関する。
【０００２】
【従来の技術】
例えば講演会についての音声情報から、特定の話者の声、また会場が湧いている部分、講演の議題部分、又はまとめ部分等を知るためには、音声情報についてこれらの検索が可能なよう検索に有用な各種の性質について予めこれを抽出しておくことが必要となる。
【０００３】
ところが従来における検索のための音声情報の処理技術としては、特徴量の一つである音量を音声波形に基づいて計算し、計算した音量データについて各所定時間長の区間、所謂フレームについてそれが有音区間か、無音区間かを判別し、この判別結果から所定数以上の無音となっているフレームが連続している領域を語区間ポーズとして抽出する。そして検索に際しては言語的意味の単位を元にした音量データを表示部に表示しつつ、検索する方式が知られている（特開昭６３−２５９６８６号公報）。
【０００４】
【発明が解決しようとする課題】
ところがこのような従来方法から検出される言語的意味の単位は音声情報全体に比較して小さ過ぎるため、この単位を元に前記した如き、例えば特定話者の声等を検索することは難しく、また全ての語区間ポーズに重要な意味があるとは限らないにもかかわらず、音量のみを単純に特徴量として抽出しているため検索の手掛かりが少なく、しかも、不必要な検索対象が多くなって、検索に時間を要し、特に音声情報が長時間にわたる場合にこの欠点が顕著となる。
【０００５】
本発明は音声情報から検索に有用な各種の性質を示すパターンを予め登録しておき、入力された音声情報をこの登録されたパターンに基づいて解析し、登録されたパターンと対応するパターンを抽出し、音声情報全体から検索に有効な各種の性質を抽出することで各種目的の検索に対応可能とした音声情報の処理方法及びその装置を提供することを目的とする。
【０００６】
本発明の他の目的は検索に際して表示部に時間軸をとって入力された音声情報及び検索用のマークを付して表示させることで、入力された音声情報及び検索用のマークを視認しつつ、効率的な検索を行うことを可能とすることにある。
本発明の更に他の目的は１又は複数の話者の音高に関する登録したパターンを備えたパターン辞書を用いることで、各話者夫々の音声情報の検索を可能とすることにある。
【０００７】
本発明の更に他の目的は、音声情報の分野別に登録されたパターンを夫々有する複数のパターン辞書を備えておき、切換え手段にて入力された音声情報夫々の分野に応じてパターン辞書を切換えることで、分野別に専用のパターン辞書を用いて音声情報の認識の誤りを低減し、正確な抽出を可能とするにある。
【０００８】
【課題を解決するための手段】
本発明の原理を図１に示す原理図に基づき説明する。
図１は本発明に係る音声情報の処理方法及びその装置の原理を示す原理図であり、図中１は音声情報入力部、２は解析部、３はパターン辞書、４は表示部を示している。音声情報入力部１から入力されたアナログデータである音声情報は、ディジタルデータに変換されて解析部２へ入力される。
【０００９】
パターン辞書３は音声情報のパターンに関してのデータベースであり、検索に有効な音声情報の性質を示すパターンが予め登録されている。
パターン辞書３には複数の話者夫々の音声情報の性質を示すパターン、例えば音高に関するパターンを登録し、各話者夫々の音声情報を抽出することも可能となっている。
【００１０】
また音声情報が、例えば講演会の音声情報、打合せの音声情報、インタビューの音声情報の如く異なっている場合には、音声情報の性質を示すパターンも夫々の分野に対応可能なようこれら各分野別に登録しておき、例えば講演会の音声情報の処理に際しては切換えスイッチにて講演会用のパターン辞書に切換え、分野別夫々の専用のパターン辞書を用いて音声情報の性質の抽出を行い得るようにしてある。
【００１１】
解析部２は音声情報の入力があると、前記パターン辞書３から登録されたパターンを読み出し、入力された音声情報と対応するパターンを検索する。
解析部２は検索の結果、入力された音声情報と対応する登録されたパターンがあると、音声情報におけるその対応する部分に検索用のマークを付して図示しない記憶装置に記憶させておき、検索に際して表示部４に時間軸をとって音声情報、例えば音声波形を検索用のマークと共に表示する。
【００１２】
【作用】
第１の発明にあっては、入力された音声情報の性質を解析部にてパターン辞書から読出して入力された音声情報の分野に対応したパターンに基づいて解析し、該パターンと対応する音声情報を抽出し、対応する音声情報の各部に検索用のマークを付して記憶しておくことで、各種目的の検索に際して音声情報の性質から広範囲の検索対象を確実に検索することが可能となる。
【００１３】
第２の発明にあっては、音声情報及びその各部に付した検索用のマークを時間軸をとって表示部に表示させることで操作者が視認しつつ検索を行うことが出来て、効率的な検索が可能となる。
【００１４】
第３の発明にあっては、音声情報入力部から音声情報が入力されると解析部はパターン辞書から読出した入力された音声情報の分野に対応したパターンに基づいて音声情報を解析し、該パターンと対応する部分を抽出し、ここに検索用のマークを付して記憶しておくことで、音声情報をパターンとして検索することが可能となり、音声情報の特徴検索を効果的に行ない得る。
【００１５】
第４の発明にあっては、複数の話者夫々の音声情報の性質、特に音高に関するパターンを登録しておくことで、必要に応じて各話者夫々の音声情報を個別に検索することが可能となる。
第５の発明にあっては音声情報の分野別にパターンを個別に登録しておき、各分野夫々の専用のパターン辞書を用いることで、無駄な検索量を縮小出来、また誤検索を低減し得る。
【００１６】
【実施例】
以下本発明をその実施例を示す図面に基づき具体的に説明する。
図２は本発明に係る音声情報の処理方法及びその装置の構成を示す模式図であり、図中１はマイク等で構成された音声情報入力部、２はマイクロコンピュータ等で構成されたＣＰＵを含む解析部、３はハードディスク等に格納されたパターン辞書、４は表示部、５はＡ／Ｄ（アナログ・ディジタル）変換器を示している。
【００１７】
音声情報入力部１を通じて入力された音声情報はＡ／Ｄ変換器５にてアナログ情報からディジタル情報に変換されて解析部２へ入力される。
解析部２はパターン辞書３から読み出した予め登録されたパターンに基づき入力された音声情報を解析する。具体的には入力された音声情報を登録されたパターンと比較し、入力された音声情報の各部分と対応する登録されたパターンを検索する。入力された音声情報と対応する登録されたパターンが存在する場合にはこの登録されたパターンと対応する部分に登録されたパターン夫々に応じた検索用のマークを付し、その検索結果を図示しない記憶装置へ記憶させておき、検索時に音声情報及びこれに付した検索用のマークを表示部４へ時間軸をとって表示させるようになっている。
【００１８】
パターン辞書３に登録されるパターンとしては音声情報の検索に有用な性質を示すパターンであればよく、音声波形の周期，振幅、その他音声情報のうちの時間的に最初の部分、最後の部分等である。
表１はその一例を示している。
【００１９】
【表１】

【００２０】
パターン辞書３に登録されている項目として、例えば音声情報の波形の振幅が相対的に小さい、波形の振幅が相対的に大きい、波形の周期が相対的に短い、波形の周期が相対的に長い…等であり、これら各項目夫々には音量が小さい、音量が大きい、音高が高い、音高が低いの意味がある。
なお表１中における項目である振幅の大，小夫々の範囲、周期の長，短の範囲、また音声情報の最初の方，最後の方の範囲等は抽出すべき性質に応じて適宜定めればよい。
【００２１】
図３は実施例１における解析部２の処理過程を示すフローチャートである。解析部２に音声情報の入力があると、解析部２はパターン辞書３の項目を読み出してこれを所定の順序に従って検索し (ステップＳ１）、入力された音声情報の性質と対応する登録されたパターン（同じ又は近似した登録されたパターン）が存在するか否かを判断し (ステップＳ２）、対応する登録されたパターンが存在しない場合にはステップＳ４へ進み、また対応する登録されたパターンが有る場合にはパターン辞書３における項目の意味を調べ (ステップＳ２）、ステップＳ４へ進む。
【００２２】
ステップＳ４では検索を行っている項目がパターン辞書３における検索すべき最後の項目か否かを判断し、最後の項目でない場合にはステップＳ１へ戻り、また最後の項目である場合にはそれまでに検索した項目の意味を解析し、検索用のマークを付し、その後における音声情報の検索に際しては表示部４に時間軸をとって音声情報，及び検索用のマークを視認可能に表示させる。
【００２３】
図４は表示部に表示された音声情報及び検索パターンの説明図であり、横軸に時間を、縦軸に音量をとって音量の時間的推移を示す波形１１を表示すると共に、これに音高が高い部分、音高が低い部分、本人の発言部分、その他、音声情報の冒頭部分、音声情報の末尾部分等、登録されたパターンと対応する部分毎に、検索用のマーク１２が色別（又はマーク等）で識別表示がなされている。
検索用のマーク１２の表示態様については特に限定するものではないが、例えば図４にハッチングを付して示す如く、色の濃淡、又は明暗を付して表す。
図４にあっては音高い部分は色が薄く、本人の発音部分，音声が高い部分がこの順序で色が濃く表示されている。
【００２４】
このような実施例１にあっては、音声情報の各部について、パターン辞書（３）に登録されたパターンと対応する部分に検索用のマーク１２を付して記憶しておくこととしているから、登録されたパターンに基づき様々な検索対象に対応することが可能となる。
【００２５】
（実施例２）
図５は本発明の実施例２の構成を示す模式図であり、図中１はマイク等で構成された音声情報入力部、２はＣＰＵ等を備える解析部、３ａ，３ｂ，３ｃはパターン辞書、４は表示部、５はＡ／Ｄ変換器を示している。
この実施例２ではパターン辞書３を音声情報の分野別、例えば講演会用パターン辞書３ａ、打合せ用パターン辞書３ｂ、インタビュー用パターン辞書３ｃ等、複数備えており、各パターン辞書３には夫々講演会，打合せ，インタビューの音声情報の検索に用いられる音声情報の性質を示すパターンが分野別に登録されている。音声情報の入力に際して、操作者がパターン辞書３ａ，３ｂ，３ｃのいずれかを選定する。また夫々に応じた解析部２のモード設定はソフトウェアスイッチ６にて自動的に選定される。
【００２６】
講演会用のパターン辞書３ａに登録されているパターンの項目の例を表２に示す。
【００２７】
【表２】

【００２８】
また打合せ用のパターン辞書３ｂに登録されているパターンの項目の例を表３に示す。
【００２９】
【表３】

【００３０】
更にインタビュー用のパターン辞書３ｃに登録されているパターンの項目の例を表４に示す。
【００３１】
【表４】

【００３２】
他の構成は実施例１のそれと実質的に同じであり、対応する部分に同じ番号を付して説明を省略する。
【００３３】
図６は講演会の音声情報について、パターン辞書３ａに登録されたパターンと対応する部分を抽出し、音量の波形を示す波形１１と共に夫々の部分に検索用のマークを付して表示部４に表示させた状態を示す説明図、図７は打合せの音声情報について、パターン辞書３ｂに登録されたパターンと対応する部分を抽出し、音量の推移を示す波形１１と共に夫々の部分に検索用のマーク１２を付して表示部４に表示させた状態を示す説明図、図８はインタビューの音声情報についてパターン辞書３ｃに登録されたパターンと対応する部分を抽出し、夫々の部分に検索用のマーク１２を付して表示部４に表示させた状態を示す説明図である。
【００３４】
図６から明らかなように、表示部４にはソフトウェアスイッチ６にて講演会用のパターン辞書３ａが選択されていることを示す表示１３と共に、横軸に時間（時）を、また縦軸に音量をとって、音量の時間的推移を示す波形１１が矢印で示した検索用のマーク１２と共に表示されている。図６中には話題の区切れ部分を示す矢印、会場が湧いている部分を示す矢印の他、講演のまとめが話されている可能性の大きい部分である「まとめ」の文字、講演者の交替が行われた可能性のある部分に「講演者の交替」の文字等が表示されている。
【００３５】
また、図７から明らかなように、ソフトウェアスイッチ６にて打合せ用のパターン辞書３ｂが選択されたことを示す表示１３と共に、横軸に時間（時）を、また縦軸に音量をとって、音量の時間的推移を示す波形１１が表示され本人の発言部分が抽出されてここに検索用のマーク１２が付されている。他に、打合せの連絡事項，まとめの音声情報が存在している可能性がある部分に夫々「連絡事項」，「まとめ」の文字が表示され、また議論が滞っていると考えられる部分，議論が盛り上がっていると考えられる部分については矢印による検索用のマーク１２を付して表示してある。
【００３６】
更に、図８から明らかなように、ソフトウェアスイッチにてインタビュー用のパターン辞書３ｃが選択されたことを示す表示１３と共に、横軸に時間（時）を、また縦軸に音量をとって、音量の時間的推移を示す波形１１及び質問者の質問部分、応答者の応対部分が抽出され、夫々に色別の検索用のマーク１２が付されている。
【００３７】
このような実施例２にあっては、例えば講演会用、打合せ用、インタビュー用等分野別の各パターン辞書３ａ，３ｂ，３ｃを持つハードディスクを用意し、パターン抽出に際して使用者がその選択を行い、またパターン辞書３ａ，３ｂ，３ｃの切替えはソフトウェアスイッチ６によって行うことで検索対象項目が分野別に制限され、無駄な検索が低減され、検索速度が向上すると共に、誤認識も低減される。
【００３８】
【発明の効果】
以上の如く第１の発明にあっては、音声情報の性質を音声情報の分野別にパターンとして予めパターン辞書に登録しておき、音声情報が解析部に入力されると解析部がパターン辞書から入力された音声情報の分野に対応したパターンを読み出し、音声情報の性質と対応する該パターンの有無を検索し、対応する該パターンが存在する部分には検索用のマークを付して記憶しておくことで、検索に際して音声情報及び検索用のマークの表示を容易に行い得る。
【００３９】
第２の発明にあっては、操作者は表示部の音声情報，検索用のマークを視認しつつ時間軸を基に音声情報の全体から検索することが可能となり、検索時間が短縮出来、検索効率の向上も図れる。
【００４０】
第３の発明にあっては、音声情報から入力された音声情報の分野に対応したパターンと対応する部分に検索用のマークを付して音声情報の性質を抽出しておくことで、正確、且つ迅速な音声情報の検索が可能となる。
【００４１】
第４の発明にあっては、複数の話者夫々の音高に関する性質をパターンとして登録しておくことで、音声情報から各話者の音声情報を個別に検索することが可能となる。
【００４２】
第５の発明にあっては、パターン辞書を音声情報夫々の部分に対応して複数個備えるから解析部での音声情報とパターン辞書のパターンとの比較に際し、無駄な対比が大幅に低減され、それだけ抽出ミスも低減し得る。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】本発明の実施例１の構成を示す模式図である。
【図３】実施例１の処理過程を示すフローチャートである。
【図４】表示部の表示例を示す説明図である。
【図５】実施例２の構成を示す模式図である。
【図６】講演会の音声情報から講演会用パターン辞書を用いて抽出を行ったときの表示部の表示例を示す説明図である。
【図７】打合せの音声情報から打合せ用パターン辞書を用いて抽出を行ったときの表示部の表示例を示す説明図である。
【図８】インタビューの音声情報からインタビュー用パターン辞書を用いて抽出を行ったときの表示部の表示例を示す説明図である。
【符号の説明】
１ 音声情報入力部
２ 解析部
３ パターン辞書
４ 表示部
５ Ａ／Ｄ変換器
６ ソフトウェアスイッチ
１１ 音声波形
１２ 検索用のマーク
１３ 表示

Claims (5)

1. 音声情報入力部から入力された音声情報を解析し、検索に有用な性質を抽出する音声情報の処理方法において、予め検索に有用な音声情報の性質を示すパターンと該音声情報の性質が示す意味とを音声情報の分野別に対応づけ、パターン辞書に登録しておき、前記音声情報入力部から音声情報が入力されると、入力された音声情報の分野に対応したパターンを前記パターン辞書から読み出し、入力された音声情報から該パターンと対応する部分を抽出し、抽出した音声情報のパターンの各部分に該音声情報のパターンに対応づけて記憶されている音声情報の性質の意味を表す検索のためのマークを付して音声情報と共に記憶しておくことを特徴とする音声情報の処理方法。
2. 音声情報の検索に際して、前記音声情報及びこれに付した検索用のマークを表示部に時間軸をとって視認可能に表示させることを特徴とする請求項１記載の音声情報の処理方法。
3. 音声情報入力部と、該音声情報入力部から入力された音声情報について検索に有用な性質を抽出する手段とを備えた音声情報の処理装置において、音声情報の検索に有用な性質を示すパターンと該音声情報の性質が示す意味とが音声情報の分野別に予め対応づけられて登録されているパターン辞書と、前記パターン辞書から読み出した入力された音声情報の分野に対応したパターンに基づいて前記音声情報入力部から入力された音声情報を解析し、音声情報から該パターンと対応する部分を抽出し、該パターンと対応する音声情報の各部分に該音声情報のパターンに対応づけて記憶されている音声情報の性質の意味を表す検索用のマークを付してこれを記憶する解析部とを具備することを特徴とする音声情報の処理装置。
4. 前記パターン辞書は１又は複数の話者夫々の音声情報のうち音高に関しての登録されたパターンを備えることを特徴とする請求項３記載の音声情報の処理装置。
5. 前記パターン辞書は音声情報の分野別に登録されたパターンを夫々有する複数のパターン辞書で構成され、また前記複数のパターン辞書を、入力された音声情報の分野夫々に対応して切り換える切換え手段を備えることを特徴とする請求項３又は４記載の音声情報の処理装置。

Images