JP5045670B2 - 音声データ要約再生装置、音声データ要約再生方法および音声データ要約再生用プログラム - Google Patents

Description

本発明は、講演や会議などを録音または収録した音声アーカイブから必要な部分のみを抽出し、その内容を要約して再生することができる音声データ要約再生装置、音声データ要約再生方法および音声データ要約再生用プログラム関する。

従来、講演や会議の内容を参照し確認する場合、会議内容を録音したテープを再生する方法、もしくは、会議録を作成しそれを参照する方法が用いられていた。録音テープを用いる方法は、録音テープを早送りや巻戻しすることで、不必要な部分をスキップしながら音声を再生し会議の内容を確認する。

一方、会議録を作成しそれを参照する方法については、会議の参加者が、会議の内容を記録して会議録を作成していた。しかし、この方法では作成者に多大な負担が係る。そこで、録音した会議内容を元に会議録の作成を支援する会議録作成支援装置が特許第３１８５５０５号公報に開示されている。この装置は、会議でのデータの時間関係と、キーワードや発話者による重み情報を基に、会議の重要度を時系列的に表す検索用ファイルを作成し、重要な項目を含むシーンを絞り込んでいくことで、会議録作成に要する時間を削減できる。

しかしながら、前述した会議の録音テープを用いる方法では、必要な部分を見つけるために、録音テープの巻戻しや早送りの操作を繰り返しながら再生音声を確認する必要があるため、限られた時間内で必要な部分を見つけて再生することは困難であった。また、音声データの一部分をスキップしながら順不同で再生した場合、再生した音声間の関係を把握することができない、という不都合があった。

更には、会議内容の一部を再生して、この会議内容は重要であると判断した場合に、重要な部分に関連する内容のみを再生することができない、もしくは、重要でないと判断した場合に、重要でない部分をスキップして再生することができない、という不都合もあった。

一方で、会議録を作成する方法では、例え会議録支援装置を利用して作成時間が短縮できたとしても以下の不都合があった。

まず、現状の技術レベルでは音声認識の精度が低いため、会議録支援装置が完全に自動化されておらず、人手を用いずに音声をテキスト化し会議録を作成することは困難であるという不都合があった。そして、同様の理由で、会議終了後すぐに、もしくは、会議の途中で会議の内容を確認することができないという不都合があった。

さらに、会議録には、会議録作成者が重要だと判断した内容だけが記述され、尚且つ、会議録は元の会議データへリンクしないため、利用者は、必ずしも必要な情報を参照できるわけではないという不都合があった。

そこで、本発明は、会議後すぐに、もしくは、会議の途中で利用でき、利用者の目的や必要に応じて、会議内容の重要な部分を特定の時間内に収めて再生することができる音声データ要約再生装置、音声データ要約再生方法および音声データ要約再生用プログラムを提供することを、その目的とする。

上記目的を達成するため、本発明の音声データ要約再生装置は、音声データを記憶した音声データ記憶部と、この音声データを幾つかの発話単位データに分割する音声データ分割部と、キーワードによる重要度や発話者による重要度等の予め特定されている重要度情報を基に各発話単位データの重要度を算出する重要度算出部と、予め特定された時間内に合計発話時間が収まる範囲で発話単位データをその重要度が高い順に選択する要約部と、この選択された発話単位データを順次再生して出力する音声データ再生部とを備えていることを特徴とする。

このような音声データ要約再生装置によれば、講演や会議等を録音した音声データが、特定の時間内に収まるように重要な部分が選択され要約される。よって、利用者は、講演や会議の内容を特定の時間内で確認することができる。

また、上記の音声データ要約再生装置において、上述した要約部が、利用者の操作により入力され指定された時間内に合計発話時間が収まる範囲で発話単位データをその重要度が高い順に選択する機能を有してもよい。

このようにすると、講演や会議等を録音した音声データが、利用者の要求に応じた時間内に収まる発話時間のデータに要約される。

また、上記の音声データ要約再生装置は、上述した重要度情報を利用者の操作による入力によって決定する重要度情報決定部を備えると共に、重要度算出部が、重要度情報決定部で決定された重要度情報を基に各発話単位データの重要度を算出する機能を有してもよい。

このようにすると、講演や会議等を録音した音声データが、利用者の目的や必要に応じた内容に要約される。

さらに、上記の音声データ要約再生装置において、上述した音声データ分割部が、音声データ中における発話者の交代時や無音区間などの区切ポイントで音声データを分割する機能を有してもよい。

このようにすると、講演や会議等を録音した音声データが、この発話文章の途中で区切られること無く幾つかに分割される。

また更に、上記の音声データ要約再生装置において、区切ポイントに対してその内容毎に優先度が設定されており、音声データ分割部が、各発話単位データそれぞれの発話時間が予め特定した時間内に収まるように優先度が高い区切ポイントから順に選択して音声データを分割する機能を有してもよい。

このようにすると、発話単位データそれぞれの再生時間が、予め特定した時間内に収まるように、音声データが分割される。例えば、発話単位データの再生時間を３０秒以内と特定しておき、音声認識の結果得られる情報の「発話者の交代時」の優先度を「高」、「２秒以上のポーズ（無音区間）」と「資料のページ切換え時」の優先度を中、「音声認識文字列出現傾向」の優先度を小と設定した場合、音声データは、まず「発話者の交代時」を区切りとして分割される。個々の発話単位データの長さが３０秒以内に収まっていればそこで分割は終了されるが、発話の長さが３０秒を超えるものは、さらに「２秒以上のポーズ」と「ページ切換え時」を区切りとして分割される。このようにして、個々の発話単位データ全ての再生時間が３０秒以内に収まるように分割される。

また、上記の音声データ要約再生装置において、上述した音声データ再生部が、要約部で選択された発話単位データを時系列順に再生して出力する機能を有してもよい。このようにすると、講演や会議等を録音した音声データが、時系列に沿って要約されて再生される。

また、上記の音声データ要約再生装置において、上述した音声データ再生部が、要約部で選択された発話単位データをその重要度が高い順に再生して出力する機能を有してもよい。このようにすると、講演や会議等を録音した音声データが、重要度に沿って要約されて再生される。

更に、上記の音声データ要約再生装置は、発話単位データの発話者、発話時間，音声認識結果の文字列等の発話単位データ情報を当該発話単位データの再生時にテキスト情報として画面に表示するテキスト情報表示部を備えてもよい。

このようにすると、利用者は、音声だけでなく画面に表示されたテキスト情報も参照できるので、音声データの内容を容易に理解することができる。

次に、本発明の音声データ要約再生方法は、予め記憶されている音声データを幾つかの発話単位データに分割する音声データ分割工程と、キーワードによる重要度や発話者による重要度等の予め特定しておいた重要度情報を基に各発話単位データの重要度を算出する重要度算出工程と、予め特定された時間内に合計発話時間が収まる範囲で発話単位データをその重要度が高い順に選択する音声データ要約工程と、この選択された発話単位データを順次再生して出力する音声データ再生工程とを設けたことを特徴とする。

このような音声データ要約再生方法によれば、講演や会議等を録音した音声データを、特定の時間内に収まるように重要な部分を抽出し要約することができる。よって、利用者は、講演や会議の内容を特定の時間内で確認することができる。

また、上記の音声データ要約再生方法において、上述した要約工程を、利用者の操作により入力され指定された時間内に合計発話時間が収まる範囲で発話単位データをその重要度が高い順に選択するように構成してもよい。

このようにすると、講演や会議等を録音した音声データを、利用者の要求に応じた時間内に収まる発話時間のデータに要約することができる。

また、上記の音声データ要約再生方法は、上述した重要度情報を利用者の操作による入力によって決定する重要度情報決定工程を設けると共に、重要度算出工程を、重要度情報決定工程で決定された重要度情報を基に各発話単位データの重要度を算出するように構成してもよい。

このようにすると、講演や会議等を録音した音声データを、利用者の目的や必要に応じた内容に要約することができる。

さらに、上記の音声データ要約再生方法において、上述した音声データ分割工程を、音声データ中における発話者の交代時や無音区間などの区切ポイントで音声データを分割するように構成してもよい。

このようにすると、講演や会議等を録音した音声データを、この発話文章の途中で区切られること無く幾つかに分割することができる。

また更に、上記の音声データ要約再生方法において、上述した区切ポイントに対してその内容毎に優先度が設定されており、音声データ分割工程を、各発話単位データそれぞれの発話時間が予め特定された時間内に収まるように優先度が高い区切ポイントから順に選択して音声データを分割するように構成してもよい。

このようにすると、発話単位データそれぞれの再生時間を、予め特定した時間内に収めるように、音声データを分割することができる。例えば、発話単位データの再生時間を３０秒以内と特定し、音声認識の結果得られる情報の「発話者の交代時」の優先度を「高」、「２秒以上のポーズ（無音区間）」と「資料のページ切換え時」のに優先度を「中」、「音声認識文字列出現傾向」の優先度を「小」と設定した場合、音声データは、まず「発話者の交代時」を区切りとして分割される。個々の発話単位データの長さが３０秒以内に収まっていればそこで分割は終了されるが、発話の長さが３０秒を超えるものは、さらに「２秒以上のポーズ」と「ページ切換え時」を区切りとして分割される。このようにして、個々の発話単位データ全ての再生時間が３０秒以内に収まるように分割される。

また、上記の音声データ要約再生方法において、上述した音声データ再生工程を、要約工程で選択された発話単位データを時系列順に再生して出力するように構成してもよい。このようにすると、講演や会議等を録音した音声データを、時系列に沿って要約し再生することができる。

また、上記の音声データ要約再生方法において、上述した音声データ再生工程を、要約工程で選択された発話単位データをその重要度が高い順に再生して出力するように構成してもよい。このようにすると、講演や会議等を録音した音声データを、重要度に沿って要約し再生することができる。

更に、上記の音声データ要約再生方法は、発話単位データの発話者，発話時間，音声認識結果の文字列等の発話単位データ情報を当該発話単位データの再生時にテキスト情報として画面に表示するテキスト情報表示工程を設けてもよい。

このようにすると、利用者は、音声だけでなく画面に表示されたテキスト情報も参照できるので、音声データの内容を容易に理解することができる。

次に、本発明の音声データ要約再生用プログラムは、予め記憶されている音声データを幾つかの発話単位データに分割する音声データ分割処理と、キーワードによる重要度や発話者による重要度等の予め特定しておいた重要度情報を基に各発話単位データの重要度を算出する重要度算出処理と、予め特定された時間内に合計発話時間が収まる範囲で発話単位データをその重要度が高い順に選択する要約処理と、この選択された発話単位データを順次再生して出力する音声データ再生処理とをコンピュータに実行させることを特徴とする。

また、上記の音声データ要約再生用プログラムにおいて、上述した要約処理にあっては、利用者の操作により入力され指定された時間内に合計発話時間が収まる範囲で発話単位データをその重要度が高い順に選択するようにその内容を特定してもよい。

また、上記の音声データ要約再生用プログラムは、上述した重要度情報を利用者の操作による入力によって決定する重要度情報決定処理をコンピュータに実行させると共に、重要度算出処理においては、重要度情報決定処理で決定された重要度情報を基に各発話単位データの重要度を算出するようにその内容を特定してもよい。

更に、上記の音声データ要約再生用プログラムにおいて、上述した音声データ分割処理にあっては、音声データ中における発話者の交代時や無音区間などの区切ポイントで音声データを分割するようにその内容を特定してもよい。

また更に、上記の音声データ要約再生用プログラムにおいて、上述した区切ポイントに対してその内容毎に優先度が設定されており、音声データ分割処理にあっては、各発話単位データそれぞれの発話時間が予め特定された時間内に収まるように優先度が高い区切ポイントから順に選択して音声データを分割するようにその内容を特定してもよい。

また、上記の音声データ要約再生用プログラムにおいて、上述した音声データ再生処理にあっては、要約処理で選択された発話単位データを時系列順に再生して出力するようにその内容を特定してもよい。

また、上記の音声データ要約再生用プログラムにおいて、上述した音声データ再生処理にあっては、要約処理で選択された発話単位データをその重要度が高い順に再生して出力するようにその内容を特定してもよい。

さらに、上記の音声データ要約再生用プログラムは、発話単位データの発話者，発話時間，音声認識結果の文字列等の発話単位データ情報を当該発話単位データの再生時にテキスト情報として画面に表示するテキスト情報表示処理をコンピュータに実行させてもよい。

このような音声データ要約再生用プログラムによれば、前述した音声データ要約再生装置若しくは音声データ要約再生方法と同様の作用効果が得られる。

本発明は以上のように構成され機能するため、これにより、音声データを特定の時間内に収まる再生時間になるように要約することができる。また、再生中の音声データを元に出現キーワードの重要度や発話者の重要度等の重要度情報の変更が可能であるので、利用者の意向に合わせて動的に要約ができる。さらに、音声認識結果や配布資料などのテキストデータと連携して再生できるため、利用者が再生音声の内容を容易に理解することができる。

本発明における第１実施形態の音声データ要約再生装置の構成を示す図である。 図１に示す実施形態の音声データ要約再生装置の動作を示すフローチャートである。 本発明における第２実施形態の音声データ要約再生装置の構成を示す図である。 図３に示す実施形態の音声データ要約再生装置の動作を示すフローチャートである。 本発明における第３実施形態の音声データ要約再生装置の構成を示す図である。 図５に示す実施形態の音声データ要約再生装置の動作を示すフローチャートである。 音声データ記憶部に記憶されている音声データの一例を示す図である。 音声データの分割処理の一例を示す図である。 重要度情報記憶部に記憶されている重要度情報の一例を示す図である。 発話単位データ毎の重要度を示す図である。 重要度情報決定部のユーザインタフェースの一例を示す図である。 重要度情報の変更を示す図である。 発話単位データ毎の重要度を示す図である。 テキスト情報の表示の一例を示す図である。 テキスト情報を利用した重要度情報決定部のユーザインタフェースの一例を示す図である。

符号の説明

１ 入力装置
２ データ処理装置
３ 記憶装置
４ 出力装置
２１ 音声データ分割部
２２ 重要度算出部
２３ 要約部
２４ 音声データ再生部
２５ 重要度情報決定部
２６ テキスト情報表示部
３１ 音声データ記憶部
３２ 重要度情報記憶部

以下、本発明における一実施形態を、図面を参照して説明する。

図１は、本発明における第１実施形態の音声データ要約再生装置の構成の概略を示す機能ブロック図である。

図１に示すように、音声データ要約再生装置は、キーボードなどの入力装置１と、当該音声データ要約再生装置の情報処理動作を制御するデータ処理装置２と、各種情報を記憶する記憶装置３と、スピーカやディスプレイなどの出力装置４とから構成されている。

記憶装置３は、音声データを記憶する音声データ記憶部３１と、キーワードによる重要度や発話者による重要度等の予め特定されている重要度情報を記憶した重要度情報記憶部３２とを備えている。音声データ記憶部３１は、講義や会議等を録音した音声データを記憶し、これに加えて、音声認識結果や発話者情報や配布資料の情報などを音声データに対応付けて記憶している。重要度情報記憶部３２は、重要なキーワードや重要な発話者を示す情報を記憶している。

音声データ記憶部３１に記憶されている音声データの一例を図７に示す。図７に示すとおり、会議の経過時間に従って時系列に、会議の音声データ、発話者情報、この音声データの音声認識結果、会議の際に使用した資料の対応ページを示す情報が音声データ記憶部３１に格納されている。

図１に示すデータ処理装置２は、音声データを幾つかの発話単位データに分割する音声データ分割部２１と、重要度情報記憶部３２に記憶されている重要度情報を基に各発話単位データの重要度を算出する重要度算出部２２と、予め特定された時間内に合計発話時間が収まる範囲で発話単位データをその重要度が高い順に選択する要約部２３と、選択された発話単位データを順次再生して出力する音声データ再生部２４とを備えている。

音声データ分割部２１は、音声データ記憶部３１から入力された音声データを発話単位データに分割する。重要度算出部２２は、重要度情報記憶部３２に記憶されている重要なキーワードの出現頻度、発話者の情報を元に、各発話単位データの重要度を算出する。要約部２３は、利用者の操作により入力装置１に入力され指定された時間内に合計発話時間が収まる範囲で、重要度が高い順に発話単位データを選択する。音声データ再生部２４は、要約部２３で選択された発話単位データを時系列順、もしくは、接続情報を付与して重要度が高い順に再生する。

図８は、音声データ分割部２１における音声データの分割処理の一例を説明する図である。図８に示すように、本実施形態における音声データ分割部２１は、区切ポイントである「資料のページの切換え時」、「発話者の交代時」、「ポーズ（音声データ中の無音区間）」などの情報をもとに、音声データを４つの発話単位データに分割し、さらに、発話単位データ毎に、発話ＩＤ，音声認識文字列，発話者，資料の対応ページ，発話時間からなる情報を対応付けている。

音声データ分割部２１は、発話単位データの一定時間内での再生を可能とするために、発話単位データの再生時間が必ず一定時間以内、例えば３０秒以内に収まるように音声データの分割を行う。そのために、区切ポイントの内容に優先度を設定し、優先度レベルの高い順に区切ポイントを選び分割を行う。

例えば、区切ポイントである「発話者の交代時」の優先度レベルを「高」、「２秒以上のポーズ」と「ページ切換え時」の優先度レベルを「中」、「音声認識文字列出現傾向」の優先度レベルを「小」とした場合、まず、「発話者の交代時」を区切りとして分割を行い、個々の発話単位データの長さが３０秒以内に収まればそこで分割を終了する。発話単位データの長さが３０秒を超えるものは、さらに「２秒以上のポーズ」と「ページ切換え時」を区切りとして分割を行う。本実施形態では、この段階で全ての発話が３０秒以内に収まっているために、「音声認識文字列の出現傾向」による分割は行っていないが、もし、３０秒を超える発話単位データが残っていれば、音声認識文字列中の単語の出現頻度情報などを用いて、さらに発話単位データを分割する。

図９は、重要度情報記憶部３２に記憶されている重要度情報の一例を示す図である。図９に示すとおり、本実施形態において重要度情報は、「音声認識」というキーワードの重要度を１０点、「ロボット」というキーワードの重要度を３点、発話者Ａさんの重要度を１点、発話者Ｂさんの重要度を３点に設定している。

重要度算出部２２は、各発話単位データの重要度を、重要度情報のうち該当する項目の和を算出し求める。例えば、発話ＩＤ１の発話単位データは、「音声認識」という文字列が含まれ、発話者がＡさんであることから、発話ＩＤ１の重要度は１０＋１で１１点となる。同様に、発話単位データ毎に重要度を計算した結果を図１０に示す。

要約部２３は、利用者が指定した発話時間内に音声データを要約する。利用者が６０秒以内を指定した場合、６０秒に収まるように重要度の高い発話単位データから選択するので、図９に示す発話単位データのうち発話ＩＤ３と発話ＩＤ１の発話単位データを要約結果として選択する。

音声データ再生部２４は、要約部２３で選択された発話ＩＤ３と発話ＩＤ１の発話単位データを重要度の順に再生して出力する。この際に、発話の時系列の順が逆転することから、発話ＩＤ３と発話ＩＤ１の発話の間に、「前のＡさんの発話」というような接続情報を加えることもできる。また、ここでは重要度の順に再生するとしたが、時系列の順番を保って、発話ＩＤ１、発話ＩＤ３の順に再生して出力することもできる。

これにより、利用者が指定した６０秒以内に音声データを要約して再生することが可能になっている。

次に、本実施形態の音声データ要約再生装置における動作を説明する。ここで、本発明にかかる音声データ要約再生方法についても、同時に説明する。

図２は、本実施形態の音声データ要約再生装置の動作を示すフローチャートである。

まず、音声データ分割部２１により、音声データ記憶部３１の音声データが読み取られて、ポーズ情報や音声認識結果等が示す区切ポイントで幾つかの発話単位データに分割される（図２：ステップＳ１１，音声データ分割工程）。続いて、重要度算出部２２により、重要度情報記憶部３２に記憶された重要度情報を基に発話単位データ毎の重要度が算出され付与される（図２：ステップＳ１２，重要度算出工程）。

さらに、要約部２３により、利用者の操作により入力装置１に入力され指定された時間内に合計発話時間が収まる範囲で、発話単位データが重要度の高い順に選択される（図２：ステップＳ１３，音声データ要約工程）。そして、選択された発話単位データが音声データ再生部２４によって、時系列順、もしくは、重要な順に再生されて出力装置に送られる（図２：ステップＳ１４，音声データ再生工程）。

ここで、上述した音声データ分割工程，重要度算出工程，音声データ要約工程，音声データ再生工程についてはその内容をプログラム化し音声データ分割処理，重要度算出処理，要約処理，音声データ再生処理として音声データ要約再生装置を制御するコンピュータに実行させるように構成してもよい。

［第２実施形態］
次に、本発明における第２実施形態について説明する。図３は、本発明における第２実施形態の音声データ要約再生装置の構成の概略を示す機能ブロック図である。

図３に示すとおり、第２実施形態の音声データ要約再生装置は、第１実施形態の音声データ要約再生装置の構成に加えて、重要度情報を、利用者の操作による入力装置１からの入力により決定する重要度情報決定部２５をデータ処理装置２に備えている。

本実施形態の重要度情報決定部２５は、利用者が現在再生中の発話に対して、その発話のキーワードや発話者の重要度を指定し、重要度情報記憶部３２の重要度情報を更新する。

本実施形態は、前述した第１実施形態と同様の処理を経て、音声データ再生部２４が、図１０に示す発話ＩＤ３の発話単位データを再生して出力する。ここで、重要度情報決定部２５が、利用者の入力操作により重要度情報を変更する例を説明する。

図１１は、重要度情報決定部２５のユーザインタフェースの一例を示す。本実施形態では、利用者は入力装置１を操作し、指定の発話者の重要度を＋１０に変更している。これにより、重要度情報決定部２５は、図１２に示すように、重要度情報記憶部３２に記憶された重要度情報の「発話者＝Ｂさん」の重要度を３から１０に変更する。

重要度算出部２２は、発話単位データ毎の重要度を再計算する。再計算した結果を図１３に示す。「発話者＝Ｂさん」の重要度が変更になったため、「発話者＝Ｂさん」の発話単位データの重要度が変更されている。

本実施形態において、要約部２３は、利用者が６０秒以内を指定した場合、６０秒に収まるように重要度の高い順に発話単位データが選択され、発話ＩＤ３と発話ＩＤ４の発話単位データが要約結果として選択される。音声データ再生部２４は、要約部２３で選択した発話ＩＤ３と発話ＩＤ４の発話単位データから既に再生済みの発話ＩＤ３をスキップして、発話ＩＤ４を再生して出力する。

また、発話ＩＤ３の発話単位データを再生中に、図１１に示すインタフェースを用いて、キーワードの重要度を−１０に変更した場合、再計算の結果「音声認識」を含む発話単位データの重要度が減少し、「音声認識」を含まない発話単位データが優先して、再生されるようになる。

このように、利用者が重要度を修正することで、利用者の目的にあった発話が動的に絞り込まれ、会議音声を聞きながら、順次重要な発話を要約して再生することが可能になる。ここで、図１１では、発話者とキーワードを分けて重要度を修正するインタフェースを示したが、単一のボタンでそのボタンを押した場合はその発話のキーワードと発話者の重要度を上げ、そのボタンを押さなかった場合はその発話のキーワードと発話者の重要度を下げるといったインタフェースを用いることで、単一ボタンによって重要度の絞込みを行うことも可能である。

次に、本実施形態の音声データ要約再生装置における動作を説明する。ここで、本発明にかかる音声データ要約再生方法についても、同時に説明する。

図４は、本実施形態の音声データ要約再生装置の動作を示すフローチャートである。

図４に示すステップＳ１１からステップＳ１４の動作については、第１実施形態と同様である。そして、利用者が入力装置１を操作し重要度情報の指定を行うことで、重要度情報決定部２５によって、その発話内のキーワードや発話者情報等の重要度が修正され、重要度情報記憶部３２の重要度情報が更新される（図４のステップＳ２１，重要度情報決定工程）。重要度算出部２３において、重要度情報決定部２５で決定された重要度情報を基に各発話単位データの重要度が算出される。その後、ステップＳ１２、ステップＳ１３、ステップＳ１４を繰り返す。

ここで、上述した重要度情報決定工程についてはその内容をプログラム化し重要度情報決定処理として音声データ要約再生装置を制御するコンピュータに実行させるように構成してもよい。

［第３実施形態］
次に、本発明における第３実施形態について説明する。図５は、本発明における第３実施形態の音声データ要約再生装置の構成の概略を示す機能ブロック図である。

図５に示すように、第３実施形態の音声データ要約再生装置は、第２実施形態の音声データ要約再生装置の構成に加えて、テキスト情報表示部２６を備えている。テキスト情報表示部２６は、発話単位データの発話者，発話時間，音声認識結果の文字列，配布資料などの発話単位データ情報を当該発話単位データの再生時にテキスト情報として画面に表示する。

本実施形態は、第１実施形態と同様の処理を経て、音声データ再生部２４が要約したデータを出力する際に、テキスト情報表示部２６は、再生する音声と合わせて、対応するテキスト情報を出力装置４のディスプレイに表示する。図１４にテキスト情報を表示するディスプレイの一例を示す。図１４は、本実施形態において、発話ＩＤ３の発話単位データが再生されている際の画面であり、音声認識結果の文字列やその際に利用した資料が表示されている。

また、図１５は、テキスト情報を利用した重要度情報決定部２５のユーザインタフェースの一例を示す図である。図１５に示すとおり、テキスト情報上で「ロボット」を選択し、「ロボット」の重要度を１０に変更している。

これにより、利用者は音声データだけでなく、画面に表示したテキストデータも利用可能になり、利用者は会議内容を容易に理解することができる。

次に、本実施形態の音声データ要約再生装置における動作を説明する。ここで、本発明にかかる音声データ要約再生方法についても、同時に説明する。図６は、本実施形態の音声データ要約再生装置の動作を示すフローチャートである。

図６に示すステップＳ１１、ステップＳ１２、ステップＳ１３の動作については、第１実施形態と同様である。そして、テキスト情報表示部２５により、音声データに対応するテキスト情報が出力装置に送られてディスプレイに表示される。（図６：ステップＳ３１，テキスト情報表示工程）。重要度情報決定部２５により、利用者が特定の発話が重要であるという指定、もしくは、テキスト情報中の発話者やキーワードなどの特定の箇所を直接指定することで、指定されたキーワードや発話者情報の重要度が修正され、重要度情報記憶部３２に記憶されている重要度情報が更新される（図４：ステップＳ２１，重要度情報決定工程）。

ここで、上述した重要度情報決定工程、テキスト情報表示工程についてはその内容をプログラム化し重要度情報決定処理，テキスト情報表示処理として音声データ要約再生装置を制御するコンピュータに実行させるように構成してもよい。

本発明によれば、音声データベースから音声を要約して再生する音声再生装置や、音声再生装置をコンピュータにより実現するためのプログラムといった用途に適用できる。また、音声を再生する機能が搭載されているＴＶ・ＷＥＢ会議装置や、ＴＶ・ＷＥＢ会議装置をコンピュータにより実現するためのプログラムといった用途にも適用できる。

Claims (24)

1. 音声データを記憶した音声データ記憶部と、
   この音声データを幾つかの発話単位データに分割する音声データ分割部と、
   キーワードによる重要度や発話者による重要度を含む予め特定されている重要度情報を基に前記各発話単位データの重要度を算出する重要度算出部と、
   予め特定された時間内に合計発話時間が収まる範囲で前記発話単位データをその重要度が高い順に選択する要約部と、
   この選択された発話単位データを順次再生して出力する音声データ再生部とを備えている、音声データ要約再生装置。
2. 請求の範囲１に記載の音声データ要約再生装置において、
   前記要約部が、利用者の操作により入力され指定された時間内に合計発話時間が収まる範囲で前記発話単位データをその重要度が高い順に選択する機能を有している、音声データ要約再生装置。
3. 請求の範囲１又は２に記載の音声データ要約再生装置において、
   前記重要度情報を利用者の操作による入力によって決定する重要度情報決定部、を備え、前記重要度算出部が、前記重要度情報決定部で決定された重要度情報を基に前記各発話単位データの重要度を算出する機能を有している、音声データ要約再生装置。
4. 請求の範囲１乃至３のいずれか一項に記載の音声データ要約再生装置において、
   前記音声データ分割部が、前記音声データ中における発話者の交代時や無音区間などの区切ポイントで前記音声データを分割する機能を有している、音声データ要約再生装置。
5. 請求の範囲４に記載の音声データ要約再生装置において、
   前記区切ポイントに対してその内容毎に優先度が設定されており、前記音声データ分割部が、前記各発話単位データそれぞれの発話時間が予め特定した時間内に収まるように前記優先度が高い区切ポイントから順に選択して前記音声データを分割する機能を有している、音声データ要約再生装置。
6. 請求の範囲１乃至５のいずれか一項に記載の音声データ要約再生装置において、
   前記音声データ再生部が、前記要約部で選択された発話単位データを時系列順に再生して出力する機能を有している、音声データ要約再生装置。
7. 請求の範囲１乃至５のいずれか一項に記載の音声データ要約再生装置において、
   前記音声データ再生部が、前記要約部で選択された発話単位データをその重要度が高い順に再生して出力する機能を有している、音声データ要約再生装置。
8. 請求の範囲１乃至７のいずれか一項に記載の音声データ要約再生装置において、
   前記発話単位データの発話者、発話時間、音声認識結果の文字列を含む発話単位データ情報を当該発話単位データの再生時にテキスト情報として画面に表示するテキスト情報表示部を備えている、音声データ要約再生装置。
9. 予め記憶されている音声データを幾つかの発話単位データに分割する音声データ分割工程と、
   キーワードによる重要度や発話者による重要度を含む予め特定しておいた重要度情報を基に前記各発話単位データの重要度を算出する重要度算出工程と、
   予め特定された時間内に合計発話時間が収まる範囲で前記発話単位データをその重要度が高い順に選択する音声データ要約工程と、
   この選択された発話単位データを順次再生して出力する音声データ再生工程とを含む、音声データ要約再生方法。
10. 請求の範囲９に記載の音声データ要約再生方法において、
    前記要約工程は、利用者の操作により入力され指定された時間内に合計発話時間が収まる範囲で前記発話単位データをその重要度が高い順に選択する工程である、音声データ要約再生方法。
11. 請求の範囲９又は１０に記載の音声データ要約再生方法において、
    前記重要度情報を利用者の操作による入力によって決定する重要度情報決定工程をさらに含み、前記重要度算出工程は、前記重要度情報決定工程で決定された重要度情報を基に前記各発話単位データの重要度を算出する工程である、音声データ要約再生方法。
12. 請求の範囲９乃至１１のいずれか一項に記載の音声データ要約再生方法において、
    前記音声データ分割工程は、前記音声データ中における発話者の交代時や無音区間などの区切ポイントで前記音声データを分割する工程である、音声データ要約再生装方法。
13. 請求の範囲１２に記載の音声データ要約再生方法において、
    前記区切ポイントに対してその内容毎に優先度が設定されており、前記音声データ分割工程は、前記各発話単位データそれぞれの発話時間が予め特定された時間内に収まるように前記優先度が高い区切ポイントから順に選択して前記音声データを分割する工程である、音声データ要約再生方法。
14. 請求の範囲９乃至１３のいずれか一項に記載の音声データ要約再生方法において、
    前記音声データ再生工程は、前記要約工程で選択された発話単位データを時系列順に再生して出力する工程である、音声データ要約再生方法。
15. 請求の範囲９乃至１３のいずれか一項に記載の音声データ要約再生方法において、
    前記音声データ再生工程は、前記要約工程で選択された発話単位データをその重要度が高い順に再生して出力する工程である、音声データ要約再生方法。
16. 請求の範囲９乃至１５のいずれか一項に記載の音声データ要約再生方法において、
    前記発話単位データの発話者、発話時間、音声認識結果の文字列を含む発話単位データ情報を当該発話単位データの再生時にテキスト情報として画面に表示するテキスト情報表示工程をさらに含む、音声データ要約再生方法。
17. 予め記憶されている音声データを分割し幾つかの発話単位データを作成する音声データ分割処理と、
    キーワードによる重要度や発話者による重要度を含む予め特定しておいた重要度情報を基に前記各発話単位データの重要度を算出する重要度算出処理と、
    予め特定された時間内に合計発話時間が収まる範囲で前記発話単位データをその重要度が高い順に選択する要約処理と、
    この選択された発話単位データを順次再生して出力する音声データ再生処理とをコンピュータに実行させる、音声データ要約再生用プログラム。
18. 請求の範囲１７に記載の音声データ要約再生用プログラムにおいて、
    前記要約処理は、利用者の操作により入力され指定された時間内に合計発話時間が収まる範囲で前記発話単位データをその重要度が高い順に選択するようにその内容を特定する処理である、音声データ要約再生用プログラム。
19. 請求の範囲１７又は１８に記載の音声データ要約再生用プログラムにおいて、
    前記重要度情報を利用者の操作による入力によって決定する重要度情報決定処理をコンピュータに実行させる処理をさらに含み、前記重要度算出処理は、前記重要度情報決定処理で決定された重要度情報を基に前記各発話単位データの重要度を算出するようにその内容を特定する処理である、音声データ要約再生用プログラム。
20. 請求の範囲１７乃至１９のいずれか一項に記載の音声データ要約再生用プログラムにおいて、
    前記音声データ分割処理は、前記音声データ中における発話者の交代時や無音区間などの区切ポイントで前記音声データを分割するようにその内容を特定する処理である、音声データ要約再生装用プログラム。
21. 請求の範囲２０に記載の音声データ要約再生用プログラムにおいて、
    前記区切ポイントに対してその内容毎に優先度が設定されており、前記音声データ分割処理は、前記各発話単位データそれぞれの発話時間が予め特定された時間内に収まるように前記優先度が高い区切ポイントから順に選択して前記音声データを分割するようにその内容を特定する処理である、音声データ要約再生用プログラム。
22. 請求の範囲１７乃至２１のいずれか一項に記載の音声データ要約再生用プログラムにおいて、
    前記音声データ再生処理は、前記要約処理で選択された発話単位データを時系列順に再生して出力するようにその内容を特定する処理である、音声データ要約再生用プログラム。
23. 請求の範囲１７乃至２１のいずれか一項に記載の音声データ要約再生用プログラムにおいて、
    前記音声データ再生処理は、前記要約処理で選択された発話単位データをその重要度が高い順に再生して出力するようにその内容を特定する処理である、音声データ要約再生用プログラム。
24. 請求の範囲１７乃至２３のいずれか一項に記載の音声データ要約再生用プログラムにおいて、
    前記発話単位データの発話者、発話時間、音声認識結果の文字列を含む発話単位データ情報を当該発話単位データの再生時にテキスト情報として画面に表示するテキスト情報表示処理をコンピュータに実行させる処理をさらに含む、音声データ要約再生用プログラム。

Images