JP3959083B2 - 音声情報要約装置、及び、音声情報要約方法 - Google Patents

Description

本発明は、音声情報の認識結果をテキストデータ化する技術に関する。

近年、音声解析技術の発達に伴い、入力された音声情報の中から、所定の要件を満たす特徴部分を抽出する技術が開発されている。例えば、特許文献１には、入力された音声情報と、音声の特徴が登録されたパターン辞書とを照合し、登録されたパターンに対応する音声部分にマークを付して、検索を容易にする技術が開示されている。同文献においては、音声の特徴パターンとして、音声の大小、高低、無音時間などが例示されている。
特開平８−６３１８６号公報（[００１２]段落、図４等）

しかしながら、上記従来技術は、音声の特徴部分を容易に検索することを目的とするものであり、特定された特徴部分を音声認識結果に反映させるものではない。すなわち、特徴部分の特定は、あくまでも特徴部分自体の検索を容易にするための処理であって、テキストデータ化された音声認識結果の中からキーワードの検索や抽出を行うといった、音声認識結果に対する二次的な処理を目的としたものではない。したがって、従来の音声解析技術では、音声の特徴部分を活かして、音声情報を要約するという技術を実現することはできなかった。

そこで、本発明の課題は、音声情報の特徴を用いて、音声認識結果の要約を適確かつ容易に行うことである。

本発明に係る要約作成装置は、会話における所定区間を有する特徴パターンを保持する保持手段と、入力された音声情報のうち、保持手段に保持されている特徴パターンに合致する音声情報が出現する音声情報入力開始時からの経過時間帯を特定する特定手段と、入力された音声情報を認識して得られた語句に、音声情報入力開始時からの経過時間を付す認識手段と、認識手段により経過時間が付された語句から、特定手段により特定された経過時間帯に該当する語句を抽出することにより、音声情報を要約する要約手段と、送話の音声情報が入力される送話音声情報入力部と、受話の音声情報が入力される受話音声情報入力部と、を備え、前記特徴パターンは、送話の音声情報と受話の音声情報との間で音声情報に関する波形が類似する区間が存在するパターンであることを特徴とする。

本発明によれば、特徴パターンに合致する音声情報の一部と、当該音声情報から認識された語句（単語や文節などの言語単位）とが、経過時間帯を基に対応付けられる。したがって、重要な語句が発せられる時の音声パターンを特徴パターンとして保持しておくことで、経過時間帯を介して、音声情報の認識結果から重要な語句（キーワード）を抽出することができる。抽出された語句を要約の作成に用いることで、音声認識結果の要約を適確かつ容易に行うことが可能となる。

また、同一の語句であっても抑揚の違いによって重要性は異なることに鑑みて、本発明では、音声情報に関する波形の類似性を判断する。音声波形が類似することは、語句のみならず、その語句が発せられたときの抑揚までが類似するとの推測が可能である。また、かかる波形が、異なる話者（すなわち送話者と受話者と）の音声情報に共通してみられるということは、繰り返し発音された事項、つまり確認された事項である可能性が高い。そこで、本発明では、特徴パターンとして、送話の音声情報と受話の音声情報との間で音声情報に関する波形が類似する区間が存在するパターン（条件）を保持しておき、これを要約の作成に使用する。これにより、音声認識結果の中から、確認されるべき重要な語句を効率良く抽出し、要約に反映させることができる。

なお、波形の類似判断に際しては、時系列の相関をとる、あるいは、ＦＦＴ（Fast Fourier Transform）を利用して周波数の相関をとる、など、任意の手法を採ることができる。

本発明によれば、入力された音声情報に含まれる特徴部分に対応する語句が要約に使用されるため、送話者と受話者の会話の中に存する重要性の高い言葉を適確に要約に反映させることができる。また、送話者と受話者は、音声を入力する（会話する）という容易な行為で、その他の操作や文字入力を行うことなく、要約を作成することができる。つまり、音声認識結果の要約を適確かつ容易に行うことが可能となる。

以下、例示の為に添付された図面を参照しながら、本発明の一実施の形態について説明する。まず、本実施の形態における音声情報要約装置１の構成について説明する。図１に示すように、音声情報要約装置１は、音声情報入力部２と、特徴パターン保持部３（保持手段に対応）と、特徴抽出部４（特定手段に対応）と、音声認識部５（認識手段に対応）と、要約作成部６（要約手段に対応）と、表示部７とを備える。これら各部はバスを介して接続されている。

続いて、音声情報要約装置１の各構成要素について具体的に説明する。
音声情報入力部２は、ＡＤ（Analog Digital）変換回路により構成される。音声情報入力部２は、マイクＭを有し、マイクＭから入力される音声情報をデジタル変換した後、特徴抽出部４と音声認識部５とに出力する。マイクＭから入力される音声情報は、例えば、音声情報要約装置１のユーザである送話者より発せられた音声の情報である。また、音声情報入力部２は、アンテナＡを有し、アンテナＡで基地局Ｂから受信し、内蔵の復調器Ｃが復調した音声情報をデジタル変換した後、特徴抽出部４と音声認識部５とに出力する。アンテナＡが基地局Ｂ経由で受信した音声情報は、例えば、音声情報要約装置１のユーザの通話相手である受話者より発せられた音声の情報である。

特徴パターン保持部３には、音声情報に含まれることが予想される特徴パターンを示す情報が、その使用優先度に対応付けて格納されている。特徴パターン保持部３内部におけるデータ格納例を図２及び図３に示す。特徴パターン保持部３は、特徴パターン領域３ａと、特徴パターン方法領域３ｂと、優先度領域３ｃとを備える。

特徴パターン領域３ａには、要約の作成に際して使用の必要性の高いと思われる特徴の種類が、特徴パターンとして更新可能に登録されている。説明の便宜上、括弧内には、特徴パターンから推測される発言内容を付記する。例えば、図２においては、特徴パターンである“会話の冒頭”に、そこから推測される発言内容として（主題）が関連付けられている。同様に、特徴パターンである“一定時間の無音状態後”には（熟考した後の結論）を、特徴パターンである“高音後の無音の後”には（質問に対する回答）を関連付けることができる。

また、“高音のみの区間の直前”の特徴パターンには（共感、驚きの原因となった語句）が関連付けられ、“両者に類似の波形が存在”と“類似の波形が複数存在”とには（確認された事項）が関連付けられている。更に、図３に示すように、“声量が平均値より大きい”あるいは“声量が平均値より小さい”の特徴パターンには、（重要な連絡）を関連付けることができる。

図２に戻り、特徴パターン方法領域３ｂには、対応する特徴パターンの特定の仕方が更新可能に設定されている。例えば、“会話の冒頭”なる特徴パターンを特定する方法としては、“入力された音声情報をデジタル変換して得られる時系列の音量データを先頭から参照し、閾値（例えば２０ｄＢ）を上回る音量となった場合、その時点から一定時間（例えば０.５秒）が経過するまでの区間”が設定されている。この条件を満たす区間（経過時間帯）は、会話における最初の音声部分に該当する。また、主題に相当する語句は、通常、会話の冒頭に発せられる。このため、上記区間に認識された語句を抽出して、要約の作成に使用することで、会話の主題部分を要約に反映させることができる。

同様に、“一定時間の無音状態後”なる特徴パターンを特定する方法としては、“入力された音声情報をデジタル変換して得られる時系列の音量データにおいて、閾値（例えば１０ｄＢ）を下回る音量となってから一定時間（例えば０.５秒）経過した後、閾値（例えば２０ｄＢ）を上回る音量となった場合、その時点から更に一定時間（例えば０.５秒）が経過するまでの区間”が設定されている。この条件を満たす区間（経過時間帯）は、沈黙後における最初の有音部分に該当する。また、熟考の際には沈黙し、沈黙の後には、結論が提示されることが多い。このため、上記区間に認識された語句を抽出して、要約の作成に使用することで、会話の結論部分を要約に反映させることができる。

優先度領域３ｃには、対応する特徴パターンの優先度が更新可能に設定されている。優先度は、特徴パターンに合致する経過時間帯に認識された語句が、どの程度優先的に要約の作成に使用されるかを示す指標であり、この優先度が高いほど、上記語句が要約に含まれることが多くなる。したがって、音声情報要約装置１のユーザが如何なる特徴を重視して優先度の設定を行うかによって、語句の抽出に使用される特徴パターンは異なり、その結果、異なった内容の要約が作成される。これにより、要約内容の可変的設定や修正を可能とする。

特徴抽出部４は、音声情報入力部２から入力された音声情報をメモリ４ａに一時的に記憶し、特徴パターン保持部３を参照して、特徴パターンに合致する経過時間帯を特定する。音声情報は、その入力開始時からの経過時間とともに入力されるので、特徴抽出部４は、音声情報に含まれる特徴パターンを抽出することで、そのパターンが出現する時間帯（音声情報入力開始時からの経過時間帯に対応）を特定することができる。特徴抽出部４は、経過時間帯を特定した後、その経過時間帯と特徴パターンの優先度とを、後段の要約作成部６に出力する。
特徴抽出部４は、音声情報入力開始時を起点（０秒）とする計時機能を有する。

音声認識部５は、音声情報入力部２から入力された音声情報を、周知慣用の音声認識技術により語句単位でテキストデータ化する。その後、これらの語句に、音声情報入力開始時からの経過時間を付し、メモリ５ａに一時的に記憶する。語句と経過時間とは、音声認識結果として、後段の要約作成部６に出力される。
音声認識部５は、音声情報入力開始時を起点（０秒）とする計時機能を有する。

要約作成部６は、特徴抽出部４から入力された経過時間帯及び優先度と、音声認識部５から入力された語句及び経過時間とから、入力音声の要約処理を実行する。詳細な処理内容に関しては、動作説明において後述するが、要約作成部６は、経過時間の情報を介して特徴パターンと語句との対応付けを行った後、音声認識結果から特徴的な語句の抽出を行う。すなわち、要約作成部６は、入力された経過時間帯に対応する語句の中から、優先度の高い経過時間帯に対応する語句を抽出し、それらの語句を用いて要約を作成する。作成された要約は、メモリ６ａに一旦保持された後、表示部７に表示される。

メモリ４ａ，５ａ，６ａは、物理的には、書換え可能な不揮発性の記憶装置であるＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等により構成される。
表示部７は、例えばＬＣＤ（Liquid Crystal Monitor）により構成され、要約作成部６から入力された要約を表示する。

続いて、図４のフローチャートを参照しながら、本実施の形態における音声情報要約装置１の動作、併せて、本発明に係る音声情報要約方法を構成する各ステップについて説明する。
まず、マイクＭ若しくは復調器Ｃから音声情報が入力される（Ｓ１）。これを契機として、特徴抽出部４と音声認識部５は、経過時間の測定を開始する。
Ｓ２では、特徴抽出部４により、入力された音声情報内に、特徴パターン保持部３に保持されている特徴パターンを有する音声部分が存在するか否かの判定が行われる。この判定は、特徴パターン保持部３内の特徴パターン方法領域３ｂに保持されているデータと入力音声情報とを照合することにより行われる。

Ｓ２において、特徴パターンを有する音声部分の存在が確認された場合には（Ｓ２；ＹＥＳ）、特徴抽出部４は、当該音声部分に対応する経過時間帯を特定し、これに対応する特徴パターンの優先度と併せてメモリ４ａに記憶する（Ｓ３）。
なお、特徴パターンを有する音声部分が音声情報の中に存在しない場合には（Ｓ２；ＮＯ）、要約の作成は実行不能であるため、処理を終了する。

Ｓ４では、要約作成部６による要約の作成処理が開始される。
すなわち、要約作成部６は、経過時間の対応付けられた語句を音声認識部５から取得しており、この情報を基に、上記経過時間帯（Ｓ３で記憶された経過時間帯）に該当する語句の存否を判定する（Ｓ４）。経過時間帯に該当する語句には、経過時間帯の全部を含む語句は勿論のこと、経過時間帯の一部でも含む語句を含む。このため、経過時間帯が複数の語句に跨って存在する場合には、１つの経過時間帯に該当する語句が複数個抽出されることもある。

Ｓ４における判定の結果、経過時間帯に該当する語句が存在する場合には（Ｓ４；ＹＥＳ）、Ｓ５以降の処理に移行し、存在しない場合には（Ｓ４；ＮＯ）要約は作成できないので処理を終了する。

Ｓ５では、要約作成部６により、上記経過時間帯に対応する優先度が閾値（例えば３）以上であるか否かの判定が為される。この判定処理は、Ｓ４で存在が確認された全ての語句に関して行われる。この処理により、優先度が閾値以上である全ての経過時間帯が特定される。優先度が閾値以上である経過時間帯が存在しない場合には（Ｓ５；ＮＯ）、音声情報要約装置１は、要約を作成できないものと判断し、処理を終了する。これに対して、優先度が閾値以上である経過時間帯が入力音声情報の中に１つでも存在する場合には（Ｓ５；ＹＥＳ）、Ｓ６に移行する。

このように、音声情報要約装置１は、各特徴パターンに優先度を設定することで、その重要性に応じて、使用すべき特徴パターンを適宜調整可能とする。例えば、優先度が高めに設定されている特徴パターンは、閾値を高くとっても、使用される可能性が高く、その結果、対応する語句が要約に反映され易くなる。反対に、優先度が低めに設定されている特徴パターンは、閾値を高くとると、使用される可能性が低くなり、その結果、対応する語句が要約に反映され難くなる。このようにして、設定された優先度に基づき、使用される特徴パターンの数が変更され、それに伴い、要約の作成に使用される語句の拡大と絞込みが実現される。そして、簡潔で端的な要約の作成、あるいは、簡潔性は高くないがより情報量の多い（丁寧な）要約の作成、といった選択が可能となる。

Ｓ６では、要約作成部６は、Ｓ５で特定された経過時間帯に該当する語句を、音声認識部５から入力された音声認識結果（複数の語句から成る）の中から抽出する。
なお、１つの語句の経過時間帯に複数の特徴パターンが該当する場合には、その語句が、より優先度の高い特徴パターンに対応する語句として抽出される。

要約作成部６は、Ｓ６で抽出された語句を使用して要約を作成する（Ｓ７）。音声情報の波形によっては、同一の語句が複数抽出されることもあるが、その場合には、１つの語句のみを使用することができる。また、抽出された語句と語句との間に適宜、助詞や接続詞を挿入してもよい。
作成された要約は、表示部７に表示される（Ｓ８）。

次いで、図５を参照しながら、音声が入力されてから要約が表示されるまでの過程をより具体的に説明する。図５は、特徴抽出プロセスと音声認識プロセスとの時間的な対応関係を説明するための図である。図５では、横軸に、音声入力開始時からの経過時間（単位は秒）が規定され、縦軸には音量（単位はｄＢ）が規定されている。上記各プロセスにおいて、上段には送話者からの音声情報を、下段には受話者からの音声情報を例示する。

まず前提として、特徴抽出プロセスにおける送話者側の音声波形のうち、経過時間帯0.9〜1.8秒の波形部分に、“一定時間の無音状態後”の特徴パターン（優先度は４）が存在するとする。同様に、経過時間帯2.0〜2.6秒の波形部分に、“声量が平均値より大きい”の特徴パターン（優先度は３）が存在するとする。更に、同プロセスにおける受話者側の音声波形の中には、経過時間帯3.6〜4.2秒の波形部分に、“高音のみの区間の直前”の特徴パターン（優先度は２）が存在するとする。

一方、音声認識プロセスにおいては、同一の音声波形に対する音声認識が語句単位で実行されている。その結果、送話者側の音声波形からは、「明日の朝に（経過時間1.0〜1.8秒）」、「３００個の納品で（経過時間2.1〜3.0秒）」、「いかがですか（経過時間3.2〜4.2秒）」といった語句が認識されたとする。また、受話者側の音声波形からは、「はい（経過時間1.9〜2.3秒）」、「それで行こう！（経過時間3.7〜4.7秒）」といった語句が認識されたとする。

語句抽出プロセスでは、特徴抽出プロセスで得られた経過時間帯と優先度との情報を基に、音声認識プロセスで得られた語句の中から重要な語句（キーワード）の抽出が行われる。例えば、優先度の閾値が“３”に設定されている場合には、“高音のみの区間の直前”の特徴パターンは、優先度が２であることから無視される。そして、“一定時間の無音状態後”の特徴パターンと、“声量が平均値より大きい”の特徴パターンとが語句抽出に使用される。

前者の特徴パターンは、送話者側の0.9〜1.8秒の経過時間帯に存在するため、この経過時間帯の少なくとも一部を含む語句である「明日の朝に」が、最初に抽出される。後者の特徴パターンは、送話者側の2.0〜2.6秒の経過時間帯に存在するため、この経過時間帯の少なくとも一部を含む語句である「３００個の納品で」が、続いて抽出される。そして、抽出されたこれらの語句を組み合わせた「明日の朝に３００個の納品で」なる文字列が要約結果として表示される。

以上説明したように、音声情報要約装置１０は、経過時間の情報を媒介させて、音声の特徴と語句との対応をとることにより、特徴パターンに対応する語句を用いた音声情報の要約を作成する。このとき、閾値以上の優先度を有する特徴パターンのみを要約の作成に使用することで、要約の度合いを調整可能とする。これにより、発話者の音声の特徴が勘案されたサマライズを実現する。

なお、本発明は、上述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲において、適宜変形態様を採ることができる。
例えば、上記実施の形態においては、特徴抽出部４は、優先度を問わず、特徴パターンに合致する全ての経過時間帯の出力を行うものとしたが、優先度に基づく特徴パターンの絞込みまでを特徴抽出部４側で行うものとしてもよい。これにより、要約の作成に実際に使用される経過時間帯のみが、特徴抽出部４から要約作成部６に出力されることになる。すなわち、要約の作成に必要でない経過時間帯の情報、及び優先度が、要約作成部６に出力されることがなくなり、処理量の低減を図ることができる。優先度の閾値が高く設定されている場合には、保持されているにも関わらず使用されない特徴パターンの数が多くなるので、かかる態様を採ることは、特に効果的である。

また、上記実施の形態では、音声情報要約装置として携帯電話を想定して説明したが、これに限らず、固定電話、ＰＨＳ（Personal Handyphone System）、音声録音装置など、音声情報の入力機能をもった電子機器であればよい。

本発明に係る音声情報要約装置の機能的な構成を示すブロック図である。 特徴パターン保持部に保持されているデータの一例を示す図である。 特徴パターン保持部に保持されているデータの更に別の例を示す図である。 本発明に係る音声情報要約装置の動作を説明するためのフローチャートである。 特徴抽出プロセスと音声認識プロセスとの時間的な対応関係を説明するための図である。

符号の説明

１…音声情報要約装置、２…音声情報入力部、３…特徴パターン保持部、４…特徴抽出部、５…音声認識部、６…要約作成部、７…表示部

Claims (1)

1. 会話における所定区間を有する特徴パターンを保持する保持手段と、
   入力された音声情報のうち、前記保持手段に保持されている特徴パターンに合致する音声情報が出現する音声情報入力開始時からの経過時間帯を特定する特定手段と、
   前記入力された音声情報を認識して得られた語句に、前記音声情報入力開始時からの経過時間を付す認識手段と、
   前記認識手段により前記経過時間が付された語句から、前記特定手段により特定された前記経過時間帯に該当する語句を抽出することにより、前記音声情報を要約する要約手段と、
   送話の音声情報が入力される送話音声情報入力部と、
   受話の音声情報が入力される受話音声情報入力部と、を備え、
   前記特徴パターンは、送話の音声情報と受話の音声情報との間で音声情報に関する波形が類似する区間が存在するパターンであることを特徴とする音声情報要約装置。

Images