JP6323947B2 - 音響イベント認識装置、及びプログラム - Google Patents

Description

本発明は、音響イベント認識装置、及びプログラムに関する。

生放送番組の字幕制作に音声認識を利用する技術が実用化されている。この技術は、主に聴覚障碍者や高齢者への情報補償を目的としている。そのため、音声認識の対象は、放送番組を構成する音声（音声言語、人の話声）のみである。しかし、多くの放送番組は、音声言語だけから構成されている訳ではない。例えば、放送番組の音声には、番組の演出上の要請から、非言語的な音声（例えば、笑い声）や、拍手、背景音楽などの音響イベントが付加されている。このような音声言語以外の音声である音響イベントは、放送番組のシーンを補足的に説明したり、場面の転換を知らせたりするなど、音声言語同様、情報伝達において重要な役割を担っていると考えられる。このことから、音響イベントは、視聴者が番組を理解する際に欠かせない要素の一つといえる。これら非言語音の音響イベントから字幕等の言語表現（テキストまたは単語列からなるラベル）を生成した上で、聴覚障碍者や高齢者への情報補償に供することは、放送事業者にとって重要なことといえる。

また、音響イベントを、特定のクラスに分類する技術がある（例えば、非特許文献１、２参照）。これらの技術の用途として、例えば、映像や音声メディア中の銃声音を区分し、銃声音に区分されたシーンを暴力的な表現のシーンであるとみなしてペアレンタルロック(未成年者の視聴を制限する手法を指す)を行うための情報として使用することなどが想定される。

大石、外６名、「無限混合モデルを入れ子にしたmIBPに基づく音響イベント検出」、日本音響学会講演論文集、１−Ｐ−２２、２０１２年、ｐ．７７５−７７８ 佐々木、他２名、「無限混合ガウスモデルを用いた未知クラスに対応可能な実環境音分類法」、社団法人 人工知能学会、人工知能学会研究会資料、SIG-Challenge-B202-7、２０１２年、p．３９−４４

ドラマやバラエティー番組などでは、詳細な構成台本に基づいて音響イベントの字幕作成が行われる。この字幕作成では、例えば、ト書きなどで表記される台本上の非言語音を字幕にする。一方、スポーツ中継や情報番組では、詳細な台本が存在しない。このような番組では、音響イベントをどのような字幕として制作するかが問題となる。つまり、仮になんらかの音響イベントが発生したとしても、これを言語表現に置き換えるための台本が存在しない。そのため、音響イベントをどのような言語表現に置き換えるかが不明であり、字幕作成時のコスト増につながるおそれがある。音響イベントが持つ情報を言語表現として自動的に推定できれば、この推定された言語表現を人手により字幕に加工することも容易かつ低コストで実現可能となり、視聴者の番組理解に大いに貢献するものと考えられる。

また、非言語音である音響イベントがなんらかの言語表現により記述できれば、音響イベントを注釈としたリッチアノテーションが得られる。このリッチアノテーションを利用すれば、「どんな音がしたか」といった情報に基づいて番組等の検索を行うことが可能になり、従来よりも柔軟な情報検索が可能になると見込まれる。

非特許文献１、２の技術では、映像や音声メディア中の音響イベントがいずれのクラスに属するかを分類することを目的としており、上述したように、例えば、映像や音声メディア中の銃声音を「銃声音」で代表されるクラスに区分する。しかし、非特許文献１、２の技術は、「激しい撃ち合い」、「一発の銃声」など、音響イベントから推定される詳細な言語表現を与えるものではない。

本発明は、このような事情を考慮してなされたもので、音声データに含まれる音響イベントの適切な言語表現を得ることができる音響イベント認識装置、及びプログラムを提供する。

本発明の一態様は、音響イベント区間を検出するための統計的音響モデルと音声データとを照合して、前記音声データにおける音響イベント区間を検出する音響イベント区間検出部と、前記音響イベント区間検出部が検出した前記音響イベント区間における前記音声データから音響特徴量を抽出する音響特徴量抽出部と、前記音響イベント区間検出部が検出した前記音響イベント区間を含み、かつ、前記音響イベント区間よりも所定だけ長い区間の言語特徴量抽出区間を特定し、特定した前記言語特徴量抽出区間の前記音声データに対応した発話内容のデータから言語特徴量を抽出する言語特徴量抽出部と、音響特徴量及び言語特徴量を入力として音響イベントの言語表現の事後確率を得るための統計的に学習されたイベントモデルを用いて、前記音響特徴量抽出部が抽出した前記音響特徴量及び前記言語特徴量抽出部が抽出した前記言語特徴量から音響イベントの言語表現の事後確率を計算し、計算された前記事後確率に基づいて選択した音響イベントの言語表現のデータを出力する音響イベント認識部と、を備えることを特徴とする音響イベント認識装置である。
この発明によれば、音響イベント認識装置は、音声データにおける音響イベント区間を検出し、検出した音響イベント区間の音声データから音響特徴量を抽出する。さらに、音響イベント認識装置は、音響イベント区間を含み、かつ、音響イベント区間よりも所定だけ長い区間の言語特徴量抽出区間を特定し、特定した言語特徴量抽出区間の音声データに対応した発話内容から言語特徴量を抽出する。音響イベント認識装置は、統計的に学習されたイベントモデルを用いて、抽出された音響特徴量及び言語特徴量から音響イベントの言語表現の事後確率を計算し、計算した事後確率に基づいて選択した音響イベントの言語表現のデータを出力する。
これにより、音響イベント認識装置は、音声データに含まれる音響イベントの適切な言語表現を得ることができる。

本発明の一態様は、上述する音響イベント認識装置であって、発話区間検出用の音響モデルと照合して前記音声データにおける発話区間を検出する発話区間検出部と、前記発話区間検出部が検出した前記発話区間における前記音声データを音声認識し、音声認識の結果得られた発話内容のデータを出力する音声認識部とをさらに備え、前記言語特徴量抽出部は、前記音声認識部が出力した発話内容のデータから、前記言語特徴量抽出区間における言語特徴量を抽出する、ことを特徴とする。
この発明によれば、音響イベント認識装置は、言語特徴量抽出区間における言語特徴量を、音声データの音声認識結果から抽出する。
これにより、音響イベント認識装置は、音声データに発話内容のデータが付加されていない場合でも、その音声データに含まれる音響イベントの適切な言語表現を得ることができる。

本発明の一態様は、上述する音響イベント認識装置であって、前記音響イベント認識部が出力した前記音響イベントの言語表現のデータと、前記音声データに対応した発話内容のデータとを統合して注釈付きテキストデータを生成する結果統合部をさらに備える、ことを特徴とする。
この発明によれば、音響イベント認識装置は、音声データに含まれる音響イベントの言語表現と、音声データの発話内容とを統合した注釈付きテキストデータを生成する。
これにより、音響イベント認識装置は、音声データに対し、音声言語に加え、非言語情報を注釈として含むリッチアノテーションを得ることができる。

本発明の一態様は、上述する音響イベント認識装置であって、前記イベントモデルは、音響イベント区間の音声データを分割した時刻順のフレームそれぞれから得られた音響特徴量を入力として、入力よりも低い次元で表した音響特徴量である変換音響特徴量を出力する第１のニューラルネットワークと、言語特徴量抽出区間の言語特徴量を入力として、入力よりも低い次元で表した言語特徴量である変換言語特徴量を出力する第２のニューラルネットワークと、前記第１のニューラルネットワークの出力である前記変換音響特徴量と、前記第２のニューラルネットワークの出力である前記変換言語特徴量とを入力として、音響イベントの言語表現の事後確率を出力する第３のニューラルネットワークとを有し、前記音響特徴量抽出部は、前記音響イベント区間検出部が検出した前記音響イベント区間の前記音声データを分割したフレームそれぞれから音響特徴量を抽出し、前記音響イベント認識部は、時刻順の前記フレームそれぞれから前記音響特徴量抽出部が抽出した音響特徴量を前記第１のニューラルネットワークに入力するとともに前記言語特徴量抽出部が抽出した前記言語特徴量を前記第２のニューラルネットワークに入力し、第３のニューラルネットワークの出力である音響イベントの言語表現の事後確率を計算する、ことを特徴とする。
この発明によれば、音響イベント認識装置は、音響イベント区間の音声データを分割した時刻順の各フレームそれぞれの音響特徴量を第１のニューラルネットワークの入力とし、低次元で表した音響特徴量を計算する。さらに、音響イベント認識装置は、言語特徴量抽出区間の言語特徴量を第２のニューラルネットワークの入力とし、低次元で表した言語特徴量を計算する。音響イベント認識装置は、第１のニューラルネットワークにより計算された低次元の音響特徴量と、第２のニューラルネットワークにより計算された低次元の言語特徴量とを第３のニューラルネットワークの入力とし、音響イベントの言語表現の事後確率を計算する。音響イベント認識装置は、計算した事後確率に基づいて選択した音響イベントの言語表現のデータを出力する。
これにより、音響イベント認識装置は、音響イベント区間の音声データを分割した各フレームの音響特徴量と、言語特徴量抽出区間の言語特徴量とを用いて、精度よく音響イベントの事後確率を得ることができる。

本発明の一態様は、コンピュータを、音響イベント区間を検出するための統計的音響モデルと音声データとを照合して、前記音声データにおける音響イベント区間を検出する音響イベント区間検出手段と、前記音響イベント区間検出手段が検出した前記音響イベント区間における前記音声データから音響特徴量を抽出する音響特徴量抽出手段と、前記音響イベント区間検出手段が検出した前記音響イベント区間を含み、かつ、前記音響イベント区間よりも所定だけ長い区間の言語特徴量抽出区間を特定し、特定した前記言語特徴量抽出区間の前記音声データに対応した発話内容のデータから言語特徴量を抽出する言語特徴量抽出手段と、音響特徴量及び言語特徴量を入力として音響イベントの言語表現の事後確率を得るための統計的に学習されたイベントモデルを用いて、前記音響特徴量抽出手段が抽出した前記音響特徴量及び前記言語特徴量抽出手段が抽出した前記言語特徴量から音響イベントの言語表現の事後確率を計算し、計算された前記事後確率に基づいて選択した音響イベントの言語表現のデータを出力する音響イベント認識手段と、を具備する音響イベント認識装置として機能させるためのプログラムである。

本発明によれば、音声データに含まれる音響イベントの適切な言語表現を得ることができる。

本発明の一実施形態による音響イベント認識装置における音響イベント認識処理の概要を示す図である。 同実施形態による音響イベント認識装置の構成を示す機能ブロック図である。 同実施形態による統合特徴量を示す図である。 同実施形態による音響イベント認識処理部の音響イベント認識処理フローを示す図である。 同実施形態による音響イベント区間検出用のＨＭＭを示す図である。 同実施形態による音響イベント区間検出部の音響イベント区間検出処理フローを示す図である。 同実施形態による言語特徴量抽出区間を示す図である。 同実施形態によるイベントモデルを示す図である。 同実施形態による学習データに含まれる音響イベントラベルテーブルを示す図である。 同実施形態による学習データに含まれる字幕テーブルを示す図である。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。
本実施形態の音響イベント認識装置は、音響情報（音声データ）から抽出される音響的特徴と、音響イベントの周辺の音声言語から抽出される言語的特徴とに基づいて、笑い声や拍手などの音響イベントを認識し、認識した音響イベントのもっともらしい言語表現を得る。

これまで、字幕制作等に用いられる一般の音声認識では、音声言語（話声）のみが認識の対象であり、音響イベントのような非言語音は認識対象外であった。また、既存の字幕制作のアプリケーションでは、主に音声言語をテキスト化することにより、番組内の重要な情報を伝達することに主眼が置かれていた。

ところが、スポーツ中継や情報番組では、非言語音である笑い声や拍手、歓声などの音響的なイベントがより大きな役割を果たしている。ニュースが事実を伝えることに主眼を置いている一方で、その他の番組は、臨場感を伝えるなどの演出上の要請から、非言語音の重要性が増すことが一因である。演出上重要な存在である音響イベントは、従来の生放送を対象とした字幕制作では、どちらかといえば重要視されてこなかったという背景がある。しかし、聴覚障碍者や高齢者が放送番組をより楽しむ、あるいは、理解するという観点から見た場合、非言語音である音響イベントを字幕として充実させることが求められるのは当然といえる。

また、上記のように放送番組にはさまざまな音、すなわち、音声言語だけではなく音響イベントが含まれていることから、これらの情報が十分に言語表現として文字化されれば、非言語情報を注釈として含むリッチアノテーションを得ることができる。このようなリッチアノテーションを用いれば多様な情報検索を行うことが可能となり、放送コンテンツの利活用が促進すると考えられるが、非言語で構成される音響イベントは、どのようにテキストとして表現するべきなのかを一意に決定することが困難である。しかし、音響イベントに相当する言語表現を人手により付与してリッチアノテーションを作成することは、コストの面から適切であるとはいえない。

そこで、本実施形態の音響イベント認識装置は、上記のような非言語音で構成される音響イベントの言語表現を獲得する上での問題を解決する。本実施形態の音響イベント認識装置は、統計的手段により音響イベントの言語表現を推定し、推定した音響イベントの言語表現を用いてリッチアノテーションを作成する。

図１は、本実施形態の音響イベント認識装置における音響イベント認識処理の概要を示す図である。
従来は、音声データから抽出した音響イベントの音響特徴量のみを用いて、音響イベントが所属するクラス（笑いや拍手）を推定していた。本実施形態の音響イベント認識装置においても、音響特徴量は音響イベントの種類を推定するために重要な役割を果たす。ただし、本実施形態の音響イベント認識装置は、音響イベントの適切な言語表現を得るために、音響イベントが発生した時刻の前後にある音声言語から得られる言語特徴量をさらに利用する。このように、本実施形態の音響イベント認識装置は、音響イベントの適切な言語表現を得るために、直接的に音響イベントの音響特徴量を用いるのではなく、音声認識結果もしくは字幕から得られる言語特徴量も利用する。
これにより、適切な音響イベントを推定するとともに、前後の文脈に合った音響イベントの言語表現を得ることができる。

図２は、本発明の一実施形態による音響イベント認識装置の構成を示すブロック図であり、本実施形態と関係する機能ブロックのみ抽出して示してある。音響イベント認識装置１は、コンピュータ装置により実現される。音響イベント認識装置１は、イベントモデルを用いて音響イベント認識を行う。イベントモデルは、音響特徴量及び言語特徴量を入力として音響イベントの言語表現の事後確率を得るための統計的モデルである。そこで、音響イベント認識装置１は、同図に示すように、音響イベント認識処理部２及びモデル学習処理部３を備えて構成される。音響イベント認識処理部２は、未知の音声データに対して音声認識及び音響イベント認識を行う。モデル学習処理部３は、音響イベント認識処理部２が音響イベント認識に用いるイベントモデルを学習する。

音響イベント認識処理部２は、入力音声データＤ１に含まれる音声部分を音声認識してテキストデータに変換し、このテキストデータから音響イベント認識に用いる言語特徴量を得る。そこで、音響イベント認識処理部２は、音響イベント認識とは別に、入力音声データＤ１の発話区間を音声認識する。そのため、音響イベント認識処理部２は、入力音声データＤ１を２つに分離し、それぞれを音声認識の入力、及び音響イベント認識の入力とする。

音響イベント認識処理部２は、音響モデル格納部２０、言語モデル格納部２１、発話区間検出部２２、音声認識部２３、音響イベント区間検出部２４、音響特徴量抽出部２５、言語特徴量抽出部２６、音響イベント認識部２７、及び結果統合部２８を備えて構成される。

音響モデル格納部２０は、発話区間検出用の統計的音響モデル、音響イベント区間検出用の統計的音響モデル、及び、音声認識用の統計的音響モデルを格納する。言語モデル格納部２１は、音声認識用の統計的言語モデルを格納する。発話区間検出部２２は、音声認識の前処理として、音響モデル格納部２０に格納されている発話区間検出用の統計的音響モデルと入力音声データＤ１とを照合して、入力音声データＤ１における発話区間を同定する。発話区間は、話声（音声言語）の音声区間である。音声認識部２３は、発話区間検出部２２が同定した発話区間の入力音声データＤ１を、音響モデル格納部２０に記憶されている音声認識用の統計的音響モデル及び言語モデル格納部２１に記憶されている音声認識用の統計的言語モデルを用いて音声認識する。音声認識部２３は、発話内容の音声認識結果を設定した音声認識結果データＤ２を出力する。

音響イベント区間検出部２４は、音響イベント認識の前処理として、音響モデル格納部２０に格納されている音響イベント区間検出用の統計的音響モデルと入力音声データＤ１とを照合して、入力音声データＤ１における音響イベント区間を同定する。音響特徴量抽出部２５は、音響イベント区間検出部２４が同定した音響イベント区間の入力音声データＤ１から音響特徴量を得る。言語特徴量抽出部２６は、音声認識結果データＤ２が示す音声認識結果のテキストデータから、言語特徴量抽出区間の言語特徴量を抽出する。言語特徴量抽出区間は、音響イベント区間検出部２４が検出した音響イベント区間を含み、かつ、音響イベント区間よりも所定だけ長い区間である。つまり、言語特徴量抽出区間は、音響イベント区間の前後を含んだ区間である。

音響イベント認識部２７は、音響特徴量抽出部２５が得た音響特徴量と、言語特徴量抽出部２６が抽出した言語特徴量とを、音響イベント認識用の統計的モデルであるイベントモデルの入力に用いて音響イベント認識を行う。音響イベント認識部２７は、音響イベント認識結果を設定した音響イベント認識結果データＤ３を結果統合部２８に出力する。音響イベント認識結果は、音響イベントを表すテキスト表現（文字列）である。

結果統合部２８は、音声認識部２３から出力された音声認識結果データＤ２と、音響イベント認識部２７から出力された音響イベント認識結果データＤ３を統合し、注釈付きテキストデータであるリッチアノテーションデータＤ４を生成する。リッチアノテーションデータＤ４は、音声認識結果として得られた発話内容のテキストデータに、音響イベントを表す文字列のデータを注釈として付加したデータである。

モデル学習処理部３は、音響イベント認識処理部２における音響イベント認識に先立ってイベントモデルを学習する。モデル学習処理部３は、音声言語資源格納部３０、学習用音響特徴量抽出部３１、学習用言語特徴量抽出部３２、モデル学習部３３、及びイベントモデル格納部３４を備えて構成される。

音声言語資源格納部３０は、イベントモデルの学習データを記憶する。学習データは、学習用音声データと、音響イベントラベルと、発話内容のテキストデータとを対応付けたデータである。音響イベントラベルは、学習用音声データに含まれる音響イベントをテキスト（文字列）で表現したデータである。音響イベントラベルには、学習用音声データにおける音響イベントの開始時刻及び終了時刻により示される音響イベント区間のデータが付加される。発話内容のテキストデータには、学習用音声データにおける発話の開始時刻及び終了時刻により示される発話区間のデータが付加される。

学習用音響特徴量抽出部３１は、音声言語資源格納部３０に記憶されている学習データから音響イベントラベルに対応した音響イベント区間の学習用音声データである音響イベントデータＤ５を取得する。学習用音響特徴量抽出部３１は、取得した音響イベントデータＤ５から音響特徴量を抽出する。学習用言語特徴量抽出部３２は、学習用音声データの音響イベント区間に対応した言語特徴量抽出区間を特定し、特定した発話区間の発話内容のテキストデータＤ６を音声言語資源格納部３０に記憶されている学習データから取得する。学習用言語特徴量抽出部３２は、取得したテキストデータＤ６から言語特徴量を取得する。モデル学習部３３は、学習用音響特徴量抽出部３１が抽出した音響特徴量と、学習用言語特徴量抽出部３２が抽出した言語特徴量と、学習用音声データの音響イベント区間に対応した音響イベントラベルとを用いて、統計的手段によりイベントモデルを学習する。モデル学習部３３は、学習したイベントモデルをイベントモデル格納部３４に格納する。音響イベント認識部２７は、このイベントモデル格納部３４に格納されたイベントモデルを用いて、音響イベント認識を行う。

次に、音響イベント認識装置１の動作について説明する。
まず、音響イベント認識装置１における音響イベント認識処理について説明する。
音響イベント認識装置１の音響イベント認識処理部２は、音響特徴量と言語特徴量とを統合して音響イベント認識処理の入力とする。そのため、音響イベント認識処理部２は、音響特徴量抽出部２５による音響特徴量の抽出処理と、言語特徴量抽出部２６による言語特徴量抽出処理とを協調的に実行する。

例えば、音響イベント区間検出部２４が総計Ｎ個の音響イベント区間を検出したとする。音響特徴量抽出部２５は、第ｎ番目（ｎ＝１，…，Ｎ）の音響イベント区間について音響特徴量を抽出する。さらに、言語特徴量抽出部２６は第ｎ番目の音響イベント区間の開始時刻及び終了時刻に基づいて特定される言語特徴量抽出区間から言語特徴量を抽出する。言語特徴量は、音声認識結果中の言語特徴量抽出区間における単語列の頻度に基づく。最後に音響イベント認識部２７は、第ｎ番目の音響イベント区間について、音響特徴量と言語特徴量を統合して統合特徴量を得る。

図３は、統合特徴量を示す図である。統合特徴量は、音響イベント区間開始時刻、音響イベント区間終了時刻、音響イベント区間における音響特徴量、及び、音響イベント区間に対応した言語特徴量抽出区間における言語特徴量からなる構造体として表すことができる。音響イベント認識部２７は、Ｎ個の統合特徴量それぞれを用いて音響イベント認識を行う。

以下、音響イベント認識装置１における音響イベント認識処理の詳細について説明する。
図４は、音響イベント認識装置１の音響イベント認識処理フローを示す図である。
まず、音響イベント認識装置１は、発話区間検出用、音響イベント区間検出用、音声認識用それぞれの統計的音響モデルを音響モデル格納部２０に格納し、音声認識用の統計的言語モデルを言語モデル格納部２１に格納しておく。また、イベントモデル格納部３４には、後述するイベントモデル学習処理により学習されたイベントモデルを格納しておく。
発話区間検出用の統計的音響モデルや、音声認識用の統計的音響モデル及び統計的言語モデルは、従来と同様のものを用いることができる。本実施形態では、音響イベント区間検出用の統計的音響モデルとして、ＨＭＭ（Hidden Markov Model、隠れマルコフモデル）及びＧＭＭ（Gaussian Mixture Model、ガウス混合分布）を用いる。この音響イベント区間検出用のＨＭＭ及びＧＭＭは、音声、音響イベント、及び無音の３つのクラスそれぞれのラベルがつけられた音声データを学習データとして用い、従来技術と同様の学習方法により学習される。なお、音声のラベルは、音声言語の音声データにつけられる。例えば、音響イベントのＧＭＭの場合、混合されるガウス分布のそれぞれが、異なる種類の音響イベントの特徴を表すようにする。なお、音響イベント区間検出用のＨＭＭについては図５を用いて後述する。

音響イベント認識装置１の音響イベント認識処理部２は、入力音声データＤ１が入力される度に、図４に示す処理を行う。音響イベント認識処理部２は、話声と音響イベントの両者が混合した入力音声データＤ１から発話区間と音響イベント区間を切り出すため、入力音声データＤ１を２つに分岐する。音響イベント認識処理部２は、分岐した一方を発話区間検出部２２に入力し、もう一方を音響イベント区間検出部２４に入力する。

発話区間検出部２２は、従来技術によって、入力音声データＤ１においてテキスト化が必要となる発話区間を検出して切り出す（ステップＳ１０５）。この発話区間には、背景音などの音響イベントとの重なりが含まれ得る。本実施形態では、特開２００７−２３３１４８号公報や、特開２００７−２３３１４９号公報に記載の技術により、発話区間を検出する。発話区間検出部２２は、検出した発話区間を入力音声データＤ１から切り出した発話区間データを音声認識部２３に出力する。

具体的には、発話区間検出部２２は、入力音声データＤ１が入力される度に、入力音声データＤ１が示す音声を、所定の時間間隔の１処理単位のフレームである入力フレームに分割する。発話区間検出部２２は、時刻が早い順に選択した所定数の入力フレームそれぞれの音響特徴量を計算する。発話区間検出用の状態遷移ネットワークは、発話開始から発話終了までに、非音声言語、音声言語、無音の３状態を飛越しなく遷移するｌｅｆｔ−ｔｏ−ｒｉｇｈｔ型のＨＭＭである。なお、無音の状態に代えて、非音声言語の状態を用いてもよい。発話区間検出部２２は、音響モデル格納部２０から非音声言語、音声言語それぞれの音響モデルを読み出し、読み出したこれらの音響モデルを用いて各入力フレームの音響スコア（対数尤度）計算を行う。非音声言語の音響モデルは、無音や音響イベントなどのＨＭＭを表す。また、音声言語の音響モデルは、各音素の音素ＨＭＭからなる。発話区間検出部２２は、各入力フレームの状態遷移の記録を記憶しておき、現在の状態から開始状態に向かって状態遷移の記録を遡り、状態遷移ネットワークを用いて処理開始（始端）の入力フレームからの各状態系列の累積の音響スコアを計算する。発話区間検出部２２は、各状態系列の累積の音響スコアのうち最大のものと、始端の音響スコアとの差が閾値より大きい場合、最大の累積の音響スコアが得られた系列において最後に非音声言語の状態であった時刻から所定時間遡った時刻を発話開始時刻とする。
発話区間検出部２２は、さらに発話開始時刻検出後の入力フレームについて、上記と同様に処理開始の入力フレームからの現在の入力フレームまでの各状態系列の累積の音響スコアを計算する。発話区間検出部２２は、各状態系列の中で最大の累積の音響スコアと、各状態系列のうち音声言語から非音声言語の終端に至る状態系列の中で最大の累積の音響スコアとの差が閾値を超えたかを判断する。発話区間検出部２２は、閾値を超えた状態が所定時間経過した場合、その経過した時刻から所定時間遡った時刻を発話終了時刻とする。
発話区間検出部２２は、発話開始時刻から発話終了時刻までの区間の入力フレームをまとめた発話区間データを音声認識部２３に出力する。

音声認識部２３は、発話区間検出部２２が出力した発話区間データを、音響モデル格納部２０に格納されている音声認識用の統計的音響モデル及び言語モデル格納部２１に格納されている統計的言語モデルを用い、従来技術により音声認識する（ステップＳ１１０）。本実施形態では、音声認識部２３は、統計的音響モデルに、ＨＭＭ、及びＧＭＭを用いる。また、本実施形態では、音声認識部２３は、統計的言語モデルに単語ｎ−ｇｒａｍ言語モデルを用いたマルチパス音声認識により認識結果を得る。この認識結果は、単語を単位とした分かち書きであり、音声認識部２３は、各単語に、当該単語が発話された時刻情報を付与する。音声認識部２３は、音声認識結果を設定した音声認識結果データＤ２を出力する。

一方、音響イベント区間検出部２４は、入力音声データＤ１において背景音等を含む非言語音から構成される音響イベント区間を検出して切り出す（ステップＳ１１５）。本実施形態では、音響イベント区間検出部２４は、音声認識によりテキスト化すべき部分との重複を含む音響イベント区間を検出する。音響イベント区間検出部２４は、発話区間検出部２２と同様のアルゴリズムにより、音響モデル格納部２０に記憶されている音響イベント区間検出用のＧＭＭとＨＭＭを用いて音響イベント区間の検出を行う。ただし、発話区間検出部２２が、発話区間を検出対象としているのに対し、音響イベント区間検出部２４は、非言語音の音声区間を検出対象とする点が異なる。また、発話区間検出用の状態遷移ネットワークに代えて、音響イベント区間検出用のＨＭＭを用いる。

図５は、音響モデル格納部２０に記憶されている音響イベント区間検出用のＨＭＭを示す図である。本実施形態では、ＨＭＭの構成を、いわゆるエルゴディックＨＭＭとする。同図に示すように、このエルゴディックＨＭＭは、音声、音響イベント、無音の３クラスの遷移を表現したＨＭＭである。各遷移には、学習により得られた遷移確率が付与されている。

図６は、音響イベント区間検出部２４の音響イベント区間検出処理フローを示す図であり、図４のステップＳ１１５における詳細な処理を示す。まず、音響イベント区間検出部２４は、入力音声データＤ１が入力される度に、入力音声データＤ１を、所定の時間間隔の１処理単位のフレームである入力フレームに分割する。１処理単位のフレームは、音声データを処理する単位であり、通常１０ミリ秒程度の長さとする。

音響イベント区間検出部２４は、まだ処理対象としていない入力フレームのうち、時刻が早い順に所定数の入力フレームを取得する（ステップＳ２０５）。音響イベント区間検出部２４は、取得した各入力フレームの音響特徴量を計算する。音響イベント区間検出部２４は、音響モデル格納部２０からＨＭＭの各状態である音声、音響イベント、及び無音それぞれのＧＭＭを読み出す。音響イベント区間検出部２４は、読み出したこれらのＧＭＭと各入力フレームの音響特徴量とを照合して各入力フレームの音響スコア計算を行い、必要があればＨＭＭの状態間の遷移を行う（ステップＳ２１０）。音響イベント区間検出部２４は、トレースバックに必要な定められた数の入力フレームを処理していない場合（ステップＳ２１５：ＮＯ）、ステップＳ２０５に戻って新たな入力フレームを取得し、音響スコアの計算を行う。

音響イベント区間検出部２４は、トレースバックに必要な定められた数の入力フレームを処理した場合（ステップＳ２１５：ＹＥＳ）、現在の状態に至るまでの状態系列のリストをトレースバックにより求める（ステップＳ２２０）。つまり、音響イベント区間検出部２４は、現在の状態から開始状態に向かって状態遷移の記録を遡り、図５に示すエルゴディックＨＭＭを用いて、処理開始の入力フレームの状態（開始状態）から現在の状態までの各状態系列の累積の音響スコアを計算する。この際、音響イベント区間検出部２４は、累積の音響スコアが大きい順に系列をソートしておく。

音響イベント区間検出部２４は、トレースバックにより得られたＨＭＭの状態系列から、第１位の系列と第２位の系列を比較する（ステップＳ２２５）。音響イベント区間検出部２４は、累積の音響スコアの差が予め定めた閾値以下である場合、区間が確定しないと判断し（ステップＳ２３０：ＮＯ）、ステップＳ２０５に戻って新たな入力フレームに対して音響スコアの計算を行う。音響イベント区間検出部２４は、累積の音響スコアの差が予め定めた閾値を超えたと判断した場合（ステップＳ２３０：ＹＥＳ）、第１位の系列を確定区間とする。音響イベント区間検出部２４は、最後に音響イベントの確定区間のフレームを時刻順にまとめあげたフレーム列を、音響イベント区間フレームデータとして出力する（ステップＳ２３５）。各フレーム列には、フレームの開始時刻と終了時刻の一方または両方の情報が付与されている。

図４において、音響イベント認識処理部２は、音響イベント区間検出部２４が検出したＮ個の音響イベント区間それぞれについて、以下のステップＳ１２５からステップＳ１３５の処理を行う。音響イベント認識処理部２は、ｎ＝１を初期値とする（ステップＳ１２０）。

音響特徴量抽出部２５は、音響イベント区間検出部２４から出力された第ｎ番目の音響イベント区間フレームデータに含まれる各フレームの音響特徴量を抽出する（ステップＳ１２５）。本実施形態では、音声認識で一般に用いられている対数メルフィルタバンク出力を音響特徴量とする。ただし、音響特徴量抽出部２５は、対数メルフィルタバンク出力に、予め平均ゼロ、分散１の正規化を行っておく。音声認識では通常、音声データを離散フーリエ変換した後にメルフィルタバンクに通した上で対数変換を行い、離散コサイン変換によりメルケプストラム係数（ＭＦＣＣ、Mel Frequency Cepstral Coefficient）を特徴量として得る。しかし、音響特徴量抽出部２５は、音の周波数をダイレクトに特徴量とするため、離散コサイン変換は行わない。

言語特徴量抽出部２６は、音声認識結果データＤ２が示す音声認識結果から、音響イベント認識部２７において必要となる言語的な特徴量を抽出する（ステップＳ１３０）。
図７は、言語特徴量抽出区間を示す図である。言語特徴量抽出部２６は、音響イベント区間検出部２４が同定した第ｎ番目の音響イベント区間の始端（開始時刻）と終端（終了時刻）とに基づいて言語特徴量抽出区間の始点（開始時刻）と終点（終了時刻）を特定する。すなわち、言語特徴量抽出部２６は、音響イベント区間の始端からＫ時間単位（秒）だけ前にシフトした時刻を始点とし、音響イベント区間の終端からＫ時間単位（秒）だけ後ろにシフトした時刻を終点とする区間を言語特徴量抽出区間とする。
これは、音響イベントの言語表現の推定に強い影響を及ぼす言語的な文脈は、音響イベント発生時刻の周辺に限定されると仮定したものであり、本実施形態では、この文脈が単語の頻度分布に基づいて得られるものとする。

言語特徴量抽出部２６は、音声認識結果データＤ２が示す音声認識結果の単語列のうち、言語特徴量抽出区間に含まれる単語列から言語特徴量を抽出する。本実施形態では、言語特徴量を相対頻度ベクトルとして定める。音声認識の語彙Ｖの大きさを｜Ｖ｜、語彙Ｖに含まれる各単語をｖ（ｖ∈Ｖ）、言語特徴量抽出区間内の総単語数をＭとすると、言語特徴量ｗは、式（１）となる。

言語特徴量ｗ
＝［ｃ（ｖ_１）／Ｍ，ｃ（ｖ_２）／Ｍ，…，ｃ（ｖ_｜Ｖ｜）／Ｍ］^Ｔ …（１）

なお、式（１）において、Ｔは転置を表す記号であり、ｖ_１，ｖ_２，…は、単語ｖである。また、ｃ（ｖ）は、言語特徴量抽出区間における単語ｖの頻度を返す関数であり、Σ_ｖ∈Ｖｃ（ｖ）＝Ｍを満たす。

なお、入力音声データＤ１に対してその発話区間に対応した字幕等のテキストデータが入力され、そのテキストデータに開始時刻及び終了時刻が予め付与されている場合、そのテキストデータを言語特徴量抽出部２６に直接入力してもよい。言語特徴量抽出部２６は、音声認識結果データＤ２に代えて、入力されたテキストデータが示す言語特徴量抽出区間内の単語列から言語特徴量を抽出する。これにより、図４におけるステップＳ１０５及びステップＳ１１０の処理を省略することができる。

図４において、音響イベント認識部２７は、第ｎ番目の音響イベント区間について、図３に示す構造体の統合特徴量を生成する（ステップＳ１３５）。統合特徴量の音響イベント区間開始時刻及び音響イベント区間終了時刻は、ステップＳ１１５において音響イベント区間検出部２４が検出した第ｎ番目の音響イベント区間の開始時刻及び終了時刻である。統合特徴量の音響特徴量は、ステップＳ１２５において音響特徴量抽出部２５が第ｎ番目の音響イベント区間の各フレームから抽出した音響特徴量を、それらフレームの時刻順に並べたものである。統合特徴量の言語特徴量は、ステップＳ１３０において言語特徴量抽出部２６が第ｎ番目の音響イベント区間に対応した言語特徴量抽出区間から抽出した言語特徴量である。

音響イベント認識処理部２は、音響イベント区間検出部２４が検出したＮ個全ての音響イベント区間についてステップＳ１２５からステップＳ１３５の処理を終了していない場合、ｎに１を加算し、第ｎ番目のフレームについてステップＳ１２５からの処理を繰り返す。音響イベント区間検出部２４が検出したＮ個全ての音響イベント区間についてステップＳ１２５からステップＳ１３５の処理を終了した場合、音響イベント認識処理部２は、ステップＳ１４５からの処理を行う（ステップＳ１４０）。

音響イベント認識部２７は、イベントモデル格納部３４に記憶されているイベントモデルを用いて、Ｎ個の統合特徴量それぞれについて以下に示す音響イベント認識を行う（ステップＳ１４５）。本実施形態では、音響イベントを認識するための統計的なイベントモデルとして、ニューラルネットワークを利用する。

図８は、本実施形態に用いるイベントモデルを示す図である。同図に示すように、イベントモデルは、音響特徴量及び言語特徴量を入力とし、音響イベントの言語表現である音響イベントラベルの事後確率を出力とする多層ニューラルネットワークである。便宜上、イベントモデルは、音響特徴量変換ニューラルネットワークＡ１（第１のニューラルネットワーク）、言語特徴量変換ニューラルネットワークＡ２（第２のニューラルネットワーク）、及び、フィードフォワード型ニューラルネットワークＡ３（第３のニューラルネットワーク）の３つのニューラルネットワークに分割できる。

音響特徴量変換ニューラルネットワークＡ１は、可変長の音響特徴量を入力とし、固定長の変換音響特徴量を出力する畳み込みニューラルネットワークである。音響特徴量変換ニューラルネットワークＡ１は、入力層、プーリング層、隠れ層、及び最上位隠れ層の４層から構成される。なお、同図においては固定長の音響特徴量を得るためのサンプリングを行うプーリング層及び隠れ層を各１層ずつ有しているが、層数及び各層の次元数（ユニット数）は、音響特徴量及び言語特徴量のデータ量に合わせて任意とすることができる。これらは、イベントモデルの学習時に決定される。
音響特徴量変換ニューラルネットワークＡ１の入力層は、統合特徴量の音響特徴量であり、音響イベント区間に含まれる各フレームの音響特徴量を、それらフレームの時刻順に並べたものである。入力層のユニット数は可変である。プーリング層の各ユニットは、入力層の連続する所定数のユニットと結合しており、隣接するユニットが結合している入力層の所定数のユニットと一部が重複する。隠れ層のユニット数は固定であり、隠れ層の各ユニットが結合しているプーリング層のユニットの数は、（プーリング層のユニット数）／（隠れ層のユニット数）である。隠れ層のユニットには、そのユニットに結合されているプーリング層のユニットの値のうち、最大値のみが伝搬する。隠れ層と最上位隠れ層は、互いに各ユニットが全て結合している。最上位隠れ層からの出力は、変換音響特徴量であり、音響特徴量を入力よりも低い次元で表したベクトルである。例えば、入力層のユニット数を１０００以上とし、出力層については２５６個程度のユニット数とすることができる。

言語特徴量変換ニューラルネットワークＡ２は、語彙サイズの次元数を持つ固定長の相対頻度ベクトルを入力とし、固定長の変換言語特徴量を出力するフィードフォワード型のニューラルネットワークである。同図において、言語特徴量変換ニューラルネットワークＡ２は、入力層、２層の隠れ層、及び最上位隠れ層の４層から構成されているが、層数や各層の次元数（ユニット数）は、語彙サイズや、音響特徴量及び言語特徴量のデータ量に合わせて任意とすることができる。これらは、イベントモデルの学習時に決定される。言語特徴量変換ニューラルネットワークＡ２の入力層は、統合特徴量の言語特徴量である。また、言語特徴量変換ニューラルネットワークＡ２の各層間は、蜜結合とする。最上位隠れ層からの出力である変換言語特徴量は、言語特徴量を入力よりも低い次元で表したベクトルである。この変換言語特徴量においては、入力層の言語特徴量から音響イベント認識に寄与しないノイズが除去される。例えば、語彙サイズが１０万単語の場合、入力層のユニット数はその語彙サイズと同じとなるが、出力層は１０２４〜２０４８個程度のユニット数で表すことができる。

フィードフォワード型ニューラルネットワークＡ３は、音響特徴量変換ニューラルネットワークＡ１の最上位隠れ層の出力である変換音響特徴量と、言語特徴量変換ニューラルネットワークＡ２の最上位隠れ層の出力である変換言語特徴量とを入力とし、音響イベントラベルの事後確率を出力する。同図において、フィードフォワード型ニューラルネットワークＡ３は、２層の隠れ層、及び出力層から構成されているが、層数や各層の次元数（ユニット数）は、語彙サイズや、音響特徴量及び言語特徴量のデータ量に合わせて任意とすることができる。これらは、イベントモデルの学習時に決定される。フィードフォワード型ニューラルネットワークＡ３の各層間は、蜜結合とする。フィードフォワード型ニューラルネットワークＡ３は、出力層の各ユニットの値を出力する。出力層の各ユニットは音響イベントラベルに対応しており、これら各ユニットの値は対応する音響イベントラベルの事後確率を表す。

音響イベント認識部２７は、イベントモデルの音響特徴量変換ニューラルネットワークＡ１の入力層に統合特徴量の音響特徴量を入力し、言語特徴量変換ニューラルネットワークＡ２の入力層に統合特徴量の言語特徴量を入力する。音響イベント認識部２７は、イベントモデルを用いて、フィードフォワード型ニューラルネットワークＡ３の出力層の値を計算する。音響イベント認識部２７は、イベントモデルの出力として、フィードフォワード型ニューラルネットワークＡ３の出力層の各ユニットの値を要素とするベクトルを得る。

音響イベント認識部２７は、イベントモデルの出力であるベクトルの要素を、各要素の値が示す事後確率に基づいて選択する。例えば、音響イベント認識部２７は、事後確率が最大の要素を選択する。なお、音響イベント認識部２７は、事後確率が最大のものから所定数の複数の要素を選択してもよく、事後確率が所定以上の要素を全て選択してもよく、事後確率が所定以上の中から事後確率が大きい順に所定数までの要素を選択してもよい。イベントモデル格納部３４には、ハッシュ関数等を用いて、予め、要素の番号と、音響イベントラベルとを対応付けて記憶しており、音響イベント認識部２７は、選択した要素に対応する音響イベントラベルをイベントモデル格納部３４から読み出す。

音響イベントラベルは、放送番組の字幕テキストに基づいて定義する。例えば、放送番組の字幕テキストでは、音響イベントに相当する言語表現をト書き（場面の説明を行う脚注）として表現している。そこで、このト書きを言語表現として出力する音響イベントラベルとする。
例えば、以下の表１から表５に示すような分類に従った音響イベントのテキスト表現（言語表現）を用いる。

ある音響イベントに対応するテキスト表現を一意に定めることは困難である。そこで、本実施形態では、過去に行われた字幕放送のテキストを解析し、頻度の高い代表的な言語表現を音響イベントラベルとして選ぶ。
上記により、音響イベント認識部２７は、音響イベント区間検出部２４が同定した各音響イベント区間の音響イベント認識を実行し、もっともらしい音響イベントラベルを設定した音響イベント認識結果データＤ３を出力する。各音響イベントラベルには、音響イベント区間の開始時刻及び終了時刻が付与される。

図４において、結果統合部２８は、ステップＳ１１０において音声認識部２３が出力した音声認識結果データＤ２に、ステップＳ１４５において音響イベント認識部２７が出力した音響イベント認識結果データＤ３を統合する。この統合により、結果統合部２８は、最終的な注釈付きテキストデータであるリッチアノテーションデータＤ４を生成する。音声認識結果データＤ２が示す音声認識結果のテキストデータには、発話開始時刻及び終了時刻が付与されており、音響イベント認識結果データＤ３が示す音響イベントラベルには音響イベント区間の開始時刻及び終了時刻が付与されている。そこで、結果統合部２８は、開始時刻の昇順で音声認識結果のテキストデータ及び音響イベントラベルをソートしてリッチアノテーションデータＤ４を生成し、出力する（ステップＳ１５０）。

次に、音響イベント認識装置１におけるイベントモデル学習処理について説明する。
音響イベント認識部２７が音響イベント認識のために用いるイベントモデルは、統計的手段により事前に学習しておく必要がある。そこで、放送音声及び付随する字幕から音響特徴量及び言語特徴量と、それらに対応した音響イベントラベルを予め抽出しておき、これらを学習データとして音声言語資源格納部３０に格納しておく。

図９は、学習データに含まれる音響イベントラベルテーブルを示す図であり、図１０は、学習データに含まれる字幕テーブルを示す図である。
学習データは、放送音声の音声データ（学習用音声データ）と、音響イベントラベルと、それら放送音声の音声データ及び音響イベントラベルの対応付けを示すデータとを含む。具体的には、学習データは、図９に示すように、放送音声の音声データの番組冒頭からの開始時刻及び終了時刻と、その開始時刻及び終了時刻で示される音響イベント区間の音響イベントラベルとを対応付けた音響イベントラベルテーブルを含む。
さらに、学習データは、放送音声の音声データ（学習用音声データ）と、付随する字幕のデータと、それら放送音声の音声データ及び字幕のデータの対応付けを示すデータとを含む。具体的には、学習データは、図１０に示すように、放送音声の音声データの番組冒頭からの開始時刻及び終了時刻と、その開始時刻及び終了時刻で示される区間の字幕のデータとを対応付けた字幕テーブルを含む。字幕のデータは、単語に分かち書きされたテキストデータである。

モデル学習処理部３は、音声言語資源格納部３０に格納された学習データに基づいて、音響イベント区間と対応する言語特徴量抽出区間を抽出し、統合特徴量を構成してイベントモデルを学習する。具立的には、モデル学習処理部３は、以下のようにイベントモデルを学習する。

学習用音響特徴量抽出部３１は、音声言語資源格納部３０に記憶されている図９の音響イベントラベルテーブルから音響イベント区間を読み出す。さらに、学習用音響特徴量抽出部３１は、読み出した各音響イベント区間の学習用音声データを音声言語資源格納部３０から読み出す。学習用音響特徴量抽出部３１は、学習用音声データである音響イベントデータＤ５から、音響特徴量抽出部２５と同様の処理により音響特徴量を抽出する。

学習用言語特徴量抽出部３２は、学習用音響特徴量抽出部３１が読み出した音響イベント区間それぞれに対応した言語特徴量抽出区間を、言語特徴量抽出部２６と同様に特定する。学習用言語特徴量抽出部３２は、特定した言語特徴量抽出区間に対応した字幕データを、音声言語資源格納部３０に記憶されている図１０の字幕テーブルから読み出す。学習用言語特徴量抽出部３２は、読み出した字幕データであるテキストデータＤ６から言語特徴量を抽出する。

モデル学習部３３は、学習用音響特徴量抽出部３１が抽出した音響特徴量と、その音響特徴量が得られた音響イベント区間と、その音響イベント区間に対応した言語特徴量抽出区間から学習用言語特徴量抽出部３２が抽出した言語特徴量とから統合特徴量を生成する。モデル学習部３３は、統合特徴量に設定されている音響イベント区間と、音声言語資源格納部３０に記憶されている音響イベントラベルテーブルから読み出したその音響イベント区間の音響イベントラベルとに基づいてイベントモデルを学習する。つまり、イベントモデル学習用のデータは、音響特徴量と、その音響特徴量が得られた音響イベント区間に対応する言語特徴量抽出区間の言語特徴量とを１組の入力として、その音響特徴量が得られた音響イベント区間の音響イベントラベルを出力とする。この際、モデル学習部３３は、イベントモデルにおけるフィードフォワード型ニューラルネットワークＡ３から出力されるベクトルの各要素と、ハッシュ関数により得られた音響イベントラベルのハッシュ値とを対応付けておく。

Ｎ組のイベントモデル学習用のデータ（統合特徴量と音響イベントラベルの組）が与えられたとき、モデル学習部３３は、これらのデータを１組ずつ用いて、イベントモデルとなるニューラルネットワークの各層間の結合重みを誤差伝搬法により学習する。モデル学習部３３は、Ｎ組のイベントモデル学習用のデータについて繰り返し誤差伝搬法による学習を行うが、学習用のデータとは別に用意した検証用データの識別性能（音響イベントラベルの正解率）が最大となった点で学習が収束したと判断する。
なお、モデル学習部３３は、異なる層数や異なるユニット数のニューラルネットワークそれぞれについて同じイベントモデル学習用のデータを用いて学習を行う。モデル学習部３３は、検証用データの識別性能が最も高いニューラルネットワークをイベントモデルとしてイベントモデル格納部３４に格納する。

上述した実施形態によれば、音響イベント認識装置１は、音声データに含まれる音響イベントを認識し、認識した音響イベントに適切な言語表現を得ることができる。従って、音響イベント認識装置１は、従来の音声認識結果に音響イベントラベルを付加したより豊かなアノテーションを提供することができる。また、音響イベント認識装置１が、音響イベントに適切な言語表現を得ることにより、人手による音響イベントのラベル作成にかかっていた作業負荷を大幅に削減することができる。

なお、上述の音響イベント認識装置１は、内部にコンピュータシステムを有している。そして、音響イベント認識装置１の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１…音響イベント認識装置、２…音響イベント認識処理部、３…モデル学習処理部、２０…音響モデル格納部、２１…言語モデル格納部、２２…発話区間検出部、２３…音声認識部、２４…音響イベント区間検出部、２５…音響特徴量抽出部、２６…言語特徴量抽出部、２７…音響イベント認識部、２８…結果統合部、３０…音声言語資源格納部、３１…学習用音響特徴量抽出部、３２…学習用言語特徴量抽出部、３３…モデル学習部、３４…イベントモデル格納部

Claims (5)

1. 音響イベント区間を検出するための統計的音響モデルと音声データとを照合して、前記音声データにおける音響イベント区間を検出する音響イベント区間検出部と、
   前記音響イベント区間検出部が検出した前記音響イベント区間における前記音声データから音響特徴量を抽出する音響特徴量抽出部と、
   前記音響イベント区間検出部が検出した前記音響イベント区間を含み、かつ、前記音響イベント区間よりも所定だけ長い区間の言語特徴量抽出区間を特定し、特定した前記言語特徴量抽出区間の前記音声データに対応した発話内容のデータから言語特徴量を抽出する言語特徴量抽出部と、
   音響特徴量及び言語特徴量を入力として音響イベントの言語表現の事後確率を得るための統計的に学習されたイベントモデルを用いて、前記音響特徴量抽出部が抽出した前記音響特徴量及び前記言語特徴量抽出部が抽出した前記言語特徴量から音響イベントの言語表現の事後確率を計算し、計算された前記事後確率に基づいて選択した音響イベントの言語表現のデータを出力する音響イベント認識部と、
   を備えることを特徴とする音響イベント認識装置。
2. 発話区間検出用の音響モデルと照合して前記音声データにおける発話区間を検出する発話区間検出部と、
   前記発話区間検出部が検出した前記発話区間における前記音声データを音声認識し、音声認識の結果得られた発話内容のデータを出力する音声認識部とをさらに備え、
   前記言語特徴量抽出部は、前記音声認識部が出力した発話内容のデータから、前記言語特徴量抽出区間における言語特徴量を抽出する、
   ことを特徴とする請求項１に記載の音響イベント認識装置。
3. 前記音響イベント認識部が出力した前記音響イベントの言語表現のデータと、前記音声データに対応した発話内容のデータとを統合して注釈付きテキストデータを生成する結果統合部をさらに備える、
   ことを特徴とする請求項１または請求項２のいずれか１項に記載の音響イベント認識装置。
4. 前記イベントモデルは、
   音響イベント区間の音声データを分割した時刻順のフレームそれぞれから得られた音響特徴量を入力として、入力よりも低い次元で表した音響特徴量である変換音響特徴量を出力する第１のニューラルネットワークと、
   言語特徴量抽出区間の言語特徴量を入力として、入力よりも低い次元で表した言語特徴量である変換言語特徴量を出力する第２のニューラルネットワークと、
   前記第１のニューラルネットワークの出力である前記変換音響特徴量と、前記第２のニューラルネットワークの出力である前記変換言語特徴量とを入力として、音響イベントの言語表現の事後確率を出力する第３のニューラルネットワークとを有し、
   前記音響特徴量抽出部は、前記音響イベント区間検出部が検出した前記音響イベント区間の前記音声データを分割したフレームそれぞれから音響特徴量を抽出し、
   前記音響イベント認識部は、時刻順の前記フレームそれぞれから前記音響特徴量抽出部が抽出した音響特徴量を前記第１のニューラルネットワークに入力するとともに前記言語特徴量抽出部が抽出した前記言語特徴量を前記第２のニューラルネットワークに入力し、第３のニューラルネットワークの出力である音響イベントの言語表現の事後確率を計算する、
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の音響イベント認識装置。
5. コンピュータを、
   音響イベント区間を検出するための統計的音響モデルと音声データとを照合して、前記音声データにおける音響イベント区間を検出する音響イベント区間検出手段と、
   前記音響イベント区間検出手段が検出した前記音響イベント区間における前記音声データから音響特徴量を抽出する音響特徴量抽出手段と、
   前記音響イベント区間検出手段が検出した前記音響イベント区間を含み、かつ、前記音響イベント区間よりも所定だけ長い区間の言語特徴量抽出区間を特定し、特定した前記言語特徴量抽出区間の前記音声データに対応した発話内容のデータから言語特徴量を抽出する言語特徴量抽出手段と、
   音響特徴量及び言語特徴量を入力として音響イベントの言語表現の事後確率を得るための統計的に学習されたイベントモデルを用いて、前記音響特徴量抽出手段が抽出した前記音響特徴量及び前記言語特徴量抽出手段が抽出した前記言語特徴量から音響イベントの言語表現の事後確率を計算し、計算された前記事後確率に基づいて選択した音響イベントの言語表現のデータを出力する音響イベント認識手段と、
   を具備する音響イベント認識装置として機能させるためのプログラム。

Images