JP6920361B2 - 判定装置、判定方法、及びプログラム - Google Patents

Description

本発明は、複数のモダリティ情報を用いて、所定の事象を検出する技術に関連するものである。

近年、ドライブレコーダーが普及している。ドライブレコーダーの映像は、例えば交通事故時における捜査や過失割合の判断に利用される。また、運転ドライバーの安全運転意識の改善や危険運転への気付きを促進するといった安全運転指導のためにドライブレコーダー映像を活用する事例も増加している。

安全運転指導等のためにドライブレコーダー映像を活用するためには、記録された大量のドライブレコーダーの映像の中から危険運転シーンを抽出し判別をする必要がある。しかし、判別作業には多くの時間と人員、労力や注意力を要するといった問題がある。そのため、危険運転シーンを自動的に判別する技術の実現が求められている。

特開２０１８−１２６３７４号公報

映像と正解ラベルにより、深層ニューラルネットワークの学習を行うことで、深層ニューラルネットワークにより危険運転シーンの自動判別を行うことが考えられる。

しかし、危険運転シーンの自動判別を行うには、複雑で且つ層が深い深層ニューラルネットワークの構造を採用せざるを得ず、計算量が非常に大きくなるとともに、必要なメモリ量も非常に大きくなる。また、学習に要する時間も莫大となり得る。よって、映像等の単独のモダリティ情報を用いて深層ニューラルネットワークの学習を行って、危険運転シーンの自動判別を行う手法は現実的ではない。また、映像データとセンサデータを用いて危険運転シーンの自動判別を行う従来手法が存在するが、精度が十分ではない。

なお、上記のような課題は、危険運転シーンの検出に限らずに、様々な分野での所定事象の検出において生じ得る課題である。

本発明は上記の点に鑑みてなされたものであり、複数のモダリティ情報に基づいて、精度良く所定の事象を検出する技術を提供することを目的とする。

開示の技術によれば、 音声データから音声特徴量を抽出する音声特徴抽出部と、
映像データから映像特徴量を抽出する映像特徴抽出部と、
センサデータからセンサ特徴量を抽出するセンサ特徴抽出部と、
前記音声特徴量、前記映像特徴量、及び前記センサ特徴量に基づいて、所定の事象の有無を判定する判定部とを備える判定装置であって、
前記判定部は、
前記音声特徴量、前記映像特徴量、及び前記センサ特徴量のうちの２つの特徴量を結合する第１特徴結合部と、
前記第１特徴結合部により結合された特徴量から、ある時刻のデータがそれ以前の時刻のデータの影響を受けているような時系列データの特徴量である時系列特徴量を抽出する時系列特徴抽出部と、
前記時系列特徴抽出部から出力された時系列特徴量と、前記音声特徴量、前記映像特徴量、及び前記センサ特徴量のうちの前記２つの特徴量以外の特徴量とを結合する第２特徴結合部と、
前記第２特徴結合部により結合された特徴量から、判定結果となる特徴量を抽出する特徴抽出部と
を備える判定装置が提供される。

開示の技術によれば、複数のモダリティ情報に基づいて、精度良く所定の事象を検出する技術を提供することが可能となる。

本発明の実施の形態における判定装置の機能構成図である。 判定装置のハードウェア構成例を示す図である。 本発明の実施の形態における判定装置の機能構成図である。 本発明の実施の形態における判定装置の機能構成図である。 本発明の実施の形態における判定装置の機能構成図である。 評価結果を説明するための図である。 従来技術における混合行列を示す図である。 本発明に係る技術における混合行列を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

本実施の形態では、自動車から取得される映像データ、音声データ、センサデータに基づいて、危険運転の有無を判定する例を説明するが、本発明の適用先は、危険運転の有無の判定に限られるわけではなく、本発明は他の様々な分野に適用可能である。例えば、日本酒製造過程におけるもろみを造る段階に本発明を適用することが可能である。

（装置構成）
図１に、本発明の実施の形態における判定装置１００の機能構成例を示す。図１に示すように、判定装置１００は、音声前処理部１０１、映像前処理部１０２、センサ前処理部１０３、音声特徴量抽出ネットワーク部１０４、映像特徴量抽出ネットワーク部１０５、センサ特徴量抽出ネットワーク部１０６、音声特徴圧縮部１０７、映像特徴圧縮部１０８、センサ特徴圧縮部１０９、映像／センサ特徴結合部１１０、時系列特徴モデリング部１１１、映像／センサ／音声特徴結合部１１２、非時系列特徴モデリング部１１３、及び出力部１１４を有する。各部の機能の概要は下記のとおりである。

音声前処理部１０１は、入力された音声データから、例えば、メル周波数ケプストラム係数（ＭＦＣＣ: Mel-Frequency Cepstrum Coefficients）を抽出する前処理を実行する。

映像前処理部１０２は、入力された映像（動画）データを、所定枚数の画像毎に分割する処理を行う。なお、所定枚数の画像毎に分割する処理を行わずに、映像データをそのまま入力に用いてもよい。

センサ前処理部１０３は、加速度及び速度等のセンサデータに対して、例えば、その値が平均０、標準偏差１になるように正規化を行う。

音声特徴量抽出ネットワーク部１０４、映像特徴量抽出ネットワーク部１０５、センサ特徴量抽出ネットワーク部１０６は、それぞれ深層ニューラルネットワーク（ＤＮＮ）である。例えば、これらの特徴量抽出ネットワーク部１０４〜１０６として、ＣＮＮ(Convolutional Neural Network)を使用することができる。ＣＮＮは、出力層、畳み込み層、プーリング層、全結合層、出力層を有するニューラルネットワークである。

音声特徴圧縮部１０７、映像特徴圧縮部１０８、センサ特徴圧縮部１０９はそれぞれ、例えば、入力の次元数よりも出力の次元数が小さいニューラルネットワークである。また、音声特徴圧縮部１０７、映像特徴圧縮部１０８、センサ特徴圧縮部１０９としてそれぞれ、主成分分析（ＰＣＡ）の機能、あるいは非負値行列因子分解（ＮＭＦ）の機能を用いてもよい。

映像／センサ特徴結合部１１０は、映像特徴圧縮部１０８から出力された特徴量とセンサ特徴圧縮部１０９から出力された特徴量とを結合する。

時系列特徴モデリング部１１１は、ある時刻のデータがそれ以前の時刻のデータの影響を受けているような時系列データの特徴を抽出する。時系列特徴モデリング部１１１は、例えば、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）などからなるニューラルネットワークである。時系列特徴モデリング部１１１から出力される特徴量を、時系列特徴量と呼ぶことにする。

映像／センサ／音声特徴結合部１１２は、音声特徴圧縮部１０７から出力された特徴量と、時系列特徴モデリング部１１１から出力された時系列特徴量とを結合する。

非時系列特徴モデリング部１１３は、時系列特徴を抽出する性質を持たない深層ニューラルネットワーク等である。だだし、時系列特徴を抽出する性質を持つ深層ニューラルネットワークをここで用いることとしてもよい。

出力部１１４は、目的とする判定結果を出力する。本実施の形態の場合、例えば、危険運転であるかどうかを示すラベルを出力する。

なお、「音声前処理部１０１＋音声特徴量抽出ネットワーク部１０４＋音声特徴圧縮部１０７」を音声特徴抽出部と呼び、「映像前処理部１０２＋映像特徴量抽出ネットワーク部１０５＋映像特徴圧縮部１０８」を映像特徴抽出部と呼び、「センサ前処理部１０３＋センサ特徴量抽出ネットワーク部１０６＋センサ特徴圧縮部１０９」をセンサ特徴抽出部と呼んでもよい。

また、「映像／センサ特徴結合部１１０＋時系列特徴モデリング部１１１＋映像／センサ／音声特徴結合部１１２＋非時系列特徴モデリング部１１３」を判定部と呼んでもよい。

（ハードウェア構成例）
判定装置１００は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、コンピュータとプログラムで実現できる点は、後述する図３〜図５で説明する判定装置についても同様である。

すなわち、判定装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該判定装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図２は、本実施の形態における上記コンピュータのハードウェア構成例を示す図である。図２のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、及び入力装置１００７等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該判定装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。

（判定装置１００の動作）
ここでは、図１に示す判定装置１００の動作の一例として、自動車に搭載されたマイク、カメラ、センサにより収集された音声データ、映像データ、センサデータに基づいて、危険運転かどうかを判定する動作について説明する。ここでのセンサデータは、例えば、その自動車の速度、及び加速度である。なお、「マイク、カメラ、センサにより収集された音声データ、映像データ、センサデータ」は、例えば、ドライブレコーダーで収集されたデータである。

＜学習フェーズ＞
多数の自動車から集められた多数の（「音声データ、映像データ、センサデータ」と正解ラベル）を用意する。ここでは、１個の「音声データ、映像データ、センサデータ」が、所定時間長分のデータを格納したファイルであってもよい。正解ラベルは、当該ファイル毎に付されていてもよいし、ファイル中の、より細かい時間単位のデータに付されていてもよい。

当該「音声データ、映像データ、センサデータ」を順次判定装置１００に入力し、出力部１１４からの出力値と、正解ラベルとを比較し、誤差を小さくするように判定装置１００における各部のパラメータ（重み）を修正することで、最適なパラメータを求める。

最適なパラメータがセットされた判定装置１００により、判定フェーズでの危険運転の判定が行われる。なお、パラメータの修正については、既存技術を用いることができる。

また、本実施の形態では、正解ラベルは、「事故（Ａｃｃｉｄｅｎｔ）」、「ヒヤリハット（Ｎｅａｒ Ｍｉｓｓ）」、「正常（Ｎｏ−Ｎｅａｒ−Ｍｉｓｓ）」の３種類である。ただし、これは一例である。

＜判定フェーズ＞
次に、判定フェーズにおける判定装置１００の動作を説明する。なお、入力から出力までの判定装置１００の動作は、学習フェーズと判定フェーズとで同じである。ただし、判定フェーズでは、最適なパラメータがセットされているので、出力部１１４が正解を出す可能性が高くなっている。

判定フェーズにおいて、判定対象のデータが用意される。当該データは、学習フェーズで与えるデータと同様の形式のデータであって、正解ラベルを持たないデータである。また、判定フェーズにおいては、判定対象の自動車からリアルタイムに取得された「音声データ、映像データ、センサデータ」を入力データとして用いることとしてもよい。

図１に示すように、音声前処理部１０１、映像前処理部１０２、センサ前処理部１０３にそれぞれ、順次、音声データ、映像データ、センサデータが入力される。

音声前処理部１０１は、入力された音声データからメル周波数ケプストラム係数（ＭＦＣＣ: Mel-Frequency Cepstrum Coefficients）を抽出し、それを音声特徴量抽出ネットワーク部１０４に入力する。

映像前処理部１０２は、入力された映像データ（画像（フレーム）が連続的に並んだデータ）を、所定枚数の画像毎に分割する処理を行い、分割された各データ（複数枚の画像データ）を映像特徴量抽出ネットワーク部１０５に入力する。センサ前処理部１０３は、センサデータに対して正規化を行い、正規化したデータをセンサ特徴量抽出ネットワーク部１０６に入力する。

各特徴量抽出ネットワーク部に入力されるデータに関して、映像データとセンサデータについては、例えば、時刻１、時刻２、時刻３のように時刻が進行するとして、まず、時刻１の映像データ１とセンサデータ１が入力され、次に、時刻２の映像データ２とセンサデータ２が入力され、次に、時刻３の映像データ３とセンサデータ３が入力され、……のように、同期したデータが入力される。なお、ここでの１時刻での映像データは、所定枚数の画像の集合である。また、センサデータは、その時刻で得られた速度及び加速度である。

音声データに関しては、ここでは、映像データとセンサデータに対応する時刻単位ではなく、より大きな時刻の単位で入力される。例えば、時刻１〜１０の時間の音声データ１、時刻１１〜２０の時間の音声データ２、…のように入力される。よって、ここでは、音声データに関しては、映像データとセンサデータのような時系列の特徴を抽出できないことを想定している。

音声特徴量抽出ネットワーク部１０４、映像特徴量抽出ネットワーク部１０５、センサ特徴量抽出ネットワーク部１０６はそれぞれ、入力されたデータについての特徴量を出力する。

音声特徴量抽出ネットワーク部１０４、映像特徴量抽出ネットワーク部１０５、センサ特徴量抽出ネットワーク部１０６はそれぞれ、入力データとして、ある次元数のベクトルＸを入力し、出力データとして、ある次元数のベクトルＹを出力する。このベクトルＹが上記の特徴量である。

音声特徴圧縮部１０７、映像特徴圧縮部１０８、センサ特徴圧縮部１０９はそれぞれ、その前段にある特徴量抽出ネットワーク部から出力された特徴量（ベクトル）を入力し、当該特徴量を圧縮して、入力されたベクトルの次元数よりも小さな次元数のベクトルを出力する。

映像／センサ特徴結合部１１０は、映像特徴圧縮部１０８から出力された特徴量とセンサ特徴圧縮部１０９から出力された特徴量とを結合する。例えば、映像特徴圧縮部１０８から出力された特徴量が、べクトル（ａ１，ａ２，ａ３）であり、センサ特徴圧縮部１０９から出力された特徴量がべクトル（ｂ１，ｂ２，ｂ３）であるとすると、映像／センサ特徴結合部１１０は、べクトル（ａ１，ａ２，ａ３，ｂ１，ｂ２，ｂ３）を出力する。

映像／センサ特徴結合部１１０から出力された結合特徴量は時系列特徴モデリング部１１１に入力され、時系列特徴モデリング部１１１は、時系列特徴量を出力する。なお、時系列特徴モデリング部１１１も基本的には、ある次元数のベクトルＸを入力とし、出力データとして、ある次元数のベクトルＹを出力する動作を行う。

映像／センサ／音声特徴結合部１１２は、音声特徴圧縮部１０７から出力された特徴量と、時系列特徴モデリング部１１１から出力された特徴量とを結合する。例えば、音声特徴圧縮部１０７から出力された特徴量が、べクトル（ｃ１，ｃ２，ｃ３）であり、時系列特徴モデリング部１１１から出力された特徴量がべクトル（ｄ１，ｄ２，ｄ３）であるとすると、映像／センサ／音声特徴結合部１１０は、べクトル（ｃ１，ｃ２，ｃ３，ｄ１，ｄ２，ｄ３）を出力する。

非時系列特徴モデリング部１１３は、映像／センサ／音声特徴結合部１１０から入力された特徴量から、判定結果となる特徴量を抽出し、これを出力部１１４に与える。出力部は、判定結果を出力する。なお、非時系列特徴モデリング部１１３も基本的には、ある次元数のベクトルＸを入力とし、出力データとして、ある次元数のベクトルＹを出力する動作を行う。

なお、非時系列特徴モデリング部１１３（及び出力部１１４）は、判定結果（判定されたラベル）を、所定時間長のデータ入力毎（例えば、前述した、入力のファイル単位）に出力するように構成されていてもよいし、時刻毎（前述した時刻１、時刻２、…の単位）で出力するように構成されていてもよい。

（他の例）
上記の例では、映像データとセンサデータについては、同期したデータを特徴量抽出ネットワーク部に与えることができ、音声データについては、映像データ及びセンサデータと同期したデータを特徴量抽出ネットワーク部に与えることができないため、図１に示すように、音声の特徴量については、時系列特徴モデリング部１１１を通さずに、映像／センサ／音声特徴結合部１１２において、映像・センサデータの時系列特徴量と結合することとしている。

ここで、音声データについても、映像データ及びセンサデータと同期したデータを特徴量抽出ネットワーク部に与えることができる場合には、判定装置を図３に示す判定装置２００のようにしてもよい。

図３に示す構成では、音声／映像／センサ特徴結合部２１０において、音声データの特徴量、映像データの特徴量、センサデータの特徴量が結合され、結合された特徴量が時系列特徴モデリング部２１１に出力され、時系列特徴モデリング部２１１が、結合された特徴量についての時系列特徴量を抽出して、出力部２１２に出力する。

また、音声データとセンサデータについては、同期したデータを特徴量抽出ネットワーク部に与えることができ、映像データについては、音声データ及びセンサデータと同期したデータを特徴量抽出ネットワーク部に与えることができない場合には、図４に示す構成としてもよい。この場合、映像の特徴量については、時系列特徴モデリング部１１１を通さずに、映像／センサ／音声特徴結合部１１２において、音声・センサデータの時系列特徴量と結合することとしている。

また、音声データと映像データについては、同期したデータを特徴量抽出ネットワーク部に与えることができ、センサデータについては、音声データ及び映像データと同期したデータを特徴量抽出ネットワーク部に与えることができない場合には、図５に示す構成としてもよい。この場合、センサデータの特徴量については、時系列特徴モデリング部１１１を通さずに、映像／センサ／音声特徴結合部１１２において、音声・映像データの時系列特徴量と結合することとしている。

（評価結果）
図１に示すように音声の非時系列性を考慮した構成における本発明に係る技術の評価結果について説明する。

図６は、映像データとセンサデータを用いた従来手法（図６の上側）と、本発明に係る技術（図６の下側）とについて、各評価指標（Ｐｒｅｃｉｓｉｏｎ、Ｒｅｃａｌｌ、Ｆ１−Ｓｃｏｒｅ）の結果を示している。全指標において、本発明に係る技術は従来手法よりも良い結果が得られていることがわかる。

図７は、従来手法で算出した値に関しての混合行列を示す。例えば、Ａｃｃｉｄｅｎｔの行に着目すると、これは、正解ラベル（Ａｃｃｉｄｅｎｔ）のデータ個数が３６個であり、そのうち、Ａｃｃｉｄｅｎｔであるとの判定結果が得られた個数が１５、Ｎｅａｒ Ｍｉｓｓであるとの判定結果が得られた個数が１３、Ｎｏ Ｎｅａｒ Ｍｉｓｓとの判定結果が得られた個数が８であることを示す。他の行も同様である。

図８は、本発明に係る技術を用いた場合の混合行列を示す。図の見方は図７と同様である。

図７、図８に示すように、「事故（Ａｃｃｉｄｅｎｔ）」と「ヒヤリハット（Ｎｅａｒ−Ｍｉｓｓ）」の誤認識（図中の太枠部分）が多い従来手法（図７）と比較して、本発明に係る技術（図８）ではこれが改善されていることがわかる。例えば，低速度での衝突による事故の場合、映像とセンサのみでは判別しずらい事象について、音声も用いることで事故時に発生する衝突音などの環境音、また、人の声などが、判定精度向上に寄与していると考えられる。

（実施の形態のまとめ、効果）
以上説明したように、本実施の形態では、映像・音声・センサ全てのモダリティ情報を統合的に用いることにより、精度良く危険運転シーンの判別を行うことができる。

また、本実施の形態では、単独のモダリティ情報を利用して複雑で計算量的に重量なニューラルネットワークの構造を取る代わりに、複数のモダリティ情報を統合的に利用することで、コンパクトで計算量的に軽量なニューラルネットワークの構造で判別精度を担保することができる。

なお、重量なニューラルネットワークは、例えば、ニューラルネットワークの各層（例えば、畳み込み層や全結合層など）を数十層積み重ねたネットワークであり、代表的なネットワークアーキテクチャとして、ＶＧＧ１６，ＶＧＧ１９，ＲｅｓＮｅｔ−５０などがある。また、軽量なニューラルネットワークは、例えば、ニューラルネットワークの各層（例えば、畳み込み層や全結合層など）を単純に数層積み重ねたネットワークである。

すなわち、複数のモーダル情報を用いることで、軽量なニューラルネットワーク構成の組合せのみで、１つのモダリティ情報のみを利用する重量なニューラルネットワーク構成と同程度もしくはそれ以上の分類精度を実現している。また、複数のモーダル情報を用いることで、軽量なニューラルネットワーク構成の組合せのみで、１つのモダリティ情報のみを利用する重量なニューラルネットワーク構成と比較して、高速・省メモリ・学習容易性を実現している。

本明細書には、少なくとも、下記の各項における判定装置、判定方法、及びプログラムが開示されている。
（第１項）
音声データから音声特徴量を抽出する音声特徴抽出部と、
映像データから映像特徴量を抽出する映像特徴抽出部と、
センサデータからセンサ特徴量を抽出するセンサ特徴抽出部と、
前記音声特徴量、前記映像特徴量、及び前記センサ特徴量に基づいて、所定の事象の有無を判定する判定部と
を備える判定装置。
（第２項）
前記判定部は、
前記音声特徴量、前記映像特徴量、及び前記センサ特徴量のうちの２つの特徴量を結合する第１特徴結合部と、
前記第１特徴結合部により結合された特徴量から時系列特徴量を抽出する時系列特徴抽出部と、
前記時系列特徴抽出部から出力された時系列特徴量と、前記音声特徴量、前記映像特徴量、及び前記センサ特徴量のうちの前記２つの特徴量以外の特徴量とを結合する第２特徴結合部と、
前記第２特徴結合部により結合された特徴量から、判定結果となる特徴量を抽出する特徴抽出部と
を備える第１項に記載の判定装置。
（第３項）
前記判定部は、
前記音声特徴量、前記映像特徴量、及び前記センサ特徴量を結合する結合部と、
前記結合部により結合された特徴量から、判定結果となる時系列特徴量を抽出する時系列特徴抽出部と
を備える第１項に記載の判定装置。
（第４項）
判定装置が実行する判定方法であって、
音声データから音声特徴量を抽出する音声特徴抽出ステップと、
映像データから映像特徴量を抽出する映像特徴抽出ステップと、
センサデータからセンサ特徴量を抽出するセンサ特徴抽出ステップと、
前記音声特徴量、前記映像特徴量、及び前記センサ特徴量に基づいて、所定の事象の有無を判定する判定ステップと
を備える判定方法。
（第５項）
コンピュータを、第１項ないし第３項のうちいずれか１項に記載の判定装置における各部として機能させるためのプログラム。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００、２００ 判定装置
１０１、２０１ 音声前処理部
１０２、２０２ 映像前処理部
１０３、２０３ センサ前処理部
１０４、２０４ 音声特徴量抽出ネットワーク部
１０５、２０５ 像特徴量抽出ネットワーク部
１０６、２０６ センサ特徴量抽出ネットワーク部
１０７、２０７ 音声特徴圧縮部
１０８、２０８ 映像特徴圧縮部
１０９、２０９ センサ特徴圧縮部
１１１、２１１ 時系列特徴モデリング部
１１２、２１０ 映像／センサ／音声特徴結合部
１１４、２１２ 出力部
１０００ ドライブ装置
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置

Claims (3)

1. 音声データから音声特徴量を抽出する音声特徴抽出部と、
   映像データから映像特徴量を抽出する映像特徴抽出部と、
   センサデータからセンサ特徴量を抽出するセンサ特徴抽出部と、
   前記音声特徴量、前記映像特徴量、及び前記センサ特徴量に基づいて、所定の事象の有無を判定する判定部とを備える判定装置であって、
   前記判定部は、
   前記音声特徴量、前記映像特徴量、及び前記センサ特徴量のうちの２つの特徴量を結合する第１特徴結合部と、
   前記第１特徴結合部により結合された特徴量から、ある時刻のデータがそれ以前の時刻のデータの影響を受けているような時系列データの特徴量である時系列特徴量を抽出する時系列特徴抽出部と、
   前記時系列特徴抽出部から出力された時系列特徴量と、前記音声特徴量、前記映像特徴量、及び前記センサ特徴量のうちの前記２つの特徴量以外の特徴量とを結合する第２特徴結合部と、
   前記第２特徴結合部により結合された特徴量から、判定結果となる特徴量を抽出する特徴抽出部と
   を備える判定装置。
2. 判定装置が実行する判定方法であって、
   音声データから音声特徴量を抽出する音声特徴抽出ステップと、
   映像データから映像特徴量を抽出する映像特徴抽出ステップと、
   センサデータからセンサ特徴量を抽出するセンサ特徴抽出ステップと、
   前記音声特徴量、前記映像特徴量、及び前記センサ特徴量に基づいて、所定の事象の有無を判定する判定ステップとを備え、
   前記判定ステップは、
   前記音声特徴量、前記映像特徴量、及び前記センサ特徴量のうちの２つの特徴量を結合する第１特徴結合ステップと、
   前記第１特徴結合ステップにより結合された特徴量から、ある時刻のデータがそれ以前の時刻のデータの影響を受けているような時系列データの特徴量である時系列特徴量を抽出する時系列特徴抽出ステップと、
   前記時系列特徴抽出ステップにより得られた時系列特徴量と、前記音声特徴量、前記映像特徴量、及び前記センサ特徴量のうちの前記２つの特徴量以外の特徴量とを結合する第２特徴結合ステップと、
   前記第２特徴結合ステップにより結合された特徴量から、判定結果となる特徴量を抽出する特徴抽出ステップと
   を備える判定方法。
3. コンピュータを、請求項１に記載の判定装置における各部として機能させるためのプログラム。

Images