JP6857547B2

JP6857547B2 - 移動状況認識モデル学習装置、移動状況認識装置、方法、及びプログラム

Info

Publication number: JP6857547B2
Application number: JP2017103358A
Authority: JP
Inventors: 山本　修平; 修平山本; 浩之戸田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2017-05-25
Filing date: 2017-05-25
Publication date: 2021-04-14
Anticipated expiration: 2037-05-25
Also published as: JP2018198028A

Description

本発明は、移動状況認識モデル学習装置、移動状況認識装置、方法、及びプログラムに係り、特に、ユーザが取得した映像やセンサデータから、ユーザの移動状況を自動認識するための移動状況認識モデル学習装置、移動状況認識装置、方法、及びプログラムに関する。

映像撮影デバイスの小型化や、ＧＰＳやジャイロセンサなどの省電力化に伴い、ユーザの行動を、映像、位置情報や加速度などの多様なデータとして容易に記録できるようになった。これらのデータからユーザの行動を詳細に分析することは、様々な用途に役立つ。例えば、グラスウエア等を通じて取得された一人称視点の映像と、ウェアラブルセンサで取得された加速度データ等を利用して、ウインドウショッピングしている状況や、横断歩道を渡っている状況等を自動認識し分析できれば、サービスのパーソナライズ化等様々な用途で役立てられる。

従来、センサ情報からユーザの移動状況を自動認識する技術として、ＧＰＳの位置情報や速度情報からユーザの移動手段を推定する技術が存在する（非特許文献1）。また、スマートフォンから取得される加速度等の情報を用いて、徒歩やジョギング、階段の昇降等を分析する技術の開発も取組まれてきた（非特許文献2）。

Zheng, Y., Liu, L., Wang, L., and Xie, X.: Learning transportation mode from raw GPS data for geographic applications on the web. In Proc. of World Wide Web 2008, pp. 247-256, 2008. Jennifer R. Kwapisz, Gary M. Weiss, Samuel A. Moore: Activity Recognition using Cell Phone Accelerometers, Proc. of SensorKDD 2010.

ところが、上記従来の方法はセンサ情報のみを利用しているため、映像情報を考慮したユーザの移動状況認識を行うことができなかった。例えば、ウェアラブルセンサのデータから、ユーザの移動状況を把握しようとした場合、歩いていることは理解したとしても、ウインドウショッピングしている状況か、横断歩道を渡っている状況のように詳細なユーザの状況をセンサデータのみから自動認識することは困難である。一方で、映像データとセンサデータの入力を組み合わせて、機械学習技術の一つであるＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）などの単純な分類モデルを用いても、映像データとセンサデータの情報の抽象度合が異なることが原因で、高精度な移動状況認識が困難であった。また、ＳＶＭに限らず多くの機械学習技術は高精度な分類モデルの構築に、大量の訓練データを要する。移動状況認識のための訓練データを準備するには、映像データとセンサデータの組み合わせに対して、適切な移動状況（訓練ラベル）を人手で付与するアノテーション作業が必要である。大量の映像データとセンサデータの組み合わせに、ユーザがアノテーション作業をすることは困難である。

本発明は、上記事情を鑑みて成されたものであり、映像データとセンサデータの双方から、効率的に情報を抽出し組み合わせ、かつ少量の訓練データで、高精度な移動状況認識を実現することができる移動状況認識モデル学習装置、方法、及びプログラムを提供することを目的とする。

また、映像データとセンサデータの双方から、移動状況を高精度に認識することができる移動状況認識装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る移動状況認識モデル学習装置は、移動体に搭載されたカメラの画像データの時系列及び前記移動体に搭載されたセンサのセンサデータの時系列を入力とし、画像データの各々の特徴及びセンサデータの各々の特徴を抽出し、画像データの各々の特徴及びセンサデータの各々の特徴を抽象化したデータから、前記移動体の移動状況を認識するためのＤＮＮ（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ）モデルであって、更に、前記画像データの各々の特徴及び前記センサデータの各々の特徴を抽象化したデータから、復号画像データの時系列及び復号センサデータの時系列を復号するＤＮＮモデルを構築する移動状況認識半教師ありＤＮＮモデル構築部と、前記画像データの時系列及び前記センサデータの時系列に基づいて、前記画像データの時系列及び前記センサデータの時系列を入力したときに前記ＤＮＮモデルから出力される、前記復号画像データの時系列及び前記復号センサデータの時系列と、前記画像データの時系列及び前記センサデータの時系列とが一致するように、前記ＤＮＮモデルのパラメータを学習する移動状況認識ＤＮＮモデル教師なし学習部と、前記学習された前記ＤＮＮモデルのパラメータと、前記画像データの時系列及び前記センサデータの時系列と、前記画像データの時系列及び前記センサデータの時系列に対して予め付与された移動状況を示すアノテーションとに基づいて、前記画像データの時系列及び前記センサデータの時系列を入力したときに前記ＤＮＮモデルにより認識される移動状況が、前記アノテーションが示す移動状況と一致するように、前記ＤＮＮモデルのパラメータを学習する移動状況認識ＤＮＮ教師あり学習部と、を含んで構成されている。

また、本発明に係る移動状況認識モデル学習方法は、移動状況認識半教師ありＤＮＮモデル構築部が、移動体に搭載されたカメラの画像データの時系列及び前記移動体に搭載されたセンサのセンサデータの時系列を入力とし、画像データの各々の特徴及びセンサデータの各々の特徴を抽出し、画像データの各々の特徴及びセンサデータの各々の特徴を抽象化したデータから、前記移動体の移動状況を認識するためのＤＮＮ（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ）モデルであって、更に、前記画像データの各々の特徴及び前記センサデータの各々の特徴を抽象化したデータから、復号画像データの時系列及び復号センサデータの時系列を復号するＤＮＮモデルを構築し、移動状況認識ＤＮＮモデル教師なし学習部が、前記画像データの時系列及び前記センサデータの時系列に基づいて、前記画像データの時系列及び前記センサデータの時系列を入力したときに前記ＤＮＮモデルから出力される、前記復号画像データの時系列及び前記復号センサデータの時系列と、前記画像データの時系列及び前記センサデータの時系列とが一致するように、前記ＤＮＮモデルのパラメータを学習し、移動状況認識ＤＮＮ教師あり学習部が、前記学習された前記ＤＮＮモデルのパラメータと、前記画像データの時系列及び前記センサデータの時系列と、前記画像データの時系列及び前記センサデータの時系列に対して予め付与された移動状況を示すアノテーションとに基づいて、前記画像データの時系列及び前記センサデータの時系列を入力したときに前記ＤＮＮモデルにより認識される移動状況が、前記アノテーションが示す移動状況と一致するように、前記ＤＮＮモデルのパラメータを学習する。

また、本発明に係る移動状況認識装置は、認識対象の移動体についての画像データの時系列及びセンサデータの時系列を、上記の移動状況認識モデル学習装置によって学習された前記ＤＮＮモデルに入力して、前記移動体の移動状況を認識する移動状況認識部を含んで構成されている。

本発明に係る移動状況認識方法は、移動状況認識部が、認識対象の移動体についての画像データの時系列及びセンサデータの時系列を、上記の移動状況認識モデル学習方法によって学習された前記ＤＮＮモデルに入力して、前記移動体の移動状況を認識する。

本発明に係るプログラムは、コンピュータを、上記の移動状況認識モデル学習装置、又は上記の移動状況認識装置の各部として機能させるためのプログラムである。

本発明の移動状況認識モデル学習装置、方法、及びプログラムによれば、画像データの各々の特徴及びセンサデータの各々の特徴を抽象化したデータから、前記移動体の移動状況を認識するためのＤＮＮモデルであって、更に、前記画像データの各々の特徴及び前記センサデータの各々の特徴を抽象化したデータから、復号画像データの時系列及び復号センサデータの時系列を復号するＤＮＮモデルを構築し、前記画像データの時系列及び前記センサデータの時系列を入力したときに前記ＤＮＮモデルから出力される、前記復号画像データの時系列及び前記復号センサデータの時系列と、前記画像データの時系列及び前記センサデータの時系列とが一致するように、前記ＤＮＮモデルのパラメータを学習し、前記画像データの時系列及び前記センサデータの時系列を入力したときに前記ＤＮＮモデルにより認識される移動状況が、前記アノテーションが示す移動状況と一致するように、前記ＤＮＮモデルのパラメータを学習することにより、画像データの時系列とセンサデータの時系列の双方から、効率的に情報を抽出し組み合わせ、かつ少量の訓練データで、高精度な移動状況認識を実現することができる、という効果が得られる。

また、本発明の移動状況認識装置、方法、及びプログラムによれば、画像データの時系列とセンサデータの時系列の双方から、効率的に情報を抽出し組み合わせ、かつ高精度な移動状況認識を実現することができる、という効果が得られる。

本発明の実施の形態に係る移動状況認識モデル学習装置の構成を示すブロック図である。本発明の実施の形態に係る移動状況認識モデル学習装置の処理の流れを示すフローチャートである。映像データＤＢの記憶形式の一例を示す図である。センサデータＤＢの記憶形式の一例を示す図である。アノテーションＤＢの記憶形式の一例を示す図である。本発明の実施の形態に係る移動状況認識モデル学習装置の映像データ前処理部の処理の流れを示すフローチャートである。映像データ前処理部が映像データから生成した画像データの時系列の一例を示す図である。本発明の実施の形態に係る移動状況認識モデル学習装置のセンサデータ前処理部の処理の流れを示すフローチャートである。ＤＮＮモデルのネットワーク構造の一例を示す図である。本発明の実施の形態に係る移動状況認識モデル学習装置の移動状況認識ＤＮＮモデル教師なし学習部の処理の流れを示すフローチャートである。本発明の実施の形態に係る移動状況認識モデル学習装置の移動状況認識ＤＮＮモデル教師あり学習部の処理の流れを示すフローチャートである。移動状況認識ＤＮＮモデルＤＢの記憶形式の一例を示す図である。本発明の実施の形態に係る移動状況認識装置の構成を示すブロック図である。本発明の実施の形態に係る移動状況認識装置の処理の流れを示すフローチャートである。本発明の実施の形態に係る移動状況認識装置の移動状況認識部の処理の流れを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明の実施の形態では、学習フェーズに相当する移動状況認識モデル学習装置と認識フェーズに相当する移動状況認識装置とに本発明を適用した場合を例に説明する。

＜本発明の実施の形態に係る移動状況認識モデル学習装置の構成＞
まず、本発明の実施の形態に係る移動状況認識モデル学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る移動状況認識モデル学習装置１０は、入力部２０と、演算部３０と、出力部５０とを備えている。

演算部３０は、映像データＤＢ３２と、センサデータＤＢ３４と、映像データ前処理部３６と、センサデータ前処理部３８と、アノテーションＤＢ４０と、移動状況認識半教師ありＤＮＮモデル構築部４２と、移動状況認識ＤＮＮモデル教師なし学習部４４と、移動状況認識ＤＮＮモデル教師あり学習部４６と、移動状況認識ＤＮＮモデルＤＢ４８とを備えており、各々のＤＢの情報を利用して移動状況認識のためのＤＮＮモデルを出力部５０により出力する。ここで映像データＤＢ３２とセンサデータＤＢ３４は、データＩＤで関連する映像データとセンサデータの時系列の対応付けがとれるように予め構築されているとする。映像データＤＢ３２とセンサデータＤＢ３４の構築処理については、例えば、入力部２０が、システム運用者によって入力された映像データとセンサデータの時系列のペアを受け付け、それらペアを一意に特定するＩＤをデータＩＤとして入力された映像データ及びセンサデータの時系列に付与し、それぞれ映像データＤＢ３２、センサデータＤＢ３４に格納するようにすればよい。また、アノテーションＤＢ４０には、各データＩＤに対するアノテーション名が格納されている。ここでアノテーションとは、例えばグラスウェアで取得された一人称視点の映像データに対する移動状況を説明したものが想定され、ウインドウショッピングや横断歩道横断中等が該当する。アノテーションＤＢ４０の構築処理についても、映像データＤＢ３２とセンサデータＤＢ３４の構築処理と同様、例えば、入力部２０が、システム運用者によって入力された各データＩＤに対するアノテーションを受け付け、その入力結果をＤＢに格納するようにすればよい。

本発明の実施の形態では、図１に示す構成要素の動作をプログラムとして構築し、移動状況認識モデル学習装置として利用されるコンピュータにインストールして実行させる。

映像データ前処理部３６は、映像データＤＢ３２に格納されている映像データが表わす画像データの時系列に対して、サンプリング及び正規化を行う。

センサデータ前処理部３８は、センサデータＤＢ３４に格納されているセンサデータの時系列に対して、正規化及び特徴ベクトル化を行う。

移動状況認識半教師ありＤＮＮモデル構築部４２は、画像データの時系列及びセンサデータの時系列を入力とし、画像データの各々の特徴及びセンサデータの各々の特徴を抽出し、画像データの各々の特徴及びセンサデータの各々の特徴を抽象化したデータから、移動状況を認識するためのＤＮＮモデルであって、更に、画像データの各々の特徴及びセンサデータの各々の特徴を抽象化したデータから、復号画像データの時系列及び復号センサデータの時系列を復号するＤＮＮモデルを構築する。

移動状況認識ＤＮＮモデル教師なし学習部４４は、映像データ前処理部３６の処理結果である画像データの時系列、及びセンサデータ前処理部３８の処理結果であるセンサデータの時系列に基づいて、画像データの時系列及びセンサデータの時系列を入力したときにモデルから出力される、復号画像データの時系列及び復号センサデータの時系列と、画像データの時系列及びセンサデータの時系列とが一致するように、ＤＮＮモデルのパラメータを学習する。

移動状況認識ＤＮＮ教師あり学習部４６は、移動状況認識ＤＮＮモデル教師なし学習部４４により学習されたモデルのパラメータと、映像データ前処理部３６の処理結果である画像データの時系列と、センサデータ前処理部３８の処理結果であるセンサデータの時系列と、画像データの時系列及びセンサデータの時系列に対して予め付与された移動状況を示すアノテーションとに基づいて、画像データの時系列及びセンサデータの時系列を入力したときにＤＮＮモデルにより認識される移動状況が、アノテーションが示す移動状況と一致すると共に、画像データの時系列及びセンサデータの時系列を入力したときにモデルから出力される、復号画像データの時系列及び復号センサデータの時系列と、画像データの時系列及びセンサデータの時系列とが一致するように、ＤＮＮモデルのパラメータを学習する。学習されたＤＮＮモデルのパラメータを、移動状況認識ＤＮＮモデルＤＢ４８に格納する。

＜本発明の実施の形態に係る移動状況認識モデル学習装置の作用＞
図２は、本発明の一実施の形態における移動状況認識モデル学習装置１０により実行されるモデル学習処理ルーチンのフローチャートである。以下、具体的に説明する。

＜モデル学習処理ルーチン＞
ステップＳ１００では、映像データ前処理部３６は、映像データＤＢ３２からデータを受け取り処理する。処理の詳細は後述する。図３に映像データＤＢ３２のデータの記憶形式の例を示す。映像データはＭｐｅｇ4形式などで圧縮されたファイルで格納されており、それぞれ前述のとおりセンサデータと紐付けるためのデータＩＤと紐付いている。また、映像データは、移動体の一例であるユーザに装着されたグラスウェア等を通じて取得された一人称視点の映像データである。

ステップＳ１１０では、センサデータ前処理部３８がセンサデータＤＢ３４からデータを受け取り処理する。処理の詳細は後述する。図４にセンサデータＤＢ３４のデータの記憶形式の例を示す。センサデータは日時、緯度経度、Ｘ軸加速度やＹ軸加速度などの要素を持つ。各センサデータは固有の系列ＩＤを保有する。更に前述のとおり映像データと紐付けるためのデータＩＤを保有する。各センサデータは、ユーザに装着されたウェアラブルセンサで取得されたデータである。

ステップＳ１２０では、移動状況認識半教師ありＤＮＮモデル構築部４２がＤＮＮモデルを構築する。処理の詳細は後述する。

ステップＳ１３０では、移動状況認識ＤＮＮモデル教師なし学習部４４が映像データ前処理部３６から処理済みの映像データ、センサデータ前処理部３８から処理済みのセンサデータ、及び移動状況認識半教師ありＤＮＮモデル構築部４２からＤＮＮモデルを受け取り、ＤＮＮモデルのパラメータを学習し、移動状況認識ＤＮＮモデルＤＢ４８に出力する。

ステップＳ１４０では、移動状況認識ＤＮＮモデル教師あり学習部４６が映像データ前処理部３６から処理済みの映像データ、センサデータ前処理部３８から処理済みのセンサデータ、移動状況認識半教師ありＤＮＮモデル構築部４２からＤＮＮモデル、アノテーションＤＢ４０からアノテーションデータ、及び移動状況認識モデルＤＢ４８からＤＮＮモデルのパラメータを受け取り、ＤＮＮモデルのパラメータを学習し、移動状況認識ＤＮＮモデルＤＢ４８に出力する。図５にアノテーションＤＢ４０の記憶形式の例を示す。

図６は、上記ステップＳ１００を実現するための、映像データ前処理部３６により実行されるサブルーチンを示すフローチャートである。以下、具体的に説明する。

ステップＳ２００では、映像データＤＢ３２から、映像データを受け取る。

ステップＳ２１０では、各映像データを縦×横×３チャネルの画素値で表現された画像データの時系列に変換する。例えば縦のサイズを１００画素、横のサイズを２００画素のように決定する。図７に映像データから生成した画像データの時系列の例を示す。各画像データは元の画像データと対応づくデータＩＤ、各フレームの番号、タイムスタンプの情報を保持している。

ステップＳ２２０では、冗長なデータを削減するために、画像データの時系列から、一定フレーム間隔でNフレームサンプリングする。

ステップＳ２３０では、画像データをＤＮＮモデルが扱いやすくするために、サンプリングされた各フレームにおける画像データの各画素値を正規化する。例えば、各々の画素値の範囲が０‐１になるように、画素の取りうる最大値で各画素値を除算する。

ステップＳ２４０では、画像データの時系列として表現された映像データ、及び対応するタイムスタンプの情報を、移動状況認識ＤＮＮモデル教師なし学習部４４、および移動状況認識ＤＮＮモデル教師あり学習部４６に受け渡す。

図８は、上記ステップＳ１１０を実現するための、センサデータ前処理部３８により実行されるサブルーチンを示すフローチャートである。

ステップＳ３００では、センサデータＤＢ３４から、センサデータを受け取る。

ステップＳ３１０では、センサデータをＤＮＮモデルが扱いやすくするために各センサデータにおける加速度等の値を正規化する。例えば、全センサデータの平均値が0、標準偏差が1になるように標準化する。

ステップＳ３２０では、各センサデータに対して正規化された各々の値を結合し特徴ベクトルを生成する。

ステップＳ３３０では、センサの特徴ベクトル、及び対応する日時の情報を、移動状況認識ＤＮＮモデル教師なし学習部４４、および移動状況認識ＤＮＮモデル教師あり学習部４６に受け渡す。

図９は、本発明の一実施の形態における、移動状況認識半教師ありＤＮＮモデル構築部４２によって構築されるＤＮＮモデルのネットワーク構造の一例である。入力として、映像データにおける各フレームの画像データを表す行列、及び対応するセンサデータベクトルを受け取り、出力として各移動状況の確率を獲得する。ＤＮＮモデルのネットワーク構造は以下のユニットから構成される。

一つ目のユニットは画像データを表す行列から特徴を抽出する畳み込み層である。ここでは、例えば画像を３×３のフィルタで畳み込んだり、特定矩形内の最大値を抽出（最大プーリング）したりする。畳み込み層にはＡｌｅｘＮｅｔ（非特許文献３参照）等公知のネットワーク構造や事前学習済みパラメータを利用することも可能である。

二つ目のユニットは畳み込み層から得られる特徴を更に抽象化する、全結合層Ａである。ここでは、例えばシグモイド関数などを利用して、入力の特徴量を非線形変換する。

三つ目のユニットはセンサデータベクトルを画像特徴と同等レベルに抽象化する、全結合層Ｂである。ここでは、全結合層Ａと同様に、入力を非線形変換する。

四つ目のユニットは二つの抽象化された特徴を更に系列データとして抽象化する、Ｌｏｎｇ−ｓｈｏｒｔ−ｔｅｒｍ−ｍｅｍｏｒｙ（ＬＳＴＭ）である。具体的には、系列データを順次受け取り、過去の抽象化された情報を循環させながら、繰り返し非線形変換する。ＬＳＴＭには忘却ゲートが搭載された公知のネットワーク構造（非特許文献4）を利用することもできる。

五つ目のユニットは抽象化された系列特徴を、対象とする移動状況の種類数の次元のベクトルに落とし込み、各移動状況に対する確率を表すベクトルを計算する、全結合層Ｃである。ここでは、ソフトマックス関数などを利用して入力の特徴量の全要素の総和が1になるように非線形変換する。

六つ目のユニットは、ＬＳＴＭによって系列データとして抽象化された特徴を全結合層Ａに入力される特徴と同等レベルに復号化する全結合層Ｄである。ここでは、全結合層Ａと同様に、入力を非線形変換する。

七つ目のユニットは全結合層Ｄから得られる復号化された特徴量を、入力した画像データを表す行列と同等レベルに復号化する逆畳み込み層である。ここでは、例えば３×３の特徴行列を大きな行列サイズに拡大してから畳み込んだり、特徴行列中のある特徴量をＮ×Ｎの矩形に複写（逆プーリング）したりする。

八つ目のユニットは、ＬＳＴＭによって系列データとして抽象化された特徴を全結合層Ｂに入力されるセンサデータと同等レベルに復号化する全結合層Eである。ここでは、全結合層Ａと同様に、入力を非線形変換する。

九つ目は確率ベクトルの各要素と移動状況を対応付ける、出力層である。例えば確率ベクトルの1番目を、ウインドウショッピング、2番目を横断歩道横断等と対応付ける。

［非特許文献3］Krizhevsky, A., Sutskever, I. and Hinton, G. E.: ImageNet Classification with Deep Convolutional Neural Networks, pp.1106-1114, 2012.

［非特許文献4］Felix A. Gers, Nicol N. Schraudolph, and Jurgen Schmidhuber: Learning precise timing with ＬＳＴＭ recurrent networks. Journal of Machine Learning Research, vol. 3, pp.115-143, 2002.

図１０は、上記ステップＳ１３０を実現するための、移動状況認識ＤＮＮモデル教師なし学習部４４により実行されるサブルーチンを示すフローチャートである。具体的には下記の処理を行う。

ステップＳ４００では、受け取った映像データのタイムスタンプとセンサデータの日時情報を基に、映像データとセンサデータとを対応付ける。

ステップＳ４１０では、移動状況認識半教師ありＤＮＮモデル構築部４２から図９に示すようなネットワーク構造であるＤＮＮモデルを受け取る。

ステップＳ４２０では、ＤＮＮモデルが表すネットワーク構造における各ユニットのモデルパラメータを初期化する。例えば０から１の乱数で初期化する。

ステップＳ４３０では、映像データ及びセンサデータを用いてＤＮＮモデルのモデルパラメータを計算する。具体的には、入力のデータと、入力のデータに対して得られる出力の復号画像データ行列と復号センサデータベクトルの平均二乗誤差が最小になるように、バックプロパゲーションなど公知の技術を利用して、ＤＮＮモデルのモデルパラメータを最適化する。

ステップＳ４４０では、ＤＮＮモデル（ネットワーク構造およびモデルパラメータ）を出力し、出力された結果を移動状況認識ＤＮＮモデルＤＢ４８に格納する。図１２にモデルパラメータの例を示す。各層において行列やベクトルとしてパラメータが格納されている。

図１１は、上記ステップＳ１４０を実現するための、移動状況認識ＤＮＮモデル教師あり学習部４６により実行されるサブルーチンを示すフローチャートである。具体的には下記の処理を行う。

ステップＳ５００では、ステップＳ４００と同様に、受け取った映像データのタイムスタンプとセンサデータの日時情報を基に、映像データとセンサデータとを対応付ける。

ステップＳ５１０では、ステップＳ４１０と同様に、移動状況認識半教師ありＤＮＮモデル構築部４２から図９に示すようなネットワーク構造であるＤＮＮモデルを受け取る。

ステップＳ５２０では、移動状況認識ＤＮＮモデルＤＢ４８からモデルパラメータを受け取り、ＤＮＮモデルのパラメータとする。

ステップＳ５３０では、映像データ及びセンサデータ、対応するアノテーションデータを用いてモデルパラメータを計算する。具体的には、入力のデータに対して得られる出力の復号画像データ行列と復号センサデータベクトルの平均二乗誤差が最小になるように、また、出力の確率ベクトルとアノテーションから得られるバイナリベクトルとのクロスエントロピー誤差が最小になるように、バックプロパゲーションなど公知の技術を利用して、モデルパラメータを最適化する。

ステップＳ５４０では、移動状況認識ＤＮＮモデル（ネットワーク構造およびモデルパラメータ）を出力し、出力された結果を移動状況認識ＤＮＮモデルＤＢ４８に格納する。図１２にモデルパラメータの例を示す。各層において行列やベクトルとしてパラメータが格納されている。また、出力層に対しては、確率ベクトルの各要素番号と対応する移動状況のテキストが格納されている。

＜本発明の実施の形態に係る移動状況認識装置の構成＞
次に、本発明の実施の形態に係る移動状況認識装置の構成について説明する。図１３に示すように、本発明の実施の形態に係る移動状況認識装置１００は、入力部１２０と、演算部１３０と、出力部１５０とを備えている。

入力部１２０は、認識対象のユーザについての映像データとセンサデータの時系列とのペアを受け付ける。

演算部１３０は、映像データ前処理部１３６と、センサデータ前処理部１３８と、移動状況認識部１４０と、移動状況認識ＤＮＮモデルＤＢ１４８と、を備えており、入力部１２０により受け付けた映像データとセンサデータに対する認識結果を出力部１５０により出力する。

本発明の実施の形態では、図１３に示す構成要素の動作をプログラムとして構築し、移動状況認識装置として利用されるコンピュータにインストールして実行させる。

移動状況認識ＤＮＮモデルＤＢ１４８には、移動状況認識ＤＮＮモデルＤＢ４８と同じＤＮＮモデルのモデルパラメータが格納されている。

映像データ前処理部１３６は、入力部１２０により受け付けた映像データが表わす画像データの時系列に対して、映像データ前処理部３６と同様に、サンプリング及び正規化を行う。

センサデータ前処理部１３８は、入力部１２０により受け付けたセンサデータの時系列に対して、センサデータ前処理部３８と同様に、正規化及び特徴ベクトル化を行う。

移動状況認識部１４０は、映像データ前処理部１３６の処理結果である画像データの時系列、センサデータ前処理部１３８の処理結果であるセンサデータの時系列、及び移動状況認識ＤＮＮモデルＤＢ１４８に格納されているモデルパラメータに基づいて、画像データの時系列及びセンサデータの時系列をＤＮＮモデルに入力して、認識対象のユーザの移動状況を認識する。

＜本発明の実施の形態に係る移動状況認識装置の作用＞
図１４は、本発明の一実施の形態における移動状況認識装置１００により実行される移動状況認識処理ルーチンのフローチャートである。以下、具体的に説明する。

＜移動状況認識処理ルーチン＞
まず、移動状況認識モデル学習装置１０により出力されたＤＮＮモデル（ネットワーク構造及びモデルパラメータ）が移動状況認識装置１００に入力されると、移動状況認識装置１００によって、入力されたＤＮＮモデルが、移動状況認識ＤＮＮモデルＤＢ１４８へ格納される。そして、移動状況認識装置１００は、映像データとセンサデータの時系列とのペアが入力されると、以下の各処理を実行する。

ステップＳ１５０では、映像データ前処理部１３６が入力として映像データを受け取り処理する。ステップＳ１５０は、図６のフローチャートと同様のフローチャートで実現される。

ステップＳ１６０では、センサデータ前処理部１３８が入力としてセンサデータを受け取り処理する。図８のフローチャートと同様のフローチャートで実現される。

ステップＳ１７０では、移動状況認識部１４０が映像データ前処理部１３６から処理済み映像データ、センサデータ前処理部１３８から処理済みのセンサデータ、移動状況認識ＤＮＮモデルＤＢ１４８から学習済みのＤＮＮモデルを受け取り、移動状況認識結果を計算し、出力部１５０により出力する。

図１５は、上記ステップＳ１７０を実現するための、移動状況認識部１４０により実行されるサブルーチンを示すフローチャートである。以下、具体的に説明する。

ステップＳ６００では、入力データを前処理した映像データおよびセンサデータの時系列を映像データ前処理部１３６及びセンサデータ前処理部１３８から受け取る。

ステップＳ６１０では、移動状況認識ＤＮＮモデルＤＢ１４８から学習済みのＤＮＮモデル（ネットワーク構造及びモデルパラメータ）を受け取る。

ステップＳ６２０では、ＤＮＮモデルを用いて映像データ及びセンサデータの時系列から各移動状況に対する確率を計算する。

ステップＳ６３０では、確率の最も高い移動状況を、移動状況認識結果として出力部１５０により出力する。

以上説明したように、本発明の実施の形態に係る移動状況認識モデル学習装置によれば、画像データの各々の特徴及びセンサデータの各々の特徴を抽象化したデータから、ユーザの移動状況を認識するためのＤＮＮモデルであって、更に、画像データの各々の特徴及びセンサデータの各々の特徴を抽象化したデータから、復号画像データの時系列及び復号センサデータの時系列を復号するＤＮＮモデルを構築し、画像データの時系列及びセンサデータの時系列を入力したときにＤＮＮモデルから出力される、復号画像データの時系列及び復号センサデータの時系列と、画像データの時系列及びセンサデータの時系列とが一致するように、ＤＮＮモデルのパラメータを学習し、画像データの時系列及びセンサデータの時系列を入力したときにＤＮＮモデルにより認識される移動状況が、アノテーションが示す移動状況と一致するように、ＤＮＮモデルのパラメータを学習することにより、映像データとセンサデータの双方から、効率的に情報を抽出し組み合わせ、かつ少量の訓練データで、高精度な移動状況認識を実現することができる。

また、センサデータに加え映像データを利用したＤＮＮモデルを構築して学習し、得られたＤＮＮモデルを移動状況認識に利用することで、従来認識できなかったユーザの移動状況を認識可能になる。

また、ユーザの状況認識のために効果的な画像特徴を扱える畳み込み層、適切な抽象度で特徴を抽象化できる全結合層、系列データを効率的に抽象化できるＬＳＴＭを備えた、移動状況認識のためのＤＮＮモデルによって、高精度にユーザの移動状況を認識可能になる。

また、アノテーションデータのないセンサデータと映像データを用いて、移動状況認識のためのＤＮＮモデルのモデルパラメータを事前学習することによって、少量の学習データでも高精度にユーザの移動状況を認識可能になる。

また、映像データ前処理部が、サンプリングや正規化等、映像データを前処理することにより、ＤＮＮモデルが扱いやすくなるように前処理することができる。また、センサデータ前処理部が、正規化、特徴ベクトル化等、センサデータを前処理することにより、ＤＮＮモデルが扱いやすくなるように前処理することができる。

また、本発明の実施の形態に係る移動状況認識装置によれば、移動状況認識モデル学習装置によって学習されたＤＮＮモデルを用いることにより、映像データとセンサデータの双方から、移動状況を高精度に認識する効率的に情報を抽出し組み合わせ、かつ高精度な移動状況認識を実現することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、移動状況認識モデル学習装置と移動状況認識装置とを別々の装置で構成する場合を例に説明したが、これに限定されるものではなく、移動状況認識モデル学習装置と移動状況認識装置とを１つの装置で構成するようにしてもよい。

また、ユーザの移動状況を認識する場合を例に説明したが、これに限定されるものではなく、ユーザ以外の移動体の移動状況を認識するようにしてもよい。

また、上述の移動状況認識モデル学習装置及び移動状況認識装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、ハードディスクやフレキシブルディスク、CD-ROM等の可搬記憶媒体に格納して提供することも可能である。また、当該プログラムを、ネットワークを介して流通させることも可能である。

１０移動状況認識モデル学習装置
２０、１２０入力部
３０、１３０演算部
３６、１３６映像データ前処理部
３８、１３８センサデータ前処理部
４２移動状況認識半教師ありＤＮＮモデル構築部
４４移動状況認識ＤＮＮモデル教師なし学習部
４６移動状況認識ＤＮＮモデル教師あり学習部
５０、１５０出力部
１００移動状況認識装置
１４０移動状況認識部
１５０出力部

Claims

移動体に搭載されたカメラの画像データの時系列及び前記移動体に搭載されたセンサのセンサデータの時系列を入力とし、サンプリングしたフレーム毎に、前記フレームの画像の特徴と、前記フレームと対応するセンサデータの特徴とを抽出し、前記フレームの画像の特徴と、前記フレームと対応するセンサデータの特徴とを抽象化した特徴を、系列データとして抽象化し、前記系列データとして抽出化した特徴から、前記移動体の移動状況を認識するためのＤＮＮ（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ）モデルであって、更に、前記系列データとして抽象化した特徴から、復号画像データの時系列及び復号センサデータの時系列を復号するＤＮＮモデルを構築する移動状況認識半教師ありＤＮＮモデル構築部と、
前記画像データの時系列及び前記センサデータの時系列に基づいて、前記画像データの時系列及び前記センサデータの時系列を入力したときに前記ＤＮＮモデルから出力される、前記復号画像データの時系列及び前記復号センサデータの時系列と、前記画像データの時系列及び前記センサデータの時系列とが一致するように、前記ＤＮＮモデルのパラメータを学習する移動状況認識ＤＮＮモデル教師なし学習部と、
前記学習された前記ＤＮＮモデルのパラメータと、前記画像データの時系列及び前記センサデータの時系列と、前記画像データの時系列及び前記センサデータの時系列に対して予め付与された移動状況を示すアノテーションとに基づいて、前記画像データの時系列及び前記センサデータの時系列を入力したときに前記ＤＮＮモデルにより認識される移動状況が、前記アノテーションが示す移動状況と一致するように、前記ＤＮＮモデルのパラメータを学習する移動状況認識ＤＮＮ教師あり学習部と、
を含む移動状況認識モデル学習装置。
前記画像データの時系列に対して、サンプリング及び正規化を行う映像データ前処理部と、
前記センサデータの時系列に対して、正規化及び特徴ベクトル化を行うセンサデータ前処理部とを更に含み、
前記移動状況認識ＤＮＮモデル教師なし学習部は、前記映像データ前処理部の処理結果及び前記センサデータ前処理部の処理結果を用いて、前記ＤＮＮモデルのパラメータを学習し、
前記移動状況認識ＤＮＮモデル教師あり学習部は、前記映像データ前処理部の処理結果及び前記センサデータ前処理部の処理結果を用いて、前記ＤＮＮモデルのパラメータを学習する請求項１記載の移動状況認識モデル学習装置。
認識対象の移動体についての画像データの時系列及びセンサデータの時系列を、請求項１又は２記載の移動状況認識モデル学習装置によって学習された前記ＤＮＮモデルに入力して、前記移動体の移動状況を認識する移動状況認識部
を含む移動状況認識装置。
前記画像データの時系列に対して、サンプリング及び正規化を行う映像データ前処理部と、
前記センサデータの時系列に対して、正規化及び特徴ベクトル化を行うセンサデータ前処理部とを更に含み、
前記移動状況認識部は、前記映像データ前処理部の処理結果及び前記センサデータ前処理部の処理結果を前記ＤＮＮモデルに入力して、前記移動体の移動状況を認識する請求項３記載の移動状況認識装置。
移動状況認識半教師ありＤＮＮモデル構築部が、移動体に搭載されたカメラの画像データの時系列及び前記移動体に搭載されたセンサのセンサデータの時系列を入力とし、サンプリングしたフレーム毎に、前記フレームの画像の特徴と、前記フレームと対応するセンサデータの特徴とを抽出し、前記フレームの画像の特徴と、前記フレームと対応するセンサデータの特徴とを抽象化した特徴を、系列データとして抽象化し、前記系列データとして抽出化した特徴から、前記移動体の移動状況を認識するためのＤＮＮ（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ）モデルであって、更に、前記系列データとして抽象化した特徴から、復号画像データの時系列及び復号センサデータの時系列を復号するＤＮＮモデルを構築し、
移動状況認識ＤＮＮモデル教師なし学習部が、前記画像データの時系列及び前記センサデータの時系列に基づいて、前記画像データの時系列及び前記センサデータの時系列を入力したときに前記ＤＮＮモデルから出力される、前記復号画像データの時系列及び前記復号センサデータの時系列と、前記画像データの時系列及び前記センサデータの時系列とが一致するように、前記ＤＮＮモデルのパラメータを学習し、
移動状況認識ＤＮＮ教師あり学習部が、前記学習された前記ＤＮＮモデルのパラメータと、前記画像データの時系列及び前記センサデータの時系列と、前記画像データの時系列及び前記センサデータの時系列に対して予め付与された移動状況を示すアノテーションとに基づいて、前記画像データの時系列及び前記センサデータの時系列を入力したときに前記ＤＮＮモデルにより認識される移動状況が、前記アノテーションが示す移動状況と一致するように、前記ＤＮＮモデルのパラメータを学習する
移動状況認識モデル学習方法。
移動状況認識部が、認識対象の移動体についての画像データの時系列及びセンサデータの時系列を、請求項５記載の移動状況認識モデル学習方法によって学習された前記ＤＮＮモデルに入力して、前記移動体の移動状況を認識する
移動状況認識方法。
コンピュータを、請求項１若しくは２に記載の移動状況認識モデル学習装置、又は請求項３若しくは４に記載の移動状況認識装置の各部として機能させるためのプログラム。