JP6977551B2 - 情報処理装置、情報処理方法、および、情報処理プログラム - Google Patents

Description

本発明は、機械学習で利用される情報処理技術に関する。

カメラで撮像された動画から人物の行動を認識する技術がある。行動認識の頑健性を高めるために、この技術に、機械学習を用いることが提案されている。例えば、人物の行動が写された動画と、この動画が逆再生された動画（逆再生動画）とを用いた深層学習により、行動認識をする技術が提案されている（例えば、非特許文献１）。

バーラト・シン（Ｂｈａｒａｔ Ｓｉｎｇｈ）、他４名、「きめ細かい行動検知のための、マルチストリーム双方向再帰型ニューラルネットワーク（Ａ Ｍｕｌｔｉ−Ｓｔｒｅａｍ Ｂｉ−Ｄｉｒｅｃｔｉｏｎａｌ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｆｉｎｅ−Ｇｒａｉｎｅｄ Ａｃｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ）」、［ｏｎｌｉｎｅ ］、ｐ．１−８、［平成２９年１２月１２日検索］、インターネット〈ＵＲＬ：http://www.cs.umd.edu/~bharat/cvpr2016.pdf〉

教師あり学習の場合、学習器が、データと教師データ（ラベル）とのペアが多数集められたデータセットを学習することにより、学習モデルを構築する。教師あり学習の精度を高めるためには、データと教師データとのペアの数を多くする必要がある。上記行動認識技術の場合、データは、人物の行動が写された動画である。

逆再生動画をデータに利用できれば、データの数を増やすことができる。例えば、歩く人物が写された動画の逆再生動画を、「歩く人物」を認識する学習に利用するのである。しかし、動作によっては、逆再生動画に写された動作が、もとの動画に写された動作と別の動作と見なしたほうが妥当なことがある。例えば、人間が椅子に座る動作が写された動画の逆再生動画には、人間が椅子から立つ動作と見なせる動作が写されている。従って、この逆再生動画について、教師データを「人間が椅子に座る動作」とすれば、機械学習の精度が悪くなる。

本発明の目的は、逆再生動画を機械学習に利用した場合に、機械学習の精度を向上させることができる情報処理装置、情報処理方法および情報処理プログラムを提供することである。

本発明の第１局面に係る情報処理装置は、第１動作および前記第１動作と逆の動作である第２動作のうち、前記第１動作が写された第１動画を、前記第１動画を逆再生した第２動画に変換する変換部と、前記第１動画および前記第２動画のうち、一方の動画に写された前記物体の動作を示す動作情報を基にして、他方の動画に写された前記物体の動作を示す動作情報を決定する決定部と、前記他方の動画と前記決定部が決定した動作情報とを紐付ける紐付け部と、を備える。

第１動作および第１動作と逆の動作である第２動作とは、一方の動作が他方の動作の逆である一対の動作である。例えば、人間が椅子に座る動作と人間が椅子から立つ動作、人間がテーブルの上に置かれた物を取る動作と人間がテーブルの上に物を戻す動作である。

上記一対の動作の場合、第１動作をする物体が写された第１動画の逆再生動画（第２動画）は、第２動作と見なすことができる動作をする物体が写された動画である。例えば、人間が椅子に座る動作が写された第１動画の逆再生動画（第２動画）は、人間が椅子に座る動作を未来から過去へ再生する動画であるが、人間が椅子から立つ動作と見なすことができる動作が写された動画である。逆に、人間が椅子から立つ動作が写された第１動画の逆再生動画（第２動画）は、人間が椅子から立つ動作を未来から過去へ再生する動画であるが、人間が椅子に座る動作と見なすことができる動作が写された動画である。

第１動画および第２動画において、動画に写されてる物体の動作を示す動作情報（例えば、ラベル（言い換えれば、教師データ）を同じにすれば、機械学習の精度が悪くなる。

そこで、決定部は、第１動画および第２動画のうち、一方の動画に写された物体の動作を示す動作情報を基にして、他方の動画に写された物体の動作を示す動作情報を決定する。例えば、決定部は、一方の動画に写された物体の動作を示す動作情報が「人間が椅子に座る動作」の場合、他方の動画に写された物体の動作を示す動作情報を「人間が椅子から立つ動作」と決定する。

従って、本発明の第１局面に係る情報処理装置によれば、逆再生動画を機械学習に利用した場合に、機械学習の精度を向上させることができる。

本発明の第１局面に係る情報処理装置は、以下の第１態様から第３態様がある。

第１態様は、前記第１動作を示す動作情報である第１ラベルと前記第２動作を示す動作情報である第２ラベルとを紐付けて予め記憶する記憶部をさらに備え、前記変換部は、前記一方の動画である前記第１動画と前記第１ラベルのペアに対して、前記ペアを構成する前記第１動画を前記第２動画に変換し、前記決定部は、前記ペアを構成する前記第１ラベルと紐付けて記憶されている前記第２ラベルを、前記他方の動画である前記第２動画に写された前記物体の動作を示す動作情報に決定し、前記紐付け部は、前記第２動画と前記第２ラベルとを紐付ける。

第１態様は、一方の動画が第１動画であり、他方の動画が第２動画であり、動作情報がラベルの場合である。第１態様によれば、第２動画の撮像がされることなく、第２動画と第２ラベルとを紐付けたペアを生成することができる。このペアは、例えば、データセットを構成するペアとして、利用することができる。

第２態様は、前記一方の動画である前記第１動画について、前記第１動画に写された前記物体の動作が前記第１動作である推定値と前記第２動作である推定値とを算出する機械学習部をさらに備え、前記決定部は、前記機械学習部が算出した前記第１動作である推定値を前記第２動作である推定値とし、前記機械学習部が算出した前記第２動作である推定値を前記第１動作である推定値とした組み合わせを、前記他方の動画である前記第２動画に写された前記物体の動作を示す動作情報に決定し、前記紐付け部は、前記第２動画と前記組み合わせとを紐付ける。

第２態様は、一方の動画が第１動画であり、他方の動画が第２動画であり、動作情報が推定値（例えば、尤度、確率）の場合である。

機械学習部は、第１動画を学習して、第１動画に写された物体の動作が第１動作である推定値と第２動作である推定値とを算出する。第１動画に写された物体の動作は、第１動作なので、第１動作である推定値（例えば、９０％）は、第２動作である推定値（例えば、１０％）より高くなる。

決定部は、第１動作である推定値（例えば、９０％）を第２動作である推定値とし、第２動作である推定値（例えば、１０％）を第１動作である推定値とした組み合わせを、第２動作を示す動作情報と見なし、これを第２動画に写された物体の動作情報と決定する。

第２態様によれば、機械学習部が第２動画を学習することなく、第２動画と、第２動画に写された物体の動作情報とを紐付けたペアを生成することができる。このペアは、例えば、データセットを構成するペアとして、利用することができる。

第３態様は、前記第１動画について、前記第１動画に写された前記物体の動作が前記第１動作である推定値と前記第２動作である推定値とを算出し、かつ、前記第２動画について、前記第２動画に写された前記物体の動作が前記第２動作である推定値と前記第１動作である推定値とを算出する機械学習部をさらに備え、前記紐付け部は、前記第１動画について、前記機械学習部が算出した前記第１動作である推定値と前記第２動作である推定値との組み合わせである第１組み合わせを、前記第１動画に写された前記物体の動作を示す動作情報として、前記第１動画とを紐付け、前記決定部は、前記一方の動画である前記第２動画について、前記機械学習部が算出した前記第２動作である推定値を前記第１動作である推定値とし、前記機械学習部が算出した前記第１動作である推定値を前記第２動作である推定値とした第２組み合わせを、前記他方の動画である前記第１動画に写された前記物体の動作を示す動作情報に決定し、前記紐付け部は、前記第１動画と前記第２組み合わせとを紐付ける。

第３態様は、一方の動画が第２動画であり、他方の動画が第１動画であり、動作情報が推定値（例えば、尤度、確率）の場合である。

機械学習部は、第１動画について、第１動画に写された物体の動作が第１動作である推定値と第２動作である推定値とを算出する。第１動画に写された物体の動作は、第１動作なので、第１動作である推定値（例えば、９０％）は、第２動作である推定値（例えば、１０％）より高くなる。紐付け部は、第１動画と、これらの推定値の組み合わせ（第１組み合わせ）と、を紐付ける。

機械学習部は、第２動画について、第２動画に写された物体の動作が第２動作である推定値と第１動作である推定値とを算出する。第２動画（逆再生動画）に写された物体の動作は、第２動作と見なされる動作なので、第２動作である推定値（例えば、８０％）は、第１動作である推定値（例えば、２０％）より高くなる。

決定部は、第２動作である推定値（例えば、８０％）を第１動作である推定値とし、第１動作である推定値（例えば、２０％）を第２動作である推定値とした第２組み合わせを、第１動作を示す動作情報と見なし、これを第１動画に写された物体の動作情報と決定する。紐付け部は、第１動画と第２組み合わせとを紐付ける。

以上より、第３態様によれば、同じ第１動画に関して、第１動画と動作情報（第１動作である推定値９０％、第２動作である推定値１０％）とのペアと、第１動画と動作情報（第１動作である推定値８０％、第２動作である推定値２０％）とのペアと、を生成することができる。これにより、例えば、データセットに含まれるペアの数を２倍にすることができる。

本発明の第２局面に係る情報処理方法は、第１動作および前記第１動作と逆の動作である第２動作のうち、前記第１動作が写された第１動画を、前記第１動画を逆再生した第２動画に変換する変換ステップと、前記第１動画および前記第２動画のうち、一方の動画に写された前記物体の動作を示す動作情報を基にして、他方の動画に写された前記物体の動作を示す動作情報を決定する決定ステップと、前記他方の動画と前記決定ステップで決定された動作情報とを紐付ける紐付けステップと、を備える。

本発明の第２局面に係る情報処理方法は、本発明の第１局面に係る情報処理装置を方法の観点から規定しており、本発明の第１局面に係る情報処理装置と同様の作用効果を有する。

本発明の第３局面に係る情報処理プログラムは、第１動作および前記第１動作と逆の動作である第２動作のうち、前記第１動作が写された第１動画を、前記第１動画を逆再生した第２動画に変換する変換ステップと、前記第１動画および前記第２動画のうち、一方の動画に写された前記物体の動作を示す動作情報を基にして、他方の動画に写された前記物体の動作を示す動作情報を決定する決定ステップと、前記他方の動画と前記決定ステップで決定された動作情報とを紐付ける紐付けステップと、をコンピューターに実行させる。

本発明の第３局面に係る情報処理プログラムは、本発明の第１局面に係る情報処理装置をプログラムの観点から規定しており、本発明の第１局面に係る情報処理装置と同様の作用効果を有する。

本発明によれば、逆再生動画を機械学習に利用した場合に、機械学習の精度を向上させることができる。

実施形態に係る情報処理装置の機能ブロック図である。 第１動作のデータセットの一例を説明する説明図である。 図１に示す情報処理装置のハードウェア構成を示すブロック図である。 実施形態が、第１動作のデータセットを基にして、第２動作のデータセットを生成する処理を説明するフローチャートである。 実施形態において、第１動作のデータセットと第２動作のデータセットとの関係を説明する説明図である。 第１変形例が、第１動画のセットを基にして、第２動作のデータセットを生成する処理を説明するフローチャートの前半である。 第１変形例が、第１動画のセットを基にして、第２動作のデータセットを生成する処理を説明するフローチャートの後半である。 第１変形例において、第１動画のセットと、第１動作のデータセットと、第２動作のデータセットとの関係を説明する説明図である。 第２変形例が、第２動画のセットを基にして、第１動作のデータセットを生成する処理を説明するフローチャートである。 第２変形例において、第１動画のセットと第１動作のデータセットとの関係を説明する説明図である。 第２変形例において、第１動画のセットと、第２動画のセットと、第２動作のデータセットと、第１動作のデータセットとの関係を説明する説明図である。

以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、第１動画Ｖ１）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、第１動画Ｖ１−１）。

図１は、実施形態に係る情報処理装置１の機能ブロック図である。情報処理装置１は、機能ブロックとして、本体部２と、入力部３と、出力部４と、を備える。

本体部２は、機械学習を実行できる性能を有するコンピューターであり、機能ブロックとして、制御処理部２１と、機械学習部２２と、記憶部２３と、取出部２４と、変換部２５と、決定部２６と、紐付け部２７と、を備える。

制御処理部２１は、本体部２の各部（機械学習部２２、記憶部２３、取出部２４、変換部２５、決定部２６、紐付け部２７）を当該各部の機能に応じてそれぞれ制御するための装置である。

機械学習には、学習フェーズ（学習によるモデル作成）と、予測・認識フェーズ（モデルをデータに適用して結果を得る）と、がある。機械学習部２２は、物体の予め定められた動作について、これらのフェーズを実行する。物体は、動くことができればよく、人間、動物、人為的に作られた物（例えば、自動車）のいずれでもよい。

物体の予め定められた動作は、第１動作および第２動作である。第１動作は、第２動作と逆の動作である。言い換えれば、第２動作は、第１動作と逆の動作である。例えば、人間が椅子に座る動作が第１動作のとき、人間が椅子から立つ動作が第２動作となる。この逆でもよい。すなわち、人間が椅子から立つ動作が第１動作のとき、人間が椅子に座る動作が第２動作となる。

記憶部２３は、情報処理装置１が実行する処理および制御に必要な各種の動画、データ、情報等を記憶する。記憶部２３に記憶される各種のデータの１つとして、第１動作のデータセットがある。第１動作のデータセットは、第１動作を学習するためのデータセット（学習データ）である。

図２は、第１動作のデータセットＤＳ−１の一例を説明する説明図である。第１動作のデータセットＤＳ−１は、第１動画Ｖ１と第１ラベルとのペアをｎ個備える。ｎは、第１動作の機械学習に必要とされる数である。第１動画Ｖ１は、第１動作をする物体が写された動画である。ｎ個の第１動画Ｖ１（Ｖ１−１〜Ｖ１−ｎ）は、同じ動画でなく、それぞれ別々に撮像された動画である。

第１ラベルは、第１動画Ｖ１に写された物体の動作が第１動作であることを示す動作情報である（例えば、「０」）。ｎ個の第１動画Ｖ１は、それぞれ、第１動作をする物体が写された動画なので、ラベルは、それぞれ、第１ラベルである。ｎ個の第１動画Ｖ１のそれぞれは、第１ラベルと紐付けられて、ｎ個のペアが構成されている。

図１を参照して、取出部２４は、第１動作のデータセットＤＳ−１に含まれるペアをコピーし、このペアを構成する第１動画Ｖ１を変換部２５に送り、第１ラベルを決定部２６に送る処理をする。取出部２４は、この処理をｎ個のペアのそれぞれについて実行する。

変換部２５は、取出部２４から送られてきた第１動画Ｖ１を構成するフレームの順番を逆にすることにより、第１動画Ｖ１を第２動画Ｖ２（逆再生動画）に変換する。フレームの順番を逆にするとは、例えば、フレームＡ、フレームＢ、フレームＣ、フレームＤの順にフレームが並ぶ動画（第１動画Ｖ１）の場合、フレームＤ、フレームＣ、フレームＢ、フレームＡの順にフレームが並ぶ動画（第２動画Ｖ２）にすることである。第２動画Ｖ２は、第１動画Ｖ１を逆再生した動画なので、第２動画Ｖ２に写された物体の動作は、第２動作でなく、第２動作と見なす動作である。

決定部２６は、第１動画Ｖ１および第２動画Ｖ２のうち、一方の動画に写された物体の動作を示す動作情報を基にして、他方の動画に写された物体の動作を示す動作情報を決定する。詳しく説明すると、実施形態では、一方の動画が第１動画Ｖ１であり、他方の動画が第２動画Ｖ２である。記憶部２３は、第１ラベルと第２ラベルとを紐付けて予め記憶している。第２ラベルは、第２動画Ｖ２に写された物体の動作が第２動作であることを示す動作情報である（例えば、「１」）。決定部２６は、取出部２４から送られてきたラベルが第１ラベルなので、第１ラベルと紐付けて記憶されている第２ラベルを、第２動画Ｖ２に写された物体の動作を示す動作情報に決定する。

紐付け部２７は、第２動画Ｖ２と第２ラベル（決定部２６が決定した動作情報）とを紐付ける。これにより、第２動画Ｖ２と第２ラベルのペアが生成される。

入力部３は、外部からコマンド（命令）やデータ等を情報処理装置１に入力する装置である。出力部４は、機械学習部２２が実行した認識結果等を出力する装置である。

図３は、図１に示す情報処理装置１のハードウェア構成を示すブロック図である。情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１ｃ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１ｄ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１ｅ、液晶ディスプレイ１ｆ、キーボード等１ｇ、および、これらを接続するバス１ｈを備える。

図１および図３を参照して、液晶ディスプレイ１ｆは、出力部４を実現するハードウェアである。液晶ディスプレイ１ｆの替わりに、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ ｄｉｓｐｌａｙ）、プラズマディスプレイ等でもよい。キーボード等１ｇは、入力部３を実現するハードウェアである。キーボードの替わりに、タッチパネルでもよい。

ＨＤＤ１ｅは、記憶部２３を実現するハードウェアである。また、ＨＤＤ１ｅには、制御処理部２１、機械学習部２２、取出部２４、変換部２５、決定部２６、紐付け部２７について、これらの機能ブロックをそれぞれ実現するためのプログラムが格納されている。これらのプログラムは、機能ブロックの定義を用いて表現される。変換部２５および変換プログラムを例にして説明する。変換部２５は、第１動作およびこの動作と逆の動作である第２動作のうち、第１動作が写された第１動画Ｖ１を、第１動画Ｖ１を逆再生した第２動画Ｖ２に変換する。変換プログラムは、第１動作およびこの動作と逆の動作である第２動作のうち、第１動作が写された第１動画Ｖ１を、第１動画Ｖ１を逆再生した第２動画Ｖ２に変換するプログラムである。

これらのプログラムは、ＨＤＤ１ｅに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体（例えば、磁気ディスク、光学ディスクのような外部記録媒体）が用意されており、この記録媒体に記憶されているプログラムがＨＤＤ１ｅに記憶されてもよい。また、これらのプログラムは、情報処理装置１とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがＨＤＤ１ｅに送られ、ＨＤＤ１ｅに記憶されてもよい。これらのプログラムは、ＨＤＤ１ｅの替わりにＲＯＭ１ｄに記憶してもよい。情報処理装置１は、ＨＤＤ１ｅの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。

ＣＰＵ１ａは、これらのプログラムを、ＨＤＤ１ｅから読み出してＲＡＭ１ｃに展開させ、展開されたプログラムを実行することによって、制御処理部２１、機械学習部２２、取出部２４、変換部２５、決定部２６、および、紐付け部２７が実現される。但し、これらの機能について、各機能の一部又は全部は、ＣＰＵ１ａによる処理に替えて、又は、これと共に、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。

ＣＰＵ１ａによって実行されるこれらのプログラム（変換プログラム等）のフローチャートが、後で説明する図４、図６、図７および図９のフローチャートである。

ＧＰＵ１ｂは、例えば、ＣＰＵ１ａの制御の下で、機械学習部２２が機械学習をする際に必要な各種処理（例えば、画像処理）を実行する。

実施形態では、第１動作のデータセットＤＳ−１を基にして、第２動作のデータセットＤＳ−２を生成する。図４は、これを説明するフローチャートである。図５は、実施形態において、第１動作のデータセットＤＳ−１と第２動作のデータセットＤＳ−２との関係を説明する説明図である。

図５について説明する。図５に示す第１動作のデータセットＤＳ−１は、図２に示す第１動作のデータセットＤＳ−１と同じである。第２動作のデータセットＤＳ−２は、第２動作を学習するためのデータセット（学習セット）である。第２動作のデータセットＤＳ−２は、第２動画Ｖ２と第２ラベルとのペアをｎ個備える。これらのペアの数ｎは、第１動作のデータセットＤＳ−１に備えられるペアの数ｎと同じである。

ｎ個の第２動画Ｖ２（Ｖ２−１〜Ｖ２−ｎ）は、それぞれ、ｎ個の第１動画Ｖ１（Ｖ１−１〜Ｖ１−ｎ）を逆再生した動画である。すなわち、第２動画Ｖ２−１は、第１動画Ｖ１−１を逆再生した動画であり、第２動画Ｖ２−２は、第１動画Ｖ１−２を逆再生した動画であり、第２動画Ｖ２−３は、第１動画Ｖ１−３を逆再生した動画であり、・・・、第２動画Ｖ２−ｎは、第１動画Ｖ１−ｎを逆再生した動画である。第２ラベルは、上述したように、第２動画Ｖ２に写された物体の動作が第２動作であることを示す動作情報である（例えば、「１」）。ｎ個の第２動画Ｖ２のそれぞれは、第２ラベルと紐付けられて、ｎ個のペアが構成されている。

実施形態が、第１動作のデータセットＤＳ−１を基にして、第２動作のデータセットＤＳ−２を生成する処理を説明する。図１、図４および図５を参照して、取出部２４は、第１動作のデータセットＤＳ−１に含まれる１番目のペア［第１動画Ｖ１−１，第１ラベル］をコピーし、このペアを構成する第１動画Ｖ１−１、第１ラベルをそれぞれ、変換部２５、決定部２６に送る（ステップＳ１）。

変換部２５は、取出部２４から送られてきた第１動画Ｖ１−１を第２動画Ｖ２−１に変換する（ステップＳ２）。このように、変換部２５は、一方の動画である第１動画Ｖ１と第１ラベルのペアに対して、ペアを構成する第１動画Ｖ１を第２動画Ｖ２に変換する。

決定部２６は、取出部２４から送られてきたラベルが第１ラベルなので、第１ラベルと紐付けて記憶されている第２ラベルを、第２動画Ｖ２−１に写された物体の動作を示す動作情報に決定する（ステップＳ３）。

紐付け部２７は、第２動画Ｖ２−１と第２ラベルとを紐付ける（ステップＳ４）。これにより、１つのペア［第２動画Ｖ２−１，第２ラベル］が生成される。

取出部２４は、第１動作のデータセットＤＳ−１に含まれる全てのペアについて、ステップＳ１〜Ｓ４の処理が終了したか否かを判断する（ステップＳ５）。取出部２４は、第１動作のデータセットＤＳ−１に含まれる全てのペアについて、ステップＳ１〜Ｓ４の処理が終了していないと判断したとき（ステップＳ５でＮｏ）、ステップＳ１に戻り、ステップＳ１の処理をする。

取出部２４は、第１動作のデータセットＤＳ−１に含まれる全てのペアについて、ステップＳ１〜Ｓ４の処理が終了したと判断したとき（ステップＳ５でＹｅｓ）、図５に示すように、第２動作のデータセットＤＳ−２が完成される。

実施形態の主な効果を説明する。第２動作は、第１動作の逆の動作である。このため、第１動作をする物体が写された第１動画Ｖ１の逆再生動画（第２動画Ｖ２）は、第２動作と見なすことができる動作をする物体が写された動画である。例えば、人間が椅子に座る動作が写された第１動画Ｖ１の逆再生動画（第２動画Ｖ２）は、人間が椅子に座る動作を未来から過去へ再生する動画であるが、人間が椅子から立つ動作と見なすことができる動作が写された動画である。逆に、人間が椅子から立つ動作が写された第１動画Ｖ１の逆再生動画（第２動画Ｖ２）は、人間が椅子から立つ動作を未来から過去へ再生する動画であるが、人間が椅子に座る動作と見なすことができる動作が写された動画である。

第１動画Ｖ１および第２動画Ｖ２において、動画に写されてる物体の動作を示す動作情報であるラベル（言い換えれば、教師データ）を同じにすれば、機械学習の精度が悪くなる。そこで、決定部２６は、第１動画Ｖ１に写された物体の動作を示す動作情報（第１ラベル）を基にして、第２動画Ｖ２に写された物体の動作を示す動作情報（第２ラベル）を決定する。従って、実施形態によれば、逆再生動画を機械学習に利用した場合に、機械学習の精度を向上させることができる。

実施形態には、第１変形例および第２変形例がある。これらの変形例において、動作情報はラベルでなく、推定値（推定値の組み合わせ）であり、動画に写された物体の動作が第１動作である推定値と第２動作である推定値とが求められる。例えば、第１動画Ｖ１に写された物体の動作が第１動作である推定値が９０％であり、第２動作である推定値が１０％である。推定値は、例えば、尤度、確率である。

第１変形例について、実施形態と相違する点を主に説明する。第１変形例は、第１動画Ｖ１のセットを基にして、第２動作のデータセットＤＳ−４を生成する。図６は、これを説明するフローチャートの前半である。図７は、これを説明するフローチャートの後半である。図８は、第１変形例において、第１動画Ｖ１のセットと、第１動作のデータセットＤＳ−３と、第２動作のデータセットＤＳ−４との関係を説明する説明図である。

図１、図６および図８を参照して、記憶部２３は、第１動画Ｖ１のセットを予め記憶している。第１動画Ｖ１のセットは、実施形態で説明したｎ個の第１動画Ｖ１を備える。

取出部２４は、第１動画Ｖ１のセットに含まれる１番目の第１動画Ｖ１（第１動画Ｖ１−１）をコピーし、これを機械学習部２２に送る（ステップＳ１１）。

機械学習部２２は、取出部２４から送られてきた第１動画Ｖ１−１を学習（言い換えれば、第１動画Ｖ１−１の特徴抽出）して、第１動画Ｖ１−１に写された物体の動作が第１動作である推定値（例えば、９０％）と第２動作である推定値（例えば、１０％）とをそれぞれ算出する（ステップＳ１２）。これらの推定値の組み合わせが、第１動画Ｖ１−１に写された物体の動作を示す動作情報となる。

紐付け部２７は、第１動画Ｖ１−１と、機械学習部２２が算出した第１動作の推定値および第２動作の推定値の組み合わせと、を紐づける（ステップＳ１３）。これにより、ペア［第１動画Ｖ１−１，（第１動作の推定値９０％，第２動作の推定値１０％）］が生成される
取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ１１〜Ｓ１３の処理が終了したか否かを判断する（ステップＳ１４）。取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ１１〜Ｓ１３の処理が終了していないと判断したとき（ステップＳ１４でＮｏ）、ステップＳ１１に戻り、ステップＳ１１の処理をする。

取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ１１〜Ｓ１３の処理が終了したと判断したとき（ステップＳ１４でＹｅｓ）、図８に示すように、第１動作のデータセットＤＳ−３が完成される。

図１、図７および図８を参照して、取出部２４は、第１動画Ｖ１のセットに含まれる１番目の第１動画Ｖ１（第１動画Ｖ１−１）をコピーし、変換部２５に送る（ステップＳ１５）。

変換部２５は、取出部２４から送られてきた第１動画Ｖ１−１を第２動画Ｖ２−１に変換する（ステップＳ１６）。

取出部２４は、第１動作のデータセットＤＳ−３に含まれる１番目のペアに含まれる推定値の組み合わせ（第１動作の推定値９０％，第２動作の推定値１０％）をコピーし、決定部２６に送る（ステップＳ１７）。

決定部２６は、第２動画Ｖ２−１とペアを組む推定値の組み合わせを決定する（ステップＳ１８）。詳しく説明すると、決定部２６は、取出部２４から送られてきた推定値の組み合わせ（第１動作の推定値９０％，第２動作の推定値１０％）について、第１動作の推定値９０％を第２動作の推定値９０％とし、第２動作の推定値１０％を第１動作の推定値１０％とした組み合わせを生成し、この組み合わせを第２動画Ｖ２−１に写された物体の動作を示す動作情報に決定する。このように、決定部２６は、第１動画Ｖ１について、機械学習部２２が算出した第１動作である推定値を、第２動作である推定値とし、第１動画Ｖ１について、機械学習部２２が算出した第２動作である推定値を、第１動作である推定値とした組み合わせを、第２動画Ｖ２に写された物体の動作を示す動作情報に決定する。

紐付け部２７は、第２動画Ｖ２−１と、ステップＳ１８で決定された推定値の組み合わせ（第２動作の推定値９０％、第１動作の推定値１０％）と、を紐付ける（ステップＳ１９）。これにより、１つのペア［第２動画Ｖ２−１，（第２動作の推定値９０％，第１動作の推定値１０％）］が生成される。

取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ１５〜Ｓ１９の処理が終了したか否かを判断する（ステップＳ２０）。取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ１５〜Ｓ１９の処理が終了していないと判断したとき（ステップＳ２０でＮｏ）、ステップＳ１５に戻り、ステップＳ１５の処理をする。

取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ１５〜Ｓ１９の処理が終了したと判断したとき（ステップＳ２０でＹｅｓ）、図８に示すように、第２動作のデータセットＤＳ−４が完成される。

第１変形例の主な効果を説明する。機械学習部２２は、第１動画Ｖ１を学習して、第１動画Ｖ１に写された物体の動作が第１動作である推定値と第２動作である推定値とを算出する（ステップＳ１２）。第１動画Ｖ１に写された物体の動作は、第１動作なので、第１動作である推定値（例えば、９０％）は、第２動作である推定値（例えば、１０％）より高くなる。これらの推定値の組み合わせが、第１動画Ｖ１とペアを組む推定値の組み合わせとなる。

決定部２６は、第１動作である推定値（例えば、９０％）を第２動作である推定値とし、第２動作である推定値（例えば、１０％）を第１動作である推定値とし、これらの推定の組み合わせを、第２動作を示す動作情報と見なし、これを第２動画Ｖ２に写された物体の動作情報と決定する（ステップＳ１８）。

第１変形例によれば、機械学習部２２が第２動画Ｖ２を学習することなく、第２動画Ｖ２と、第２動画Ｖ２に写された物体の動作情報（推定値の組み合わせ）と、を紐付けたペアを生成することができる。これにより、機械学習部２２が第２動画Ｖ２を学習することなく、第２動作のデータセットＤＳ−４を生成することができる。

第２変形例について、実施形態および第１変形例と相違する点を主に説明する。第２変形例は、第１動画Ｖ１のセットを基にして、図１０に示す第１動作のデータセットＤＳ−３を生成し、かつ、第２動画Ｖ２のセットを基にして、図１１に示す第１動作のデータセットＤＳ−６を生成する。図９は、第２変形例において、第２動画Ｖ２のセットを基にして、第１動作のデータセットＤＳ−６を生成する処理を説明するフローチャートである。図１０は、第２変形例において、第１動画Ｖ１のセットと第１動作のデータセットＤＳ−３との関係を説明する説明図である。図１１は、第２変形例において、第１動画Ｖ１のセットと、第２動画Ｖ２のセットと、第２動作のデータセットＤＳ−５と、第１動作のデータセットＤＳ−６との関係を説明する説明図である。

図１０を参照して、第２変形例に係る情報処理装置１は、第１動画Ｖ１のセットを基にして、第１動作のデータセットＤＳ−３を生成する。第１動作の推定値と第２動作の推定値との組み合わせが第１組み合わせである。第１動画Ｖ１と第１組み合わせとが紐付けられている。図１０は、第１変形例が、第１動画Ｖ１のセットを基にして、第１動作のデータセットＤＳ−３を生成する処理と同じである（図８に示す第１動画のセットから第１動作のデータセットＤＳ−３の生成、図６のステップＳ１１〜Ｓ１４）。よって、説明を省略する。

図１、図９および図１１を参照して、取出部２４は、第１動画Ｖ１のセットに含まれる１番目の第１動画Ｖ１（第１動画Ｖ１−１）をコピーし、これを変換部２５に送る（ステップＳ３１）。

変換部２５は、取出部２４から送られてきた第１動画Ｖ１−１を第２動画Ｖ２−１に変換する（ステップＳ３２）。

取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ３１およびステップＳ３２の処理が終了したか否かを判断する（ステップＳ３３）。取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ３１およびステップＳ３２の処理が終了していないと判断したとき（ステップＳ３３でＮｏ）、ステップＳ３１に戻り、ステップＳ３１の処理をする。

取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ３１およびステップＳ３２の処理が終了したと判断したとき（ステップＳ３３でＹｅｓ）、図１１に示すように、第２動画Ｖ２のセットが完成される。

第２動画Ｖ２のセットの完成後、取出部２４は、第２動画Ｖ２のセットに含まれる１番目の第２動画Ｖ２（第２動画Ｖ２−１）をコピーし、これを機械学習部２２に送る（ステップＳ３４）。

機械学習部２２は、取出部２４から送られてきた第２動画Ｖ２−１を学習（言い換えれば、第２動画Ｖ２−１の特徴抽出）して、第２動画Ｖ２−１に写された物体の動作が第２動作である推定値（例えば、８０％）と第１動作である推定値（例えば、２０％）とをそれぞれ算出する（ステップＳ３５）。これらの推定値の組み合わせが、第２動画Ｖ２−１に写された物体の動作を示す動作情報となる。

紐付け部２７は、第２動画Ｖ２−１と、機械学習部２２が算出した第２動作の推定値および第１動作の推定値の組み合わせと、を紐づける（ステップＳ３６）。これにより、ペア［第２動画Ｖ２−１，（第２動作の推定値８０％，第１動作の推定値２０％）］が生成される。

取出部２４は、第２動画Ｖ２のセットに含まれる全ての第２動画Ｖ２について、ステップＳ３４〜Ｓ３６の処理が終了したか否かを判断する（ステップＳ３７）。取出部２４は、第２動画Ｖ２のセットに含まれる全ての第２動画Ｖ２について、ステップＳ３４〜Ｓ３６の処理が終了していないと判断したとき（ステップＳ３７でＮｏ）、ステップＳ３４に戻り、ステップＳ３４の処理をする。

取出部２４は、第２動画Ｖ２のセットに含まれる全ての第２動画Ｖ２について、ステップＳ３４〜Ｓ３６の処理が終了したと判断したとき（ステップＳ３７でＹｅｓ）、図１１に示すように、第２動作のデータセットＤＳ−５が完成される。

第２動作のデータセットＤＳ−５の完成後、取出部２４は、第２動作のデータセットＤＳ−５に含まれる１番目のペアにおいて、推定値の組み合わせ（第２動作の推定値８０％，第１動作の推定値２０％）をコピーし、決定部２６に送る（ステップＳ３８）。

決定部２６は、第１動画Ｖ１−１とペアを組む推定値の組み合わせ（第２組み合わせ）を決定する（ステップＳ３９）。詳しく説明すると、決定部２６は、取出部２４から送られてきた推定値の組み合わせ（第２動作の推定値８０％，第１動作の推定値２０％）について、第２動作の推定値８０％を第１動作の推定値８０％とし、第１動作の推定値２０％を第２動作の推定値２０％とした第２組み合わせを生成し、第２組み合わせを第１動画Ｖ１−１に写された物体の動作を示す動作情報に決定する。このように、決定部２６は、第２動画Ｖ２について、機械学習部２２が算出した第２動作である推定値を、第１動作である推定値とし、第２動画Ｖ２について、機械学習部２２が算出した第１動作である推定値を、第２動作である推定値とした第２組み合わせを、第１動画Ｖ１に写された物体の動作を示す動作情報に決定する。

紐付け部２７は、第１動画Ｖ１のセットに含まれる第１動画Ｖ１−１と、ステップＳ３９で決定された推定値の組み合わせである第２組み合わせ（第１動作の推定値８０％、第２動作の推定値２０％）と、を紐付ける（ステップＳ４０）。これにより、１つのペア［第１動画Ｖ１−１，（第１動作の推定値８０％，第２動作の推定値２０％）］が生成される。

取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ３８〜Ｓ４０の処理が終了したか否かを判断する（ステップＳ４１）。取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ３８〜Ｓ４０の処理が終了していないと判断したとき（ステップＳ４１でＮｏ）、ステップＳ３８に戻り、ステップＳ３８の処理をする。

取出部２４は、第１動画Ｖ１のセットに含まれる全ての第１動画Ｖ１について、ステップＳ３８〜Ｓ４０の処理が終了したと判断したとき（ステップＳ４１でＹｅｓ）、図１１に示すように、第１動作のデータセットＤＳ−６が完成される。

第２変形例の主な効果を説明する。図６に示すフローチャートは、第２変形例にも適用される。第１変形例と同様に、機械学習部２２は、第１動画Ｖ１について、第１動画Ｖ１に写された物体の動作が第１動作である推定値と第２動作である推定値とを算出する（図６のステップＳ１２）。図１０を参照して、第１動画Ｖ１に写された物体の動作は、第１動作なので、第１動作である推定値（例えば、９０％）は、第２動作である推定値（例えば、１０％）より高くなる。紐付け部２７は、第１動画Ｖ１と、これらの推定値の組み合わせ（第１組み合わせ）と、を紐付ける。

機械学習部２２は、第２動画Ｖ２について、第２動画Ｖ２に写された物体の動作が第２動作である推定値と第１動作である推定値とを算出する（ステップＳ３５）。図１１を参照して、第２動画Ｖ２（逆再生動画）に写された物体の動作は、第２動作と見なされる動作なので、第２動作である推定値（例えば、８０％）は、第１動作である推定値（例えば、２０％）より高くなる。

決定部２６は、第２動作である推定値（例えば、８０％）を第１動作である推定値とし、第１動作である推定値（例えば、２０％）を第２動作である推定値とした第２組み合わせを、第１動作を示す動作情報と見なし、これを第１動画Ｖ１に写された物体の動作情報と決定する（ステップＳ３９）。紐付け部２７は、第１動画Ｖ１と第２組み合わせとを紐付ける（ステップＳ４０）。

以上より、第２変形例によれば、同じ第１動画Ｖ１に関して、第１動画Ｖ１と動作情報（第１動作である推定値９０％、第２動作である推定値１０％）とのペアと、第１動画Ｖ１と動作情報（第１動作である推定値８０％、第２動作である推定値２０％）とのペアと、を生成することができる（図１０に示す第１動作のデータセットＤＳ−３、図１１に示す第１動作のデータセットＤＳ−６）。従って、第２変形例によれば、第１動作のデータセットとして、第１動作のデータセットＤＳ−３に加えて、第１動作のデータセットＤＳ−６を生成することができる。これらを一つのデータセットにすることにより、第１動作のデータセットＤＳ−３を生成する場合と比べて、第１動作のデータセットに含まれるペアの数を２倍にすることができる。

実施形態、第１変形例および第２変形例では、データセットの生成を例にして説明したが、本発明は、これに限定されず、逆再生動画を利用する機械学習、逆再生動画を利用する深層学習に適用することが可能である。

１ 情報処理装置
Ｖ１，Ｖ１−１〜Ｖ１−ｎ 第１動画
Ｖ２，Ｖ２−１〜Ｖ２−ｎ 第２動画

Claims (6)

1. 第１動作および前記第１動作と逆の動作である第２動作のうち、前記第１動作が写された第１動画を、前記第１動画を逆再生した第２動画に変換する変換部と、
   前記第１動画および前記第２動画のうち、一方の動画に写された前記物体の動作を示す動作情報を基にして、他方の動画に写された前記物体の動作を示す動作情報を決定する決定部と、
   前記他方の動画と前記決定部が決定した動作情報とを紐付ける紐付け部と、
   前記一方の動画である前記第１動画について、前記第１動画に写された前記物体の動作が前記第１動作である推定値と前記第２動作である推定値とを算出する機械学習部と、を備え、
   前記決定部は、前記機械学習部が算出した前記第１動作である推定値を前記第２動作である推定値とし、前記機械学習部が算出した前記第２動作である推定値を前記第１動作である推定値とした組み合わせを、前記他方の動画である前記第２動画に写された前記物体の動作を示す動作情報に決定し、
   前記紐付け部は、前記第２動画と前記組み合わせとを紐付ける、情報処理装置。
2. 第１動作および前記第１動作と逆の動作である第２動作のうち、前記第１動作が写された第１動画を、前記第１動画を逆再生した第２動画に変換する変換部と、
   前記第１動画および前記第２動画のうち、一方の動画に写された前記物体の動作を示す動作情報を基にして、他方の動画に写された前記物体の動作を示す動作情報を決定する決定部と、
   前記他方の動画と前記決定部が決定した動作情報とを紐付ける紐付け部と、
   前記第１動画について、前記第１動画に写された前記物体の動作が前記第１動作である推定値と前記第２動作である推定値とを算出し、かつ、前記第２動画について、前記第２動画に写された前記物体の動作が前記第２動作である推定値と前記第１動作である推定値とを算出する機械学習部と、を備え、
   前記紐付け部は、前記第１動画について、前記機械学習部が算出した前記第１動作である推定値と前記第２動作である推定値との組み合わせである第１組み合わせを、前記第１動画に写された前記物体の動作を示す動作情報として、前記第１動画とを紐付け、
   前記決定部は、前記一方の動画である前記第２動画について、前記機械学習部が算出した前記第２動作である推定値を前記第１動作である推定値とし、前記機械学習部が算出した前記第１動作である推定値を前記第２動作である推定値とした第２組み合わせを、前記他方の動画である前記第１動画に写された前記物体の動作を示す動作情報に決定し、
   前記紐付け部は、前記第１動画と前記第２組み合わせとを紐付ける、情報処理装置。
3. コンピューターによって実行される情報処理方法であって、
   第１動作および前記第１動作と逆の動作である第２動作のうち、前記第１動作が写された第１動画を、前記第１動画を逆再生した第２動画に変換する変換ステップと、
   前記第１動画および前記第２動画のうち、一方の動画に写された前記物体の動作を示す動作情報を基にして、他方の動画に写された前記物体の動作を示す動作情報を決定する決定ステップと、
   前記他方の動画と前記決定ステップで決定された動作情報とを紐付ける紐付けステップと、
   前記一方の動画である前記第１動画について、前記第１動画に写された前記物体の動作が前記第１動作である推定値と前記第２動作である推定値とを機械学習部により算出する算出ステップと、を備え、
   前記決定するステップは、前記算出ステップで算出した前記第１動作である推定値を前記第２動作である推定値とし、前記算出ステップで算出した前記第２動作である推定値を前記第１動作である推定値とした組み合わせを、前記他方の動画である前記第２動画に写された前記物体の動作を示す動作情報に決定し、
   前記紐付けステップは、前記第２動画と前記組み合わせとを紐付ける、情報処理方法。
4. 第１動作および前記第１動作と逆の動作である第２動作のうち、前記第１動作が写された第１動画を、前記第１動画を逆再生した第２動画に変換する変換ステップと、
   前記第１動画および前記第２動画のうち、一方の動画に写された前記物体の動作を示す動作情報を基にして、他方の動画に写された前記物体の動作を示す動作情報を決定する決定ステップと、
   前記他方の動画と前記決定ステップで決定された動作情報とを紐付ける紐付けステップと、
   前記一方の動画である前記第１動画について、前記第１動画に写された前記物体の動作が前記第１動作である推定値と前記第２動作である推定値とを機械学習部により算出する算出ステップと、をコンピューターに実行させる情報処理プログラムであって、
   前記決定するステップは、前記算出ステップで算出した前記第１動作である推定値を前記第２動作である推定値とし、前記算出ステップで算出した前記第２動作である推定値を前記第１動作である推定値とした組み合わせを、前記他方の動画である前記第２動画に写された前記物体の動作を示す動作情報に決定し、
   前記紐付けステップは、前記第２動画と前記組み合わせとを紐付ける、情報処理プログラム。
5. コンピューターによって実行される情報処理方法であって、
   第１動作および前記第１動作と逆の動作である第２動作のうち、前記第１動作が写された第１動画を、前記第１動画を逆再生した第２動画に変換する変換ステップと、
   前記第１動画および前記第２動画のうち、一方の動画に写された前記物体の動作を示す動作情報を基にして、他方の動画に写された前記物体の動作を示す動作情報を決定する決定ステップと、
   前記他方の動画と前記決定ステップで決定された動作情報とを紐付ける紐付けステップと、
   前記第１動画について、前記第１動画に写された前記物体の動作が前記第１動作である推定値と前記第２動作である推定値とを算出し、かつ、前記第２動画について、前記第２動画に写された前記物体の動作が前記第２動作である推定値と前記第１動作である推定値とを機械学習部により算出する算出ステップと、を備え、
   前記紐付けステップは、前記第１動画について、前記算出ステップで算出した前記第１動作である推定値と前記第２動作である推定値との組み合わせである第１組み合わせを、前記第１動画に写された前記物体の動作を示す動作情報として、前記第１動画とを紐付け、
   前記決定ステップは、前記一方の動画である前記第２動画について、前記算出ステップで算出した前記第２動作である推定値を前記第１動作である推定値とし、前記算出ステップで算出した前記第１動作である推定値を前記第２動作である推定値とした第２組み合わせを、前記他方の動画である前記第１動画に写された前記物体の動作を示す動作情報に決定し、
   前記紐付けステップは、前記第１動画と前記第２組み合わせとを紐付ける、情報処理方法。
6. 第１動作および前記第１動作と逆の動作である第２動作のうち、前記第１動作が写された第１動画を、前記第１動画を逆再生した第２動画に変換する変換ステップと、
   前記第１動画および前記第２動画のうち、一方の動画に写された前記物体の動作を示す動作情報を基にして、他方の動画に写された前記物体の動作を示す動作情報を決定する決定ステップと、
   前記他方の動画と前記決定ステップで決定された動作情報とを紐付ける紐付けステップと、
   前記第１動画について、前記第１動画に写された前記物体の動作が前記第１動作である推定値と前記第２動作である推定値とを算出し、かつ、前記第２動画について、前記第２動画に写された前記物体の動作が前記第２動作である推定値と前記第１動作である推定値とを機械学習部により算出する算出ステップと、をコンピューターに実行させる情報処理プログラムであって、
   前記紐付けステップは、前記第１動画について、前記算出ステップで算出した前記第１動作である推定値と前記第２動作である推定値との組み合わせである第１組み合わせを、前記第１動画に写された前記物体の動作を示す動作情報として、前記第１動画とを紐付け、
   前記決定ステップは、前記一方の動画である前記第２動画について、前記算出ステップで算出した前記第２動作である推定値を前記第１動作である推定値とし、前記算出ステップで算出した前記第１動作である推定値を前記第２動作である推定値とした第２組み合わせを、前記他方の動画である前記第１動画に写された前記物体の動作を示す動作情報に決定し、
   前記紐付けステップは、前記第１動画と前記第２組み合わせとを紐付ける、情報処理プログラム。

Images