JP7369783B2 - 情報処理方法、プログラム及び情報処理装置 - Google Patents

Description

本開示は、情報処理方法、プログラム及び情報処理装置に関する。

従来、過去の自車両の移動情報と、カメラに映る物体の過去数フレームの位置情報とを利用して、将来の物体の位置を予測する技術が提案されている（例えば、非特許文献１）。非特許文献１に開示された技術では、将来のある時点の物体の位置を予測する。

また、物体の将来のある時点の位置を予測し、予測した位置を用いて時系列の次の時点の物体の位置を予測する予測処理を再帰的に実行して、将来の物体の位置を次々と予測していく技術が開示されている（例えば、特許文献１）。

国際公開第２０１７／０２９９２４号

Long-Term On-Board Prediction of People in Traffic Scenes under Uncertainty（CVPR2018）

しかしながら、特許文献１に開示された技術では、予測処理が再帰的に繰り返されることにより計算量が増大してしまうおそれがあった。また、複数の物体の位置（画像上の位置及びサイズの少なくとも１つ）から物体の動きを認識することが考えられる。

そこで、本開示は、物体の動きの認識に適した計算量の予測処理が可能な情報処理方法等を提供する。

本開示に係る情報処理方法は、物体が映る時系列の複数の画像から、前記物体の位置及びサイズの少なくとも１つを複数含む第１情報を取得し、前記第１情報に基づいて、時系列の次の時点の前記物体の位置及びサイズの少なくとも１つを含む第２情報を予測する予測処理を実行し、前記第１情報と前記第２情報とに基づいて、前記予測処理を再帰的に実行して前記次の時点のさらに次の時点の前記物体の前記第２情報を予測し、前記第２情報に基づいて、前記物体の動きを認識する認識処理を実行し、前記認識処理の結果に基づいて、前記予測処理の再帰回数を決定する。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様に係る情報処理方法等によれば、物体の動きの認識に適した計算量の予測処理が可能である。

図１は、将来のある時点の物体の位置を予測するだけでは物体の動きの予測が困難であることを説明するための図である。 図２は、再帰的に実行される予測処理を説明するための図である。 図３は、実施の形態に係る情報処理装置の構成の一例を示すブロック図である。 図４は、実施の形態に係る情報処理方法の一例を示すフローチャートである。 図５は、実施の形態に係る予測処理の具体例を示すフローチャートである。

（本開示の一態様を得るに至った経緯）
まず、本開示の一態様を得るに至った経緯について、図１及び図２を用いて説明する。

図１は、将来のある時点の物体の位置を予測するだけでは物体の動きの予測が困難であることを説明するための図である。

図２は、再帰的に実行される予測処理を説明するための図である。

非特許文献１に開示されるように、オドメトリ等を用いて算出された過去の自車両の移動情報と、カメラに映る物体の過去数フレームの位置情報とを利用して、将来の時刻Ｍの物体の位置を予測することができる。しかし、図１に示されるように、時刻Ｍ以降の物体の動きは、時刻Ｍの物体の予測位置だけからではわからず、時刻Ｍ以降の物体の行動又は意図の予測は難しい。図１に示される例では、時刻Ｍでの予測位置にいる人が、車両の前方に飛び出してくるかもしれないし、車両の進行方向と平行に進むかもしれないし、車両から遠ざかるかもしれないが、これらの時刻Ｍ以降の人の動きの予測は困難となっている。

そこで、特許文献１に開示されるように、予測処理を再帰的に実行することで、時刻Ｍ以降の物体の動きを予測することができる。具体的には、図２に示されるように、まず、物体が映る時刻Ｎまでの複数の画像から抽出される時刻Ｎまでの物体の位置情報等のデータセットを用いて、時刻Ｎ以降の将来の特定の時刻Ｍでの物体の位置情報等を予測する。次に、予測した時刻Ｍでの物体の位置情報等をデータセットに加えて、当該データセットを用いて時刻Ｍの次の時刻（例えば時刻Ｍの次のフレームに対応する時刻）での物体の位置情報等を予測する。そして、予測した時刻Ｍ＋１での物体の位置情報等をさらにデータセットに加えて、当該データセットを用いて時刻Ｍ＋１の更に次の時刻（例えば時刻Ｍ＋２）での物体の位置情報等を予測する。これを時刻Ｍ＋ｔまで繰り返すことで、時刻Ｍから時刻Ｍ＋ｔまでの物体の位置列、つまり物体の動きを予測することができる。

しかしながら、特許文献１では、上記ｔをどの程度にするか、言い換えると、予測処理を再帰的に実行する回数（以下、再帰回数）をどの程度にするかが開示されていない。このため、ｔが小さ過ぎる場合には、物体の動きを認識するための物体の位置（画像上の位置及びサイズの少なくとも１つ）の情報が不十分となってしまうことがある。言い換えると、再帰回数が少ないと、物体の位置は予測できていても、物体の動きの認識のためには物体の位置という情報の量が不足する。また、ｔが大き過ぎる場合には、物体の動きを認識するための計算量が増加してしまう。言い換えると、再帰回数が多いと、予測処理の実行回数が増えて計算量が増加する。

そこで、本開示の一態様に係る情報処理方法は、物体が映る時系列の複数の画像から、前記物体の位置及びサイズの少なくとも１つを複数含む第１情報を取得し、前記第１情報に基づいて、時系列の次の時点の前記物体の位置及びサイズの少なくとも１つを含む第２情報を予測する予測処理を実行し、前記第１情報と前記第２情報とに基づいて、前記予測処理を再帰的に実行して前記次の時点のさらに次の時点の前記物体の前記第２情報を予測し、前記第２情報に基づいて、前記物体の動きを認識する認識処理を実行し、前記認識処理の結果に基づいて、前記予測処理の再帰回数を決定する。

このように、物体の動きの認識結果に基づいて予測処理の再帰回数が決定されることにより、再帰回数を物体の動きの認識に過不足ない回数に決定することができる。例えば、再帰回数が少な過ぎることによって、物体の動きを認識するための情報が不十分となって動きの認識（ひいては認識した動きに基づく処理）が失敗してしまうことを抑制することができる。また、例えば、再帰回数が多過ぎることによって、計算量が増加してしまうことを抑制でき、あるいは、余計な位置を予測することで、動きの認識を失敗してしまうことを抑制することができる。このように、物体の動きの認識結果に応じて再帰回数を決定することができるため、物体の動きの認識性能と計算量とを両立させることができる。言い換えると、物体の動きの認識に適した計算量の予測処理が可能となる。なお、物体の動きには、予測処理の再帰回数を少なくした方がよい動きもあれば、予測処理の再帰回数を多くした方がよい動きもある。これに対し、例えば、物体の動きと再帰回数との対応関係を示すテーブルを予め作成しておいたり、物体の動きに応じて再帰回数を算出するための関数等を予め作成しておいたりすることができる。このため、物体の動きを認識することで、認識した動きに応じた再帰回数を決定することができる。

また、前記認識処理は、前記第２情報及び前記第１情報に基づいて実行されるとしてもよい。

これによれば、予測された第２情報だけでなく、第２情報を予測するために例えば予め用意しておいた第１情報も認識処理に用いることで、認識処理の精度を高めることができる。

また、前記物体の動きは、移動方向を含むとしてもよい。

物体の動きとして移動方向には、予測処理の再帰回数を少なくした方がよい移動方向もあれば、予測処理の再帰回数を多くした方がよい移動方向もある。このため、例えば、物体の移動方向と再帰回数との対応関係を示すテーブルを予め作成しておいたり、物体の移動方向に応じて再帰回数を算出するための関数等を予め作成しておいたりして、物体の移動方向を認識することで、認識した移動方向に応じた再帰回数を決定することができる。

また、前記物体の動きは、移動方向の変化パターンを含むとしてもよい。

物体の動きとして移動方向の変化パターンには、予測処理の再帰回数を少なくした方がよい移動方向の変化パターンもあれば、予測処理の再帰回数を多くした方がよい移動方向の変化パターンもある。このため、例えば、物体の移動方向の変化パターンと再帰回数との対応関係を示すテーブルを予め作成しておいたり、物体の移動方向の変化パターンに応じて再帰回数を算出するための関数等を予め作成しておいたりして、物体の移動方向の変化パターンを認識することで、認識した移動方向の変化パターンに応じた再帰回数を決定することができる。

また、前記物体の動きは、移動の速さを含むとしてもよい。

物体の動きとして移動の速さには、予測処理の再帰回数を少なくした方がよい移動の速さもあれば、予測処理の再帰回数を多くした方がよい移動の速さもある。このため、例えば、物体の移動の速さと再帰回数との対応関係を示すテーブルを予め作成しておいたり、物体の移動の速さに応じて再帰回数を算出するための関数等を予め作成しておいたりして、物体の移動の速さを認識することで、認識した移動の速さに応じた再帰回数を決定することができる。

また、前記予測処理の再帰回数の決定では、前記認識処理の結果である認識された前記物体の動きの度合いに応じて前記予測処理の再帰回数を決定するとしてもよい。

これによれば、物体の動きの度合いに応じて予測処理の再帰回数を多くするか少なくするかを決定することができる。

例えば、前記予測処理の再帰回数の決定では、前記物体の動きの度合いが大きいほど少ない値に前記予測処理の再帰回数を決定し、又は前記物体の動きの度合いが小さいほど多い値に前記予測処理の再帰回数を決定するとしてもよい。

例えば、物体の動きの度合いが大きい場合、物体が周囲に与える影響又は物体が周囲から受ける影響は大きく、物体の動きの度合いが小さい場合よりも予測処理の再帰回数を少ない値にすることで、予測処理を早めに終了して物体の行動又は意図に応じた制御等をすぐに行うことができる。また、物体の動きの度合いが大きい場合、フレーム毎の画像に映る物体の動きの変化が大きく、このような動きに対して予測処理の再帰回数を多くすると、物体の動きの予測の可能性が広がってしまい予測精度が落ちてしまう。そこで、物体の動きの度合いが大きい場合、物体の動きの度合いが小さい場合よりも予測処理の再帰回数を少ない値にすることで、物体の動きの予測精度を落ちにくくすることができる。また、物体の動きの度合いが小さい場合、物体が周囲に与える影響又は物体が周囲から受ける影響は小さく、物体の動きの度合いが大きい場合よりも予測処理の再帰回数を多い値にすることで、継続的に予測処理を行って今後の物体の行動又は意図に備えることができる。また、物体の動きの度合いが小さい場合、フレーム毎の画像に映る物体が動きの変化が小さく、このような動きに対して予測処理の再帰回数を多くしたとしても、予測精度が落ちにくい。

また、前記予測処理の再帰回数の決定では、前記認識処理の結果である認識された前記物体の動きの種類に応じて前記予測処理の再帰回数を決定するとしてもよい。

これによれば、物体の動きの種類に応じて予測処理の再帰回数を決定することができる。このため、上記のようなテーブルでの処理が容易となる。

また、前記予測処理の再帰回数の決定では、前記認識処理の結果である認識された前記物体の動きの認識率に応じて前記予測処理の再帰回数を決定するとしてもよい。

これによれば、物体の動きの認識率に応じて予測処理の再帰回数を決定することができる。このため、認識率が低い場合は再帰回数を増やすことで認識できる可能性を高めることができる。また、認識率が閾値以上となった動きに対して再帰回数を決定することにより、誤った動きに応じて再帰回数が決定されることを抑制できる。

また、本開示の一態様に係るプログラムは、上記の情報処理方法をコンピュータに実行させるためのプログラムである。

これによれば、物体の動きの認識に適した計算量の予測処理が可能なプログラムを提供できる。

また、本開示の一態様に係る情報処理装置は、物体が映る時系列の複数の画像から、前記物体の位置及びサイズの少なくとも１つを複数含む第１情報を取得する取得部と、前記第１情報に基づいて、時系列の次の時点の前記物体の位置及びサイズの少なくとも１つを含む第２情報を予測する予測処理を実行し、前記第１情報と前記第２情報とに基づいて、前記予測処理を再帰的に実行して前記次の時点のさらに次の時点の前記物体の前記第２情報を予測する予測部と、前記第２情報に基づいて、前記物体の動きを認識する認識処理を実行する認識部と、前記認識処理の結果に基づいて、前記予測処理の再帰回数を決定する決定部と、を備える。

これによれば、物体の動きの認識に適した計算量の予測処理が可能な情報処理装置を提供できる。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。

（実施の形態）
以下、図３から図５を用いて実施の形態について説明する。

図３は、実施の形態に係る情報処理装置１０の構成の一例を示すブロック図である。

情報処理装置１０は、カメラ等による撮像により得られる物体が映る時系列の複数の画像を用いて物体の将来の動きを予測する装置である。例えば、情報処理装置１０は、車両に搭載される装置であってもよく、車両と無線通信可能なサーバ装置であってもよい。この場合、情報処理装置１０は、物体として当該車両の周囲の人、動物又は車両等の将来の動きを予測する。また、例えば、情報処理装置１０は、屋内に設置される装置であってもよく、屋内で使用される装置と通信可能なサーバ装置であってもよい。この場合、情報処理装置１０は、物体として屋内の人又は動物等の将来の動きを予測する。

情報処理装置１０は、取得部１１、予測部１２、認識部１３、決定部１４、出力部１５、第１記憶部１６及び第２記憶部１７を備える。情報処理装置１０は、プロセッサ及びメモリ等を含むコンピュータである。メモリは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、プロセッサにより実行されるプログラムを記憶することができる。なお、第１記憶部１６及び第２記憶部１７は、メモリの一例である。第１記憶部１６、第２記憶部１７は、それぞれ同じメモリによって実現されてもよいし、異なるメモリによって実現されてもよい。取得部１１、予測部１２、認識部１３、決定部１４及び出力部１５は、メモリに格納されたプログラムを実行するプロセッサ等によって実現される。なお、情報処理装置１０を構成する構成要素は、複数のコンピュータ（サーバ装置等）に分散して配置されてもよい。

第１記憶部１６は、物体が映る時系列の複数の画像を記憶する。例えば、情報処理装置１０が車両に搭載される装置である場合、又は、車両と無線通信可能なサーバ装置である場合、第１記憶部１６は、車両に搭載されたカメラでの撮影によって得られた現在までの複数の画像を蓄積する。この場合、第１記憶部１６は、オドメトリのための情報、例えば、車両の現在までのタイヤの回転角等の情報を記憶していてもよい。また、例えば、情報処理装置１０が屋内に設置される装置である場合、又は、屋内で使用される装置と通信可能なサーバ装置である場合、第１記憶部１６は、屋内に設置されたカメラでの撮影によって得られた現在までの複数の画像を蓄積する。

第２記憶部１７は、予測部１２によって予測された第２情報を記憶する。第２情報については後述する。

プログラムを実行するプロセッサ等によって実現される取得部１１、予測部１２、認識部１３、決定部１４及び出力部１５の機能について、図４を用いて説明する。

図４は、実施の形態に係る情報処理方法の一例を示すフローチャートである。例えば、実施の形態に係る情報処理方法は、情報処理装置１０が備えるプロセッサによって実行される方法である。つまりこの場合、図４は、取得部１１、予測部１２、認識部１３、決定部１４及び出力部１５の動作を示すフローチャートでもある。

取得部１１は、物体が映る時系列の複数の画像から、物体の位置及びサイズの少なくとも１つを複数含む第１情報を取得する（ステップＳ１１）。例えば、第１記憶部１６には、現在までのカメラ等による撮影によって取得された複数の画像が記憶されており、取得部１１は、第１記憶部１６に記憶された複数の画像から第１情報を取得する。例えば、取得部１１は、複数の画像のそれぞれ毎に物体の位置及びサイズの少なくとも１つを抽出することで第１情報を取得する。第１情報は、物体の位置のみを複数含んでいてもよいし、物体のサイズのみを複数含んでいてもよいし、物体の位置及びサイズをそれぞれ複数含んでいてもよい。複数の画像のそれぞれに映る物体の位置によって物体の二次元上の動きを認識することができ、複数の画像のそれぞれに映る物体のサイズによって物体の奥行き方向の動きを認識することができる。なお、位置は、画像上の二次元の位置に限らず、三次元の位置であってもよい。三次元の位置には物体の奥行き方向の動きを認識することができる奥行き情報が含まれており、この場合、第１情報にはサイズが含まれていなくてもよい。

なお、情報処理装置１０が車両に搭載される装置である場合、又は、車両と無線通信可能なサーバ装置である場合、車両に搭載されたカメラに映る物体の位置又はサイズは、物体自身の移動だけでなく、車両の移動によっても変化する。そこで、取得部１１は、オドメトリのための情報を取得してもよい。これにより、車両に搭載されたカメラに映る物体の位置又はサイズが車両の移動による影響を受けていた場合に、オドメトリによって車両の位置の変化を推定でき、車両に搭載されたカメラに映る物体の位置又はサイズの変化から車両の位置の変化による影響分を差し引くことができる。つまり、第１情報に含まれる物体の位置又はサイズの複数の画像毎の変化を物体自身の移動による変化とすることができる。なお、オドメトリのための情報を用いなくても、カメラに映る建物、看板又は信号機等の固定物の位置又はサイズの変化から車両の位置の変化を推定できるため、取得部１１は、オドメトリのための情報を取得しなくてもよい。

予測部１２は、第１情報に基づいて、時系列の次の時点の物体の位置及びサイズの少なくとも１つを含む第２情報を予測する予測処理を実行し、第１情報と第２情報とに基づいて、予測処理を再帰的に実行して次の時点のさらに次の時点の物体の第２情報を予測する（ステップＳ１２）。予測部１２の動作について図２を再度用いて説明する。

まず、予測部１２は、物体が映る時系列の複数の画像（例えば図２では、時刻０から時刻Ｎまでの画像）から抽出される時刻Ｎまでの物体の位置及びサイズの少なくとも１つを複数含む第１情報に基づいて、時系列の次の時点である時刻Ｍでの物体の位置及びサイズの少なくとも１つを含む第２情報を予測する予測処理を実行する。次に、予測部１２は、第１情報と、予測した時刻Ｍでの物体の第２情報とに基づいて、予測処理を再帰的に実行して、時刻Ｍのさらに次の時点（例えば時刻Ｍ＋１）の物体の第２情報を予測する。予測処理を再帰的に実行するとは、予測処理を実行して予測した物体の第２情報を用いて再度予測処理を行って次の時点の物体の第２情報を予測し、その予測した第２情報を用いて再度予測処理を行ってさらに次の時点の第２情報を予測するということを繰り返していくことで、将来の物体の第２情報を次々と予測していくことである。

例えば、予測部１２によって予測された第２情報は第２記憶部１７に記憶され再帰的に予測処理が行われる毎に追加されていき、取得部１１は、第１記憶部１６から第１情報を取得し、第２記憶部１７から第２情報を取得し、予測部１２は、取得部１１が取得した第１情報と第２情報とに基づいて予測処理を再帰的に実行する。

認識部１３は、第２情報に基づいて、物体の動きを認識する認識処理を実行する（ステップＳ１３）。例えば、認識部１３は、認識処理を実行する際に、予測処理を再帰的に実行して予測される少なくとも２つの時点の第２情報を用いる。なお、認識処理は、第２情報及び第１情報に基づいて実行されてもよい。つまり、認識部１３は、少なくとも第２情報に基づいて物体の動きを認識するが、第２情報に加えて第１情報にも基づいて認識処理を実行してもよい。この場合、認識部１３は、第１情報に含まれる複数の画像の全てについての複数の位置、複数のサイズ又は複数の位置及びサイズを用いてもよいし、複数の画像のうちの少なくとも１つについての位置、サイズ又は位置及びサイズを用いてもよい。例えば、認識部１３は、認識処理を実行する際に、予測処理を再帰的に実行して予測される少なくとも１つの時点の第２情報と、第１情報に含まれる複数の画像のうちの少なくとも１つについての位置、サイズ又は位置及びサイズを用いる。

物体の動きは、例えば、移動方向を含む。つまり、認識部１３は、物体がどの方向に移動しているかを認識する。例えば、物体の移動方向は、物体の２つの位置、２つのサイズ、又は、２つの位置及び２つのサイズの両方から求めることができる。

また、物体の動きは、例えば、移動方向の変化パターンを含む。つまり、認識部１３は、物体の移動方向がどのように変化しているかを認識する。例えば、認識部１３は、物体がふらついているか、直進しているかを認識する。例えば、物体の移動方向の変化パターンは、物体の３つ以上の位置、３つ以上のサイズ、又は、３つ以上の位置及び３つ以上のサイズの両方から求めることができる。

また、物体の動きは、例えば、移動の速さを含む。つまり、認識部１３は、物体の移動の速さを認識する。例えば、認識部１３は、物体（例えば人）が歩いているか、走っているか、止まっているかを認識する。例えば、物体の移動の速さは、物体の２つの位置、２つのサイズ、又は、２つの位置及び２つのサイズの両方と、２つの位置又は２つのサイズに対応する２つの画像が撮影された時間間隔から求めることができる。

決定部１４は、認識処理の結果に基づいて予測処理の再帰回数を決定する（ステップＳ１４）。例えば、決定部１４は、認識処理の結果である認識された物体の動きの度合いに応じて予測処理の再帰回数を決定する。具体的には、決定部１４は、物体の動きの度合いが大きいほど少ない値に予測処理の再帰回数を決定し、又は、物体の動きの度合いが小さいほど多い値に予測処理の再帰回数を決定する。物体の動きの度合いが大きいとは、例えば、物体がふらついていたり、走っていたりする場合である。物体の動きの度合いが小さいとは、例えば、物体が直進していたり、歩いていたり、寝ていたりする場合である。

物体の動きの度合いが大きい場合、物体が周囲に与える影響又は物体が周囲から受ける影響は大きく、物体の動きの度合いが小さい場合よりも予測処理の再帰回数を少ない値にすることで、予測処理を早めに終了して物体の行動又は意図に応じた制御等をすぐに行うことができる。例えば、決定部１４は、物体がふらついている場合には、少ない値に予測処理の再帰回数を決定する。これにより、例えば車両は、ふらついている物体の行動に応じた動作（例えばスピードを落とす又は物体から離れるといった制御等）をすぐに行うことができる。また、例えば、決定部１４は、物体が屋内を走っている場合には、少ない値に予測処理の再帰回数を決定する。これにより、例えば、屋内の装置は、走っている物体の意図に応じた動作（例えば物体が急いで行おうとしていることを補助する制御等）をすぐに行うことができる。

また、物体の動きの度合いが大きい場合、フレーム毎の画像に映る物体の動きの変化が大きく、このような動きに対して予測処理の再帰回数を多くすると、物体の動きの予測の可能性が広がってしまい予測精度が落ちてしまう。そこで、物体の動きの度合いが大きい場合、予測処理の再帰回数を少ない値にすることで、物体の動きの予測精度を落ちにくくすることができる。

また、物体の動きの度合いが小さい場合、物体が周囲に与える影響又は物体が周囲から受ける影響は小さく、物体の動きの度合いが大きい場合よりも予測処理の再帰回数を多い値にすることで、継続的に予測処理を行って今後の物体の行動又は意図に備えることができる。例えば、決定部１４は、物体が直進している場合には、多い値に予測処理の再帰回数を決定する。これにより、例えば車両は、直進している物体の今後の行動に対応できるようになる。また、例えば、決定部１４は、物体が屋内を歩いている場合には、少ない値に予測処理の再帰回数を決定する。これにより、例えば、屋内の装置は、歩いている物体の今後の意図に対応できるようになる。

また、物体の動きの度合いが小さい場合、フレーム毎の画像に映る物体が動きの変化が小さく、このような動きに対して予測処理の再帰回数を多くしたとしても、予測精度が落ちにくい。

なお、決定部１４は、物体の移動方向に基づいて予測処理の再帰回数を決定してもよい。例えば、決定部１４は、物体の移動方向が車両の前方に向かう方向である場合には、少ない値に予測処理の再帰回数を決定する。これにより、例えば車両は、車両の前方に飛び出そうとする物体の行動に応じた動作（例えば回避制御等）をすぐに行うことができる。また、例えば、決定部１４は、物体の移動方向が車両から遠ざかる方向である場合には、少ない値に予測処理の再帰回数を決定する。これにより、例えば車両は、車両から遠ざかる物体の今後の行動に対応できるようになる。

出力部１５は、予測処理が決定された再帰回数行われることで予測される物体の動きの予測結果を出力する（ステップＳ１５）。出力部１５は、予測結果を例えば車両又は屋内の装置に出力する。

次に、再帰的に行われる予測処理の具体例について図５を用いて説明する。

図５は、実施の形態に係る予測処理の具体例を示すフローチャートである。

まず、予測部１２は、推定時間ｔを初期化し、ｘを１に初期化する（ステップＳ２１）。推定時間ｔは、再帰的に実行される予測処理を行う時間であり、上述した再帰回数に対応している。例えば、推定時間ｔが１分の場合に、予測処理が１秒に１度行われるときには、１分の推定時間は６０回の再帰回数に対応する。推定時間ｔは例えば変数であり、認識部１３での認識結果に応じた値が代入される。推定時間ｔの初期値は情報処理装置１０の用途に応じて適宜決定される。ｘは、再帰的に実行される予測処理を終了するか否かを判断するためのものであり、例えば、予測処理が実行される毎にインクリメントされる変数である。つまり、ｘは、これまでに行った予測処理の時間又は回数を表現するものである。

次に、予測部１２は、時刻Ｎ＋ｘでの物体の第２情報を予測する（ステップＳ２２）。予測部１２は、ｘを初期化した後初めての予測の場合、つまり、ｘが１の場合、時刻Ｎまでの第１情報を使用して第２情報を予測する。次回以降ステップＳ２２での処理を行う際には、これまでに予測した第２情報も使用して再帰的に予測処理が行われ、前回予測した時点の次の時点での物体の第２情報が次々と予測されていく。

次に、認識部１３は、予測部１２での予測結果に基づいて物体の動きを認識する（ステップＳ２３）。このとき、認識部１３は、時刻Ｎまでの第１情報も用いて物体の動きを認識してもよい。物体の動きを認識する際に、予測された将来の物体の位置又はサイズの情報だけでなく過去の物体の位置又はサイズの情報も用いることで、認識処理の精度を高めることができる。なお、認識部１３は、直近に予測された第２情報を用いて、物体の最新の動きを認識してもよい。

次に、決定部１４は、認識部１３での認識結果に基づいて推定時間ｔを更新する（ステップＳ２４）。例えば、情報処理装置１０には、認識結果（例えば物体の動きの種類）毎に推定時間ｔが対応付けられたテーブルが記憶されており、決定部１４は、認識結果を当該テーブルに照合することで、これまでの推定時間ｔを認識結果に対応する推定時間ｔに更新する。例えば、認識結果が前回の予測処理の際の認識結果と同じ場合には、推定時間ｔが維持される、言い換えると、同じ値に更新される。例えば、推定時間ｔの更新には、認識率が閾値以上の認識結果が用いられる。また、認識結果と推定時間ｔとは一対一の関係でなくてもよく、推定時間ｔは、例えば、認識結果の認識率（具体的には物体の動きの認識率）に応じた関数等から算出されてもよい。例えば、物体がふらついていると認識されたときに、ふらついていることの認識率が高いほど推定時間ｔが小さくなるような関数を用いて推定時間ｔが算出されてもよい。

このように、決定部１４は、認識処理の結果である認識された物体の動きの種類に応じて予測処理の再帰回数を決定してもよい。これにより、物体の動きの種類に応じて予測処理の再帰回数を決定することができる。このため、上記のようなテーブルでの処理が容易となる。また、決定部１４は、認識処理の結果である認識された物体の動きの認識率に応じて予測処理の再帰回数を決定してもよい。これにより、物体の動きの認識率に応じて予測処理の再帰回数を決定することができる。このため、認識率が低い場合は再帰回数を増やすことで認識できる可能性を高めることができる。また、認識率が閾値以上となった動きに対して再帰回数を決定することにより、誤った動きに応じて再帰回数が決定されることを抑制できる。

次に、予測部１２は、ｘが推定時間ｔよりも小さいか否かを判定する（ステップＳ２５）。つまり、予測部１２は、これまでに行った予測処理の時間が推定時間ｔに達したか否かを判定する。

予測部１２は、ｘが推定時間ｔよりも小さいと判定した場合（ステップＳ２５でＹｅｓ）、ｘをインクリメントして（ステップＳ２６）、予測処理を再帰的に実行することを続ける。すなわち、ステップＳ２２以降の処理が再度行われる。一方で、予測部１２は、ｘが推定時間ｔ以上であると判定した場合（ステップＳ２５でＮｏ）、予測処理を再帰的に実行することを終了し、出力部１５は、再帰的に実行された予測処理による物体の動きの予測結果を出力する（ステップＳ２７）。これにより、物体の動きの予測結果を取得した車両又は屋内の装置等は、物体の将来の動きに基づいて、物体の行動又は意図に応じた制御が可能となる。

なお、推定時間ｔは、再帰的に実行される予測処理を終了するタイミングを決定できるものであれば、つまり、上述した再帰回数に対応するものであれば、特に限定されない。例えば、推定時間ｔの代わりに推定時刻又はフレーム数が用いられてもよい。この場合、ｘには、推定時刻又はフレーム数に対応したものが代入される。

以上説明したように、物体の動きの認識結果に基づいて予測処理の再帰回数が決定されることにより、再帰回数を物体の動きの認識に過不足ない回数に決定することができる。例えば、再帰回数が少な過ぎることによって、物体の動きを認識するための情報が不十分となって動きの認識（ひいては認識した動きに基づく処理）が失敗してしまうことを抑制することができる。また、例えば、再帰回数が多過ぎることによって、計算量が増加してしまうことを抑制でき、あるいは、余計な位置を予測することで、動きの認識を失敗してしまうことを抑制することができる。このように、物体の動きの認識結果に応じて再帰回数を決定することができるため、物体の動きの認識性能と計算量とを両立させることができる。言い換えると、物体の動きの認識に適した計算量の予測処理が可能となる。

（その他の実施の形態）
以上、本開示の一つ又は複数の態様に係る情報処理方法及び情報処理装置１０について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。

本開示は、情報処理方法に含まれるステップを、プロセッサに実行させるためのプログラムとして実現できる。さらに、本開示は、そのプログラムを記録したＣＤ－ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。

例えば、本開示が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリ及び入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、ＣＰＵがデータをメモリ又は入出力回路等から取得して演算したり、演算結果をメモリ又は入出力回路等に出力したりすることによって、各ステップが実行される。

なお、上記実施の形態において、情報処理装置１０に含まれる各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

上記実施の形態に係る情報処理装置１０の機能の一部又は全ては典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらに、本開示の主旨を逸脱しない限り、本開示の各実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本開示に含まれる。

本開示の情報処理方法等は、例えば、周囲の物体に応じた制御を行う車両等に搭載される装置に適用できる。

１０ 情報処理装置
１１ 取得部
１２ 予測部
１３ 認識部
１４ 決定部
１５ 出力部
１６ 第１記憶部
１７ 第２記憶部

Claims (11)

1. 物体が映る時系列の複数の画像から、前記物体の位置及びサイズの少なくとも１つを複数含む第１情報を取得し、
   前記第１情報に基づいて、時系列の次の時点の前記物体の位置及びサイズの少なくとも１つを含む第２情報を予測する予測処理を実行し、
   前記第１情報と前記第２情報とに基づいて、前記予測処理を再帰的に実行して前記次の時点のさらに次の時点の前記物体の前記第２情報を予測し、
   前記第２情報に基づいて、前記物体の動きを認識する認識処理を実行し、
   前記認識処理の結果に基づいて、前記予測処理の再帰回数を決定する
   情報処理方法。
2. 前記認識処理は、前記第２情報及び前記第１情報に基づいて実行される
   請求項１に記載の情報処理方法。
3. 前記物体の動きは、移動方向を含む
   請求項１又は２に記載の情報処理方法。
4. 前記物体の動きは、移動方向の変化パターンを含む
   請求項３に記載の情報処理方法。
5. 前記物体の動きは、移動の速さを含む
   請求項１～４のいずれか１項に記載の情報処理方法。
6. 前記予測処理の再帰回数の決定では、前記認識処理の結果である認識された前記物体の動きの度合いに応じて前記予測処理の再帰回数を決定する
   請求項１～５のいずれか１項に記載の情報処理方法。
7. 前記予測処理の再帰回数の決定では、
   前記物体の動きの度合いが大きいほど少ない値に前記予測処理の再帰回数を決定し、又は
   前記物体の動きの度合いが小さいほど多い値に前記予測処理の再帰回数を決定する
   請求項６に記載の情報処理方法。
8. 前記予測処理の再帰回数の決定では、前記認識処理の結果である認識された前記物体の動きの種類に応じて前記予測処理の再帰回数を決定する
   請求項１～７のいずれか１項に記載の情報処理方法。
9. 前記予測処理の再帰回数の決定では、前記認識処理の結果である認識された前記物体の動きの認識率に応じて前記予測処理の再帰回数を決定する
   請求項１～８のいずれか１項に記載の情報処理方法。
10. 請求項１～７のいずれか１項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
11. 物体が映る時系列の複数の画像から、前記物体の位置及びサイズの少なくとも１つを複数含む第１情報を取得する取得部と、
    前記第１情報に基づいて、時系列の次の時点の前記物体の位置及びサイズの少なくとも１つを含む第２情報を予測する予測処理を実行し、前記第１情報と前記第２情報とに基づいて、前記予測処理を再帰的に実行して前記次の時点のさらに次の時点の前記物体の前記第２情報を予測する予測部と、
    前記第２情報に基づいて、前記物体の動きを認識する認識処理を実行する認識部と、
    前記認識処理の結果に基づいて、前記予測処理の再帰回数を決定する決定部と、を備える
    情報処理装置。

Images