JP5849762B2 - 予測情報提示システム、予測情報提示装置、予測情報提示方法および予測情報提示プログラム - Google Patents

Description

本発明は、人間の行動予測の結果を提示するための予測情報提示システム、予測情報提示装置、予測情報提示方法および予測情報提示プログラムに関する。

近年のカメラデバイスの普及や、画像データの分析技術の発展に伴い、映像等の情報にもとづいて人々の行動を予測するシステムが実現されている。例えば、店舗において店内にビデオカメラを設置し、顧客の動線履歴を撮影し、分析することにより、来店した顧客の店内での動線を予測するシステムがある。また、予測技術の発展に伴い、このようなシステムが、日常生活を送っている際のユーザの周辺の他者の行動を予測することも可能になると予想される。

人物などの行動を予測するシステムでは、予測結果をユーザに提示する手段が必要である。例えば、システムがユーザの周辺の特定人物の行動を予測した時に、「誰がどのような行動を行うか」という予測内容をユーザが理解できる形で通知する必要がある。

例えば、店舗内の顧客動線を予測するシステムでは、顧客の数が少ない場合には、顧客が入店したタイミングなどをもとに予測対象となる顧客を特定し、その顧客をユーザに指し示すことができる。しかし、システムが、日常生活を送るユーザの周辺の人物の行動を予測する場合、その予測結果を、ユーザにわかりやすく伝えることが難しい。例えば、システムが、ユーザ周辺の特定の人物の行動を予測できたとしても、ユーザにその特定の人物を指し示すことができないため、予測結果を提示することが困難である。

車庫などの駐車位置からの移動時に、自車両の位置と、自車両の進行方向における道路端の位置や物体の相対位置とにもとづいて演算した予測結果（移動予測軌跡）を、自車両の周辺領域を撮影した画像上に重畳表示する装置がある（例えば、特許文献１参照。）。特許文献１に記載されている装置は、運転者に、自車両の周辺に存在する障害物と移動予測軌跡との相対位置を容易に認識させることができる。

撮像装置が撮影した人物や車両などの予測対象の画像と、３次元空間の予め定められた空間モデルとをもとに、予測対象を３次元空間における任意の仮想視点から見た画像データを生成し、表示する装置がある（例えば、特許文献２参照。）。特許文献２に記載されている装置は、撮像装置を搭載した物体、例えば、自車両の移動に関連する移動情報を、生成した画像データに重畳させて表示することにより、自車両が移動する場合に、予測される移動先の方位、地名、ランドマーク等に関する情報を、ユーザに直感的に認識させることができる。

特開２０１０−０４１４８８号公報 特開２００５−２６８８４７号公報

特許文献１および特許文献２に記載されている装置は、自車両の移動に関する情報を、ユーザに直感的に認識させることはできるが、予測対象となる物体の移動に関する情報を、ユーザに直感的に認識させることができない。

そこで、本発明は、ユーザ周辺の他者の行動予測の結果を直感的にユーザに認識させることができる予測情報提示システム、予測情報提示装置、予測情報提示方法および予測情報提示プログラムを提供することを目的とする。

本発明による予測情報提示システムは、映像情報を表示する表示装置と通信可能であって、予測対象者を撮影する撮像装置と、撮像装置が撮影した映像情報をもとに予測対象者の行動を予測し、予測した行動の内容を示す予測内容情報と、予測した行動の発生タイミングを示す予測タイミング情報とを含む予測情報を生成する予測装置と、予測情報提示装置とを備え、予測情報提示装置は、予測装置から入力した予測情報をもとに、予測した行動を映像として表した予測動作映像を生成し、撮像装置が撮影した映像情報に予測動作映像を重畳させた予測映像情報を生成する映像処理手段と、予測映像情報を表示装置に出力する出力手段とを含むことを特徴とする。

本発明による予測情報提示装置は、映像情報を表示する表示装置と通信可能であって、予測対象者を撮影した映像情報をもとに予測対象者の行動を予測する予測装置から、予測した行動の内容を示す予測内容情報と、予測した行動の発生タイミングを示す予測タイミング情報とを含む予測情報を入力し、入力した予測情報をもとに、予測した行動を映像として表した予測動作映像を生成し、予測対象者を撮影した映像情報に予測動作映像を重畳させた予測映像情報を生成する映像処理手段と、予測映像情報を表示装置に出力する出力手段とを含むことを特徴とする。

本発明による予測情報提示方法は、撮像装置が、予測対象者を撮影し、予測装置が、撮像装置が撮影した映像情報をもとに予測対象者の行動を予測し、予測した行動の内容を示す予測内容情報と、予測した行動の発生タイミングを示す予測タイミング情報とを含む予測情報を生成し、映像情報を表示する表示装置と通信可能な予測情報提示装置が、予測装置から入力した予測情報をもとに、予測した行動を映像として表した予測動作映像を生成し、撮像装置が撮影した映像情報に予測動作映像を重畳させた予測映像情報を生成し、予測映像情報を表示装置に出力することを特徴とする。

本発明による予測情報提示プログラムは、映像情報を表示する表示装置と通信可能なコンピュータに、予測対象者を撮影した映像情報をもとに予測対象者の行動を予測する予測装置から、予測した行動の内容を示す予測内容情報と、予測した行動の発生タイミングを示す予測タイミング情報とを含む予測情報を入力し、入力した予測情報をもとに、予測した行動を映像として表した予測動作映像を生成し、予測対象者を撮影した映像情報に予測動作映像を重畳させた予測映像情報を生成する処理と、予測映像情報を表示装置に出力する処理とを実行させることを特徴とする。

本発明によれば、ユーザ周辺の他者の行動予測の結果を直感的にユーザに認識させることができる。

本発明による予測情報提示システムの第１の実施形態の構成を示すブロック図である。 予測情報提示装置の予測情報蓄積部に格納される予測情報の一例を示す説明図である。 予測情報提示装置の予測映像生成部の動作を示すフローチャートである。 表示装置の表示部に表示される映像の一例を示す説明図である。 本発明による予測情報提示システムの主要部を示すブロック図である。

実施形態１．
以下、本発明の第１の実施形態を図面を参照して説明する。

図１は、本発明による予測情報提示システムの第１の実施形態の構成を示すブロック図である。

本発明の予測情報提示システムは、予測情報提示装置１００と、撮像装置２００と、予測装置３００と、表示装置４００とを備える。

予測情報提示装置１００は、撮像装置２００、予測装置３００および表示装置４００と、有線または無線で通信可能に接続される。

予測情報提示装置１００は、行動予測の結果を示す予測動作映像を生成し、生成した予測動作映像を表示装置４００に出力する。

撮像装置２００は、例えば、カメラである。撮像装置２００は、ユーザの周辺を撮影し、映像情報（以下、カメラ映像という。）を取得する。

予測装置３００は、撮像装置２００と有線または無線で通信可能に接続され、撮像装置２００からカメラ映像を入力する。

予測装置３００は、入力したカメラ映像をもとに、ユーザ周辺で発生する他者の行動を予測し、行動予測の結果を含む予測情報を生成する。

具体的には、予測装置３００は、入力したカメラ映像を蓄積し、一定時間以上蓄積したカメラ映像をもとに、カメラ映像内の人物の動きと、他の要因、例えば、時刻などとの相関を取得する。このとき、高い相関が得られた場合には、予測装置３００は、その相関関係にもとづいて、当該人物の行動を予測することができる。例えば、撮像装置２００が建物内のＴ字路などの分岐路を撮影した映像から、「午前の時間帯は右に曲がる人の割合が高く、午後の時間帯は左に曲がる人の割合が高い」という相関が得られた場合には、予測装置３００は、現在の時刻にもとづいて、カメラ映像内の人物の曲がる方向を予測することができる。

なお、本実施形態では、予測装置３００は、撮像装置２００から取得した情報のみをもとに予測を行っているが、撮像装置２００以外の機器から取得した情報をもとに、予測を行うようにしてもよい。

予測情報は、対象者識別情報と、予測内容情報と、予測タイミング情報とを含む。対象者識別情報は、予測対象となる人物（以下、予測対象者という。）を識別するための情報である。予測内容情報は、予測対象者の行動予測の内容を表す情報である。予測タイミング情報は、予測した行動の発生時刻や発生タイミングを表す情報である。なお、予測情報は、その他の情報を含んでいてもよい。

対象者識別情報は、顔認識処理によって予測対象者の顔画像から抽出した特徴量データや、予測対象者を管理するユーザ管理テーブルに対応づけられたＩＤ情報などである。ユーザ管理テーブルは、例えば、予測情報提示システムと通信可能なデータベース装置などに格納される。

表示装置４００は、予測情報提示装置１００が生成する情報を表示部（図示せず）に出力する。

表示装置４００は、例えば、ディスプレイである。本実施形態では、表示装置４００は、ユーザが装着可能なメガネ型のウェアラブルディスプレイである。

ここで、予測情報提示装置１００の構成の詳細について説明する。

予測情報提示装置１００は、映像入力部１１０と、予測情報入力部１２０と、予測情報蓄積部１３０と、予測映像生成部１４０と、映像出力部１５０とを含む。

映像入力部１１０は、撮像装置２００からカメラ映像を受信する。映像入力部１１０は、受信したカメラ映像を予測映像生成部１４０に出力する。

予測情報入力部１２０は、予測装置３００から予測情報を受信する。予測情報入力部１２０は、受信した予測情報を予測情報蓄積部１３０に出力する。

予測情報蓄積部１３０は、予測情報入力部１２０から入力した予測情報を蓄積する。

図２は、予測情報提示装置１００の予測情報蓄積部１３０に格納される予測情報の一例を示す説明図である。図２に示す例では、対象者識別情報として、ユーザ管理テーブルに紐付けられたＩＤ情報が用いられている。例えば、図２に示す「０００００１，２０１１／１１／１ １８：４５：００，起立」という予測情報は、対象者識別情報「０００００１」で示される人物が、時刻「２０１１／１１／１ １８：４５：００」に、「起立」という行動を行うであろう、という予測を表す。

なお、予測情報のフォーマットや形態は、図２に示す例に限定されず、予測情報提示装置１００が処理可能なフォーマットや形態であれば、その他のフォーマットや形態であってもよい。

予測映像生成部１４０は、予測情報蓄積部１３０に蓄積された予測情報にもとづいて、予測動作映像を生成する。予測動作映像は、人物映像であって、予測情報の内容を具体的な動作の映像で表現した情報である。予測映像生成部１４０は、カメラ映像に予測動作映像を重ね合わせた予測映像情報を生成する。予測映像生成部１４０は、生成した予測映像情報を映像出力部１５０に出力する。

映像出力部１５０は、予測映像生成部１４０から入力した予測映像情報を表示装置４００に出力する。

なお、予測映像生成部１４０、映像入力部１１０、予測情報入力部１２０、予測情報蓄積部１３０および映像出力部１５０は、予測情報提示装置１００が備えるＣＰＵによって実現される。

次に、本実施形態の動作を説明する。

図３は、予測情報提示装置１００の予測映像生成部１４０の動作を示すフローチャートである。図３を参照して、予測映像生成部１４０の動作の詳細を説明する。

まず、予測映像生成部１４０は、予測情報蓄積部１３０に格納された予測情報と、映像入力部１１０から入力したカメラ映像にもとづいて、表示すべき予測情報があるか否かを判定する（ステップＳ１１）。

具体的には、予測映像生成部１４０は、予測情報蓄積部１３０に格納された予測情報の中に、予測タイミングが示す時刻と現在時刻との差が既定時間内であって、かつ、カメラ映像に映る人物に対応する対象者識別情報を含む予測情報が存在するか否かを判定する。

カメラ映像に映る人物に対応する対象者識別情報を含む予測情報が存在するか否かの判定方法としては、例えば、顔認識処理を用いる方法がある。顔認識処理を用いる場合には、予測対象者の顔画像から抽出した特徴量データを、対象者識別情報として用いればよい。予測映像生成部１４０は、カメラ映像に映る人物の顔画像から特徴量データを抽出し、抽出した特徴量データと一致する対象者識別情報を含む予測情報が存在するか否かを判定する。なお、予測対象の人物がカメラ映像に含まれているか否かの判定方法は、その他の方法であってもよい。

次に、予測映像生成部１４０は、ステップＳ１１の判定において、表示すべき予測情報があると判断した場合には（ステップＳ１２のＹ）、ステップＳ１３以降の処理を実行する。

表示すべき予測情報が無いと判断した場合には（ステップＳ１２のＮ）、予測映像生成部１４０は、ステップＳ１１の処理に戻る。なお、予測映像生成部１４０は、ステップＳ１１の処理に戻る前に、一定時間待機してもよい。

次に、予測映像生成部１４０は、ステップＳ１１で検出された表示すべき予測情報の内容にもとづき、予測動作映像を生成する（ステップＳ１３）。

予測映像生成部１４０は、カメラ映像に映る予測対象者が、予測内容情報が示す行動を行っている映像、つまり、予測動作映像を生成する。予測動作映像を生成する方法としては、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などにより人物映像を合成する方法がある。

次に、予測映像生成部１４０は、ステップＳ１３で生成した予測動作映像と、映像入力部１１０が入力したカメラ映像とを合成して、予測映像情報を生成する（ステップＳ１４）。合成方法としては、カメラ映像に予測動作映像を重ね合わせて、新たな映像を生成する方法がある。

最後に、予測映像生成部１４０は、ステップＳ１４で生成した予測映像情報を、映像出力部１５０を介して、表示装置４００に送出する（ステップＳ１５）。

ステップＳ１１からＳ１５の処理により、予測情報提示装置１００は、カメラ映像に予測動作映像を重畳させた映像を、表示装置４００を介してユーザに提示することができる。

なお、撮像装置２００は、携帯可能なカメラ、例えば、ユーザが装着可能なメガネ型のカメラなどであってもよい。そのような構成によれば、撮像装置２００は、ユーザの視線方向を撮影することができる。従って、予測映像生成部１４０は、ユーザの視線方向、例えば、ユーザの目前にいる人物の予測動作映像を生成することができる。従って、「目前の人が歩き出す」などの予測をユーザに提示することができる。また、表示装置４００がメガネ型のディスプレイである場合には、撮像装置２００と表示装置４００とが一体となっていてもよい。

図４は、表示装置４００の表示部に表示される映像の一例を示す説明図である。図４（ａ）は、カメラ映像である。また、図４（ｂ）〜（ｄ）は、カメラ映像に予測動作映像を重ね合わせた映像である。図４（ｂ）〜（ｄ）は、「目前の人が３分後に歩き出す」という予測を示すために、図４（ｂ）、図４（ｃ）、図４（ｄ）の順に、中央に映る予測対象者が歩き出す様子を示す予測動作映像をカメラ映像に重ね合わせた映像である。

また、図４に示すように、予測映像生成部１４０は、予測動作映像に加えて、予測動作が発生するまでの時間または予測動作が発生する時刻を示す時間情報を、画像としてカメラ映像に重ね合わせるようにしてもよい。

以上に説明したように、本実施形態では、予測情報提示装置１００が、予測装置３００から受信した予測情報をもとに予測動作映像を生成し、予測動作映像を重ね合わせたカメラ映像を表示装置４００に出力する。そのため、ユーザは、予測情報を映像として認識することができるので、行動予測の結果を直感的に認識することができる。

また、本実施形態では、予測映像生成部１４０は、ステップＳ１１において、表示すべき予測情報の有無を判断しているが、表示すべき予測情報の有無を判断せずに、予測装置３００から入力される予測情報をすべて表示するようにしてもよい。

また、本実施形態では、人物の行動を予測の対象としているが、人物以外の動作、例えば、生物、乗り物、機械などの動作を予測の対象としてもよい。その場合には、生物、乗り物、機械などの画像から抽出した特徴量データなどを、対象者識別情報として予測情報に格納するようにすればよい。

また、表示装置４００がメガネ型のディスプレイであって、透過（シースルー）型の表示部を備えている場合には、予測映像生成部１４０は、カメラ映像と予測動作映像とを合成せずに、予測動作映像のみを映像出力部１５０に出力するようにしてもよい。その際、予測映像生成部１４０が、予測動作映像の表示位置を適切に設定することにより、シースルー型の表示部を介して見える背景、つまり、ユーザの視界に、予測動作映像を重ね合わることができる。

図５は、本発明による予測情報提示システムの主要部を示すブロック図である。図５に示すように、予測情報提示システムは、映像情報を表示する表示装置４０（図１に示す表示装置４００に相当。）と通信可能であって、予測対象者を撮影する撮像装置２０（図１に示す撮像装置２００に相当。）と、撮像装置２０が撮影した映像情報をもとに予測対象者の行動を予測し、予測した行動の内容を示す予測内容情報と、予測した行動の発生タイミングを示す予測タイミング情報とを含む予測情報を生成する予測装置３０（図１に示す予測装置３００に相当。）と、予測情報提示装置１０（図１における予測情報提示装置１００に相当。）とを備え、予測情報提示装置１０は、予測装置から入力した予測情報をもとに、予測した行動を映像として表した予測動作映像を生成し、撮像装置が撮影した映像情報に予測動作映像を重畳させた予測映像情報を生成する映像処理手段１１（図１に示す予測情報提示装置１００における映像入力部１１０、予測情報入力部１２０、予測情報蓄積部１３０および予測映像生成部１４０相当。）と、予測映像情報を表示装置に出力する出力手段１２（図１に示す予測情報提示装置１００における映像出力部１５０に相当。）とを含む。

また、上記の実施形態には、以下のような予測情報提示システムも開示されている。

（１）予測装置３０が、予測対象者の識別情報を予測情報に格納し、映像処理手段１１が、識別情報をもとに、撮像装置２０が撮影した映像に映る人物の中から予測対象者を特定し、特定した予測対象者の予測動作映像を生成する予測情報提示システム。

そのような構成によれば、映像処理手段１１は、撮像装置２０が撮影した映像に複数の人物が映っている場合であっても、予測対象者を特定することができる。また、撮像装置２０が撮影した映像に複数の予測対象者が映っている場合であっても、それぞれの予測対象者に応じた予測映像を生成することができる。

（２）映像処理手段１１が、予測情報に含まれる予測タイミング情報から、予測動作が発生するまでの時間、または、予測動作の発生時刻を示す時間情報を取得し、予測映像情報に時間情報を重畳する予測情報提示システム。

そのような構成によれば、予測動作映像が示す予測動作がいつ発生するのかをユーザに提示することができるので、ユーザは、より詳細な予測内容を認識することができる。

（３）撮像装置２０が、ユーザの頭部に装着可能であって、ユーザの視野方向を撮影する予測情報提示システム。

そのような構成によれば、任意の場所において、ユーザの目前にいる人物を予測対象にすることができる。

また、上記の実施形態には、以下のような予測情報提示装置も開示されている。

（４）映像情報を表示する表示装置４０と通信可能であって、予測対象者を撮影した映像情報をもとに予測対象者の行動を予測する予測装置３０から、予測した行動の内容を示す予測内容情報と、予測した行動の発生タイミングを示す予測タイミング情報とを含む予測情報を入力し、入力した予測情報をもとに、予測した行動を映像として表した予測動作映像を生成し、予測対象者を撮影した映像情報に予測動作映像を重畳させた予測映像情報を生成する映像処理手段１１と、予測映像情報を表示装置に出力する出力手段１２とを含む予測情報提示装置。

（５）映像処理手段１２が、予測情報に含まれる予測対象者の識別情報をもとに、撮像装置が撮影した映像に映る人物の中から予測対象者を特定し、特定した予測対象者の予測動作映像を生成する予測情報提示装置。

そのような構成によれば、映像処理手段１１は、撮像装置２０が撮影した映像に複数の人物が映っている場合であっても、予測対象者を特定することができる。また、撮像装置２０が撮影した映像に複数の予測対象者が映っている場合であっても、それぞれの予測対象者に応じた予測映像を生成することができる。

１０、１００ 予測情報提示装置
１１ 映像処理手段
１２ 出力手段
２０、２００ 撮像装置
３０、３００ 予測装置
４０、４００ 表示装置
１１０ 映像入力部
１２０ 予測情報入力部
１３０ 予測情報蓄積部
１４０ 予測映像生成部
１５０ 映像出力部

Claims (8)

1. 映像情報を表示する表示装置と通信可能であって、
   予測対象者を撮影する撮像装置と、
   前記撮像装置が撮影した映像情報をもとに前記予測対象者の行動を予測し、予測した前記行動の内容を示す予測内容情報と、予測した前記行動の発生タイミングを示す予測タイミング情報とを含む予測情報を生成する予測装置と、
   予測情報提示装置とを備え、
   前記予測情報提示装置は、
   前記予測装置から入力した前記予測情報をもとに、予測した前記行動を映像として表した予測動作映像を生成し、前記撮像装置が撮影した映像情報に前記予測動作映像を重畳させた予測映像情報を生成する映像処理手段と、
   前記予測映像情報を前記表示装置に出力する出力手段とを含む
   ことを特徴とする予測情報提示システム。
2. 予測装置は、予測対象者の識別情報を予測情報に格納し、
   映像処理手段は、前記識別情報をもとに、撮像装置が撮影した映像に映る人物の中から前記予測対象者を特定し、特定した前記予測対象者の予測動作映像を生成する
   請求項１に記載の予測情報提示システム。
3. 映像処理手段は、予測情報に含まれる予測タイミング情報から、予測動作が発生するまでの時間、または、予測動作の発生時刻を示す時間情報を取得し、予測映像情報に前記時間情報を重畳する
   請求項１または請求項２に記載の予測情報提示システム。
4. 撮像装置は、ユーザの頭部に装着可能であって、前記ユーザの視野方向を撮影する
   請求項１から請求項３のうちのいずれか１項に記載の予測情報提示システム。
5. 映像情報を表示する表示装置と通信可能であって、
   予測対象者を撮影した映像情報をもとに前記予測対象者の行動を予測する予測装置から、予測した前記行動の内容を示す予測内容情報と、予測した前記行動の発生タイミングを示す予測タイミング情報とを含む予測情報を入力し、入力した前記予測情報をもとに、予測した前記行動を映像として表した予測動作映像を生成し、前記予測対象者を撮影した映像情報に前記予測動作映像を重畳させた予測映像情報を生成する映像処理手段と、
   前記予測映像情報を前記表示装置に出力する出力手段とを含む
   ことを特徴とする予測情報提示装置。
6. 映像処理手段は、予測情報に含まれる予測対象者の識別情報をもとに、撮像装置が撮影した映像に映る人物の中から前記予測対象者を特定し、特定した前記予測対象者の予測動作映像を生成する
   請求項５に記載の予測情報提示装置。
7. 撮像装置が、予測対象者を撮影し、
   予測装置が、前記撮像装置が撮影した映像情報をもとに前記予測対象者の行動を予測し、予測した前記行動の内容を示す予測内容情報と、予測した前記行動の発生タイミングを示す予測タイミング情報とを含む予測情報を生成し、
   映像情報を表示する表示装置と通信可能な予測情報提示装置が、前記予測装置から入力した前記予測情報をもとに、予測した前記行動を映像として表した予測動作映像を生成し、前記撮像装置が撮影した映像情報に前記予測動作映像を重畳させた予測映像情報を生成し、前記予測映像情報を前記表示装置に出力する
   ことを特徴とする予測情報提示方法。
8. 映像情報を表示する表示装置と通信可能なコンピュータに、
   予測対象者を撮影した映像情報をもとに前記予測対象者の行動を予測する予測装置から、予測した前記行動の内容を示す予測内容情報と、予測した前記行動の発生タイミングを示す予測タイミング情報とを含む予測情報を入力し、入力した前記予測情報をもとに、予測した前記行動を映像として表した予測動作映像を生成し、前記予測対象者を撮影した映像情報に前記予測動作映像を重畳させた予測映像情報を生成する処理と、
   前記予測映像情報を前記表示装置に出力する処理とを実行させる
   ための予測情報提示プログラム。

Images