JP6670682B2

JP6670682B2 - 位置検出方法及び位置検出システム

Info

Publication number: JP6670682B2
Application number: JP2016110425A
Authority: JP
Inventors: 田中　奈緒; 奈緒田中
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2016-06-01
Filing date: 2016-06-01
Publication date: 2020-03-25
Anticipated expiration: 2036-06-01
Also published as: JP2017215263A

Description

本発明は、位置検出方法及び位置検出システムに関する。

従来、カメラを使用して物体の位置を検出するシステムが知られている。例えば、特許文献１には、マーカー検出用カメラを使用して自発光型マーカーが発する赤外線を検出することにより、自発光型マーカーを備える位置姿勢被計測物体の位置を特定するシステムが開示されている。

特開２００７−７１７８２号公報

しかしながら、特許文献１には、検出対象（位置姿勢被計測物体）の具体的な位置の特定方法について、開示されていない。

かかる事情に鑑みてなされた本発明の目的は、検出対象の位置を特定可能な位置検出方法及び位置検出システムを提供することにある。

上記課題を解決するため、本発明の一実施形態に係る位置検出方法は、対象物を撮像する第１撮像部及び第２撮像部と、前記対象物の位置を算出する制御部とを備えるシステムによる位置検出方法である。前記位置検出方法は、前記第１撮像部が第１撮像画像を取得するステップと、前記第２撮像部が第２撮像画像を取得するステップと、前記制御部が、前記第１撮像画像に基づいて、前記対象物の位置ベクトルを設定するステップと、前記制御部が、前記設定した位置ベクトルを用いて前記第２撮像部から前記対象物への第１方向ベクトルを算出するステップと、前記制御部が、前記第２撮像画像に基づいて、前記第２撮像部から前記対象物への第２方向ベクトルを算出するステップと、前記制御部が、前記対象物の位置を特定できないロスト状態である場合に、前記ロスト状態が、前記第１撮像画像及び前記第２撮像画像の少なくともいずれかに前記対象物が映らないマスク状態に起因するものであるか、又は、前記第１撮像部及び前記第２撮像部の少なくともいずれかの注視方向において複数の前記対象物が重なったカスケード状態に起因するものであるかを、前記第１方向ベクトルと前記第２方向ベクトルとの外積に基づいて判定するステップとを含む。

また、本発明の一実施形態に係る位置検出システムは、対象物に係る第１撮像画像を取得する第１撮像部と、前記対象物に係る第２撮像画像を取得する第２撮像部と、前記第１撮像画像及び前記第２撮像画像に基づいて前記対象物の位置を算出する制御部と、を備える。前記制御部は、前記第１撮像画像に基づいて前記対象物の位置ベクトルを設定し、該設定した位置ベクトルを用いて前記第２撮像部から前記対象物への第１方向ベクトルを算出するとともに、前記第２撮像画像に基づいて前記第２撮像部から前記対象物への第２方向ベクトルを算出し、前記対象物の位置を特定できないロスト状態である場合に、前記ロスト状態が、前記第１撮像画像及び前記第２撮像画像の少なくともいずれかに前記対象物が映らないマスク状態に起因するものであるか、又は、前記第１撮像部及び前記第２撮像部の少なくともいずれかの注視方向において複数の前記対象物が重なったカスケード状態に起因するものであるかを、前記第１方向ベクトルと前記第２方向ベクトルとの外積に基づいて判定する。

本発明によれば、検出対象の位置を特定可能な位置検出方法及び位置検出システムを提供できる。

本発明の一実施形態に係る位置検出システムの概略構成を示す機能ブロック図である。図１の位置検出システムによる位置検出原理について説明する概略図である。図１の情報処理装置によるロスト状態の原因の判別処理の一例を示すフローチャートである。図１の位置検出システムを用いた情報表示システムの概略構成を示す機能ブロック図である。図４のヘッドマウントディスプレイの一例を示す外観斜視図である。図４の情報表示システムによる情報表示処理の一例を示すシーケンス図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係る位置検出システム１００の概略構成を示す機能ブロック図である。本実施形態に係る位置検出システム１００は、複数の撮像装置と、各撮像装置と通信可能に構成される情報処理装置１３０とを備える。本実施形態では、図１に示すように、位置検出システム１００は、複数の撮像装置として、第１撮像装置１１０と、第２撮像装置１２０という、２つの撮像装置を備える。位置検出システム１００は、３つ以上の撮像装置を備えていてもよい。

図２は、図１の位置検出システム１００による位置検出原理について説明する概略図である。本実施形態に係る位置検出システム１００では、第１撮像装置１１０及び第２撮像装置１２０が、位置検出の対象である対象物Ｐを撮像し、情報処理装置１３０が、第１撮像装置１１０及び第２撮像装置１２０が取得した撮像画像に基づいて、対象物Ｐの位置を算出する。第１撮像装置１１０及び第２撮像装置１２０は、図２に一例として示すように、それぞれ異なる方向から対象物Ｐを撮像する。本実施形態において、対象物Ｐは、例えば７００〜１５００ｎｍ程度の近赤外線を発する赤外線ＬＥＤ（発光ダイオード：Light Emitting Diode）であるとして説明する。

再び図１を参照すると、第１撮像装置１１０は、制御部１１１と、記憶部１１２と、通信部１１３と、第１撮像部１１４とを備える。第１撮像装置１１０は、対象物Ｐを撮像し、撮像画像を情報処理装置１３０に送信する。

制御部１１１は、第１撮像装置１１０が備える各機能ブロックをはじめとして、第１撮像装置１１０の全体を制御及び管理するプロセッサである。制御部１１１は、制御手順を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１１２又は外部の記憶媒体等に格納される。制御部１１１は、例えば第１撮像部１１４による撮像処理の制御を行う。

記憶部１１２は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば制御部１１１の動作に必要なデータ等を記憶する。また、記憶部１１２は、ワークメモリとして機能するＲＡＭ（Random Access Memory）等のデバイスも有する。記憶部１１２は、例えば第１撮像部１１４が撮像して取得した撮像画像（以下「第１撮像画像」ともいう）を記憶してもよい。

通信部１１３は、情報処理装置１３０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、第１撮像装置１１０は、通信部１１３を介して、第１撮像画像を情報処理装置１３０に送信する。

第１撮像部１１４は、対象物Ｐを撮像する。第１撮像部１１４は、光を電気信号に変換することにより素子上に投影された画像を撮像する撮像素子（イメージセンサ）を備える。本実施形態では、第１撮像部１１４は、対象物Ｐが発する近赤外光を検出する赤外線カメラである。

第２撮像装置１２０は、制御部１２１と、記憶部１２２と、通信部１２３と、第２撮像部１２４とを備える。制御部１２１、記憶部１２２、通信部１２３及び第２撮像部１２４の各機能は、それぞれ第１撮像装置１１０の制御部１１１、記憶部１１２、通信部１１３及び第１撮像部１１４と同様であるため、ここではその詳細な説明を省略する。なお、本明細書において、第２撮像部１２４が撮像して取得した撮像画像を、以下「第２撮像画像」ともいう。

情報処理装置１３０は、制御部１３１と、記憶部１３２と、通信部１３３とを備える。情報処理装置１３０は、第１撮像装置１１０及び第２撮像装置１２０が取得した撮像画像に基づいて、対象物Ｐの位置を算出する。

制御部１３１は、情報処理装置１３０が備える各機能ブロックをはじめとして、情報処理装置１３０の全体を制御及び管理するプロセッサである。制御部１３１は、制御手順を規定したプログラムを実行するＣＰＵ等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１３２又は外部の記憶媒体等に格納される。制御部１３１は、第１撮像装置１１０が取得した第１撮像画像と、第２撮像装置１２０が取得した第２撮像画像とに基づいて、検出対象の位置を算出する。制御部１３１による検出対象の位置の算出処理の詳細については、後述する。

記憶部１３２は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば制御部１３１の動作に必要なデータ等を記憶する。また、記憶部１３２は、ワークメモリとして機能するＲＡＭ等のデバイスも有する。記憶部１３２は、例えば第１撮像装置１１０及び第２撮像装置１２０からそれぞれ取得した第１撮像画像及び第２撮像画像を記憶してもよい。また、記憶部１３２は、例えば算出した対象物の位置の履歴を記憶してもよい。情報処理装置１３０は、対象物の位置の履歴に基づき、対象物の変位（軌跡）を算出できる。

通信部１３３は、第１撮像装置１１０及び第２撮像装置１２０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、情報処理装置１３０は、通信部１３３を介して、第１撮像画像及び第２撮像画像を、それぞれ第１撮像装置１１０及び第２撮像装置１２０から取得する。

次に、図２を参照しながら、情報処理装置１３０による検出対象の位置の算出処理の詳細について説明する。

図２には、第１撮像装置１１０の撮像範囲Ａ及び第２撮像装置１２０の撮像範囲Ｂが、それぞれ仮想的に示されている。すなわち、図２において、撮像範囲Ａは、第１撮像装置１１０が取得した第１撮像画像を仮想的に示し、撮像範囲Ｂは、第２撮像装置１２０が取得した第２撮像画像を仮想的に示す。第１撮像画像及び第２撮像画像には、それぞれ画像平面上の所定の位置に、対象物Ｐが映っている。第１撮像画像及び第２撮像画像において、対象物Ｐが映っている位置の座標は、例えば、それぞれ第１撮像部１１４及び第２撮像部１２４の注視点を基準にして定められる。

本実施形態において、第１撮像装置１１０及び第２撮像装置１２０の位置ベクトルを、それぞれベクトルｃ_１及びベクトルｃ_２で示す。また、第１撮像装置１１０から対象物Ｐに向かう方向ベクトルをベクトルａで、第２撮像装置１２０から対象物Ｐに向かう方向ベクトルをベクトルｂで示す。方向ベクトルａは、例えば第１撮像部１１４が備える撮像素子の位置から第１撮像画像の画像平面上における検出対象Ｐに向かう方向ベクトルとして定義される。また、同様に、方向ベクトルｂは、例えば第２撮像部１２４が備える撮像素子の位置から第２撮像画像の画像平面上における対象物Ｐに向かう方向ベクトルとして定義される。方向ベクトルａ及び方向ベクトルｂは、例えば、情報処理装置１３０の制御部１３１が、それぞれ第１撮像画像及び第２撮像画像に基づいて算出する。なお、図２では、方向ベクトルａ及び方向ベクトルｂの長さは、例示的なものとして示している。また、対象物Ｐの位置ベクトルをベクトルｐで表す。

対象物Ｐの位置ベクトルｐは、位置ベクトルｃ_１及び方向ベクトルａを用いて、下式（１）のように表される。情報処理装置１３０の制御部１３１は、位置ベクトルｐを、下式（１）のように設定する。

式（１）において、ｎは、実数であり、例えば第１撮像部１１４のセンサ位置から検出対象Ｐまでの距離に応じて定まる。ｎが算出（決定）されることにより、位置ベクトルｐが定まり、対象物Ｐの位置が定まる。

ここで、第２撮像装置１２０から対象物Ｐに向かう方向ベクトル（ここではベクトルｄとする）は、第２撮像装置１２０の位置ベクトルｃ_２を用いて、下式（２）のように表すことができる。制御部１３１は、方向ベクトルｄを算出する。

上式（２）に示す方向ベクトルｄは、第２撮像装置１２０から対象物Ｐに向かう方向ベクトルとして定義したため、方向ベクトルｂと方向が等しい。従って、方向ベクトルｄと方向ベクトルｂとのなす角が０°であるため、方向ベクトルｄと方向ベクトルｂとの外積の大きさは０となる。これを式で表現すると、下式（３）のように表現される。

上式（３）を、ｎについて解くと、下式（４）が導出される。

上式（４）を、上式（１）に代入すると、位置ベクトルｐは、下式（５）のように表される。

上式（５）において、位置ベクトルｃ_１及び位置ベクトルｃ_２は、それぞれ第１撮像装置１１０及び第２撮像装置１２０を設置した位置により定まる。また、方向ベクトルａ及び方向ベクトルｂは、それぞれ第１撮像装置１１０及び第２撮像装置１２０が取得した第１撮像画像及び第２撮像画像から、情報処理装置１３０が算出することができる。従って、情報処理装置１３０は、上式（５）を用いて、対象物Ｐの位置ベクトルｐを算出できる。制御部１３１は、式（３）から式（５）に示すように、方向ベクトルｄと方向ベクトルｂとに基づいて、対象物Ｐの位置を算出する。とくに、制御部１３１は、方向ベクトルｄと方向ベクトルｂとの外積の値に基づいて、外積の値が０であると仮定して、対象物Ｐの位置を算出する。このようにして、位置検出システム１００によれば、対象物Ｐの位置を特定可能である。

また、本実施形態に係る位置検出システム１００によれば、第１撮像装置１１０及び第２撮像装置１２０が、それぞれ異なる方向から、対象物Ｐを撮像する。そのため、例えばステレオカメラ等のように、２つのカメラを使用して１つの方向から撮像した画像に基づいて、視差を利用して距離を算出するシステムと比較して、本実施形態に係る位置検出システム１００は、位置検出の精度が向上する。

位置検出システム１００は、第１撮像装置１１０及び第２撮像装置１２０による、各撮像フレームごと、又は所定の数フレームごとに、対象物Ｐの位置を特定してもよい。

ところで、特定の状況下では、情報処理装置１３０による上述の処理によっては、対象物Ｐの位置を特定できない状態となる場合がある。例えば、対象物Ｐが障害物によって隠れることにより、第１撮像装置１１０又は第２撮像装置１２０の撮像画像に映らなくなる場合がある。このように対象物Ｐが撮像画像に映らない状態を、以下、本明細書では「マスク状態」という。マスク状態では、制御部１３１は、方向ベクトルａ又は方向ベクトルｂを算出することができなくなり、上式（５）によって対象物Ｐの位置を特定できなくなる。

また、例えば、位置検出システム１００による位置検出対象となる対象物Ｐが複数である場合であって、２つ以上の対象物Ｐが第１撮像装置１１０又は第２撮像装置１２０の注視方向に対して直列に並ぶことにより、撮像画像において複数の対象物Ｐが重なる場合がある。このように、撮像画像において複数の対象物Ｐが重なる状態を、以下、本明細書では「カスケード状態」という。カスケード状態では、制御部１３１は、撮像画像における複数の対象物Ｐが重なった状態が解消された場合に、当該複数の対象物Ｐの位置を取り違えることにより、複数の対象物Ｐの位置を誤って決定する可能性がある。

本実施形態に係る位置検出システム１００は、対象物Ｐの位置を特定できない状態となった場合に、対象物Ｐの位置を特定できない状態がマスク状態に起因するものであるかカスケード状態に起因するものであるかを判定できる。ここで、位置検出システム１００による、対象物Ｐの位置を特定できない状態がマスク状態に起因するものであるかカスケード状態に起因するものであるかの判定処理について説明する。なお、以下、本明細書では、マスク状態とカスケード状態とを合わせて、「ロスト状態」という。

対象物Ｐがマスク状態となった場合、第１撮像画像及び第２撮像画像の少なくともいずれかにおいて、対象物Ｐの個数が減少する。例えば、位置検出システム１００において、１つの対象物Ｐの位置を検出する場合、対象物Ｐがマスク状態になると、第１撮像画像及び第２撮像画像の少なくともいずれかに映っている対象物Ｐの個数が０となる。また、対象物Ｐがカスケード状態となった場合も、第１撮像画像及び第２撮像画像の少なくともいずれかにおいて複数の対象物Ｐが重なるため、撮像画像に映る対象物Ｐの個数が減少する。このように、第１撮像画像及び第２撮像画像の少なくともいずれかにおいて、対象物Ｐの個数が減少した場合、情報処理装置１３０の制御部１３１は、対象物Ｐがロスト状態になったと決定する。

制御部１３１は、対象物Ｐがロスト状態であると決定した場合、ロスト状態がマスク状態に起因するものであるかカスケード状態に起因するものであるかを判定する。

ここで、まず、対象物Ｐがマスク状態である場合における制御部１３１の処理について説明する。ここでは、第１撮像装置１１０が撮像する第１撮像画像において、対象物Ｐが映らなくなった場合を例に説明する。

上述の制御部１３１による対象物Ｐの位置の算出処理の説明において、制御部１３１は、第１撮像画像及び第２撮像画像に基づいて方向ベクトルａ及び方向ベクトルｂを算出すると説明した。しかし、対象物Ｐが第１撮像画像においてマスク状態となり第１撮像画像に映っていない場合、制御部１３１は、方向ベクトルａを算出できない。この場合、制御部１３１は、対象物Ｐが最後に第１撮像画像に映っていたフレームの第１撮像画像に基づいて、方向ベクトルａを定める。すなわち、制御部１３１は、対象物Ｐの位置を、最後に対象物Ｐが映っていたフレームの位置であると決定（仮定）し、当該対象物Ｐの位置に基づいて方向ベクトルａを設定する。

制御部１３１は、マスク状態である場合、上述のようにして設定した方向ベクトルａを用いて、上式（５）により、対象物Ｐの位置ベクトルｐを算出する。制御部１３１は、対象物Ｐが、次に第１撮像画像に映るまで、上述のように設定した方向ベクトルａを用いて対象物Ｐの位置ベクトルを算出する。制御部１３１は、対象物Ｐがマスク状態でなくなった場合、すなわち第１撮像画像に対象物Ｐが映り込んだ場合、再び第１撮像画像に基づいて方向ベクトルａを決定し、決定した方向ベクトルａを用いて位置ベクトルｐを算出することにより対象物Ｐの位置を算出する。

ここで、対象物Ｐがマスク状態である間、制御部１３１は、最後に対象物Ｐが映っていたフレームの位置を対象物Ｐの位置であると仮定して算出処理を行うが、実際には、対象物Ｐは移動しており、対象物Ｐの位置が変化している場合がある。制御部１３１が仮定した対象物Ｐの位置と、実際の対象物Ｐの位置とが異なる場合、位置ベクトルａを用いて表される上記方向ベクトルｄ（上式（２））と、第２撮像画像に基づいて算出される方向ベクトルｂとは、方向が等しくならない。すなわち、この場合、方向ベクトルｄと方向ベクトルｂとの外積の大きさは０にならない。これを利用して、制御部１３１は、方向ベクトルｄと方向ベクトルｂとの外積の大きさが０になるか否か、すなわち上式（３）が成立するか否かにより、対象物Ｐがマスク状態であるか否かを判断することができる。制御部１３１は、上式（３）が成立しない場合、対象物Ｐがマスク状態であると判断できる。また、制御部１３１は、上式（３）が成立する場合、対象物Ｐがマスク状態でないと判断できる。

一方、対象物Ｐがカスケード状態である場合、複数の対象物Ｐが撮像画像上で１つの対象物として映ることとなる。ここでは、第１撮像装置１１０が撮像する第１撮像画像において、複数の対象物Ｐが１つの対象物として映っている場合について説明する。この場合、第１撮像画像において複数の対象物Ｐの奥行き方向の位置関係が判定できなくなるが、複数の対象物Ｐが第１撮像画像に映っているため、制御部１３１は、第１撮像画像に基づいて方向ベクトルａを決定できる。対象物Ｐは、制御部１３１が決定した方向ベクトルａ上に存在するため、位置ベクトルａを用いて表される上記方向ベクトルｄ（上式（２））と、第２撮像画像に基づいて算出される方向ベクトルｂとは、方向が等しい。従って、方向ベクトルｄと方向ベクトルｂとの外積の大きさが０になる。

制御部１３１は、マスク状態である場合と、カスケード状態である場合との、方向ベクトルｄと方向ベクトルｂとの上記外積の性質を用いて、ロスト状態が、マスク状態に起因するものであるか、カスケード状態に起因するものであるか否かを判定できる。具体的には、制御部１３１は、方向ベクトルｄと方向ベクトルｂとの外積の大きさが０でない場合、ロスト状態がマスク状態に起因するものであると判定し、方向ベクトルｄと方向ベクトルｂとの外積の大きさが０である場合、ロスト状態がカスケード状態に起因するものであると判定できる。

制御部１３１は、判定処理のための所定の閾値を設定し、当該閾値と外積の大きさとの比較に基づいて、ロスト状態が、マスク状態に起因するものであるか、カスケード状態に起因するものであるか否かを判定してもよい。具体的には、制御部１３１は、方向ベクトルｄと方向ベクトルｂとの外積の大きさが閾値（例えば０．１）よりも大きい場合、ロスト状態がマスク状態に起因するものであると判定し、方向ベクトルｄと方向ベクトルｂとの外積の大きさが閾値以下である場合、ロスト状態がカスケード状態に起因するものであると判定してもよい。このように閾値を設定して判定を行うことにより、判定処理において一定の誤差が生じた場合であっても、当該誤差を考慮した判定を行うことができる。

図３は、情報処理装置１３０によるロスト状態の原因の判別処理の一例を示すフローチャートである。図３は、例えば情報処理装置１３０の制御部１３１が、対象物Ｐがロスト状態であると判断した場合に実行される。

制御部１３１は、まず、第１撮像画像及び第２撮像画像に基づいて、方向ベクトルｄ及び方向ベクトルｂを算出する（ステップＳ１０１）。

制御部１３１は、ステップＳ１０１で算出した方向ベクトルｄと方向ベクトルｂとの外積の大きさを算出する（ステップＳ１０２）。

制御部１３１は、ステップＳ１０２で算出した外積の大きさが、所定の閾値以下であるか否かを判定する（ステップＳ１０３）。

制御部１３１は、外積の大きさが所定の閾値以下であると判定した場合（ステップＳ１０３のＹｅｓ）、ロスト状態が、カスケード状態に起因すると判断する（ステップＳ１０４）。そして、制御部１３１は、このフローを終了する。

一方、制御部１３１は、外積の大きさが所定の閾値より大きいと判定した場合（ステップＳ１０３のＮｏ）、ロスト状態がマスク状態に起因すると判断する（ステップＳ１０５）。そして、制御部１３１は、このフローを終了する。

なお、制御部１３１は、複数の対象物Ｐのそれぞれについて、３次元的な位置の追跡を行うことにより、対象物Ｐがカスケード状態となった場合であっても、各対象物Ｐの位置を取り違えることなく、検出することができる。具体的には、各対象物Ｐの位置の検出にあたり、例えば制御部１３１は、ロスト状態でない複数の対象物Ｐの位置を算出し、算出した対象物Ｐの位置の履歴から対象物Ｐの変位（軌跡）を算出する。制御部１３１は、算出した対象物Ｐの変位から、対象物Ｐの３次元的な進行方向を特定できる。そうすると、複数の対象物Ｐが、あるフレームにおいてカスケード状態となったとしても、制御部１３１は、特定した進行方向に基づいて、次のフレームにおける複数の対象物Ｐのそれぞれの位置を予測することができる。制御部１３１は、当該次のフレームにおける各対象物Ｐの位置と、予測した位置とを、例えば距離が近いもの同士を対応付けることにより、各対象物Ｐの位置を検出できる。このように、制御部１３１は、対象物Ｐの位置の追跡を行うことにより対象物Ｐの位置を予測し、予測した位置に基づいて、カスケード状態となった複数の対象物Ｐの位置を特定できる。

なお、制御部１３１は、算出した対象物Ｐの変位から、対象物Ｐの３次元的な進行方向を特定できるため、複数の対象物Ｐがカスケード状態となるか否かについて、予測を行うこともできる。制御部１３１は、複数の対象物Ｐがカスケード状態となるか否かについて予測を行うことにより、ロスト状態がマスク状態に起因するものであるか、カスケード状態に起因するものであるかを判定することもできる。つまり、制御部１３１は、複数の対象物Ｐがカスケード状態になると予測した場合に、ロスト状態が発生した場合、当該ロスト状態を、カスケード状態に起因するものであると判定することができ、複数の対象物Ｐがカスケード状態にならないと予測した場合に、ロスト状態が発生した場合、当該ロスト状態を、マスク状態に起因するものであると判定することができる。

次に、上述の位置検出システム１００の応用例について説明する。本明細書では、位置検出システム１００を、ユーザの頭部に装着される表示装置であるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）の位置の特定に応用する場合の一例について説明する。位置検出システム１００を応用した情報表示システムでは、上述の位置検出システム１００によりＨＭＤの位置を特定し、特定した位置に応じた情報をＨＭＤが備える表示部に表示する。

図４は、位置検出システム１００を応用した情報表示システム２００の概略構成を示す機能ブロック図である。図４に示すように、情報表示システム２００は、位置検出システム１００が含む第１撮像装置１１０、第２撮像装置１２０及び情報処理装置１３０に加え、ＨＭＤ１４０を備える。情報処理装置１３０と、ＨＭＤ１４０とは、有線又は無線を介して通信可能に構成される。

図５は、ＨＭＤ１４０の一例を示す外観斜視図である。ＨＭＤ１４０は、ユーザが頭部に装着可能な略半球形状の装着部１４１と、ユーザがＨＭＤ１４０を装着した際にユーザに対して情報を表示する表示部１４２と、光源１４３とを備える。本実施形態では、ＨＭＤ１４０は、図５に示すように、２つの光源１４３ａ及び１４３ｂを備えるとして説明する。なお、２つの光源１４３ａ及び１４３ｂを区別しない場合には、まとめて光源１４３と記載する。

再び図４を参照すると、ＨＭＤ１４０は、表示部１４２と、光源１４３と、制御部１４４と、記憶部１４５と、通信部１４６と、角速度検出部１４７とを備える。

表示部１４２は、ＨＭＤ１４０を装着したユーザに情報を表示する。表示部１４２は、例えば情報を表示する液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）等のディスプレイと、ディスプレイを保持するハウジングとを有する。図５には、ユーザの視線を外界から遮断するハウジングを有する、いわゆる没入型の表示部１４２が示されているが、表示部１４２は、没入型に限られない。表示部１４２は、例えば、ユーザが表示部１４２を介して外界を視認可能ないわゆる透過型（シースルー型）であってもよい。

光源１４３は、第１撮像装置１１０及び第２撮像装置１２０により検出される光を発するものであり、図２で説明した対象物Ｐに相当するものである。光源１４３は、例えば図２で説明したものと同様に、近赤外光を発する赤外線ＬＥＤである。本実施形態では、２つの光源１４３ａ及び１４３ｂは、図５に一例として示すように、ユーザがＨＭＤ１４０を装着した際に、前後方向に配列されるように、装着部１４１に設けられる。

制御部１４４は、ＨＭＤ１４０が備える各機能ブロックをはじめとして、ＨＭＤ１４０の全体を制御及び管理するプロセッサである。制御部１４４は、制御手順を規定したプログラムを実行するＣＰＵ等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１４５又は外部の記憶媒体等に格納される。制御部１４４は、例えば、ユーザの位置及びユーザの頭部の向き等に基づいて、表示部１４２に多様な情報を表示する。具体的には、制御部１４４は、例えばユーザの位置及び頭部の向きに追従した仮想空間を表示部１４２に表示させる。なお、ユーザの位置は、情報処理装置１３０によって特定される、ユーザが装着したＨＭＤ１４０の位置により定められる。また、ユーザの頭部の向きは、例えば、頭部の３軸方向における向き又は向きの変化等を含む。

記憶部１４５は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば制御部１４４の動作に必要なデータ等を記憶する。また、記憶部１４５は、ワークメモリとして機能するＲＡＭ等のデバイスも有する。また、記憶部１４５は、例えば表示部１４２に表示する仮想空間に関する各種データを記憶する。

通信部１４６は、情報処理装置１３０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う通信インターフェースを有する。例えば、ＨＭＤ１４０は、通信部１４６を介して、情報処理装置１３０から、第１撮像画像及び第２撮像画像に基づいて情報処理装置１３０が特定したＨＭＤ１４０の位置に関する情報を取得する。

角速度検出部１４７は、例えばＨＭＤ１４０の角速度の変化を検出するセンサである。角速度検出部１４７は、例えばジャイロセンサにより構成される。なお、角速度検出部１４７は、ジャイロセンサに限られない。角速度検出部１４７は、ＨＭＤ１４０の角度変化を検出できればよい。従って、角速度検出部１４７は、例えば、加速度センサ、角度センサ、その他のモーションセンサ、又はこれらのセンサの組合せ等によって構成されていてもよい。角速度検出部１４７が検出した角速度の変化に関する情報は、制御部１４４に送信される。制御部１４４は、角速度検出部１４７から取得した角速度の変化に関する情報に基づき、ユーザの頭部の向きを推定できる。

次に、情報表示システム２００における仮想空間の表示処理について、図６を参照して説明する。

まず、第１撮像装置１１０が、光源１４３の画像を撮像することにより、第１撮像画像を取得する（ステップＳ２０１）。

第１撮像装置１１０は、取得した第１撮像画像を情報処理装置１３０に送信する（ステップＳ２０２）。

また、第２撮像装置１２０が、光源１４３の画像を撮像することにより、第２撮像画像を取得する（ステップＳ２０３）。

第２撮像装置１２０は、取得した第２撮像画像を情報処理装置１３０に送信する（ステップＳ２０４）。

なお、第１撮像装置１１０によるステップＳ２０１及びＳ２０２の処理と、第２撮像装置１２０によるステップＳ２０３及びＳ２０４の処理とは、同時に実行されてもよい。

情報処理装置１３０は、第１撮像装置１１０及び第２撮像装置１２０から、それぞれ第１撮像画像及び第２撮像画像を取得すると、取得した撮像画像に基づいて、ＨＭＤ１４０の位置を特定する（ステップＳ２０５）。具体的には、情報処理装置１３０は、例えば予め記憶部１３２に記憶された第１撮像装置１１０の位置及び第２撮像装置１２０の位置と、取得した撮像画像とを用いて、式（５）により、光源１４３の位置を算出することにより、ＨＭＤ１４０の位置を特定する。

情報処理装置１３０は、特定したＨＭＤ１４０の位置に関する情報をＨＭＤ１４０に送信する（ステップＳ２０６）。

ＨＭＤ１４０は、角速度検出部１４７を用いて、ＨＭＤ１４０の角速度の変化に関する情報を取得する（ステップＳ２０７）。

そして、ＨＭＤ１４０は、角速度検出部１４７が取得した角速度の変化に関する情報に基づいて、ユーザの頭部の向きを推定する（ステップＳ２０８）。

ＨＭＤ１４０は、ステップＳ２０６で情報処理装置１３０から取得した位置に関する情報と、ステップＳ２０８で推定した頭部の向きに基づいて、表示部１４２に仮想空間を表示する（ステップＳ２０９）。

このようにして、情報表示システム２００は、ＨＭＤ１４０の位置とユーザの頭部の向きとに基づいて、表示部１４２に仮想空間を表示する。情報表示システム２００では、上述の位置検出システム１００を応用して、ＨＭＤ１４０の位置を特定しているため、ＨＭＤ１４０の位置を正確に特定しやすくなる。

なお、本発明は、上記実施形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上記実施形態においては、位置検出システム１００は、２つの撮像装置１１０及び１２０を備えるとして説明したが、位置検出システム１００は、３つ以上の撮像装置を備えていてもよい。位置検出システム１００が３つ以上の撮像装置を備える場合、情報処理装置１３０は、任意の２つの撮像装置が取得した撮像画像に基づいて、対象物Ｐの位置を特定できる。この場合、一部の撮像装置による撮像画像において、対象物Ｐが、例えば障害物に遮られることにより映っていない場合であっても、情報処理装置１３０は、対象物Ｐが映った他の撮像画像を用いて対象物Ｐの位置を特定することができる。

また、上記応用例では、ＨＭＤ１４０が２つの光源１４３ａ及び１４３ｂを備える場合について説明したが、ＨＭＤ１４０が備える光源は２つに限られない。ＨＭＤ１４０が備える光源は、１つであってもよく、３つ以上であってもよい。

また、上記応用例では、ＨＭＤ１４０が光源１４３を備える場合について説明したが、応用例はこれに限られない。光源１４３は、ＨＭＤ１４０以外の他の機器が備えていてもよく、この場合、情報処理装置１３０は、光源を備える装置の位置を特定できる。

また、ＨＭＤ１４０は、ユーザの頭部の向きに関する情報を、例えば情報処理装置１３０等の外部装置へ送信してもよい。かかる構成によって、以下に説明するように情報表示システム２００の利便性が更に向上する。

例えば、ユーザの頭部の向きに関する情報を受信した情報処理装置１３０は、ＨＭＤ１４０の位置とユーザの頭部の向きとに基づく所定の映像を、例えば外部の表示装置等に表示させることができる。所定の映像は、例えばＨＭＤ１４０に表示される映像と略同一の映像、及び仮想空間におけるユーザの位置及び向きを示すマップ映像等、多様な映像を含んでもよい。ここで、情報表示システム２００が複数のＨＭＤ１４０を備える場合、情報処理装置１３０は、例えば第１のＨＭＤ１４０に表示される映像を第２のＨＭＤ１４０に表示させたり、複数のユーザの位置及び向きを示すマップ映像を複数のＨＭＤ１４０に表示させたりすることができる。

また、ユーザの頭部の向きに関する情報を受信した情報処理装置１３０は、当該向きに関する情報に基づき、ユーザの位置が次に変位する方向を予測することもできる。

上記応用例において、情報処理装置１３０が実行するあらゆる処理をＨＭＤ１４０が実行できるようにしてもよい。このとき、情報表示システム２００は、第１撮像装置１１０、第２撮像装置１２０及びＨＭＤ１４０からなるものであってよい。このとき、ＨＭＤ１４０は、有線又は無線を介して、第１撮像装置１１０及び第２撮像装置１２０と通信可能に構成される。

１００位置検出システム
１１０第１撮像装置
１１１、１２１、１３１、１４４制御部
１１２、１２２、１３２、１４５記憶部
１１３、１２３、１３３、１４６通信部
１１４第１撮像部
１２０第２撮像装置
１２４第２撮像部
１３０情報処理装置
１４０ヘッドマウントディスプレイ（ＨＭＤ）
１４１装着部
１４２表示部
１４３光源
１４７角速度検出部
２００情報表示システム

Claims

対象物を撮像する第１撮像部及び第２撮像部と、前記対象物の位置を算出する制御部とを備えるシステムによる位置検出方法であって、
前記第１撮像部が第１撮像画像を取得するステップと、
前記第２撮像部が第２撮像画像を取得するステップと、
前記制御部が、前記第１撮像画像に基づいて、前記対象物の位置ベクトルを設定するステップと、
前記制御部が、前記設定した位置ベクトルを用いて前記第２撮像部から前記対象物への第１方向ベクトルを算出するステップと、
前記制御部が、前記第２撮像画像に基づいて、前記第２撮像部から前記対象物への第２方向ベクトルを算出するステップと、
前記制御部が、前記対象物の位置を特定できないロスト状態である場合に、前記ロスト状態が、前記第１撮像画像及び前記第２撮像画像の少なくともいずれかに前記対象物が映らないマスク状態に起因するものであるか、又は、前記第１撮像部及び前記第２撮像部の少なくともいずれかの注視方向において複数の前記対象物が重なったカスケード状態に起因するものであるかを、前記第１方向ベクトルと前記第２方向ベクトルとの外積に基づいて判定するステップと
を含む、位置検出方法。
前記制御部は、前記第１撮像画像及び前記第２撮像画像に基づいて下式（１）により表されるｎを算出し、下式（２）が成立するか否かに基づいて前記ロスト状態が前記マスク状態に起因するものであるか否かを判定する、請求項１に記載の位置検出方法。

ただし、ベクトルａは前記第１撮像部から前記対象物に向かう方向ベクトルを示し、ベクトルｂは前記第２方向ベクトルを示し、ベクトルｃ_１は前記第１撮像部の位置ベクトルを示し、ベクトルｃ_２は前記第２撮像部の位置ベクトルを示す。
対象物に係る第１撮像画像を取得する第１撮像部と、
前記対象物に係る第２撮像画像を取得する第２撮像部と、
前記第１撮像画像及び前記第２撮像画像に基づいて前記対象物の位置を算出する制御部と、を備え、
前記制御部は、前記第１撮像画像に基づいて前記対象物の位置ベクトルを設定し、該設定した位置ベクトルを用いて前記第２撮像部から前記対象物への第１方向ベクトルを算出するとともに、前記第２撮像画像に基づいて前記第２撮像部から前記対象物への第２方向ベクトルを算出し、前記対象物の位置を特定できないロスト状態である場合に、前記ロスト状態が、前記第１撮像画像及び前記第２撮像画像の少なくともいずれかに前記対象物が映らないマスク状態に起因するものであるか、又は、前記第１撮像部及び前記第２撮像部の少なくともいずれかの注視方向において複数の前記対象物が重なったカスケード状態に起因するものであるかを、前記第１方向ベクトルと前記第２方向ベクトルとの外積に基づいて判定する、位置検出システム。
前記制御部は、前記第１撮像画像及び前記第２撮像画像に基づいて下式（３）により表されるｎを算出し、下式（４）が成立するか否かに基づいて前記ロスト状態が前記マスク状態に起因するものであるか否かを判定する、請求項３に記載の位置検出システム。

ただし、ベクトルａは前記第１撮像部から前記対象物に向かう方向ベクトルを示し、ベクトルｂは前記第２方向ベクトルを示し、ベクトルｃ _１は前記第１撮像部の位置ベクトルを示し、ベクトルｃ _２は前記第２撮像部の位置ベクトルを示す。