JP6847442B2

JP6847442B2 - 物体追跡装置、物体追跡方法、及び物体追跡プログラム

Info

Publication number: JP6847442B2
Application number: JP2016113048A
Authority: JP
Inventors: 佳雅中村; 僚太吉村; 智典佐々木; 有志武田; 和広坂下
Original assignee: Tokyo Metropolitan Industrial Technology Research Instititute (TIRI)
Current assignee: Tokyo Metropolitan Industrial Technology Research Instititute (TIRI)
Priority date: 2016-06-06
Filing date: 2016-06-06
Publication date: 2021-03-24
Anticipated expiration: 2036-06-06
Also published as: JP2017219389A

Description

本発明は、物体追跡装置、物体追跡方法、及び物体追跡プログラムに関する。

従来、人物等の移動物体を検出し追跡する方法として、カメラの画像情報やＬＲＦ（レーザーレンジファインダー）等の測距センサの測定情報等を利用した移動物体追跡技術が知られている。

これに関し、特許文献１には、レーザー測域センサによりエリア内の人物候補の実空間三次元座標検出と追跡を実行し、カメラによりレーザー測域センサからの人物候補の実空間三次元座標をカメラ画像座標に射影した画像位置から、レーザー測域センサからのそれぞれの人物候補に対応した人物を検出し、検出した人物を追跡するシステムが記載されている。

特開２０１３−１５６７１８号公報

特許文献１に記載のシステムにおいては、レーザー測域センサは、例えば、床面に固定された柱のような固定設備に設置され、カメラについても当該固定設備に設置されているので、レーザー測域センサ及びカメラが運動すること、つまり、物体を追跡する装置自らが運動することは全く想定されていない。

本発明はこのような事情に鑑みてなされたものであり、物体追跡装置が運動する場合であっても、正確に物体を追跡することを目的の一つとする。

本発明の一側面に係る物体追跡装置は、物体を追跡する物体追跡装置であって、物体を撮像する撮像部と、撮像部からの画像情報に基づいて、物体の位置を推定する位置推定部と、物体を含む所定の範囲に対して送信波を照射する照射部と、照射部から照射された送信波の反射波に基づいて、物体追跡装置と物体との距離を測定する距離測定部と、位置推定部の推定結果と距離測定部の測定結果とに基づいて、物体追跡装置の位置に対する物体の相対位置を決定する相対位置決定部と、物体追跡装置の運動量に基づいて、相対位置を更新する相対位置更新部と、を備え、物体追跡装置の位置と更新された相対位置とに基づいて、物体を追跡する。

本発明の一側面に係る物体追跡方法は、物体を追跡する物体追跡方法であって、物体を撮像することと、撮像された物体の画像情報に基づいて、物体の位置を推定することと、物体を含む所定の範囲に対して送信波を照射することと、照射された送信波の反射波に基づいて、物体追跡装置と物体との距離を測定することと、物体の位置の推定結果と、物体追跡装置と物体との距離の測定結果と、に基づいて、物体追跡装置の位置に対する物体の相対位置を決定することと、物体追跡装置の運動量に基づいて、相対位置を更新することと、を含み、物体追跡装置の位置と更新された相対位置とに基づいて、物体を追跡する。

本発明の一側面に係る物体追跡プログラムは、コンピュータを、撮像された物体の画像情報に基づいて、物体の位置を推定する位置推定部と、物体を含む所定の範囲に対して照射される送信波の反射波に基づいて、物体追跡装置と物体との距離を測定する距離測定部と、位置推定部の推定結果と距離測定部の測定結果とに基づいて、物体追跡装置の位置に対する物体の相対位置を決定する相対位置決定部と、物体追跡装置の運動量に基づいて、相対位置を更新する相対位置更新部と、して機能させ、物体追跡装置の位置と更新された相対位置とに基づいて、物体を追跡する。

本発明の一側面に係る記録媒体は、上記物体追跡プログラムを記録したコンピュータ読み取り可能な記録媒体である。

なお、本発明において、「部」、「装置」とは、単に物理的手段を意味するものではなく、その「部」、「装置」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」、「装置」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」、「装置」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、物体追跡装置が運動する場合であっても、正確に物体を追跡することができる。

本発明に係る一実施形態における物体追跡装置の構成図である。本発明に係る一実施形態における物体追跡装置のハードウェア構成を概略的に示す構成図である。本発明に係る一実施形態における物体追跡装置の機能的構成図である。本発明に係る一実施形態における物体追跡制御処理のフローチャートの一例を示す図である。本発明に係る一実施形態における物体追跡装置が物体を追跡する場合の一例を示した図である。本発明に係る一実施形態における物体位置推定処理のフローチャートの一例を示す図である。本発明に係る一実施形態における点群情報のクラスタ抽出処理のフローチャートの一例を示す図である。一例を示す図である。本発明に係る一実施形態における物体追跡装置の位置に対する物体の相対位置の更新処理のフローチャートの一例を示す図である。本発明の一実施形態における物体追跡装置の運動量を説明する図である。本発明に係る一実施形態における物体追跡装置の位置に対する物体の相対位置の更新処理を説明する図である。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形（各実施例を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。

［物体追跡装置の構成］
図１は、本発明に係る物体追跡装置の構成図である。図１に示すように、物体追跡装置１は、物体を撮像する撮像部１４と、所定の範囲に対して送信波を照射する照射部１６と、撮像部１４と照射部１６から取得した情報に基づき、対象となる物体を追跡する中央処理装置１０と、物体追跡装置１の移動を実行する駆動部２８からなる。

ここで撮像部１４の一例であるカメラは、単眼カメラ、ステレオカメラ、赤外線カメラなど、物体の情報として大きさ、形を捉えるものである。また、照射部１６は、例えば赤外線レーザー等を含む送信波を照射するレーザーレンジファインダ（以下、ＬＲＦという）などであり、人物や施設、壁、及び障害物等を含む反射物からの反射波を受信する装置である。さらに、駆動部２８は、例えば、左右の車軸に指示された移動用車輪であり、移動用車輪を回転させることにより前後に移動でき、旋回することができる。

［実施形態例］
次に図２〜図１１を用いて、物体追跡装置１が人物１００を追跡する実施形態例を説明する。

図２は、本発明に係る一実施形態における物体追跡装置のハードウェア構成を概略的に示す構成図である。図２に示すように、物体追跡装置１は、例示的に、物体を撮像するカメラ１４と、照射部の一例であるＬＲＦ１６と、記録部２６と、駆動部２８と、電源部３０と、を備え、各構成要素が内部の中央処理装置１０に接続されている。

中央処理装置１０は、例えば、ＣＰＵ、ＭＰＵ等であって、記録部２６に格納されたプログラムに従って動作する。記憶部２６は、例えば、ＲＯＭやＲＡＭ、ハードディスク等の情報記録媒体で構成され、中央処理装置１０によって実行されるプログラムを保持する情報記録媒体である。また、中央処理装置１０は、中央処理装置１０のワークメモリとしても動作する。なお、当該プログラムは、例えば、ネットワークを介して、物体追跡装置１の外部からダウンロードされて提供されてもよいし、又は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。

カメラ１４は、例えば、追跡対象である人物を少なくとも含む範囲を撮像し、撮像された画像に対応する画像情報を出力する。

ＬＲＦ１６は、人物を含む所定の範囲に対して、例えば赤外線レーザー等を含む送信波を照射し、人物、施設、壁、及び障害物等を含む反射物からの反射波を受信する装置である。ＬＲＦ１６は、例えば、送信波を照射する場合に各送信波の照射から反射波を受信するまでの時間に基づいて点群情報を生成し、中央処理装置１０に当該点群情報を取得情報として出力する。

ここで、上記したとおり、カメラ１４の水平方向の測定視野角は例えば６０度と比較的狭い。しかしながら、カメラ１４の撮像処理に基づく画像情報は、画像に含まれる人物の特徴点抽出等が可能であり、人物の検出処理や特定処理に、より好適に用いられる。他方、ＬＲＦ１６の水平方向の測定視野角は例えば２７０度であり比較的広範囲にわたるので、ＬＲＦ１６からの点群情報は、人物の追跡処理に、より好適に用いられる。このように、カメラ１４とＬＲＦ１６とを併用することで、ロバストネスな人物特定処理及び人物追跡処理が可能となる。

なお、本実施形態では、後述する図３に示す距離測定部４４による、物体追跡装置１と物体との距離の測定処理に用いられる情報を提供する手段として、送信波を照射する場合に各送信波の照射から反射波を受信するまでの時間に基づいて点群情報を生成し、中央処理装置１０に当該点群情報を出力するＬＲＦ１６を例に挙げて説明したが、これに限られない。例えば、送信波を照射する場合に各送信波の反射波を受信し、反射波の強度に基づいて生成した情報を、中央処理装置１０に出力する他のセンサを採用してもよい。

記録部２６は、物体追跡装置１が実行する各種処理に必要な情報を記録する。記録部２６は、例えば、物体追跡装置１が人物を追跡する所定エリアのＬＲＦ１６からの取得情報であって、所定エリア内の施設、壁、障害物等を含む反射物の位置を少なくとも含む範囲の取得情報を記録する。ここで、取得情報は、所定エリア内の追跡対象である物体の位置を含まない場合もあれば、当該物体の位置を含む場合もある。また、記録部２６は、物体の少なくとも一部の形状及び大きさを、後述するクラスタと関連づけて記録する。

また、記録部２６は、マーカの一例であるＱＲ（ＱｕｉｃｋＲｅｓｐｏｎｓｅ）コード（登録商標）と、ＱＲコードに対応づけられた人物の識別情報と、を関連づけて記録する。さらに、記録部２６は、カメラ１４により撮像された画像におけるＱＲコードの大きさと、カメラ１４とＱＲコードとの間の距離と、を関連づけて記録する。なお、マーカは、上述したとおり、マトリックス型２次元コードであるＱＲコードを含む。しかしながら、マーカは、ＱＲコードに限定されず、１次元コードや任意のマーカを用いてもよい。なお、任意のマーカは、特定形状のマーカ、例えば、星型形状のような多角形状のマーカを含んでもよい。また、人物の顔の形状または大きさの少なくとも一方をマーカとして利用してもよい。

電源部３０は、物体追跡装置１を動作させるための電源を供給する。

図３は、本発明に係る一実施形態における物体追跡装置の機能的構成図である。図３に示すように、コンピュータの一例である、物体追跡装置１の中央処理装置１０は、機能的に、図１及び２に示す、撮像部の一例であるカメラ１４からの画像情報に基づいて、人物を特定する物体特定部４０と、カメラ１４からの画像情報に基づいて、人物の位置を推定する位置推定部４２と、人物を含む所定の範囲に対して送信波を照射する場合に送信波の照射から反射波を受信するまでの時間に基づいて、物体追跡装置１と人物との距離を測定する距離測定部４４と、位置推定部４２の推定結果と距離測定部４４の測定結果とに基づいて、物体追跡装置１の位置に対する人物の相対位置を決定する相対位置決定部４６と、物体追跡装置１の運動量を測定する運動量測定部４８と、物体追跡装置１の運動量に基づいて相対位置を更新する相対位置更新部５０と、相対位置決定部４６により決定された物体追跡装置１の位置に対する人物の相対位置に人物が位置するか否かを判定する判定部５２と、物体追跡装置１の位置と更新された相対位置とに基づいて、人物を追跡するように図２に示す駆動部２８を制御する追跡制御部５４と、を含んで構成されている。

なお、中央処理装置１０の上記各部は、例えば、メモリやハードディスク等を含む記録部２６を用いたり、記録部２６に格納されているプログラムをプロセッサが実行したりすることにより実現することができる。

［物体追跡処理］
図４及び図５を用いて、本発明に係る一実施形態における物体追跡制御処理の概略を説明する。図４は、本発明に係る一実施形態における物体追跡制御処理のフローチャートの一例を示す図である。図５は、本発明に係る一実施形態における物体追跡装置が物体を追跡する場合の一例を示した図である。特に、図５においては、物体追跡装置１が、ＱＲコードＣを備える人物１００を、追跡しながら空間Ｒの位置Ｐ１から位置Ｐ３まで移動する一例を示している。

（ステップＳ１）
物体追跡装置１のカメラ１４は、人物１００を含む空間Ｒ内を撮像する。

（ステップＳ２）
図３に示す位置推定部４２は、人物１００を撮像するカメラ１４からの画像情報に基づいて、人物の位置を推定する。位置推定部４２は、例えば、カメラ１４によって撮像されたＱＲコードＣを含む画像におけるＱＲコードＣの大きさに基づいて、人物１００の位置を推定する。具体的に、位置推定部４２は、カメラ１４によって撮像されたＱＲコードＣを含む画像におけるＱＲコードＣの大きさに対して、図２に示す記録部２６に互いに関連づけられて記録されているＱＲコードＣの大きさと、カメラ１４と２次元コードとの間の距離と、の関係を参照することで、人物１００の位置を推定する。

また、物体特定部４０は、位置推定部４２の位置推定処理の前に、カメラ１４からの画像情報に基づいて、人物１００を特定する。物体特定部４０は、例えば、物体１００が備えるＱＲコードＣに基づいて、人物１００を特定する。具体的に、物体特定部４０は、記録部２６に互いに関連づけられて記録されているＱＲコードＣと、ＱＲコードＣに対応づけられた人物の識別情報と、の関係を参照することにより、人物１００を特定する。なお、本実施形態では、ＱＲコードＣが人物ごとに割り当てられている形態を説明したが、必ずしも、ＱＲコードＣが人物ごとに割り当てられていなくてもよい。

（ステップＳ３）
距離測定部４４は、人物１００を含む所定の範囲に対して照射された送信波の反射波に基づいて、物体追跡装置１と人物１００との距離を測定する。また、距離測定部４４は、物体追跡装置１と人物１００との距離を測定する場合に、送信波を反射する反射物を含む所定の範囲に対して送信波を照射する場合に送信波による、前記反射物からの反射波と、反射物の位置を含む範囲の取得情報と、に基づいて物体追跡装置１の位置Ｐ１を測定するように構成されてもよい。

（ステップＳ４）
相対位置決定部４６は、人物１００の位置の推定結果と、物体追跡装置１と物体１００との距離の測定結果と、に基づいて、物体追跡装置１の位置Ｐ１に対する物体の相対位置を決定する。

（ステップＳ５）
相対位置更新部５０は、物体追跡装置１の運動量に基づいて相対位置を更新する。図５の例においては、空間Ｒ内の位置Ｐ１にいる物体追跡装置１は、位置Ｐ２にいる人物１００を位置ＰＸまで移動を開始する。例えば、矢印Ａ１に示すように、まず、物体追跡装置１は、位置Ｐ３まで移動する。次に、位置Ｐ２にいる人物１００は、最終的に位置Ｐ４まで移動する。この場合、物体追跡装置１は、人物１００の位置Ｐ２からＰ４までの移動量と、物体追跡装置１自身の位置Ｐ１からＰ３までの移動量とに基づいて、物体追跡装置１の位置Ｐ３に対する人物１００の相対位置を更新する。なお、運動量は、物体追跡装置１の移動量、及び、物体追跡装置１が物体追跡装置１の鉛直軸を中心として回転する場合の回転量の少なくとも一方を含む。

なお、相対位置更新部５０の更新処理は、物体追跡装置１が位置Ｐ１からＰ３まで移動する途中において実行されてもよいし、人物１００が位置Ｐ２からＰ４に移動する途中において実行されてもよい。つまり、相対位置更新部５０は、物体追跡装置１が人物１００を見失わないように、任意のタイミングで物体追跡装置１及び人物１００の少なくとも一方の運動量を考慮して人物１００の相対位置を更新するように構成される。

（ステップＳ６）
追跡制御部５４は、物体追跡装置１の位置Ｐ３と、相対位置更新部５０により更新された人物１００の相対位置と、に基づいて、人物１００を見失わないように追跡するように、図２に示す駆動部２８を制御する。

［物体位置推定処理］
図６は、本発明に係る一実施形態における物体位置推定処理のフローチャートの一例を示す図である。図６は、図４に示すステップＳ２を詳細に説明するフローチャートである。なお、以下のステップＳ１１〜１９においては、図３に示す物体特定部４０及び位置推定部４２は、同様な処理を実行する。

（ステップＳ１１）
物体特定部４０は、図１及び２に示すカメラ１４からの画像情報に対して、ＲＧＢ→ＨＳＶ色空間変換処理を実行する。

（ステップＳ１３）
物体特定部４０は、記録部２６に記録されている追跡対象物体の色情報を参照することにより、画像情報に含まれる人物の色情報を抽出する。記録部２６は、例えばＱＲコードの色を示す白色及び黒色の組合せを含む色情報を記録しており、物体特定部４０は、当該色情報を参照することにより、人物が備えるＱＲコードの色情報を抽出するように構成されてもよい。また、記録部２６は、例えば人物の顔の色を示す肌色等を含む色情報を記録し、物体特定部４０は、当該色情報を参照することにより、人物の顔の色情報を抽出しても良い。

（ステップＳ１５）
物体特定部４０は、抽出した色情報を所定のサイズでクラスタリングし、クラスタごとに分割する。

（ステップＳ１７）
物体特定部４０は、分割したクラスタをラベリングする。物体特定部４０（位置推定部４２）は、例えば、分割したクラスタごとに、各クラスタの大きさや識別情報を付与する。

（ステップＳ１９）
物体特定部４０は、ラベリングしたクラスタを検出したか否かを判断する。物体特定部４０は、ラベリングしたクラスタを検出できなかった場合（Ｎｏ）は、処理を終了する。

物体特定部４０は、例えば、複数のクラスタのうちＱＲコードに対応するクラスタを検出したか否かを判断し、検出できた場合は、記録部２６に互いに関連づけて記録されている、ＱＲコードとＱＲコードに対応づけられた人物の識別情報とを参照することにより、ＱＲコードに対応する人物を特定する。また、人物の顔の形状をマーカとして使用する場合は、物体特定部４０は、複数のクラスタのうち人物の顔に対応するクラスタを検出したか否かを判断し、検出できた場合は、記録部２６に互いに関連づけられて記録されている、人物の顔の形状または大きさの少なくとも一方と、クラスタの大きさと、の関係を参照することにより、人物を特定する。

（ステップＳ２１）
位置推定部４２は、カメラ１４の視野領域における人物情報に基づいて人物の位置を推定し、その推定結果を出力する。位置推定部４２は、例えば、記録部２６に記録されている、カメラ１４によって撮像された画像におけるＱＲコードの大きさに基づいて、人物の位置を推定する。ここで、人物の顔の形状をマーカとして使用する場合は、人物の両目の間隔などの人によってほとんど変化しない部位で位置を推定し、識別には目鼻口などの形状を利用する。位置推定部４２は、複数のクラスタのうち人物の顔に対応するクラスタを検出した場合、記録部２６に互いに関連づけられて記録されている、人物の両目の間隔と、人物とカメラとの間の距離と、の関係を参照することにより、人物の位置を推定してもよい。

［クラスタ抽出処理］
図７は、本発明に係る一実施形態における取得情報のクラスタ抽出処理のフローチャートの一例を示す図である。図７は、図４に示すステップＳ３を詳細に説明したフローチャートである。

（ステップＳ３１）
図３に示す距離測定部４４は、図２に示すＬＲＦ１６からの取得情報をクラスタリングし、クラスタごとに分割する。

（ステップＳ３３）
距離測定部４４は、分割された各クラスタについて、記録部２６に互いに関連づけられて記録されている、人物の少なくとも一部（例えば、足や足首等）の形状及び大きさと、取得情報をクラスタリングすることによって形成されるクラスタの大きさと、の関係を参照することにより、当該人物に対応するクラスタを抽出し、抽出結果を出力する。

［物体の相対位置の決定処理と更新処理］
図８〜１０を用いて、本発明に係る一実施形態における物体追跡装置の位置に対する物体の相対位置の更新処理を説明する。図８は、本発明に係る一実施形態における物体追跡装置の位置に対する物体の相対位置の更新処理のフローチャートの一例を示す図である。図９は、本発明の一実施形態における物体追跡装置の運動量を説明する図である。図１０は、本発明に係る一実施形態における物体追跡装置の位置に対する物体の相対位置の更新処理を説明する図である。以下、詳述するとおり、相対位置更新部５０は、運動量測定部４８による物体追跡装置１の運動量の入力、位置推定部４２の推定結果の入力、及び、距離測定部４４の測定結果の入力のタイミングにおいて、物体の相対位置を更新する。

（ステップＳ４１）
まず、相対位置決定部４６は、図１０に示すＸ−Ｙ相対移動座標系上における物体追跡装置１の位置Ｏに対する相対位置を示すターゲット領域Ｒ１がすでに設定されているか否かを判断する。ターゲット領域Ｒ１が設定されていないと判断した場合（Ｎｏ）は、ステップＳ５１に進み、ターゲット領域Ｒ１が設定されていると判断した場合（Ｙｅｓ）は、ステップＳ４３に進む。なお、図８において破線ＤＬ内のステップＳ４１、Ｓ５１、及びＳ５３は、物体の相対位置の決定処理に関するものであり、図８において破線ＤＬ外におけるステップＳ４１、Ｓ５１、及びＳ５３以外のステップは、物体の相対位置の更新処理に関するものである。

（ステップＳ４３）
相対位置更新部５０は、物体追跡装置の運動量の入力があるか否かを判断する。物体追跡装置の運動量の入力がある場合（Ｙｅｓ）は、ステップＳ４５に進む。物体追跡装置の運動量の入力がない場合（Ｎｏ）は、ステップＳ４７に進む。

図９に示すように、運動量測定部４８は、物体追跡装置１が位置Ｏ_t（時刻ｔ）から位置Ｏ_t+1（時刻ｔ＋１）に並進移動し、且つ、ベクトルＵ´_t+1の向きからベクトルＵ_t+1の向きへ、及び、ベクトルＶ´_t+1の向きからベクトルＶ_t+1の向きへ、つまり、角度θ分、物体追跡装置１が自身の鉛直軸を中心に回転した場合の運動量を測定する。

人物１００が、物体追跡装置１のベクトルＵ_tとベクトルＶ_tとの和に基づく相対位置Ｐｔ（時刻ｔ）から移動しない場合、相対位置更新部５０は、物体追跡装置１が位置Ｏ_t（時刻ｔ）から位置Ｏ_t+1（時刻ｔ＋１）に移動すると、物体追跡装置１が相対位置Ｐｔを、Ｐ´_t+1として認識する。

相対位置更新部５０は、相対位置Ｐ´_t+1から角度θ分減じて相対位置Ｐ´´_t+1を決定し、さらに位置Ｏ_t+1（時刻ｔ＋１）から位置Ｏ_t（時刻ｔ）を減じた並進移動量を減じて、相対位置Ｐ_t+1として更新する。

なお、図９は、物体追跡装置１が運動し、人物は運動しない場合の例であったが、物体追跡装置１及び人物の双方が運動する場合は、相対位置更新部５０は、物体追跡装置１及び人物の双方の運動量を考慮して、ターゲット領域を更新する。

（ステップＳ４５）
相対位置更新部５０は、運動量測定部４８によって入力された物体追跡装置１の運動量に基づいて既存のターゲット領域Ｒ１を更新する。

図１０に示すように、相対位置更新部５０は、例えば、入力された物体追跡装置１の運動量に基づいて既存のターゲット領域Ｒ１を更新し、既存のターゲット領域Ｒ１とは異なる位置に、更新されたターゲット領域Ｒ１´が配置される。また、既存のターゲット領域の更新は、入力された物体追跡装置１の運動量に応じて様々な態様を取りうる。例えば、更新後のターゲット領域は、既存のターゲット領域Ｒ１と同様な位置において異なる形状を持つターゲット領域が配置される場合もあるし、既存のターゲット領域Ｒ１とは異なる位置において異なる形状を持つターゲット領域が配置される場合もある。

なお、相対位置更新部５０は、距離測定部４４によって抽出された、取得情報（クラスタ）Ｄ２、及び、取得情報（クラスタ）Ｄ３について、記録部２６に記録されている、人物の少なくとも一部（例えば、足や足首等）の形状及び大きさの少なくとも一方と合致しないので、追跡対象ではないと判断する。なお、相対位置決定算出部４６は、例えば取得情報（クラスタ）Ｄ３は、一定の範囲に連なって存在するので、取得情報（クラスタ）Ｄ３に対応する物体は、壁であると判断するように構成されてもよい。

（ステップＳ４７）
相対位置更新部５０は、位置推定部４２から人物の位置の推定結果の入力があるか否かを判断し、入力がないと判断した場合（Ｎｏ）の場合は、ステップＳ５５に進み、入力があると判断した場合（Ｙｅｓ）の場合は、ステップＳ４９に進む。

（ステップＳ４９）
相対位置更新部５０は、位置推定部４２から人物の位置の推定結果の入力がある場合は、既存のターゲット領域を更新する。

（ステップＳ５１）
相対位置決定部４６は、ステップＳ４１においてターゲット領域Ｒ１が設定されていないと判断した場合は、位置推定部４２から人物の位置の推定結果の入力があるか否かを判断し、入力がないと判断した場合（Ｎｏ）の場合は、処理を終了し、入力があると判断した場合（Ｙｅｓ）の場合は、ステップＳ５３に進む。

（ステップＳ５３）
相対位置決定部４６は、いまだターゲット領域Ｒ１が設定されておらず、位置推定部４２から人物の位置の推定結果の入力がある場合は、ターゲット領域を生成する。

（ステップＳ５５）
相対位置更新部５０は、距離測定部４４から物体追跡装置１と物体１００との距離の測定結果の入力があるか否かを判断し、入力がないと判断した場合（Ｎｏ）の場合は、ステップＳ６１に進み、入力があると判断した場合（Ｙｅｓ）の場合は、ステップＳ５７に進む。

（ステップＳ５７）
相対位置更新部５０は、設定されているターゲット領域内に追跡対象である人物に対応するクラスタが存在するか否かを判断する。具体的には、相対位置更新部５０は、すでに設定されているターゲット領域、又は、新たに生成されたターゲット領域の信頼性を判断している。相対位置更新部５０は、設定されているターゲット領域内に追跡対象である人物に対応するクラスタが存在する場合（Ｙｅｓ）の場合、つまり、ターゲット領域の信頼性が高いと判断した場合は、ステップＳ５９に進む。他方、相対位置更新部５０は、設定されているターゲット領域内に追跡対象である人物に対応するクラスタが存在しない場合（Ｎｏ）の場合、つまり、ターゲット領域の信頼性が低いと判断した場合は、ステップＳ６１に進む。

（ステップＳ５９）
相対位置更新部５０は、距離測定部４４から物体追跡装置１と物体１００との距離の測定結果の入力があり、且つ、ターゲット領域の信頼性が高いと判断した場合は、当該ターゲット領域を更に更新する。

（ステップＳ６１）
判定部５２は、相対位置更新部５０により、ターゲット領域の信頼性が低いと判断された場合、実際に、ターゲット領域内に人物が位置しないか否かを判定する。判定部５２が実際には、ターゲット領域内に人物が位置する、つまり、追跡対象の人物を見失っていないと判定した場合（Ｎｏ）は、処理を終了する。他方、判定部５２が実際に、ターゲット領域内に人物が位置しない、つまり、追跡対象の人物を見失ったと判定した場合（Ｙｅｓ）は、ステップＳ６３に進む。

（ステップＳ６３）
相対位置決定部４６は、判定部５２が追跡対象の人物を見失ったと判定した場合に、すでに設定されているターゲット領域を削除する。また、相対位置決定部４６は、判定部５２が追跡対象の人物を見失ったと判定した場合に、例えばステップＳ４１に戻り、削除されたターゲット領域とは異なるターゲット領域を決定してもよい。

（効果）
以上、本発明の実施形態によれば、物体追跡装置１が運動する場合であっても、物体追跡装置１は、位置推定部４２の推定結果と距離測定部４４の測定結果とに基づいて、物体追跡装置１の位置に対する物体のターゲット領域を決定し、物体追跡装置１の運動量に基づいて、当該ターゲット領域を更新し、物体追跡装置１の位置と更新されたターゲット領域とに基づいて、物体を追跡するように制御するので、正確に物体を追跡することができる。

（他の変形例）
上記各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するものではない。本発明はその趣旨を逸脱することなく、変更／改良（たとえば、各実施形態を組み合わせること、各実施形態の一部の構成を省略すること）され得るとともに、本発明にはその等価物も含まれる。例えば、図４において説明した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。図４において、ステップＳ２とステップＳ３とは、並列に実行されてもよい。

１：物体追跡装置
１０：中央処理装置
１４：カメラ
１６：ＬＲＦ
２６：記録部
２８：駆動部
３０：電源部
４０：物体特定部
４２：位置推定部
４４：距離測定部
４６：相対位置決定部
４８：運動量測定部
５０：相対位置更新部
５２：判定部
５４：追跡制御部

Claims

物体を追跡する物体追跡装置であって、
前記物体を撮像する撮像部と、
前記撮像部からの画像情報に基づいて、前記物体の位置を推定する位置推定部と、
前記物体を含む所定の範囲に対して送信波を照射する照射部と、
前記照射部から照射された前記送信波の反射波に基づいて、前記物体追跡装置と前記物体との距離を測定する距離測定部と、
前記位置推定部の推定結果と前記距離測定部の測定結果とに基づいて、前記物体追跡装置の位置に対する前記物体の相対位置を決定する相対位置決定部と、
前記物体追跡装置の運動量に基づいて、前記相対位置を更新する相対位置更新部と、
前記物体追跡装置の位置と更新された前記相対位置とに基づいて、前記物体を追跡する追跡部と、を備え、
前記相対位置更新部は、前記相対位置における追跡対象である前記物体に対する情報であって、前記反射波に応じた当該情報の存否に基づいて前記相対位置の信頼性を判断し、
判断された前記信頼性に応じて、前記物体追跡装置の位置に対する前記物体の前記相対位置に追跡対象である前記物体が位置するか否かを判定する判定部を更に備える、
物体追跡装置。
前記運動量は、前記物体追跡装置の移動量、及び、前記物体追跡装置が前記物体追跡装置の鉛直軸を中心として回転する場合の回転量の少なくとも一方を含む、
請求項１に記載の物体追跡装置。
前記距離測定部は、前記送信波を反射する反射物を含む所定の範囲に対して照射される送信波の前記反射物からの反射波と、前記反射物の位置を含む範囲の取得情報と、に基づいて前記物体追跡装置の位置を測定する、
請求項１又は２に記載の物体追跡装置。
前記相対位置決定部は、前記判定部が前記相対位置に前記物体が位置しないと判定する場合に、当該相対位置とは異なる相対位置を決定する、
請求項１〜３のいずれか１項に記載の物体追跡装置。
前記撮像部からの画像情報に基づいて、前記物体を特定する物体特定部を更に備え、
前記物体特定部は、前記物体が備えるマーカに基づいて、前記物体を特定する、
請求項１〜４のいずれか１項に記載の物体追跡装置。
前記位置推定部は、前記撮像部によって撮像された、前記物体が備えるマーカを含む画像における前記マーカの大きさに基づいて、前記物体の位置を推定する、
請求項１〜４のいずれか１項に記載の物体追跡装置。
物体を追跡する物体追跡方法であって、
前記物体を撮像することと、
撮像された前記物体の画像情報に基づいて、前記物体の位置を推定することと、
前記物体を含む所定の範囲に対して送信波を照射することと、
照射された前記送信波の反射波に基づいて、物体追跡装置と前記物体との距離を測定することと、
前記物体の位置の推定結果と、前記物体追跡装置と前記物体との距離の測定結果と、に基づいて、前記物体追跡装置の位置に対する前記物体の相対位置を決定することと、
前記物体追跡装置の運動量に基づいて、前記相対位置を更新することと、
前記物体追跡装置の位置と更新された前記相対位置とに基づいて、前記物体を追跡することと、を含み、
前記相対位置を更新することは、前記相対位置における追跡対象である前記物体に対する情報であって、前記反射波に応じた当該情報の存否に基づいて前記相対位置の信頼性を判断し、
判断された前記信頼性に応じて、前記物体追跡装置の位置に対する前記物体の前記相対位置に追跡対象である前記物体が位置するか否かを判定することを更に含む、
物体追跡方法。
コンピュータを、
撮像された物体の画像情報に基づいて、前記物体の位置を推定する位置推定部と、
前記物体を含む所定の範囲に対して照射される送信波の反射波に基づいて、物体追跡装置と前記物体との距離を測定する距離測定部と、
前記位置推定部の推定結果と前記距離測定部の測定結果とに基づいて、前記物体追跡装置の位置に対する前記物体の相対位置を決定する相対位置決定部と、
前記物体追跡装置の運動量に基づいて、前記相対位置を更新する相対位置更新部と、
前記物体追跡装置の位置と更新された前記相対位置とに基づいて、前記物体を追跡する追跡部と、して機能させ、
前記相対位置更新部は、前記相対位置における追跡対象である前記物体に対する情報であって、前記反射波に応じた当該情報の存否に基づいて前記相対位置の信頼性を判断し、
判断された前記信頼性に応じて、前記物体追跡装置の位置に対する前記物体の前記相対位置に追跡対象である前記物体が位置するか否かを判定する判定部としてさらに機能させる、
物体追跡プログラム。