JP4674316B2 - 位置検出装置、位置検出方法及び位置検出プログラム - Google Patents

Description

本発明は、一の撮影手段を用いて、対象物、例えば、人間の３次元位置を検出する位置検出装置及び位置検出方法に関するものである。

近年、画像取得技術の進歩及びネットワーク化により、画像監視システムが市中に設置されるようになっている。このような画像監視システムが、近い将来、安全面に問題のある人を監視したり、歩行者、特に老人及び子供に有益な情報を提供したり、種々の重要な目的のために使用されることが予想され、これらのサービスから提供されるデータを分析することにより生活の質を向上させることができる。

上記のような画像監視システムには、人間の位置を検出して追跡することが必要となり、例えば、複数のカメラを使用したステレオ技術を用いて人間の３次元位置を追跡することが報告されている（非特許文献１参照）。このステレオ技術を用いて人間を追跡する場合、人間が重なり合った状態でも、正確に各人間の３次元位置を検出することができる。
エイ ミタル（A. Mittal）他、「Ｍ２Ｔトラッカー：混雑した状態の人間の分割及び追跡に対する複数視点のアプローチ」（M2Tracker: A Multi-View Approach to Segmenting and Tracking People in a Cluttered Scene）、コンピュータビジョンインターナショナルジャーナ（International Journal of Computer Vision）、２００３年、Ｖｏｌ．５１（３），ｐ．１８９−ｐ．２０３

しかしながら、上記のように複数のカメラを用いた場合、多数の画像データを処理する必要があり、計算コストが増加する。また、一つの撮影範囲に対して複数台のカメラが必要となり、広い範囲を撮影する場合、多数のカメラが必要となり、装置のコストが増大する。このため、１台のカメラを用いて撮影した画像を３次元空間中の所定高さに配置された仮想平面に投影して人間の位置を検出することも考えられるが、この場合、水平面の高さが固定されるため、測定物体の高さと想定した平面の高さとが一致しない場合、正確な２次元位置を検出することは困難である。一方、本発明が測定対象としている人間の身長は、個人ごとに異なるのが一般的であるため、測定可能な高さが固定される問題の影響は深刻である。

本発明の目的は、一の撮影手段を用いて簡略な検出処理により、人間のように様々な高さを有する物体の２次元位置を検出することができる位置検出装置、位置検出方法及び位置検出プログラムを提供することである。

本発明に係る位置検出装置は、対象物を撮影して当該対象物を含む２次元画像を取得する一の撮影手段と、撮影手段により取得された２次元画像から対象物領域を抽出して当該対象物領域を３次元空間中に所定間隔で予め設定された複数の水平面上に投影する投影手段と、投影手段により各水平面上に投影された対象物の写像を積分して写像の積分値を算出する積分手段と、積分手段により算出された積分値のピークが位置する３次元空間中の水平位置を対象物の位置として検出する検出手段とを備えるものである。

本発明に係る位置検出装置においては、一の撮影手段により対象物を撮影して当該対象物を含む２次元画像が取得され、取得された２次元画像から抽出された対象物領域が３次元空間中に所定間隔で予め設定された複数の水平面上に投影され、各水平面上に投影された対象物の写像を積分して写像の積分値が算出され、算出された積分値のピークが位置する３次元空間中の水平位置が対象物の位置として検出される。

このように、対象物が直立していると仮定して、積分値のピークの位置を対象物の水平位置として検出するとともに、このピークの位置に対象物の写像が存在する最も高い水平面の高さを対象物の高さとして検出しているので、一の撮影手段により撮影された画像のみを用いて、人間のように様々な高さを有する物体の２次元位置を検出することができる。また、一の撮影手段により撮影された画像のみを用いているので、検出処理を簡略化することができる。

検出手段は、対象物の３次元形状を近似した近似フィルタと積分値との畳み込み値が最大となる３次元空間中の水平位置を対象物の位置として検出することが好ましい。

この場合、近似フィルタにより対象物のみを抽出することができ、他の物体等による外乱に対してロバストな検出を行うことができる。

検出手段は、ピークが位置する３次元空間中の水平位置に対象物の写像が存在する最も高い水平面の高さを対象物の高さとして検出することが好ましい。

この場合、ピークが位置する３次元空間中の水平位置に対象物の写像が存在する最も高い水平面の高さを対象物の高さとして検出することができるので、３次元物体の登頂部の位置（３次元物体が地図上で存在する２次元座標及びその高さ）を物体の３次元位置として検出することができる。

検出手段は、積分手段により算出された積分値に複数のピークが存在する場合、隣接するピーク間の谷の高さとピークの高さとの間隔が所定間隔以上のピーク毎に、当該ピークが位置する３次元空間中の水平位置を対象物の位置として検出するとともに、当該ピークが位置する３次元空間中の水平位置に対象物の写像が存在する最も高い水平面の高さを対象物の高さとして検出することが好ましい。

この場合、隣接するピーク間の谷の高さとピークの高さとの間隔が所定間隔以上の各ピークが対象物によるものであると判断することができるので、複数の対象物が近接している状態でも、各対象物の３次元位置を高精度に検出することができる。

検出手段は、隣接するピーク間の谷の高さとピークの高さとの間隔が所定間隔未満である場合、第１の対象物と、撮影手段から第１の対象物より離れている第２の対象物とが重なっていると判断し、基準高さ以上のピークが位置する３次元空間中の水平位置を第１の対象物の位置として検出するとともに、第１の対象物の高さとして所定時間前に検出された高さを用いることが好ましい。

この場合、第１及び第２の対象物が非常に近接して撮影画像上で重なり合っていても、撮影手段側に位置する第１の対象物の３次元位置を高精度に検出することができる。

検出手段は、３次元空間における撮影手段の撮影中心位置と３次元空間における基準高さ以上のピークの３次元位置とを結ぶ直線と、第２の対象物の高さとして所定時間前に検出された高さに位置する水平面とが交わる点が位置する３次元空間中の水平位置を第２の対象物の位置として検出するとともに、第２の対象物の高さとして所定時間前に検出された高さを用いることが好ましい。

この場合、第１及び第２の対象物が非常に近接して撮影画像上で重なり合っていても、撮影手段から第１の対象物より離れている第２の対象物の３次元位置を高精度に検出することができる。

本発明に係る位置検出方法は、一の撮影手段、投影手段、積分手段、及び検出手段を備える位置検出装置の位置検出方法であって、前記撮影手段が、対象物を撮影して当該対象物を含む２次元画像を取得する第１のステップと、前記投影手段が、前記撮影手段により取得された２次元画像から対象物領域を抽出して当該対象物領域を３次元空間中に所定間隔で予め設定された複数の水平面上に投影する第２のステップと、前記積分手段が、前記投影手段により各水平面上に投影された対象物の写像を積分して写像の積分値を算出する第３のステップと、前記検出手段が、前記積分手段により算出された積分値のピークが位置する３次元空間中の水平位置を対象物の位置として検出する第４のステップとを含むものである。

本発明に係る位置検出プログラムは、対象物を撮影して当該対象物を含む２次元画像を取得する一の撮影手段により取得された２次元画像から対象物領域を抽出して当該対象物領域を３次元空間中に所定間隔で予め設定された複数の水平面上に投影する投影手段と、投影手段により各水平面上に投影された対象物の写像を積分して写像の積分値を算出する積分手段と、積分手段により算出された積分値のピークが位置する３次元空間中の水平位置を対象物の位置として検出する検出手段としてコンピュータを機能させるものである。

本発明によれば、対象物が直立していると仮定して、積分値のピークの位置を対象物の水平位置として検出しているので、一の撮影手段により撮影された画像のみを用いて、人間のように様々な高さを有する物体の２次元位置を検出することができるとともに、検出処理を簡略化することができる。

以下、本発明の一実施の形態による位置検出装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による位置検出装置の構成を示すブロック図である。

図１に示す位置検出装置は、１台のビデオカメラ１１、投影部１２、積分部１３、検出部１４及び追跡部１５を備える。投影部１２、積分部１３、検出部１４及び追跡部１５は、入力装置、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、画像Ｉ／Ｆ（インターフェース）部及び外部記憶装置等を備えるコンピュータを用いて後述する各処理を行うための位置検出プログラムをＣＰＵ等で実行することにより実現される。なお、投影部１２、積分部１３、検出部１４及び追跡部１５の構成例は、本例に特に限定されず、各ブロックを専用のハードウエアから構成したり、一部のブロック又はブロック内の一部の処理のみを専用のハードウエアで構成したりする等の種々の変更が可能である。

ビデオカメラ１１は、通常の監視カメラ等から構成され、撮影空間の所定位置、例えば、天井の隅に取り付けられる。ビデオカメラ１１は、後述する校正方法により校正されており、対象物である人間を撮影して人間を含む２次元画像を取得して投影部１２へ出力する。なお、ビデオカメラ１１としては、既設の監視カメラを用いてもよい。

投影部１２は、取得された２次元画像から対象物領域となる人物領域を抽出し、抽出した人物領域を３次元空間中に所定間隔で予め設定された複数の水平面（各水平面の高さは既知）上に投影する。なお、２次元画像における背景領域（人間以外の領域）と人物領域（人間のシルエット）との分離には、背景差分等の公知の画像処理手法を用いることができる。

ここで、ビデオカメラ１１の校正方法について説明する。３次元空間中に設定された複数の水平面上に人物領域画像を投影するためには、ビデオカメラ１１の撮影画像と３次元空間中に設定された二つの基準面（水平面）との間の２次元射影変換行列が必要となる。まず、二つの基準面のうち一方の面が地面の高さ（高さ０）に位置し、他方の面は高さＹｈに位置するものとし、撮影空間となる３次元空間に普通の人間の身長より高い４本の校正用バーを地面に対して垂直に所定間隔に（４本の校正用バーが立方体をなすように）設置する。各校正用バーの頭部及び底部には色付けされたマーカーが設けられ、各基準面に対して４個のマーカーを観測することにより、２次元射影変換行列Ｈ０、Ｈ１を計算する。ここで、二つの基準面の間に位置する中間の高さの水平面の高さをＹｎとすると、この水平面の２次元射影変換行列Ｈｎは、下記の式（１）に示すように、２次元射影変換行列Ｈ０、Ｈ１を用いた補間により推定することができる。

Ｈｎ＝（（Ｙｈ−Ｙｎ）Ｈ０＋（Ｙｎ）Ｈ１）／Ｙｈ （１）
上記のようにして、各設置位置で校正用バーの３次元位置を正確に測定することにより、複数の水平面と３次元世界座標系との間の変換を容易に行うことができ、ビデオカメラ１１の校正を簡略に行うことができる。

積分部１３は、各水平面上に投影された人間の写像を積分して写像の積分値を算出して検出部１４へ出力する。検出部１４は、算出された積分値のピークが位置する３次元空間中の水平位置を人間の位置として検出するとともに、このピークが位置する３次元空間中の水平位置に人物領域の写像が存在する最も高い水平面の高さを人物の高さとして検出する。追跡部１５は、検出された３次元位置を用いて人間を追跡し、各観測時刻における人間の３次元位置（水平位置及び高さ）を記憶している。

なお、ビデオカメラ１１がパン方向及びチルト方向に移動可能な可動カメラから構成される場合、追跡部１５は、追跡結果に応じてビデオカメラ１１の撮影位置を制御するようにしてもよい。この場合、その撮影位置でカメラ校正を行うことにより、常に最適な観測位置で対象物を撮影することができ、３次元位置を高精度に検出することができる。

具体的には、検出部１４は、対象物の３次元形状を近似した近似フィルタと積分値との畳み込み値が最大となる３次元空間中の水平位置を対象物の位置として検出するとともに、この対象物の位置において人間の写像が存在する最も高い水平面の高さを人間の高さとして検出することにより、人間の３次元位置を検出する。

また、検出部１４は、近接する複数の人間が撮影され、積分値に複数のピークが存在する場合、隣接するピーク間の谷の高さとピークの高さとの間隔が所定間隔以上、例えば、１ｍ以上あるピーク毎に、当該ピークが位置する３次元空間中の水平位置を人間の位置として検出するとともに、当該ピークが位置する３次元空間中の水平位置に人間の写像が存在する最も高い水平面の高さを対象物の高さとして検出する。

さらに、検出部１４は、複数の人間が非常に近接して撮影画像上で重なり、隣接するピーク間の谷の高さとピークの高さとの間隔が所定間隔未満である場合、二人以上の人間が重なっていると判断し、基準高さ以上、例えば、２．５ｍ以上のピークが位置する３次元空間中の水平位置をビデオカメラ１１に近い方の人間の位置として検出するとともに、この人間の高さとして所定時間前、例えば、１又は数フレーム前に検出された高さを追跡部１５から読み出し、読み出した高さを現在の高さとして用いる。

このとき、検出部１４は、ビデオカメラ１１から遠い方の人間の高さとして所定時間前、例えば、１又は数フレーム前に検出された高さを追跡部１５から読み出し、読み出した高さを現在の高さとして用いるとともに、３次元空間におけるビデオカメラ１１のカメラ中心位置と３次元空間における基準高さ以上のピークの３次元位置とを結ぶ直線と、追跡部１５から読み出した高さに位置する水平面との交点が位置する３次元空間中の水平位置をこの人間の位置として検出する。

上記のように、本実施の形態では、３次元空間中に一つの水平面ではなく、複数の水平面を設定し、校正されたビデオカメラ１１により撮影された単眼画像だけを使用している。この単眼画像すなわち２次元情報のみを使用して３次元位置を推定する場合、次元数が１次元不足するが、これを補うために人間が垂直に立っていることを仮定し、複数の水平面上に人間のシルエットである人物領域を投影し、この投影領域を垂直軸に沿って積分した積分値のピークを用いて人間の３次元位置（水平位置及び高さ）を検出し、３次元空間において種々の高さの人間を追跡することができる。

なお、本実施の形態では、ビデオカメラ１１が撮影手段の一例に相当し、投影部１２が投影手段の一例に相当し、積分部１３が積分手段の一例に相当し、検出部１４が検出手段の一例に相当する。

次に、一人の人間を撮影した画像を用いて当該人間の３次元位置を検出する通常３次元位置検出処理について説明する。図２は、図１に示す位置検出装置による通常３次元位置検出処理を説明するための原理図である。

図２に示すように、３次元空間中に複数の水平面ＨＰが設定され、各水平面ＨＰの２次元座標は、Ｘ軸及びＹ軸によって規定され、高さ方向がＹ軸であり、対象物である人間ＯＢは、説明を容易にするため、図中にバー形状で示している。まず、投影部１２は、高さＹｎ（０≦Ｙｎ≦Ｙｈ）を変更することにより、ビデオカメラ１１により撮影された２次元画像から分割された人物領域Ｓを水平面ｎ（各水平面ＨＰ）に投影する。この投影結果Ｐ（Ｙｎ）は、高さＹｎを用いて下記式（２）により表すことができる。

Ｐ（Ｙｎ）＝ＨｎＳ （２）
ここで、人間ＯＢが直立していると仮定すると、投影された人物領域ＰＲ（図中の斜線部）は、常に、実際の人間が存在する水平面ｎ上のある点（Ｘ，Ｚ）を含み、全ての水平面ｎを統合（マージ）することにより人物の３次元位置を推定することができる。

積分部１３は、下記式（３）を用いて、点（Ｘ，Ｚ）で垂直軸Ｙに沿って対象物の写像である人物領域Ｐ（Ｙ）の積分値Ｉｔｇ（Ｘ，Ｚ）を算出する。

また、積分値のピークを検出するために、人間の形状を近似する近似フィルタである３次元凸フィルタが使用され、例えば、下記式（４）に表される円筒形状フィルタＣｖｘ（Ｘ，Ｚ）を用いることができ、ここで、ｒは円筒の底部の半径である。なお、近似フィルタとしては、本例に特に限定されず、対象物の３次元形状等に応じて種々のものを用いることができる。また、積分値のピークを検出する方法も、以下の方法に特に限定されず、種々の方法を用いることができ、例えば、上記式（３）により表される積分値を微分してピークを検出する方法（微分フィルタを用いる方法）を用いてもよい。

検出部１４は、上記の凸フィルタＣｖｘ（Ｘ，Ｚ）と積分値Ｉｔｇ（Ｘ，Ｚ）との畳み込み値を算出し、畳み込み値が最大となる座標値（Ｘｍ，Ｚｍ）を人間の水平位置として検出し、人間の水平位置（Ｘｍ，Ｚｍ）における人物領域の最大高さ（人間の写像が存在する最も高い水平面の高さ）を人間の高さＹｍとして検出する。図２に示す例では、畳み込み値ＣＶが算出され、そのピークＰＩが位置する座標値（Ｘｍ，Ｚｍ）が人間の水平位置として検出され、そのピークＰＩが位置する座標値（Ｘｍ，Ｚｍ）における人物領域の最大高さが人間の高さＹｍとして検出される。

上記の積分処理の計算中に画像中の小さなホールやクラックなどの分割エラーがスムーズ化され、各領域を完全に分割する必要がなくなるとともに、凸フィルタＣｖｘ（Ｘ，Ｚ）により人間のみを抽出することができ、他の物体等による外乱に対してロバストな検出を行うことができる。

次に、複数の人間が撮影された画像を用いて各人間の３次元位置を検出する複数３次元位置検出処理について説明する。まず、複数の人間が入力画像に撮影され、各人物領域を分割できる場合、第１の複数３次元位置検出処理として、投影部１２は、２次元画像を一人の人物領域のみを含む分割領域に分割し、積分部１３及び検出部１４は、分割領域毎に一人に対して上記の通常３次元位置検出処理を繰り返すことにより、全ての人間の３次元位置を検出する。

しかしながら、例えば、撮影された複数の人間が手をつないでいる場合、二つの人物領域の一部が連結され、二つの人物領域が弱く連結されるため、上記のように領域を分割することができない。この場合、第２の複数３次元位置検出処理として、複数の人物領域の一部が連結された連結領域を一つの領域として上記の通常３次元位置検出処理が実行される。

すなわち、上記と同様に、投影部１２は、複数の人物領域の一部が連結された連結領域を一つの領域として複数の水平面に投影し、積分部１３は、投影領域の積分値Ｉｔｇ（Ｘｎ，Ｚｎ）を算出し、検出部１４は、凸フィルタＣｖｘ（Ｘｎ，Ｚｎ）及び積分値Ｉｔｇ（Ｘｎ，Ｚｎ）の畳み込み値を算出する。

次に、検出部１４は、隣接する畳み込み値のピーク間に位置する谷の高さと畳み込み値のピークの高さとの間隔と、予め記憶している所定間隔とを比較して所定間隔以上のピークを検出する。次に、検出部１４は、検出した畳み込み値のピークと、予め記憶している所定値、例えば、１．５ｍとを比較して所定値以上のピークを抽出する。次に、検出部１４は、抽出したピーク毎に当該ピークが位置する座標点（Ｘｎ，Ｚｎ）を一人の人間の水平位置として検出するとともに、水平位置（Ｘｎ，Ｚｎ）における人物領域の最大高さを人間の高さＹｎとして検出する。上記の処理が３次元空間の全体に適用され、複数の人間の３次元位置が順次検出される。なお、上記のピークの高さ及び谷の高さは、人間の３次元位置の検出と同様に検出され、ピーク及び谷が位置する座標点をピーク及び谷の水平位置として検出し、検出された水平位置における人物領域の最大高さをピークの高さとして検出することができる。

上記の処理により、隣接する畳み込み値のピーク間の谷の高さと畳み込み値のピークの高さとの間隔が所定間隔以上の各ピークが人間によるものであると判断することができるので、複数の人間が近接している状態でも、各人間の３次元位置を高精度に検出することができる。

次に、ビデオカメラ１１のカメラ中心と人間とを結ぶ直線上に他の人間がいるとき、二人の人間の人物領域が大きく重なり合い、二つの人物領域が強く連結されるため、隣接する畳み込み値のピーク間に位置する谷の高さと畳み込み値のピークの高さとの間隔が所定間隔未満となり、上記のフィルタ処理では連結している領域を分割することが困難なため、上記の第２の複数３次元位置検出処理を適用することができない。この場合、数フレーム前に既に検出された各人間の位置を用いて重なり合った人間の位置を検出する第３の複数３次元位置検出処理が実行される。なお、同じ投影領域に二人以上の人間がいる場合は、下記の処理を人間の数だけ繰り返す。

まず、上記と同様に、投影部１２は、二人の人間を含む連結領域を複数の水平面に投影し、積分部１３は、投影領域の積分値Ｉｔｇ（Ｘｎ，Ｚｎ）を算出する。検出部１４は、凸フィルタＣｖｘ（Ｘｎ，Ｚｎ）及び積分値Ｉｔｇ（Ｘｎ，Ｚｎ）の畳み込み値を算出し、最大となる座標値（Ｘ０（ｔ），Ｚ０（ｔ））における人物領域の最大高さＹ０（ｔ）’を検出する（ここで、ｔは時間パラメータ）。

次に、検出部１４は、検出した高さＹ０（ｔ）’と、予め記憶している基準値Ｙｒ（例えば、２．５ｍ）とを比較して高さＹ０（ｔ）’が基準値Ｙｒ以上の場合、ビデオカメラ１１に近い方の人間が水平位置（Ｘ０（ｔ），Ｚ０（ｔ））にいると判断し、前のフレームを用いて検出された同一人物（ビデオカメラ１１に近い方の人間）の高さＹ０（ｔ−１）を追跡部１５から読み出し、読み出した高さＹ０（ｔ−１）を現在の高さＹ０（ｔ）として用いる。

上記の処理により、検出部１４は、ビデオカメラ１１に近い方の人間の３次元位置として、水平位置（Ｘ０（ｔ），Ｚ０（ｔ））及び高さＹ０（ｔ−１）を取得することができるので、二人の人間が非常に近接して撮影画像上で重なり合っていても、ビデオカメラ１１に近い方の人間の３次元位置を高精度に検出することができる。

次に、検出部１４は、ビデオカメラ１１から遠い方の人間として前のフレームを用いて検出された同一人物の高さＹ１（ｔ−１）を追跡部１５から読み出し、読み出した高さＹ１（ｔ−１）をビデオカメラ１１から遠い方の人間の現在の高さＹ１（ｔ）として用いるとともに、基準値Ｙｒ以上のピークとして検出された座標値（Ｘ０（ｔ），Ｙ０（ｔ）’，Ｚ０（ｔ））とビデオカメラ１１のカメラ中心（Ｘｃ，Ｙｃ，Ｚｃ）とを結ぶ直線を設定し、読み出した高さＹ１（ｔ−１）に位置する水平面とこの直線との交点の座標値（Ｘ１（ｔ），Ｚ１（ｔ））をビデオカメラ１１から遠い方の人間の位置として検出する。

上記の処理により、検出部１４は、ビデオカメラ１１から遠い方の人間の３次元位置として、水平位置（Ｘ１（ｔ），Ｚ１（ｔ））及び高さＹ１（ｔ−１）を取得することができるので、二人の人間が非常に近接して撮影画像上で重なり合っていても、ビデオカメラ１１から遠い方の人間の３次元位置を高精度に検出することができる。

なお、上記の同一人物予測処理としては、例えば、追跡部１５において、各フレームで検出された人間の３次元位置を記憶しておき、各３次元位置を用いて人間の移動（例えば、等速度移動）に対する速度予測及び／又は加速度予測を行うことにより現在の３次元位置を予測し、予測した３次元位置と検出された現在の水平位置とが最も近い人間が、現在の水平位置にいる人間と同一人物であると判定することにより行うことができる。この場合、速度予測及び／又は加速度予測を用いた人間の３次元位置予測を３次元空間において直接行っているので、投影による幾何学的な非線形性の影響を受けず、高精度に速度予測及び／又は加速度予測を行うことができ、同一人物を高精度に判定することができる。

次に、上記の位置検出装置を用いて実際に人間の３次元位置を検出した結果について説明する。図３は、撮影空間を説明するための模式図であり、図４は、図１に示す位置検出装置による検出結果の一例を示す図である。

図３に示すように、ビデオカメラ１１をそのカメラ中心の高さが２.６ｍになる位置に取り付け、２.５×１１ｍの撮影空間（廊下）に対して水平面において６８度傾けるとともに撮影空間を見下ろすように配置し、撮影空間を移動する人間を撮影して３２０×２４０ｐｉｘｅｌの画像を１秒間隔で１００枚取得した。撮影空間には、２２個のランドマークを配置し、３次元レーザー測定装置を用いて全ての点の３次元位置を測定し、この３次元位置情報と撮影画像の２次元位置情報とを用いてビデオカメラ１１を校正した。撮影画像の空間分解能は距離に依存し、廊下の端部に位置する対象物を撮影した場合の空間分解能は、約５６ｍｍであり、撮影された対象物がビデオカメラ１１の正面に立っている場合の空間分解能は、約１７ｍｍであった。

上記の測定条件の下、人間の３次元位置を検出した結果、図４に示す結果を得られた。まず、図４の（ａ）は一人の人間が歩いている場面、（ｂ）は一人の人間が屈伸している場面、（ｃ）は二人の人間がすれ違う場面（人物領域が弱く結合されている状態）、（ｄ）は二人の人間が撮影画像中で重なり合った場面（人物領域が強く結合されている状態）をそれぞれ示している。また、図４の上段は撮影画像を示し、中段は撮影画像から抽出された人物領域を示し、下段は撮影空間の水平面への写像を積分した結果を示し、上段及び下段の四角及び丸は検出されたピークの位置すなわち人間の位置を示している。図４から、上記の４種類の場面において、一人又は二人の人間を正確に検出することができ、複数の人間が重なり合っても、正確に追跡することができることがわかった。

上記のように、本発明では、入力センサとして１台のビデオカメラだけを必要とするので、既に広く設置されている監視カメラを用いて人間の３次元位置を容易に検出することができ、また、検出結果が３次元座標系で記述されているので、他のセンサ（例えば、ＧＰＳ、ＲＦＩＤ）と同じ内容を共有したり、ネットワークを介してロボットをナビゲートしたりする場合等に好適に用いることができる。

なお、上記の説明では、検出される対象物として、人間を例に説明したが、他の動物、他の移動体等にも同様に適用することができ、同様の効果を得ることができる。

本発明の一実施の形態による位置検出装置の構成を示すブロック図である。 図１に示す位置検出装置による通常３次元位置検出処理を説明するための原理図である。 撮影空間を説明するための模式図である。 図１に示す位置検出装置による検出結果の一例を示す図である。

符号の説明

１１ ビデオカメラ
１２ 投影部
１３ 積分部
１４ 検出部
１５ 追跡部

Claims (8)

1. 対象物を撮影して当該対象物を含む２次元画像を取得する一の撮影手段と、
   前記撮影手段により取得された２次元画像から対象物領域を抽出して当該対象物領域を３次元空間中に所定間隔で予め設定された複数の水平面上に投影する投影手段と、
   前記投影手段により各水平面上に投影された対象物の写像を積分して写像の積分値を算出する積分手段と、
   前記積分手段により算出された積分値のピークが位置する前記３次元空間中の水平位置を対象物の位置として検出する検出手段とを備えることを特徴とする位置検出装置。
2. 前記検出手段は、対象物の３次元形状を近似した近似フィルタと前記積分値との畳み込み値が最大となる前記３次元空間中の水平位置を対象物の位置として検出することを特徴とする請求項１記載の位置検出装置。
3. 前記検出手段は、前記ピークが位置する前記３次元空間中の水平位置に対象物の写像が存在する最も高い水平面の高さを対象物の高さとして検出することを特徴とする請求項１又は２記載の位置検出装置。
4. 前記検出手段は、前記積分手段により算出された積分値に複数のピークが存在する場合、隣接するピーク間の谷の高さとピークの高さとの間隔が所定間隔以上のピーク毎に、当該ピークが位置する前記３次元空間中の水平位置を対象物の位置として検出するとともに、当該ピークが位置する前記３次元空間中の水平位置に対象物の写像が存在する最も高い水平面の高さを対象物の高さとして検出することを特徴とする請求項３記載の位置検出装置。
5. 前記検出手段は、隣接するピーク間の谷の高さとピークの高さとの間隔が所定間隔未満である場合、第１の対象物と、前記撮影手段から前記第１の対象物より離れている第２の対象物とが重なっていると判断し、基準高さ以上のピークが位置する前記３次元空間中の水平位置を第１の対象物の位置として検出するとともに、第１の対象物の高さとして所定時間前に検出された高さを用いることを特徴とする請求項３又は４記載の位置検出装置。
6. 前記検出手段は、前記３次元空間における前記撮影手段の撮影中心位置と前記３次元空間における前記基準高さ以上のピークの３次元位置とを結ぶ直線と、第２の対象物の高さとして所定時間前に検出された高さに位置する水平面とが交わる点が位置する前記３次元空間中の水平位置を第２の対象物の位置として検出するとともに、第２の対象物の高さとして所定時間前に検出された高さを用いることを特徴とする請求項５記載の位置検出装置。
7. 一の撮影手段、投影手段、積分手段、及び検出手段を備える位置検出装置の位置検出方法であって、
   前記撮影手段が、対象物を撮影して当該対象物を含む２次元画像を取得する第１のステップと、
   前記投影手段が、前記撮影手段により取得された２次元画像から対象物領域を抽出して当該対象物領域を３次元空間中に所定間隔で予め設定された複数の水平面上に投影する第２のステップと、
   前記積分手段が、前記投影手段により各水平面上に投影された対象物の写像を積分して写像の積分値を算出する第３のステップと、
   前記検出手段が、前記積分手段により算出された積分値のピークが位置する前記３次元空間中の水平位置を対象物の位置として検出する第４のステップとを含むことを特徴とする位置検出方法。
8. 対象物を撮影して当該対象物を含む２次元画像を取得する一の撮影手段により取得された２次元画像から対象物領域を抽出して当該対象物領域を３次元空間中に所定間隔で予め設定された複数の水平面上に投影する投影手段と、
   前記投影手段により各水平面上に投影された対象物の写像を積分して写像の積分値を算出する積分手段と、
   前記積分手段により算出された積分値のピークが位置する前記３次元空間中の水平位置を対象物の位置として検出する検出手段としてコンピュータを機能させることを特徴とする位置検出プログラム。

Images