JP6606340B2

JP6606340B2 - 画像検出装置、画像検出方法およびプログラム

Info

Publication number: JP6606340B2
Application number: JP2015074942A
Authority: JP
Inventors: 寛之内山; 睦凌郭; 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-04-01
Filing date: 2015-04-01
Publication date: 2019-11-13
Anticipated expiration: 2035-04-01
Also published as: JP2016194847A

Description

本発明は画像検出装置、画像検出方法およびプログラムに関する。

監視カメラシステムにおいて、視野が重複した複数のカメラを用いて物体を撮影することで、物体の３次元位置を推定する手法が提案されている。これは、位置が既知のカメラで被写体を撮影することで、カメラ画像上の被写体の位置から、ステレオ視の原理で３次元位置を推定するものである。このとき、誤った３次元位置が虚像として推定されることが問題となる。以下、「実際には被写体が存在しない位置」を「誤った３次元位置」とも記載し、また「かかる３次元位置に被写体が存在すると推定される」ことを「誤った３次元位置が虚像として推定される」とも記載する。
例えば、図２のようにカメラ１が人体Ｂ、カメラ２が人体Ａと人体Ｂを捉えている場合を考える。この場合、人体Ｂの正しい位置のみならず、カメラ１の光学中心Ｃ１と人体Ｂとを結ぶ直線と、カメラ２の光学中心Ｃ２と人体Ａとを結ぶ直線の交点が虚像Ｖの位置として推定される。

この問題の解決方法として、特許文献１では、人体の３次元移動軌跡を求め、これらの３次元移動軌跡の断片を連結して、それぞれの人体の完全な移動軌跡を算出している。一定時間の長さの軌跡を連結することで、虚像が排除される。以下、誤った３次元位置に被写体が存在しないことが明らかにされることを「虚像が排除される」とも記載する。
また、虚像はカメラ間の人体の対応付けに曖昧性があるために生じる。そのため、ステレオ視ではカメラ間の物体領域の色やテクスチャ等の画像情報を比較し、これらが同一物体か否かを判定することで、虚像を排除する方法がよく行われる（非特許文献１）。

特開２０１０−０６３００１号公報

服部寛「車載向けステレオ画像処理技術」自動車技術６３（２），８９−９２，２００９−０２−０１ＰａｕｌＶｉｏｌａａｎｄＭｉｃｈａｅｌＪｏｎｅｓ「ＲｏｂｕｓｔＲｅａｌ−ｔｉｍｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ」ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００１ＺｈｅｎｇｙｏｕＺｈａｎｇ「ＡＦｌｅｘｉｂｌｅＮｅｗＴｅｃｈｎｉｑｕｅｆｏｒＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎ」，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２２（１１）：１３３０−１３３４，２０００ＰｉｅｒｒｅＭｏｕｌｏｎ，ＰａｓｃａｌＭｏｎａｓｓｅ，ａｎｄＲｅｎａｕｄＭａｒｌｅｔ「Ａｄａｐｔｉｖｅｓｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎｗｉｔｈａｃｏｎｔｒａｒｉｏｍｏｄｅｌｅｓｔｉｍａｔｉｏｎ」ＡＣＣＶ２０１２Ｍ．Ｄ．Ｂｒｅｉｔｅｎｓｔｅｉｎｅｔａｌ．，「Ｒｏｂｕｓｔｔｒａｃｋｉｎｇ−ｂｙ−ｄｅｔｅｃｔｉｏｎｕｓｉｎｇａｄｅｔｅｃｔｏｒｃｏｎｆｉｄｅｎｃｅｐａｒｔｉｃｌｅｆｉｌｔｅｒ」，ＩＣＣＶ２００９

特許文献１では、虚像を排除するために多くのフレームを要する。そのため、即応性の要求される状況には対応できない。非特許文献１では、物体を区別するために物体領域の色やテクスチャ等の画像情報を用いるので、画像処理計算量や画像の転送帯域が多く必要になる。また、物体の見た目や色は撮像方向、距離によって異なる場合があるため、そのような場合には異なる方向から撮像した物体を同一物体と識別することは困難である。
本発明は、多くのフレームの照合や画像情報の直接比較に依らず、虚像を排除して物体の３次元位置を得ることを目的とする。

上記目的を達成するために、本発明の画像検出装置は、少なくとも２つのカメラの位置関係を保持するカメラ情報保持手段と、
複数の前記カメラで撮像して得られた各撮像画像に含まれる物体の前記撮像画像上の位置および幾何的属性を取得する物体情報取得手段と、
複数の前記撮像画像に含まれる前記物体の各撮像画像上の位置を対応付け、前記カメラの位置関係と前記物体の各撮像画像上の位置と前記物体の各撮像画像から得られる前記幾何的属性とに基づいて前記物体の３次元位置を推定する３次元位置推定部と、
推定された前記物体の３次元位置に基づいて、当該物体の像を少なくとも１つの前記カメラの前記撮像画像に投影し、該投影された像の前記撮像画像上での幾何的属性と前記物体情報取得手段により取得された幾何的属性との類似度に基づいて、当該推定された前記物体の３次元位置の整合性を判定する判定手段と、
前記３次元位置推定手段により推定された３次元位置から、前記判定手段により整合性が低いと判定された３次元位置を除外して出力する出力手段と
を備える。

本発明によれば、物体の撮像方向、物体とカメラとの距離によらず、異なるカメラ画像から得られる同一物体に関する２つの幾何的属性が、推定された位置に存在する物体から得られたと仮定して比較することにより、同一物体か否かの判別精度の向上が見込める。

実施例１の画像検出装置の機能構成を示す図である。虚像について説明する図である。実施例１の画像検出装置のハードウェア構成を示す図である。実施例の処理の流れを示すフローチャートである。異なる位置から撮影されたカメラ画像間の物体対応付けについて説明する図である。３次元位置推定について説明する図である。物体が実像である場合、物体の大きさから虚像であるか否かの判定を説明する図である。物体が虚像である場合、物体の大きさから虚像であるか否かの判定を説明する図である。検出漏れを再検出する方法を説明する図である。人体領域から像を作成する方法を説明する図である。表示画面を説明する図である。人体の方向（人体の向き）あるいは移動方向の抽出を説明する図である。人体の方向（人体の向き）あるいは移動方向の比較を説明する図である。他の画像検出装置の機能構成を示す図である。

本発明の実施形態の画像検出装置について説明する。この画像検出装置は、
少なくとも２つのカメラの位置関係を保持するカメラ情報保持手段と、
複数の前記カメラで撮像して得られた各撮像画像に含まれる物体の前記撮像画像上の位置および幾何的属性を取得する物体情報取得手段と、
複数の前記撮像画像に含まれる前記物体の各撮像画像上の位置を対応付け、前記カメラの位置関係と前記物体の各撮像画像上の位置と前記物体の各撮像画像から得られる前記幾何的属性とから前記物体の３次元位置を推定する３次元位置推定手段と、
推定された前記物体の３次元位置に基づいて、当該物体の像を少なくとも１つの前記カメラの前記撮像画像に投影し、該投影された像の前記撮像画像上での幾何的属性と前記物体情報取得手段により取得された幾何的属性との類似度に基づいて、当該推定された前記物体の３次元位置の整合性を判定する判定手段と、
前記３次元位置推定手段により推定された３次元位置から、前記判定手段により整合性が低いと判定された３次元位置を除外して出力する出力手段と
を備える。

カメラ情報保持手段は、例えば、第１のカメラと第２のカメラの位置関係を保持する。
物体情報取得手段は、例えば、第１のカメラで撮像して得られた第１の撮像画像に含まれる物体の第１の撮像画像上の位置と、第２のカメラで撮像して得られた第２の撮像画像に含まれる物体の第２の撮像画像上の位置と、幾何的属性を取得する。第１の撮像画像と第２の撮像画像とはほぼ同時に撮像されたものである。
３次元位置推定手段は、例えば、
第１の撮像画像に含まれる物体の第１の撮像画像上の位置と、
第２の撮像画像に含まれる物体の第２の撮像画像上の位置と、
を対応付け、
第１のカメラと第２のカメラの位置関係と、
対応付けられた物体の
第１の撮像画像上の位置と、
第２の撮像画像上の位置と、
第１の撮像画像から得られる幾何的属性と
第２の撮像画像から得られる幾何的属性と
から対応付けられた物体の３次元位置を推定する。

＜実施例１＞
以下、本発明の実施例について説明する。
本実施例では、検出対象物体として人体を例に説明するが、他の検出対象物体でも構わない。
図３に、本実施例の画像検出装置のハードウェア構成例を示す。

図３において、撮像素子（撮像手段）３０１はＣＣＤ、ＣＭＯＳ等で構成され、被写体像を光から電気信号に変換し、２個以上存在する。信号処理回路３０２は撮像素子３０１から得られた被写体像に関する時系列信号を処理し、デジタル信号に変換する。ＣＰＵ３０３は、ＲＯＭ３０４に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。

ＲＯＭ３０４は、ＣＰＵ３０３が実行する制御プログラムや各種パラメータデータを格納する。制御プログラムは、ＣＰＵ３０３で実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段として、当該装置を機能させる。ＲＡＭ３０５は、画像や各種情報を記憶する。また、ＲＡＭ３０５は、ＣＰＵ３０３のワークエリアやデータの一時待避領域として機能する。信号処理回路３０２、ＣＰＵ３０３、ＲＯＭ３０４、ＲＡＭ３０５およびディスプレイ３０６は、バス３０７を介して接続されている。

なお、本実施例では、後述するフローチャートの各ステップに対応する処理を、ＣＰＵ３０３を用いてソフトウェアで実現することとするが、その処理の一部または全部を電子回路などのハードウェアで実現するようにしても構わない。また、本発明の画像検出装置は、撮像素子３０１や信号処理回路３０２を省いて汎用ＰＣ(Personal Computer)を用いて実現してもよいし、専用装置として実現するようにしても構わない。また、ネットワークまたは各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ，プロセッサ）にて実行してもよい。

図１に、本実施例の画像検出装置の機能構成を示す。本実施例の画像検出装置は画像取得部１０１、物体情報取得部１０２、カメラ情報保持部１０３、３次元位置推定部１０４、検出補完部１０８、表示部１０９で構成される。
カメラ情報保持部１０３はカメラキャリブレーションを行うことにより取得した各カメラの内部パラメータ、位置、姿勢に関する情報を保持する。画像取得部１０１は各カメラから画像を取得する。

物体情報取得部１０２は各カメラ画像（撮像画像）から物体を検出し、幾何的属性を抽出する。幾何的属性については後述する。３次元位置推定部１０４はカメラの位置関係と複数の物体の位置と幾何的属性から３次元位置を推定する。
３次元位置推定部１０４は、物体対応部１０５、位置推定部１０７、整合性判定部１０６で構成される。

物体対応部１０５は、カメラ間で同一の物体同士を対応付ける。
位置推定部１０７は、対応付いた物体の位置とカメラの位置関係から、物体の３次元位置座標を推定する。
整合性判定部１０６は、カメラの位置関係と複数の物体の位置と幾何的属性から整合性を判定し、３次元位置が虚像か否かを判定する。

検出補完部１０８は、３次元位置推定部１０４の結果をもとに、物体情報取得部１０２で検出に失敗した物体を補完する。
検出補完部１０８が行う「補完」について説明する。ここで「補完」とは、あるカメラのカメラ画像から検出できた物体の三次元位置を推定し、推定した三次元位置に基づいて、その物体の幾何的属性を、他のカメラのカメラ画像に表示することをいう。
例えば、第１のカメラ、第２のカメラおよび第３のカメラを物体Ａの方向に向け、各カメラで物体Ａの撮像を同時に試みたとする。そして、物体情報取得部１０２が、第１のカメラのカメラ画像および第２のカメラのカメラ画像からは物体Ａを検出できたとする。
第３のカメラのカメラ画像からは物体Ａを検出できる場合とできない場合が想定される。第３のカメラのカメラ画像から物体Ａを検出できなかった場合、その理由としては、第３のカメラと物体Ａとの間になんらかの障害物が存在した場合などが想定される。
そして、
第１のカメラのカメラ画像上の物体Ａの位置および
第２のカメラのカメラ画像上の物体Ａの位置
から物体Ａの３次元位置を推定し、
推定された３次元位置に物体Ａが存在すると仮定して
第１のカメラのカメラ画像または第２のカメラのカメラ画像
から得られた物体Ａの幾何的属性を
第３のカメラのカメラ画像に投影する。
このように投影することによって、物体情報取得部１０２が第３のカメラのカメラ画像から物体Ａを検出できなかった（検出に失敗した）場合に物体Ａの幾何的属性を、第３のカメラのカメラ画像に補完する。
表示部１０９は、物体の検出結果や３次元位置をカメラ画像とともにディスプレイに表示する。

図４のフローチャートを用いて本実施例の動作を説明する。
本実施例では、視野が重複した４台のカメラが設置されているものとする。カメラ台数はこれに限らず、２台以上の任意の数でもよい。
まず、ステップＳ４０１ではカメラキャリブレーションを行うことにより、各カメラの内部パラメータ、位置、姿勢を推定する。まず、キャリブレーションボードを環境に設置し、非特許文献３の手法により各カメラの内部パラメータを求める。さらに、環境に設置した別のキャリブレーションマーカーによって各カメラの位置、姿勢を推定する。これらの情報は図１のカメラ情報保持部１０３に保持される。

本実施例では、以上のような方法でキャリブレーションを行った。一方、カメラ画像中のコーナーやＳＩＦＴ（Scale-Invariant Feature Transform）特徴等の特徴点を抽出し、これらの特徴点群を画像間で対応付けた後、カメラの位置、姿勢、点群の位置を求める手法（非特許文献４）によってカメラの位置、姿勢を推定してもよい。また、カメラの内部パラメータと位置、姿勢を同時に求めてもよい。

ステップＳ４０２では各カメラから画像フレームを取得する。本実施例では、カメラ数が４つのため、４枚の画像が取得される。ステップＳ４０２の処理は図１の画像取得部１０１の処理に相当する。
＜ステップＳ４０３物体情報取得部１０２の処理＞
ステップＳ４０３では、ステップＳ４０２で取得された各画像から人体領域を抽出する。この処理の結果、人体領域を示す矩形の代表点座標（ｘ，ｙ）および高さｈ、幅ｗを得る。
＜ステップＳ４０４物体情報取得部１０２の処理＞
ステップＳ４０４では、ステップＳ４０３で抽出された人体領域からこの幾何的属性を抽出する。本実施例では、人体領域の大きさ（検出枠の高さｈと幅ｗ）を幾何的属性とする。そのため、ステップＳ４０３で取得した検出枠の高さｈと幅ｗを幾何的属性として設定する。ステップＳ４０３とステップＳ４０４の処理は図１の物体情報取得部１０２の処理に相当する。

＜ステップＳ４０５物体対応部１０５の処理＞
ステップＳ４０５では、ステップＳ４０３で検出された人体を画像間で対応付ける。すなわち、ある画像で検出された人体が、他の画像のどの人体に対応するかを探索する。ステップＳ４０５の処理は図１の物体対応部１０５の処理に相当する。
人体の画像間の対応付けは、人体領域の代表点をエピポーラ幾何によって対応付けることで行う。

図５は、カメラ１によって撮像されたカメラ画像およびカメラ２によって撮像されたカメラ画像の一例を示す。
例えば、カメラ１によって撮像されたカメラ画像１（５０１）に写っている人体Ａの代表点とカメラ１の光学中心（不図示）とを結ぶ直線は、カメラ画像２（５０２）ではエピポーラ線と呼ばれる直線５０３で表わされる。エピポーラ線とは、エピポーラ平面とカメラ画像１（カメラ１の画像面）が交わる線およびエピポーラ平面とカメラ画像２（カメラ２の画像面）が交わる線のことである。エピポーラ平面とは、カメラ画像１（５０１）の人体Ａの代表点に対応する３次元空間中の点をＰ、カメラ１の光学中心をＣ１、カメラ２の光学中心をＣ２としたとき、３点Ｐ、Ｃ１およびＣ２を通る平面のことである。
カメラの位置、姿勢、内部パラメータから得られるカメラ画像１（５０１）とカメラ画像２（５０２）との間の位置関係の情報を含む行列である基礎行列をＦとする。さらに、人体Ａの２次元座標を表わすベクトルをｘとすると、エピポーラ線ｌは次式で表わされる。

代表点とエピポーラ線との間の距離がしきい値以下となる人体を対応する人体とする。
例えば、図５において、カメラ画像１（５０１）の人体Ａに対応するものは、カメラ画像２（５０２）上では人体ＢとＣである。カメラ画像２（５０２）の人体Ｄの代表点とエピポーラ線５０３との間の距離はしきい値を超えるため、カメラ像２（５０２）の人体Ｄはガメラ画像１（５０１）の人体Ａには対応しないこととなる。ある人体に対応する他のカメラの人体は、１つのカメラにつき１つでなければならない。そのため、それを満たすように対応付く人体の組の組み合わせを求める。図５のカメラ画像１（５０１）の人体Ａに対応付く人体の組として、｛Ａ，Ｂ｝と｛Ａ，Ｃ｝が生成される。

＜ステップＳ４０６位置推定部１０７の処理３次元位置推定＞
ステップＳ４０６では、ステップＳ４０５で対応付いた人体の組から３次元位置を推定する。ステップＳ４０６の処理は図１の位置推定部１０７の処理に相当する。
まず図６のように、各カメラの光学中心Ｃ１、Ｃ２、Ｃ３と各カメラ画像の人体領域の代表点とを通る３次元空間中の直線を求める。直線はカメラの位置、姿勢、内部パラメータおよび代表点の画像上の座標より求める。次に、各カメラの直線の交点を求め、これを人体の３次元位置とする。直線の推定誤差により、実際にはこれらの直線が１点で交わらない場合がある。この場合には、各直線からの距離の和が最小になる点を交点の代わりとして採用する。

＜ステップＳ４０７整合性判定部１０６の処理整合性判定＞
ステップＳ４０７では、カメラの位置、姿勢、内部パラメータとステップＳ４０４でそれぞれ求めた幾何的属性から、３次元位置の整合度を算出する。この整合度が大きいほど虚像ではなく実像である度合いが高く、信頼性の高い３次元位置となる。ステップＳ４０７の処理は図１の整合性判定部１０６の処理に相当する。

まず、ステップＳ４０６で求めた３次元位置に、事前に定めた人体の平均的な大きさ（幅、高さ）を持つ円柱形の像を作成する。
図７（ａ）では、作成された円柱形の像７０１の位置（推定された３次元位置）と人体の実際の位置とが一致するものとして示されている。次に、この円柱形の像を各カメラ画像７０２，７０３に投影する。このとき、図７（ａ）に示すように推定された３次元位置が正しいならば、円柱形の像はカメラから正しい距離に存在するため、図７（ｂ）に示すようにカメラ画像７０２，７０３に投影された像（投影像）と検出枠の大きさは類似する。

一方、図８（ａ）に示すように推定された３次元位置が正しくないならば、カメラから推定された３次元位置までの距離と、カメラから実際の人体８０２までの距離とは異なる。このため、図８（ｂ）に示すようにカメラ画像８０３，８０４に投影された像（投影像）と検出枠の大きさは類似しない。図８では、推定された３次元位置が実際の人体８０２の位置よりもカメラに近い場所であると推定されたため、カメラ画像８０３，８０４に投影された像が検出枠に比べ大きくなっている。

そこで、本実施例では投影された像と検出枠の大きさ（高さｈ、幅ｗ）の類似度をそのカメラ画像から算出される３次元位置の整合度とする。本実施例では検出枠と投影された像の重なり率を整合度とするが、検出枠の高さと投影された像の高さの違いの比率等の他の指標を整合度としてもよい。
全てのカメラ画像を考慮した３次元物体の整合度Ｒは次式のように、各カメラ画像から算出された整合度ｒ_ｃの最小値とする。

ｃはカメラ画像の番号とし、ｒ_ｃはそれに対応する整合度とする。整合度Ｒの算出はこの方法に限らず、平均値等の他の方法で算出してもよい。
＜整合度の低い対応付けの除外＞
ステップＳ４０８では、ステップＳ４０７の整合度Ｒを基に、カメラ画像間の物体対応付けのうち整合度の低いものを削除する。具体的には、整合度が事前に定めたしきい値より小さい対応付けを削除の対象とする。

＜検出漏れを再検出＞
ステップＳ４０９では、ステップＳ４０６の３次元位置推定結果を利用し、ステップＳ４０３で検出漏れが生じた人体について、検出枠の位置、大きさを推定する。ステップＳ４０９の処理は図１の検出補完部１０８の処理に相当する。
まず、ステップＳ４０７と同様の手順で求めた３次元位置に作成した円柱形の像９０２を図９のように任意のカメラ画像９０４に投影する。
このとき、もし投影された像９０１の近傍にステップＳ４０３で求めた人体領域９０３が存在するならば、この投影された像９０１はすでに検出済みであるとして破棄する。

一方、投影された像９０１の近傍にステップＳ４０３で求めた人体領域９０３が存在しないならば、検出漏れの人体としてこの像を採用する。なお、投影された像とステップＳ４０３で求めた人体領域が近傍であるか否かは、領域同士の重複率が事前に定めたしきい値以上か否かで判定する。
ステップＳ４１０では、以上の処理で求めた検出結果および３次元位置推定結果を表示機器に表示する。ステップＳ４１０の処理は図１の表示部１０９の処理に相当する。

図１１に表示する画面構成例を示す。画面構成例は、１つ以上のカメラ画像１１０１と３次元マップ１１０４で構成される。表示部１０９は画像表示部とマップ表示部を備え、それぞれカメラ画像１１０１と３次元マップ１１０４を描画する。
カメラ画像１１０１には、ステップＳ４０３やステップＳ４０９で検出された人体領域を示すシンボル（枠）が撮像画像に重畳表示される。カメラが異なっていても同一の人体であるか否かをユーザが容易に識別できるように、異なるカメラの同一の人物の枠は同じ色で着色する。

３次元マップ１１０４には、人体の３次元位置や大きさを示すシンボル１１０３とカメラの位置や向きを示すシンボル１１０２が床面とともに３次元画像として表示される。カメラ画像１１０１の人体と３次元マップ１１０４の人体が同一であるか否かをユーザが容易に識別できるように、それぞれを同じ色で着色する。

本実施例では、人物が同一であるかを表現するために着色を用いたが、視認性を高めるために、人物固有の番号や文字、記号等を重畳表示させてもよい。本実施例では、３次元マップ１１０４として３次元でマップを表わしたが、２次元のマップでも構わない。３次元で表わすことで、人体の床面上の位置の他に高さ方向の位置も分かり、人体位置が頭部を基準にしている場合には身長を取得できる効果がある。２次元の場合には、人体の床面上での位置を視認しやすくする効果がある。

また、３次元マップ１１０４の視点は固定としてもよいし、ユーザが視点を変更できるような機構を設けてもよい。３次元マップ１１０４に表示できるものは以上で挙げたものに限らず、床面に家具等の配置を示す見取り図を重畳表示させてもよいし、３次元オブジェクトを重畳してもよい。このようにすることで、人体の周囲物体との位置関係をわかりやすく提示する効果が得られる。
ステップＳ４１１では、処理を継続するか否かを判定する。カメラ画像からさらなる画像が取得可能であるならステップＳ４０２に戻り、取得不可であるなら処理を終了する。

ステップＳ４０７で像を作成するために、ステップＳ４０６で求めた３次元位置に人体の平均的な大きさを持つ像を作成したが、他の方法でもよい。
例えば、図１０（ａ）のように、任意のカメラ画像平面１００５を選択し、これに平行な平面１００１を推定された３次元位置１００２を通るように置き、その平面１００１に人体領域１００３を投影する。そして、平面１００１に投影された平面像の高さと幅を取得し、これを高さと直径とする円柱形の像１００４をステップＳ４０７で作成する円柱形の像の代わりとしてもよい。そして図７の実像７０１や図８の虚像８０１と同様に、像１００４を各カメラ画像に投影する。図１０（ａ）では像１００４をカメラ画像平面１００５とカメラ画像平面１００６に投影している。投影された像の例を図１０（ｂ）に示す。カメラ１に投影された像はカメラ画像平面１００５上の人体領域１００３により生成された像１００４を投影したものであるため、推定された３次元位置が虚像であるか否かにかかわらず検出枠と投影像は一致する。一方、カメラ２に関しては、推定された３次元位置が虚像である場合にはカメラ２に投影された像とカメラ２の検出枠の大きさが一致せず、実像である場合には大きさが一致する。そのため、先に説明したステップ４０７と同様に、各カメラ画像において投影された像と検出枠の大きさの類似度を算出した後、式２と同様の方法で全てのカメラ画像を考慮した３次元物体の整合度Ｒを算出する。図１０ではカメラを２台しか図示していないが、３台以上ある場合には像１００４をそれぞれのカメラ画像に投影して同様に整合度Ｒの算出を行う。図１０では任意のカメラ画像平面１００５を選択して整合度Ｒを算出したが、各カメラ画像平面を選択してそれぞれで整合度の算出を行い、これらの平均をとって整合度Ｒとしてもよい。このような方法で像を作成することで、人体の平均的な大きさを仮定する必要がなくなり、人体の実際の大きさが平均的な大きさと大きく異なる場合に精度向上が見込める。

ステップＳ４０７では、像を作成した後、各カメラ画像に投影した像と検出枠とを比較することで整合度を求めた。一方、複数のカメラ画像に対し先に述べた図１０のような像を作成し、３次元空間上でこれらの像を比較することで整合度を求めてもよい。すなわち、手順としてはまず複数のカメラ画像に対し先に述べた方法で図１０のような像を作成する。次に、任意のカメラi、jの像同士の重なり率r_ijを算出する。そして、すべてのカメラを考慮した整合度Ｒを次式のように算出すればよい。

このようにすることで、３次元空間上で大きさを比較することができ、各カメラの画角や焦点距離等の内部パラメータの違いによらず大きさを比較することができる。全てのカメラを考慮した整合度Ｒはこの方法に限らず、平均値等の他の方法で算出してもよい。

本実施例では、物体情報取得部で物体の画像上の位置及び幾何的属性を抽出したが、画像検出装置内で行われている処理を複数の装置で分散させ画像処理システムとして実現してもよい。また、一つの機能ブロックとしてまとめらて説明した処理を複数の機能ブロックに分散させてもよい。
例えば、物体抽出を物体情報取得部の外部で行い、物体情報取得部は通信リンクを通じて外部から物体の画像上の位置および幾何的属性を抽出してもよい。
より具体的には、例えば、カメラに撮像画像から物体の画像上の位置および幾何的属性を抽出する物体検出部および送信部を持たせる。あるいは、カメラを接続したＰＣに撮像画像から物体の画像上の位置および幾何的属性を抽出する物体検出部および送信部を持たせる。
そして、カメラ又はＰＣが有する送信部と画像検出装置が有する受信部との間に確立されたネットワーク等の通信リンクを通じて情報取得部はこれらのカメラあるいはＰＣから情報を取得するようにしてもよい。

図１４（ａ）はカメラ１４１０と画像検出装置１４２０とが通信リンクを確立する例を示す。カメラ１４１０は、撮像部１４１１、物体検出部１４１２および通信部１４１３を有する。画像検出装置１４２０は、前記の各部１０１および１０３〜１０９ならびに通信部１４２１および物体情報取得部１４２２を有する。図１の物体情報取得部１０２はカメラ画像から物体を検出し、幾何的属性を抽出したが、物体情報取得部１４２２はカメラ画像から物体を検出せず、幾何的属性を抽出しない。
物体検出部１４１２が物体を検出する。物体情報取得部１４２２は、通信部１４１３と通信部１４２１との間に確立された通信リンクを介して、物体の位置と幾何的属性を取得する。

図１４（ｂ）はＰＣ１４４０と画像検出装置１４５０とが通信リンクを確立する例を示す。カメラ１４３０とＰＣ１４４０は、例えば、ＵＳＢケーブルなどを用いて有線接続され、その有線接続を介してＰＣ１４４０はカメラ１４３０から画像データを受け取るとしてもよく、また図示しない記憶メディアを介して画像データを受け取るとしてもよい。そして、画像検出装置１４２０の物体情報取得部１４２２は、ＰＣ１４４０の通信部１４４２と画像検出装置１４２０の通信部１４２１との間に確立された通信リンクを介して、物体の位置と幾何的属性を取得する。
また、ＰＣが物体情報取得部を備え、ＰＣで３次元位置推定を行ってもよいし、カメラが物体情報取得部を備え、カメラに３次元位置推定の機能を持たせてもよい。

位置および幾何的属性のみを通信リンクを通じて伝送することで、画像を伝送する場合に比べて伝送量が削減される効果が見込める。また、物体の画像上の位置および幾何的属性を抽出処理と他の処理を異なるハードウェアで実行することにより、処理を分散する効果が見込め、それぞれのハードウェアの処理負荷が小さくなる効果が見込める。また、カメラが物体情報取得部を備え、カメラに３次元位置推定の機能を持たせることで、３次元位置推定を行うＰＣを省略できる効果がある。

本実施例のように、カメラの位置関係と複数の物体の位置と幾何的属性（人体の大きさ）を用いて３次元位置推定を行うことで、虚像を排除する効果が見込める。特に、カメラから誤った距離に存在する虚像を効果的に除去する効果が見込める。
カメラの位置、姿勢を用いることにより、物体の撮像方向、距離によらず異なるカメラ間の幾何的属性が正確に比較できるようになり、第１のカメラ画像と第２のカメラ画像に写っている物体が同一物体か否かの判別精度の向上が見込める。人体の大きさの幾何的属性は属性抽出の計算量が少なく、少ない計算量で効率的に虚像を除去する効果が見込める。
また、幾何的属性の記憶に必要な容量は小さく、画像や画像特徴に比べ、少ない記憶容量や伝送量で、効果的に虚像を除去する効果が見込める。

＜実施例２＞
実施例１では人体領域の大きさを幾何的属性とした。一方、以下の実施例２に示すように、人体の向きを幾何的属性としてもよい。
本実施例と実施例１とは図４のステップＳ４０４、ステップＳ４０７の処理のみが異なるため、この部分のみを説明する。

・物体属性抽出
ステップＳ４０４では、ステップＳ４０３で抽出された人体領域からこの幾何的属性を抽出する。実施例１では人体領域の大きさを幾何的属性としたが、本実施例では人体領域から抽出した人体の向きを幾何的属性とする。
具体的には、図１２で示すように、人体の向き１２０２に平行な方向ベクトル１２０１を推定し、これを幾何的属性とする。方向ベクトルは３次元であり、ノルムが１に正規化されている。

方向ベクトルを抽出するために、あらかじめ学習された人体向き識別器を用いることができる。物体の向きを識別する手法としてパラメトリック固有空間法のような手法が適用可能であるが、他の手法でも構わない。ステップＳ４０３で抽出された人体領域に対し、人体向き識別器を適用することで、方向ベクトルを得る。この時点では、方向ベクトルは世界座標系ではなく、カメラ座標系で表現されている。

・整合性判定
ステップＳ４０７では、カメラの位置、姿勢、内部パラメータとステップＳ４０４でそれぞれ求めた幾何的属性から、３次元位置の整合性を判定する。
まず、あるカメラ画像の方向ベクトルを他のカメラの方向ベクトルと比較することで、２つのカメラ間の整合度ｒを算出する方法を説明する。方向ベクトルはカメラ座標系で算出したため、方向ベクトル同士を比較するためには、同じ座標系に変換する必要がある。そこで、本実施例では、カメラ座標系で表わされる方向ベクトルを世界座標系に変換する。

カメラの位置、姿勢、内部パラメータが既知のため、カメラ座標系から世界座標系に変換する行列が得られる。この変換行列をカメラ座標系の方向ベクトルに適用することで、世界座標系における方向ベクトルを取得する。
次に、あるカメラの世界座標系の方向ベクトルと他のカメラの世界座標系の方向ベクトルとを比較することで、２つのカメラ間の整合度ｒを算出する。

例えば図１３では、カメラ１のカメラ画像から抽出された方向ベクトル１３０２とカメラ２のカメラ画像から抽出された方向ベクトル１３０４とを比較する。なお、図１３の方向ベクトル１３０２は方向ベクトル１３０１を平行移動しただけであり、方向ベクトル１３０１と方向ベクトル１３０２とは同じベクトルを表わす。方向ベクトル１３０４は方向ベクトル１３０３を平行移動しただけであり、方向ベクトル１３０３と方向ベクトル１３０４とは同じベクトルを表わす。ベクトル間の比較は、コサイン類似度により行う。ベクトルｐ、ｑ間のコサイン類似度は次式により算出される。

次に全てのカメラを考慮した整合度Ｒを算出する。任意のカメラi、jで算出した整合度r_ijから、全てのカメラを考慮した整合度Ｒは次式で算出される。

全てのカメラを考慮した整合度Ｒはこの方法に限らず、平均値等の他の方法で算出してもよい。
本実施例では、方向ベクトルはノルムが１に正規化された３次元ベクトルであり、人体の向きの自由度が２であったが、自由度が１でもよい。人体の向きの自由度が１の場合とは、例えば鉛直な直線を軸としたヨー回転のみを考慮した人体の向きである。その場合にはカメラ座標系において鉛直方向の成分が０の方向ベクトルを抽出すればよい。また、人体の向きの自由度は３でもよく、ピッチ、ヨー、ロールの回転を考慮してもよい。この場合には、ベクトルの方向でピッチ角とヨー角を、ベクトルのノルムでロール角を表わしてもよい。

本実施例では、ベクトルを人体の向きを表わす幾何的属性としたが、これに限定されない。例えば、人体の向きを表わす幾何的属性を回転角の組み合わせで表わしてもよいし、四元数（quaternion）で表わしてもよい。

本実施例では、ステップＳ４０３の物体検出とステップＳ４０４の物体属性抽出を異なる識別器で行ったが、同じ識別器で行っても構わない。すなわち、マルチクラス識別器と呼ばれる複数種類のクラスの識別を行う識別器を用い、人体検出と方向識別を同時に行ってもよい。例えば、非人体（背景）、向き１の人体、向き２の人体、・・・、向きＮの人体を識別する識別器を用意する。カメラ画像からスライディングウィンドウにより取得した部分画像に対し、この識別器を適用することで、この部分画像が非人体（背景）、向き１の人体、向き２の人体、・・・、向きＮの人体のいずれであるかを判定できる。同じ識別器で物体検出と物体属性抽出を行うことで、異なる識別器で行う場合に比べ、処理量の削減の効果が見込める。

本実施例のように、カメラの位置関係と複数の物体の位置と幾何的属性（人体の向き）を用いて３次元位置推定を行うことで、虚像を排除する効果が見込める。特に、矛盾する人体の向きを持つ人体領域から推定された虚像を効果的に除去する効果が見込める。カメラの位置、姿勢を用いることにより、物体の撮像方向、距離によらず異なるカメラ間の幾何的属性が正確に比較できるようになり、同一物体か否かの判別精度の向上が見込める。幾何的属性の記憶に必要な容量は小さく、画像や画像特徴に比べ、少ない記憶容量や伝送量で、効果的に虚像を除去する効果が見込める。

＜実施例３＞
実施例１では人体領域の大きさを幾何的属性とした。一方、以下の実施例３に示すように、物体の動きを幾何的属性としてもよい。物体の動きとは、例えば物体領域の移動方向や大きさの変化量、速度や加速度である。
まず、人体の動きの幾何的属性を人体領域の移動方向とした実施例について説明する。本実施例は実施例１とは図４のステップＳ４０４、ステップＳ４０７の処理が異なるため、この部分のみを説明する。

・物体属性抽出
ステップＳ４０４では、ステップＳ４０３で抽出された人体領域からこの幾何的属性を抽出する。本実施例では、人体の移動方向を幾何的属性とする。
具体的には、図１２で示すように、人体の移動方向１２０２に平行な移動方向ベクトル１２０１を推定し、これを幾何的属性とする。移動方向ベクトルは３次元であり、ノルムが１に正規化されている。

移動方向ベクトルを抽出するために、まず映像フレームに対し物体追尾を適用することで、現在の人体領域と過去の同一人物の人体領域とを対応付ける。物体追尾とは、複数フレームにわたって同一物体を追跡する手法であり、例えば非特許文献５に記載の手法が挙げられる。本実施例では、物体追尾によって、現在のフレームにおける人体領域の位置、大きさと、１０フレーム前のフレームにおける人体領域の位置、大きさを得る。

次にこれらから、移動方向ベクトルを抽出する。カメラの焦点距離と物体の３次元空間での大きさとが既知の場合、画像上の物体領域の位置と大きさとから物体の３次元位置を推定することができる。物体の３次元空間での大きさは、事前に算出した人体の平均的な高さと幅を用いる。移動方向ベクトルは現在のフレームから抽出した３次元位置から過去のフレームで算出した３次元位置を減算することにより算出する。

・整合性判定
ステップＳ４０７では、カメラの位置、姿勢、内部パラメータとステップＳ４０４でそれぞれ求めた幾何的属性から、３次元位置の整合性を判定する。処理内容は、実施例２の方向ベクトル同士の比較と同様である。

本実施例では、移動方向ベクトルは３次元空間中で算出したが、カメラ画像の平面上で算出してもよい。すなわち、現在のフレームにおける人体領域の画像上の位置座標から、過去のフレームにおける人体領域の画像上の位置座標を減算したものを移動方向ベクトルとしてもよい。物体の３次元空間での大きさを用いないことにより、大きさが既知ではない場合、あるいは正確に分からない場合にも移動方向を整合性判定に用いることができる。

人体の移動方向の抽出方法は上記方法に依らず、他の方法でもよい。例えば、オプティカルフローから算出してもよい。また、人体方向と移動方向とが同じであると仮定し、実施例２で述べたような人体方向を、移動方向の代わりに用いてもよい。
移動方向と人体方向を併用することによって、被写体の距離が遠く安定して移動方向が抽出できない場合等に、より信頼性の高い方を使い分けることができ、精度向上が見込める。

本実施例のように、カメラの位置関係と複数の物体の位置と幾何的属性（人体の移動方向）を用いて３次元位置推定を行うことで、虚像を排除する効果が見込める。特に、矛盾する移動方向を持つ人体領域から推定された虚像を効果的に除去する効果が見込める。カメラの位置、姿勢を用いることにより、物体の撮像方向、距離によらず異なるカメラ間の幾何的属性が正確に比較できるようになり、同一物体か否かの判別精度の向上が見込める。幾何的属性の記憶に必要な容量は小さく、画像や画像特徴に比べ、少ない記憶容量や伝送量で、効果的に虚像を除去する効果が見込める。

本実施例では幾何的属性として物体の移動方向を用いたが、物体の速度や加速度を幾何的属性としてもよい。例えば、速度や加速度を表すベクトルを幾何的属性としてもよい。物体の速度や加速度の幾何的属性は、移動方向と同様に、本実施例で述べたような物体追尾で求めることがでる。また、本実施例と同様の方法で整合性を判定することができる。物体の速度や加速度を幾何的属性として用いることで、矛盾する速度や加速度を持つ人体領域から推定された虚像を効果的に除去する効果が見込める。

本実施例では幾何的属性として物体の移動方向を用いたが、物体の大きさの変化量を幾何的属性としてもよい。例えば、物体の幅ｗと高さｈの変化量を幾何的属性としてもよい。矛盾する大きさの変化量を持つ人体領域から推定された虚像を効果的に除去する効果が見込める。例えば、本実施例で述べたように物体追尾によって物体の大きさの変化量を得ることができる。このとき、カメラの内部パラメータと物体の大きさが既知ならば、物体の奥行き方向の位置を得ることができる。そして、各カメラから得られる物体の奥行き方向の位置を３次元空間で比較することで、整合性を判定することができる。

実施例１から３では単一の幾何的属性を用いたが、複数の幾何的属性を組み合わせてもよい。複数の幾何的属性を組み合わせることで、より効果的に虚像を除去する効果が見込める。

＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１画像取得部
１０２物体情報取得部
１０３カメラ情報保持部
１０４３次元位置推定部
１０５物体対応部
１０６整合性判定部
１０７位置推定部
１０８検出補完部
１０９表示部

Claims

少なくとも２つのカメラの位置関係を保持するカメラ情報保持手段と、
複数の前記カメラで撮像して得られた各撮像画像に含まれる物体の前記撮像画像上の位置および幾何的属性を取得する物体情報取得手段と、
複数の前記撮像画像に含まれる前記物体の各撮像画像上の位置を対応付け、前記カメラの位置関係と前記物体の各撮像画像上の位置と前記物体の各撮像画像から得られる前記幾何的属性とに基づいて前記物体の３次元位置を推定する３次元位置推定手段と、
推定された前記物体の３次元位置に基づいて、当該物体の像を少なくとも１つの前記カメラの前記撮像画像に投影し、該投影された像の前記撮像画像上での幾何的属性と前記物体情報取得手段により取得された幾何的属性との類似度に基づいて、当該推定された前記物体の３次元位置の整合性を判定する判定手段と、
前記３次元位置推定手段により推定された３次元位置から、前記判定手段により整合性が低いと判定された３次元位置を除外して出力する出力手段と
を備えることを特徴とする画像検出装置。
前記３次元位置推定手段は、
第１のカメラの撮像画像に含まれる物体と、
第２のカメラの撮像画像に含まれる物体と、
を対応付け、
前記第１のカメラと前記第２のカメラとの位置関係と、
対応づけられた前記物体の
前記第１のカメラの撮像画像上の位置と、
前記第２のカメラの撮像画像上の位置と、
から前記物体の３次元位置を推定する
ことを特徴とする請求項１に記載の画像検出装置。
前記判定手段は、前記３次元位置の整合度を求めることを特徴とする請求項１に記載の画像検出装置。
前記幾何的属性が物体の大きさであることを特徴とする請求項１乃至３のいずれか１項に記載の画像検出装置。
前記幾何的属性が物体の向きであることを特徴とする請求項１乃至３のいずれか１項に記載の画像検出装置。
少なくとも２つのカメラと画像検出装置とを備える画像処理システムであって、
前記カメラは、
前記カメラで撮像して得られた各撮像画像に含まれる物体の画像上の位置および幾何的属性を画像処理により求める物体検出手段と、
前記物体検出手段によって求められた前記物体の画像上の前記位置および前記幾何的属性を送信する送信手段と、を備え、
前記画像検出装置は、
請求項１から５のいずれか１項に記載の画像検出装置であって、
前記送信手段から送信された前記物体の画像上の前記位置および前記幾何的属性を受信する受信手段をさらに備え、
前記物体情報取得手段は、前記受信手段が受信した前記物体の画像上の前記位置および前記幾何的属性を取得する
ことを特徴とする画像処理システム。
物体検出装置と画像検出装置とを備える画像処理システムであって、
前記物体検出装置は、
少なくとも２つのカメラで撮像して得られた各撮像画像に含まれる物体の画像上の位置および幾何的属性を画像処理により求める物体検出手段と、
前記物体検出手段によって求められた前記物体の画像上の前記位置および前記幾何的属性を送信する送信手段と、を備え、
前記画像検出装置は、
請求項１から５のいずれか１項に記載の画像検出装置であって、
前記送信手段から送信された前記物体の画像上の前記位置および前記幾何的属性を受信する受信手段をさらに備え、
前記物体情報取得手段は、前記受信手段が受信した前記物体の画像上の前記位置および前記幾何的属性を取得する、
ことを特徴とする画像処理システム。
第１のカメラ、第２のカメラ、および第３のカメラで物体が撮像され、
前記第１のカメラの撮像画像上の前記物体の位置と
前記第２のカメラの撮像画像上の前記物体の位置と
に基づいて前記物体の３次元位置を推定し、
推定された前記３次元位置に前記物体が存在すると仮定して、
前記第１のカメラの撮像画像または前記第２のカメラの撮像画像
から得られた前記物体の幾何的属性を
前記第３のカメラの撮像画像に投影することで前記物体情報取得手段の検出漏れを補完する検出補完手段
をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の画像検出装置。
前記物体情報取得手段で取得され前記物体の画像上の位置と３次元位置推定手段で推定された前記物体の３次元位置を表示する表示手段を備え、
前記表示手段は
前記撮像画像に前記物体情報取得手段で取得された画像上の位置を示すシンボルを重畳する画像表示手段と、
２次元または３次元のマップに前記３次元位置推定手段で推定された前記物体の３次元位置を示すシンボルを重畳させるマップ表示手段と
をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の画像検出装置。
少なくとも２つのカメラの位置関係を保持するカメラ情報保持工程と、
複数の前記カメラで撮像して得られた各撮像画像に含まれる物体の前記撮像画像上の位置および幾何的属性を取得する物体情報取得工程と、
複数の前記撮像画像に含まれる前記物体の各撮像画像上の位置を対応付け、前記カメラの位置関係と前記物体の各撮像画像上の対応付けられた位置とに基づいて前記物体の３次元位置を推定する３次元位置推定工程と、
推定された前記物体の３次元位置に基づいて、当該物体の像を少なくとも１つの前記カメラの前記撮像画像に投影し、該投影された像の前記撮像画像上での幾何的属性と前記物体情報取得工程において取得された幾何的属性との類似度に基づいて、当該推定された前記物体の３次元位置の整合性を判定する判定工程と、
前記３次元位置推定工程で推定された３次元位置から、前記判定工程において整合性が低いと判定された３次元位置を除外して出力する出力工程と
を有することを特徴とする画像検出方法。
請求項１乃至９のいずれか１項に記載の画像検出装置の各手段としてコンピュータを機能させるためのプログラム。