JP5978996B2 - 物体領域抽出装置、方法、及び、プログラム - Google Patents
物体領域抽出装置、方法、及び、プログラム Download PDFInfo
- Publication number
- JP5978996B2 JP5978996B2 JP2012521512A JP2012521512A JP5978996B2 JP 5978996 B2 JP5978996 B2 JP 5978996B2 JP 2012521512 A JP2012521512 A JP 2012521512A JP 2012521512 A JP2012521512 A JP 2012521512A JP 5978996 B2 JP5978996 B2 JP 5978996B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation amount
- object region
- dimensional space
- likelihood
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、物体領域抽出装置、方法、及び、プログラムに関する。
物体領域抽出装置は、物体が地図上のどこに存在するかを推定する為の手がかりとなる３次元空間上の物体領域を見つける為に用いられている。そのような物体領域抽出装置の一例が、特許文献１に記載されている。
特許文献１に記載された画像処理装置は、実空間を撮影して得られた第１〜第Ｎ（Ｎは２以上の整数）の画像から各画像における３次元空間上の物体を示す第１〜第Ｎの領域を抽出する領域抽出部と、上記第１〜第Ｎの画像をそれぞれ上記実空間内の指定された平面座標系に変換するための第１〜第Ｎの座標変換情報を用いて、上記領域抽出部で抽出された上記第１〜第Ｎの領域を、それぞれ上記平面座標系の領域に変換する座標変換部と、上記座標変換部で得られた上記平面座標系の複数の領域の重なりを検出する重なり検出部と、上記重なり検出部の検出結果に基づいて、上記実空間内の指定された平面における３次元空間上の物体領域の存在を判定する判定部と、を備える。
特許文献１に記載された画像処理装置は、実空間を撮影して得られた第１〜第Ｎ（Ｎは２以上の整数）の画像から各画像における３次元空間上の物体を示す第１〜第Ｎの領域を抽出する領域抽出部と、上記第１〜第Ｎの画像をそれぞれ上記実空間内の指定された平面座標系に変換するための第１〜第Ｎの座標変換情報を用いて、上記領域抽出部で抽出された上記第１〜第Ｎの領域を、それぞれ上記平面座標系の領域に変換する座標変換部と、上記座標変換部で得られた上記平面座標系の複数の領域の重なりを検出する重なり検出部と、上記重なり検出部の検出結果に基づいて、上記実空間内の指定された平面における３次元空間上の物体領域の存在を判定する判定部と、を備える。
特許文献１記載の技術は、各カメラでの動体領域の抽出において、全てのカメラのうち１つのカメラでも抽出ミス（誤って抽出できない状態）が起こると３次元空間上の物体領域が抽出できず（未抽出）、地図上の物体位置を推定できないという問題がある（図１参照）。
その理由は、上述の技術が、各カメラで抽出された動体領域の逆投影に対して、全ての逆投影が重なる領域（ＡＮＤ領域）を３次元空間上の物体領域とする、強い拘束条件で抽出を行っている為である。
そこで、全カメラ内の多数のカメラ（ここでは２つ以上のカメラとする）から逆投影が得られる３次元空間を、３次元空間上の物体領域として抽出するようにこの拘束条件が変更されたとする。この場合、図２に示すように物体領域の未抽出は解消できるように見える。しかし、全てのカメラで動体領域が正常に抽出される状態において、物体に対して２つのカメラが対向・平行である位置（図３参照）に物体が移動すると、物体とカメラの相対的な位置関係によって、図４のように物体領域を含む誤領域が抽出されてしまう。そのため、物体領域抽出装置は、正しく物体位置を推定できない。つまり、拘束条件を緩めただけでは問題は解決しない。
このため、本発明の目的は、カメラ画像からの動体領域（物体領域）の抽出ミスで起こる３次元空間上の物体領域の未抽出を改善すると同時に、３次元空間上の物体領域の誤抽出を低減することができる物体領域抽出装置、方法、及び、プログラムを提供することにある。
その理由は、上述の技術が、各カメラで抽出された動体領域の逆投影に対して、全ての逆投影が重なる領域（ＡＮＤ領域）を３次元空間上の物体領域とする、強い拘束条件で抽出を行っている為である。
そこで、全カメラ内の多数のカメラ（ここでは２つ以上のカメラとする）から逆投影が得られる３次元空間を、３次元空間上の物体領域として抽出するようにこの拘束条件が変更されたとする。この場合、図２に示すように物体領域の未抽出は解消できるように見える。しかし、全てのカメラで動体領域が正常に抽出される状態において、物体に対して２つのカメラが対向・平行である位置（図３参照）に物体が移動すると、物体とカメラの相対的な位置関係によって、図４のように物体領域を含む誤領域が抽出されてしまう。そのため、物体領域抽出装置は、正しく物体位置を推定できない。つまり、拘束条件を緩めただけでは問題は解決しない。
このため、本発明の目的は、カメラ画像からの動体領域（物体領域）の抽出ミスで起こる３次元空間上の物体領域の未抽出を改善すると同時に、３次元空間上の物体領域の誤抽出を低減することができる物体領域抽出装置、方法、及び、プログラムを提供することにある。
かかる目的を達成するため、本発明の一形態は、物体領域抽出装置であって、３次元空間上の位置で交差する、ｍ個（ｍは複数）の画像取得手段の各々が撮像した物体の１点を含む画像の各々から得られる、前記１点の逆投影のうちの２つの逆投影がなす角度が直角に近づくと大きくなる（小さくなる）評価量を求める有効性評価量取得手段と、前記評価量が所定値以上（以下）である場合、前記位置を前記物体が占める領域と判定して、前記判定結果を出力する物体領域判定手段と、を備える。
また、本発明によれば、３次元空間上の位置で交差する、ｍ個（ｍは複数）の画像取得手段の各々が撮像した物体の１点を含む画像の各々から得られる、前記１点の逆投影のうちの２つの逆投影がなす角度が直角に近づくと大きくなる（小さくなる）評価量を求める有効性評価量取得ステップと、前記評価量が所定値以上（以下）である場合、前記位置を前記物体が占める領域と判定して、前記判定結果を出力する物体領域判定ステップとをコンピュータに実行させる物体領域抽出プログラムが提供される。
また、本発明によれば、３次元空間上の位置で交差する、ｍ個（ｍは複数）の画像取得手段の各々が撮像した物体の１点を含む画像の各々から得られる、前記１点の逆投影のうちの２つの逆投影がなす角度が直角に近づくと大きくなる（小さくなる）評価量を求める有効性評価量取得ステップと、前記評価量が所定値以上（以下）である場合、前記位置を前記物体が占める領域と判定して、前記判定結果を出力する物体領域判定ステップと、を有する物体領域抽出方法が提供される。
また、本発明によれば、３次元空間上の位置で交差する、ｍ個（ｍは複数）の画像取得手段の各々が撮像した物体の１点を含む画像の各々から得られる、前記１点の逆投影のうちの２つの逆投影がなす角度が直角に近づくと大きくなる（小さくなる）評価量を求める有効性評価量取得ステップと、前記評価量が所定値以上（以下）である場合、前記位置を前記物体が占める領域と判定して、前記判定結果を出力する物体領域判定ステップとをコンピュータに実行させる物体領域抽出プログラムが提供される。
また、本発明によれば、３次元空間上の位置で交差する、ｍ個（ｍは複数）の画像取得手段の各々が撮像した物体の１点を含む画像の各々から得られる、前記１点の逆投影のうちの２つの逆投影がなす角度が直角に近づくと大きくなる（小さくなる）評価量を求める有効性評価量取得ステップと、前記評価量が所定値以上（以下）である場合、前記位置を前記物体が占める領域と判定して、前記判定結果を出力する物体領域判定ステップと、を有する物体領域抽出方法が提供される。
本発明によれば、カメラ画像からの物体領域の抽出ミスで起こる３次元空間上の物体領域の未抽出を改善すると同時に、３次元空間上の物体領域の誤抽出を低減することができる物体領域抽出装置、方法、及び、プログラムが提供される。
以下、本発明の実施の形態について図面を用いて説明する。すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
なお、各実施形態の装置を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
制御部はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などからなり、オペレーティングシステムを動作させて装置全体を制御するとともに、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
また、各実施形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施形態の構成部は物理的に結合した一つの装置により実現されるよう記載されている場合もあるが、その実現手段はこれに限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施形態のシステムを実現してもよい。
＜第１の実施形態＞
本発明の第１の実施の形態にかかる物体領域抽出装置５００の構成について図５を用いて説明する。本発明の第１の実施形態にかかる物体領域抽出装置５００は、３次元物体領域抽出部４３を備える。３次元物体領域抽出部４３は、プログラム制御により動作するデータ処理装置４に含まれても良い。さらに、物体領域抽出装置５００は、カメラ等の動画像から画像を取得する第１の画像取得部１〜第ｎの画像取得部３の計ｎ個の取得部と、情報を記憶する記憶装置５と、を備えても良い。
記憶装置５は、カメラパラメータ記憶部５１を備える。カメラパラメータ記憶部５１は、各画像取得部に対応するカメラパラメータ（画像取得部から取得される画像の２次元座標と３次元空間の３次元座標の変換を行うパラメータ（カメラの内部／外部パラメータ、歪み係数等）、画像取得部の３次元位置、画像取得部の向き等）を記憶している。カメラパラメータは、２次元座標と３次元座標とを対応づけることにより求められる。２次元座標と３次元座標は、画像取得部に対応したカメラパラメータを用いることで相互に変換可能である。
データ処理装置４は、２次元物体領域抽出部４１と、逆投影部４２と、３次元物体領域抽出部４３と、を備える。
２次元物体領域抽出部４１は、第１の画像取得部１〜第ｎの画像取得部３において同期された画像を取得し、各画像に対して背景差分法や、フレーム間差分法や、事後確率を用いた物体検出法などの画像処理を施して物体領域を示す物体領域画像を抽出する。物体領域画像とは、画像上の物体に対応する領域とそれ以外とを異なる値でラベル付けした画像であり、例えば、物体領域の画素を１、それ以外を０とするような２値画像である。
逆投影部４２は、カメラパラメータ記憶部５１に記憶されるカメラパラメータを用いて、２次元物体領域抽出部４１から抽出された物体領域画像を３次元空間上に逆投影する。この処理は、各画像取得部に対応する物体領域画像全てに行う。
３次元物体領域抽出部４３は、逆投影部４２によって得られた逆投影と、カメラパラメータ記憶部５１に記憶されたカメラパラメータとを用いて、３次元空間上の物体領域を抽出する。
図６を参照すると、３次元物体領域抽出部４３は有効性評価量取得部４３２と、物体領域判定部４３３と物体尤度取得部４３１とを備える。
物体尤度取得部４３１は、逆投影部４２によって得られた各画像取得部に対応する物体領域の逆投影を用いて、３次元空間に対する物体尤度を取得する。物体尤度とは、３次元空間内で物体が存在している度合の高さを表す指標である。この値は、基本的に、３次元空間において多数のカメラから逆投影が得られる場合に高くなる。物体尤度取得部４３１は、例えば、図７に示すように、対象の３次元空間において、視界が得られるカメラの数Ｍ（ｘ，ｙ，ｚ）に対する実際に逆投影が得られるカメラの数Ｌ（ｘ，ｙ，ｚ）の割合である。よって、物体尤度取得部４３１は、式（１）のように物体尤度ｒ１（ｘ，ｙ，ｚ）を算出して取得する。
ここで、ｘ、ｙ、ｚは３次元空間上の位置を示し、Ｍ（ｘ，ｙ，ｚ）、Ｌ（ｘ，ｙ，ｚ）は、Ｍ（ｘ，ｙ，ｚ）≦ｎ、Ｌ（ｘ，ｙ，ｚ）≦Ｍ（ｘ，ｙ，ｚ）という条件をもつ。
得られた物体尤度ｒ１（ｘ，ｙ，ｚ）は、式（１）のように、例えば０から１までの値をとる。この場合、物体尤度ｒ１（ｘ，ｙ，ｚ）は、ｘ、ｙ、ｚの３次元空間において、物体らしさが高い場合大きく（１に近づく）、低い場合小さく（０に近づく）なる。但し、物体尤度ｒ１（ｘ，ｙ，ｚ）は０から１の値に限らなくてもよく、物体らしさを反映した値であればよい。以後の説明では、便宜上、物体尤度ｒ１（ｘ，ｙ，ｚ）を０≦ｒ１（ｘ，ｙ，ｚ）≦１とする。図８には、図７とは異なる３次元空間においての物体尤度の取得例を示す。
また、上記では、物体尤度ｒ１（ｘ，ｙ，ｚ）の算出例として式（１）を用いたが、物体尤度ｒ１（ｘ，ｙ，ｚ）は式（１−１）のように一般化してもよい。
ここで、ｆ３（ｘ）は、ｆ３（ｘ１）＜ｆ３（ｘ２）（ｘ１＜ｘ２）という単調増加の関数である。
さらに、物体尤度を表す、逆投影が得られるカメラの多さとは、視界が得られるカメラの数Ｍ（ｘ，ｙ，ｚ）と、逆投影が得られるカメラの数Ｌ（ｘ，ｙ，ｚ）が等しくなることと同じである。したがって、物体尤度ｒ１（ｘ，ｙ，ｚ）は式（１−２）のように算出してもよい。
ここで、αは係数であり、０以上１以下の値とする。
有効性評価量取得部４３２は、逆投影部４２によって得られた各画像取得部に対応する物体領域の逆投影と、カメラパラメータ記憶部５１に記憶されているカメラパラメータとを用い、３次元空間に対する各画像取得部からの物体領域の逆投影に対してその有効性を評価し、その評価量を取得する。ここで、逆投影の有効性とは、３次元空間に対して得られた画像取得部からの物体領域の逆投影が、物体位置を特定できる物体領域の抽出にどのくらい有効であるかを示すものである。具体的には、逆投影同士のなす角度である。逆投影同士のなす角度が直交（９０度）に近い場合、対象の３次元空間は異なる角度から物体であると判断されると同時に、この３次元空間は物体位置を一意に決定しやすい領域である。これにより、得られた逆投影は物体位置を特定できる物体領域の抽出に有効であり、逆投影の有効性が高い（評価量が高い）と判断できるのである。有効性評価量の取得の方法は次のようになる。有効性評価量取得部４３２は、図９に示すように、対象の３次元空間において、得られた逆投影に関する全てのペアを抽出する。そして、有効性評価量取得部４３２は、その逆投影ペアの角度θｃ１，ｃ２（ｘ，ｙ，ｚ）（２台のカメラ位置と対象の３次元空間の位置とで構成される角度）を求める。そして、有効性評価量取得部４３２は、例えば式（２）を用いて逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）を算出する。式（２）は、全ての逆投影ペアに関して最も直交する角度が選択され評価量として算出される式である。
ここで、ｘ、ｙ、ｚは３次元空間上の位置を示す。ｃ１、ｃ２はカメラ番号に対応する逆投影のペアを示し、ｃ１＝ｃ２は省かれる。Ｓは得られた逆投影に関する全ての逆投影ペアの集合である。また、θｃ１，ｃ２（ｘ，ｙ，ｚ）は、カメラ番号ｃ１に対応する逆投影とカメラ番号ｃ２に対応する逆投影の３次元空間の位置ｘ、ｙ、ｚに対応する角度（カメラ番号ｃ１のカメラ位置とカメラ番号ｃ２のカメラ位置と３次元空間の位置ｘ，ｙ，ｚとで構成される角度）である。
上記では、逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）の算出例として、式（２）を用いたが、評価量ｒ２（ｘ，ｙ，ｚ）は式（２−１）のように算出してもよい。
さらに、逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）は、逆投影同士のなす角度の直交性の高さを示せればよいので、角度が直交に近くなるほど高い値を示す関数で全ての逆投影ペアの角度を評価して、その中で最も高い値を評価量ｒ２（ｘ，ｙ，ｚ）として算出してもよい。角度の直交性とは、なす角度が直交、つまり、９０度に近いという度合の高さを表す指標である。
得られた評価量ｒ２（ｘ，ｙ，ｚ）は、逆投影同士のなす角度が直交に近く、異なる角度から物体として判断され物体位置を一意に決定しやすい場合に逆投影の有効性が高いとして大きくなり、その逆の場合には小さくなる。上述の評価量ｒ２（ｘ，ｙ，ｚ）の場合、その値は０から１までの値を示すが、評価量を求める式は上記に限定されない。
図１０には、図９と異なる３次元空間の例を示す。図１０に示される３次元空間は、逆投影同士のなす角度が直交から大きく外れ、異なる角度から物体と判断されず、また、物体位置を一意に決定しにくい。そのため、図１０に示される３次元空間は逆投影の有効性が低い空間である。
物体領域判定部４３３は、有効性評価量取得部４３２で得られた逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）を用いて３次元空間（ｘ，ｙ，ｚ）が物体領域であるかを判定し、３次元空間上の物体領域を抽出する。あるいは、物体領域判定部４３３は、物体尤度取得部４３１で得られた物体尤度ｒ１（ｘ，ｙ，ｚ）と有効性評価量取得部４３２で得られた逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）とを用いて、３次元空間（ｘ，ｙ，ｚ）が物体領域であるかを判定し、３次元空間上の物体領域を抽出する。以下では、物体尤度ｒ１と評価量ｒ２の両方を用いて物体領域判定部４３３が３次元空間上の物体領域を抽出する方法について例を挙げて説明する。
物体領域判定部４３３が物体領域を抽出する方法には様々な方法がある。例えば、物体領域判定部４３３は、対象の３次元空間（ｘ、ｙ、ｚ）において、評価量ｒ２がある閾値以上の場合にその３次元空間を物体領域として抽出することができる。また、物体領域判定部４３３は、対象の３次元空間（ｘ、ｙ、ｚ）において、物体尤度ｒ１がある閾値以上で、且つ、評価量ｒ２がある閾値以上の場合にその３次元空間を物体領域として抽出することができる。また、物体領域判定部４３３は、対象の３次元空間（ｘ、ｙ、ｚ）において、物体尤度ｒ１と評価量ｒ２とから下記の式（３）を用いて物体／非物体の事後確率Ｐ（ω｜ｒ１、ｒ２）を算出し、物体／非物体の事後確率を比較するというベイズ決定則を用いて対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として抽出することができる。
ここで、ωは物体（＝１）か非物体（＝０）かのカテゴリを示す値である。ｐ（ｒ１｜ω）、ｐ（ｒ２｜ω）は確率密度関数である。Ｐ（ω）は事前確率である。ｐ（ｒ１｜ω）、ｐ（ｒ２｜ω）は学習で求めてもよいし、知識を用いてシグモイド関数等で近似してもよい。また、事前確率Ｐ（ω）は、物体、非物体のカテゴリによらず全て等しい（例えば０．５）としてもよいし、３次元空間の位置毎に予め事前知識による値としてもよい。例えば、物体を人物とした場合、天井近くや障害物等の空間に人物が存在する可能性は低いので、そのような３次元空間の位置における物体である事前確率Ｐ（ω＝１）は低い値に設定されても良い。
この他、物体領域判定部４３３は、対象の３次元空間（ｘ、ｙ、ｚ）において、物体尤度ｒ１と評価量ｒ２とから下記の式（４）を用いてψという値を求め、このψという値がある閾値以上の場合にその３次元空間を物体領域として抽出することもできる。
ここで、ｆ１（ｘ）、ｆ２（ｘ）はシグモイド関数等（単調増加関数）を用いた重みである。
この他、物体領域判定部４３３は、物体尤度ｒ１と評価量ｒ２とを入力として物体（ω＝１）、非物体（ω＝０）のカテゴリを出力する識別器を事前に学習し、その識別器に物体尤度ｒ１と評価量ｒ２とを入力して出力値を求め、その出力値がある閾値以上の場合、対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として抽出する方法を用いてもよい。その場合、学習方法は、ニューラルネットワーク（ＮＮ）、サポートベクターマシン（ＳＶＭ）、一般学習ベクトル量子化（ＧＬＶＱ）等を利用することが可能である。また、その学習は、空間全体で行ってもよいし、３次元空間の位置毎に行ってもよい。
上記では、物体領域判定部４３３は、式（３）、式（４）の値又は前記識別器の出力値から３次元空間上の物体領域を判定し抽出したが、物体尤度ｒ１、評価量ｒ２をそのまま３次元空間に対する結果として出力し、物体位置の推定に役立ててもよい。
また、上記では、物体領域判定部４３３は、３次元空間の位置毎に、その位置の物体尤度ｒ１、評価量ｒ２を取得し物体領域を抽出したが、３次元空間の位置に対する近傍の物体尤度ｒ１、評価量ｒ２を取得し上記方法を拡張して物体領域を抽出してもよい。
また、有効性評価量取得部４３２は、例えば、逆投影同士のなす角度が９０度に近づくほど単調に非減少する関数を用いて評価量ｒ２を算出してもよい。また、有効性評価量取得部４３２は、逆投影同士のなす角度が９０度に近づくほど減少（あるいは非増加）するような値を評価量ｒ２としてもよい。そして、その場合には、物体領域判定部４３３は、その評価量が所定値以下の場合に物体が占める領域と判定してもよい。
次に、図１１、図１２、図１３及び図１４を参照して本発明の第１の実施形態にかかる物体領域抽出装置５００の動作について詳細に説明する。
第１の画像取得部１〜第ｎの画像取得部３は、カメラ等の動画像から画像を取得する。ｎ個の画像取得部から２次元物体領域抽出部４１は同期された画像を取得し（図１１のステップＳ１）、各画像に対して背景差分法等の画像処理を施して物体領域を示す物体領域画像を抽出する（図１１のステップＳ２）。
逆投影部４２は、カメラパラメータ記憶部５１に記憶されるカメラパラメータを用いて、２次元物体領域抽出部４１から抽出された各画像取得部に対応する物体領域画像を３次元空間上に逆投影する（図１１のステップＳ３）。３次元物体領域抽出部４３は、逆投影部４２によって得られた各画像取得部に対応する物体領域の逆投影と、カメラパラメータ記憶部５１に記憶されたカメラパラメータとを用いて、３次元空間上の物体領域を抽出する（図１１のステップＳ４）。
図１２、図１３及び図１４を用いて図１１のステップＳ４をさらに詳細に説明する。物体尤度取得部４３１は、対象の３次元空間（ｘ，ｙ，ｚ）に対して視界が得られるカメラの数Ｍ（ｘ，ｙ，ｚ）を取得する（図１２のステップＳ４０１）。Ｍ（ｘ，ｙ，ｚ）は、カメラの位置・向きや障害物の位置・形状が決まれば３次元空間に対して固定される値なので、所定の３次元空間全てにおいて予め求めておいてもよい。ここで、所定の３次元空間とは、ユーザが物体の存在を調べたい空間であり、予め空間の範囲を定めておいても良いし、パラメータ等を用いてユーザが設定しても良い。また、逆投影（視体積）がなす領域のＯＲ空間であってもよい。例えば、所定の３次元空間は、部屋全体の空間、廊下全体の空間、その他任意の空間であってよい。次に、物体尤度取得部４３１は、得られた各画像取得部に対応する物体領域の逆投影から、対象の３次元空間（ｘ，ｙ，ｚ）に対して逆投影が得られるカメラの数Ｌ（ｘ，ｙ，ｚ）を取得する（図１２のステップＳ４０２）。そして、物体尤度取得部４３１は、視界が得られるカメラの数Ｍ（ｘ，ｙ，ｚ）に対する逆投影が得られるカメラの数Ｌ（ｘ，ｙ，ｚ）の割合を式（１）によって算出し、その割合を物体尤度ｒ１（ｘ，ｙ，ｚ）として取得する（図１２のステップＳ４０３）。この他、物体尤度取得部４３１は、式（１−１）、式（１−２）等を用いて物体尤度ｒ１（ｘ，ｙ，ｚ）を算出、取得してもよい。ステップＳ４０３の処理が終わったら、物体領域抽出装置５００は、ステップＳ４０１〜Ｓ４０３までの処理を所定の３次元空間全てについて行ったかを確認し（図１２のステップＳ４０４）、所定の３次元空間全てについて処理が完了するまでステップＳ４０１〜Ｓ４０３までの処理を繰り返す（図１２のステップＳ４０４−Ｎｏ）。
所定の３次元空間全てについて処理が完了した場合（図１２のステップＳ４０４−Ｙｅｓ）について、図１３を用いて説明する。有効性評価量取得部４３２は、対象の３次元空間に対して、得られた各画像取得部に対応する物体領域の逆投影から、逆投影に関する全てのペアを抽出し、各逆投影ペアに関する角度θｃ１，ｃ２を２台のカメラ位置（カメラパラメータから取得）と対象の３次元空間の位置とから取得する（図１３のステップＳ４０５）。さらに、有効性評価量取得部４３２は、対象の３次元空間に対する全ての逆投影ペアの角度θｃ１，ｃ２を用いて式（２）から逆投影の有効性を示す評価量ｒ２を算出し取得する（図１３のステップＳ４０６）。この他、有効性評価量取得部４３２は、式（２−１）等を用いて評価量ｒ２を算出し取得する方法や、角度が直交に近くなるほど高い値を示す関数で全ての逆投影ペアの角度を評価して、その中で最も高い値を評価量ｒ２として算出し取得する方法を用いてもよい。ステップＳ４０６の処理が終わったら、物体領域抽出装置５００は、ステップＳ４０５〜Ｓ４０６までの処理を所定の３次元空間全てについて行ったかを確認し（図１３のステップＳ４０７）、所定の３次元空間全てについて処理が完了するまでステップＳ４０５〜Ｓ４０６までの処理を繰り返す（図１３のステップＳ４０７−Ｎｏ）。
所定の３次元空間全てについて処理が完了した場合（図１３のステップＳ４０７−Ｙｅｓ）について、図１４を用いて説明する。物体領域評価部４３３は、物体尤度取得部４３１で得られた物体尤度ｒ１（ｘ，ｙ，ｚ）と、有効性評価量取得部４３２で得られた逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）とを用いて、対象の３次元空間（ｘ，ｙ，ｚ）が物体領域であるかを判定し、３次元空間上の物体領域として抽出する（図１４のステップＳ４０８）。例えば、物体領域評価部４３３は、物体尤度ｒ１がある閾値以上で、且つ、評価量ｒ２がある閾値以上の場合、対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として判定、抽出しても良い。また、物体領域評価部４３３は、物体尤度ｒ１と評価量ｒ２とから式（３）を用いて物体／非物体の事後確率Ｐ（ω｜ｒ１、ｒ２）を算出し、物体／非物体の事後確率を比較すること（ベイズ決定則）で対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として判定、抽出しても良い。また、物体領域評価部４３３は、物体尤度ｒ１と評価量ｒ２とから式（４）を用いてψを求め、このψがある閾値以上の場合、対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として判定、抽出しても良い。また、物体領域評価部４３３は、物体尤度ｒ１と評価量ｒ２とを入力として物体（ω＝１）、非物体（ω＝０）のカテゴリを出力する識別器を事前に学習し、その識別器に物体尤度ｒ１と評価量ｒ２を入力して出力値を求め、その出力値がある閾値以上の場合、対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として判定、抽出しても良い。ステップＳ４０８の処理が終わったら、物体領域抽出装置５００は、ステップＳ４０８の処理を所定の３次元空間全てについて行ったかを確認し（図１４のステップＳ４０９）、所定の３次元空間全てについて処理が完了するまでステップＳ４０８の処理を繰り返す（図１４のステップＳ４０９−Ｎｏ）。所定の３次元空間全てについて処理が完了した場合（図１４のステップＳ４０９−Ｙｅｓ）、物体領域抽出装置５００は、ステップＳ４の処理を終了する。
物体領域抽出装置５００は、ステップＳ４の処理終了後、ステップＳ１に戻り、同期された画像を取得できるまで待機状態となる。
また、図１２、図１３、図１４に示すステップＳ４の処理に関して、物体尤度ｒ１の取得、評価量ｒ２の取得、物体領域であるかの判定、の各処理は、３次元空間の位置毎で独立であるため、順番を適宜入れ替えても良い。例えば、図１２に示された物体尤度ｒ１を取得するステップ（ステップＳ４０１〜ステップＳ４０４まで）と、図１３に示された評価量ｒ２を取得するステップ（ステップＳ４０５〜ステップＳ４０７まで）はどちらを先に行なっても構わない。また、ステップＳ４０４、ステップＳ４０７は省いてＳ４０９−Ｎｏの行き先をステップＳ４０１の前に変更することも可能である。
次に、本発明の第１の実施の形態の効果について説明する。本発明の第１の実施形態にかかる物体領域抽出装置５００は、複数のカメラ画像から抽出された物体領域画像の逆投影による３次元空間上の物体領域抽出を行なう際、３次元空間における逆投影同士のなす角度からその直交性を算出する。そして、物体領域抽出装置５００は、対象の３次元空間が異なる角度から物体として判断されていることや、物体位置を一意に決定しやすい物体領域であること、という逆投影の有効性（物体領域の逆投影が物体位置を特定できる物体領域の抽出にどのくらい有効であるか）を評価して３次元空間上の物体領域を抽出する。そのため、物体領域抽出装置５００は、３次元空間上の誤領域の抽出を低減することができる。また、物体領域抽出装置５００は、物体に対して２つのカメラが対向・平行である位置に物体が移動することで（物体とカメラの相対的な位置関係で）誤って抽出されてしまう３次元空間上の誤領域を低減することができる。
また、物体領域抽出装置５００は、有効性の評価に加えて、物体尤度をあわせて用いることにより、逆投影の欠落に対してロバストに３次元空間上の物体領域を抽出することができる。すなわち、物体領域抽出装置５００は、複数のカメラ画像から抽出された物体領域画像の逆投影による３次元空間上の物体領域抽出を行なう際、全ての逆投影が重なる領域（ＡＮＤ領域）を３次元空間上の物体領域とする強い拘束条件では物体領域抽出を行なわない。その代わり、物体領域抽出装置５００は、視界が得られるカメラの数Ｍ（ｘ，ｙ，ｚ）に対する実際に逆投影が得られるカメラの数Ｌ（ｘ，ｙ，ｚ）の割合という逆投影の欠落にロバストな、逆投影が得られるカメラの多さを評価して３次元空間上の物体領域を抽出する。そのため、カメラ画像からの物体領域の抽出ミスで起こる３次元空間上の物体領域の未抽出を改善でき、逆投影の欠落に対してロバスト性を高めることができる。
＜第２の実施形態＞
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。
図１５を参照すると、本発明の第２の実施形態にかかる物体領域抽出装置５００は、図６に示された第１の実施形態における３次元物体領域抽出部４３に物体候補領域判定部４３４を加え、各部のつなぎを変更した構成である。また、有効性評価量取得部４３２、物体領域判定部４３３の内容について以下で示すように一部変更している。本実施形態における物体候補領域判定部４３４、有効性評価量取得部４３２、物体領域判定部４３３の内容は以下の通りである。
物体候補領域判定部４３４は、物体尤度取得部４３１で得られた物体尤度ｒ１（ｘ，ｙ，ｚ）を用いて、３次元空間（ｘ，ｙ，ｚ）が物体候補領域であるかを判定し、３次元空間上の物体候補領域を抽出する。この判定方法は、例えば、物体尤度ｒ１がある閾値以上の場合、物体候補領域として抽出するという方法である。この処理により、物体領域判定部４３３が抽出すべき物体領域を絞り込むことができる。
有効性評価量取得部４３２、物体領域判定部４３３が行なう処理は、所定の３次元空間全体に対して行うのではなく、物体候補領域判定部４３４によって抽出された３次元空間上の物体候補領域という絞り込んだ領域に対して行う。この点が第一の実施の形態との相違点である。
次に、図１１、図１６、図１７を参照して本発明の第２の実施形態の動作について詳細に説明する。
本発明の第２の実施形態にかかる物体領域抽出装置５００の動作は、図１２に示された本発明の第１の実施形態にかかる物体領域抽出装置５００の動作からステップＳ４０４の動作を省き、図１６に示すステップＳ４５０とステップＳ４５１の動作を追加するものである。また、本発明の第２の実施形態にかかる物体領域抽出装置５００の動作は、図１３、図１４に示された本発明の第１の実施形態にかかる物体領域抽出装置５００の動作からステップＳ４０７とステップＳ４０９の動作を省き、図１７に示すステップＳ４５２の動作を追加するものである。他のステップは、第１の実施形態にかかる物体領域抽出装置５００の動作と同一の為、説明は省略する。
まず、図１６に示すステップＳ４５０の動作とステップＳ４５１の動作は、次のとおりである。物体候補領域判定部４３４は、物体尤度取得部４３１で得られた物体尤度ｒ１（ｘ，ｙ，ｚ）を用いて、対象の３次元空間（ｘ，ｙ，ｚ）が物体候補領域であるかを判定する。物体候補領域判定部４３４は、物体尤度ｒ１（ｘ，ｙ，ｚ）がある閾値以上の３次元空間（ｘ，ｙ，ｚ）を３次元空間上の物体候補領域として抽出する（図１６のステップＳ４５０）。ステップＳ４５０の処理が終わったら、物体領域抽出装置５００は、ステップＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４５０までの処理を所定の３次元空間全てについて行ったかを確認し（図１６のステップＳ４５１）、所定の３次元空間全てについて処理が完了するまでステップＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４５０までの処理を繰り返す（図１６のステップＳ４５１−Ｎｏ）。所定の３次元空間全てについて処理が完了した場合（図１６のステップＳ４５１−Ｙｅｓ）、物体領域抽出装置５００は、図１７のステップＳ４０５、Ｓ４０６、Ｓ４０８の処理を行なう。これらの動作については第１の実施形態と同様であるから説明を省略する。
次に、図１７に示すステップＳ４５２の動作は、次の通りである。ステップＳ４０８の処理が終わったら、物体領域抽出装置５００は、物体候補領域判定部４３４から抽出された物体候補領域の３次元空間全てについてステップＳ４０５、Ｓ４０６、Ｓ４０８までの処理が完了するまでそれらの処理を繰り返す（図１７のステップＳ４５２−Ｎｏ）。抽出された物体候補領域の３次元空間全てについて処理が完了した場合（ステップＳ４５２−Ｙｅｓ）、物体領域抽出装置５００は、ステップＳ４の処理を終了する。
次に、本発明の第２の実施形態の効果について説明する。本実施の形態にかかる物体領域抽出装置５００は、物体尤度ｒ１（ｘ，ｙ，ｚ）がある閾値以上の３次元空間（ｘ，ｙ，ｚ）を３次元空間上の物体候補領域として抽出するという物体領域の絞り込みを行ってから、絞り込んだ物体候補領域に対して３次元空間上の物体領域を抽出する。そのため、物体領域抽出装置５００は逆投影の有効性を示す評価量ｒ２の計算量を削減することができ、３次元空間上の物体領域の抽出を高速に行なうことができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。
図１８は本発明の第３の実施形態を説明する図である。図１８を参照すると、本発明の第３の実施形態は、物体領域抽出用プログラム１０１を記憶するコンピュータ可読記憶媒体１０２がコンピュータ１００に接続される。また、第１の実施形態と同様な第１の画像取得部１〜第ｎの画像取得部３、カメラパラメータ記憶部５１を有する記憶装置５がコンピュータ１００に接続される。
コンピュータ可読記憶媒体１０２は、磁気ディスクや半導体メモリ等で構成される。コンピュータ可読記憶媒体１０２に記憶された物体領域抽出用プログラム１０１は、コンピュータ１００の立ち上げ時などにコンピュータ１００に読み取られ、そのコンピュータ１００の動作を制御する。これにより、物体領域抽出用プログラム１０１は、コンピュータ１００を前述した第１の実施形態におけるデータ処理装置４内の各部４１〜４３、４３１〜４３３として機能させ、図１１〜図１４に示される処理を行わせる。
上述の説明では、第１の実施形態にかかる物体領域抽出装置５００をコンピュータとプログラムとで実現したが、第２の実施形態にかかる物体領域抽出装置５００をコンピュータとプログラムとで実現することも可能である。
また、例えば、物体領域判定部４３３が、物体尤度ｒ１がある閾値以上で、且つ、評価量ｒ２がある閾値以上の３次元空間（ｘ，ｙ，ｚ）を物体領域として抽出する方法を選択した場合、有効性評価量取得部４３２は全ての逆投影ペアの角度を求める必要はない。すなわち、有効性評価量取得部４３２は、逐次逆投影ペアの角度を求め、式（２）から逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）を算出し、評価量ｒ２（ｘ，ｙ，ｚ）が上記に記述するある閾値以上ならば評価量ｒ２（ｘ，ｙ，ｚ）の算出を途中で中断して取得することもできる。これにより、有効性評価量取得部４３２は、評価量ｒ２（ｘ，ｙ，ｚ）の計算量が削減できるため、計算を高速に行なうことができる。また、有効性評価量取得手段４３２は、上記で示す物体領域判定手段４３３の方法以外でも、ある閾値を設定し、上記のような処理を行うことができる。
＜第４の実施形態＞
図１９を参照すると、物体領域抽出装置５００は有効性評価量取得部４３２と、物体領域判定部４３３とを備える。他の構成については第１の実施の形態と概略同様であるので説明を省略する。このような構成により、３次元空間上の位置で交差する、複数個の画像取得手段の各々が撮像した物体の１点を含む画像の各々から得られる、前記１点の逆投影のうちの２つの逆投影がなす角度が直角に近づくと大きくなる（小さくなる）評価量を求める有効性評価量取得手段と、前記評価量が所定値以上（以下）である場合、前記位置を前記物体が占める領域と判定して、前記判定結果を出力する物体領域判定手段と、を備える物体領域抽出装置が実現される。
本実施の形態にかかる物体領域抽出装置５００によれば、カメラ画像からの物体領域の抽出ミスで起こる３次元空間上の物体領域の未抽出を改善すると同時に、３次元空間上の物体領域の誤抽出を低減することができる。
（実施形態の他の表現）
上記実施形態の一部または全部は、以下のようにも記載されうる（以下のように限定されるわけではない）。
（付記）
複数の画像取得手段からの物体領域の逆投影を用い、物体位置特定に対する逆投影の有効性を３次元空間上の位置に対する逆投影同士の角度の直交性で評価し、その直交性を評価量（指標）として取得する有効性評価量取得手段と、３次元空間上の位置に対して取得された指標を用いて物体領域を判定、抽出する物体領域判定手段と、を備えたことを特徴とする物体領域抽出装置。
前記に示す物体領域の逆投影を用い、物体位置推定対象となる３次元空間上の位置に対して逆投影が得られる画像取得手段の多さを物体尤度（指標）として取得する物体尤度取得手段を上記の装置に追加して備えたことを特徴とする物体領域抽出装置。
さらに前記物体尤度取得手段は、３次元空間上の位置に対して、視界が得られる画像取得手段の数に対する逆投影が得られる画像取得手段の数の割合を入力とした単調増加関数の出力値を物体尤度として取得することを特徴とする物体領域抽出装置。
前記物体尤度取得手段は、３次元空間上の位置に対して、逆投影が得られる画像取得手段の数が視界が得られる画像取得手段の数に近づき、等しくなるほど大きくなる関数の出力値を物体尤度として取得することを特徴とする上記記載の物体領域抽出装置。
前記有効性評価量取得手段は、３次元空間上の位置に対する画像取得手段から得られた逆投影を用い、２つの逆投影同士の組合せ全てを抽出して逆投影同士の角度（２つの画像取得手段の位置と３次元空間上の位置で構成される角度）を求め、角度が直交性を示すと大きくなる関数を用いて、全ての組合せにおける関数の出力値を求め、その最大の出力値を評価量として取得することを特徴とする上記記載の物体領域抽出装置。
前記有効性評価量取得手段は、３次元空間上の位置に対する画像取得手段から得られた逆投影を用い、２つの逆投影同士の組合せを逐次抽出して逆投影同士の角度（２つの画像取得手段の位置と３次元空間上の位置で構成される角度）を求め、角度が直交性を示すと大きくなる関数を用いて、ある閾値以上の関数の出力値を得られた場合、逐次処理をやめその出力値を評価量として取得することを特徴とする上記記載の物体領域抽出装置。
前記物体尤度取得手段において、ある閾値以上の物体尤度である３次元空間上の位置を抽出し、その位置のみに対して、前記有効性判定量取得手段と前記物体領域判定手段を行い、物体領域を抽出することを特徴とする上記に記載の物体領域抽出装置。
前記物体領域判定手段は、前記物体尤度がある閾値以上で、且つ、前記評価量がある閾値以上の場合、物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
前記物体領域判定手段は、前記物体尤度と前記評価量から物体／非物体の事後確率を算出し、その事後確率の比較にて物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
前記物体領域判定手段は、前記物体尤度と前記評価量に対して単調増加関数で重み付けを行ってそれらの最大値を取得し、その最大値がある閾値以上の場合、物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
前記物体領域判定手段は、物体尤度と評価量を入力として物体（＝１）／非物体（＝０）のカテゴリを出力する識別器を用いて、識別器に前記物体尤度と前記評価量を入力することで得られた出力値がある閾値以上の場合、物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
上記に対応する物体領域抽出プログラムおよび方法。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
本発明によれば、物体位置の特定に有効な物体領域を抽出できる物体領域抽出装置や、その物体領域抽出装置をコンピュータに実行させるプログラム、方法などの用途に適応できる。また、カメラ蓄積映像から物体領域抽出を必要とする監視分野での侵入者検出、不審者検出、不審物の置き去り検出、荷物の持ち去り検出、ゲートの共連れ検出、混雑及び行列検出などの用途に適応できる。また、マーケティング分野での動線解析、行動解析などの用途に提供できる。さらに、カメラ蓄積映像からの物体領域・物体位置を入力とする入力インターフェースなどの用途に適用できる。この他、物体領域・物体位置をトリガ・キーとするビデオ・映像検索などの用途に適用できる。
発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
この出願は、２０１０年６月２３日に出願された日本出願特願２０１０−１４２２０５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
なお、各実施形態の装置を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
制御部はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などからなり、オペレーティングシステムを動作させて装置全体を制御するとともに、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
また、各実施形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施形態の構成部は物理的に結合した一つの装置により実現されるよう記載されている場合もあるが、その実現手段はこれに限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施形態のシステムを実現してもよい。
＜第１の実施形態＞
本発明の第１の実施の形態にかかる物体領域抽出装置５００の構成について図５を用いて説明する。本発明の第１の実施形態にかかる物体領域抽出装置５００は、３次元物体領域抽出部４３を備える。３次元物体領域抽出部４３は、プログラム制御により動作するデータ処理装置４に含まれても良い。さらに、物体領域抽出装置５００は、カメラ等の動画像から画像を取得する第１の画像取得部１〜第ｎの画像取得部３の計ｎ個の取得部と、情報を記憶する記憶装置５と、を備えても良い。
記憶装置５は、カメラパラメータ記憶部５１を備える。カメラパラメータ記憶部５１は、各画像取得部に対応するカメラパラメータ（画像取得部から取得される画像の２次元座標と３次元空間の３次元座標の変換を行うパラメータ（カメラの内部／外部パラメータ、歪み係数等）、画像取得部の３次元位置、画像取得部の向き等）を記憶している。カメラパラメータは、２次元座標と３次元座標とを対応づけることにより求められる。２次元座標と３次元座標は、画像取得部に対応したカメラパラメータを用いることで相互に変換可能である。
データ処理装置４は、２次元物体領域抽出部４１と、逆投影部４２と、３次元物体領域抽出部４３と、を備える。
２次元物体領域抽出部４１は、第１の画像取得部１〜第ｎの画像取得部３において同期された画像を取得し、各画像に対して背景差分法や、フレーム間差分法や、事後確率を用いた物体検出法などの画像処理を施して物体領域を示す物体領域画像を抽出する。物体領域画像とは、画像上の物体に対応する領域とそれ以外とを異なる値でラベル付けした画像であり、例えば、物体領域の画素を１、それ以外を０とするような２値画像である。
逆投影部４２は、カメラパラメータ記憶部５１に記憶されるカメラパラメータを用いて、２次元物体領域抽出部４１から抽出された物体領域画像を３次元空間上に逆投影する。この処理は、各画像取得部に対応する物体領域画像全てに行う。
３次元物体領域抽出部４３は、逆投影部４２によって得られた逆投影と、カメラパラメータ記憶部５１に記憶されたカメラパラメータとを用いて、３次元空間上の物体領域を抽出する。
図６を参照すると、３次元物体領域抽出部４３は有効性評価量取得部４３２と、物体領域判定部４３３と物体尤度取得部４３１とを備える。
物体尤度取得部４３１は、逆投影部４２によって得られた各画像取得部に対応する物体領域の逆投影を用いて、３次元空間に対する物体尤度を取得する。物体尤度とは、３次元空間内で物体が存在している度合の高さを表す指標である。この値は、基本的に、３次元空間において多数のカメラから逆投影が得られる場合に高くなる。物体尤度取得部４３１は、例えば、図７に示すように、対象の３次元空間において、視界が得られるカメラの数Ｍ（ｘ，ｙ，ｚ）に対する実際に逆投影が得られるカメラの数Ｌ（ｘ，ｙ，ｚ）の割合である。よって、物体尤度取得部４３１は、式（１）のように物体尤度ｒ１（ｘ，ｙ，ｚ）を算出して取得する。
得られた物体尤度ｒ１（ｘ，ｙ，ｚ）は、式（１）のように、例えば０から１までの値をとる。この場合、物体尤度ｒ１（ｘ，ｙ，ｚ）は、ｘ、ｙ、ｚの３次元空間において、物体らしさが高い場合大きく（１に近づく）、低い場合小さく（０に近づく）なる。但し、物体尤度ｒ１（ｘ，ｙ，ｚ）は０から１の値に限らなくてもよく、物体らしさを反映した値であればよい。以後の説明では、便宜上、物体尤度ｒ１（ｘ，ｙ，ｚ）を０≦ｒ１（ｘ，ｙ，ｚ）≦１とする。図８には、図７とは異なる３次元空間においての物体尤度の取得例を示す。
また、上記では、物体尤度ｒ１（ｘ，ｙ，ｚ）の算出例として式（１）を用いたが、物体尤度ｒ１（ｘ，ｙ，ｚ）は式（１−１）のように一般化してもよい。
さらに、物体尤度を表す、逆投影が得られるカメラの多さとは、視界が得られるカメラの数Ｍ（ｘ，ｙ，ｚ）と、逆投影が得られるカメラの数Ｌ（ｘ，ｙ，ｚ）が等しくなることと同じである。したがって、物体尤度ｒ１（ｘ，ｙ，ｚ）は式（１−２）のように算出してもよい。
有効性評価量取得部４３２は、逆投影部４２によって得られた各画像取得部に対応する物体領域の逆投影と、カメラパラメータ記憶部５１に記憶されているカメラパラメータとを用い、３次元空間に対する各画像取得部からの物体領域の逆投影に対してその有効性を評価し、その評価量を取得する。ここで、逆投影の有効性とは、３次元空間に対して得られた画像取得部からの物体領域の逆投影が、物体位置を特定できる物体領域の抽出にどのくらい有効であるかを示すものである。具体的には、逆投影同士のなす角度である。逆投影同士のなす角度が直交（９０度）に近い場合、対象の３次元空間は異なる角度から物体であると判断されると同時に、この３次元空間は物体位置を一意に決定しやすい領域である。これにより、得られた逆投影は物体位置を特定できる物体領域の抽出に有効であり、逆投影の有効性が高い（評価量が高い）と判断できるのである。有効性評価量の取得の方法は次のようになる。有効性評価量取得部４３２は、図９に示すように、対象の３次元空間において、得られた逆投影に関する全てのペアを抽出する。そして、有効性評価量取得部４３２は、その逆投影ペアの角度θｃ１，ｃ２（ｘ，ｙ，ｚ）（２台のカメラ位置と対象の３次元空間の位置とで構成される角度）を求める。そして、有効性評価量取得部４３２は、例えば式（２）を用いて逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）を算出する。式（２）は、全ての逆投影ペアに関して最も直交する角度が選択され評価量として算出される式である。
上記では、逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）の算出例として、式（２）を用いたが、評価量ｒ２（ｘ，ｙ，ｚ）は式（２−１）のように算出してもよい。
得られた評価量ｒ２（ｘ，ｙ，ｚ）は、逆投影同士のなす角度が直交に近く、異なる角度から物体として判断され物体位置を一意に決定しやすい場合に逆投影の有効性が高いとして大きくなり、その逆の場合には小さくなる。上述の評価量ｒ２（ｘ，ｙ，ｚ）の場合、その値は０から１までの値を示すが、評価量を求める式は上記に限定されない。
図１０には、図９と異なる３次元空間の例を示す。図１０に示される３次元空間は、逆投影同士のなす角度が直交から大きく外れ、異なる角度から物体と判断されず、また、物体位置を一意に決定しにくい。そのため、図１０に示される３次元空間は逆投影の有効性が低い空間である。
物体領域判定部４３３は、有効性評価量取得部４３２で得られた逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）を用いて３次元空間（ｘ，ｙ，ｚ）が物体領域であるかを判定し、３次元空間上の物体領域を抽出する。あるいは、物体領域判定部４３３は、物体尤度取得部４３１で得られた物体尤度ｒ１（ｘ，ｙ，ｚ）と有効性評価量取得部４３２で得られた逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）とを用いて、３次元空間（ｘ，ｙ，ｚ）が物体領域であるかを判定し、３次元空間上の物体領域を抽出する。以下では、物体尤度ｒ１と評価量ｒ２の両方を用いて物体領域判定部４３３が３次元空間上の物体領域を抽出する方法について例を挙げて説明する。
物体領域判定部４３３が物体領域を抽出する方法には様々な方法がある。例えば、物体領域判定部４３３は、対象の３次元空間（ｘ、ｙ、ｚ）において、評価量ｒ２がある閾値以上の場合にその３次元空間を物体領域として抽出することができる。また、物体領域判定部４３３は、対象の３次元空間（ｘ、ｙ、ｚ）において、物体尤度ｒ１がある閾値以上で、且つ、評価量ｒ２がある閾値以上の場合にその３次元空間を物体領域として抽出することができる。また、物体領域判定部４３３は、対象の３次元空間（ｘ、ｙ、ｚ）において、物体尤度ｒ１と評価量ｒ２とから下記の式（３）を用いて物体／非物体の事後確率Ｐ（ω｜ｒ１、ｒ２）を算出し、物体／非物体の事後確率を比較するというベイズ決定則を用いて対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として抽出することができる。
この他、物体領域判定部４３３は、対象の３次元空間（ｘ、ｙ、ｚ）において、物体尤度ｒ１と評価量ｒ２とから下記の式（４）を用いてψという値を求め、このψという値がある閾値以上の場合にその３次元空間を物体領域として抽出することもできる。
この他、物体領域判定部４３３は、物体尤度ｒ１と評価量ｒ２とを入力として物体（ω＝１）、非物体（ω＝０）のカテゴリを出力する識別器を事前に学習し、その識別器に物体尤度ｒ１と評価量ｒ２とを入力して出力値を求め、その出力値がある閾値以上の場合、対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として抽出する方法を用いてもよい。その場合、学習方法は、ニューラルネットワーク（ＮＮ）、サポートベクターマシン（ＳＶＭ）、一般学習ベクトル量子化（ＧＬＶＱ）等を利用することが可能である。また、その学習は、空間全体で行ってもよいし、３次元空間の位置毎に行ってもよい。
上記では、物体領域判定部４３３は、式（３）、式（４）の値又は前記識別器の出力値から３次元空間上の物体領域を判定し抽出したが、物体尤度ｒ１、評価量ｒ２をそのまま３次元空間に対する結果として出力し、物体位置の推定に役立ててもよい。
また、上記では、物体領域判定部４３３は、３次元空間の位置毎に、その位置の物体尤度ｒ１、評価量ｒ２を取得し物体領域を抽出したが、３次元空間の位置に対する近傍の物体尤度ｒ１、評価量ｒ２を取得し上記方法を拡張して物体領域を抽出してもよい。
また、有効性評価量取得部４３２は、例えば、逆投影同士のなす角度が９０度に近づくほど単調に非減少する関数を用いて評価量ｒ２を算出してもよい。また、有効性評価量取得部４３２は、逆投影同士のなす角度が９０度に近づくほど減少（あるいは非増加）するような値を評価量ｒ２としてもよい。そして、その場合には、物体領域判定部４３３は、その評価量が所定値以下の場合に物体が占める領域と判定してもよい。
次に、図１１、図１２、図１３及び図１４を参照して本発明の第１の実施形態にかかる物体領域抽出装置５００の動作について詳細に説明する。
第１の画像取得部１〜第ｎの画像取得部３は、カメラ等の動画像から画像を取得する。ｎ個の画像取得部から２次元物体領域抽出部４１は同期された画像を取得し（図１１のステップＳ１）、各画像に対して背景差分法等の画像処理を施して物体領域を示す物体領域画像を抽出する（図１１のステップＳ２）。
逆投影部４２は、カメラパラメータ記憶部５１に記憶されるカメラパラメータを用いて、２次元物体領域抽出部４１から抽出された各画像取得部に対応する物体領域画像を３次元空間上に逆投影する（図１１のステップＳ３）。３次元物体領域抽出部４３は、逆投影部４２によって得られた各画像取得部に対応する物体領域の逆投影と、カメラパラメータ記憶部５１に記憶されたカメラパラメータとを用いて、３次元空間上の物体領域を抽出する（図１１のステップＳ４）。
図１２、図１３及び図１４を用いて図１１のステップＳ４をさらに詳細に説明する。物体尤度取得部４３１は、対象の３次元空間（ｘ，ｙ，ｚ）に対して視界が得られるカメラの数Ｍ（ｘ，ｙ，ｚ）を取得する（図１２のステップＳ４０１）。Ｍ（ｘ，ｙ，ｚ）は、カメラの位置・向きや障害物の位置・形状が決まれば３次元空間に対して固定される値なので、所定の３次元空間全てにおいて予め求めておいてもよい。ここで、所定の３次元空間とは、ユーザが物体の存在を調べたい空間であり、予め空間の範囲を定めておいても良いし、パラメータ等を用いてユーザが設定しても良い。また、逆投影（視体積）がなす領域のＯＲ空間であってもよい。例えば、所定の３次元空間は、部屋全体の空間、廊下全体の空間、その他任意の空間であってよい。次に、物体尤度取得部４３１は、得られた各画像取得部に対応する物体領域の逆投影から、対象の３次元空間（ｘ，ｙ，ｚ）に対して逆投影が得られるカメラの数Ｌ（ｘ，ｙ，ｚ）を取得する（図１２のステップＳ４０２）。そして、物体尤度取得部４３１は、視界が得られるカメラの数Ｍ（ｘ，ｙ，ｚ）に対する逆投影が得られるカメラの数Ｌ（ｘ，ｙ，ｚ）の割合を式（１）によって算出し、その割合を物体尤度ｒ１（ｘ，ｙ，ｚ）として取得する（図１２のステップＳ４０３）。この他、物体尤度取得部４３１は、式（１−１）、式（１−２）等を用いて物体尤度ｒ１（ｘ，ｙ，ｚ）を算出、取得してもよい。ステップＳ４０３の処理が終わったら、物体領域抽出装置５００は、ステップＳ４０１〜Ｓ４０３までの処理を所定の３次元空間全てについて行ったかを確認し（図１２のステップＳ４０４）、所定の３次元空間全てについて処理が完了するまでステップＳ４０１〜Ｓ４０３までの処理を繰り返す（図１２のステップＳ４０４−Ｎｏ）。
所定の３次元空間全てについて処理が完了した場合（図１２のステップＳ４０４−Ｙｅｓ）について、図１３を用いて説明する。有効性評価量取得部４３２は、対象の３次元空間に対して、得られた各画像取得部に対応する物体領域の逆投影から、逆投影に関する全てのペアを抽出し、各逆投影ペアに関する角度θｃ１，ｃ２を２台のカメラ位置（カメラパラメータから取得）と対象の３次元空間の位置とから取得する（図１３のステップＳ４０５）。さらに、有効性評価量取得部４３２は、対象の３次元空間に対する全ての逆投影ペアの角度θｃ１，ｃ２を用いて式（２）から逆投影の有効性を示す評価量ｒ２を算出し取得する（図１３のステップＳ４０６）。この他、有効性評価量取得部４３２は、式（２−１）等を用いて評価量ｒ２を算出し取得する方法や、角度が直交に近くなるほど高い値を示す関数で全ての逆投影ペアの角度を評価して、その中で最も高い値を評価量ｒ２として算出し取得する方法を用いてもよい。ステップＳ４０６の処理が終わったら、物体領域抽出装置５００は、ステップＳ４０５〜Ｓ４０６までの処理を所定の３次元空間全てについて行ったかを確認し（図１３のステップＳ４０７）、所定の３次元空間全てについて処理が完了するまでステップＳ４０５〜Ｓ４０６までの処理を繰り返す（図１３のステップＳ４０７−Ｎｏ）。
所定の３次元空間全てについて処理が完了した場合（図１３のステップＳ４０７−Ｙｅｓ）について、図１４を用いて説明する。物体領域評価部４３３は、物体尤度取得部４３１で得られた物体尤度ｒ１（ｘ，ｙ，ｚ）と、有効性評価量取得部４３２で得られた逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）とを用いて、対象の３次元空間（ｘ，ｙ，ｚ）が物体領域であるかを判定し、３次元空間上の物体領域として抽出する（図１４のステップＳ４０８）。例えば、物体領域評価部４３３は、物体尤度ｒ１がある閾値以上で、且つ、評価量ｒ２がある閾値以上の場合、対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として判定、抽出しても良い。また、物体領域評価部４３３は、物体尤度ｒ１と評価量ｒ２とから式（３）を用いて物体／非物体の事後確率Ｐ（ω｜ｒ１、ｒ２）を算出し、物体／非物体の事後確率を比較すること（ベイズ決定則）で対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として判定、抽出しても良い。また、物体領域評価部４３３は、物体尤度ｒ１と評価量ｒ２とから式（４）を用いてψを求め、このψがある閾値以上の場合、対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として判定、抽出しても良い。また、物体領域評価部４３３は、物体尤度ｒ１と評価量ｒ２とを入力として物体（ω＝１）、非物体（ω＝０）のカテゴリを出力する識別器を事前に学習し、その識別器に物体尤度ｒ１と評価量ｒ２を入力して出力値を求め、その出力値がある閾値以上の場合、対象の３次元空間（ｘ，ｙ，ｚ）を物体領域として判定、抽出しても良い。ステップＳ４０８の処理が終わったら、物体領域抽出装置５００は、ステップＳ４０８の処理を所定の３次元空間全てについて行ったかを確認し（図１４のステップＳ４０９）、所定の３次元空間全てについて処理が完了するまでステップＳ４０８の処理を繰り返す（図１４のステップＳ４０９−Ｎｏ）。所定の３次元空間全てについて処理が完了した場合（図１４のステップＳ４０９−Ｙｅｓ）、物体領域抽出装置５００は、ステップＳ４の処理を終了する。
物体領域抽出装置５００は、ステップＳ４の処理終了後、ステップＳ１に戻り、同期された画像を取得できるまで待機状態となる。
また、図１２、図１３、図１４に示すステップＳ４の処理に関して、物体尤度ｒ１の取得、評価量ｒ２の取得、物体領域であるかの判定、の各処理は、３次元空間の位置毎で独立であるため、順番を適宜入れ替えても良い。例えば、図１２に示された物体尤度ｒ１を取得するステップ（ステップＳ４０１〜ステップＳ４０４まで）と、図１３に示された評価量ｒ２を取得するステップ（ステップＳ４０５〜ステップＳ４０７まで）はどちらを先に行なっても構わない。また、ステップＳ４０４、ステップＳ４０７は省いてＳ４０９−Ｎｏの行き先をステップＳ４０１の前に変更することも可能である。
次に、本発明の第１の実施の形態の効果について説明する。本発明の第１の実施形態にかかる物体領域抽出装置５００は、複数のカメラ画像から抽出された物体領域画像の逆投影による３次元空間上の物体領域抽出を行なう際、３次元空間における逆投影同士のなす角度からその直交性を算出する。そして、物体領域抽出装置５００は、対象の３次元空間が異なる角度から物体として判断されていることや、物体位置を一意に決定しやすい物体領域であること、という逆投影の有効性（物体領域の逆投影が物体位置を特定できる物体領域の抽出にどのくらい有効であるか）を評価して３次元空間上の物体領域を抽出する。そのため、物体領域抽出装置５００は、３次元空間上の誤領域の抽出を低減することができる。また、物体領域抽出装置５００は、物体に対して２つのカメラが対向・平行である位置に物体が移動することで（物体とカメラの相対的な位置関係で）誤って抽出されてしまう３次元空間上の誤領域を低減することができる。
また、物体領域抽出装置５００は、有効性の評価に加えて、物体尤度をあわせて用いることにより、逆投影の欠落に対してロバストに３次元空間上の物体領域を抽出することができる。すなわち、物体領域抽出装置５００は、複数のカメラ画像から抽出された物体領域画像の逆投影による３次元空間上の物体領域抽出を行なう際、全ての逆投影が重なる領域（ＡＮＤ領域）を３次元空間上の物体領域とする強い拘束条件では物体領域抽出を行なわない。その代わり、物体領域抽出装置５００は、視界が得られるカメラの数Ｍ（ｘ，ｙ，ｚ）に対する実際に逆投影が得られるカメラの数Ｌ（ｘ，ｙ，ｚ）の割合という逆投影の欠落にロバストな、逆投影が得られるカメラの多さを評価して３次元空間上の物体領域を抽出する。そのため、カメラ画像からの物体領域の抽出ミスで起こる３次元空間上の物体領域の未抽出を改善でき、逆投影の欠落に対してロバスト性を高めることができる。
＜第２の実施形態＞
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。
図１５を参照すると、本発明の第２の実施形態にかかる物体領域抽出装置５００は、図６に示された第１の実施形態における３次元物体領域抽出部４３に物体候補領域判定部４３４を加え、各部のつなぎを変更した構成である。また、有効性評価量取得部４３２、物体領域判定部４３３の内容について以下で示すように一部変更している。本実施形態における物体候補領域判定部４３４、有効性評価量取得部４３２、物体領域判定部４３３の内容は以下の通りである。
物体候補領域判定部４３４は、物体尤度取得部４３１で得られた物体尤度ｒ１（ｘ，ｙ，ｚ）を用いて、３次元空間（ｘ，ｙ，ｚ）が物体候補領域であるかを判定し、３次元空間上の物体候補領域を抽出する。この判定方法は、例えば、物体尤度ｒ１がある閾値以上の場合、物体候補領域として抽出するという方法である。この処理により、物体領域判定部４３３が抽出すべき物体領域を絞り込むことができる。
有効性評価量取得部４３２、物体領域判定部４３３が行なう処理は、所定の３次元空間全体に対して行うのではなく、物体候補領域判定部４３４によって抽出された３次元空間上の物体候補領域という絞り込んだ領域に対して行う。この点が第一の実施の形態との相違点である。
次に、図１１、図１６、図１７を参照して本発明の第２の実施形態の動作について詳細に説明する。
本発明の第２の実施形態にかかる物体領域抽出装置５００の動作は、図１２に示された本発明の第１の実施形態にかかる物体領域抽出装置５００の動作からステップＳ４０４の動作を省き、図１６に示すステップＳ４５０とステップＳ４５１の動作を追加するものである。また、本発明の第２の実施形態にかかる物体領域抽出装置５００の動作は、図１３、図１４に示された本発明の第１の実施形態にかかる物体領域抽出装置５００の動作からステップＳ４０７とステップＳ４０９の動作を省き、図１７に示すステップＳ４５２の動作を追加するものである。他のステップは、第１の実施形態にかかる物体領域抽出装置５００の動作と同一の為、説明は省略する。
まず、図１６に示すステップＳ４５０の動作とステップＳ４５１の動作は、次のとおりである。物体候補領域判定部４３４は、物体尤度取得部４３１で得られた物体尤度ｒ１（ｘ，ｙ，ｚ）を用いて、対象の３次元空間（ｘ，ｙ，ｚ）が物体候補領域であるかを判定する。物体候補領域判定部４３４は、物体尤度ｒ１（ｘ，ｙ，ｚ）がある閾値以上の３次元空間（ｘ，ｙ，ｚ）を３次元空間上の物体候補領域として抽出する（図１６のステップＳ４５０）。ステップＳ４５０の処理が終わったら、物体領域抽出装置５００は、ステップＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４５０までの処理を所定の３次元空間全てについて行ったかを確認し（図１６のステップＳ４５１）、所定の３次元空間全てについて処理が完了するまでステップＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４５０までの処理を繰り返す（図１６のステップＳ４５１−Ｎｏ）。所定の３次元空間全てについて処理が完了した場合（図１６のステップＳ４５１−Ｙｅｓ）、物体領域抽出装置５００は、図１７のステップＳ４０５、Ｓ４０６、Ｓ４０８の処理を行なう。これらの動作については第１の実施形態と同様であるから説明を省略する。
次に、図１７に示すステップＳ４５２の動作は、次の通りである。ステップＳ４０８の処理が終わったら、物体領域抽出装置５００は、物体候補領域判定部４３４から抽出された物体候補領域の３次元空間全てについてステップＳ４０５、Ｓ４０６、Ｓ４０８までの処理が完了するまでそれらの処理を繰り返す（図１７のステップＳ４５２−Ｎｏ）。抽出された物体候補領域の３次元空間全てについて処理が完了した場合（ステップＳ４５２−Ｙｅｓ）、物体領域抽出装置５００は、ステップＳ４の処理を終了する。
次に、本発明の第２の実施形態の効果について説明する。本実施の形態にかかる物体領域抽出装置５００は、物体尤度ｒ１（ｘ，ｙ，ｚ）がある閾値以上の３次元空間（ｘ，ｙ，ｚ）を３次元空間上の物体候補領域として抽出するという物体領域の絞り込みを行ってから、絞り込んだ物体候補領域に対して３次元空間上の物体領域を抽出する。そのため、物体領域抽出装置５００は逆投影の有効性を示す評価量ｒ２の計算量を削減することができ、３次元空間上の物体領域の抽出を高速に行なうことができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。
図１８は本発明の第３の実施形態を説明する図である。図１８を参照すると、本発明の第３の実施形態は、物体領域抽出用プログラム１０１を記憶するコンピュータ可読記憶媒体１０２がコンピュータ１００に接続される。また、第１の実施形態と同様な第１の画像取得部１〜第ｎの画像取得部３、カメラパラメータ記憶部５１を有する記憶装置５がコンピュータ１００に接続される。
コンピュータ可読記憶媒体１０２は、磁気ディスクや半導体メモリ等で構成される。コンピュータ可読記憶媒体１０２に記憶された物体領域抽出用プログラム１０１は、コンピュータ１００の立ち上げ時などにコンピュータ１００に読み取られ、そのコンピュータ１００の動作を制御する。これにより、物体領域抽出用プログラム１０１は、コンピュータ１００を前述した第１の実施形態におけるデータ処理装置４内の各部４１〜４３、４３１〜４３３として機能させ、図１１〜図１４に示される処理を行わせる。
上述の説明では、第１の実施形態にかかる物体領域抽出装置５００をコンピュータとプログラムとで実現したが、第２の実施形態にかかる物体領域抽出装置５００をコンピュータとプログラムとで実現することも可能である。
また、例えば、物体領域判定部４３３が、物体尤度ｒ１がある閾値以上で、且つ、評価量ｒ２がある閾値以上の３次元空間（ｘ，ｙ，ｚ）を物体領域として抽出する方法を選択した場合、有効性評価量取得部４３２は全ての逆投影ペアの角度を求める必要はない。すなわち、有効性評価量取得部４３２は、逐次逆投影ペアの角度を求め、式（２）から逆投影の有効性を示す評価量ｒ２（ｘ，ｙ，ｚ）を算出し、評価量ｒ２（ｘ，ｙ，ｚ）が上記に記述するある閾値以上ならば評価量ｒ２（ｘ，ｙ，ｚ）の算出を途中で中断して取得することもできる。これにより、有効性評価量取得部４３２は、評価量ｒ２（ｘ，ｙ，ｚ）の計算量が削減できるため、計算を高速に行なうことができる。また、有効性評価量取得手段４３２は、上記で示す物体領域判定手段４３３の方法以外でも、ある閾値を設定し、上記のような処理を行うことができる。
＜第４の実施形態＞
図１９を参照すると、物体領域抽出装置５００は有効性評価量取得部４３２と、物体領域判定部４３３とを備える。他の構成については第１の実施の形態と概略同様であるので説明を省略する。このような構成により、３次元空間上の位置で交差する、複数個の画像取得手段の各々が撮像した物体の１点を含む画像の各々から得られる、前記１点の逆投影のうちの２つの逆投影がなす角度が直角に近づくと大きくなる（小さくなる）評価量を求める有効性評価量取得手段と、前記評価量が所定値以上（以下）である場合、前記位置を前記物体が占める領域と判定して、前記判定結果を出力する物体領域判定手段と、を備える物体領域抽出装置が実現される。
本実施の形態にかかる物体領域抽出装置５００によれば、カメラ画像からの物体領域の抽出ミスで起こる３次元空間上の物体領域の未抽出を改善すると同時に、３次元空間上の物体領域の誤抽出を低減することができる。
（実施形態の他の表現）
上記実施形態の一部または全部は、以下のようにも記載されうる（以下のように限定されるわけではない）。
（付記）
複数の画像取得手段からの物体領域の逆投影を用い、物体位置特定に対する逆投影の有効性を３次元空間上の位置に対する逆投影同士の角度の直交性で評価し、その直交性を評価量（指標）として取得する有効性評価量取得手段と、３次元空間上の位置に対して取得された指標を用いて物体領域を判定、抽出する物体領域判定手段と、を備えたことを特徴とする物体領域抽出装置。
前記に示す物体領域の逆投影を用い、物体位置推定対象となる３次元空間上の位置に対して逆投影が得られる画像取得手段の多さを物体尤度（指標）として取得する物体尤度取得手段を上記の装置に追加して備えたことを特徴とする物体領域抽出装置。
さらに前記物体尤度取得手段は、３次元空間上の位置に対して、視界が得られる画像取得手段の数に対する逆投影が得られる画像取得手段の数の割合を入力とした単調増加関数の出力値を物体尤度として取得することを特徴とする物体領域抽出装置。
前記物体尤度取得手段は、３次元空間上の位置に対して、逆投影が得られる画像取得手段の数が視界が得られる画像取得手段の数に近づき、等しくなるほど大きくなる関数の出力値を物体尤度として取得することを特徴とする上記記載の物体領域抽出装置。
前記有効性評価量取得手段は、３次元空間上の位置に対する画像取得手段から得られた逆投影を用い、２つの逆投影同士の組合せ全てを抽出して逆投影同士の角度（２つの画像取得手段の位置と３次元空間上の位置で構成される角度）を求め、角度が直交性を示すと大きくなる関数を用いて、全ての組合せにおける関数の出力値を求め、その最大の出力値を評価量として取得することを特徴とする上記記載の物体領域抽出装置。
前記有効性評価量取得手段は、３次元空間上の位置に対する画像取得手段から得られた逆投影を用い、２つの逆投影同士の組合せを逐次抽出して逆投影同士の角度（２つの画像取得手段の位置と３次元空間上の位置で構成される角度）を求め、角度が直交性を示すと大きくなる関数を用いて、ある閾値以上の関数の出力値を得られた場合、逐次処理をやめその出力値を評価量として取得することを特徴とする上記記載の物体領域抽出装置。
前記物体尤度取得手段において、ある閾値以上の物体尤度である３次元空間上の位置を抽出し、その位置のみに対して、前記有効性判定量取得手段と前記物体領域判定手段を行い、物体領域を抽出することを特徴とする上記に記載の物体領域抽出装置。
前記物体領域判定手段は、前記物体尤度がある閾値以上で、且つ、前記評価量がある閾値以上の場合、物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
前記物体領域判定手段は、前記物体尤度と前記評価量から物体／非物体の事後確率を算出し、その事後確率の比較にて物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
前記物体領域判定手段は、前記物体尤度と前記評価量に対して単調増加関数で重み付けを行ってそれらの最大値を取得し、その最大値がある閾値以上の場合、物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
前記物体領域判定手段は、物体尤度と評価量を入力として物体（＝１）／非物体（＝０）のカテゴリを出力する識別器を用いて、識別器に前記物体尤度と前記評価量を入力することで得られた出力値がある閾値以上の場合、物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
上記に対応する物体領域抽出プログラムおよび方法。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
本発明によれば、物体位置の特定に有効な物体領域を抽出できる物体領域抽出装置や、その物体領域抽出装置をコンピュータに実行させるプログラム、方法などの用途に適応できる。また、カメラ蓄積映像から物体領域抽出を必要とする監視分野での侵入者検出、不審者検出、不審物の置き去り検出、荷物の持ち去り検出、ゲートの共連れ検出、混雑及び行列検出などの用途に適応できる。また、マーケティング分野での動線解析、行動解析などの用途に提供できる。さらに、カメラ蓄積映像からの物体領域・物体位置を入力とする入力インターフェースなどの用途に適用できる。この他、物体領域・物体位置をトリガ・キーとするビデオ・映像検索などの用途に適用できる。
発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
この出願は、２０１０年６月２３日に出願された日本出願特願２０１０−１４２２０５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 第１の画像取得部
２ 第２の画像取得部
３ 第ｎの画像取得部
４ データ処理装置
５ 記憶装置
４１ ２次元物体領域抽出部
４２ 逆投影部
４３ ３次元物体領域抽出部
５１ カメラパラメータ記憶部
１００ コンピュータ
１０１ 物体領域抽出用プログラム
１０２ コンピュータ可読記憶媒体
４３１ 物体尤度取得部
４３２ 有効性評価量取得部
４３３ 物体領域判定部
４３４ 物体候補領域判定部
５００ 物体領域抽出装置
２ 第２の画像取得部
３ 第ｎの画像取得部
４ データ処理装置
５ 記憶装置
４１ ２次元物体領域抽出部
４２ 逆投影部
４３ ３次元物体領域抽出部
５１ カメラパラメータ記憶部
１００ コンピュータ
１０１ 物体領域抽出用プログラム
１０２ コンピュータ可読記憶媒体
４３１ 物体尤度取得部
４３２ 有効性評価量取得部
４３３ 物体領域判定部
４３４ 物体候補領域判定部
５００ 物体領域抽出装置
Claims (6)
- ３次元空間上の位置で交差する、ｍ個（ｍは複数）の画像取得手段の各々が撮像した物体の１点を含む画像の各々から得られる、前記１点の逆投影のうちの２つの逆投影がなす角度が直角に近づくと大きくなるまたは小さくなる評価量を求める有効性評価量取得手段と、
前記位置を撮像可能なｎ（前記ｍ以上）個の画像取得手段から前記１点の逆投影が可能な画像を撮像した前記ｍ個の画像取得手段を選択し、前記ｎに対して前記ｍの割合を物体尤度として求める物体尤度取得手段と、
前記角度が直角に近づくと大きくなる場合は前記評価量が所定値以上のとき、または、前記角度が直角に近づくと小さくなる場合は前記評価量が所定値以下のとき、前記位置を前記物体が占める領域と判定して、判定結果を出力する物体領域判定手段と、を備え
前記物体領域判定手段は、前記評価量及び前記物体尤度の各々、または、両者が所定値以上である場合に、前記位置を前記物体が占める領域と判定する、物体領域抽出装置。 - 前記有効性評価量取得手段は、前記ｍ個の逆投影のうちの２つの逆投影がなす角度が最も直角に近い角度を用いて前記評価量を求める請求項１に記載の物体領域抽出装置。
- 前記有効性評価量取得手段は、前記位置の物体尤度が所定量以上である場合のみ前記位置の前記評価量を求める請求項１または２に記載の物体領域抽出装置。
- 前記位置の前記物体尤度、前記評価量、並びに、前記位置に対応して予め定められた前記位置に物体が存在する事前確率および前記位置に物体が存在しない事前確率から、前記位置に物体が存在する事後確率および当該位置に物体が存在しない事後確率を算出して、両事後確率の比較により、前記位置が前記物体が占める領域か否かを判定する請求項１乃至３のいずれかに記載の物体領域抽出装置。
- ３次元空間上の位置で交差する、ｍ個（ｍは複数）の画像取得手段の各々が撮像した物体の１点を含む画像の各々から得られる、前記１点の逆投影のうちの２つの逆投影がなす角度が直角に近づくと大きくなるまたは小さくなる評価量を求める有効性評価量取得ステップと、
前記位置を撮像可能なｎ（前記ｍ以上）個の画像取得手段から前記１点の逆投影が可能な画像を撮像した前記ｍ個の画像取得手段を選択し、前記ｎに対して前記ｍの割合を物体尤度として求める物体尤度取得ステップと、
前記角度が直角に近づくと大きくなる場合は前記評価量が所定値以上のとき、または、前記角度が直角に近づくと小さくなる場合は前記評価量が所定値以下のとき、前記位置を前記物体が占める領域と判定して、判定結果を出力する物体領域判定ステップと、をコンピュータに実行させ、
前記物体領域判定ステップは、前記評価量及び前記物体尤度の各々、または、両者が所定値以上である場合に、前記位置を前記物体が占める領域と判定する物体領域抽出プログラム。 - ３次元空間上の位置で交差する、ｍ個（ｍは複数）の画像取得手段の各々が撮像した物体の１点を含む画像の各々から得られる、前記１点の逆投影のうちの２つの逆投影がなす角度が直角に近づくと大きくなるまたは小さくなる評価量を求め、
前記位置を撮像可能なｎ（前記ｍ以上）個の画像取得手段から前記１点の逆投影が可能な画像を撮像した前記ｍ個の画像取得手段を選択し、前記ｎに対して前記ｍの割合を物体尤度として求め、
前記角度が直角に近づくと大きくなる場合は前記評価量が所定値以上のとき、または、前記角度が直角に近づくと小さくなる場合は前記評価量が所定値以下のとき、前記位置を前記物体が占める領域と判定し、更に、前記評価量及び前記物体尤度の各々、または、両者が所定値以上である場合に、前記位置を前記物体が占める領域と判定して、判定結果を出力する物体領域抽出方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010142205 | 2010-06-23 | ||
| JP2010142205 | 2010-06-23 | ||
| PCT/JP2011/064321 WO2011162309A1 (ja) | 2010-06-23 | 2011-06-16 | 物体領域抽出装置、方法、及び、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2011162309A1 JPWO2011162309A1 (ja) | 2013-08-22 |
| JP5978996B2 true JP5978996B2 (ja) | 2016-08-24 |
Family
ID=45371485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012521512A Active JP5978996B2 (ja) | 2010-06-23 | 2011-06-16 | 物体領域抽出装置、方法、及び、プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9299000B2 (ja) |
| JP (1) | JP5978996B2 (ja) |
| WO (1) | WO2011162309A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103438800B (zh) * | 2013-08-29 | 2016-04-06 | 厦门大学 | 用于大口径光学元件精密检测平台的空间误差计算方法 |
| JP6932487B2 (ja) * | 2016-07-29 | 2021-09-08 | キヤノン株式会社 | 移動体監視装置 |
| JP7250493B2 (ja) * | 2018-12-03 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、三次元形状データの生成方法およびプログラム |
| DE102020129792B4 (de) * | 2020-11-11 | 2023-03-09 | Volume Graphics Gmbh | Computerimplementiertes Verfahren zum Ermitteln eines Werts eines geometrischen Parameters |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046464A (ja) * | 2002-07-10 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体３次元位置推定装置及びその方法、プログラム並びにその記録媒体 |
| JP2008176504A (ja) * | 2007-01-17 | 2008-07-31 | Toshiba Corp | 物体検出装置及びその方法 |
| JP2010086237A (ja) * | 2008-09-30 | 2010-04-15 | Casio Computer Co Ltd | 立体模型の作製装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58177295A (ja) * | 1982-04-07 | 1983-10-17 | 株式会社日立製作所 | ロボット制御装置 |
| US5640468A (en) * | 1994-04-28 | 1997-06-17 | Hsu; Shin-Yi | Method for identifying objects and features in an image |
| US6404920B1 (en) * | 1996-09-09 | 2002-06-11 | Hsu Shin-Yi | System for generalizing objects and features in an image |
| US6529630B1 (en) * | 1998-03-02 | 2003-03-04 | Fuji Photo Film Co., Ltd. | Method and device for extracting principal image subjects |
| US7477768B2 (en) * | 1999-06-29 | 2009-01-13 | The Research Foundation Of State University Of New York | System and method for performing a three-dimensional virtual examination of objects, such as internal organs |
| US8045770B2 (en) * | 2003-03-24 | 2011-10-25 | Cornell Research Foundation, Inc. | System and method for three-dimensional image rendering and analysis |
| JP2008015573A (ja) | 2006-07-03 | 2008-01-24 | Sony Corp | 画像処理装置、画像処理方法および画像監視システム |
| US8184888B2 (en) * | 2007-09-19 | 2012-05-22 | Siemens Medical Solutions Usa, Inc. | Method and system for polyp segmentation for 3D computed tomography colonography |
-
2011
- 2011-06-16 US US13/806,400 patent/US9299000B2/en active Active
- 2011-06-16 JP JP2012521512A patent/JP5978996B2/ja active Active
- 2011-06-16 WO PCT/JP2011/064321 patent/WO2011162309A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046464A (ja) * | 2002-07-10 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体３次元位置推定装置及びその方法、プログラム並びにその記録媒体 |
| JP2008176504A (ja) * | 2007-01-17 | 2008-07-31 | Toshiba Corp | 物体検出装置及びその方法 |
| JP2010086237A (ja) * | 2008-09-30 | 2010-04-15 | Casio Computer Co Ltd | 立体模型の作製装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011162309A1 (ja) | 2011-12-29 |
| US9299000B2 (en) | 2016-03-29 |
| JPWO2011162309A1 (ja) | 2013-08-22 |
| US20130100252A1 (en) | 2013-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986161B (zh) | 一种三维空间坐标估计方法、装置、终端和存储介质 | |
| CN109035304B (zh) | 目标跟踪方法、介质、计算设备和装置 | |
| JP5454573B2 (ja) | 物体位置推定装置、物体位置推定方法及びプログラム | |
| JP6355052B2 (ja) | 撮像装置、画像処理装置、撮像方法および記録媒体 | |
| JP6598746B2 (ja) | 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法 | |
| JP6618395B2 (ja) | 行動価値によって調査対象の位置を予測する装置、プログラム及び方法 | |
| JP6024658B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
| CN111750864A (zh) | 一种基于视觉地图的重定位方法和装置 | |
| JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
| CN109033920B (zh) | 一种可抓取目标的识别方法、装置及计算机可读存储介质 | |
| JP5674550B2 (ja) | 状態追跡装置、方法、及びプログラム | |
| CN112749726B (zh) | 目标检测模型的训练方法、装置、计算机设备和存储介质 | |
| JP5978996B2 (ja) | 物体領域抽出装置、方法、及び、プログラム | |
| CN106504265B (zh) | 运动估计优化方法、设备和系统 | |
| Spera et al. | Egocentric shopping cart localization | |
| CN111914756A (zh) | 一种视频数据处理方法和装置 | |
| CN113348465A (zh) | 图像中对象的关联性预测方法、装置、设备和存储介质 | |
| CN107209556A (zh) | 用于对捕获对象相对于交互平面的交互的深度图像进行处理的系统及方法 | |
| CN111798518A (zh) | 机械臂姿态检测方法、装置和设备及计算机存储介质 | |
| JP6103765B2 (ja) | 行動認識装置、方法及びプログラム並びに認識器構築装置 | |
| JP2004220292A (ja) | 物体追跡方法、物体追跡装置、物体追跡方法のプログラム並びにそのプログラムを記録した記録媒体 | |
| CN109584289A (zh) | 适应地图创建中状态转换的系统和方法 | |
| JP2019211914A (ja) | 物体らしさ推定装置、方法、およびプログラム | |
| CN112449701B (zh) | 学习模板表示库 | |
| CN114372999A (zh) | 一种对象检测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151001 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160309 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160419 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160711 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5978996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |