JPWO2010101227A1 - 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム - Google Patents

Abstract

スコア決定手段６２は、複数の画像取得手段がそれぞれ取得した各画像内で実空間内の点がどの程度対象物体らしく表されているかを示すスコアを、画像取得手段と実空間内の点との組み合わせ毎に定める。視界状態判定手段６３は、画像取得手段に対して対象物体を隠す非対象物体がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得手段から実空間内の各点までの視界状態を判定し、その判定結果に応じて、スコアの確率密度関数を決定する。存在確率算出手段６４は、画像取得手段と実空間内の点との組み合わせ毎の確率密度関数を用いて各点における対象物体の存在確率を求める。推定用情報作成手段６５は、その存在確率から位置推定用情報を作成する。

Description

本発明は、物体を複数の方向から撮影して得た各画像を用いて、物体位置を推定するための情報を作成する物体位置推定用情報作成装置、物体位置推定用情報作成方法および物体位置推定用情報作成プログラムに関する。

物体の位置を推定する画像監視システムが特許文献１に記載されている。特許文献１に記載されたシステムは、物体の位置推定を行う実空間（三次元空間）に対して、複数のカメラの視野の一部が互いに重なるようにして、各カメラから画像を取得する。そして、背景差分処理やフレーム間差分処理を用いて、対象物体の動体領域を検出する。各カメラは、実空間に対して予めキャリブレーションされている。特許文献１に記載されたシステムは、各カメラの画像から検出された動体領域を、それぞれ実空間内の指定された平面座標系に変換し、変換後の動体領域の重なりを検出し、実空間における動体領域の存在を判定し、また、その存在位置を推定する。

特開２００８−１５５７３号公報（段落００１５−００４６）

特許文献１に記載されたシステムでは、各カメラの画像から検出した動体領域をそれぞれ実空間内の指定された平面座標系に変換し、全カメラに関して、変換された動体領域が重なっていれば、その位置に物体が存在すると推定する。このシステムでは、物体の位置を推定できる空間の範囲は、全てのカメラの視野の重なり領域に限定される。例えば、図１９は、本発明に関連するシステムにおける物体位置を推定可能な範囲の例を示す。図１９において、矢印は各カメラの視野の範囲を表している。図１９に示すカメラ１０１〜１０３の視野の重なり領域は、斜線で示した領域であり、特許文献１に記載されたシステムでは、この範囲内に存在する物体の位置しか推定できない。なお、図１９では、実空間を二次元で模式的に示している。

位置推定可能な領域を広げるために、２台のカメラから得られた動体領域が重なっている場合にその領域に物体が存在すると判定する手法が考えられる。図２０は、この手法を用いた場合において物体位置を推定可能な範囲の例を示す。図２０に示すように、２台のカメラの視野が重なっている範囲内で物体の位置推定が可能となり、図１９と比較して位置推定可能な範囲が広がる。しかし、この場合、誤検出が生じる場合がある。図２１は、位置推定可能な範囲を拡張した場合に誤検出が生じる例を示す。図２１に示す３つの物体１１１〜１１３の位置を推定する場合を例にする。また、図２１に示す破線の矢印は物体に対する視体積を表す。図２１に示す例では、２台のカメラから得られた物体の領域が重なっていれば、その領域に物体が存在すると判定する。よって、太線で示した範囲が物体の検出領域となり、誤差が生じる。特に、検出領域のうち物体１１１〜１１３の内側の部分（斜線で示した領域）の状態は、位置検出に用いた２台以外のカメラで撮影可能であるが誤検出となってしまう。例えば、斜線で示した領域１１５の状態はカメラ１０２で撮影可能であるが、カメラ１０１，１０３から得られた画像に基づいて物体が存在すると判定されてしまう。

以上のように、物体位置を推定可能な領域を拡張しようとすると、誤検出が生じ、物体位置の推定精度が低下してしまうという問題があった。

また、位置推定しようとする対象物体を隠す固定物体が存在しても、物体位置の推定精度が低下してしまう。例えば、対象物体とカメラとの間に、机、看板、柱等の固定物体が存在すると、対象物体にオクルージョン（隠れ）が発生し、位置推定精度が低下してしまう。これは、固定物体の存在によって対象物体が隠れてしまい、対象物体の動体領域を特定することができなくなってしまうためである。動体領域を特定できなくなることにより、実際には対象物体が存在しているにも関わらず、動体領域が存在しないという誤判定をしてしまう。

そこで、本発明は、物体位置の推定可能な範囲を広げるとともに物体位置の推定精度を保つように物体の位置推定用情報を作成することができる物体位置推定用情報作成装置、物体位置推定用情報作成方法および物体位置推定用情報作成プログラムを提供することを目的とする。また、物体を隠す固定物体が存在していても、物体の位置推定を可能とする位置推定用情報を作成することを目的とする。

本発明による物体位置推定用情報作成装置は、複数の画像取得手段がそれぞれ取得した各画像から、その画像内で対象物体を表した領域を示す物体領域画像を作成する物体領域画像作成手段と、複数の画像取得手段がそれぞれ取得した各画像内で実空間内の点がどの程度位置推定の対象となる対象物体らしく表されているかを示すスコアを、物体領域画像を参照することによって、画像取得手段と実空間内の点との組み合わせ毎に定めるスコア決定手段と、画像取得手段に対して対象物体を隠す非対象物体がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得手段から実空間内の各点までの視界状態を判定し、視界状態の判定結果に応じて、画像取得手段と実空間内の点との組み合わせ毎の、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数を決定する視界状態判定手段と、画像取得手段から実空間内の点までの視界状態の判定結果に応じた確率密度関数を統合して実空間内の点に対象物体が存在している存在確率を求める存在確率算出手段と、存在確率算出手段が実空間内の各点について求めた存在確率に基づいて、実空間内の所定平面に対して所定の高さに配置されていることが既知である対象物体が所定平面のどの位置に存在するかを推定するための位置推定用情報を、所定平面の各点毎に作成する推定用情報作成手段とを備えることを特徴とする。

また、本発明による物体位置推定用情報作成方法は、複数の画像取得手段がそれぞれ取得した各画像から、その画像内で対象物体を表した領域を示す物体領域画像を作成し、複数の画像取得手段がそれぞれ取得した各画像内で実空間内の点がどの程度位置推定の対象となる対象物体らしく表されているかを示すスコアを、物体領域画像を参照することによって、画像取得手段と実空間内の点との組み合わせ毎に定め、画像取得手段に対して対象物体を隠す非対象物体がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得手段から実空間内の各点までの視界状態を判定し、視界状態の判定結果に応じて、画像取得手段と実空間内の点との組み合わせ毎の、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数を決定し、画像取得手段から実空間内の点までの視界状態の判定結果に応じた確率密度関数を統合して実空間内の点に対象物体が存在している存在確率を求め、実空間内の各点について求めた存在確率に基づいて、実空間内の所定平面に対して所定の高さに配置されていることが既知である対象物体が所定平面のどの位置に存在するかを推定するための位置推定用情報を、所定平面の各点毎に作成することを特徴とする。

また、本発明による物体位置推定用情報作成プログラムは、コンピュータに、複数の画像取得手段がそれぞれ取得した各画像から、その画像内で対象物体を表した領域を示す物体領域画像を作成する物体領域画像作成処理、複数の画像取得手段がそれぞれ取得した各画像内で実空間内の点がどの程度位置推定の対象となる対象物体らしく表されているかを示すスコアを、物体領域画像を参照することによって、画像取得手段と実空間内の点との組み合わせ毎に定めるスコア決定処理、画像取得手段に対して対象物体を隠す非対象物体がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得手段から実空間内の各点までの視界状態を判定し、視界状態の判定結果に応じて、画像取得手段と実空間内の点との組み合わせ毎の、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数を決定する視界状態判定処理、画像取得手段から実空間内の点までの視界状態の判定結果に応じた確率密度関数を統合して実空間内の点に対象物体が存在している存在確率を求める存在確率算出処理、および、存在確率算出処理で実空間内の各点について求めた存在確率に基づいて、実空間内の所定平面に対して所定の高さに配置されていることが既知である対象物体が所定平面のどの位置に存在するかを推定するための位置推定用情報を、所定平面の各点毎に作成する推定用情報作成処理を実行させることを特徴とする。

物体位置の推定可能な範囲を広げるとともに物体位置の推定精度を保つように、物体の位置推定用情報を作成することができる。また、対象物体を隠してしまう非対象物体が存在していたとしても、広い範囲で高精度に対象物体の位置推定を行うための位置推定用情報を作成することができる。

本発明の第１の実施形態の物体位置推定用情報作成装置の例を示すブロック 図である。 固定物体の存在情報の例を示す説明図である。 対象物体の位置推定を行う実空間の例を示す説明図である。 物体モデルの例を示す説明図である。 スコアの確率密度関数を定める態様を示す説明図である。 確率密度関数の例を示す説明図である。 本発明の処理経過の例を示すフローチャートである。 ステップＳ３の処理経過の例を示すフローチャートである。 ステップＳ４の処理経過の例を示すフローチャートである。 ステップＳ６の処理経過の例を示すフローチャートである。 本発明の第２の実施形態の物体位置推定用情報作成装置の例を示すブロッ ク図である。 第２の実施形態においてスコアの確率密度関数を定める態様を示す説明図 である。 第２の実施形態におけるステップＳ４の処理経過の例を示すフローチャー トである。 対象物体の位置推定を行う場合の構成例を示すブロック図である。 ラベリングで定めた範囲の例を示す説明図である。 ラベリングで定めた範囲が複数存在する場合の例を示す説明図である。 本発明の具体的な構成例を示すブロック図である。 本発明の最小構成を示すブロック図である。 本発明に関連するシステムにおける物体位置の推定可能な範囲の例を示す 説明図である。 図１９に示す位置推定可能な範囲を拡張した例を示す説明図である。 位置推定可能な範囲を拡張した場合に誤検出が生じる場合を示す説明図で ある。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明の第１の実施形態の物体位置推定用情報作成装置の例を示すブロック図である。第１の実施形態の物体位置推定用情報作成装置は、第１から第ｎまでの画像取得手段１ａ〜１ｎと、データ処理装置４と、情報を記憶する記憶装置５とを備える。

第１画像取得手段１ａから第ｎの画像取得手段１ｎまでの各画像取得手段は、三次元空間の画像を取得する。例えば、各画像取得手段１ａ〜１ｎは、三次元空間を撮影することによって画像を生成するカメラやビデオカメラによって実現される。撮影される画像は、静止画であっても、動画であってもよい。三次元空間の画像として動画を撮影した場合、各画像取得手段１ａ〜１ｎは、その動画から一つ一つの画像（フレーム）を取得する。また、各画像取得手段１ａ〜１ｎは、それぞれ別々の方向から三次元空間を撮影するように配置される。なお、画像取得手段１ａ〜１ｎは、別々の方向から三次元空間を撮影する撮影手段（カメラやビデオカメラ）とは別に設けられ、各撮影手段によって作成された動画から、一つ一つの画像を取得する構成であってもよい。以下、説明を簡単にするため、各画像取得手段が画像を撮影する場合を例にして説明する。各画像取得手段１ａ〜１ｎは、同時に撮影した画像を取得する。すなわち、各画像取得手段１ａ〜１ｎが取得した各画像は、同期されている。

データ処理装置４は、各画像取得手段１ａ〜１ｎが取得した画像を用いて、実空間（三次元空間）内における対象物体の位置を推定するための情報（位置推定用情報）を作成する。なお、対象物体とは、位置推定しようとする物体である。

記憶装置５は、 カメラパラメータ記憶手段５１と、隠れ情報記憶手段５２と、実空間記憶手段５３と、物体モデル記憶手段５４とを含む。

カメラパラメータ記憶手段５１は、個々の画像取得手段１ａ〜１ｎ毎に、画像取得手段１ａ〜１ｎで取得される画像での二次元座標と実空間の三次元座標との変換を行うためのカメラパラメータを予め記憶する。カメラパラメータは、実空間内の三次元座標から画像における二次元座標への変換を行うための変換パラメータ、および、画像における二次元座標から実空間内の三次元座標への変換を行うための変換パラメータを含む。これらの変換パラメータにより画像における二次元座標と実空間の三次元座標との変換が相互に可能となる。変換パラメータは、予め画像上の二次元座標と実空間内の三次元座標とを対応付けることにより予め算出しておけばよい。また、カメラパラメータ記憶手段５１は、各画像取得手段１ａ〜１ｎの三次元位置や撮影方向等もカメラパラメータに含めて記憶してもよい。

隠れ情報記憶手段５２は、対象物体にオクルージョンを発生させる固定物体の存在情報を記憶する。対象物体にオクルージョンを発生させる固定物体とは、換言すれば、対象物体を隠す固定物体である。固定物体の例として、対象物体を隠してしまう机、看板、柱等があるが、固定物体の種類は特に限定されない。また、固定物体の存在情報とは、固定物体がどこに存在するかを表す情報である。第１の実施形態では、固定物体の存在情報として、画像取得手段１ａ〜１ｎが取得した画像内で固定物体が現れる領域を示す情報を用いる。具体的には、隠れ情報記憶手段５２は、画像内で固定物体が現れる領域を第１の画素値とし、画像内の他の領域を第２の画素値とした二値画像を、固定物体の存在情報として記憶する。この二値画像の各画素は、画像取得手段が取得する画像の各画素に対応する。固定物体の存在情報となる二値画像は、予め、データ処理装置４が画像取得手段毎に作成し、隠れ情報記憶手段５２に記憶させておけばよい。

図２は、固定物体の存在情報の例を示す説明図である。ある画像取得手段が図２（ａ）に例示する画像を取得したとする。データ処理装置４が備える二値画像生成手段（図示略）は、図２（ａ）に例示する画像中において固定物体である家および木を表す領域の画素の画素値を「１（白色）」と定め、他の領域の画素値を「０（黒色）」と定めることにより二値画像（図２（ｂ）参照）を生成すればよい。そして、図２（ａ）に例示する画像を取得した画像取得手段に応じた固定物体の存在情報として、図２（ｂ）に示す二値画像を隠れ情報記憶手段５２に記憶させておけばよい。隠れ情報記憶手段５２は、このような二値画像を画像取得手段毎に記憶する。本例では、「１」が、固定物体の存在ありを意味し、「０」が、固定物体の存在なしを意味する。

また、あるタイミングで固定物体が移動する場合、移動前後の固定物体の存在情報（二値画像）を隠れ情報記憶手段５２に記憶させておき、対象物体の画像が撮影された時刻に応じた存在画像を参照できるようにしておけばよい。以下、二値画像によって固定物体の有無を表した存在情報を、固定物体二値画像と記す。

実空間記憶手段５３は、対象物体の位置推定を行う実空間（三次元空間）の範囲を予め記憶する。図３は、対象物体の位置推定を行う実空間の例を示す。図３では、対象物体の位置推定を行う実空間が直方体９１である場合を示している。実空間記憶手段５３は、例えば、このような実空間９１のｘ座標、ｙ座標、ｚ座標の範囲を記憶していてもよい。あるいは、実空間記憶手段５３は、例えば、このような実空間９１に含まれる一つ一つの点の座標を記憶していてもよい。実空間に含まれる複数の点は、有限個の離散的な点でよい。実空間記憶手段５３は、実空間を規定する有限個の点を特定可能な情報を記憶していればよい。なお、図３では直方体９１を例示したが、位置推定を行う範囲は直方体に限定されない。

また、図３に示す例では、ｘ座標およびｙ座標により平面を表し、ｚ座標により平面からの高さを表している。本発明では、対象物体としてどのような形状・大きさの物体がどの高さに存在しているのかを既知の情報として保持し、その対象物体がｘｙ平面のどの位置に存在するかを推定するための情報を生成する。

物体モデル記憶手段５４は、対象物体の三次元形状および大きさを模式的に表したモデルを記憶する。このモデルを物体モデルと記す。物体モデルは、対象物体の形状や大きさを厳密に表している必要はなく、対象物体の外形および大きさを模式的に表していればよい。例えば、対象物体が「立っている人間」である場合、物体モデル記憶手段５４は、円柱を物体モデルとして記憶していてもよい。図４は、物体モデルの例を示す説明図である。図４に示す例では、ｘｙ平面から所定の高さに位置する円柱を対象物体の物体モデルとする場合を例示している。ｘｙ平面に対する物体モデルの高さは一定である。この高さは０であってもよい。例えば、実空間おけるｘｙ平面に立っている人間の物体モデルを表す場合には高さを０とすればよい。また、平面から所定の高さに浮いている風船の物体モデルを表す場合、ｘｙ平面に対する物体モデルの高さをその所定の高さに定めればよい。ｘｙ平面における物体モデルの位置は定められていない。

また、図４では、一つの物体を表す物体モデルを示しているが、物体モデルは分割されていてもよい。

データ処理装置２は、物体領域取得手段４１と、スコア取得手段４２と、視界情報判定手段４３と、存在確率算出手段４４と、推定用情報作成手段４５とを含む。

物体領域取得手段４１は、各画像取得手段１ａ〜１ｎが取得した画像において、対象物体を表した領域を示す画像を作成する。この画像を物体領域画像と記す。第１から第ｎまでの各画像取得手段が取得した画像は同期されている。物体領域取得手段４１は、この各画像それぞれから物体領域画像を作成する。物体領域取得手段４１は、例えば、背景差分法、フレーム差分法、あるいは、以下に示す参考文献に記載された方法等で物体領域画像を生成すればよい。

［参考文献］
中井宏章、「事後確率を用いた移動物体検出手法」、情処研報、ＳＩＧ−ＣＶ９０−１、社団法人情報処理学会、１９９４年

背景差分法を用いる場合、例えば、画像取得手段毎に対象物体なしで取得した画像である背景画像を予め記憶する背景画像記憶手段（図示せず）を設けておく。そして、物体領域取得手段４１は、画像取得手段が取得した画像と背景画像との間で、対応する画素同士の画素値の差分を計算し、その差分値を閾値処理して求めた二値画像を物体領域画像として生成すればよい。このように物体領域画像を作成すれば、背景（すなわち対象物体以外）を表す領域の画素値は０となり、対象物体を表す領域の画素値は１となる画像が得られる。フレーム差分法を用いる場合、物体領域取得手段４１は、動画における連続する画像（フレーム）間で、対応する画素同士の画素値の差分を計算し、その差分値を閾値処理して求めた二値画像を物体領域画像として生成すればよい。この場合にも、背景差分法と同様に物体領域画像を生成することができる。

また、ある画素における物体の存在が確率的に決定される場合、その画素の画素値を０〜１の範囲の確率値として定めてもよい。例えば、物体領域取得手段４１は、参考文献に記載された方法のように、対象物体が存在する事後確率を画素値とする画像を物体領域画像として生成してもよい。この場合、物体領域取得手段４１は、個々の画素において対象物体が存在する事後確率を求め、その事後確率を画素値とすればよい。事後確率は、事前確率と、画像取得手段が取得した画像とに基づいて計算すればよい。

ここでは、物体領域取得手段４１は、背景差分法、フレーム差分法、または上記参考文献に記載された方法等によって、各画素の画素値が０〜１（０，１の二値でもよい）の範囲に定められた物体領域画像を作成するものとする。この場合、スコア取得手段４２は、後述のスコアとして、０〜１のスコアを定める。また、各画素の画素値が０〜１の範囲に定められた物体領域画像が生成できるのであれば、上記の方法以外で物体領域画像を生成してもよい。

スコア取得手段４２は、画像取得手段を順次選択し、カメラパラメータ記憶手段５１に記憶されるカメラパラメータを用いて、実空間記憶手段５３に記憶される実空間の範囲内の点（ｘ,ｙ,ｚ）を、選択した画像取得手段に対応した二次元座標に変換する。そして、スコア取得手段４２は、その画像取得手段に応じた物体領域画像から、その二次元座標が示す画素の画素値を特定する。ある画像取得手段に対応した二次元座標とは、その画像取得手段が取得する画像における二次元座標である。

各画像取得手段１ａ〜１ｎの中から選択された画像取得手段を便宜的に「第ｃの画像取得手段」と記す。スコア取得手段４２は、実空間内の点（ｘ，ｙ，ｚ）を第ｃの画像取得手段に対応した二次元座標に変換し、第ｃの画像取得手段について計算された物体領域画像中から、その二次元座標が示す画素の画素値を特定する。この画素値を、スコアｓｃ,ｘ,ｙ,ｚと表す。スコアは、実空間内の点（ｘ，ｙ，ｚ）が、第ｃの画像取得手段によって得られた画像内でどの程度物体らしく表されるかを示す物体らしさである。スコア取得手段４２は、画像取得手段と実空間内の点の組み合わせ毎に、スコアｓｃ,ｘ,ｙ,ｚを求める。

ただし、実空間内の点を画像取得手段に対応した二次元座標に変換したとしても、その二次元座標が示す位置が、物体領域画像の範囲外であることもある。物体領域画像の各画素は、画像取得手段が取得した画像の各画素と対応しているので、変換後の二次元座標が示す位置が、物体領域画像の範囲外であるということは、実空間内の点は、画像取得手段が実空間を撮影する際の視野に入っていないことを意味する。この場合、スコアｓｃ,ｘ,ｙ,ｚを、実空間内の点が画像取得手段の視野外であることを示す所定の固定値に設定する。以下、この固定値を範囲外定数と記す。

視界状態判定手段４３は、カメラパラメータ記憶手段５１に記憶されるカメラパラメータを用いて、実空間記憶手段５３に記憶される実空間の範囲内の点（ｘ,ｙ,ｚ）を、個々の画像取得手段に対応した二次元座標に変換する。そして、視界状態判定手段４３は、その画像取得手段に応じた固定物体二値画像（例えば図２（ｂ））の中から、その二次元座標が示す画素の画素値を特定する。

さらに、視界状態判定手段４３は、固定物体二値画像から特定した画素値、および、スコア取得手段４２が実空間内の各点（ｘ，ｙ，ｚ）および各画像取得手段の組み合わせ毎に求めたスコアｓｃ,ｘ,ｙ,ｚに基づいて、個々の画像取得手段から実空間内の個々の点までの視界状態を判定する。視界状態判定手段４３は、この判定結果に基づいて、実空間内の点と画像取得手段との組み合わせ毎に、スコアｓｃ,ｘ,ｙ,ｚの確率密度関数を定める。確率密度関数は、実空間の点（ｘ，ｙ，ｚ）が対象物体である場合とそれ以外の場合（対象物体でない場合）の２種類定める。以下、点（ｘ，ｙ，ｚ）が対象物体である場合とそれ以外の場合とに場合分けしたカテゴリをωｘ,ｙ,ｚで表し、ωｘ,ｙ,ｚ＝１は、実空間の点（ｘ，ｙ，ｚ）が対象物体であることを意味し、ωｘ,ｙ,ｚ＝０は、実空間の点（ｘ，ｙ，ｚ）が対象物体でない（非物体である）ことを意味するものとする。また、各カテゴリにおいてスコアｓｃ,ｘ,ｙ,ｚの確率密度関数をそれぞれ、ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１），ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）と記す。

図５は、スコアの確率密度関数を定める態様を示す説明図である。図５では、三次元の実空間を二次元で表現している。図５に示す各点Ａ〜Ｅは実空間内の点であり、また、実空間には固定物体９５が存在するものとする。また、図５では、固定物体二値画像９２を模式的に示している。図５において、斜線で示した部分９３は、固定物体二値画像９２のうち、固定物体を表す領域である。

視界状態判定手段４３が点Ａ（図５参照）の三次元座標を、画像取得手段１ｃに対応する二次元座標に変換すると、その二次元座標は物体領域画像の範囲外となるので、点Ａのスコアは範囲外定数に定められる。このようにスコアが範囲外定数である場合、画像取得手段１ｃは点Ａを撮影できない（見ることができない）状態である。すなわち、点Ａが画像取得手段１ｃの視野外であり、画像取得手段１ｃから点Ａに対する視界状態は良好ではなく、画像取得手段１ｃと点Ａとの組み合わせに関して計算したスコアを用いても物体／非物体の判断を行えない。このように、スコアが範囲外定数である場合、視界状態判定手段４３は、画像取得手段１ｃから点Ａに対する視界状態が良好でないと判定し、点Ａが対象物体である場合、および、非物体である場合のスコアの確率密度関数として、一様分布となる関数を定める。

視界状態判定手段４３は、点Ｂ（図５参照）の三次元座標を、画像取得手段１ｃに対応する二次元座標に変換し、その座標が示す固定物体二値画像９２の画素を参照する。すると、画素値は固定物体がないことを表している。この場合、画像取得手段１ｃが点Ｂを撮影できる（見ることができる）ことを意味する。すなわち、画像取得手段１ｃから点Ｂへの視線方向に固定物体は存在せず、画像取得手段１ｃから点Ｂに対する視界状態は良好となっている。具体的には、点Ｂに対象物体があれば画像取得手段１ｃは対象物体を見ることができ、点Ｂに対象物体がなければ見ることができない状態となっていて、画像取得手段１ｃと点Ｂとの組み合わせに関して計算したスコア、つまり、点Ｂについて求めたスコアｓｃ,ｘ,ｙ,ｚは有効に働く。このように、変換後の座標に応じた固定物体二値画像９２の画素が固定物体でないことを表している場合、視界状態判定手段４３は、画像取得手段１ｃから点Ｂに対する視界状態が良好であると判定する。そして、視界状態判定手段４３は、点Ｂが対象物体である場合におけるスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）を、スコアｓｃ,ｘ,ｙ,ｚが１に近づくほど大きくなる関数と定める。また、視界状態判定手段４３は、点Ｂが対象物体でない場合におけるスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）を、スコアｓｃ,ｘ,ｙ,ｚが０に近づくほど大きくなる関数と定める。この２種類のスコアの確率密度関数の例を図６に示す。図６（ａ），（ｂ）に示す各横軸はスコアであり、縦軸はスコアが得られる確率である。

図６（ａ）は、対象物体が存在する場合におけるスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）の例である。対象物体が点（ｘ，ｙ，ｚ）に存在する場合、スコアの値が１に近づくほど、そのスコアの確率は大きくなる。よって、視界状態判定手段４３は、ｓｃ,ｘ,ｙ,ｚの値が１に近づくほど、ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）の値が大きくなり、ｓｃ,ｘ,ｙ,ｚの値が０に近づくほど、ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）の値が小さくなる確率密度関数を定める。また、図６（ｂ）は、対象物体が存在しない場合におけるスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）の例である。対象物体が点（ｘ，ｙ，ｚ）に存在しない場合、スコアの値が１に近づくほど、そのスコアの確率は小さくなる。よって、視界状態判定手段４３は、ｓｃ,ｘ,ｙ,ｚの値が１に近づくほど、ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）の値が小さくなり、ｓｃ,ｘ,ｙ,ｚの値が０に近づくほど、ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）の値が大きくなる確率密度関数を定める。また、視界状態判定手段４３は、確率密度関数全体の積分値が１となるｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１），ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）を定める。視界状態判定手段４３は、学習によりこのような関数を推定してもよい。また、知識・経験に基づいて上記の条件を満たす関数を定めておき、視界状態判定手段４３に予め保持させてもよい。また、予め図６に例示するスコアの確率密度関数を保持させる場合、画像取得手段毎に個別の関数を保持させてもよい。

視界状態判定手段４３は、点Ｃ（図５参照）の三次元座標を、画像取得手段１ｃに対応する二次元座標に変換し、その座標が示す固定物体二値画像９２の画素を参照する。その画素値は固定物体が存在することを表している。また、実空間内の点に対象物体があるのかあるいはその点における対象物体の有無がわからないかを判定するための閾値ｔｈを予め定めておく。点Ｃから特定した固定物体二値画像９２の画素の画素値が固定物体ありを表していて、点Ｃのスコアが閾値ｔｈ以上である場合、点Ｃが対象物体であり、画像取得手段１ｃがその点Ｃにおける対象物体を見えているという、視界状態が良好な状態である。従って、点Ｃについて求めたスコアｓｃ,ｘ,ｙ,ｚは有効に働く。このように、「固定物体あり」であり、スコアがｔｈ以上である場合、視界状態判定手段４３は、画像取得手段１ｃから点Ｃに対する視界状態が良好であると判定し、前述の図６に示したスコアの確率密度関数を定める。すなわち、対象物体が存在する場合におけるスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）として、スコアの値が１に近づくほど関数値が大きくなり、スコア値が０に近づくほど関数値が小さくなり、確率密度関数全体の積分値が１となる関数を定める。同様に、対象物体が存在しない場合におけるスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）として、スコアの値が１に近づくほど関数値が小さくなり、スコア値が０に近づくほど関数値が大きくなり、確率密度関数全体の積分値が１となる関数を定める。

視界状態判定手段４３は、点Ｄ，Ｅに関しても、画像取得手段１ｃに対応する二次元座標に変換し、その座標が示す固定物体二値画像９２の画素を参照する。その画素値は固定物体が存在することを表している。また、ここでは、点Ｄ，Ｅのスコアがｔｈ未満であるとする。このように、「固定物体あり」であり、スコアがｔｈ未満である場合、実空間内の点が固定物体の手前に位置し、その点が対象物体でないので画像取得手段１ｃからその点における対象物体を見えないのか、あるいは、画像取得手段１ｃから見て実空間内の点が固定物体よりも背後に位置し、点が物体に隠れてしまうのでその点における物体の有無がわからないのかを定めることができないという、視界状態が不明な状態である。すなわち、「固定物体あり」でありスコアがｔｈ未満である場合には、点Ｄのような固定物体の手前の点に対象物体がないのか、点Ｅのように固定物体に点が隠れているのかが不明である。従って、そのようなスコアｓｃ,ｘ,ｙ,ｚは有効に用いることができない。このように、「固定物体あり」であり、スコアがｔｈ以上である場合、視界状態判定手段４３は、視界状態が不明と判定し、点が対象物体である場合、および、点が対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を定める。

また、点が物体である場合、および非物体である場合のスコアの確率密度関数を決定する際に、スコアと閾値の比較を行わずに、スコア値に応じた確率密度関数を決定してもよい。以下、閾値を用いずにスコアの確率密度関数を決定する場合について説明する。視界状態判定手段４３が「固定物体あり」と判定したとする。このとき、視界状態判定手段４３は、スコアが０のときの関数値とスコアが１のときの関数値との差（以下、変化幅と記す。）をスコア値に応じて変化させるようにして、確率密度関数を決定してもよい。図６に示すＲ１，Ｒ２が変化幅である。視界状態判定手段４３は、スコア取得手段４２が求めたスコア値が大きいほど、確率密度関数として、変化幅の大きい確率密度関数を決定し、スコア値が小さいほど、確率密度関数として、変化幅の小さい確率密度関数を決定する。
具体的には、視界状態判定手段４３は、点が物体である場合のスコアの確率密度関数として、スコア値が１に近づくほど関数値が大きくなり、スコア値が０に近づくほど関数値が小さくなり、確率密度関数全体の積分値が１となる関数（図６（ａ）参照）を定める。ただし、スコア取得手段４２が求めたスコア値が大きいほど変化幅Ｒ１が大きな確率密度関数を決定し、スコア値が小さいほど変化幅Ｒ１が小さな確率密度関数を決定する。同様に、点が物体でない場合のスコアの確率密度関数として、スコア値が１に近づくほど関数値が小さくなり、スコア値が０に近づくほど関数値が大きくなり、確率密度関数全体の積分値が１となる関数（図６（ｂ）参照）を定める。ただし、スコア取得手段４２が求めたスコア値が大きいほど変化幅Ｒ２が大きな確率密度関数を決定し、スコア値が小さいほど変化幅Ｒ２が小さな確率密度関数を決定する。スコア値に応じた各種変化幅の確率密度関数は予め視界状態判定手段４３に保持させておき、視界状態判定手段４３が保持している確率密度関数の中からスコア値に応じた確率密度関数を選択してもよい。また、あるいは、学習によりスコア値に応じた確率密度関数を決定してもよい。

なお、視界状態判定手段４３が「固定物体なし」と判定したときの確率密度関数の変化
幅は特に限定されない。既に説明したように学習により推定した確率密度関数を用いても
よく、予め定めておいた確率密度関数を用いてもよい。

このようにスコア値に応じて変化幅を連続的に変えるようにしてスコアの確率密度関数を決定することで、精度よく位置推定用情報を作成することができる。また、確率密度関数を決定するためのパラメータから閾値ｔｈを削減することができる。

視界状態の判定結果に応じて、点が物体である場合、および非物体である場合のスコアの確率密度関数を決定するということは、画像取得手段１ｃから実空間の点への視界を確実に確保できるならばスコアを信頼して積極的に利用し、確実に確保できないならばスコアを利用せず、固定物体が存在しているならば、スコアの値に応じてスコアを利用するか
、あるいはスコアを積極的に利用しないようにしているということである。そして、スコアを利用しない実空間内の点については、物体／非物体の判断を、他の画像取得手段から得る情報に基づいて行うことになる。

存在確率算出手段４４は、実空間記憶手段５３に記憶される実空間の範囲内の各点（ｘ,ｙ,ｚ）において、スコア取得手段４２から得られたスコアｓｃ,ｘ,ｙ,ｚ と、視界状態判定手段から得られた物体／非物体である場合のスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）、ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）とを用いて、（ｘ，ｙ，ｚ）に対象物体が存在する事後確率、および、（ｘ，ｙ，ｚ）に対象物体が存在しない事後確率を計算する。具体的には、以下に示す式（１）の計算を行って、事後確率を求める。

式（１）により、事後確率Ｐ（ωｘ，ｙ，ｚ｜ｓ１，ｘ，ｙ，ｚ，・・・，ｓｎ，ｘ，ｙ，ｚ）を求めることで、点（ｘ，ｙ，ｚ）における対象物体の存在状況がわかる。

式（１）において、Ｐ（ωｘ，ｙ，ｚ）は、対象物体が存在する事前確率または対象物体が存在しない事前確率であり、０．５としてもよい。あるいは、知識に基づいてＰ（ωｘ，ｙ，ｚ）の値を設定してもよい。また、式（１）に示すｐ（ｓ１，ｘ，ｙ，ｚ，・・・，ｓｎ，ｘ，ｙ，ｚ）は、各画像取得手段１ａ〜１ｎに対して得られるスコアの同時確率であり、物体／非物体というカテゴリによらない。

（ｘ，ｙ，ｚ）に対象物体が存在する事後確率を計算する場合、存在確率算出手段４４は、式（１）の分子におけるｐ（ｓｃ，ｘ，ｙ，ｚ｜ωｘ，ｙ，ｚ）として、ｐ（ｓｃ，ｘ，ｙ，ｚ｜ωｘ，ｙ，ｚ＝１）を用いればよい。また、（ｘ，ｙ，ｚ）に対象物体が存在しない事後確率を計算する場合、式（１）の分子におけるｐ（ｓｃ，ｘ，ｙ，ｚ｜ωｘ，ｙ，ｚ）として、ｐ（ｓｃ，ｘ，ｙ，ｚ｜ωｘ，ｙ，ｚ＝０）を用いればよい。

推定用情報作成手段４５は、存在確率算出手段４４が式（１）の計算により求めた事後確率から、実空間内の点（ｘ，ｙ，ｚ）に対象物体が存在するか否かを示す物体情報Ｖ（ｘ，ｙ，ｚ）を、それぞれの点について決定する。Ｖ（ｘ，ｙ，ｚ）＝１であれば、（ｘ，ｙ，ｚ）に対象物体が存在することを意味し、Ｖ（ｘ，ｙ，ｚ）＝０であれば、（ｘ，ｙ，ｚ）に対象物体が存在しないことを意味する。推定用情報作成手段４５は、（ｘ，ｙ，ｚ）に対象物体が存在する事後確率と、対象物体が存在しない事後確率とを比較する。そして、対象物体が存在する事後確率の方が大きければ、推定用情報作成手段４５は、点（ｘ，ｙ，ｚ）に対象物体が存在すると判定し、Ｖ（ｘ，ｙ，ｚ）＝１と決定する。また、二つの事後確率が等しいか、または、対象物体が存在しない事後確率の方が大きければ、推定用情報作成手段４５は、点（ｘ，ｙ，ｚ）に対象物体が存在しないと判定し、Ｖ（ｘ，ｙ，ｚ）＝０と決定する。

また、各画像取得手段１ａ〜１ｎに対応するｎ個の確率密度関数の中に、視界が確実に確保できない場合の確率密度関数（一様分布となる確率密度関数）が一定数以上ある場合に、実空間の点に物体が存在するか否かを正しく判定できないとし、Ｖ（ｘ，ｙ，ｚ）＝０としてもよい。

推定用情報作成手段４５は、実空間のｘｙ平面における各点の座標（ｘ，ｙ）をそれぞれ選択し、選択した位置に物体モデルを配置する。すなわち、選択した位置に物体モデルを配置したときに、物体モデルが占める空間を特定する。（ｘ，ｙ）を選択したときに、物体モデルが占める空間をＭ（ｘ，ｙ）と記す。推定用情報作成手段４５は、物体モデルの配置位置（ｘ，ｙ）を選択したときに、物体モデルが占める空間をＭ（ｘ，ｙ）に属する点の物体情報Ｖ（ｘ，ｙ，ｚ）を投票する。投票とは、ある空間において、空間内の個々の点に応じた値を加算することであり、ここでは、Ｖ（ｘ，ｙ，ｚ）の値を加算する。投票の結果（すなわち加算結果）をｖ（ｘ，ｙ）と表す。投票結果であるｖ（ｘ，ｙ）は位置推定用情報であり、推定用情報作成手段４５は、実空間のｘｙ平面における各点毎に、位置推定用情報ｖ（ｘ，ｙ）を計算する。

推定用情報作成手段４５は、以下に示す式（２）の計算を行うことにより、投票を行えばよい。

式（２）において、（ｘ’，ｙ’，ｚ’）は、物体モデルが占める空間Ｍ（ｘ，ｙ）に属する各点の座標である。

また、存在確率算出手段４４が計算した事後確率ｐ（ωｘ,ｙ,ｚ＝１｜ｓｃ,ｘ,ｙ,ｚ）は、実空間の点に物体が存在する確率を示している。よって、投票を行う場合、物体情報Ｖ（ｘ，ｙ，ｚ）の代わりに、対象物体が存在する事後確率を投票してもよい。この場合、推定用情報作成手段４５は、以下に示す式（３）の計算を行うことにより、投票を行えばよい。

上記のように、（ｘ’，ｙ’，ｚ’）は、物体モデルが占める空間Ｍ（ｘ，ｙ）に属する各点の座標である。

ｘｙ平面の各点について求めたｖ（ｘ，ｙ）から、実空間のｘｙ平面におけるどの位置に対象物体が存在するのかを推定できる。例えば、各位置について求めたｖ（ｘ，ｙ）に対して、閾値処理、ラベリング、重心計算などを施し物体位置を推定することができる。

次に、動作について説明する。
図７は、本発明の処理経過の例を示すフローチャートである。第１の画像取得手段１ａから第ｎの画像取得手段１ｎまでの各画像取得手段は、それぞれ異なる方向から実空間の動画像を撮影し、動画像から一つ一つの画像を取得する。各画像取得手段１ａ〜１ｎが取得する画像は同じ時点における画像である。すなわち、同期されている。物体領域取得手段４１は、各画像取得手段１ａ〜１ｎから、同期された各画像を取得する（ステップＳ１）。例えば、物体領域取得手段４１は、各画像取得手段１ａ〜１ｎから画像を入力される。次に、物体領域取得手段４１は、各画像取得手段１ａ〜１ｎから取得した画像から、物体領域画像を作成する（ステップＳ２）。既に説明したように、物体領域取得手段４１は、例えば、背景差分法、フレーム差分法、あるいは、前述の参考文献に記載された方法で物体領域画像を作成すればよい。あるいは、他の方法で物体領域画像を作成してもよい。

次に、スコア取得手段４２は、画像取得手段と実空間内の点の組み合わせ毎に、スコアｓｃ,ｘ,ｙ,ｚを求める（ステップＳ３）。図８は、ステップＳ３の処理経過の例を示すフローチャートである。図８を参照して、ステップＳ３について説明する。

ステップＳ３において、スコア算出手段４２は、実空間記憶手段５３に記憶される実空間の範囲内から一つの点を選択する（ステップＳ３０１）。選択した点を（ｘ，ｙ，ｚ）とする。さらに、スコア算出手段４２は、第１から第ｎまでの各画像取得手段１ａ〜１ｎの中から、一つの画像取得手段を選択する（ステップＳ３０２）。選択した画像取得手段を第ｃの画像取得手段とする。

次に、スコア取得手段４２は、カメラパラメータ記憶手段５１に記憶されているカメラパラメータのうち第ｃの画像取得手段のカメラパラメータを用いて、選択した点（ｘ，ｙ，ｚ）を、第ｃの画像取得手段に対応する二次元座標（すなわち、第ｃの画像取得手段が取得する画像における二次元座標）に変換する（ステップＳ３０３）。この処理は、選択した点（ｘ，ｙ，ｚ）を、第ｃの画像取得手段に対応する物体領域画像に投影する処理であるということができる。

次に、スコア取得手段４２は、ステップＳ３０３で点（ｘ，ｙ，ｚ）から変換した二次元座標の点が、物体領域画像の範囲よりも外側であるか否かを判定する（ステップＳ３０４）。点（ｘ，ｙ，ｚ）から変換した二次元座標の点が物体領域画像の範囲外であるならば（ステップＳ３０４におけるＹｅｓ）、スコア取得手段４２は、選択した点（ｘ，ｙ，ｚ）および第ｃの画像取得手段の組に関するスコアｓｃ,ｘ,ｙ,ｚの値を範囲外定数とする（ステップＳ３０５）。また、点（ｘ，ｙ，ｚ）から変換した二次元座標の点が物体領域画像の範囲内であれば（ステップＳ３０４におけるＮｏ）、スコア取得手段４２は、その二次元座標が示す物体領域画像内の画素の画素値をスコアｓｃ,ｘ,ｙ,ｚとする（ステップＳ３０６）。

ステップＳ３０５またはステップＳ３０６の後、スコア取得手段４２は、全ての画像取得手段について選択済みであるか否かを判定する（ステップＳ３０７）。選択されていない画像取得手段が残っていれば（ステップＳ３０７におけるＮｏ）、スコア取得手段４２は、新たに画像選択手段を選択してステップＳ３０２以降の処理を繰り返す。このループ処理により、選択している点（ｘ，ｙ，ｚ）と各画像取得手段との組み合わせ毎のスコアが決定される。

全ての画像取得手段について選択済みである場合（ステップＳ３０７におけるＹｅｓ）、スコア取得手段４２は、実空間記憶手段５３に記憶される実空間の範囲内の全ての点を選択済みであるか否かを判定する（ステップＳ３０８）。選択されていない点が残っていれば（ステップＳ３０８におけるＮｏ）、スコア取得手段４２は、新たに実空間内の点を選択し、ステップＳ３０１以降の処理を繰り返す。このループ処理により、実空間内の各点と各画像取得手段との組み合わせ毎のスコアが決定される。実空間内の全ての点について選択済みであれば（ステップＳ３０８におけるＹｅｓ）、ステップＳ３（スコア算出処理）を終了する。

ステップＳ３（図７参照）の後、視界状態判定手段４３は、各画像取得手段１ａ〜１ｎから実空間内の各点までの視界の状態を判定し、その判定結果に基づいて、実空間内の点と画像取得手段との組み合わせに対応するスコアの確率密度関数を決定する（ステップＳ４）。このとき、スコアの確率密度関数として、実空間内の点の位置に対象物体が存在する場合のスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）と、対象物体が存在しない場合のスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）とを決定する。図９は、ステップＳ４の処理経過の例を示すフローチャートである。図９を参照して、ステップＳ４について説明する。

ステップＳ４において、視界状態判定手段４３は、実空間記憶手段５３に記憶される実空間の範囲内から一つの点を選択する（ステップＳ４０１）。選択した点を（ｘ，ｙ，ｚ）とする。さらに、視界状態判定手段４３は、第１から第ｎまでの各画像取得手段１ａ〜１ｎの中から、一つの画像取得手段を選択する（ステップＳ４０２）。選択した画像取得手段を第ｃの画像取得手段とする。

次に、視界状態判定手段４３は、カメラパラメータ記憶手段５１に記憶されているカメラパラメータのうち第ｃの画像取得手段のカメラパラメータを用いて、選択した点（ｘ，ｙ，ｚ）を第ｃの画像取得手段に対応する二次元座標に変換する（ステップＳ４０３）。第ｃの画像取得手段に対応する固定物体二値画像も、この二次元座標系に従う。よって、この処理は、選択した点（ｘ，ｙ，ｚ）を、第ｃの画像取得手段に対応する固定物体二値画像に投影する処理であるということができる。

次に、視界状態判定手段４３は、ステップＳ４０３で点（ｘ，ｙ，ｚ）から変換した二次元座標の点が、第ｃの画像取得手段に対応する固定物体二値画像の範囲よりも外側であるか否かを判定する（ステップＳ４０４）。点（ｘ，ｙ，ｚ）から変換した二次元座標の点が固定物体二値画像の範囲外であるならば（ステップＳ４０４におけるＹｅｓ）、視界状態判定手段４３は、選択した点が対象物体である場合、および、対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を定める（ステップＳ４０５）。

また、点（ｘ，ｙ，ｚ）から変換した二次元座標の点が固定物体二値画像の範囲内であれば（ステップＳ４０４におけるＮｏ）、点（ｘ，ｙ，ｚ）から変換した二次元座標が示す固定物体二値画像の画素の画素値を隠れ情報記憶手段５２から読み出し、その画素値が「固定物体の存在あり」を表す値であるか否かを判定する（ステップＳ４０７）。

固定物体二値画像の画素の画素値が「固定物体の存在なし」を表す値であれば（ステップＳ４０７におけるＮｏ）、視界状態判定手段４３は、選択した点が対象物体である場合、および、対象物体でない場合のスコアの確率密度関数として、それぞれ図６（ａ），（ｂ）に例示するスコアの確率密度関数を定める（ステップＳ４０８）。ステップＳ４０８では、視界状態判定手段４３は、選択した点が対象物体である場合のスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）として、スコアの値が１に近づくほど関数値が大きくなり、スコア値が０に近づくほど関数値が小さくなり、確率密度関数全体の積分値が１となる関数を定める。また、視界状態判定手段４３は、選択した点が対象物体でない場合のスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）として、スコアの値が１に近づくほど関数値が小さくなり、スコア値が０に近づくほど関数値が大きくなり、確率密度関数全体の積分値が１となる関数を定める。

また、ステップＳ４０７の判定の結果、固定物体二値画像の画素の画素値が「固定物体の存在あり」を表す値であれば（ステップＳ４０７におけるＹｅｓ）、選択している点（ｘ，ｙ，ｚ）および第ｃの画像取得手段の組み合わせに対応するスコアｓｃ,ｘ,ｙ,ｚを取得する（ステップＳ４０９）。例えば、ステップＳ３においてスコア取得手段４２が各スコアを保持しておき、視界状態判定手段４３は、ステップＳ４０９において、選択している点および画像取得手段に対応するスコアｓｃ,ｘ,ｙ,ｚを読み込んでもよい。続いて、視界状態判定手段４３は、取得したスコアｓｃ,ｘ,ｙ,ｚが閾値ｔｈ以上であるか否かを判定する（ステップＳ４１０）。

ステップＳ４１０の判定の結果、スコアｓｃ,ｘ,ｙ,ｚが閾値ｔｈ以上であるならば（ステップＳ４１０のＹｅｓ）、視界状態判定手段４３は、選択した点が対象物体である場合、および、対象物体でない場合のスコアの確率密度関数として、それぞれ図６（ａ），（ｂ）に例示するスコアの確率密度関数を定める（ステップＳ４０８）。また、スコアｓｃ,ｘ,ｙ,ｚ が閾値ｔｈ未満であるならば（ステップＳ４１０のＮｏ）、視界状態判定手段４３は、選択した点が対象物体である場合、および、対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を定める（ステップＳ４０５）。

ステップＳ４０５またはステップＳ４０８の後、視界状態判定手段４３は、全ての画像取得手段について選択済みであるか否かを判定する（ステップＳ４１１）。選択されていない画像取得手段が残っていれば（ステップＳ４１１におけるＮｏ）、視界状態判定手段４３は、新たに画像選択手段を選択してステップＳ４０２以降の処理を繰り返す。このループ処理により、選択している点（ｘ，ｙ，ｚ）と各画像取得手段との組み合わせ毎のスコアの確率密度関数が決定される。

全ての画像取得手段について選択済みである場合（ステップＳ４１１におけるＹｅｓ）、視界状態判定手段４３は、実空間記憶手段５３に記憶される実空間の範囲内の全ての点を選択済みであるか否かを判定する（ステップＳ４１２）。選択されていない点が残っていれば（ステップＳ４１２におけるＮｏ）、視界状態判定手段４３は、新たに実空間内の点を選択し、ステップＳ４０１以降の処理を繰り返す。このループ処理により、実空間内の各点と各画像取得手段との組み合わせ毎のスコアの確率密度関数が決定される。実空間内の全ての点について選択済みであれば（ステップＳ４１２におけるＹｅｓ）、ステップＳ４を終了する。

ステップＳ４（図７参照）の後、存在確率算出手段４４は、実空間記憶手段５３に記憶される実空間の範囲内の点毎に、スコア取得手段４２が定めたスコアｓｃ,ｘ,ｙ,ｚと、視界状態判定手段４３が定めたスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１），ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）とを用いて、（ｘ，ｙ，ｚ）に対象物体が存在する事後確率、および（ｘ，ｙ，ｚ）に対象物体が存在しない事後確率を計算する（ステップＳ５）。

次に、推定用情報作成手段４５は、実空間のｘｙ平面における各点の座標（ｘ，ｙ）を選択する。そして、選択した位置に物体モデルを配置し、物体モデルが占める空間Ｍ（ｘ，ｙ）における物体情報を投票することによって、位置推定用情報ｖ（ｘ，ｙ）を計算する（ステップＳ６）。図１０は、ステップＳ６の処理経過の例を示すフローチャートである。図１０を参照してステップＳ６について説明する。

推定用情報作成手段４５は、実空間記憶手段５３に記憶される実空間の範囲内から一つの点（ｘ，ｙ，ｚ）を選択し、その点において、対象物体が存在する事後確率と、対象物体が存在しない事後確率とを比較し、対象物体が存在する事後確率が、対象物体が存在しない事後確率より大きいか否かを判定する。（ステップＳ６０１）。

対象物体が存在する事後確率が、対象物体が存在しない事後確率より大きい場合（ステップＳ６０１のＹｅｓ）、推定用情報作成手段４５は、選択した点に対象物体が存在すると判定し、選択した点の物体情報Ｖ（ｘ，ｙ，ｚ）の値を１とする（ステップＳ６０２）。また、対象物体が存在する事後確率が、対象物体が存在しない事後確率と等しいかもしくはそれ以下である場合（ステップＳ６０１のＮｏ）、推定用情報作成手段４５は、選択した点に対象物体が存在しないと判定し、選択した点の物体情報Ｖ（ｘ，ｙ，ｚ）の値を０とする（ステップＳ６０３）。

ステップＳ６０２またはステップＳ６０３の後、推定用情報作成手段４５は、実空間記憶手段５３に記憶される実空間の範囲内の全ての点について物体情報Ｖ（ｘ，ｙ，ｚ）を決定したか否かを判定する（ステップＳ６０４）。Ｖ（ｘ，ｙ，ｚ）を決定していない点があれば（ステップＳ６０４におけるＮｏ）、推定用情報作成手段４５は、未選択の点を選択し、ステップＳ６０１以降の処理を繰り返す。

全ての点についてＶ（ｘ，ｙ，ｚ）を決定しているならば（ステップＳ６０４におけるＹｅｓ）、推定用情報作成手段４５は、実空間のｘｙ平面の中から一つの点を選択し、その位置に物体モデルを配置する（ステップＳ６０５）。すなわち、選択した点の位置に物体モデルを配置したときに、その物体モデルが占める空間Ｍ（ｘ，ｙ）を特定する。

次に、推定用情報作成手段４５は、物体モデルが占める空間Ｍ（ｘ，ｙ）に属する各点の物体情報Ｖ（ｘ，ｙ，ｚ）を投票することによって、ｘｙ平面内の選択した位置における位置推定用情報ｖ（ｘ，ｙ）を計算する（ステップＳ６０６）。本例では、式（２）の計算を行うことによりｖ（ｘ，ｙ）を算出する。

次に、推定用情報作成手段４５は、実空間におけるｘｙ平面の各点についてｖ（ｘ，ｙ）を計算したか否かを判定する（ステップＳ６０７）。ｖ（ｘ，ｙ）を計算していない点があれば（ステップＳ６０７におけるＮｏ）、推定用情報作成手段４５は、ｘｙ平面から未選択の点を選択し、ステップＳ６０５以降の処理を繰り返す。また、ｖ（ｘ，ｙ）を計算していない点がなければ（ステップＳ６０７におけるＹｅｓ）、ステップＳ６（図７参照）の処理を終了する。

ステップＳ６により、実空間のｘｙ平面内の各点における位置推定用情報ｖ（ｘ，ｙ）が得られる。対象物体の存在位置に近いほどｖ（ｘ，ｙ）の値は大きくなるので、各点のｖ（ｘ，ｙ）から対象物体の存在位置を推定することができる。

また、図１０に示すフローチャートでは、物体情報Ｖ（ｘ，ｙ，ｚ）を投票することによって位置推定用情報ｖ（ｘ，ｙ）を算出する場合を示したが、推定用情報作成手段４５は、ステップＳ５で計算した、対象物体が存在する事後確率を投票することによって位置推定用情報ｖ（ｘ，ｙ）を算出してもよい。

本実施形態の物体位置推定用情報作成装置は、実空間の点を、画像取得手段に対応する物体領域画像や、対象物体を隠す固定物体の存在を表す固定物体二値画像に投影する。そして、その投影によって得られる情報を用いて、画像取得手段から実空間の点までの視界の状態を判定する。そして、視界を確実に確保できる場合における物体領域画像の情報を積極的に用いて実空間の点における物体の存在確率を求め、位置推定用情報を計算する。このような構成により、全ての画像取得手段の情報を用いなくても、視界が確保できる画像取得手段からの情報のみで位置推定用情報を作成でき、その位置推定用情報を位置推定に利用することができる。また、本発明の物体位置推定用情報作成装置が作成した位置推定用情報ｖ（ｘ，ｙ）を利用して位置推定を行うことができるので、全ての画像取得手段の視野が重なる領域だけでなく、一部の画像取得手段の視野が重なる領域における物体の位置推定が可能となり、位置推定可能な範囲を広げることができる。また、対象物体を隠す固定物体の存在を表す固定物体二値画像に投影し、その投影によって得られる情報を用いて、視界の状態を判定しているので、対象物体を隠す固定物体が存在していても、安定して位置推定用情報を作成することができる。

また、本発明において、ステップＳ２で定める物体領域画像の各画素の画素値として、物体の有無に応じた二値だけでなく、物体の存在確率に応じた中間値を扱うことができる。このため、処理の初期の段階（ステップＳ２）で、物体領域画像の画素値を物体の有無に応じた二値のいずれかに決定する必要がなく、実空間における物体の存在確率を求めるときに、各画像取得手段に対応する物体領域画像という多くの情報を用いて存在確率を決定することができ、精度の高い位置推定用情報を作成することができる。

実施形態２．
図１１は、本発明の第２の実施形態の物体位置推定用情報作成装置の例を示すブロック図である。第１の実施形態と同一の構成要素は、図１と同一の符号を付し、説明を省略する。第２の実施形態の物体位置推定用情報作成装置は、第１から第ｎまでの画像取得手段１ａ〜１ｎと、データ処理装置４と、情報を記憶する記憶装置５とを備える。

記憶装置５は、カメラパラメータ記憶手段５１と、隠れ情報記憶手段５２ａと、実空間記憶手段５３と、物体モデル記憶手段５４とを含む。カメラパラメータ記憶手段５１、実空間記憶手段５３および物体モデル記憶手段５４は、第１の実施形態と同様である。なお、本実施形態では、カメラパラメータ記憶手段５１は、実空間における各画像取得手段１ａ〜１ｎの三次元位置と撮影方向等の情報も記憶する。

隠れ情報記憶手段５２ａは、対象物体にオクルージョンを発生させる固定物体の存在情報を記憶する。本実施形態において、隠れ情報記憶手段５２ａは、固定物体の存在情報を、実空間において固定物体が占める三次元領域の情報（固定物体の三次元形状と位置）として予め記憶する。あるタイミングで固定物体が移動する場合、移動前後の固定物体の三次元形状および位置を隠れ情報記憶手段５２ａに記憶させておき、対象物体の画像が撮影された時刻に応じた固定物体の三次元形状および位置を参照できるようにしておけばよい。

固定物体の三次元形状および位置は、例えば、第１から第ｎまでの各画像取得手段が取得する画像から、図２（ｂ）に例示する固定物体二値画像を生成し、その各二値画像の視体積交差から固定物体の三次元形状および位置を計算することによって求めてもよい。そして、その固定物体の三次元形状および位置を隠れ情報記憶手段５２ａに記憶させてもよい。

データ処理装置２は、物体領域取得手段４１と、スコア取得手段４２と、視界情報判定手段４３ａと、存在確率算出手段４４と、推定用情報作成手段４５とを含む。物体領域取得手段４１、スコア取得手段４２、存在確率算出手段４４および推定用情報作成手段４５は、第１の実施形態と同様である。

本実施形態では、視界状態判定手段４３ａは、実空間の範囲内の各点（ｘ，ｙ，ｚ）と、各画像取得手段１ａ〜１ｎとの間に、隠れ情報記憶手段５２ａに記憶された情報が表す固定物体が存在しているか否かを判定する。

視界状態判定手段４３ａは、選択している画像取得手段が取得する画像における二次元座標から実空間内の三次元座標に変換するための変換パラメータを用いて、実空間における三次元座標を計算する。この計算を行うときに、視界状態判定手段４３ａは、実空間内におけるｚ座標を指定することによって、そのｚ座標を有する実空間内の三次元座標を計算することができる。視界状態判定手段４３ａは、実空間における画像取得手段の存在位置のｚ座標から選択した点のｚ座標まで、順にｚ座標を指定することにより、画像取得手段の存在位置から選択した点までの各座標値を計算する。そして、視界状態判定手段４３ａは、その各座標の中に、固定物体の内部に該当するものがあるか否かを判定すればよい。

また、視界状態判定手段４３ａは、選択した点を画像取得手段に対応した二次元座標に変換したときに、その二次元座標が示す位置が物体領域画像内であるか否かを示す情報を取得する。視界状態判定手段４３ａは、この情報として、例えばスコアを取得すればよい。スコア値が範囲外定数であれば、変換後の二次元座標の位置が物体領域画像外であると判定し、スコア値が範囲外定数でなければ、変換後の二次元座標の位置が物体領域画像内であると判定すればよい。

また、視界状態判定手段４３ａは、選択した点を画像取得手段に対応した二次元座標に変換して得られる二次元座標の位置が物体領域画像内であるか否かの判定結果と、画像取得手段から選択した点までの間に固定物体があるか否かの判定結果とを用いて、画像取得手段から実空間の点までの視界の状態を判定する。さらに視界状態判定手段４３ａは、この判定結果に基づいて、実空間内の点と画像取得手段との組み合わせ毎に、スコアｓｃ,ｘ,ｙ,ｚの確率密度関数を定める。本実施形態においても、実空間の点（ｘ，ｙ，ｚ）が対象物体である場合のスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）と、実空間の点（ｘ，ｙ，ｚ）が対象物体でない（非物体である）場合のスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）とを定める。

図１２は、第２の実施形態においてスコアの確率密度関数を定める態様を示す説明図である。図１２では、三次元空間を二次元で表現している。図１２に示す各点Ａ〜Ｄは実空間内の点であり、また、実空間には固定物体９５が存在するものとする。また、図１２では、物体領域画像９７を模式的に示している。図１２に斜線で示された範囲は、固定物体９５によって隠されるために、画像取得手段１ｃが撮影できない範囲である。

点Ａ（図１２参照）の三次元座標を、画像取得手段１ｃに対応する二次元座標に変換した場合、その二次元座標は物体領域画像の範囲外となっている。この場合、視界状態判定手段４３ａは、画像取得手段１ｃから点Ａを撮影できない（見ることができない）と判定する。すなわち、視界状態が良好でないと判定する。この場合、スコアｓｃ,ｘ,ｙ,ｚを用いても、点Ａが物体であるか非物体であるかを判定できないので、視界状態判定手段４３ａは、点Ａが対象物体である場合、および、非物体である場合のスコアの確率密度関数として、一様分布となる関数を定める。

点Ｂや点Ｃ（図１２参照）の三次元座標を、画像取得手段１ｃに対応する二次元座標に変換した場合、その二次元座標は物体領域画像の範囲内となっている。また、視界状態判定手段４３ａは、点Ｂ、点Ｃと、画像取得手段１ｃとの間に固定物体は存在しないと判定する。このように、二次元座標は物体領域画像の範囲内となり、点と画像取得手段１ｃとの間に固定物体が存在しないと判定した場合、視界状態判定手段４３ａは、画像取得手段１ｃからその点を撮影できる（見ることができる）と判定する。すなわち、視界状態が良好であると判定する。この場合、点Ｂについて求めたスコアｓｃ,ｘ,ｙ,ｚは有効に働く。このとき、視界状態判定手段４３ａは、その点が対象物体である場合におけるスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）を、スコアｓｃ,ｘ,ｙ,ｚが１に近づくほど関数値が大きくなり、スコアｓｃ,ｘ,ｙ,ｚが０に近づくほど関数値が小さくなる関数と定める。また、その点が対象物体でない場合におけるスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）を、スコアｓｃ,ｘ,ｙ,ｚが１に近づくほど関数値が小さくなり、スコアｓｃ,ｘ,ｙ,ｚが０に近づくほど関数値が大きくなる関数と定める。また、ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１），ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）は、いずれも全体の積分値が１となる関数とする。第１の実施形態と同様に、視界状態判定手段４３ａは、このような関数を学習により推定してもよい。あるいは、予め保持していてもよい。また、個々の画像取得手段の状況に応じて、スコアの確率密度関数を変形してもよい。

点Ｄ（図１２参照）の三次元座標を、画像取得手段１ｃに対応する二次元座標に変換した場合、その二次元座標は物体領域画像の範囲内となっている。また、視界状態判定手段４３ａは、点Ｄと画像取得手段１ｃとの間に固定物体が存在すると判定する。このように、二次元座標は物体領域画像の範囲内となり、点と画像取得手段１ｃとの間に固定物体が存在すると判定する場合、視界状態判定手段４３ａは、画像取得手段１ｃからその点を撮影できない（見ることができない）と判定する。すなわち、視界状態が良好でないと判定する。この場合、スコアｓｃ,ｘ,ｙ,ｚを用いても、点Ｄが物体であるのか非物体であるのかを判定できないので、視界状態判定手段４３ａは、その点が対象物体である場合、および、非物体である場合のスコアの確率密度関数として、一様分布となる関数を定める。
本実施形態においても、視界状態の判定結果に応じて、点が物体である場合、および非物体である場合のスコアの確率密度関数を決定するということは、画像取得手段１ｃから実空間の点への視界を確実に確保できるならばスコアを信頼して積極的に利用し、視界を確保できない場合には、物体／非物体の判断を、他の画像取得手段から得る情報に基づいて行うことになる。

次に、本実施形態の動作について説明する。
本実施形態の物体位置推定用情報作成装置も、図７に示すステップＳ１〜Ｓ６の処理を行う。ただし、ステップＳ４の処理経過が第１の実施形態と異なる。ステップＳ１〜Ｓ３およびステップＳ５，Ｓ６の動作は、第１の実施形態と同様であり、説明を省略する。

以下、第２の実施形態において視界状態を判定しスコアの確率密度関数を決定する処理（ステップＳ４）を説明する。図１３は、第２の実施形態におけるステップＳ４の処理経過の例を示すフローチャートである。

ステップＳ４において、視界状態判定手段４３ａは、実空間記憶手段５３に記憶される実空間の範囲内から一つの点を選択する（ステップＳ４６１）。選択した点を（ｘ，ｙ，ｚ）とする。次に、視界状態判定手段４３ａは、第１から第ｎまでの各画像取得手段１ａ〜１ｎの中から、一つの画像取得手段を選択する（ステップＳ４６２）。選択した画像取得手段を第ｃの画像取得手段とする。

次に、視界状態判定手段４３ａは、選択した実空間の範囲内の点（ｘ，ｙ，ｚ）を物体領域画像内に投影できるか否かを示す情報をスコア取得手段４２から取得する（ステップＳ４６３）。この情報は、選択した点を第ｃの画像取得手段に対応した二次元座標を変換したときに、その二次元座標が示す位置が物体領域画像内であるか否かを示す情報であり、視界状態判定手段４３ａは、この情報として例えばスコアを取得すればよい。

続いて、視界状態判定手段４３ａは、選択した点を第ｃの画像取得手段に対応した二次元座標を変換したときに、その二次元座標が示す位置が物体領域画像内となるか否かを、ステップＳ４６３で取得した情報を参照して判定する（ステップＳ４６４）。

選択した点の座標を変換した二次元座標が物体領域画像外となると判定すると（ステップＳ４６４におけるＮｏ）、視界状態判定手段４３ａは、点が対象物体である場合、およ
び、対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を定める（ステップＳ４６５）。

選択した点の座標を変換した二次元座標が物体領域画像内となると判定すると（ステップＳ４６４におけるＹｅｓ）、視界状態判定手段４３ａは、カメラパラメータ記憶手段５１に記憶されたカメラパラメータを用いて、選択した実空間の点（ｘ，ｙ，ｚ）と第ｃの画像取得手段との間に、固定物体が存在するか否かを探索する（ステップＳ４６６）。ステップＳ４６６において、視界状態判定手段４３ａは、選択している画像取得手段が取得する画像内の二次元座標から、実空間におけるｚ座標を指定して三次元空間内の座標に変換する。このとき、視界状態判定手段４３ａは、第ｃの画像取得手段から、選択した点（ｘ，ｙ，ｚ）までのｚ座標を順番に指定し、指定したｚ座標を有する実空間内の点を求め、その点が固定物体の内部にあるか否かを判定すればよい。

視界状態判定手段４３ａは、選択した実空間の点（ｘ，ｙ，ｚ）と第ｃの画像取得手段との間に固定物体が存在するか否かを判定し（ステップＳ４６６）、選択した点と第ｃの画像取得手段との間に固定物体が存在すると判定した場合（ステップＳ４６７におけるＹｅｓ）、選択した点が対象物体である場合、および、対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を定める（ステップＳ４６５）。

また、固定物体が存在しないと判定した場合（ステップＳ４６７におけるＮｏ）、視界状態判定手段４３ａは、選択した点が対象物体である場合、および、対象物体でない場合のスコアの確率密度関数として、それぞれ図６（ａ），（ｂ）に例示するスコアの確率密度関数を定める（ステップＳ４６８）。ステップＳ４６８では、視界状態判定手段４３ａは、選択した点が対象物体である場合のスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝１）として、スコアの値が１に近づくほど関数値が大きくなり、スコア値が０に近づくほど関数値が小さくなり、確率密度関数全体の積分値が１となる関数を定める。また、視界状態判定手段４３ａは、選択した点が対象物体でない場合のスコアの確率密度関数ｐ（ｓｃ,ｘ,ｙ,ｚ｜ωｘ,ｙ,ｚ＝０）として、スコアの値が１に近づくほど関数値が小さくなり、スコア値が０に近づくほど関数値が大きくなり、確率密度関数全体の積分値が１となる関数を定める。

ステップＳ４６８またはステップＳ４６５の後、視界状態判定手段４３ａは、全ての画像取得手段について選択済みであるか否かを判定する（ステップＳ４６９）。選択されていない画像取得手段が残っていれば（ステップＳ４６９におけるＮｏ）、視界状態判定手段４３ａは、新たに画像選択手段を選択してステップＳ４６２以降の処理を繰り返す。このループ処理により、選択している点（ｘ，ｙ，ｚ）と各画像取得手段との組み合わせ毎のスコアの確率密度関数が決定される。

全ての画像取得手段について選択済みである場合（ステップＳ４６９におけるＹｅｓ）、視界状態判定手段４３ａは、実空間記憶手段５３に記憶される実空間の範囲内の全ての点を選択済みであるか否かを判定する（ステップＳ４７０）。選択されていない点が残っていれば（ステップＳ４７０におけるＮｏ）、視界状態判定手段４３ａは、新たに実空間内の点を選択し、ステップＳ４６１以降の処理を繰り返す。このループ処理により、実空間内の各点と各画像取得手段との組み合わせ毎のスコアの確率密度関数が決定される。実空間内の全ての点について選択済みであれば（ステップＳ４７０におけるＹｅｓ）、ステップＳ４を終了する。

本実施形態によれば、隠れ情報記憶手段５２ａが実空間における固定物体の位置や形状を記憶しておき、視界状態判定手段４３ａが、画像取得手段と実空間の範囲内の点との間に固定物体が存在するか否かを判定する。そして、その判定結果に応じて定めたスコアの確率密度関数に基づいて、推定用情報作成４５が位置推定情報を算出する。本実施形態では、画像取得手段と実空間の範囲内の点との間に固定物体が存在するか否かを判定するので、隠れを発生させる固定物体が作る視体積部分において、視界の状態が確実にわかり、物体位置の推定精度を向上できる。例えば、図１２の点Ｃの位置に対象物体が存在しないと仮定する。その場合、第１の実施形態では、対象物体が存在しないのか、もしくは、対象物体が固定物体に隠れているのかの区別がつかず、物体領域画像から得られた小さなスコアが利用できなかった。第２の実施形態では、画像取得手段と実空間の範囲内の点との間に固定物体が存在しなければ、視界状態は良好であり、小さなスコアであっても有効に利用することができる。よって、第２の実施形態で求めた位置推定情報を用いた場合、より高い精度で対象物体の位置推定を行うことができる。

次に、上記の第１の実施形態および第２の実施形態の変形例を説明する。データ処理装置４が、位置推定用情報ｖ（ｘ，ｙ）を用いて、対象物体の位置を推定する処理を行ってもよい。図１４は、ｖ（ｘ，ｙ）を用いて対象物体の位置推定を行う場合の構成例を示すブロック図である。第１の実施形態と同様の構成要素については、図１と同一の符号を付加し説明を省略する。本例では、データ処理装置４は、物体領域取得手段４１、スコア取得手段４２、視界情報判定手段４３、存在確率算出手段４４および推定用情報作成手段４５に加え、さらに、位置推定手段４６を含む。

位置推定手段４６は、実空間のｘｙ平面内の点毎に計算された位置推定用情報ｖ（ｘ，ｙ）に基づいて、ｘｙ平面のどの位置に対象物体が存在するかを推定する。すなわち、対象物体が存在する位置のｘ，ｙ座標を推定する。

推定用情報作成手段４５は、ｘｙ平面の各点毎に物体モデルを配置し、その物体モデルが占める空間内の物体情報Ｖ（ｘ，ｙ，ｚ）または物体が存在する事後確率を投票することによって、個々の点におけるｖ（ｘ，ｙ）を算出する。従って、座標（ｘ，ｙ）が物体の存在位置に近いほど、ｖ（ｘ，ｙ）の値も大きくなる。

従って、位置推定手段４６は、ｖ（ｘ，ｙ）の値の大きさに基づいて対象物体の位置推定を行えばよい。例えば、位置推定手段４６は、ｖ（ｘ，ｙ）が最大となる座標（ｘ，ｙ）を特定し、その位置に対象物体が存在すると推定してもよい。

あるいは、以下のように、対象物体の位置を推定してもよい。位置推定手段４６は、ｖ（ｘ，ｙ）の値が予め定めた閾値以上となっている範囲に基づいてラベリングを行う。ラベリングとは、一つの対象物体に対応する範囲を確定することである。位置推定手段４６は、ラベリングにより定めた範囲毎に、その範囲の重心位置に対象物体が存在すると推定する。例えば、位置推定手段４６が、ｖ（ｘ，ｙ）の値が閾値以上となる範囲に基づいて、ラベリングにより図１５に例示する範囲７１を特定したとする。この場合、位置推定手段４６は、範囲７１の重心位置を計算し、その位置に対象物体が推定すると判定すればよい。

ラベリングによって確定される範囲は一つとは限らず、図１６に例示するように複数の範囲７２，７３等が定められることもある。その場合、位置推定手段４６は、ラベリングで定めた各範囲７２，７３毎に別々に重心計算を行って、対象物体の存在位置を複数個推定すればよい。

位置推定手段４６を備えることにより、位置推定用情報ｖ（ｘ，ｙ）を算出した後、対象物体がどの位置に存在するかを具体的に推定することもできる。よって、本構成例は、物体位置推定装置と称することもできる。なお、図１４では、第１の実施形態に位置推定手段４６を追加した構成を示しているが、第２の実施形態に位置推定手段４６を追加した構成であってもよい。

図１７は、本発明の具体的な構成例を示すブロック図である。本発明の物体位置推定用情報作成装置は、図１７に示すように、第１から第ｎまでの各画像取得手段１ａ〜１ｎと、コンピュータ１００と、記憶装置５とを備える。

コンピュータ１００には、各画像取得手段１ａ〜１ｎ、記憶装置５、コンピュータ可読媒体８２が接続される。

記憶装置５は、各実施形態で示したように、カメラパラメータ記憶手段５１と、隠れ情報記憶手段５２（または隠れ情報記憶手段５２ａ）と、実空間記憶手段５３と、物体モデル記憶手段５４と含む。

コンピュータ可読媒体８２は、例えば磁気ディスクや半導体メモリ等の記憶装置であり、物体位置推定用情報作成プログラム８１を記憶する。

コンピュータ１００は、例えば起動時にコンピュータ可読媒体８２から物体位置推定用情報作成プログラム８１を読み取り、物体位置推定用情報作成プログラム８１に従って、各実施形態で示したデータ処理装置４として動作する。すなわち、コンピュータ１００は、物体位置推定用情報作成プログラム８１に従い、物体領域取得手段４１、スコア取得手段４２、視界情報判定手段４３（または視界情報判定手段４３ａ）、存在確率算出手段４４および推定用情報作成手段４５として動作する。さらに、コンピュータ１００がプログラムに従って位置推定手段４６（図１４参照）として動作してもよい。

このように、物体領域取得手段４１、スコア取得手段４２、視界情報判定手段４３（または視界情報判定手段４３ａ）、存在確率算出手段４４、推定用情報作成手段４５、位置推定手段４６は、プログラムに従って動作するコンピュータ１００によって実現されていてもよい。

また、各手段がそれぞれ別々の専用回路によって実現されていてもよい。

次に、本発明の最小構成を説明する。図１８は、本発明の最小構成を示すブロック図である。本発明の物体位置推定用情報作成装置は、物体領域画像作成手段６１と、スコア決定手段６２と、視界状態判定手段６３と、存在確率算出手段６４と、推定用情報作成手段６５とを備える。

物体領域画像作成手段６１（例えば物体領域取得手段４１）は、複数の画像取得手段（例えば画像取得手段１ａ〜１ｎ）がそれぞれ取得した各画像から、その画像内で対象物体を表した領域を示す物体領域画像を作成する。

スコア決定手段６２（例えばスコア取得手段４２）は、複数の画像取得手段がそれぞれ取得した各画像内で実空間内の点がどの程度位置推定の対象となる対象物体らしく表されているかを示すスコアを、物体領域画像を参照することによって、画像取得手段と実空間内の点との組み合わせ毎に定める。

視界状態判定手段６３（例えば視界状態判定手段４３，４３ａ）は、画像取得手段に対して対象物体を隠す非対象物体（例えば固定物体）がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得手段から実空間内の各点までの視界状態を判定し、視界状態の判定結果に応じて、画像取得手段と実空間内の点との組み合わせ毎の、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数を決定する。

存在確率算出手段６４（例えば存在確率算出手段４４）は、画像取得手段から実空間内の点までの視界状態の判定結果に応じたスコアの確率密度関数を統合して（例えば式（１）の計算を行うことによって）実空間内の点に対象物体が存在している存在確率を求める。

推定用情報作成手段６５は、存在確率算出手段６４が実空間内の各点について求めた存在確率に基づいて、実空間内の所定平面（例えばｘｙ平面）に対して所定の高さに配置されていることが既知である対象物体が所定平面のどの位置に存在するかを推定するための位置推定用情報（例えばｖ（ｘ，ｙ））を、所定平面の各点毎に作成する。

そのような構成により、物体位置の推定可能な範囲を広げるとともに物体位置の推定精度を保つように、物体の位置推定用情報を作成することができる。また、対象物体を隠してしまう非対象物体が存在していたとしても、広い範囲で高精度に対象物体の位置推定を行うための位置推定用情報を作成することができる。

また、前述の実施形態には、視界状態判定手段６３が、画像取得手段が取得する画像内で非対象物体を表す領域の画素値が第１の画素値とされ、その領域以外の領域の画素値が第２の画素値とされた二値画像である非対象物体二値画像（例えば固定物体二値画像）を非対象物体存在情報として用いて、各画像取得手段から実空間内の各点までの視界状態を判定する構成が開示されている。

また、前述の実施形態には、視界状態判定手段６３が、実空間内の点を画像取得手段に対応する二次元座標に変換し、変換後の座標が非対象物体二値画像の範囲外である場合、画像取得手段から実空間内の点に対する視界状態が良好でないと判定し、変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、画像取得手段から実空間内の点に対する視界状態が良好であると判定し、変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、画像取得手段と実空間内の点との組み合わせにおけるスコアが閾値以上である場合、画像取得手段から実空間内の点に対する視界状態が良好であると判定し、変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、画像取得手段と実空間内の点との組み合わせにおけるスコアが閾値未満である場合、画像取得手段から実空間内の点に対する視界状態が不明であると判定する構成が開示されている。

また、前述の実施形態には、物体領域画像作成手段６１が、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、スコア決定手段６２が、物体領域画像を参照して０〜１の範囲のスコアを決定し、視界状態判定手段６３が、画像取得手段から実空間内の点に対する視界状態が良好であると判定した場合、画像取得手段と実空間内の点との組み合わせに関して、点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、画像取得手段から実空間内の点に対する視界状態が良好でないと判定した場合または視界状態が不明であると判定した場合に、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定する構成が開示されている。

また、前述の実施形態には、視界状態判定手段６３が、実空間内で非対象物体が占める三次元領域の情報を非対象物体存在情報として用いて、各画像取得手段から実空間内の各点までの視界状態を判定する構成が開示されている。

また、前述の実施形態には、視界状態判定手段６３が、実空間内の点を画像取得手段に対応する二次元座標に変換し、変換後の座標が画像取得手段に対応する物体領域画像の範囲外である場合、画像取得手段から実空間内の点に対する視界状態が良好でないと判定し、変換後の座標が画像取得手段に対応する物体領域画像の範囲内であり、画像取得手段と実空間内の点との間に非対象物体が存在しない場合、画像取得手段から実空間内の点に対する視界状態が良好であると判定し、変換後の座標が画像取得手段に対応する物体領域画像の範囲内であり、画像取得手段と実空間内の点との間に非対象物体が存在する場合、画像取得手段から実空間内の点に対する視界状態が良好でないと判定する構成が開示されている。

また、前述の実施形態には、物体領域画像作成手段６１が、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、スコア決定手段６２が、物体領域画像を参照して０〜１の範囲のスコアを決定し、視界状態判定手段６３が、画像取得手段から実空間内の点に対する視界状態が良好であると判定した場合、その画像取得手段と実空間内のその点との組み合わせに関して、その点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、その点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、画像取得手段から実空間内の点に対する視界状態が良好でないと判定した場合に、その点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定する構成が開示されている。

また、前述の実施形態には、物体領域画像作成手段６１が、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、スコア決定手段６２が、物体領域画像を参照して０〜１の範囲のスコアを決定し、視界状態判定手段６３が、実空間内の点を画像取得手段に対応する二次元座標に変換し、変換後の座標が非対象物体二値画像の範囲外である場合、その画像取得手段と実空間内のその点との組み合わせに関して、その点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定し、変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、画像取得手段と実空間内のその点との組み合わせに関して、その点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、その点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当する場合、その画像取得手段と実空間内のその点との組み合わせに関して、その点が対象物体である場合のスコアの確率密度関数として、関数値の変化幅がスコア決定手段に決定されたスコアに応じた変化幅でありスコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、その点が対象物体でない場合のスコアの確率密度関数として、関数値の変化幅がスコア決定手段に決定されたスコアに応じた変化幅でありスコアが０に近づくほど関数値が大きくなる確率密度関数を決定する構成が開示されている。

また、前述の実施形態には、存在確率算出手段６４が、画像取得手段と実空間内の点との組み合わせ毎に決定されたスコアと、点に対象物体が存在する場合のスコアの確率密度関数と、点に対象物体が存在しない場合のスコアの確率密度関数とから、実空間内の点毎に、対象物体が存在する事後確率と、対象物体が存在しない事後確率とを計算し、推定用情報作成手段６５が、存在確率算出手段が計算した事後確率を用いて位置推定用情報を作成する構成が開示されている。

また、前述の実施形態には、推定用情報作成手段６５が、実空間内の点毎に、対象物体が存在する事後確率と対象物体が存在しない事後確率とを比較し、対象物体が存在する事後確率の方が大きいという条件を満たしていれば、実空間内の点における対象物体の有無判定結果を示す物体情報として物体ありを意味する所定値を定め（例えばＶ（ｘ，ｙ，ｚ）の値を１とし）、その条件を満たしていなければ物体情報として０を定め（例えばＶ（ｘ，ｙ，ｚ）の値を０とし）、実空間内の所定平面の点毎に、その点に対象物体が位置する場合における対象物体が占める領域と特定し、その領域内の各点の物体情報を加算することにより位置推定用情報を作成する構成が開示されている。

また、前述の実施形態には、物体領域画像作成手段６１が、画像取得手段が取得した画像の画素に物体が存在する確率を０〜１の範囲で計算し、画像取得手段が取得した画像の各画素に対応する物体領域画像の各画素の画素値をその確率の値と定めることにより物体領域画像を作成する構成が開示されている。

また、前述の実施形態には、スコア決定手段６２が、実空間内の点を画像取得手段に対応する二次元座標に変換し、変換後の座標が物体領域画像の範囲内に該当する場合、変換後の座標が示す物体領域画像の画素の画素値を、実空間内の点および画像取得手段の組み合わせにおけるスコアと定め、変換後の座標が物体領域画像の範囲外に該当する場合、実空間内の点が画像取得手段の視野外であることを示す固定値を、実空間内の点および画像取得手段の組み合わせにおけるスコアと定める構成が開示されている。

また、前述の実施形態には、実空間内の所定平面の各点毎に作成された位置推定用情報を用いて、対象物体が所定平面のどの位置に存在するかを推定する位置推定手段（例えば位置推定手段４６）を備える構成が開示されている。

この出願は、２００９年３月４日に出願された日本出願特願２００９−０５１１７３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）複数の画像取得部がそれぞれ取得した各画像から、前記画像内で対象物体を表した領域を示す物体領域画像を作成する物体領域画像作成部と、
複数の画像取得部がそれぞれ取得した各画像内で実空間内の点がどの程度位置推定の対象となる対象物体らしく表されているかを示すスコアを、物体領域画像を参照することによって、画像取得部と実空間内の点との組み合わせ毎に定めるスコア決定部と、
画像取得部に対して対象物体を隠す非対象物体がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得部から実空間内の各点までの視界状態を判定し、視界状態の判定結果に応じて、画像取得部と実空間内の点との組み合わせ毎の、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数を決定する視界状態判定部と、
画像取得部から実空間内の点までの視界状態の判定結果に応じた前記確率密度関数を統合して実空間内の点に対象物体が存在している存在確率を求める存在確率算出部と、
存在確率算出部が実空間内の各点について求めた存在確率に基づいて、実空間内の所定平面に対して所定の高さに配置されていることが既知である対象物体が前記所定平面のどの位置に存在するかを推定するための位置推定用情報を、前記所定平面の各点毎に作成する推定用情報作成部とを備える
ことを特徴とする物体位置推定用情報作成装置。

（付記２）視界状態判定部は、画像取得部が取得する画像内で非対象物体を表す領域の画素値が第１の画素値とされ、前記領域以外の領域の画素値が第２の画素値とされた二値画像である非対象物体二値画像を非対象物体存在情報として用いて、各画像取得部から実空間内の各点までの視界状態を判定する
付記１に記載の物体位置推定用情報作成装置。

（付記３）視界状態判定部は、
実空間内の点を画像取得部に対応する二次元座標に変換し、
変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得部から実空間内の前記点に対する視界状態が良好でないと判定し、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得部から実空間内の前記点に対する視界状態が良好であると判定し、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得部と実空間内の前記点との組み合わせにおけるスコアが閾値以上である場合、前記画像取得部から実空間内の前記点に対する視界状態が良好であると判定し、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得部と実空間内の前記点との組み合わせにおけるスコアが閾値未満である場合、前記画像取得部から実空間内の前記点に対する視界状態が不明であると判定する
付記２に記載の物体位置推定用情報作成装置。

（付記４）物体領域画像作成部は、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
スコア決定部は、前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
視界状態判定部は、
画像取得部から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得部と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
画像取得部から実空間内の点に対する視界状態が良好でないと判定した場合または視界状態が不明であると判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定する
付記３に記載の物体位置推定用情報作成装置。

（付記５）視界状態判定部は、実空間内で非対象物体が占める三次元領域の情報を非対象物体存在情報として用いて、各画像取得部から実空間内の各点までの視界状態を判定する
付記１に記載の物体位置推定用情報作成装置。

（付記６）視界状態判定部は、
実空間内の点を画像取得部に対応する二次元座標に変換し、
変換後の座標が画像取得部に対応する物体領域画像の範囲外である場合、前記画像取得部から実空間内の前記点に対する視界状態が良好でないと判定し、
変換後の座標が画像取得部に対応する物体領域画像の範囲内であり、前記画像取得部と実空間内の前記点との間に非対象物体が存在しない場合、前記画像取得部から実空間内の前記点に対する視界状態が良好であると判定し、
変換後の座標が画像取得部に対応する物体領域画像の範囲内であり、前記画像取得部と実空間内の前記点との間に非対象物体が存在する場合、前記画像取得部から実空間内の前記点に対する視界状態が良好でないと判定する
付記５に記載の物体位置推定用情報作成装置。

（付記７）物体領域画像作成部は、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
スコア決定部は、前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
視界状態判定部は、
画像取得部から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得部と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
画像取得部から実空間内の点に対する視界状態が良好でないと判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定する
付記６に記載の物体位置推定用情報作成装置。

（付記８）物体領域画像作成部は、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
スコア決定部は、前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
視界状態判定部は、
実空間内の点を画像取得部に対応する二次元座標に変換し、
変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得部と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定し、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得部と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当する場合、
前記画像取得部と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、関数値の変化幅がスコア決定部に決定されたスコアに応じた変化幅でありスコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、関数値の変化幅がスコア決定部に決定されたスコアに応じた変化幅でありスコアが０に近づくほど関数値が大きくなる確率密度関数を決定する
付記２に記載の物体位置推定用情報作成装置。

（付記９）存在確率算出部は、画像取得部と実空間内の点との組み合わせ毎に決定されたスコアと、点に対象物体が存在する場合のスコアの確率密度関数と、点に対象物体が存在しない場合のスコアの確率密度関数とから、実空間内の点毎に、対象物体が存在する事後確率と、対象物体が存在しない事後確率とを計算し、
推定用情報作成部は、存在確率算出部が計算した事後確率を用いて位置推定用情報を作成する
付記８に記載の物体位置推定用情報作成装置。

（付記１０）推定用情報作成部は、
実空間内の点毎に、対象物体が存在する事後確率と対象物体が存在しない事後確率とを比較し、対象物体が存在する事後確率の方が大きいという条件を満たしていれば、実空間内の点における対象物体の有無判定結果を示す物体情報として物体ありを意味する所定値を定め、前記条件を満たしていなければ物体情報として０を定め、
実空間内の所定平面の点毎に、当該点に対象物体が位置する場合における当該対象物体が占める領域と特定し、当該領域内の各点の物体情報を加算することにより位置推定用情報を作成する
付記９に記載の物体位置推定用情報作成装置。

（付記１１）物体領域画像作成部は、画像取得部が取得した画像の画素に物体が存在する確率を０〜１の範囲で計算し、画像取得部が取得した画像の各画素に対応する物体領域画像の各画素の画素値を前記確率の値と定めることにより物体領域画像を作成する
付記１に記載の物体位置推定用情報作成装置。

（付記１２）スコア決定部は、実空間内の点を画像取得部に対応する二次元座標に変換し、変換後の座標が物体領域画像の範囲内に該当する場合、当該変換後の座標が示す物体領域画像の画素の画素値を、実空間内の前記点および前記画像取得部の組み合わせにおけるスコアと定め、変換後の座標が物体領域画像の範囲外に該当する場合、実空間内の点が画像取得部の視野外であることを示す固定値を、実空間内の前記点および前記画像取得部の組み合わせにおけるスコアと定める
付記１に記載の物体位置推定用情報作成装置。

（付記１３）実空間内の所定平面の各点毎に作成された位置推定用情報を用いて、対象物体が前記所定平面のどの位置に存在するかを推定する位置推定部を備える
付記１に記載の物体位置推定用情報作成装置。

（付記１４）複数の画像取得部がそれぞれ取得した各画像から、前記画像内で対象物体を表した領域を示す物体領域画像を作成し、
複数の画像取得部がそれぞれ取得した各画像内で実空間内の点がどの程度位置推定の対象となる対象物体らしく表されているかを示すスコアを、物体領域画像を参照することによって、画像取得部と実空間内の点との組み合わせ毎に定め、
画像取得部に対して対象物体を隠す非対象物体がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得部から実空間内の各点までの視界状態を判定し、視界状態の判定結果に応じて、画像取得部と実空間内の点との組み合わせ毎の、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数を決定し、
画像取得部から実空間内の点までの視界状態の判定結果に応じた前記確率密度関数を統合して実空間内の点に対象物体が存在している存在確率を求め、
実空間内の各点について求めた存在確率に基づいて、実空間内の所定平面に対して所定の高さに配置されていることが既知である対象物体が前記所定平面のどの位置に存在するかを推定するための位置推定用情報を、前記所定平面の各点毎に作成する
ことを特徴とする物体位置推定用情報作成方法。

（付記１５）画像取得部が取得する画像内で非対象物体を表す領域の画素値が第１の画素値とされ、前記領域以外の領域の画素値が第２の画素値とされた二値画像である非対象物体二値画像を非対象物体存在情報として用いて、各画像取得部から実空間内の各点までの視界状態を判定する
付記１４に記載の物体位置推定用情報作成方法。

（付記１６）視界状態を判定を判定するときに、
実空間内の点を画像取得部に対応する二次元座標に変換し、
変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得部から実空間内の前記点に対する視界状態が良好でないと判定し、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得部から実空間内の前記点に対する視界状態が良好であると判定し、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得部と実空間内の前記点との組み合わせにおけるスコアが閾値以上である場合、前記画像取得部から実空間内の前記点に対する視界状態が良好であると判定し、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得部と実空間内の前記点との組み合わせにおけるスコアが閾値未満である場合、前記画像取得部から実空間内の前記点に対する視界状態が不明であると判定する
付記１５に記載の物体位置推定用情報作成方法。

（付記１７）各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
画像取得部から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得部と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
画像取得部から実空間内の点に対する視界状態が良好でないと判定した場合または視界状態が不明であると判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定する
付記１６に記載の物体位置推定用情報作成方法。

（付記１８）実空間内で非対象物体が占める三次元領域の情報を非対象物体存在情報として用いて、各画像取得部から実空間内の各点までの視界状態を判定する
付記１４に記載の物体位置推定用情報作成方法。

（付記１９）視界状態を判定を判定するときに、
実空間内の点を画像取得部に対応する二次元座標に変換し、
変換後の座標が画像取得部に対応する物体領域画像の範囲外である場合、前記画像取得部から実空間内の前記点に対する視界状態が良好でないと判定し、
変換後の座標が画像取得部に対応する物体領域画像の範囲内であり、前記画像取得部と実空間内の前記点との間に非対象物体が存在しない場合、前記画像取得部から実空間内の前記点に対する視界状態が良好であると判定し、
変換後の座標が画像取得部に対応する物体領域画像の範囲内であり、前記画像取得部と実空間内の前記点との間に非対象物体が存在する場合、前記画像取得部から実空間内の前記点に対する視界状態が良好でないと判定する
付記１８に記載の物体位置推定用情報作成方法。

（付記２０）各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
画像取得部から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得部と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
画像取得部から実空間内の点に対する視界状態が良好でないと判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定する
付記１９に記載の物体位置推定用情報作成方法。

（付記２１）各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
実空間内の点を画像取得部に対応する二次元座標に変換し、
変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得部と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定し、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得部と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当する場合、
前記画像取得部と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、関数値の変化幅が決定したスコアに応じた変化幅でありスコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、関数値の変化幅が決定したスコアに応じた変化幅でありスコアが０に近づくほど関数値が大きくなる確率密度関数を決定する
付記１５に記載の物体位置推定用情報作成方法。

（付記２２）実空間内の点に対象物体が存在している存在確率を求めるときに、
画像取得部と実空間内の点との組み合わせ毎に決定されたスコアと、点に対象物体が存在する場合のスコアの確率密度関数と、点に対象物体が存在しない場合のスコアの確率密度関数とから、実空間内の点毎に、対象物体が存在する事後確率と、対象物体が存在しない事後確率とを計算し、
対象物体が存在する事後確率と対象物体が存在しない事後確率とを用いて位置推定用情報を作成する
付記２１に記載の物体位置推定用情報作成方法。

（付記２３）実空間内の点毎に、対象物体が存在する事後確率と対象物体が存在しない事後確率とを比較し、対象物体が存在する事後確率の方が大きいという条件を満たしていれば、実空間内の点における対象物体の有無判定結果を示す物体情報として物体ありを意味する所定値を定め、前記条件を満たしていなければ物体情報として０を定め、
実空間内の所定平面の点毎に、当該点に対象物体が位置する場合における当該対象物体が占める領域と特定し、当該領域内の各点の物体情報を加算することにより位置推定用情報を作成する
付記２２に記載の物体位置推定用情報作成方法。

（付記２４）画像取得部が取得した画像の画素に物体が存在する確率を０〜１の範囲で計算し、画像取得部が取得した画像の各画素に対応する物体領域画像の各画素の画素値を前記確率の値と定めることにより物体領域画像を作成する
付記１４に記載の物体位置推定用情報作成方法。

（付記２５）実空間内の点を画像取得部に対応する二次元座標に変換し、変換後の座標が物体領域画像の範囲内に該当する場合、当該変換後の座標が示す物体領域画像の画素の画素値を、実空間内の前記点および前記画像取得部の組み合わせにおけるスコアと定め、変換後の座標が物体領域画像の範囲外に該当する場合、実空間内の点が画像取得部の視野外であることを示す固定値を、実空間内の前記点および前記画像取得部の組み合わせにおけるスコアと定める
付記１４に記載の物体位置推定用情報作成方法。

（付記２６）実空間内の所定平面の各点毎に作成された位置推定用情報を用いて、対象物体が前記所定平面のどの位置に存在するかを推定する
付記１４に記載の物体位置推定用情報作成方法。

（付記２７）コンピュータに、
複数の画像取得部がそれぞれ取得した各画像から、前記画像内で対象物体を表した領域を示す物体領域画像を作成する物体領域画像作成処理、
複数の画像取得部がそれぞれ取得した各画像内で実空間内の点がどの程度位置推定の対象となる対象物体らしく表されているかを示すスコアを、物体領域画像を参照することによって、画像取得部と実空間内の点との組み合わせ毎に定めるスコア決定処理、
画像取得部に対して対象物体を隠す非対象物体がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得部から実空間内の各点までの視界状態を判定し、視界状態の判定結果に応じて、画像取得部と実空間内の点との組み合わせ毎の、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数を決定する視界状態判定処理、
画像取得部から実空間内の点までの視界状態の判定結果に応じた前記確率密度関数を統合して実空間内の点に対象物体が存在している存在確率を求める存在確率算出処理、および、
存在確率算出処理で実空間内の各点について求めた存在確率に基づいて、実空間内の所定平面に対して所定の高さに配置されていることが既知である対象物体が前記所定平面のどの位置に存在するかを推定するための位置推定用情報を、前記所定平面の各点毎に作成する推定用情報作成処理
を実行させるための物体位置推定用情報作成プログラム。

（付記２８）コンピュータに、
視界状態判定処理で、画像取得部が取得する画像内で非対象物体を表す領域の画素値が第１の画素値とされ、前記領域以外の領域の画素値が第２の画素値とされた二値画像である非対象物体二値画像を非対象物体存在情報として用いて、各画像取得部から実空間内の各点までの視界状態を判定させる
付記２７に記載の物体位置推定用情報作成プログラム。

（付記２９）コンピュータに、
視界状態判定処理で、
実空間内の点を画像取得部に対応する二次元座標に変換させ、
変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得部から実空間内の前記点に対する視界状態が良好でないと判定させ、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得部から実空間内の前記点をに対する視界状態が良好であると判定させ、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得部と実空間内の前記点との組み合わせにおけるスコアが閾値以上である場合、前記画像取得部から実空間内の前記点に対する視界状態が良好であると判定させ、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得部と実空間内の前記点との組み合わせにおけるスコアが閾値未満である場合、前記画像取得部から実空間内の前記点に対する視界状態が不明であると判定させる
付記２８に記載の物体位置推定用情報作成プログラム。

（付記３０）コンピュータに、
物体領域画像作成処理で、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成させ、
スコア決定処理で、前記物体領域画像を参照して０〜１の範囲のスコアを決定させ、
視界状態判定処理で、
画像取得部から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得部と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定させ、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定させ、
画像取得部から実空間内の点に対する視界状態が良好でないと判定した場合または視界状態が不明であると判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定させる
付記２９に記載の物体位置推定用情報作成プログラム。

（付記３１）コンピュータに、
視界状態判定処理で、実空間内で非対象物体が占める三次元領域の情報を非対象物体存在情報として用いて、各画像取得部から実空間内の各点までの視界状態を判定させる
付記２７に記載の物体位置推定用情報作成プログラム。

（付記３２）コンピュータに、
視界状態判定処理で、
実空間内の点を画像取得部に対応する二次元座標に変換させ、
変換後の座標が画像取得部に対応する物体領域画像の範囲外である場合、前記画像取得部から実空間内の前記点に対する視界状態が良好でないと判定させ、
変換後の座標が画像取得部に対応する物体領域画像の範囲内であり、前記画像取得部と実空間内の前記点との間に非対象物体が存在しない場合、前記画像取得部から実空間内の前記点に対する視界状態が良好であると判定させ、
変換後の座標が画像取得部に対応する物体領域画像の範囲内であり、前記画像取得部と実空間内の前記点との間に非対象物体が存在する場合、前記画像取得部から実空間内の前記点に対する視界状態が良好でないと判定させる
付記３１に記載の物体位置推定用情報作成プログラム。

（付記３３）コンピュータに、
物体領域画像作成処理で、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成させ、
スコア決定処理で、前記物体領域画像を参照して０〜１の範囲のスコアを決定させ、
視界状態判定処理で、
画像取得部から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得部と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定させ、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定させ、
画像取得部から実空間内の点に対する視界状態が良好でないと判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定させる
付記３２に記載の物体位置推定用情報作成プログラム。

（付記３４）コンピュータに、
物体領域画像作成処理で、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成させ、
スコア決定処理で、前記物体領域画像を参照して０〜１の範囲のスコアを決定させ、
視界状態判定処理で、
実空間内の点を画像取得部に対応する二次元座標に変換させ、
変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得部と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定させ、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得部と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定させ、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定させ、
変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当する場合、前記画像取得部と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、関数値の変化幅がスコア決定処理で決定したスコアに応じた変化幅でありスコアが１に近づくほど関数値が大きくなる確率密度関数を決定させ、前記点が対象物体でない場合のスコアの確率密度関数として、関数値の変化幅がスコア決定処理で決定したスコアに応じた変化幅でありスコアが０に近づくほど関数値が大きくなる確率密度関数を決定させる
付記２８に記載の物体位置推定用情報作成プログラム。

（付記３５）コンピュータに、
存在確率算出処理で、画像取得部と実空間内の点との組み合わせ毎に決定されたスコアと、点に対象物体が存在する場合のスコアの確率密度関数と、点に対象物体が存在しない場合のスコアの確率密度関数とから、実空間内の点毎に、対象物体が存在する事後確率と、対象物体が存在しない事後確率とを計算させ、
推定用情報作成処理で、存在確率算出処理で計算した事後確率を用いて位置推定用情報を作成させる
付記３４に記載の物体位置推定用情報作成プログラム。

（付記３６）コンピュータに、
推定用情報作成処理で、
実空間内の点毎に、対象物体が存在する事後確率と対象物体が存在しない事後確率とを比較させ、対象物体が存在する事後確率の方が大きいという条件を満たしていれば、実空間内の点における対象物体の有無判定結果を示す物体情報として物体ありを意味する所定値を定めさせ、前記条件を満たしていなければ物体情報として０を定めさせ、
実空間内の所定平面の点毎に、当該点に対象物体が位置する場合における当該対象物体が占める領域と特定し、当該領域内の各点の物体情報を加算することにより位置推定用情報を作成させる
付記３５に記載の物体位置推定用情報作成プログラム。

（付記３７）コンピュータに、
物体領域画像作成処理で、画像取得部が取得した画像の画素に物体が存在する確率を０〜１の範囲で計算させ、画像取得部が取得した画像の各画素に対応する物体領域画像の各画素の画素値を前記確率の値と定めることにより物体領域画像を作成させる
付記２７に記載の物体位置推定用情報作成プログラム。

（付記３８）コンピュータに、
スコア決定処理で、実空間内の点を画像取得部に対応する二次元座標に変換させ、変換後の座標が物体領域画像の範囲内に該当する場合、当該変換後の座標が示す物体領域画像の画素の画素値を、実空間内の前記点および前記画像取得部の組み合わせにおけるスコアと定めさせ、変換後の座標が物体領域画像の範囲外に該当する場合、実空間内の点が画像取得部の視野外であることを示す固定値を、実空間内の前記点および前記画像取得部の組み合わせにおけるスコアと定めさせる
付記２７に記載の物体位置推定用情報作成プログラム。

（付記３９）コンピュータに、
実空間内の所定平面の各点毎に作成された位置推定用情報を用いて、対象物体が前記所定平面のどの位置に存在するかを推定する位置推定処理を実行させる
付記２７に記載の物体位置推定用情報作成プロ
グラム。

本発明によれば、複数の画像から物体の位置を推定するための情報を作成する物体位置推定用情報作成装置や、その情報を用いて物体位置を推定する物体位置推定装置に好適に適用可能である。また、カメラや蓄積画像から物体位置を推定する必要がある監視分野に適用可能である。例えば、侵入者検出、不審者検出、不審物の置き去り検出、荷物の持ち去り検出、ゲートの共連れ検出、混雑及び行列検出に適用できる。また、カメラや蓄積画像から物体位置を推定してその位置情報を装置に入力する入力インタフェースに適用できる。また、物体の位置を推定し、その位置情報をトリガ・キーとするビデオ／映像検索装置等に適用可能である。

１ａ〜１ｎ 画像取得手段
４ 記憶装置
５ データ処理装置
４１ 物体領域取得手段
４２ スコア取得手段
４３ 視界状態判定手段
４４ 存在確率算出手段
４５ 推定用情報作成手段
５１ カメラパラメータ記憶手段
５２ 隠れ情報記憶手段
５３ 実空間記憶手段
５４ 物体モデル記憶手段

Claims (39)

1. 複数の画像取得手段がそれぞれ取得した各画像から、前記画像内で対象物体を表した領域を示す物体領域画像を作成する物体領域画像作成手段と、
   複数の画像取得手段がそれぞれ取得した各画像内で実空間内の点がどの程度位置推定の対象となる対象物体らしく表されているかを示すスコアを、物体領域画像を参照することによって、画像取得手段と実空間内の点との組み合わせ毎に定めるスコア決定手段と、
   画像取得手段に対して対象物体を隠す非対象物体がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得手段から実空間内の各点までの視界状態を判定し、視界状態の判定結果に応じて、画像取得手段と実空間内の点との組み合わせ毎の、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数を決定する視界状態判定手段と、
   画像取得手段から実空間内の点までの視界状態の判定結果に応じた前記確率密度関数を統合して実空間内の点に対象物体が存在している存在確率を求める存在確率算出手段と、
   存在確率算出手段が実空間内の各点について求めた存在確率に基づいて、実空間内の所定平面に対して所定の高さに配置されていることが既知である対象物体が前記所定平面のどの位置に存在するかを推定するための位置推定用情報を、前記所定平面の各点毎に作成する推定用情報作成手段とを備える
   ことを特徴とする物体位置推定用情報作成装置。
2. 視界状態判定手段は、画像取得手段が取得する画像内で非対象物体を表す領域の画素値が第１の画素値とされ、前記領域以外の領域の画素値が第２の画素値とされた二値画像である非対象物体二値画像を非対象物体存在情報として用いて、各画像取得手段から実空間内の各点までの視界状態を判定する
   請求項１に記載の物体位置推定用情報作成装置。
3. 視界状態判定手段は、
   実空間内の点を画像取得手段に対応する二次元座標に変換し、
   変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好でないと判定し、
   変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好であると判定し、
   変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得手段と実空間内の前記点との組み合わせにおけるスコアが閾値以上である場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好であると判定し、
   変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得手段と実空間内の前記点との組み合わせにおけるスコアが閾値未満である場合、前記画像取得手段から実空間内の前記点に対する視界状態が不明であると判定する
   請求項２に記載の物体位置推定用情報作成装置。
4. 物体領域画像作成手段は、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
   スコア決定手段は、前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
   視界状態判定手段は、
   画像取得手段から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得手段と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
   画像取得手段から実空間内の点に対する視界状態が良好でないと判定した場合または視界状態が不明であると判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定する
   請求項３に記載の物体位置推定用情報作成装置。
5. 視界状態判定手段は、実空間内で非対象物体が占める三次元領域の情報を非対象物体存在情報として用いて、各画像取得手段から実空間内の各点までの視界状態を判定する
   請求項１に記載の物体位置推定用情報作成装置。
6. 視界状態判定手段は、
   実空間内の点を画像取得手段に対応する二次元座標に変換し、
   変換後の座標が画像取得手段に対応する物体領域画像の範囲外である場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好でないと判定し、
   変換後の座標が画像取得手段に対応する物体領域画像の範囲内であり、前記画像取得手段と実空間内の前記点との間に非対象物体が存在しない場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好であると判定し、
   変換後の座標が画像取得手段に対応する物体領域画像の範囲内であり、前記画像取得手段と実空間内の前記点との間に非対象物体が存在する場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好でないと判定する
   請求項５に記載の物体位置推定用情報作成装置。
7. 物体領域画像作成手段は、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
   スコア決定手段は、前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
   視界状態判定手段は、
   画像取得手段から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得手段と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
   画像取得手段から実空間内の点に対する視界状態が良好でないと判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定する
   請求項６に記載の物体位置推定用情報作成装置。
8. 物体領域画像作成手段は、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
   スコア決定手段は、前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
   視界状態判定手段は、
   実空間内の点を画像取得手段に対応する二次元座標に変換し、
   変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得手段と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定し、
   変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得手段と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
   変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当する場合、
   前記画像取得手段と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、関数値の変化幅がスコア決定手段に決定されたスコアに応じた変化幅でありスコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、関数値の変化幅がスコア決定手段に決定されたスコアに応じた変化幅でありスコアが０に近づくほど関数値が大きくなる確率密度関数を決定する
   請求項２に記載の物体位置推定用情報作成装置。
9. 存在確率算出手段は、画像取得手段と実空間内の点との組み合わせ毎に決定されたスコアと、点に対象物体が存在する場合のスコアの確率密度関数と、点に対象物体が存在しない場合のスコアの確率密度関数とから、実空間内の点毎に、対象物体が存在する事後確率と、対象物体が存在しない事後確率とを計算し、
   推定用情報作成手段は、存在確率算出手段が計算した事後確率を用いて位置推定用情報を作成する
   請求項４、請求項７または請求項８に記載の物体位置推定用情報作成装置。
10. 推定用情報作成手段は、
    実空間内の点毎に、対象物体が存在する事後確率と対象物体が存在しない事後確率とを比較し、対象物体が存在する事後確率の方が大きいという条件を満たしていれば、実空間内の点における対象物体の有無判定結果を示す物体情報として物体ありを意味する所定値を定め、前記条件を満たしていなければ物体情報として０を定め、
    実空間内の所定平面の点毎に、当該点に対象物体が位置する場合における当該対象物体が占める領域と特定し、当該領域内の各点の物体情報を加算することにより位置推定用情報を作成する
    請求項９に記載の物体位置推定用情報作成装置。
11. 物体領域画像作成手段は、画像取得手段が取得した画像の画素に物体が存在する確率を０〜１の範囲で計算し、画像取得手段が取得した画像の各画素に対応する物体領域画像の各画素の画素値を前記確率の値と定めることにより物体領域画像を作成する
    請求項１から請求項１０のうちのいずれか１項に記載の物体位置推定用情報作成装置。
12. スコア決定手段は、実空間内の点を画像取得手段に対応する二次元座標に変換し、変換後の座標が物体領域画像の範囲内に該当する場合、当該変換後の座標が示す物体領域画像の画素の画素値を、実空間内の前記点および前記画像取得手段の組み合わせにおけるスコアと定め、変換後の座標が物体領域画像の範囲外に該当する場合、実空間内の点が画像取得手段の視野外であることを示す固定値を、実空間内の前記点および前記画像取得手段の組み合わせにおけるスコアと定める
    請求項１から請求項１１のうちのいずれか１項に記載の物体位置推定用情報作成装置。
13. 実空間内の所定平面の各点毎に作成された位置推定用情報を用いて、対象物体が前記所定平面のどの位置に存在するかを推定する位置推定手段を備える
    請求項１から請求項１２のうちのいずれか１項に記載の物体位置推定用情報作成装置。
14. 複数の画像取得手段がそれぞれ取得した各画像から、前記画像内で対象物体を表した領域を示す物体領域画像を作成し、
    複数の画像取得手段がそれぞれ取得した各画像内で実空間内の点がどの程度位置推定の対象となる対象物体らしく表されているかを示すスコアを、物体領域画像を参照することによって、画像取得手段と実空間内の点との組み合わせ毎に定め、
    画像取得手段に対して対象物体を隠す非対象物体がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得手段から実空間内の各点までの視界状態を判定し、視界状態の判定結果に応じて、画像取得手段と実空間内の点との組み合わせ毎の、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数を決定し、
    画像取得手段から実空間内の点までの視界状態の判定結果に応じた前記確率密度関数を統合して実空間内の点に対象物体が存在している存在確率を求め、
    実空間内の各点について求めた存在確率に基づいて、実空間内の所定平面に対して所定の高さに配置されていることが既知である対象物体が前記所定平面のどの位置に存在するかを推定するための位置推定用情報を、前記所定平面の各点毎に作成する
    ことを特徴とする物体位置推定用情報作成方法。
15. 画像取得手段が取得する画像内で非対象物体を表す領域の画素値が第１の画素値とされ、前記領域以外の領域の画素値が第２の画素値とされた二値画像である非対象物体二値画像を非対象物体存在情報として用いて、各画像取得手段から実空間内の各点までの視界状態を判定する
    請求項１４に記載の物体位置推定用情報作成方法。
16. 視界状態を判定を判定するときに、
    実空間内の点を画像取得手段に対応する二次元座標に変換し、
    変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好でないと判定し、
    変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好であると判定し、
    変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得手段と実空間内の前記点との組み合わせにおけるスコアが閾値以上である場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好であると判定し、
    変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得手段と実空間内の前記点との組み合わせにおけるスコアが閾値未満である場合、前記画像取得手段から実空間内の前記点に対する視界状態が不明であると判定する
    請求項１５に記載の物体位置推定用情報作成方法。
17. 各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
    前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
    画像取得手段から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得手段と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
    画像取得手段から実空間内の点に対する視界状態が良好でないと判定した場合または視界状態が不明であると判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定する
    請求項１６に記載の物体位置推定用情報作成方法。
18. 実空間内で非対象物体が占める三次元領域の情報を非対象物体存在情報として用いて、各画像取得手段から実空間内の各点までの視界状態を判定する
    請求項１４に記載の物体位置推定用情報作成方法。
19. 視界状態を判定を判定するときに、
    実空間内の点を画像取得手段に対応する二次元座標に変換し、
    変換後の座標が画像取得手段に対応する物体領域画像の範囲外である場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好でないと判定し、
    変換後の座標が画像取得手段に対応する物体領域画像の範囲内であり、前記画像取得手段と実空間内の前記点との間に非対象物体が存在しない場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好であると判定し、
    変換後の座標が画像取得手段に対応する物体領域画像の範囲内であり、前記画像取得手段と実空間内の前記点との間に非対象物体が存在する場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好でないと判定する
    請求項１８に記載の物体位置推定用情報作成方法。
20. 各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
    前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
    画像取得手段から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得手段と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
    画像取得手段から実空間内の点に対する視界状態が良好でないと判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定する
    請求項１９に記載の物体位置推定用情報作成方法。
21. 各画素に０〜１の範囲の画素値が定められた物体領域画像を作成し、
    前記物体領域画像を参照して０〜１の範囲のスコアを決定し、
    実空間内の点を画像取得手段に対応する二次元座標に変換し、
    変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得手段と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定し、
    変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得手段と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定し、
    変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当する場合、
    前記画像取得手段と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、関数値の変化幅が決定したスコアに応じた変化幅でありスコアが１に近づくほど関数値が大きくなる確率密度関数を決定し、前記点が対象物体でない場合のスコアの確率密度関数として、関数値の変化幅が決定したスコアに応じた変化幅でありスコアが０に近づくほど関数値が大きくなる確率密度関数を決定する
    請求項１５に記載の物体位置推定用情報作成方法。
22. 実空間内の点に対象物体が存在している存在確率を求めるときに、
    画像取得手段と実空間内の点との組み合わせ毎に決定されたスコアと、点に対象物体が存在する場合のスコアの確率密度関数と、点に対象物体が存在しない場合のスコアの確率密度関数とから、実空間内の点毎に、対象物体が存在する事後確率と、対象物体が存在しない事後確率とを計算し、
    対象物体が存在する事後確率と対象物体が存在しない事後確率とを用いて位置推定用情報を作成する
    請求項１７、請求項２０または請求項２１に記載の物体位置推定用情報作成方法。
23. 実空間内の点毎に、対象物体が存在する事後確率と対象物体が存在しない事後確率とを比較し、対象物体が存在する事後確率の方が大きいという条件を満たしていれば、実空間内の点における対象物体の有無判定結果を示す物体情報として物体ありを意味する所定値を定め、前記条件を満たしていなければ物体情報として０を定め、
    実空間内の所定平面の点毎に、当該点に対象物体が位置する場合における当該対象物体が占める領域と特定し、当該領域内の各点の物体情報を加算することにより位置推定用情報を作成する
    請求項２２に記載の物体位置推定用情報作成方法。
24. 画像取得手段が取得した画像の画素に物体が存在する確率を０〜１の範囲で計算し、画像取得手段が取得した画像の各画素に対応する物体領域画像の各画素の画素値を前記確率の値と定めることにより物体領域画像を作成する
    請求項１４から請求項２３のうちのいずれか１項に記載の物体位置推定用情報作成方法。
25. 実空間内の点を画像取得手段に対応する二次元座標に変換し、変換後の座標が物体領域画像の範囲内に該当する場合、当該変換後の座標が示す物体領域画像の画素の画素値を、実空間内の前記点および前記画像取得手段の組み合わせにおけるスコアと定め、変換後の座標が物体領域画像の範囲外に該当する場合、実空間内の点が画像取得手段の視野外であることを示す固定値を、実空間内の前記点および前記画像取得手段の組み合わせにおけるスコアと定める
    請求項１４から請求項２４のうちのいずれか１項に記載の物体位置推定用情報作成方法。
26. 実空間内の所定平面の各点毎に作成された位置推定用情報を用いて、対象物体が前記所定平面のどの位置に存在するかを推定する
    請求項１４から請求項２５のうちのいずれか１項に記載の物体位置推定用情報作成方法。
27. コンピュータに、
    複数の画像取得手段がそれぞれ取得した各画像から、前記画像内で対象物体を表した領域を示す物体領域画像を作成する物体領域画像作成処理、
    複数の画像取得手段がそれぞれ取得した各画像内で実空間内の点がどの程度位置推定の対象となる対象物体らしく表されているかを示すスコアを、物体領域画像を参照することによって、画像取得手段と実空間内の点との組み合わせ毎に定めるスコア決定処理、
    画像取得手段に対して対象物体を隠す非対象物体がどこに存在するかを示す非対象物体存在情報を用いて、各画像取得手段から実空間内の各点までの視界状態を判定し、視界状態の判定結果に応じて、画像取得手段と実空間内の点との組み合わせ毎の、点が対象物体である場合および対象物体でない場合のスコアの確率密度関数を決定する視界状態判定処理、
    画像取得手段から実空間内の点までの視界状態の判定結果に応じた前記確率密度関数を統合して実空間内の点に対象物体が存在している存在確率を求める存在確率算出処理、および、
    存在確率算出処理で実空間内の各点について求めた存在確率に基づいて、実空間内の所定平面に対して所定の高さに配置されていることが既知である対象物体が前記所定平面のどの位置に存在するかを推定するための位置推定用情報を、前記所定平面の各点毎に作成する推定用情報作成処理
    を実行させるための物体位置推定用情報作成プログラム。
28. コンピュータに、
    視界状態判定処理で、画像取得手段が取得する画像内で非対象物体を表す領域の画素値が第１の画素値とされ、前記領域以外の領域の画素値が第２の画素値とされた二値画像である非対象物体二値画像を非対象物体存在情報として用いて、各画像取得手段から実空間内の各点までの視界状態を判定させる
    請求項２７に記載の物体位置推定用情報作成プログラム。
29. コンピュータに、
    視界状態判定処理で、
    実空間内の点を画像取得手段に対応する二次元座標に変換させ、
    変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好でないと判定させ、
    変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得手段から実空間内の前記点をに対する視界状態が良好であると判定させ、
    変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得手段と実空間内の前記点との組み合わせにおけるスコアが閾値以上である場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好であると判定させ、
    変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当し、前記画像取得手段と実空間内の前記点との組み合わせにおけるスコアが閾値未満である場合、前記画像取得手段から実空間内の前記点に対する視界状態が不明であると判定させる
    請求項２８に記載の物体位置推定用情報作成プログラム。
30. コンピュータに、
    物体領域画像作成処理で、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成させ、
    スコア決定処理で、前記物体領域画像を参照して０〜１の範囲のスコアを決定させ、
    視界状態判定処理で、
    画像取得手段から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得手段と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定させ、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定させ、
    画像取得手段から実空間内の点に対する視界状態が良好でないと判定した場合または視界状態が不明であると判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定させる
    請求項２９に記載の物体位置推定用情報作成プログラム。
31. コンピュータに、
    視界状態判定処理で、実空間内で非対象物体が占める三次元領域の情報を非対象物体存在情報として用いて、各画像取得手段から実空間内の各点までの視界状態を判定させる
    請求項２７に記載の物体位置推定用情報作成プログラム。
32. コンピュータに、
    視界状態判定処理で、
    実空間内の点を画像取得手段に対応する二次元座標に変換させ、
    変換後の座標が画像取得手段に対応する物体領域画像の範囲外である場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好でないと判定させ、
    変換後の座標が画像取得手段に対応する物体領域画像の範囲内であり、前記画像取得手段と実空間内の前記点との間に非対象物体が存在しない場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好であると判定させ、
    変換後の座標が画像取得手段に対応する物体領域画像の範囲内であり、前記画像取得手段と実空間内の前記点との間に非対象物体が存在する場合、前記画像取得手段から実空間内の前記点に対する視界状態が良好でないと判定させる
    請求項３１に記載の物体位置推定用情報作成プログラム。
33. コンピュータに、
    物体領域画像作成処理で、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成させ、
    スコア決定処理で、前記物体領域画像を参照して０〜１の範囲のスコアを決定させ、
    視界状態判定処理で、
    画像取得手段から実空間内の点に対する視界状態が良好であると判定した場合、当該画像取得手段と実空間内の当該点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定させ、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定させ、
    画像取得手段から実空間内の点に対する視界状態が良好でないと判定した場合に、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定させる
    請求項３２に記載の物体位置推定用情報作成プログラム。
34. コンピュータに、
    物体領域画像作成処理で、各画素に０〜１の範囲の画素値が定められた物体領域画像を作成させ、
    スコア決定処理で、前記物体領域画像を参照して０〜１の範囲のスコアを決定させ、
    視界状態判定処理で、
    実空間内の点を画像取得手段に対応する二次元座標に変換させ、
    変換後の座標が非対象物体二値画像の範囲外である場合、前記画像取得手段と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合および対象物体でない場合のスコアの確率密度関数として、一様分布となる関数を決定させ、
    変換後の座標が非対象物体二値画像の範囲内のうち非対象物体以外の領域に該当する場合、前記画像取得手段と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、スコアが１に近づくほど関数値が大きくなる確率密度関数を決定させ、前記点が対象物体でない場合のスコアの確率密度関数として、スコアが０に近づくほど関数値が大きくなる確率密度関数を決定させ、
    変換後の座標が非対象物体二値画像の範囲内のうち非対象物体の領域に該当する場合、前記画像取得手段と実空間内の前記点との組み合わせに関して、前記点が対象物体である場合のスコアの確率密度関数として、関数値の変化幅がスコア決定処理で決定したスコアに応じた変化幅でありスコアが１に近づくほど関数値が大きくなる確率密度関数を決定させ、前記点が対象物体でない場合のスコアの確率密度関数として、関数値の変化幅がスコア決定処理で決定したスコアに応じた変化幅でありスコアが０に近づくほど関数値が大きくなる確率密度関数を決定させる
    請求項２８に記載の物体位置推定用情報作成プログラム。
35. コンピュータに、
    存在確率算出処理で、画像取得手段と実空間内の点との組み合わせ毎に決定されたスコアと、点に対象物体が存在する場合のスコアの確率密度関数と、点に対象物体が存在しない場合のスコアの確率密度関数とから、実空間内の点毎に、対象物体が存在する事後確率と、対象物体が存在しない事後確率とを計算させ、
    推定用情報作成処理で、存在確率算出処理で計算した事後確率を用いて位置推定用情報を作成させる
    請求項３０、請求項３３または請求項３４に記載の物体位置推定用情報作成プログラム。
36. コンピュータに、
    推定用情報作成処理で、
    実空間内の点毎に、対象物体が存在する事後確率と対象物体が存在しない事後確率とを比較させ、対象物体が存在する事後確率の方が大きいという条件を満たしていれば、実空間内の点における対象物体の有無判定結果を示す物体情報として物体ありを意味する所定値を定めさせ、前記条件を満たしていなければ物体情報として０を定めさせ、
    実空間内の所定平面の点毎に、当該点に対象物体が位置する場合における当該対象物体が占める領域と特定し、当該領域内の各点の物体情報を加算することにより位置推定用情報を作成させる
    請求項３５に記載の物体位置推定用情報作成プログラム。
37. コンピュータに、
    物体領域画像作成処理で、画像取得手段が取得した画像の画素に物体が存在する確率を０〜１の範囲で計算させ、画像取得手段が取得した画像の各画素に対応する物体領域画像の各画素の画素値を前記確率の値と定めることにより物体領域画像を作成させる
    請求項２７から請求項３６のうちのいずれか１項に記載の物体位置推定用情報作成プログラム。
38. コンピュータに、
    スコア決定処理で、実空間内の点を画像取得手段に対応する二次元座標に変換させ、変換後の座標が物体領域画像の範囲内に該当する場合、当該変換後の座標が示す物体領域画像の画素の画素値を、実空間内の前記点および前記画像取得手段の組み合わせにおけるスコアと定めさせ、変換後の座標が物体領域画像の範囲外に該当する場合、実空間内の点が画像取得手段の視野外であることを示す固定値を、実空間内の前記点および前記画像取得手段の組み合わせにおけるスコアと定めさせる
    請求項２７から請求項３７のうちのいずれか１項に記載の物体位置推定用情報作成プログラム。
39. コンピュータに、
    実空間内の所定平面の各点毎に作成された位置推定用情報を用いて、対象物体が前記所定平面のどの位置に存在するかを推定する位置推定処理を実行させる
    請求項２７から請求項３８のうちのいずれか１項に記載の物体位置推定用情報作成プロ
    グラム。

Images