JP3971783B2 - パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム - Google Patents

Description

本発明は、いわゆるパノラマ画像を合成する技術、およびパノラマ画像を用いて画像から物体を検出する技術に関する。

パンチルト（ＰＴ）カメラ等を用いて物体検出を行う方法としては、撮像された複数枚の画角の異なる画像から１枚の大きなパノラマ画像を合成し、合成されたパノラマ画像を用いて背景差分等の画像処理を行う方法が有効である。

このようなパノラマ画像合成に関する従来技術として、例えば特許文献１では、カメラの位置、姿勢、および入力画像対から画像解析によって動きベクトルを求め、その動きベクトルに基づいてカメラパラメータを算出し、算出したカメラパラメータに従って画像を貼り合せてパノラマ画像合成を行う方法が開示されている。この方法により、各画像間での正確な位置合わせを行うことができ、位置歪の少ないパノラマ画像を合成することができる。
特開２００２―１５０２６４号公報

しかしながら、上述の従来技術では、パノラマ画像合成に用いる画像を撮像している間に光源の位置、方向、強さ、個数などの光源環境に変化が生じた場合、生成されるパノラマ画像は、部分ごとに光源状態が異なる、すなわち光源環境が同一でないパノラマ画像となる。このような光源環境が同一でないパノラマ画像を用いて背景差分を行った場合、物体以外の背景領域も物体として検出されてしまい、物体検出の精度は大きく低下する。

また、パノラマ画像を合成した後に光源環境に変化が生じた場合も、物体検出を行う画像とパノラマ画像とで光源環境が大きく異なるので、物体以外の背景領域も物体として検出されてしまい、背景差分による物体検出の精度は大きく低下する。

このような光源環境の変化に起因する問題は、例えば屋外での物体検出を行う場合には特に顕著となり、実際のシステムとして適用するためには、この問題を解消する必要がある。

前記の問題に鑑み、本発明は、光源環境に変化が生じた場合においても物体検出を可能にすべく、画像全体にわたって光源環境が同一のパノラマ画像を、合成可能にすることを課題とする。

前記の課題を解決するために、本発明は、パノラマ画像合成方法として、第１の重複領域を共通に持ち、かつ、第１の重複領域以外の第２の重複領域を持つＮ（Ｎは３以上の整数）枚の画像と第２の重複領域を持たない被拡張画像とからなる重複画像群を、取得し、被拡張画像の線形係数を、第１の重複領域における重複画像群の画像それぞれの画素値を用いて算出し、算出した線形係数と、第２の重複領域におけるＮ枚の画像それぞれの画素値とを用いて、被拡張画像のサイズを第２の重複領域まで拡張し、このサイズが拡張された被拡張画像を基にして、パノラマ画像を合成するものである。

この発明によると、第１の重複領域の各画像から求めた線形係数を用いることによって、被拡張画像を、第２の重複領域まで拡張することができる。すなわち、任意に選択した被拡張画像と同一の光源環境における画像を、「被拡張画像＋第２の重複領域」まで、拡張することができる。したがって、画像全体にわたって光源環境が同一のパノラマ画像を容易に生成することができる。

なお、本願明細書でいうところの「光源環境が同一のパノラマ画像」とは、そのパノラマ画像の各部分において、推定される光源の位置、方向、強さおよび個数が、実質的にほぼ同一であるもの、のことをいう。理論上は、光源環境を完全に同一にすることは可能であるが、実際には、線形係数の算出誤差等に起因して、光源環境が完全には同一にはならない場合もあり得る。本願発明は、そのような場合も、含むものである。

また、本発明は、画像から物体を検出する方法として、前記本発明のパノラマ画像合成方法によって、検出対象画像の撮影範囲を含む複数のパノラマ画像を生成し、検出対象画像と複数のパノラマ画像とを基にして、検出対象画像と光源環境が同一の予測背景画像を生成し、これを検出対象画像と対比することによって、物体検出を行うものである。

この発明によると、検出対象画像について、画像全体にわたって光源環境が同一のパノラマ画像を複数枚用いることによって、光源環境が同一の予測背景画像が生成される。これにより、パノラマ画像と光源環境が異なっている画像についても、精度良く、物体検出を行うことができる。

本発明によると、画像の線形化を利用することによって、光源環境が同一のパノラマ画像を合成することができる。また、このパノラマ画像を複数枚用いることによって、任意の光源環境において撮影した画像から、物体検出を行うことができる。

本発明の第１態様では、パノラマ画像合成方法として、第１の重複領域を共通に持ち、かつ、前記第１の重複領域以外の第２の重複領域を持つＮ（Ｎは３以上の整数）枚の画像と前記第２の重複領域を持たない被拡張画像とからなる重複画像群を、取得するステップと、前記被拡張画像の線形係数を、前記第１の重複領域における前記重複画像群の画像それぞれの画素値を用いて、算出するステップと、前記線形係数と、前記第２の重複領域における前記Ｎ枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを前記第２の重複領域まで拡張するステップとを備え、サイズが拡張された前記被拡張画像を基にしてパノラマ画像を合成するものを提供する。

本発明の第２態様では、前記Ｎ枚の画像として、光源環境が互いに異なっている画像を取得する第１態様のパノラマ画像合成方法を提供する。

本発明の第３態様では、算出した前記被拡張画像の線形係数の信頼性を判定するステップを備え、信頼性が低いと判定したとき、重複画像群の再取得を行う第１態様のパノラマ画像合成方法を提供する。

本発明の第４態様では、前記取得ステップは、画像記憶部に記憶された画像の中から重複画像群を選択するものであり、前記画像記憶部に新たな画像が入力されたとき、重複画像群の再選択を行い、この新重複画像群と旧重複画像群とで画像合成の好適性を比較し、この比較結果を基にしてパノラマ画像を更新するか否かを判定する第１態様のパノラマ画像合成方法を提供する。

本発明の第５態様では、画像合成の好適性を拡散反射画素の個数を用いて判断するものであり、新重複画像群の方が拡散反射画素の個数が多いとき、パノラマ画像の更新を行う第４態様のパノラマ画像合成方法を提供する。

本発明の第６態様では、画像合成の好適性を画像間の独立性を用いて判断するものであり、新重複画像群の方が画像間の独立性が高いとき、パノラマ画像の更新を行う第４態様のパノラマ画像合成方法を提供する。

本発明の第７態様では、第１態様のパノラマ画像合成方法によって、検出対象画像の撮影範囲を含む複数のパノラマ画像を生成するステップと、前記検出対象画像と前記複数のパノラマ画像とを基にして、前記検出対象画像と光源環境が同一の予測背景画像を生成するステップと、前記検出対象画像と前記予測背景画像とを対比し、物体検出を行うステップとを備えた物体検出方法を提供する。

本発明の第８態様では、前記複数のパノラマ画像は少なくとも３枚である第７態様の物体検出方法を提供する。

本発明の第９態様では、前記取得ステップにおいて、同一の前記第１の重複領域を持つ前記重複画像群が複数個あるとき、各重複画像群について、算出される線形係数の信頼性を評価し、信頼性が最も高いものを選択する第１態様のパノラマ画像合成方法を提供する。

本発明の第１０態様では、被拡張画像に対して、評価画像群が存在するか否かを判定するステップを備え、評価画像群が存在するとき、この評価画像群を用いて、前記被拡張画像の線形係数を算出する第１態様のパノラマ画像合成方法を提供する。

本発明の第１１態様では、前記評価画像群が複数個存在するとき、当該評価画像群に含まれた前記第２の重複領域における画像の独立性が最も高いものを選択する第１０態様のパノラマ画像合成方法を提供する。

本発明の第１２態様では、前記評価画像群が複数個、存在するとき、当該評価画像群が占める画像領域における画素数が最も多いものを選択する第１０態様のパノラマ画像合成方法を提供する。

本発明の第１３態様では、第１の重複領域を共通に持ち、かつ、前記第１の重複領域以外の第２の重複領域を持つＮ（Ｎは３以上の整数）枚の画像と、前記第２の重複領域を持たない被拡張画像とからなる重複画像群を取得する手段と、前記被拡張画像の線形係数を、前記第１の重複領域における前記重複画像群の画像それぞれの画素値を用いて、算出する手段と、前記線形係数と、前記第２の重複領域における前記Ｎ枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを、前記第２の重複領域まで拡張する手段とを備え、サイズが拡張された前記被拡張画像を基にして、パノラマ画像を合成するパノラマ画像合成装置を提供する。

本発明の第１４態様では、撮像部と、前記撮像部によって撮像された画像に対して、幾何学的補正および光学的補正を行う撮像画像補正部と、前記撮像画像補正部によって補正された画像を記憶する画像記憶部と、前記画像記憶部に記憶された画像を入力とする第１３態様のパノラマ画像合成装置とを備え、前記パノラマ画像合成装置は、前記重複画像群を、前記画像記憶部に記憶された画像の中から取得する撮像装置を提供する。

本発明の第１５態様では、第１４態様の撮像装置と、前記撮像装置が備えた前記パノラマ画像合成装置によって合成されたパノラマ画像を用いて、物体検出を行う物体検出部と、前記物体検出部によって検出された物体の領域を表示する検出物体表示部とを備えた物体検出装置を提供する。

本発明の第１６態様では、コンピュータにパノラマ画像合成を実行させるプログラムとして、第１の重複領域を共通に持ち、かつ、前記第１の重複領域以外の第２の重複領域を持つＮ（Ｎは３以上の整数）枚の画像と、前記第２の重複領域を持たない被拡張画像とからなる重複画像群を取得するステップと、前記被拡張画像の線形係数を、前記第１の重複領域における前記重複画像群の画像それぞれの画素値を用いて算出するステップと、前記線形係数と、前記第２の重複領域における前記Ｎ枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを、前記第２の重複領域まで拡張するステップと、サイズが拡張された前記被拡張画像を基にして、パノラマ画像を合成するステップとをコンピュータに実行させるものを提供する。

以下、本発明の実施の形態について、図面を参照しつつ、説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係るパノラマ画像合成方法を用いた物体検出装置の構成図である。図１において、１０１は静止画または動画を撮像する撮像部、１０２は撮像部１０１によって撮像された画像に対して補正を行う撮像画像補正部、１０３は撮像画像補正部１０２を用いて補正された画像を記憶する画像記憶部、１０４は画像記憶部１０３に記憶された画像からパノラマ画像を合成するパノラマ画像合成装置としてのパノラマ画像合成部、１０５は撮像部１０１によって撮像された画像およびパノラマ画像合成部１０４によって合成されたパノラマ画像を用いて物体検出を行う物体検出部、１０６は物体検出部１０５によって検出された物体領域を表示する検出物体表示部である。撮像部１０１、撮像画像補正部１０２、画像記憶部１０３およびパノラマ画像合成部１０４によって、本発明の撮像装置が構成されている。

以下、図１の物体検出装置について、撮像方向の異なる複数枚の画像からパノラマ画像を合成し、合成されたパノラマ画像を用いて物体検出を行う場合の動作を説明する。ここで述べる物体検出とは、光源環境の異なる少なくとも３枚のパノラマ画像の合成を行い、これを背景として、その後撮像された画像の中から背景以外に映り込むものを検出することを指す。

なお、説明の簡単のため、環境条件として、光源は平行光源であり、物体の表面は完全拡散反射面であるものと仮定する。

撮像部１０１は撮像方向の異なる画像の撮像を行う。具体的には例えば、パンチルト（ＰＴ）動作可能なビデオカメラやデジタルスチルカメラ、または、ＰＴ動作可能な雲台に固定されたビデオカメラやデジタルスチルカメラによって、撮影が実行される。ここでは、ＰＴ動作可能なビデオカメラを用いるものとする。

また撮像部１０１は撮像した画像とともに、カメラの位置・姿勢情報を撮像画像補正部１０２に送る。カメラの位置・姿勢情報とは、図２に示す（Ｘｗ，Ｙｗ，Ｚｗ，θ，φ）の５つのパラメータをいう。Ｘｗ，Ｙｗ，Ｚｗは世界座標系におけるカメラの位置座標（点ｏ）を示し、θ，φはそれぞれカメラ座標系におけるＹ軸、Ｘ軸の正方向に対して左回りに回転させる角度（パン角，チルト角）を示す。カメラの位置・姿勢の検出は、例えばＧＰＳ等の位置検出装置、ジャイロスコープ等の姿勢検出装置を用いればよい。また、予め計画された撮影プランからカメラの位置・姿勢を算出してもよい。予め計画された撮影プランとは例えば、カメラを始点（Ｘ_０，Ｙ_０，Ｚ_０，θ_０，φ_０）からφの正方向に角速度０．１π[ｒａｄ／ｓｅｃ]の等速運動に従って動かす、等といったものである。

撮像画像補正部１０２は撮像部１０１によって撮像された画像に対し、幾何学的補正、光学的補正、および撮像画像座標系からパノラマ投影面座標系への座標変換を行う。撮像画像の幾何学的補正としては、レンズ歪の補正を行う。例えば、「コンピュータビジョン技術評論と将来展望，ｐｐ．４２−４４，新技術コミュニケーション，１９９８」に示されたWengらによるレンズ歪補正方法を用いればよい。また、撮像画像の光学的補正としては、周辺減光の補正を行う。例えば「平成１２年度ナチュラルビジョンの研究開発プロジェクト（次世代映像表示・伝送システム）研究開発報告書，ｐｐ．５１−５３，通信・放送機構，２００１」に示された、輝度の時間変動の無い１つの点光源を被写体とし、その点光源が所望の位置に来るようにカメラの首を振り、観測された各位置での輝度値の逆数を用いて周辺減光の補正係数を算出する方法を、用いればよい。

また、パノラマ投影面座標系への座標変換方法としては、例えば図３に示すとおり、撮像画像座標系（ｉ，ｊ）から円筒座標系に投影を行ったパノラマ投影面座標系（ｕ，ｖ）への変換を行う関数をｆとすると、ｆは撮像部１０１から送られたカメラの位置・姿勢情報を用いて次式によって表される。
（ｕ，ｖ）＝ｆ（ｉ，ｊ，Ｘｗ，Ｙｗ，Ｚｗ，θ，φ） （式１）
なお、撮像画像座標系（ｉ，ｊ）からパノラマ投影面座標系（ｕ，ｖ）への変換は球面座標系を用いた投影を行ってもよい。また、パン・チルト角が小さい場合は平面座標系を用いた投影を行ってもよい。

なお、上述の撮像画像補正部１０２で用いる各補正パラメータは、本装置で物体検出を行う以前に予め求めておく。

画像記憶部１０３は撮像画像補正部１０２によって補正を行った画像とカメラの位置・姿勢情報を、記憶媒体に記憶する。記憶媒体とは、例えばメモリやハードディスク、フィルム等によって実現される。

＜パノラマ画像合成＞
パノラマ画像合成部１０４は画像記憶部１０３に記憶された複数枚の画像から、パノラマ画像を生成する。以下、パノラマ画像合成部１０４の動作を図４のフローチャートを用いて説明する。

まず、ステップＳ１１において、画像記憶部１０３に記憶された画像の中から、第１の重複領域（Ａ領域）を共通に持つ重複画像群であって、かつ、Ａ領域以外の第２の重複領域（Ｂ領域）を持つＮ（Ｎは３以上の整数）枚の画像と、Ｂ領域を持たない被拡張画像としての画像とからなる重複画像群を、選択する（Ｓ１１）。ここでは、Ｎは３としている。図５は選択された重複画像群の例を示す模式図である。図５において、Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４は画像記憶部１０３から選択された画像であり、これら４枚の画像Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４はＡ領域１１において重複している。またＡ領域１１以外のＢ領域１２において、３枚の画像Ｉ_１，Ｉ_２，Ｉ_３が重複しており、画像Ｉ_４ はＢ領域１２を含まない。なお、Ａ領域およびＢ領域における重複画像の枚数に関しては、後述する。

各画像の重複領域の検出は、例えば、パノラマ投影面座標系（ｕ，ｖ）における各画像の座標値を用いて行えばよい。また、ある画素位置に対する重複画像群が複数存在するときは、例えば、Ｂ領域を持つ３枚の画像間の独立性が最も高いものを、選択するようにしてもよい。この具体的な方法については、後述する。

次に、ステップＳ１２において、ステップＳ１１で選択した重複画像群を用いて、被拡張画像の拡張に用いる線形係数を算出する。線形係数の算出は、Ａ領域における重複画像群の各画像の画素値を用いて、Shashuaの方法（「Shashua A., “Geometry and Photometry in 3D Visual Recognition”, P.D. thesis, Dept. Brain and Cognitive Science, MIT, 1992」参照）に基づいて、行う。

以下、Shashuaの方法による線形係数の算出について、詳しく説明する。Shashuaは、平行光源と、被写体表面が全て完全拡散反射面であることとを仮定することによって、光源方向の異なる３枚の画像の線形結合により任意の光源方向の画像を表現できることを示している。すなわち、光源方向が異なる３枚の画像をベクトル表現したものをＩ_１，Ｉ_２，Ｉ_３とすると、任意の光源方向の画像Ｉ_４は、次式のように線形結合によって表現できる。
Ｉ_４＝ｃ_４ ^１Ｉ_１＋ｃ_４ ^２Ｉ_２＋ｃ_４ ^３Ｉ_３ （式２）
ここで、ｃ_４＝［ｃ_４ ^１ ｃ_４ ^２ ｃ_４ ^３］^Ｔ を画像Ｉ_４に対する線形係数として算出する。

具体的には図６に示すように、４枚の画像Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４に対して、３点の画素座標Ｐ_１（ｘ_１，ｙ_１），Ｐ_２（ｘ_２，ｙ_２），Ｐ_３（ｘ_３，ｙ_３）の選択を行い、選択された３点Ｐ_１，Ｐ_２，Ｐ_３の各座標における画素値ｉを利用し、次の式を用いて線形化係数の算出を行う。
ここで、ｉ_{ｋ（ｘ，ｙ）}は入力画像ｋにおける画素座標（ｘ，ｙ）の画素値を表している。

この（式３）により、線形係数ｃ_４＝［ｃ_４ ^１ ｃ_４ ^２ ｃ_４ ^３］^Ｔ の算出を行うことができる。これにより、任意の光源方向の画像Ｉ_４をＩ_１，Ｉ_２，Ｉ_３，ｃ_４＝［ｃ_４ ^１ ｃ_４ ^２ ｃ_４ ^３］^Ｔ を用いて表現することができる。また、Ｄ^−１が算出できない場合は、３点Ｐ_１（ｘ_１，ｙ_１），Ｐ_２（ｘ_２，ｙ_２），Ｐ_３（ｘ_３，ｙ_３）の再選択を行う。３点Ｐ_１，Ｐ_２，Ｐ_３の選択方法および線形係数の導出の詳細については、例えば「光学現象の分類基準を利用した画像の線形化」（画像の認識・理解シンポジウム(MIRU2002)論文集，vol.2， pp．167−176, 2002）に記載されている。

このようなShashuaの方法を用い、選択された重複画像群の４枚の画像のＡ領域について、（式３）の計算を行い、線形係数を求める。このとき、Ｂ領域を持つ３枚の画像をＩ_１，Ｉ_２，Ｉ_３とし、Ｂ領域を持たない被拡張画像をＩ_４として、線形係数ｃ_４＝［ｃ_４ ^１ ｃ_４ ^２ ｃ_４ ^３］^Ｔ の算出を行う。

なお、ここで説明したように、光源が平行光源であり、物体表面が完全拡散反射面であると仮定したとき、任意光源方向の画像は４枚の画像を用いて合成することができるため、本実施形態では、重複画像群として、Ａ領域を共通に持つ４枚の画像を選択すればよいことになる。

また、拡散反射画素とは、（式２）の振る舞いをする画素のことを示す。

次にステップＳ１３において、ステップＳ１２で算出された線形係数に対する信頼性を判定する。ここでの線形係数の信頼性判定とは、重複画像群の中のＢ領域を持つ３枚の画像間の独立性を判定することである。具体的な判定方法としては、例えば、ステップＳ１２で算出した行列Ｄの条件数を用いる。すなわち、行列Ｄの条件数を求め、この条件数が所定の閾値よりも小さいときは、選択したＢ領域を持つ３枚の画像は独立であり、算出した線形係数は信頼性があると判定する。一方、所定の閾値よりも大きいときは、算出した線形係数は信頼性が低いと判定し、ステップＳ１１に戻り、同じＡ領域を持ち、いまの重複画像群とは異なる重複画像群の再選択を行う。

ここで、信頼性が低いと判定される原因は、
○ いずれかの画像において、選択した３画素のうち２個以上の法線方向が同じ
○ 少なくとも２枚以上の画像について、光源状態が等しい
の何れかであり、このような信頼性の低い線形係数を用いてパノラマ画像を合成した場合、輝度の誤差が大きいパノラマ画像が生成される。逆に、信頼性があると判定された場合は、Ｂ領域を持つ３枚の画像は、各々光源方向が異なっており、かつ、被写体表面の法線方向の異なる画素が３画素以上存在する、という条件を満たすことになる。このような信頼性の高い線形係数を用いてパノラマ画像を合成した場合は、輝度の誤差が小さいパノラマ画像の生成が可能となる。上述した輝度の誤差とは、被拡張画像と同一の光源環境で撮影された理想的なパノラマ画像と、生成されたパノラマ画像との輝度誤差を示す。

なお、ステップＳ１１において重複画像群の選択を行う際に、同じＡ領域に対する重複画像群の候補が複数存在するとき、算出される線形係数の信頼性が最も高いものを、選択するようにしてもよい。具体的には例えば、上述の条件数が最小となる候補を、重複画像群として選択すればよい。これは、条件数が小さいほど、算出した線形係数の信頼性が高い、または、選択した重複画像群に含まれたＢ画像を持つ３枚の画像の独立性が高い、といえるからである。

また、ステップＳ１１〜Ｓ１３の処理においては、（式３）におけるＤ^−１の有無と信頼性の高いＤの条件数を基準にして、重複画像の選択と選択された画像中の３点の選択を行うことによって最適な線形係数を行う。よって、同じ基準を用いた処理であれば他の手法であってもかまわない。例えばＳ１２においてＤ^−１，Ｄの条件数の算出を同時に行い、Ｓ１３では算出されたＤ^−１，Ｄの条件数の信頼性判定を行い、信頼性のない場合には３点Ｐ_１（ｘ_１，ｙ_１），Ｐ_２（ｘ_２，ｙ_２），Ｐ_３（ｘ_３，ｙ_３）の再選択を行ってもよい。この場合、３点Ｐ_１（ｘ_１，ｙ_１），Ｐ_２（ｘ_２，ｙ_２），Ｐ_３（ｘ_３，ｙ_３）の選択を所定回数繰り返しても信頼性のある線形係数が算出されないときは、重複画像の再選択を行えばよい。

そして、線形係数が信頼性ありと判定されたとき（Ｓ１３でＹｅｓ）、ステップＳ１４において、この線形係数とＢ領域を持つ３枚の画像の画素値とを用いて被拡張画像のサイズを拡張する。ここでは、信頼性があると判定された線形係数ｃ_４および画像Ｉ_１，Ｉ_２，Ｉ_３のＢ領域における画素値を、それぞれ（式２）に代入することによって、被拡張画像Ｉ_４を「Ｉ_４の画像領域＋Ｂ領域」まで拡張する。このように、（式２）を用いて被拡張画像Ｉ_４の拡張を行うためには、３枚の画像Ｉ_１，Ｉ_２，Ｉ_３が被拡張画像Ｉ_４の画像領域以外の領域において、重複する領域（すなわちＢ領域）を持つ必要がある。

このようにステップＳ１１〜Ｓ１４によって、重複画像群に含まれた被拡張画像を、「原画像領域＋Ｂ領域」まで拡張することができる。したがって、このような処理を繰り返し行うことによって、画像全体にわたって光源環境が同一であるパノラマ画像を容易に生成することができる。

次に、ステップＳ１５において、画像が所望のパノラマ画像の全領域まで拡張されたか否かを判定する。そして、まだ全領域まで拡張されていないと判定したときは（Ｓ１５でＮｏ）、ステップＳ１４において拡張した画像を画像記憶部１０３において記憶媒体に格納し（Ｓ１６）、ステップＳ１１に戻る。一方、全領域まで拡張されていると判定したときは（Ｓ１５でＹｅｓ）、そのパノラマ画像を画像記憶部１０３において記憶媒体に格納する（Ｓ１７）。ステップＳ１５における判定方法としては、例えば、拡張された画像の画素数が全領域分の画素数となったとき、全領域まで拡張されたと判定するようにすればよい。また、パノラマ画像を記憶する記憶媒体としては、例えばメモリやハードディスク、フィルム等を用いればよい。このように、ステップＳ１１〜Ｓ１６の処理を繰り返すことによって、全領域まで拡張された光源環境が同一である１枚のパノラマ画像が画像記憶部１０３に記憶される。ステップＳ１１〜Ｓ１６によって、本実施形態に係るパノラマ画像合成方法が実現される。

次に、終了判定を行う（Ｓ１８）。本実施形態では、後述するように、物体検出を行うために光源方向が異なる３枚のパノラマ画像を生成する必要がある。このため、ここでは、画像記憶部１０３に画像間の独立性のあるパノラマ画像が３枚以上存在するとき（Ｓ１８でＹｅｓ）処理を終了し、画像間の独立性のあるパノラマ画像が３枚未満のときは（Ｓ１８でＮｏ）ステップＳ１１に戻り、新たなパノラマ画像の合成を行うものとする。

ここでの判定方法としては例えば、行列式の値を用いればよい。具体的には、画像記憶部１０３に記憶されたパノラマ画像の中から任意の３枚のパノラマ画像（Ｉ_１ ^Ｐ，Ｉ_２ ^Ｐ，Ｉ_３ ^Ｐとする）を選択し、選択したパノラマ画像Ｉ_１ ^Ｐ，Ｉ_２ ^Ｐ，Ｉ_３ ^Ｐにおける３点Ｐ_１（ｘ_１，ｙ_１），Ｐ_２（ｘ_２，ｙ_２），Ｐ_３（ｘ_３，ｙ_３）の画素値を（式３）における行列Ｄの形に置き、行列式｜Ｄ｜の算出を行う。そして、この行列式｜Ｄ｜の値が０でないとき、これら３枚のパノラマ画像Ｉ_１ ^Ｐ，Ｉ_２ ^Ｐ，Ｉ_３ ^Ｐは光源方向が異なるパノラマ画像と判定し、処理を終了する。

一方、行列式｜Ｄ｜の値が０になるときは、選択した３枚のパノラマ画像Ｉ_１ ^Ｐ，Ｉ_２ ^Ｐ，Ｉ_３ ^Ｐが独立でないと判断できるので、画像記憶部１０３に記憶された他の３枚のパノラマ画像の組み合わせを選択し、同様の処理を行う。画像記憶部１０３に記憶されたパノラマ画像のうちいずれの３枚を選択しても、行列式の値が０になるときは、ステップＳ１１に戻る。もちろん、パノラマ画像が２枚以下の場合も、ステップＳ１１に戻る。

以上のような処理を実行することによって、パノラマ画像合成部１０４において、画像間の独立性のある３枚のパノラマ画像が合成される。

図９は本実施形態に係るパノラマ画像合成方法によって合成したパノラマ画像の一例である。図９（ａ）は画像サイズが拡張される被拡張画像Ｉ０と光源方向の異なる３枚の画像Ｉ_１，Ｉ_２，Ｉ_３を示す。図９（ｂ）は上述した本実施形態の方法によって、図９（ａ）の４枚の画像Ｉ_０，Ｉ_１，Ｉ_２，Ｉ_３の重複領域を用いて、光源環境を画像Ｉ０に合わせるように合成したパノラマ画像である。また、図９（ｃ）は従来手法の１つであるヒストグラム一致法（詳細は「画像解析ハンドブック」、東京大学出版会、ｐｐ．４６３，１９９１を参照）によって、画像Ｉ_０，Ｉ_１を用いて、光源環境を画像Ｉ_０に合わせるように合成した画像である。

図９（ｂ）のパノラマ画像では、図９（ｃ）の画像と対比すると分かるように、輝度誤差が少なく、画像のつなぎ目がない。すなわち、本実施形態に係るパノラマ画像合成方法によると、光源方向の異なる画像が与えられても、輝度誤差の少ないパノラマ画像が合成される。

なお、本実施形態に係る方法によって合成されたパノラマ画像は、拡散反射画素のみによって構成されたパノラマ画像となる。このような画像をパノラマ基底画像と呼ぶ。

＜パノラマ画像を用いた物体検出＞
物体検出部１０５は、撮像画像補正部１０２から受けた画像について、パノラマ画像合成部１０４から入力された３枚のパノラマ画像を用いて、物体検出を行う。ここでの物体検出は、例えば、背景差分を用いればよい。

本実施形態における背景差分を用いた物体検出の例について、図７を用いて説明する。図７では、冷蔵庫２１とテーブル２２が置かれた部屋において、テーブル２２を撮影し、その画像から、テーブル２２に置かれた物体（空き缶２３）を検出する場合を示している。Ｉ_１ ^Ｐ，Ｉ_２ ^Ｐ，Ｉ_３ ^Ｐはパノラマ画像合成部１０４から入力されたパノラマ画像であり、背景として床、冷蔵庫２１およびテーブル２２を撮している。これら３枚のパノラマ画像Ｉ_１ ^Ｐ，Ｉ_２ ^Ｐ，Ｉ_３ ^Ｐは、物体検出を行う画像を撮す前に撮影された画像を用いて、すでに合成されている。いま、ＰＴカメラ２５によって、画像Ｉ_４が撮されたとする。画像Ｉ_４では、テーブル２２の上に空き缶２３が乗っている。

ここで、各パノラマ画像Ｉ_１ ^Ｐ，Ｉ_２ ^Ｐ，Ｉ_３ ^Ｐ から画像Ｉ_４の画像領域に対応する画像Ｉ_１，Ｉ_２，Ｉ_３を切り出し、これらの画像Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４を用いて、（式３）により線形係数ｃ_４＝［ｃ_４ ^１ ｃ_４ ^２ ｃ_４ ^３］^Ｔを算出する。画像Ｉ_４には背景以外の物（図７の例では空き缶２３）が存在している。このため、（式３）を用いて線形係数ｃ_４＝［ｃ_４ ^１ ｃ_４ ^２ ｃ_４ ^３］^Ｔを算出する際に、３点Ｐ１，Ｐ２，Ｐ３として背景以外の点が選択されてしまう（例えば、空き缶２３が映った領域に点Ｐ１，Ｐ２，Ｐ３が選択される）場合があり得る。この場合には、線形係数の算出が正しく行えない。ただし、例えばＲＡＮＳＡＣ（「MA.FischlerandR.C.Bolles,”Random sample consensus: a paradigm for model fitting with application to image analysis and automated cartography，Commun，Assoc，Comp，Mach,24，pp.381-395,1981」参照）を用いることによって、３点Ｐ１，Ｐ２，Ｐ３を４枚の画像全ての背景成分上で選択することができ、背景以外のものの影響を受けることなく、線形係数を算出することが可能となる（詳細は、「光学現象の分類基準を利用した画像の線形化」画像の認識・理解シンポジウム(MIRU2002)論文集，vol.2， pp．167−176, 2002を参照）。このように算出された線形係数ｃ_４および画像Ｉ_１，Ｉ_２，Ｉ_３の画素値を（式２）に代入することによって、現在の照明条件下において撮像された画像Ｉ_４に対する予測背景画像Ｉ_４ ^Ｅを作成することができる。そして、この予測背景画像Ｉ_４ ^Ｅと元の画像Ｉ_４との画素値の差分が所定の閾値よりも大きい領域を、物体領域として検出する。

そして、検出物体表示部１０６は、物体検出部１０５によって検出された物体の領域を例えばモニタなどの表示装置に表示する。

以上のように本実施形態によると、線形化を用いた画像拡張によって、画像全体にわたって光源環境が一定のパノラマ画像を生成することができる。そして、このようなパノラマ画像を複数枚用いることによって、任意の光源環境において撮影した画像から、背景差分による物体検出を行うことが可能になる。

なお、本実施形態では、（式３）を用いて線形係数の算出を行うものとしたが、（式３）は選択した３点Ｐ_１，Ｐ_２，Ｐ_３の画素が全て拡散反射であることを仮定した式である。実環境においては、鏡面反射等の拡散反射以外の成分が画像に含まれるので、（式３）が必ずしも成り立たない可能性がある。ただし、尺長らの方法（詳細は「光学現象の分類基準を利用した画像の線形化」，画像の認識・理解シンポジウム(MIRU2002)論文集，vol.2， pp．167−176, 2002を参照）を用いることによって、これら拡散反射画素以外の画素値の影響を受けずに、３点Ｐ_１，Ｐ_２，Ｐ_３の画素が全て拡散反射画素となるような選択を行うことが可能になる。

また本実施形態では、光源を平行光源と仮定したため、パノラマ画像合成や物体検出の際に４枚の画像を用いることによって、正しい線形係数を算出することができた。ところが、実環境下の光源には相互反射等の環境光が含まれるため、線形係数の算出を４枚の画像を用いて行った場合、実際の画像に対して誤差が大きい線形化画像しか得られない可能性がある。ただし、このような環境光が含まれる光源条件下であっても、５枚よりも多くの画像を用いることによって、線形係数の算出を精度良く行うことができ、本実施形態と同様に、画像の線形化を用いた画像拡張や物体検出を行うことが可能となる。例えば、環境光が含まれる場合であっても、４〜９枚の画像を用いて、誤差の少ない線形化画像を作成できることが、すでに報告されている（詳細は、「双方向反射分布関数の周波数特性に基づく反射成分の分離」，情報処理学会研究報告, CVIM 2002-134-1, pp.1-8,2002を参照）。

（第２の実施形態）
上述したように、実環境で撮像される画像には拡散反射画素以外の画素が多く含まれる。これらの画素は、画像合成処理においてノイズとなり、生成されるパノラマ画像の輝度誤差が大きくなる原因となる。また、重複領域を持つ画像群の独立性が低い場合にも、パノラマ画像の輝度誤差が大きくなる原因となる。このため、例えば監視システムのような、画像が逐次入力されるシステムでは、新たな入力画像を用いたときに、すでに生成されているパノラマ画像よりも輝度誤差が少ないパノラマ画像を得ることができる場合には、パノラマ画像を更新することが好ましい。これにより、拡散反射画素以外の画素によるノイズの影響を最小限に抑えることができる。

本発明の第２の実施形態では、第１の実施形態の構成に加えて、パノラマ画像を適宜更新するものである。本実施形態に係る物体検出装置の構成は、図１と同様であるが、パノラマ画像合成部１０４において、パノラマ画像の更新を行う点が異なる。図８は本実施形態におけるパノラマ画像合成部１０４の動作を示すフローチャートである。図８において、図４と共通のステップには図４と同一の符号を付しており、ここではその詳細な説明を省略する。第１の実施形態と異なるのは、パノラマ画像を更新するか否かを判定するステップＳ２１を備えている点である。

すなわち、ステップＳ２１において、画像記憶部１０３に新たな画像が入力されたとき、重複画像群の再選択を行い、同じ重複領域を持つ、新重複画像群と旧重複画像群とで画像合成の好適性を比較する。そして、新重複画像群の方が、画像合成に好適であると判断したときは、パノラマ画像を更新すると判定し（Ｓ２１でＹｅｓ）、ステップＳ１１以降の処理に進む。一方、そうでないときは（Ｓ２１でＮｏ）、パノラマ画像の更新を行わない。

ここで、新重複画像群とは、画像記憶部１０３に新たな画像が入力されたときの、新たな入力画像とそれまでに記憶されている画像とを組み合わせた重複画像群を示す。組み合わせ方法は、ステップＳ１１においてすでに説明したような条件および方法を用いて、実現することができる。

画像合成の好適性を判断する方法としては、例えば、新重複画像群および旧重複画像群を用いて、それぞれ、ステップＳ１２〜Ｓ１４までの処理を行って合成画像を作成し、作成された合成画像における拡散反射画素の個数を比較し、その個数が多い方を好適性ありとすればよい。拡散反射画素の検出は、例えば、ある閾値以下の画素値を持つ画素を陰影画素とし、また、ある閾値以上の画素値を持つ画素を鏡面反射画素とし、これら陰影画素および鏡面反射画素を除いた画素の総和を、拡散反射画素の個数とすればよい。

また、画像合成の好適性を判断する他の方法としては、例えば、各重複画像群の拡散反射画素の総数を用いて画像合成の好適性を判断してもよい。ステップＳ１２において線形係数を算出する際、算出に用いる画素に陰影画素や鏡面反射画素が選択された場合、正しい線形係数を算出することができない。よって、用いる重複画像のＡ領域において拡散反射画素の個数が多いほど、正しい線形係数の算出が期待できる。すなわち、新重複画像群のＡ領域における各画像の拡散反射画素の総数が旧重複画像群のＡ領域における各画像の拡散反射画素の総数よりも多いとき、パノラマ画像の更新を行うようにすればよい。

また、画像合成の好適性を判断する他の方法としては、例えば、画像間の独立性を用いて、画像合成の好適性を判断してもよい。すなわち、旧重複画像群に対して新重複画像群の方が、画像間の独立性が高いとき、パノラマ画像の更新を行うようにすればよい。画像間の独立性の判定は、例えば、ステップＳ１３において説明した方法（条件数を算出し、条件数が小さいほど独立性が高いと判定）によって実現できる。また、旧重複画像群で線形係数を算出する際に用いた３点の座標位置と同じ座標位置における輝度値を用いて新重複画像群の条件数の算出を行い、算出された新重複画像群の条件数が旧重複画像群の条件数よりも小さいとき、パノラマ画像の更新を行うようにしてもよい。

このように本実施形態によると、画像合成により好適な重複画像群が得られたときにパノラマ画像が更新されるので、より輝度誤差の少ないパノラマ画像を作成することが可能となる。したがって、物体検出の精度もより向上させることができる。

（第３の実施形態）
上述したパノラマ画像合成方法では、線形係数算出の計算を逐次的に繰り返すことによって、画像を拡張する。しかし、このような画像拡張では、輝度誤差の評価は各々のＡ領域において逐次的にしか行えないため、計算を繰り返して画像を拡張していくと、画像中に含まれるノイズや量子化誤差などが蓄積されていく。これは、最終的に合成されるパノラマ画像の輝度誤差が大きくなる原因になる。このため、所望の画像サイズに拡張するまでに用いる画像の組み合わせが複数通り考えられる場合は、このような繰り返し計算による誤差の蓄積を最小限に抑えるように、画像合成を行うことが好ましい。これにより、より輝度誤差の少ないパノラマ画像が得られ、物体検出の精度も向上する。

本発明の第３の実施形態では、第１の実施形態の構成に加えて、パノラマ画像合成時における繰り返し演算による誤差を軽減するものである。本実施形態に係る物体検出装置の構成は図１と同様であるが、画像記憶部１０３に、いわゆる評価画像群が存在する場合、パノラマ画像合成部１０４は、第１の実施形態とは異なる処理方法によって、線形係数の算出を行う。

ここで「評価画像群」とは、「被拡張画像と重複画像群として連結された画像群において、被拡張画像と同一の光源環境を持つ画像が少なくとも１枚存在する画像群」と定義する。もう少し具体的に説明すると、ある被拡張画像Ｉ_０と本発明の重複画像群を構成するＮ枚の画像をまず特定し、次に、このＮ枚の画像のＢ領域を被拡張画像としたときにこれと重複画像群を構成するＮ枚の画像を特定し、さらに、このＮ枚の画像のＢ領域と重複画像群を構成するＮ枚の画像を特定する、というように、重複画像群を構成するＮ枚の画像を、連結するように、順次特定していく。そして、最後に特定したＮ枚の画像が、元の被拡張画像Ｉ_０と光源環境が同一である画像と重複したとき、それまでに特定した複数組のＮ枚の画像と元の被拡張画像Ｉ_０とを、「評価画像群」とする。

この評価画像群を用いることによって、複数のＡ領域を併せて用いて輝度誤差の評価を行うことが可能となり、各Ａ領域で逐次的に輝度誤差の評価を行いつつ画像を拡張した第１の実施形態に比べて、輝度誤差の少ないパノラマ画像の合成が可能となる。

なお、ここでは、元の被拡張画像と光源環境が同一の画像として、元の被拡張画像自体を用いるものとする。元の被拡張画像とは別の画像を用いる例については、後述する。

図１０は具体的な評価画像群の例を示す。図１０は画像Ｉ_０に対して評価画像群（Ｉ_４，Ｉ_５，Ｉ_６）（Ｉ_７，Ｉ_８，Ｉ_９）が存在している最も単純な例である。（Ｉ_４，Ｉ_５，Ｉ_６）（Ｉ_７，Ｉ_８，Ｉ_９）は同じ画角を持つ画像群であり、これらを１枚の画像として模式的に表したものを図１１に示す。図１１において、Ｉ_０は２個の重複画像群で連結されており（Ａ_４５６ ^１＋Ｂ_４５６ ^１を持つ（Ｉ_４，Ｉ_５，Ｉ_６）、およびＡ_７８９ ^１＋Ｂ_７８９ ^４５６を持つ（Ｉ_７，Ｉ_８，Ｉ_９））、Ａ_４５６ ^１とＡ_７８９ ^１は同じ画像Ｉ_０に属しているので、連結された画像群内に、被拡張画像と光源環境が同一である画像が存在しているといえる（共に画像Ｉ_０）。よって、Ｉ_０および（Ｉ_４，Ｉ_５，Ｉ_６）（Ｉ_７，Ｉ_８，Ｉ_９）は画像Ｉ_０に対する評価画像群であるといえる。

図１２は本実施形態におけるパノラマ画像合成部１０４の動作を示すフローチャートである。図１２において、図４と共通のステップには図４と同一の符号を付しており、ここではその詳細な説明を省略する。第１の実施形態と異なるのは、評価画像群が存在するか否かを判定するステップＳ３１、および評価画像群が存在する場合に誤差の少ない線形係数を算出するステップＳ３２を備えている点である。

すなわち、ステップＳ３１において、画像記憶部１０３に記憶された画像の中から、評価画像群の有無の判定を行う。そして、評価画像群があったときは（Ｓ３１でＹｅｓ）、この評価画像群に属する画像を利用して誤差の少ない線形係数の算出を行う（Ｓ３２）。一方、そうでないときは（Ｓ３１でＮｏ）、第１の実施形態と同様に、ステップＳ１１以降の処理を行う。

評価画像群の有無の具体的な判定方法を図１３および図１４を用いて説明する。図１３は、画像Ｉ_０に対してＩ_０ＧからＩ_ｎ−１Ｇのｎ組で構成された評価画像群の一例である（光源環境が同一である画像が共に被拡張画像Ｉ_０であるケース）。このＩ_ｋＧはｋ番目の画像群Ｉ_ｋを表している。また、ｋ番目のＡ領域をＡ_ｋ、ｋ番目のＢ領域をＢ_ｋと表している（ｋ＝０,１,…，ｎ）。また、図１４は評価画像群判定ステップＳ３１の具体的な処理の流れを示すフローチャートである。以下、図１４を用いてＳ３１の処理の流れを説明する。

まず、ステップＳ４１において、画像記憶部１０３に記憶された画像の中から、任意の１枚の画像Ｉ_０を選択する。

次に、ステップＳ４２において、ステップＳ４１で画像記憶部１０３に記憶された全ての画像が選択されたか否かの判定を行う。判定方法としては、ステップＳ４１で選択した画像Ｉ_０の履歴をメモリに記憶しておき、画像記憶部１０３に記憶された画像との参照を行うことにより判定することができる。判定の結果、既に全ての画像の選択を行っていたときは（Ｓ４２でＹｅｓ）、評価画像群なしと判定する（Ｓ５０）。

全ての画像をまだ選択していないと判定したとき（Ｓ４２でＮｏ）、ステップＳ４３において、ステップＳ４１で選択した画像Ｉ_０に対して、Ａ＋Ｂ領域を持つ画像群が少なくとも２組存在するか否かを判定する。ここでの判定は、第１の実施形態で述べた重複領域の検出方法を用いて実現できる。判定の結果、画像群が２組以上存在しないときは（Ｓ４３でＮｏ）、ステップＳ４１に戻り、画像Ｉ_０の再選択を行う。一方、画像群が少なくとも２組存在するときは（Ｓ４３でＹｅｓ）、ステップＳ４４においてｋに０を代入する。

次に、ステップＳ４５において、ステップＳ４３で判定された画像群のうちの１組（Ａ_ｋ，Ｂ_ｋ）を選択し、選択した画像群のＢ_ｋ領域内にさらに少なくとも１組のＡ＋Ｂ領域を持つ画像群（Ａ_ｋ＋１，Ｂ_ｋ＋１）が存在するか否かを判定する。ここでの判定も、第１の実施形態で述べた重複領域の検出方法を用いて実現できる。ここで、新たな画像群が存在しないと判定されたときは（Ｓ４５でＮｏ）、ステップＳ４１に戻り、画像の再選択を行う。

新たな画像群（Ａ_ｋ＋１，Ｂ_ｋ＋１）が存在するとき（Ｓ４５でＹｅｓ）、ステップＳ４６において、Ｂ_ｋ＋１領域内にＡ_ｎが存在するか否かを判定する。ここで、Ａ_ｎとは、ステップＳ４３で検出された画像群のうち、ステップＳ４５で選択されなかった画像群のＡ領域を指す。Ｂ_ｋ＋１にＡ_ｎが存在するときは（Ｓ４６でＹｅｓ）、評価画像群ありと判定し、処理を終了する。

一方、Ｂ_ｋ＋１にＡ_ｎが存在しなかったときは（Ｓ４６でＮｏ）、ｋが閾値ｔよりも小さいか否かを判定し（ステップＳ４８）、ｋが閾値ｔよりも小さいときは（Ｓ４８でＹｅｓ）、ｋをインクリメントし（ステップＳ４９）、ステップＳ４５に戻って処理を繰り返す。一方、ｋが閾値ｔよりも小さくないときは（Ｓ４８でＮｏ）、ステップＳ４１にもどり、画像Ｉ_０の再選択を行う。

ここで、繰り返し回数の閾値ｔは、例えば次のようにして決定すればよい。すなわち、画像記憶部１０３に記憶されている全撮像画像数がａ枚とすると、ａを、重複画像群中のＢ領域を持つ画像の数Ｎ（各実施形態の説明では３）で除したときの商の値を、閾値ｔとして用いればよい。

なお、画像Ｉ_０に対して評価画像群が複数個、存在するときは、その評価画像群に存在する各Ｂ領域におけるＮ枚の画像の独立性が、最も高いものを、選択してもよい。例えば、各Ｂ領域において第１の実施形態で述べた行列Ｄの条件数の計算を行い、この条件数の値が各Ｂ領域において閾値以下であり、かつ、各Ｂ領域における条件数の値の総和が最も小さい評価画像群を、独立性が最も高いものとして、選択すれば良い。これにより、輝度誤差がより少ないパノラマ画像を合成することができる。

また、画像Ｉ_０に対して評価画像群が複数個、存在するとき、その評価画像群が占める画像領域における画素数が、最も多いものを、選択してもよい。これにより、最終的なパノラマ画像を合成するまでの計算回数が少なくなり、パノラマ画像の輝度誤差をより少なくすることができる。

以上のように、ステップＳ４１〜Ｓ５０の処理を行うことによって、ステップＳ３１における評価画像群の有無を判定することができる。

次に、Ｓ３２において、Ｓ３１で選択された評価画像群を用いて、繰り返し計算による誤差の蓄積が小さい線形係数の算出を行う。算出方法としては、例えば評価画像群内の各Ａ領域において複数の線形係数組を算出しておき、それらの係数組の組み合わせの中から最も輝度誤差が小さくなる係数組を選択すればよい。この処理の流れを図１３を用いて説明する。

図１３において、Ｃ_ｋ−１ ^ｋを、ｋ−１番目の画像群とｋ番目の画像群との線形係数組を表す記号として用いると、各画像間には以下の式が成り立つ。
Ｉ_０ ＝Ｃ_０ ^１Ｉ_１Ｇ （式４）
Ｉ_１Ｇ＝Ｃ_１ ^２Ｉ_２Ｇ （式５）
・・・
Ｉ_{（ｎ−１）Ｇ}＝Ｃ_ｎ−１ ^ｎＩ_ｎＧ （式６）

ここで、（式４）〜（式６）において、複数個（Ｎ個）の係数組Ｃ_ｋ−１ ^ｋを求めておく。一方、（式４）〜（式６）より、
Ｉ_０＝Ｃ_０ ^１Ｃ_１ ^２…Ｃ_ｎ−１ ^ｎＩ_ｎＧ （式７）
が成り立つ。ここで、評価画像群が存在する場合には、（式７）により求まった画像Ｉ_０（Ｉ_０ ^Ｌとする）と現実の被拡張画像Ｉ_０との画素値を、Ａ_ｎ領域において直接比較できる。このため、（式８）の評価式に従い、評価値ｅ＿ｖａｌが最も高くなる係数組を求めることにより、パノラマ画像合成を行う際の繰り返し計算による誤差の蓄積が最小となるような線形係数の算出を行うことができる。評価関数Ｅ_ｋ（Ａ_ｋ）は、ｋ番目のＡ領域におけるＩ_ｋとＩ_ｋ ^Ｌとの画素値の差分が閾値以下の画素数の総和（ｅ＿ｖａｌ）を求めればよい。

すなわち、（式８）により、最も評価値ｅ＿ｖａｌが高くなる係数組Ｃ_ｋ−１ ^ｋの組み合わせを、各Ａ領域で算出したＮ個の係数組の組み合わせから選択すればよい。

以上、Ｓ３２における最適な線形係数の算出方法について説明した。以下、具体的な算出例を、図１１を用いて説明する。

図１１において、Ｉ_１と（Ｉ_４，Ｉ_５，Ｉ_６）には、次の式が成り立つ。

また、（Ｉ_４，Ｉ_５，Ｉ_６）と（Ｉ_７，Ｉ_８，Ｉ_９）には、次の式が成り立つ。

一方、Ｉ_１と（Ｉ_７，Ｉ_８，Ｉ_９）には、（式９）、（式１０）より次の式が成り立つ。

ここで、ｉ_ｋはＩ_ｋにおける画素値を表している。はじめに（式９）を用いてＡ_４５６ ^１において３通りの係数組ｃ_１を求める。同様に（式１０）を用いてＡ_７８９ ^４５６領域において３通りの係数組ｃ_４，ｃ_５，ｃ_６を求める。これは例えばＲＡＮＳＡＣを用いて（式８）で示した評価値ｅ＿ｖａｌの高い上位３組の係数組を求めればよい。これにより（式９）から（式１１）では各々３組のｃ_１，ｃ_４，ｃ_５，ｃ_６の係数組の組み合わせにより、全８１通りのＩ_ｋ ^Ｌが算出される。次にこの８１通りの中で（式１２）に示される評価値ｅ（各Ａ領域でのｅ＿ｖａｌの総和）が最も高い係数組の組み合わせを選択する。

図１５は本実施形態に係るパノラマ画像合成の過程を説明する図である。被拡張画像Ｉ_０は、重複領域Ａ_０を用いて領域１まで拡張される。同様に、重複領域域Ａ_１を用いて領域２まで拡張され、重複領域Ａ_２を用いて領域３まで拡張される。各領域を拡張するにあたり、算出する線形係数の上位３組を保持し、最終的な評価値が最も高くなる線形係数の組み合わせを選択する。ここでは、Ａ領域における合成画像Ｉ_ｋ ^Ｌと合成に用いた画像Ｉ_ｋとの輝度誤差（輝度値の差分値が２以下）が最も少なくなるようにした。

図１６は図１５を用いて説明した方法で合成したパノラマ画像である。図１６（ａ）は被拡張画像Ｉ_０、図１６（ｂ）は本実施形態によって生成されたパノラマ画像Ｉ_ｐである。図１６（ｂ）を見ると分かるように、輝度誤差の無い良好なパノラマ画像が得られている。

図１７は第１の実施形態と本実施形態との比較結果を示す。図１７は、各実施形態で合成されたパノラマ画像について、正解画像を基準にしたときの、輝度の平均２乗誤差および誤差の分散を表している。図１７から、本実施形態によって生成されたパノラマ画像は第１の実施形態によって生成されたパノラマ画像に比べ、誤差が少なく、誤差の分散が小さいことが分かる。これは、第３の実施形態に係るパノラマ画像合成方法の有効性を示している。

なお、Ｓ３２では、各Ａ領域で評価値ｅ＿ｖａｌが高い係数組を複数保持し、それらの係数組の組合せにおいて最も評価値ｅが高くなる係数組の組合せを最適な線形係数として算出したが、他の最適な線形係数の算出方法としては、例えば、各Ａ領域で複数の線形係数組を算出して保持する代わりに、全てのＡ領域で同時に３点の画素値の選択を行って線形係数の算出を行い、算出された線形係数を（式８）を用いて評価を行い、これを複数回繰り返す中で最も評価値ｅ＿ｖａｌの高い係数の組み合わせを選択しても良い。

また、Ｓ３２における他の最適な線形係数の算出方法としては、例えば、（式４）〜（式６）の各領域で算出した線形係数を用いて算出した画素値と、元の被拡張画像の画素値との２乗誤差が最少となるように、線形係数を求めてもよい。具体的には、例えば線形係数の初期値として、各Ａ領域で求めた最も評価の高い線形係数を用い、勾配法を用いて（式１２）に示す誤差関数Ｅを最少にする係数組を求めれば良い（詳細は「Numerical Recipes in C 日本語版」,ｐｐ.２９２−２９５,株式会社技術評論社,１９９３）。この２乗誤差関数を（式１３）に示す。ｉ_ａ ^ｂは画像Ｉ_ａにおけるｋ番目の画素位置における画素値を示し、ｌ，ｍ，ｎは各Ａ領域の画素数を示す。

なお、ここまでは、評価画像群において、元の被拡張画像と光源環境が同一である画像が、被拡張画像自体である場合を例にとって、説明を行った。ただし、一般的には、図１８に示すように、評価画像群において、被拡張画像Ｉ_０と光源環境が同一である画像は、画像Ｉ_０と異なる画像Ｉ_ｎであってもかまわない。この場合、評価画像群の存在の有無を判定するステップＳ３１における処理の流れが、図１４のフローとは、若干異なる。

図１９は被拡張画像Ｉ_０と光源環境が同一である画像が、被拡張画像Ｉ_０と異なる画像Ｉ_ｎである場合のステップＳ３１の処理を示すフローチャートである。図１９において、図１４と共通のステップには図１４と同一の符号を付しており、ここではその詳細な説明を省略する。図１４の処理と異なるのは、被拡張画像Ｉ_０と光源環境が同一である画像Ｉ_ｎを検出する点である（検出対象画像には画像Ｉ_０も含まれるので、必ず１枚以上は存在する）。

まず、ステップＳ４１において、画像記憶部１０３に記憶された画像の中から、任意の１枚の画像Ｉ_０を選択する。

次に、ステップＳ６１では、ステップＳ４１で選択された画像Ｉ_０と同一の光源環境の画像Ｉ_ｎの検出を行う。具体的な検出方法としては、例えば、測定対象領域に測定対象物を設置し、その変化を調べるようにしてもかまわない。これは、例えば完全拡散反射を起し、鏡面反射を生じない硫酸バリウムやスペクトラロンの物体を置くようにしてもかまわない。

また、時間変化によって光源環境は変化すると考えられるので、一定時間経過ごとに光学環境が変化したと判断してもかまわない。これは、例えば窓などにより太陽光が入り込んでくる環境において特に有効である。

また、鏡面球を使って光源状態を撮像し、その変化を検出するようにしてもよい。もちろん、広角カメラを天井方向に向けて光源状態を撮影してもかまわない。

また、撮像領域内において、最も輝度が高い画素の位置を認識し、その位置が動いた際には光源環境が変化したと判断するようにしても構わない。これは、最も輝度が高い画素は鏡面反射を起していると考えられるため、この位置が動くことを検出することで光源位置の変化を検出するものである。

次に、ステップＳ４２において、ステップＳ４１で画像記憶部１０３に記憶された全ての画像が選択されたか否かの判定を行う。判定の結果、既に全ての画像の選択を行っていたときは（Ｓ４２でＹｅｓ）、評価画像群なしと判定する（Ｓ５０）。

全ての画像をまだ選択していないと判定したとき（Ｓ４２でＮｏ）、ステップＳ６２において、ステップＳ４１で選択した画像Ｉ_０に対して、Ａ＋Ｂ領域を持つ画像群が少なくとも１組存在するかを判定する。判定の結果、画像群が１組も存在しないときは（Ｓ６２でＮｏ）、ステップＳ４１に戻り、画像Ｉ_０の再選択を行う。一方、画像群が少なくとも１組存在するときは（ステップＳ６２でＹｅｓ）、ステップＳ４４においてｋに０を代入する。

次に、ステップＳ４５において、ステップＳ６２で判定された画像群の中から１組の画像群（Ａ_ｋ，Ｂ_ｋ）を選択し、選択した画像群のＢ_ｋ領域内にさらに少なくとも１組のＡ＋Ｂ領域を持つ画像群（Ａ_ｋ＋１，Ｂ_ｋ＋１）が存在するか否かを判定する。ここで、新たな画像群が存在しないと判定されたときは（Ｓ４５でＮｏ）、ステップＳ４１に戻り、画像の再選択を行う。

新たな画像群（Ａ_ｋ＋１，Ｂ_ｋ＋１）が存在するとき（Ｓ４５でＹｅｓ）、ステップＳ６３において、Ｂ_ｋ＋１領域内に画像Ｉ_ｎとの重複領域（Ａ_ｎ）が存在するか否かを判定する。存在するときは（Ｓ６３でＹｅｓ）、評価画像群ありと判定し、処理を終了する。

一方、Ｂ_ｋ＋１に画像Ｉ_ｎとの重複領域が存在しなかったときは（Ｓ６３でＮｏ）、ｋが閾値ｔよりも小さいか否かを判定し（ステップＳ４８）、ｋが閾値ｔよりも小さいときは（Ｓ４８でＹｅｓ）、ｋをインクリメントし（ステップＳ４９）、ステップＳ４５に戻って処理を繰り返す。一方、ｋが閾値ｔよりも小さくないときは（Ｓ４８でＮｏ）、ステップＳ４１にもどり、画像Ｉ_０の再選択を行う。

このように、評価画像群において、被拡張画像Ｉ_０と光源環境が同一である画像が被拡張画像Ｉ_０と異なる画像であった場合でも、図１９に示す処理によって、評価画像群の有無を判定することができる。

このように本実施形態によると、評価画像群が存在するか否かを判定するステップＳ３１、および評価画像群が存在する場合に誤差の少ない線形係数を算出するステップＳ３２により、画像合成を行う際の繰り返し計算による誤差の蓄積を最小限に抑えるような線形係数の算出を行うことができるので、より輝度誤差の少ないパノラマ画像合成を行うことができ、物体検出の精度も向上する。

本発明では、光源環境が一定のパノラマ画像を合成でき、このパノラマ画像を複数枚用いることによって、任意の光源環境において撮影した画像から物体検出を行うことができるので、例えば、屋外等の光環境が頻繁に変化するような場所の、監視システムにおける侵入者検出等に有用である。

本発明の第１の実施形態に係る物体検出装置の構成図である。 カメラの位置・姿勢を定義する座標系を示す図である。 パノラマ投影面座標系への座標変換方法を示す図である。 図１のパノラマ画像合成部の動作であり、本発明の第１の実施形態に係るパノラマ画像合成方法を示すフローチャートである。 選択された重複画像群の一例を示す模式図である。 線形化係数の算出方法を説明するための図である。 パノラマ画像を用いた物体検出を示す図である。 本発明の第２の実施形態に係るパノラマ画像合成方法を示すフローチャートである。 本発明の第１の実施形態に係るパノラマ画像合成方法を用いて合成したパノラマ画像の一例を示す図である。 評価画像群の例を示す図である。 図１０を模式的に表した図である。 本発明の第３の実施形態に係るパノラマ画像合成方法を示すフローチャートである。 評価画像群の一例の模式図である。 評価画像群の判定処理を示すフローチャートである。 パノラマ画像合成の過程を説明する図である。 パノラマ画像の例である。 第１の実施形態と第３の実施形態との比較結果である。 評価画像群の一例の模式図である。 評価画像群の判定処理を示すフローチャートである。

符号の説明

１１ Ａ領域（第１の領域）
１２ Ｂ領域（第２の領域）
２３ 空き缶（物体）
１０１ 撮像部
１０２ 撮像画像補正部
１０３ 画像記憶部
１０４ パノラマ画像合成部
１０５ 物体検出部
１０６ 検出物体表示部

Claims (16)

1. 第１の重複領域を共通に持ち、かつ、前記第１の重複領域以外の第２の重複領域を持つＮ（Ｎは３以上の整数）枚の画像と、前記第２の重複領域を持たない被拡張画像とからなる重複画像群を、取得するステップと、
   前記被拡張画像の線形係数を、前記第１の重複領域における前記重複画像群の画像それぞれの画素値を用いて、算出するステップと、
   前記線形係数と、前記第２の重複領域における前記Ｎ枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを、前記第２の重複領域まで拡張するステップとを備え、
   サイズが拡張された前記被拡張画像を基にして、パノラマ画像を合成する
   ことを特徴とするパノラマ画像合成方法。
2. 請求項１において、
   前記Ｎ枚の画像として、光源環境が互いに異なっている画像を、取得する
   ことを特徴とするパノラマ画像合成方法。
3. 請求項１において、
   算出した前記被拡張画像の線形係数の信頼性を判定するステップを備え、
   信頼性が低いと判定したとき、重複画像群の再取得を行う
   ことを特徴とするパノラマ画像合成方法。
4. 請求項１において、
   前記取得ステップは、画像記憶部に記憶された画像の中から、重複画像群を選択するものであり、
   前記画像記憶部に新たな画像が入力されたとき、重複画像群の再選択を行い、この新重複画像群と旧重複画像群とで画像合成の好適性を比較し、この比較結果を基にして、パノラマ画像を更新するか否かを判定する
   ことを特徴とするパノラマ画像合成方法。
5. 請求項４において、
   画像合成の好適性を、拡散反射画素の個数を用いて、判断するものであり、
   新重複画像群の方が、拡散反射画素の個数が多いとき、パノラマ画像の更新を行う
   ことを特徴とするパノラマ画像合成方法。
6. 請求項４において、
   画像合成の好適性を、画像間の独立性を用いて、判断するものであり、
   新重複画像群の方が、画像間の独立性が高いとき、パノラマ画像の更新を行う
   ことを特徴とするとするパノラマ画像合成方法。
7. 請求項１のパノラマ画像合成方法によって、検出対象画像の撮影範囲を含む複数のパノラマ画像を生成するステップと、
   前記検出対象画像と前記複数のパノラマ画像とを基にして、前記検出対象画像と光源環境が同一の予測背景画像を生成するステップと、
   前記検出対象画像と前記予測背景画像とを対比し、物体検出を行うステップとを備えた
   ことを特徴とする物体検出方法。
8. 請求項７において、
   前記複数のパノラマ画像は、少なくとも３枚である
   ことを特徴とする物体検出方法。
9. 請求項１において、
   前記取得ステップにおいて、同一の前記第１の重複領域を持つ前記重複画像群が、複数個あるとき、各重複画像群について、算出される線形係数の信頼性を評価し、信頼性が最も高いものを選択する
   ことを特徴とするパノラマ画像合成方法。
10. 請求項１において、
    被拡張画像に対して、評価画像群が存在するか否かを、判定するステップを備え、
    評価画像群が存在するとき、この評価画像群を用いて、前記被拡張画像の線形係数を算出する
    ことを特徴とするパノラマ画像合成方法。
11. 請求項１０において、
    前記評価画像群が複数個、存在するとき、当該評価画像群に含まれた前記第２の重複領域における画像の独立性が、最も高いものを、選択する
    ことを特徴とするパノラマ画像合成方法。
12. 請求項１０において、
    前記評価画像群が複数個、存在するとき、当該評価画像群が占める画像領域における画素数が、最も多いものを、選択する
    ことを特徴とするパノラマ画像合成方法。
13. 第１の重複領域を共通に持ち、かつ、前記第１の重複領域以外の第２の重複領域を持つＮ（Ｎは３以上の整数）枚の画像と、前記第２の重複領域を持たない被拡張画像とからなる重複画像群を、取得する手段と、
    前記被拡張画像の線形係数を、前記第１の重複領域における前記重複画像群の画像それぞれの画素値を用いて、算出する手段と、
    前記線形係数と、前記第２の重複領域における前記Ｎ枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを、前記第２の重複領域まで拡張する手段とを備え、
    サイズが拡張された前記被拡張画像を基にして、パノラマ画像を合成する
    ことを特徴とするパノラマ画像合成装置。
14. 撮像部と、
    前記撮像部によって撮像された画像に対して、幾何学的補正および光学的補正を行う撮像画像補正部と、
    前記撮像画像補正部によって補正された画像を記憶する画像記憶部と、
    前記画像記憶部に記憶された画像を入力とする請求項１３のパノラマ画像合成装置とを備え、
    前記パノラマ画像合成装置は、前記重複画像群を、前記画像記憶部に記憶された画像の中から取得するものである
    ことを特徴とする撮像装置。
15. 請求項１４の撮像装置と、
    前記撮像装置が備えた前記パノラマ画像合成装置によって合成されたパノラマ画像を用いて、物体検出を行う物体検出部と、
    前記物体検出部によって検出された物体の領域を表示する検出物体表示部とを備えた
    ことを特徴とする物体検出装置。
16. コンピュータに、パノラマ画像合成を実行させるプログラムであって、
    第１の重複領域を共通に持ち、かつ、前記第１の重複領域以外の第２の重複領域を持つＮ（Ｎは３以上の整数）枚の画像と、前記第２の重複領域を持たない被拡張画像とからなる重複画像群を、取得するステップと、
    前記被拡張画像の線形係数を、前記第１の重複領域における前記重複画像群の画像それぞれの画素値を用いて、算出するステップと、
    前記線形係数と、前記第２の重複領域における前記Ｎ枚の画像それぞれの画素値を用いて、前記被拡張画像のサイズを、前記第２の重複領域まで拡張するステップと、
    サイズが拡張された前記被拡張画像を基にして、パノラマ画像を合成するステップとを、
    コンピュータに実行させるパノラマ画像合成プログラム。