JP4340722B2

JP4340722B2 - 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体

Info

Publication number: JP4340722B2
Application number: JP28738498A
Authority: JP
Inventors: 俊一竹内; 伸幸田中; 英義富永
Original assignee: Panasonic Corp; National Institute of Information and Communications Technology; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; National Institute of Information and Communications Technology; Panasonic Holdings Corp
Priority date: 1998-09-25
Filing date: 1998-09-25
Publication date: 2009-10-07
Anticipated expiration: 2018-09-25
Also published as: JP2000099740A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数枚の部分画像を入力し、それらを貼り合わせて一枚の画像に統合する画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体画に関する。特には、複数枚のステレオ画像を入力し、それらを貼り合わせて歪みの少ない一枚の画像に統合する画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体画に関する。
【０００２】
【従来の技術】
近年、スキャナからでなくＣＣＤ（Charge Coupled Device ）カメラのようなカメラで撮影した複数枚の画像を貼り合わせて一枚の画像を高精細画像として生成する画像合成方法に関する研究開発が盛んに行われている。
【０００３】
図１１は、従来の高精細静止画入力装置における画像合成方法を示す。この画像合成方法では、複数の画像１１１〜１１４を、それぞれの画像の重複部（図中斜線で示した部分）に基づいて、一枚の画像を生成している。すなわち、図１１に示した従来の高精細静止画入力装置における画像合成方法では、重複部のある画像間の射影変換パラメータ（ｈ１〜ｈ８）を推定し、図１１に示すように、画像１１１、画像１１２、画像１１３、画像１１４の順で、順次重ね合わせて行くことにより入力画像１１１〜１１４を合成する。
【０００４】
この画像間の射影変換パラメータ（ｈ１〜ｈ８）の推定は、
【数１】
|x"| | h1 h2 h3 | |x|
|y"| = | h4 h5 h6 | * |y|
|w | | h7 h8 1 | |1|
（ここで、記号 | | は行列を示す）
で示される行列式の３行３列の行列の各パラメータ（ｈ１〜ｈ８）を推定して行う。
【０００５】
すなわち、画像ｎ上の座標（ｘ，ｙ）の点が、
【数２】
ｘ’＝ｘ’’／ｗ
ｙ’＝ｙ’’／ｗ
で示される画像ｎ＋１乗の（ｘ’，ｙ’) に変換される時、［数１］に示した行列式が成り立つように、射影変換パラメータ（ｈ１〜ｈ８）を推定して決定する。このようにして、従来の画像合成方法においては、上述の［数１］及び［数２］に基づいて、射影変換行列( パラメータ) を推定することによって、画像１１１〜１１４の位置合わせを行い、複数の画像１１１〜１１４を貼り合わせて１つの画像に統合している。
【０００６】
図１２は、従来の画像入力装置を示す。この画像入力装置は、ＣＣＤカメラ、ディジタルスチルカメラ等のカメラを用いた静止画の画像入力装置である。図１２において、この画像入力装置は、静止画１２７を複数枚の部分画像として撮影するＣＣＤカメラ等のカメラ部１２１と、カメラ部１２１によって撮影された複数の画像を蓄積する画像蓄積部１２２と、生成された統合画像と画像蓄積部１２２に蓄積されている次に統合される画像との間で対応点を探索する対応点探索部１２３と、対応点探索部１２３で探索された対応点から射影変換行列（［数１］）のパラメータを推定する射影変換行列推定部１２４と、射影変換行列に基づいて画像の貼り合わせ統合を行う画像統合部１２５と、画像統合部１２５で生成された統合画像を蓄積する統合画像蓄積部１２６とを備えている。
【０００７】
上述のように構成された画像入力装置において、入力対象画像の部分画像をカメラ部１２１で複数の画像に別けて取り込み、その複数の画像を貼り合わせて合成し、高精細な静止画の入力を実現している。
【０００８】
以下、図１２で示した画像入力装置の動作について説明する。まずカメラ部１２１により入力対象の静止画１２７を複数枚の部分画像として撮影する。ここで、最初の１枚目の画像を貼り合わせの基準画像とする。全ての画像は基準画像に対する累積射影変換パラメータにより貼り合わせが行われる。ここで、累積射影変換パラメータとは、各画像を貼り合わせる毎に累積される射影変換パラメータをいう。
【０００９】
この画像の貼り合わせで統合画像を傾きなく生成するためには、基準画像の撮影において、カメラ撮像面と入力対象静止画１２７の画平面が平行になるように撮影する必要がある。また全ての画像は、他の１枚の画像と必ず重複部分を持つように撮影する必要がある。以下の説明では、１枚目の画像を基準画像（画像フレーム番号１）とし、それに続いて連続的に撮影された画像（画像フレーム番号２、３、・・・、ｎ、ｎ＋１、・・・、Ｎ) においては、隣接する画像番号間では、必ず重複部を持つように撮影するものとする。
【００１０】
次に、このように撮影した画像を順次画像蓄積部１２２に画像フレーム番号（１〜Ｎ）を付加して蓄積する。次に画像フレーム１を基準画像として貼り合わせを行うため、画像統合部１２５を介して統合画像蓄積部１２６に画像フレーム１を転送し、全ての画像フレーム１〜Ｎの貼り合わせが終了するまで画像フレーム番号（１〜Ｎ）にしたがって、以下の統合処理を繰り返す。
【００１１】
まず、対応点探索部１２３は、統合画像蓄積部１２６に蓄積された統合画像ｎ（画像フレーム１〜ｎまでの統合画像）と画像フレームｎ＋１との対応点の探索を行う。この対応点の探索は、ブロックマッチング等の手法で行われる。また、対応点は、
【数１】
行列式の射影変換パラメータ（ｈ１〜ｈ８）を求めるために４組以上必要となるため、最低４組の対応点の探索を行う。
【００１２】
次に、射影変換行列推定部１２４は、対応点探索部１２３で探索された４組以上の対応点に基づいて、射影変換パラメータ（ｈ１〜ｈ８）を推定する。対応点が５組以上得られる場合には、最小２乗法により推定を行うようにする。
【００１３】
次に、画像統合部１２５は、射影変換行列推定部１２４で得られた射影変換パラメータに基づいて画像フレームｎ＋１を変換し、統合画像ｎに貼り合わせて統合画像ｎ＋１を生成する。
【００１４】
この画像統合部１２５で生成された統合画像ｎ＋１は、統合画像蓄積部１２６に蓄積される。
【００１５】
このようにして、上述した画像フレーム１〜Ｎの貼り合わせ処理を行い、最終的に統合画像蓄積部１２６には、統合画像Ｎが蓄積される。この統合画像蓄積部１２６に蓄積された統合画像Ｎが、入力画像として任意の画像処理装置に出力される。
【００１６】
【発明が解決しようとする課題】
しかしながら、図１２に示す従来の画像入力装置においては、貼り合わせの基準となる基準画像を撮影する際に、カメラ撮像平面と入力対象静止画の画平面を平行にしなければならないという入力作業上の制限があるため、この入力作業が困難であるという問題があった。
【００１７】
また図１２に示す従来の画像入力装置においては、図１１に示すように、各画像の貼り合わせを順次求められた射影変換パラメータの累積で行うため、貼り合わせを繰り返す毎に誤差が累積し、歪んだ統合画像が生成されてしまうという問題があった。
【００１８】
したがって、本発明の目的は、対象画像の入力作業が簡易で、累積誤差による画像の統合時の歪みを抑え、質の高い画像を生成することができる画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体を提供することである。
【００１９】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の態様の画像合成方法は、複数の画像を結合して１つの画像を生成する画像結合方法であって、（ａ）１つの静止画を分割してステレオ撮影し、複数のステレオ画像対を生成し、（ｂ）複数のステレオ画像対を蓄積し、（ｃ）蓄積されている複数のステレオ画像対から１つのステレオ画像対を取り出し、（ｄ）取り出したステレオ画像対の対応点を探索し、（ｅ）探索した対応点に基づいて、ステレオ画像対に対応する画像平面の距離情報を計測し、（ｆ）計測した距離情報に基づいて、画像平面の平面方程式を算出し、（ｇ）算出した平面方程式に基づいて、画像平面の回転方向の歪みと画像平面のサイズを調整して、調整画像を生成し、（ｈ１）ステップ（ｃ）で取り出されたステレオ画像対が最初のステレオ画像対の場合には、所定の値に応じて調整画像から統合画像を生成して蓄積し、（ｈ２）ステップ（ｃ）で取り出されたステレオ画像対が最初のステレオ画像対でない場合には、調整画像と蓄積されている統合画像とを結合して新たな統合画像として蓄積する、ことを特徴とする。
【００２０】
また、上記課題を解決するために、本発明の第１の態様の画像入力装置は、複数の画像を結合して１つの入力用の画像を生成する画像入力装置であって、静止画を複数のステレオ画像対として撮影するステレオ画像入力手段と、ステレオ画像入力手段によって撮影されたステレオ画像対を蓄積する画像蓄積手段と、画像蓄積手段に蓄積されたステレオ画像対の対応点の探索を行う対応点探索手段と、対応点探索手段によって探索された対応点に基づいて、ステレオ画像対に応じた画像平面の距離計測を行う距離計測手段と、距離計測手段で計測して得られた画像平面上の点の距離情報から当該画像平面の平面方程式を求める平面抽出手段と、平面抽出手段で求められた平面方程式から画像平面の傾きを推定する傾き推定手段と、傾き推定手段の推定結果に基づいて、画像平面に回転変換を行って回転変換画像を作成する回転変換手段と、距離計測手段で計測された距離情報に基づいて、回転変換画像のサイズを統一するように変換して部分画像を生成する拡大率変換手段と、拡大率変換手段で生成された部分画像の位置合わせを行う位置合わせ手段と、位置合わせ手段で位置を合わされた部分画像を貼り合わせて統合画像を生成する画像統合手段と、画像統合手段で生成された統合画像を蓄積する統合画像蓄積手段と、を備え、位置合わせ手段は、統合画像蓄積手段に蓄積されている統合画像に対する部分画像の位置関係を推定して、部分画像の位置合わせを行い、画像統合手段は、部分画像を統合画像蓄積手段に蓄積されている統合画像へ貼り合わせて新たな統合画像を生成する、ことを特徴とする。
【００２１】
上述した本発明の第１の態様の画像合成方法及び画像入力装置によれば、相対的位置と互いの光軸方向を固定した複数の視点から入力対象の部分画像のステレオ撮影を行い、そのステレオ画像より入力対象の画像平面の平面方程式を求め、その距離情報を用いて画像の貼り合わせを行うため、自由な位置で撮影した画像の貼り合わせが実現でき、入力操作が簡易になる。また、複数の画像の貼り合わせで生じる累積誤差を減らすことができるため、最終的に生成される統合画像の歪みを低減化することができる。
【００２２】
また、上記課題を解決するために、本発明の第２の態様の画像合成方法は、複数の画像を結合して１つの画像を生成する画像結合方法であって、（ａ）１つの静止画を分割してステレオ撮影し、複数のステレオ画像対を生成し、（ｂ）複数のステレオ画像対を蓄積し、（ｃ）蓄積されている複数のステレオ画像対から１つのステレオ画像対を取り出し、（ｄ１）取り出したステレオ画像対のうち一方の画像を所定の数の領域に分割し、（ｄ２）分割した領域に基づいて、ステレオ画像対のうち分割されてない他方の画像に対して対応点を探索し、（ｅ）探索した対応点に基づいて、ステレオ画像対に対応する画像平面の距離情報を計測し、（ｆ）計測した距離情報に基づいて、画像平面の平面方程式を算出し、（ｇ）算出した平面方程式に基づいて、画像平面の回転方向の歪みと画像平面のサイズを調整して、調整画像を生成し、（ｈ１）ステップ（ｃ）で取り出されたステレオ画像対が最初のステレオ画像対の場合には、所定の値に応じて調整画像から統合画像を生成して蓄積し、（ｈ２）ステップ（ｃ）で取り出されたステレオ画像対が最初のステレオ画像対でない場合には、調整画像と蓄積されている統合画像とを結合して新たな統合画像として蓄積する、ことを特徴とする。
【００２３】
また、上記課題を解決するために、本発明の第２の態様の画像入力装置は、複数の画像を結合して１つの入力用の画像を生成する画像入力装置であって、静止画を複数のステレオ画像対として撮影するステレオ画像入力手段と、ステレオ画像入力手段によって撮影されたステレオ画像対を蓄積する画像蓄積手段と、画像蓄積手段に蓄積されたステレオ画像対のうち一方の画像を所定の数の領域に分割する小領域分割手段と、小領域分割手段で分割された領域に基づいて、ステレオ画像対のうち分割されてない他方の画像に対して対応点を探索する小領域対応点探索手段と、小領域対応点探索手段によって探索された対応点に基づいて、ステレオ画像対に応じた画像平面の距離計測を行う距離計測手段と、距離計測手段で計測して得られた画像平面上の点の距離情報から当該画像平面の平面方程式を求める平面抽出手段と、平面抽出手段で求められた平面方程式から画像平面の傾きを推定する傾き推定手段と、傾き推定手段の推定結果に基づいて、画像平面に回転変換を行って回転変換画像を作成する回転変換手段と、距離計測手段で計測された距離情報に基づいて、回転変換画像のサイズを統一するように変換して部分画像を生成する拡大率変換手段と、拡大率変換手段で生成された部分画像の位置合わせを行う位置合わせ手段と、位置合わせ手段で位置を合わされた部分画像を貼り合わせて統合画像を生成する画像統合手段と、画像統合手段で生成された統合画像を蓄積する統合画像蓄積手段と、を備え、位置合わせ手段は、統合画像蓄積手段に蓄積されている統合画像に対する部分画像の位置関係を推定して、部分画像の位置合わせを行い、画像統合手段は、部分画像を統合画像蓄積手段に蓄積されている統合画像へ貼り合わせて新たな統合画像を生成する、ことを特徴とする。
【００２４】
また、上記課題を解決するために、本発明の第３の態様の画像合成方法は、複数の画像を結合して１つの画像を生成する画像結合方法であって、（ａ）１つの静止画を分割してステレオ撮影し、複数のステレオ画像対を生成し、（ｂ）複数のステレオ画像対を蓄積し、（ｃ）蓄積されている複数のステレオ画像対から１つのステレオ画像対を取り出し、（ｄ１）取り出したステレオ画像対の複数のブロックから対応点を探索し、（ｄ２）探索した対応点の信頼度に基づいて対応点を決定し、（ｅ）決定した対応点に基づいて、ステレオ画像対に対応する画像平面の距離情報を計測し、（ｆ）計測した距離情報に基づいて、画像平面の平面方程式を算出し、（ｇ）算出した平面方程式に基づいて、画像平面の回転方向の歪みと画像平面のサイズを調整して、調整画像を生成し、（ｈ１）ステップ（ｃ）で取り出されたステレオ画像対が最初のステレオ画像対の場合には、所定の値に応じて調整画像から統合画像を生成して蓄積し、（ｈ２）ステップ（ｃ）で取り出されたステレオ画像対が最初のステレオ画像対でない場合には、調整画像と蓄積されている統合画像とを結合して新たな統合画像として蓄積する、ことを特徴とする。
【００２５】
上述した本発明の第２の態様の画像合成方法及び画像入力装置によれば、対応点を探索する際に、画像を小領域に分割し、画像間の対応する小領域毎に対応点の探索を行うため、入力操作を簡易にし、統合画像の歪みを低減させると共に、計算量の低減を図る、すなわち、処理効率を向上させることができる。
【００２６】
また、上述の本発明の第３の態様の画像合成方法においては、ステップ（ｄ２）を、探索した対応点の信頼度を所定の評価関数で算出される値で評価し、該値が所定の条件を満たすブロックの対応点のみを有効な対応点として決定する、ステップとしてもよい。このとき、ステップ（ｄ２）を、複数のブロックの全てに対して、評価関数の値Ｅを、ステレオ画像対のうち一方の画像のブロックの画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，Ｂｌ）、他方の画像のブロックの画素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、
Ｅ＝Σ｛（Ｒｌ−Ｒｒ）² ＋（Ｇｌ−Ｇｒ）² ＋（Ｂｌ−Ｂｒ）² ｝
で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び最小値Ｅmin が、Ｅmin ＜ａ＊Ｅave 及びＥ’＞ｂ＊Ｅave （ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅmin を除く全ての値Ｅとする）という条件を満たすブロックの対応点のみを有効な対応点として決定する、ステップとすることができる。
【００２７】
また、上記課題を解決するために、本発明の第３の態様の画像入力装置は、上述の本発明の第１の態様の画像入力装置の対応点探索手段を、画像蓄積手段に蓄積されたステレオ画像対の複数のブロックから対応点を探索し、探索した対応点の信頼度に基づいて対応点を決定する、ように構成することを特徴とする。
【００２８】
このとき、対応点探索手段を、探索した対応点の信頼度を所定の評価関数で算出される値で評価し、該値が所定の条件を満たすブロックの対応点のみを有効な対応点として決定する、構成としてもよい。また、この対応点探索手段を、複数のブロックの全てに対して、評価関数の値Ｅを、ステレオ画像対のうち一方の画像のブロックの画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，Ｂｌ）、他方の画像のブロックの画素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、
Ｅ＝Σ｛（Ｒｌ−Ｒｒ）² ＋（Ｇｌ−Ｇｒ）² ＋（Ｂｌ−Ｂｒ）² ｝
で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び最小値Ｅmin が、Ｅmin ＜ａ＊Ｅave 及びＥ’＞ｂ＊Ｅave （ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅmin を除く全ての値Ｅとする）という条件を満たすブロックの対応点のみを有効な対応点として決定する、ように構成してもよい。
【００２９】
上述した本発明の第３の態様の画像合成方法及び画像入力装置によれば、対応点の探索を行う際に、その信頼度を判断して対応点を決定するため、入力操作を簡易にし、複数の画像の貼り合わせで生じる累積誤差を大幅に減らすことができ、最終的に生成される統合画像の歪みを大幅に低減化することができる。
【００３０】
また、上記課題を解決するために、本発明の第４の態様の画像合成方法は、複数の画像を結合して１つの画像を生成する画像結合方法であって、（ａ）１つの静止画を分割してステレオ撮影し、複数のステレオ画像対を生成し、（ｂ）複数のステレオ画像対を蓄積し、（ｃ）蓄積されている複数のステレオ画像対から１つのステレオ画像対を取り出し、（ｄ）取り出したステレオ画像対の対応点を探索し、（ｅ）探索した対応点に基づいて、ステレオ画像対に対応する画像平面の距離情報を計測し、（ｆ）計測した距離情報に基づいて、対応点のうち誤対応点を例外値として扱って、画像平面の平面方程式を算出し、（ｇ）算出した平面方程式に基づいて、画像平面の回転方向の歪みと画像平面のサイズを調整して、調整画像を生成し、（ｈ１）ステップ（ｃ）で取り出されたステレオ画像対が最初のステレオ画像対の場合には、所定の値に応じて調整画像から統合画像を生成して蓄積し、（ｈ２）ステップ（ｃ）で取り出されたステレオ画像対が最初のステレオ画像対でない場合には、調整画像と蓄積されている統合画像とを結合して新たな統合画像として蓄積する、ことを特徴とする。
【００３１】
このとき、ステップ（ｆ）は、ロバスト統計に基づく画像解析によって誤対応点を例外値として扱うようにするとよい。また、このロバスト統計に基づく画像解析を、ＬＭｅｄＳ（Least Median of Squares ）としてもよい。
【００３２】
また、上記課題を解決するために、本発明の第４の態様の画像入力装置は、上述した本発明の第１の態様の画像入力装置において、平面抽出手段を、対応点のうち誤対応点を例外値として扱って、画像平面の平面方程式を算出する、構成にすることを特徴とする。
【００３３】
ここで、平面抽出手段で、ロバスト統計に基づく画像解析によって対応点のうち誤対応点を例外値として扱うようにするとよい。また、このロバスト統計に基づく画像解析を、ＬＭｅｄＳ（Least Median of Squares ）にしてもよい。
【００３４】
さらに、上述した本発明の第１乃至第４の態様の画像入力装置において、位置合わせ手段で、部分画像が最初の画像の場合には、所定の値で位置合わせを行い、画像統合手段が、所定の値の位置合わせに基づいて、部分画像から統合画像を生成する、ようにするとよい。また、ステレオ画像入力手段が、互いの光軸方向が平行で各々の基線方向が光軸に対して垂直になるように所定の間隔で固定配置された２以上の撮像手段を有する、ようにするとよい。
【００３５】
上述した本発明の第４の態様の画像合成方法及び画像入力装置によれば、対応点の探索の結果から誤対応点を例外値として扱って、画像平面の平面方程式を求めるため、入力操作を簡易にし、複数の画像の貼り合わせで生じる累積誤差を大幅に減らすことができ、最終的に生成される統合画像の歪みを大幅に低減化することができる。
【００３６】
また、上述した本発明の第１乃至第４の態様の画像合成方法をコンピュータで実行可能な画像合成プログラムとして、コンピュータで読み取り可能な記録媒体に記録することができる。
【００３７】
【発明実施の形態】
以下、本発明の画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体について、図１〜図１０を参照して説明する。
【００３８】
＜実施の形態１＞
図１は、本発明の画像入力装置の実施の形態の一例を示す図である。この画像入力装置は、静止画（以下「入力画像」ともいう）２２を複数のステレオ画像として撮影するステレオ画像入力部１１と、ステレオ画像入力部１１によって撮影された画像を画像フレームとして蓄積する画像蓄積部１２と、画像蓄積部１２に蓄積された一対のステレオ画像（以下、「ステレオ画像対」ともいう）における対応点の探索を行う対応点探索部１３と、既知のステレオ法により距離計測を行う距離計測部１４と、距離計測部１４で計測して得られた入力対像の平面上の点の距離情報から当該入力対像平面の平面方程式（ｚ＝Ａｘ＋Ｂｙ＋Ｃ）を求める平面抽出部１５と、平面抽出部１５で求められた入力対象平面の平面方程式から撮像平面に対する入力対象画像の画平面の傾きを推定する傾き推定部１６と、傾き推定部１６の推定結果に基づいて、入力対象画像が撮像平面に平行に撮影された画像になるように、当該入力対象画像に回転変換を行って回転変換画像を作成する回転変換部１７と、距離計測部１４で測定された距離情報を用いて、全ての回転変換画像のサイズを同一距離で撮影した画像と同一の画像になるように変換する拡大率変換部１８と、統合画像蓄積部２１に蓄積されている統合画像に対する回転変換部１７及び拡大率変換部１８で回転変換及び拡大変換されて生成された回転拡大変換画像の位置関係を推定する位置合わせ部１９と、回転拡大変換画像を統合画像蓄積部２１に蓄積されている統合画像へ貼り合わせて新たな統合画像を生成する画像統合部２０と、画像統合部２０で生成された統合画像を蓄積する統合画像蓄積部２１とを備えている。
【００３９】
また、ステレオ画像入力部１１は、互いの光軸方向が平行で各々の基線方向が光軸に対して垂直になるように所定の間隔で固定配置された相対位置が既知の２台のＣＣＤカメラ等の撮像部１１ａ、１１ｂから成る。
【００４０】
以下、上記のように構成された画像入力装置の動作について説明する。
【００４１】
図２は、図１で示した画像入力装置の動作を示すフローチャートである。図２において、まず、入力対象となる静止画２２の一部分を部分画像として、ステレオ画像入力部１１の２つの撮像部１１ａ、１１ｂでステレオ撮影する。このステレオ撮影においては、入力対象である静止画２２の画像全体を入力するため、複数枚の部分画像（ステレオ画像対）の撮影を行う。ここで、複数枚の部分画像のうち隣接するステレオ画像対の間では必ず重複部を持つように撮影する。このときの撮影は、例えば、撮影者がステレオ画像入力部１１を手などで保持し、入力画像２２全体の部分画像が撮影できるよう移動して撮影を行うとよい。このようにしてステレオ画像入力部１１の２つの撮像部１１ａ、１１ｂで撮影されたステレオ画像は、ステレオ画像入力部１１から画像蓄積部１２にステレオ画像対として入力されて蓄積される（ステップ２０１）。
【００４２】
次に、対応点探索部１３は、画像蓄積部１２に蓄積されたステレオ画像対に対して少なくとも３点以上の対応点対の探索を行う（ステップ２０２）。３次元空間上における平面は３つの点で決定することができるため、少なくとも３点の対応点対が必要となる。
【００４３】
次に、距離計測部１４は対応点対の画像フレームからステレオ法により距離計測を行う（ステップ２０３）。これにより画像平面の３次元的な位置が算出できる。
【００４４】
次に、平面抽出部１５は、入力対象の画像平面の平面方程式を算出する（ステップ２０４）。このときの座標は、例えば、撮像部１１ａ、１１ｂの基線をｘ軸とし、基線に垂直で両撮像部１１ａ、１１ｂの光軸になるべく近い方向を−ｚ軸方向とし、両撮像部１１ａ、１１ｂの光軸を−ｚ軸に一致させた時にできる画像平面上のｘ軸に直交する軸をｙ軸とすることで定義するとよい。このとき、画像平面はｘ−ｙ平面となり両撮像部１１ａ、１１ｂの正規化平面と呼ばれる。
【００４５】
次に、傾き推定部１６は、平面抽出部１５で算出された平面方程式に基づいて、画像平面を上述の座標系におけるｘ−ｙ平面に平行にするための傾き角度（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そして、回転変換部１７は、傾き推定部１６の結果に基づいて、上記座標のｘ−ｙ平面に平行となるように画像平面を回転させて回転変換画像を作成する（ステップ２０５）。
【００４６】
次に、拡大率変換部１８は、回転変換部１７で作成される全ての回転変換画像のサイズを同一にするために、画像平面の存在するｚ座標を用いて当該回転変換画像の拡大縮小変換を行い貼り合わせ画像を作成する（ステップ２０６）。
【００４７】
次に、上述のステップ２０６で処理された画像が最初の画像の場合には（ステップ２０７）、統合画像蓄積部２１には統合画像が存在しない。したがって、位置合わせ部１９では、移動ベクトルおよび回転角度とも最初の入力画像の位置と傾きに応じた所定の初期設定値を出力する。画像統合部２０ではこの所定の初期設定値に基づいて統合画像を作成し、統合画像蓄積部２１に蓄積する（ステップ２０８）。
【００４８】
一方、ステップ２０６で処理された画像が最初の画像でない場合には（ステップ２０７）、位置合わせ部１９は、統合画像蓄積部２１に蓄積されている統合画像と拡大率変換部１８で生成された貼り合わせ画像との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移動ベクトルとｚ軸を中心とした回転角度を推定する（ステップ２０９）。
【００４９】
そして、画像統合部２０は、位置合わせ部１９の推定結果に基づいて、統合画像蓄積部２１に蓄積されている統合画像と貼り合わせ画像を処理して新たな統合画像を作成し、統合画像蓄積部２１に統合画像を蓄積する（ステップ２１０）。
【００５０】
以上のステップ２０２〜ステップ２１０の処理を、ステレオ画像入力部１１から入力された全てのステレオ画像対、すなわち、画像蓄積部１２に蓄積されている全てのステレオ画像対に対して行う。（ステップ２１１）。
【００５１】
以上の処理を行うことによって、静止画２２が高精細静止画の統合画像として生成される。
【００５２】
以上、上述した本発明の画像入力装置及び画像合成方法において、３次元画像入力部であるステレオ画像入力部１１を２つの撮像部１１ａ、１１ｂによって構成されることとしたが、このＣＣＤカメラなどの撮像部は、２つ以上であればよく、その数が多ければ多いほど３次元計測の精度を向上させることができ、より正確で誤差の少ない高精細画像を生成することができる。また、互いの光軸方向が輻輳した状態で撮像部１１ａ、１１ｂが配置されていても、その輻輳角の角度が既知であれば、その輻輳角の角度を補正角として上述した本発明の画像入力装置及び画像合成方法に適用することにより、同様に高精細画像を生成することができる。
【００５３】
以上のように、上述した本発明の画像入力装置及び画像合成方法によれば、ステレオ画像入力部１１の撮像部１１ａ、１１ｂで撮影した静止画２２の部分画像から、入力対象の画像平面の平面方程式（平面方程式）を求め、その結果を用いて部分画像を順次貼り合わせるので、自由な撮影位置で撮影した部分画像でも、それを貼り合わせて統合画像を作成することができる。このため、静止画の撮影や入力作業が容易になる。また、部分画像間の位置ずれや歪みなどの誤差が貼り合わせ処理毎に累積して発生する累積誤差を抑えることができるため、統合画像の歪みを大幅に低減することができる。すなわち、従来の画像入力装置で累積する誤差は、３次元空間上のｘ軸、ｙ軸、及びｚ軸全ての方向に対する誤差であったのに対し、本発明の画像入力装置及び画像合成方法で累積する誤差は、位置合わせ部１９で発生するｘ軸及びｙ軸方向のみの誤差であり、ｚ軸方向の誤差が累積しないためである。
【００５４】
＜実施の形態２＞
以下、本発明の第２の実施の形態について、図面を参照しながら説明する。
【００５５】
図３は、本発明の画像入力装置の実施の形態の一例を示す図である。この画像入力装置は、静止画２２を複数のステレオ画像として撮影する撮像部１１ａ、１１ｂを有するステレオ画像入力部１１と、ステレオ画像入力部１１によって撮影された画像を画像フレームとして蓄積する画像蓄積部１２と、画像蓄積部１２に蓄積されたステレオ画像対を小領域に分割する画像分割部３１と、画像分割部３１で分割された小領域毎に対応する画像における対応点の探索を行う小領域対応点探索部３３と、既知のステレオ法により距離計測を行う距離計測部１４と、距離計測部１４で計測して得られた入力対像の平面上の点の距離情報から当該入力対像平面の平面方程式を求める平面抽出部１５と、平面抽出部１５で求められた入力対象平面の平面方程式から撮像平面に対する入力対象画像の画平面の傾きを推定する傾き推定部１６と、傾き推定部１６の推定結果に基づいて、入力対象画像が撮像平面に平行に撮影された画像になるように、当該入力対象画像に回転変換を行って回転変換画像を作成する回転変換部１７と、距離計測部１４で測定された距離情報を用いて、全ての回転変換画像のサイズを同一距離で撮影した画像と同一の画像になるように変換する拡大率変換部１８と、統合画像蓄積部２１に蓄積されている統合画像に対する回転変換部１７及び拡大率変換部１８で回転変換及び拡大変換されて生成された回転拡大変換画像の位置関係を推定する位置合わせ部１９と、回転拡大変換画像を統合画像蓄積部２１に蓄積されている統合画像へ貼り合わせて新たな統合画像を生成する画像統合部２０と、画像統合部２０で生成された統合画像を蓄積する統合画像蓄積部２１とを備えている。
【００５６】
図３における画像入力装置と、図１の画像入力装置との相違点は、図３における画像入力装置が、図１の画像入力装置の対応点探索部１３に換えて、画像を小領域に分割する画像分割部３１と、画像間の対応する小領域毎に対応点の探索を行う小領域対応点探索部３３とを備える点である。なお、図３においては、図１と同一の構成には同一の符号を付している。
【００５７】
本発明の画像入力装置において、画像平面の平面方程式をできるだけ精度良く求めるためには、画像中の正しい対応点をできるだけ多く検出して、最小２乗法により平面方程式を求めるとよい。この対応点をできるだけ多く検出するためには、画像中の全ての画素において対応点の探索を行えば良い。ところが、画像中の全ての画素において対応点の探索を行うと、処理量が非常に大きくなる。そこで、できるだけ精度を落さずに計算量を低減するために、図３における画像入力装置は、図１の画像入力装置の対応点探索部１３に換えて、画像を小領域に分割する画像分割部３１と、画像間の対応する小領域毎に対応点の探索を行う小領域対応点探索部３３とを備える。
【００５８】
以下、図３のように構成された画像入力装置の動作について説明する。
【００５９】
図４は、図３で示した画像入力装置の動作を示すフローチャートである。図４において、図２と同様の処理には同一のステップ番号を付している。図５は、小領域での対応点の探索の処理を示す概念図である。
図４において、図２と同様にして、まず、入力対象となる静止画２２の一部分を部分画像として、ステレオ画像入力部１１の２つの撮像部１１ａ、１１ｂでステレオ撮影する。ステレオ画像入力部１１の２つの撮像部１１ａ、１１ｂで撮影されたステレオ画像は、ステレオ画像入力部１１から画像蓄積部１２にステレオ画像対として入力されて蓄積される（ステップ２０１）。
【００６０】
次に、画像分割部３１は、画像蓄積部１２に蓄積されているステレオ画像対のうち一方の画像、例えば、撮像部１１ａで撮影した画像を小領域、例えば、５０［ｐｉｘ］×５０［ｐｉｘ］に分割する（ステップ４０１）。
【００６１】
次に、小領域対応点探索部３３は、図５に示すように、画像分割部３１で分割された画像の小領域に基づいて、ステレオ画像対のうち他方の画像、上述の場合、撮像部１１ｂで撮影した画像に対して順次対応点を探索する（ステップ４０２）。すなわち、図５に示すように、１つの小領域内で対応点を探索して決定することができたならば、次の小領域における対応点の探索に移る。このようにして、画像の一部に集中して多くの対応点を検出することを避けて計算量を減少させつつ、画像全体で、できるだけ均等に対応点を検出する。
【００６２】
なお、上述のステップ４０１とステップ４０２の処理においては、撮像部１１ａで撮影した画像を分割した場合、撮像部１１ｂで撮影した画像上で対応点の探索を行う。また、撮像部１１ｂの画像を分割した場合は、撮像部１１ａの画像上で対応点を探索する。
【００６３】
以下の処理は図２の処理と同様になる。すなわち、距離計測部１４は、小領域対応点探索部３２で探索された対応点対の画像フレームからステレオ法により距離計測を行う（ステップ２０３）。次に、平面抽出部１５は、入力対象の画像平面の平面方程式を算出する（ステップ２０４）。
【００６４】
次に、傾き推定部１６は、平面抽出部１５で算出された平面方程式に基づいて、画像平面を上述の座標系におけるｘ−ｙ平面に平行にするための傾き角度（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そして、回転変換部１７は、傾き推定部１６の結果に基づいて、上記座標のｘ−ｙ平面に平行となるように画像平面を回転させて回転変換画像を作成する（ステップ２０５）。
【００６５】
次に、拡大率変換部１８は、回転変換部１７で作成される全ての回転変換画像のサイズを同一にするために、画像平面の存在するｚ座標を用いて当該回転変換画像の拡大縮小変換を行い貼り合わせ画像を作成する（ステップ２０６）。
【００６６】
ここで、上述のステップ２０６で処理された画像が最初の画像の場合には（ステップ２０７）、位置合わせ部１９は、移動ベクトルおよび回転角度とも最初の入力画像の位置と傾きに応じた所定の初期設定値を出力する。画像統合部２０ではこの所定の初期設定値に基づいて統合画像を作成し、統合画像蓄積部２１に蓄積する（ステップ２０８）。
【００６７】
一方、ステップ２０６で処理された画像が最初の画像でない場合には（ステップ２０７）、位置合わせ部１９は、統合画像蓄積部２１に蓄積されている統合画像と拡大率変換部１８で生成された貼り合わせ画像との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移動ベクトルとｚ軸を中心とした回転角度を推定する（ステップ２０９）。
【００６８】
そして、画像統合部２０は、位置合わせ部１９の推定結果に基づいて、統合画像蓄積部２１に蓄積されている統合画像と貼り合わせ画像を処理して新たな統合画像を作成し、統合画像蓄積部２１に統合画像を蓄積する（ステップ２１０）。
【００６９】
以上のステップ４０１〜ステップ２１０の処理を、ステレオ画像入力部１１から入力された全てのステレオ画像対、すなわち、画像蓄積部１２に蓄積されている全てのステレオ画像対に対して行う。（ステップ２１１）。
【００７０】
以上の処理を行うことによって、静止画２２が高精細静止画の統合画像として生成される。
【００７１】
以上のように、図３に示したような本発明の画像入力装置によれば、対応点を求める際に、画像の領域を分割して行うため、入力作業を容易にし、且つ、統合画像の歪みを低減しながら、計算量の低減を図ることができる。
【００７２】
＜実施の形態３＞
以下、本発明の第３の実施の形態について、図面を参照しながら説明する。
【００７３】
図６は、本発明の画像入力装置の実施の形態の一例を示す図である。なお、図６の画像入力装置においては、図１における画像入力装置の構成と同一のものには同一の符号を付している。
【００７４】
図６に示した画像入力装置は、静止画２２を複数のステレオ画像として撮影する撮像部１１ａ、１１ｂを有するステレオ画像入力部１１と、ステレオ画像入力部１１によって撮影された画像を画像フレームとして蓄積する画像蓄積部１２と、画像蓄積部１２に蓄積されたステレオ画像対における対応点の探索を行う対応点探索部６３と、既知のステレオ法により距離計測を行う距離計測部１４と、距離計測部１４で計測して得られた入力対像の平面上の点の距離情報から当該入力対像平面の平面方程式を求める平面抽出部１５と、平面抽出部１５で求められた入力対象平面の平面方程式から撮像平面に対する入力対象画像の画平面の傾きを推定する傾き推定部１６と、傾き推定部１６の推定結果に基づいて、入力対象画像が撮像平面に平行に撮影された画像になるように、当該入力対象画像に回転変換を行って回転変換画像を作成する回転変換部１７と、距離計測部１４で測定された距離情報を用いて、全ての回転変換画像のサイズを同一距離で撮影した画像と同一の画像になるように変換する拡大率変換部１８と、統合画像蓄積部２１に蓄積されている統合画像に対する回転変換部１７及び拡大率変換部１８で回転変換及び拡大変換されて生成された回転拡大変換画像の位置関係を推定する位置合わせ部１９と、回転拡大変換画像を統合画像蓄積部２１に蓄積されている統合画像へ貼り合わせて新たな統合画像を生成する画像統合部２０と、画像統合部２０で生成された統合画像を蓄積する統合画像蓄積部２１とを備えている。
【００７５】
ここで、図６における画像入力装置と、図１における画像入力装置の相違点は、対応点探索部６３にある。すなわち、上述の実施の形態２で示したように、画像平面の平面方程式をできるだけ精度良く求めるためには、多数の正しい対応点を検出する必要がある。ここで、間違った対応点( 誤対応) を含んだ状態で最小２乗法により平面方程式を推定すると、その精度は低下する。そこで、図６に示した対応点探索部６３では、探索した対応点の信頼度を判断して誤対応を避け、正しい対応点のみ検出するようにしている。
【００７６】
以下、この対応点探索部６３において、対応点探索の評価関数として２乗誤差和を用いた場合の図６の画像入力装置の動作について説明する。
【００７７】
図７は、図６で示した画像入力装置の動作を示すフローチャートである。図７において、図２と同様の処理には同一のステップ番号を付している。
【００７８】
図７において、図２と同様にして、まず、入力対象となる静止画２２の一部分を部分画像として、ステレオ画像入力部１１の２つの撮像部１１ａ、１１ｂでステレオ撮影する。ステレオ画像入力部１１の２つの撮像部１１ａ、１１ｂで撮影されたステレオ画像は、ステレオ画像入力部１１から画像蓄積部１２にステレオ画像対として入力されて蓄積される（ステップ２０１）。
【００７９】
次に、対応点探索部１３は、画像蓄積部１２に蓄積されたステレオ画像対に対して少なくとも３点以上の対応点対の探索を行う。また、以下のようにして、評価関数値Ｅを求める（ステップ７０１）。
【００８０】
すなわち、ステレオ画像対のうち左画像の画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，Ｂｌ）、右画像の画素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、評価関数の値Ｅは、
【数３】
Ｅ＝Σ｛（Ｒｌ−Ｒｒ）² ＋（Ｇｌ−Ｇｒ）² ＋（Ｂｌ−Ｂｒ）² ｝
で表され、このＥの値が小さい程そのブロック同士が、類似していることになる。
【００８１】
実際の探索では、探索範囲内の全てのブロックに対して上に示したＥの値を計算し、その平均値Ｅave 、最小値Ｅmin を算出する（ステップ７０２）。
【００８２】
このとき、Ｅが最小になったブロックが対応するブロックの候補となる。ここで、この探索の信頼度を示す条件として２つの条件を設定する。まず第１の条件は、候補となったブロックが有効である条件として、
【数４】
Ｅmin ＜ａ＊Ｅave （但し、０＜ａ＜１）
とする（ステップ７０３）。
【００８３】
次に、第２の条件は、候補となったブロック以外に有力な候補が存在していないという条件として、候補となったブロックから２画素以上離れたブロックに対して、
【数５】
Ｅ’＞ｂ＊Ｅave （但し、Ｅ’はＥmin を除くＥ、０＜ｂ＜１）
とする（ステップ７０４）。
【００８４】
ここで２画素以上離れたブロックとしているのは、撮影によって取得したディジタル画像では隣接する画素の類似度は高い傾向があり、候補となったブロック以外の全てにこの条件を適用してしまうと条件が厳しくなりすぎてしまうためである。またa, bの関係は、
【数６】
０＜ａ＜ｂ＜１
であり、ａは小さくする程、ｂは大きくする程、条件を満たす対応点の信頼度が高くなる。
【００８５】
この２つの条件を満たした時に、この探索の結果が十分信頼できるものとし、対応点としてＥmin の位置を決定する。そうでなければ、この探索結果は出力しない（ステップ７０５）。
【００８６】
図８は、対応点探索の評価関数の分布の一例を示す図であり、図８（ａ）は、対応点探索の評価関数が条件を満たしている場合の分布の一例を示し、図８（ｂ）は、対応点探索の評価関数が条件を満たしていない場合の分布の一例を示す。
【００８７】
次に、距離計測部１４は対応点対の画像フレームからステレオ法により距離計測を行う（ステップ２０３）。続いて、平面抽出部１５は、入力対象の画像平面の平面方程式を算出する（ステップ２０４）。
【００８８】
次に、傾き推定部１６は、平面抽出部１５で算出された平面方程式に基づいて、画像平面を上述の座標系におけるｘ−ｙ平面に平行にするための傾き角度（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そして、回転変換部１７は、傾き推定部１６の結果に基づいて、上記座標のｘ−ｙ平面に平行となるように画像平面を回転させて回転変換画像を作成する（ステップ２０５）。
【００８９】
次に、拡大率変換部１８は、回転変換部１７で作成される全ての回転変換画像のサイズを同一にするために、画像平面の存在するｚ座標を用いて当該回転変換画像の拡大縮小変換を行い貼り合わせ画像を作成する（ステップ２０６）。
【００９０】
ここで、上述のステップ２０６で処理された画像が最初の画像の場合には（ステップ２０７）、位置合わせ部１９では、移動ベクトルおよび回転角度とも最初の入力画像の位置と傾きに応じた所定の初期設定値を出力する。画像統合部２０ではこの所定の初期設定値に基づいて統合画像を作成し、統合画像蓄積部２１に蓄積する（ステップ２０８）。
【００９１】
一方、ステップ２０６で処理された画像が最初の画像でない場合には（ステップ２０７）、位置合わせ部１９は、統合画像蓄積部２１に蓄積されている統合画像と拡大率変換部１８で生成された貼り合わせ画像との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移動ベクトルとｚ軸を中心とした回転角度を推定する（ステップ２０９）。
【００９２】
そして、画像統合部２０は、位置合わせ部１９の推定結果に基づいて、統合画像蓄積部２１に蓄積されている統合画像と貼り合わせ画像を処理して新たな統合画像を作成し、統合画像蓄積部２１に統合画像を蓄積する（ステップ２１０）。
【００９３】
以上のステップ７０１〜ステップ２１０の処理を、ステレオ画像入力部１１から入力された全てのステレオ画像対、すなわち、画像蓄積部１２に蓄積されている全てのステレオ画像対に対して行う。（ステップ２１１）。
【００９４】
以上の処理を行うことによって、静止画２２が高精細静止画の統合画像として生成される。
【００９５】
以上のように、図６に示したような本発明の画像入力装置によれば、対応点を求める際に、対応点探索の評価関数として２乗誤差和を適用することによって、入力作業を容易にし、且つ、統合画像の歪みを大幅に低減することができる。
【００９６】
＜実施の形態４＞
以下、本発明の第４の実施の形態について、図面を参照しながら説明する。
【００９７】
図９は、本発明の画像入力装置の実施の形態の一例を示す図である。なお、図９の画像入力装置においては、図１における画像入力装置の構成と同一のものには同一の符号を付している。
【００９８】
図９に示した画像入力装置は、静止画２２を複数のステレオ画像として撮影する撮像部１１ａ、１１ｂを有するステレオ画像入力部１１と、ステレオ画像入力部１１によって撮影された画像を画像フレームとして蓄積する画像蓄積部１２と、画像蓄積部１２に蓄積されたステレオ画像対における対応点の探索を行う対応点探索部１３と、既知のステレオ法により距離計測を行う距離計測部１４と、距離計測部１４で計測して得られた入力対像の平面上の点の距離情報から当該入力対像平面の平面方程式を求める平面抽出部９５と、平面抽出部９５で求められた入力対象平面の平面方程式から撮像平面に対する入力対象画像の画平面の傾きを推定する傾き推定部１６と、傾き推定部１６の推定結果に基づいて、入力対象画像が撮像平面に平行に撮影された画像になるように、当該入力対象画像に回転変換を行って回転変換画像を作成する回転変換部１７と、距離計測部１４で測定された距離情報を用いて、全ての回転変換画像のサイズを同一距離で撮影した画像と同一の画像になるように変換する拡大率変換部１８と、統合画像蓄積部２１に蓄積されている統合画像に対する回転変換部１７及び拡大率変換部１８で回転変換及び拡大変換されて生成された回転拡大変換画像の位置関係を推定する位置合わせ部１９と、回転拡大変換画像を統合画像蓄積部２１に蓄積されている統合画像へ貼り合わせて新たな統合画像を生成する画像統合部２０と、画像統合部２０で生成された統合画像を蓄積する統合画像蓄積部２１とを備えている。
【００９９】
ここで、図９における画像入力装置と、図１における画像入力装置の相違点は、平面抽出部９５にある。すなわち、上述の実施の形態２で示したように、画像平面の平面方程式をできるだけ精度良く求めるためには、多数の正しい対応点を検出する必要がある。ここで、間違った対応点( 誤対応) を含んだ状態で最小２乗法により平面方程式を推定すると、その精度は低下する。そこで、図９に示した平面抽出部９５では、このような例外値となる誤対応を含むようなデータに対しても安定してパラメータの推定ができるロバスト統計に基づく画像解析法（ＬＭｅｄＳ：Least Median of Squares 等) を用いて平面方程式を推定する。なお、このロバスト統計に基づく画像解析法については、「ロバスト統計に基づく画像解析（電子情報通信学会ｖｏｌ．７６Ｎｏ．１２ｐｐ．１２９３−１２９７）」等に記載されている。
【０１００】
以下、この平面抽出部９５において、ロバスト統計に基づく手法を用いた場合の図９の画像入力装置の動作について説明する。
【０１０１】
図１０は、図９で示した画像入力装置の動作を示すフローチャートである。図１０において、図２と同様の処理には同一のステップ番号を付している。
【０１０２】
図１０において、図２と同様にして、まず、入力対象となる静止画２２の一部分を部分画像として、ステレオ画像入力部１１の２つの撮像部１１ａ、１１ｂでステレオ撮影する。ステレオ画像入力部１１の２つの撮像部１１ａ、１１ｂで撮影されたステレオ画像は、ステレオ画像入力部１１から画像蓄積部１２にステレオ画像対として入力されて蓄積される（ステップ２０１）。
【０１０３】
次に、対応点探索部１３は、画像蓄積部１２に蓄積されたステレオ画像対に対して少なくとも３点以上の対応点対の探索を行う（ステップ２０２）。次に、距離計測部１４は対応点対の画像フレームからステレオ法により距離計測を行う（ステップ２０３）。
【０１０４】
次に、平面抽出部９５は、入力対象の画像平面の平面方程式を算出する。このとき、例外値となる誤対応を含むようなデータに対しても安定してパラメータの推定ができるロバスト統計に基づく画像解析法（ＬＭｅｄＳ等) を用いて平面方程式を推定する（ステップ１００１）。また、このときの座標は、例えば、撮像部１１ａ、１１ｂの基線をｘ軸とし、基線に垂直で両撮像部１１ａ、１１ｂの光軸になるべく近い方向を−ｚ軸方向とし、両撮像部１１ａ、１１ｂの光軸を−ｚ軸に一致させた時にできる画像平面上のｘ軸に直交する軸をｙ軸とすることで定義するとよい。このとき、画像平面はｘ−ｙ平面となり両撮像部１１ａ、１１ｂの正規化平面と呼ばれる。
【０１０５】
次に、傾き推定部１６は、平面抽出部１５で算出された平面方程式に基づいて、画像平面を上述の座標系におけるｘ−ｙ平面に平行にするための傾き角度（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そして、回転変換部１７は、傾き推定部１６の結果に基づいて、上記座標のｘ−ｙ平面に平行となるように画像平面を回転させて回転変換画像を作成する（ステップ２０５）。
【０１０６】
次に、拡大率変換部１８は、回転変換部１７で作成される全ての回転変換画像のサイズを同一にするために、画像平面の存在するｚ座標を用いて当該回転変換画像の拡大縮小変換を行い貼り合わせ画像を作成する（ステップ２０６）。
【０１０７】
ここで、上述のステップ２０６で処理された画像が最初の画像の場合には（ステップ２０７）、位置合わせ部１９は、移動ベクトルおよび回転角度とも最初の入力画像の位置と傾きに応じた所定の初期設定値を出力する。画像統合部２０はこの所定の初期設定値に基づいて統合画像を作成し、統合画像蓄積部２１に蓄積する（ステップ２０８）。
【０１０８】
一方、ステップ２０６で処理された画像が最初の画像でない場合には（ステップ２０７）、位置合わせ部１９は、統合画像蓄積部２１に蓄積されている統合画像と拡大率変換部１８で生成された貼り合わせ画像との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移動ベクトルとｚ軸を中心とした回転角度を推定する（ステップ２０９）。
【０１０９】
そして、画像統合部２０は、位置合わせ部１９の推定結果に基づいて、統合画像蓄積部２１に蓄積されている統合画像と貼り合わせ画像を処理して新たな統合画像を作成し、統合画像蓄積部２１に統合画像を蓄積する（ステップ２１０）。
【０１１０】
以上のステップ２０２〜ステップ２１０の処理を、ステレオ画像入力部１１から入力された全てのステレオ画像対、すなわち、画像蓄積部１２に蓄積されている全てのステレオ画像対に対して行う。（ステップ２１１）。
【０１１１】
以上の処理を行うことによって、静止画２２が高精細静止画の統合画像として生成される。
【０１１２】
以上のように、図９に示したような本発明の画像入力装置によれば、ロバスト統計に基づく画像解析法（ＬＭｅｄＳ等) を用いて平面方程式を推定するため、入力作業を容易にし、且つ、統合画像の歪みを大幅に低減することができる。
【０１１３】
以上、本発明の画像入力装置及び画像合成方法について説明したが、上述した画像合成方法をコンピュータなどで実行可能な画像合成プログラムとして、コンピュータなどで読み取り可能な記録媒体に記録するようにしてもよい。
【０１１４】
【発明の効果】
以上のように、本発明の画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体によれば、相対的位置と互いの光軸方向を固定した複数の視点から入力対象の部分画像のステレオ撮影を行い、そのステレオ画像より入力対象の画像平面の平面方程式を求め、その距離情報を用いて画像の貼り合わせを行うため、自由な位置で撮影した画像の貼り合わせが実現でき、入力操作が簡易になる。また、複数の画像の貼り合わせで生じる累積誤差を減らすことができるため、最終的に生成される統合画像の歪みを低減化することができる。
【０１１５】
また、対応点を探索する際に、画像を小領域に分割し、画像間の対応する小領域毎に対応点の探索を行うため、入力操作を簡易にし、統合画像の歪みを低減させると共に、計算量の低減を図る、すなわち、処理効率を向上させることができる。
【０１１６】
また、対応点の探索を行う際に、その信頼度を判断して対応点を決定するため、入力操作を簡易にし、複数の画像の貼り合わせで生じる累積誤差を大幅に減らすことができ、最終的に生成される統合画像の歪みを大幅に低減化することができる。
【０１１７】
また、対応点の探索の結果から誤対応点を例外値として扱って、画像平面の平面方程式を求めるため、入力操作を簡易にし、複数の画像の貼り合わせで生じる累積誤差を大幅に減らすことができ、最終的に生成される統合画像の歪みを大幅に低減化することができる。
【図面の簡単な説明】
【図１】本発明の画像入力装置を示すブロック図である。
【図２】本発明の画像入力装置の動作を示すフローチャートである。
【図３】本発明の画像入力装置を示すブロック図である。
【図４】本発明の画像入力装置の動作を示すフローチャートである。
【図５】本発明におけるの対応点の探索に関する概念図である。
【図６】本発明の画像入力装置を示すブロック図である。
【図７】本発明の画像入力装置の動作を示すフローチャートである。
【図８】対応点の探索に関する２乗誤差和の分布を示す図である。
【図９】本発明の画像入力装置を示すブロック図である。
【図１０】本発明の画像入力装置の動作を示すフローチャートである。
【図１１】画像の貼り合わせ処理を示す概念図である。
【図１２】従来の画像入力装置を示すブロック図である。
【符号の説明】
１１ステレオ画像入力部
１１ａ、１１ｂ撮像部
１２、１２２画像蓄積部
１３、６３、１２３対応点探索部
１４距離計測部
１５、９５平面抽出部
１６傾き推定部
１７回転変換部
１８拡大率変換部
１９位置合わせ部
２０、１２５画像統合部
２１、１２６統合画像蓄積部
２２、１２７静止画
３１画像分割部
３３小領域対応点探索部
１１１、１１２、１１３、１１４画像
１２１カメラ部
１２４射影変換行列推定部

Claims

複数の画像を結合して１つの画像を生成する画像結合方法であって、（ａ）１つの静止画を分割した部分画像を２つの撮像部でステレオ撮影した一対のステレオ画像からなるステレオ画像対を、複数の部分画像に対して生成し、（ｂ）前記複数のステレオ画像対を蓄積し、（ｃ）蓄積されている前記複数のステレオ画像対から１つのステレオ画像対を取り出し、（ｄ１）取り出した前記ステレオ画像対の複数のブロックから対応点を探索し、（ｄ２）前記複数のブロックの全てに対して、探索した前記対応点の信頼度を評価する評価関数の値Ｅを、前記ステレオ画像対のうち一方の画像のブロックの画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，Ｂｌ）、他方の画像のブロックの画素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2 ＋（Ｂｌ−Ｂｒ）2 ｝
で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び最小値Ｅmin が、
Ｅmin ＜ａ＊Ｅave
及び
Ｅ’＞ｂ＊Ｅave
（ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅmin を除く全ての値Ｅとする）という条件を満たすブロックの対応点のみを有効な対応点として決定し、（ｅ）決定した前記対応点に基づいて、ステレオ画像対に対応する画像平面の距離情報を計測し、（ｆ）計測した前記距離情報に基づいて、前記画像平面の平面方程式を算出し、（ｇ）算出した前記平面方程式に基づいて、前記画像平面の回転方向の歪みと画像平面のサイズを調整して、調整画像を生成し、（ｈ１）前記ステップ（ｃ）で取り出された前記ステレオ画像対が最初のステレオ画像対の場合には、所定の値に応じて前記調整画像から統合画像を生成して蓄積し、（ｈ２）前記ステップ（ｃ）で取り出された前記ステレオ画像対が最初のステレオ画像対でない場合には、前記調整画像と蓄積されている統合画像とを結合して新たな統合画像として蓄積する、ことを特徴とする画像結合方法。
複数の画像を結合して１つの入力用の画像を生成する画像入力装置であって、１つの静止画を分割した部分画像を２つの撮像部でステレオ撮影した一対のステレオ画像からなるステレオ画像対を、複数の部分画像に対して生成するステレオ画像入力手段と、前記ステレオ画像入力手段によって撮影された前記ステレオ画像対を蓄積する画像蓄積手段と、前記画像蓄積手段に蓄積された前記ステレオ画像対の複数のブロックから対応点を探索し、前記複数のブロックの全てに対して、探索した前記対応点の信頼度を評価する評価関数の値Ｅを、前記ステレオ画像対のうち一方の画像のブロックの画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，Ｂｌ）、他方の画像のブロックの画素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2 ＋（Ｂｌ−Ｂｒ）2 ｝
で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び最小値Ｅmin が、
Ｅmin ＜ａ＊Ｅave
及び
Ｅ’＞ｂ＊Ｅave
（ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅmin を除く全ての値Ｅとする）という条件を満たすブロックの対応点のみを有効な対応点として決定する対応点探索手段と、前記対応点探索手段によって探索された対応点に基づいて、前記ステレオ画像対に応じた画像平面の距離計測を行う距離計測手段と、前記距離計測手段で計測して得られた画像平面上の点の距離情報から当該画像平面の平面方程式を求める平面抽出手段と、前記平面抽出手段で求められた前記平面方程式から画像平面の傾きを推定する傾き推定手段と、前記傾き推定手段の推定結果に基づいて、前記画像平面に回転変換を行って回転変換画像を作成する回転変換手段と、前記距離計測手段で計測された前記距離情報に基づいて、前記回転変換画像のサイズを統一するように変換して部分画像を生成する拡大率変換手段と、拡大率変換手段で生成された前記部分画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段で位置を合わされた部分画像を貼り合わせて統合画像を生成する画像統合手段と、前記画像統合手段で生成された統合画像を蓄積する統合画像蓄積手段と、を備え、前記位置合わせ手段は、前記統合画像蓄積手段に蓄積されている前記統合画像に対する前記部分画像の位置関係を推定して、前記部分画像の位置合わせを行い、前記画像統合手段は、前記部分画像を前記統合画像蓄積手段に蓄積されている統合画像へ貼り合わせて新たな統合画像を生成する、ことを特徴とする画像入力装置。
前記平面抽出手段は、前記対応点のうち誤対応点を例外値として扱って、前記画像平面の平面方程式を算出する、ことを特徴とする請求項２記載の画像入力装置。
前記平面抽出手段は、ロバスト統計に基づく画像解析によって前記対応点のうち誤対応点を例外値として扱う、ことを特徴とする請求項３記載の画像入力装置。
前記ロバスト統計に基づく画像解析は、ＬＭｅｄＳ（Least Median of Squares ）であることを特徴とする請求項４記載の画像入力装置。
前記位置合わせ手段は、前記部分画像が最初の画像の場合には、所定の値で位置合わせを行い、前記画像統合手段は、前記所定の値の位置合わせに基づいて、前記部分画像から統合画像を生成する、ことを特徴とする請求項２乃至５記載の画像入力装置。
前記ステレオ画像入力手段は、互いの光軸方向が平行で各々の基線方向が光軸に対して垂直になるように所定の間隔で固定配置された２以上の撮像手段を有する、ことを特徴とする請求項２乃至６記載の画像入力装置。
（ａ）１つの静止画を分割した部分画像を２つの撮像部でステレオ撮影した一対のステレオ画像を、部分画像分備えた複数のステレオ画像対から１つのステレオ画像対を取り出すステップと、（ｂ１）取り出した前記ステレオ画像対の複数のブロックから対応点を探索するステップと、（ｂ２）前記複数のブロックの全てに対して、探索した前記対応点の信頼度を評価する評価関数の値Ｅを、前記ステレオ画像対のうち一方の画像のブロックの画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，Ｂｌ）、他方の画像のブロックの画素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2 ＋（Ｂｌ−Ｂｒ）2 ｝
で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び最小値Ｅmin が、
Ｅmin ＜ａ＊Ｅave
及び
Ｅ’＞ｂ＊Ｅave
（ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅmin を除く全ての値Ｅとする）という条件を満たすブロックの対応点のみを有効な対応点として決定するステップと、（ｃ）決定した前記対応点に基づいて、ステレオ画像対に対応する画像平面の距離情報を計測するステップと、（ｄ）計測した前記距離情報に基づいて、前記画像平面の平面方程式を算出するステップと、（ｅ）算出した前記平面方程式に基づいて、前記画像平面の回転方向の歪みと画像平面のサイズを調整して、調整画像を生成するステップと、（ｆ１）前記ステップ（ｃ）で取り出された前記ステレオ画像対が最初のステレオ画像対の場合には、所定の値に応じて前記調整画像から統合画像を生成して蓄積するステップと、（ｆ２）前記ステップ（ｃ）で取り出された前記ステレオ画像対が最初のステレオ画像対でない場合には、前記調整画像と蓄積されている統合画像とを結合して新たな統合画像として蓄積するステップと、を有する画像結合方法をコンピュータで実行するための画像結合プログラムを記録したコンピュータ読み取り可能な記録媒体。