JPH0993430A - 画像合成方法及び画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮像条件の違い等による異なる画像状態を有
した複数の画像を良好に合成することが可能な画像合成
方法及び画像合成装置を提供することを目的とする。 【解決手段】 階調変換部３１及び３２は、重複した画
像領域内の画像状態に応じて入力画像ａ及びｂの画像を
補正するものであり、本実施の形態においてはそれぞれ
入力画像ａ及びｂに対して階調変換を行い、２つの画像
の重複する画像領域での明るさを等しくするよう補正す
るものである。また、画像変換合成部５０は、重複部の
中心が継ぎ目になるように合成処理を行い、階調変換部
３１及び３２によって明るさを補正された入力画像ａ及
びｂを変換パラメータで変換し、一つの画像に合成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成方法及び
画像合成装置に関し、特に画像の一部が重複する複数の
画像を重ねて、画角の広いパノラマ画像を合成する画像
合成方法及び画像合成装置に関するものである。

【０００２】

【従来の技術】従来、上記のような画像合成方法及び画
像合成装置においては、画像の重複する領域内で同一な
点が一致するようにアフィン変換等の幾何変換を施して
２つの画像を平面上でつなぎ合わせるものが知られてい
る。

【０００３】これは、例えば、図２３に示すような被写
体を電子スチルカメラ等でそれぞれフレームｆ１、ｆ２
の枠内で図２４、図２５のように撮像した２つの入力画
像を、該画像の重複する領域内でアフィン変換等の幾何
変換を施して図２６に示すような合成画像を作成すると
いうものである。

【０００４】尚、この場合、フレームｆ１の被写体は全
体が暗いので撮像時の露光量は暗い所が明るくなるよう
補正されて、図２４のような画像が撮像される。また、
フレームｆ２の被写体は全体が明るいので撮像時の露光
量は明るい所が暗くなるよう補正されて、図２５のよう
な画像が撮像される。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来例においては、以下のような問題点があった。

【０００６】各画像の撮像条件は被写体等の要因で異な
るので、合成に係る画像が精度良くつながった場合で
も、合成画像上では継ぎ目が生じてしまう。

【０００７】これは、特に露光条件が異なった場合に顕
著であり、例えば前述の入力画像が精度良くつながった
場合でも同一被写体での入力画像の明るさの違いによ
り、図２６に示したような合成画像になり、合成画像上
では継ぎ目が目立ってしまう。

【０００８】さらに、像面照度比の特性が光軸付近と周
辺で著しく差のある撮像光学系で撮像した複数の画像を
合成する場合においても画像状態の違いにより、継ぎ目
が生じてしまう。

【０００９】そこで、本発明はこのような問題を解決す
るためになされたものであり、撮像条件の違い等による
異なる画像状態を有した複数の画像を良好に合成するこ
とが可能な画像合成方法及び画像合成装置を提供するこ
とを目的とする。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に本発明は以下の手段を有する。

【００１１】請求項１記載の画像合成装置は、互いに重
複した画像領域を有する複数の画像を合成し、画角の広
い一つの合成画像を作成する画像合成装置において、前
記画像合成は、前記複数の画像の重複した画像領域内の
画像状態に応じて前記複数の画像を補正した後に行うこ
とを特徴とする。

【００１２】請求項２記載の画像合成装置は、互いに重
複した画像領域を有する複数の画像を合成し、画角の広
い一つの合成画像を作成する画像合成装置において、前
記画像合成は、前記複数の画像の重複した画像領域内の
中心部の画像状態に応じて前記複数の画像を補正した後
に行うことを特徴とする。

【００１３】請求項３記載の画像合成装置は、請求項１
又は２記載の画像合成装置において、画像状態として複
数の画像の階調を検出する検出手段と、この検出結果に
基づき重複した画像領域の階調が等しくなるよう前記複
数の画像を補正する補正手段とを有したことを特徴とす
る。

【００１４】請求項４記載の画像合成方法は、互いに重
複した画像領域を有する複数の画像を合成し、画角の広
い一つの合成画像を作成する画像合成方法において、前
記画像合成は、前記複数の画像の重複した画像領域内の
画像状態に応じて前記複数の画像を補正した後に行うこ
とを特徴とする。

【００１５】請求項５記載の画像合成方法は、互いに重
複した画像領域を有する複数の画像を合成し、画角の広
い一つの合成画像を作成する画像合成方法において、前
記画像合成は、前記複数の画像の重複した画像領域内の
中心部の画像状態に応じて前記複数の画像を補正した後
に行うことを特徴とする。

【００１６】請求項６記載の画像合成方法は、請求項４
又は５記載の画像合成方法において、前記画像状態とし
て前記重複した画像領域内の階調を検出し、この検出結
果に基づき重複した画像領域の階調が等しくなるよう前
記複数の画像を補正することを特徴とする。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。

【００１８】（第１の実施の形態）まず、本発明による
第１の実施の形態を説明する。

【００１９】図１は、本発明の画像合成装置の実施の一
形態を示す構成ブロック図である。

【００２０】本装置は、電子スチルカメラ、ビデオカメ
ラ等で撮像された入力画像ａ及びｂを合成し、合成画像
ｃとして例えばＣＲＴやプリンタ等に出力するものであ
り、不図示の制御部を有し、さらにこの制御部により各
々制御される、対応点抽出部２０、パラメータ推定部４
０、階調補正係数決定部３０、階調変換部３１、３２及
び画像変換合成部５０を具備して構成されているもので
ある。

【００２１】ここで、入力画像ａ及びｂは、図２に示す
ような被写体を電子スチルカメラ、ビデオカメラ等でそ
れぞれフレームｆａ、ｆｂの枠内で画像の一部が重複し
て撮像されることにより重複した画像領域（以下「重複
部」ともいう。）を有したものであり、さらに本実施の
形態においては図３、図４に示したように撮像時の露光
条件の異なる画像となっている。尚、以下の実施の形態
中においては入力画像ａ及びｂの画像データがそれぞれ
Ｎ階調の濃淡画像データである場合について説明する。

【００２２】対応点抽出部２０は、入力画像ａ及びｂ間
の画像中の重複する対応点を抽出するとともに、この対
応点抽出に対する信頼性の判定を行うものであり、対応
点の入力画像ａ及びｂ中の座標を内部のメモリーに格納
するようになっている。また、対応点を抽出する際に、
あらかじめ重複部が分からないので入力画像ａ中におい
て、所定の領域をテンプレート切り出し領域として設定
するようになっている。

【００２３】また、対応点抽出部２０は、このテンプレ
ート切り出し領域を、入力画像ａ及びｂが左、右の順に
並べられるものである場合には、入力画像ａの水平方向
の右端から３割、垂直方向の１割から９割を入力画像ａ
におけるテンプレート切り出し領域（図５の領域Ｔ）と
し、図６の斜線で示すようにブロック単位で画像サイズ
の１割程度の大きさの小領域Ｔａをテンプレートとして
切り出すようになっている。尚、この時、例えば入力画
像ａ及びｂが上、下の順に並べられるものである場合に
は、入力画像ａの水平方向の下端から３割、水平方向の
１割から９割を入力画像ａにおけるテンプレート切り出
し領域とするようになっている。

【００２４】さらに、対応点抽出部２０は、入力画像ｂ
中において、あらかじめ重複部が分からないので、前記
切り出したテンプレートに対応する点を探索する所定の
領域を探索領域として設定するようになっている。

【００２５】この探索領域は、例えば図７で示した領域
Ｓのように設定されるものであり、本実施の形態におい
ては入力画像ｂの水平方向の左端からテンプレートの入
力画像ａ中の位置から５割左の位置まで、垂直方向はテ
ンプレートの入力画像ａ中の位置から±１割の位置まで
の領域に設定されるようになっており、この領域設定は
入力画像ａ及びｂの重複部が水平方向で５割以下で、垂
直方向では±１割以上はずれないという条件に基づいて
いるものである。尚、入力画像ａ及びｂの想定される重
複条件が異なる場合は、この対応点抽出の探索領域の設
定を変えれば良い。

【００２６】パラメータ推定部４０は、対応点ベクトル
から画像変換を行うパラメータを推定するものであり、
対応点抽出部２０にて抽出された対応点位置から、座標
変換のパラメータを推定するようになっている。

【００２７】また、パラメータ推定部４０は、この座標
変換をアフィン変換により行うようになっており、入力
画像ａに対して入力画像ｂがθ回転、（ｄｘ，ｄｙ）平
行移動、ｍ倍の拡大変換した関係にあるとすると、入力
画像ａ中の点（ｘａ，ｙａ）は以下の式の入力画像ｂ
中の点（ｘｂ，ｙｂ）に対応するようになっている。

【００２８】 ｘｂ＝（ｃｏｓθ・ｘａ＋ｓｉｎθ・ｙａ−ｄｘ）×ｍ ＝Ａ・ｘａ＋Ｂ・ｙａ＋Ｃ、 ｙｂ＝（−ｓｉｎθ・ｘａ＋ｃｏｓθ・ｙａ−ｄｙ）×ｍ ＝−Ｂ・ｘａ＋Ａ・ｙａ＋Ｄ ……式 但し、 Ａ＝ｍ・ｃｏｓθ、Ｂ＝ｓｉｎθ、ｃ＝−ｍ・ｄｘ、Ｄ
＝−ｍ・ｄｙ である。

【００２９】パラメータ推定部４０は、この時のパラメ
ータＡ、Ｂ、Ｃ、Ｄを最小自乗法により推定するように
なっている。但し、パラメータを求めるには対応点の座
標が最低２対必要であり、求まった対応点が１対の場合
には１／２画像に対して求まった対応点ベクトルの平均
値を平行移動パラメータとするようになっており、すな
わち、対応点ベクトルの平均値を（ａｘ，ａｙ）とする
とき、式のようにパラメータを設定し、出力するもの
である。

【００３０】 Ａ＝１、Ｂ＝０、Ｃ＝−ａｘ、Ｄ＝−ａｙ ……式 尚、パラメータ推定部４０は、対応点が１対も求まらな
かった場合は以後の処理を行わないで、例えばＣＲＴに
メッセージを出力し、処理を終了するようになってお
り、推定されたパラメータは重複部を予測する際に用い
られるようになっている。

【００３１】画像変換合成部５０は、重複部の中心が継
ぎ目になるように合成処理を行うようになっており、階
調変換部３１及び３２によって明るさを補正された入力
画像ａ及びｂを変換パラメータで変換し、合成画像ｃの
画像領域を設定した後、一つの画像に合成するものであ
る。

【００３２】また、画像変換合成部５０は、この画像領
域の設定を入力画像ａの座標系を基準に行い、図８の破
線で示した領域のように設定するようになっている。す
なわち、左端は入力画像ａの左端座標とし、右端は入力
画像ｂの右上端、右下端の画素を入力画像ａの座標に変
換して求めた座標のうち大きい方の座標値とするように
なっている。

【００３３】さらに、画像変換合成部５０は、入力画像
ｂの座標から入力画像ａの座標への変換を前記式のア
フィン変換の逆変換を用いて行うようになっている。す
なわち、逆変換のパラメータをＡ′、Ｂ′、Ｃ′、Ｄ′
とすると以下に示す式の変換を行うものである。

【００３４】 ｘａ＝Ａ′・ｘｂ＋Ｂ′・ｙｂ＋Ｃ′、 ｙａ＝−Ｂ′・ｘｂ＋Ａ′・ｙｂ＋Ｄ′ ……式 但し、 Ａ′＝Ａ／（Ａ2 ＋Ｂ2 ）、 Ｂ′＝−Ｂ／（Ａ2 ＋Ｂ2 ）、 Ｃ′＝（−ＡＣ＋ＢＤ）／（Ａ2 ＋Ｂ2 ）、 Ｄ′＝（−ＢＣ＋ＡＤ）／（Ａ2 ＋Ｂ2 ） である。

【００３５】尚、合成画像ｃの上端は入力画像ａの上端
座標値及び入力画像ｂの右上端、左上端の画素を入力画
像ａの座標に変換して求めた座標のうち小さい方の座標
値、下端は入力画像ａの下端座標値及び入力画像ｂ右下
端、左下端の画素を入力画像ａの座標に変換して求めた
座標のうち大きい方の座標値とするようになっている。

【００３６】ここで、上記のようにして画像変換合成部
５０により求められた入力画像ａ及びｂの合成画像ｃの
画像は、図９のようになる。尚、図９において斜線で示
した部分は入力画像ａ及びｂどちらからも画素の割当て
がなされない領域でダミー画素（たとえば、白画素等）
が入るようになっている。

【００３７】階調変換部３１及び３２は、重複した画像
領域内の画像状態に応じて入力画像ａ及びｂの画像を補
正するものであり、後述する検出手段としての階調補正
係数決定部３０の検出結果に基づき重複した画像領域の
階調が等しくなるよう前記複数の画像を補正する補正手
段としての機能を有し、本実施の形態においてはそれぞ
れ入力画像ａ及びｂに対して階調変換を行い、２つの画
像の重複する画像領域での明るさを等しくするよう補正
するものである。

【００３８】尚、階調変換部３１及び３２は、重複部内
にあると判定された画素値の階調平均値をＰａ、Ｐｂと
すると、次の式に基づいて画素値ｐａ′、ｐｂ′を求め
補正を行うようになっている。

【００３９】 ｐａ′＝ｐａ×Ｎ／（Ｎ＋Ｐａ−Ｐｂ）、 ｐｂ′＝（ｐｂ＋Ｐａ−Ｐｂ）×Ｎ／（Ｎ＋Ｐａ−Ｐｂ） ……式 但し、ｐａ、ｐｂはそれぞれ入力画像ａ及びｂの画素
値、Ｎは階調数。

【００４０】尚、ここで、重複部での被写体は一致して
いるので入力画像ａ及びｂが同じ露光条件で撮像されて
いればＰａとＰｂは等しくなるはずであるが、図３、図
４で示したように撮像された場合には、横軸に被写体の
明るさ、縦軸に撮像時の画像データの階調をとると入力
画像ａ及びｂの撮像時の特性は図１０に示すようになっ
ている（但し、図１０において、入力画像ａに対する特
性は１０ａに、入力画像ｂに対する特性は１０ｂで表さ
れている）。

【００４１】そこで、本実施の形態では階調変換部３１
及び３２により、この特性を図１１のように近似して考
え、それぞれの入力画像間の重複部での被写体の階調が
等しくなるように階調補正を式に従い行うようになっ
ている（但し、図１１において、入力画像ａに対する特
性は１１ａに、入力画像ｂに対する特性は１１ｂで表さ
れている）。すなわち、入力画像ｂの階調を図１１の矢
印の分だけ上げ、また、画素値のダイナミックレンジが
矢印の分だけ増えるので、もとの階調に正規化するよう
になっている。

【００４２】階調補正係数決定部３０は、各入力画像で
の座標値が重複部にあるかどうかをパラメータ推定部４
０の出力パラメータを用いて判定するものである。すな
わち、入力画像ａの各座標値を式に従い、アフィン変
換を行い、入力画像ｂの座標値に変換し、この座標値が
入力画像ｂの領域内かどうかを判定するようになってい
る。

【００４３】また、階調補正係数決定部３０は、入力画
像ａ及びｂの階調を検出する検出手段としての機能を有
し、重複部内にあると判定された画素値を入力画像ａ及
びｂについてそれぞれ加算し、重複部の全画素について
処理が終わった後、それぞれの画素値の階調平均値Ｐ
ａ、Ｐｂをそれぞれ計算するものであるが、像面照度比
の特性が光軸付近と周辺で著しく差のある画像の場合に
は、重複部の全領域内で平均値を計算しないで、図１２
の領域Ｖに示した重複部の中心付近で平均値を計算する
ようになっているものである。

【００４４】さらに、階調補正係数決定部３０は、入力
画像ａ及びｂの重複する部分の画像データから、階調変
換部３１及び３２において階調補正を行う際の補正係数
を決定するものである。但しこの補正係数は、前記式
における係数（Ｐａ−Ｐｂ）及びＮ／（Ｎ＋Ｐａ−Ｐ
ｂ）で表されるものである。

【００４５】尚、本実施の形態では前述のように画像変
換合成部５０により、重複部の中心が継ぎ目になるよう
に合成処理を行うようになっているが、このことは撮像
光学系の光軸付近と周辺での像面照度比が一般のレンズ
では図１３のように、光軸から像点までの距離に依存
し、重複部の中心である継ぎ目付近では同一被写体に対
して像面照度比が等しくなる点からも都合が良い。

【００４６】すなわち、図１４において点Ｑではそれぞ
れ入力画像ａ及びｂの中心Ｏ、Ｏ′からの距離をｈＱ、
ｈＱ′とするとｈＱ＜ｈＱ′なので、被写体の明るさは
一致しないが、重複部の中心付近にある点Ｒではそれぞ
れ入力画像ａ及びｂの中心Ｏ、Ｏ′からの距離をｈＲ、
ｈＲ′とするとｈＲ＝ｈＲ′なので、被写体の明るさは
一致する。

【００４７】従って、図１３に示すように像面照度比の
特性が光軸付近と周辺で著しく差のある例えば広角レン
ズのような撮像光学系で撮像した入力画像を合成処理す
る際には、重複部の全領域内でそれぞれの入力画像の平
均値を算出して階調補正を行うよりも、重複部の中心付
近での被写体の明るさが一致した部分での平均値を算出
して階調補正を行う方が精度よく補正が行え、露光条件
により生じる継ぎ目が目立たなくなるのである。

【００４８】次に、入力画像ａ及びｂから合成画像ｃを
生成するときの本発明の第１の実施の形態の画像合成装
置の動作を説明する。

【００４９】まず、対応点抽出部２０で対応点抽出を行
う際の動作について説明する。

【００５０】図１５は、対応点抽出部２０の処理アルゴ
リズムを示すフローチャートである。

【００５１】同図において、まず、対応点抽出部２０
は、入力画像ａからテンプレート切り出し領域の設定を
行う（ステップＳ２１）。

【００５２】そして、切り出した全テンプレートについ
て以下のステップステップＳ２２〜ステップＳ２４によ
る処理を行う。

【００５３】まず、切り出したテンプレートに対応する
点を探索する探索領域を入力画像ｂから設定する（ステ
ップＳ２２）。この時、あらかじめ重複領域が分からな
いので所定の領域を探索領域とし、例えば図７に示す斜
線で示した領域Ｓを探索領域とする。

【００５４】次に、この探索領域内でテンプレートを平
行にずらしていき、入力画像ａとｂの差分が計算され
る。そして、差の絶対値の総和が最小となる位置を対応
点位置とする（ステップＳ２３）。

【００５５】そして、ステップＳ２３の結果に対する信
頼性の判定を行う（ステップＳ２４）。

【００５６】この信頼性の判定は、最小値となった差の
絶対値の総和及び２番目に小さい差の絶対値の総和を用
いて行なわれる。本実施の形態の場合は差の絶対値の総
和の最小値が第１の所定の閾値以下、差の絶対値の総和
の２番目に小さい値と最小値の差が第２の所定の閾値以
上あった時に対応点に信頼性があると判断し、対応点の
入力画像ａ及びｂ中の座標を対応点抽出部２０内のメモ
リーに格納しておく。

【００５７】尚、ここで上記では、差の絶対値の総和が
最小となる位置を対応点位置としたが、例えば相関演算
を行って、相関値が最大となる位置を対応点位置として
もよい。

【００５８】また、入力画像ａ及びｂの対応点を画像デ
ータから上記処理により抽出したが、例えば、２つの画
像をディスプレイ上に表示し、画像中の同一な点をカー
ソル等で指定して抽出してもよい。

【００５９】次に、階調補正係数決定部３０及び階調変
換部３１及び３２における動作を説明する。

【００６０】図１６は、階調補正係数決定部３０及び階
調変換部３１及び３２の処理アルゴリズムを示すフロー
チャートである。

【００６１】同図において、まず、階調補正係数決定部
３０は、各入力画像での座標値が重複部にあるかどうか
をパラメータ推定部４０の出力パラメータを用いて判定
する（ステップＳ１）。すなわち、入力画像ａの各座標
値を式に従い、アフィン変換を行い、入力画像ｂの座
標値に変換し、この座標値が入力画像ｂの領域内かどう
かを判定する。

【００６２】次に、重複部内にあると判定された画素値
を入力画像ａ及びｂについてそれぞれ加算し、重複部の
全画素について処理が終わった後、それぞれの画素値の
階調平均値Ｐａ、Ｐｂをそれぞれ計算する（ステップＳ
２）。

【００６３】そして、階調補正係数決定部３０が、さら
に前述の式における係数（Ｐａ−Ｐｂ）及びＮ／（Ｎ
＋Ｐａ−Ｐｂ）を計算すると（ステップＳ３）、階調変
換部３１及び３２は、各入力画像について全画面で式
に基づいて階調補正の処理を行う（ステップＳ４）。

【００６４】尚、上記実施の形態中では階調補正にそれ
ぞれ入力画像ａ及びｂの重複部の画素値の平均値を用い
たが、例えば重複部の画素値の中央値を用いてもほぼ同
等の効果が得られる。

【００６５】また、画素平均を行う重複部画素の判定を
パラメータ推定部４０の出力パラメータを用いて行って
いるが、対応点抽出部２０の出力である対応点座標から
直接判定してもよい。この時、対応点抽出が行えた対応
点の各画素値を別々に加算して、それぞれの平均値を求
めればよい。

【００６６】最後に、画像変換合成部５０による合成画
像ｃの生成に係る動作について説明する。

【００６７】図１７は、画像変換合成部５０の処理アル
ゴリズムを示すフローチャートである。

【００６８】同図において、まず、画像変換合成部５０
は、合成画像ｃの画像領域を設定する（ステップＳ５
１）。

【００６９】次に、継ぎ目の位置を重複部の中心となる
よう図８の破線Ｌで示したように設定する（ステップＳ
５２）。すなわち、入力画像ａの右端座標値と、入力画
像ｂの左上端、左下端の画素を入力画像ａの座標に変換
して求めた座標のうち小さい方の座標値との平均値を継
ぎ目の位置とする。

【００７０】そして、ステップＳ５１で設定した合成画
像ｃの領域に対してそれぞれ画素値を求める（ステップ
Ｓ５３）。

【００７１】まず、入力画像ａの領域内であるものに対
しては入力画像ａの画素値をそのまま書き込む（ステッ
プＳ５４）。

【００７２】そして、座標値を入力画像ｂの座標値に変
換してその位置の入力画像ｂの画素値をそのまま書き込
む（ステップＳ５５）。この時、すでに入力画像ａの画
素値が書き込まれていた場合は、継ぎ目の位置より右に
あるものについてのみ書き込むようにする。

【００７３】このようにして求めた合成画像ｃの画像は
図９のようになる。図９で斜線で示した部分は入力画像
ａ及びｂどちらからも画素の割当てがなされない領域で
ダミー画素（たとえば、白画素等）が入る。

【００７４】尚、上記において、撮像光学系の像面照度
比があらかじめ分っている場合は本発明の画像合成処理
を行う前処理としてそれぞれの入力画像の像面照度比が
全画像領域で１になるように補正を行ってもよいことは
言うまでもない。

【００７５】また、以上において、本実施の形態の画像
変換合成部５０では、合成時の画像は入力画像ａ及びｂ
のどちらかを割り当てるようにしたが、重複部内で入力
画像ａ及びｂの平均値を割り当ててもよい。また、重複
部内で入力画像ａ及びｂの画素値に水平方向に可変に重
みを付けて、平均値を割り当ててもよい。

【００７６】以上説明したように、本実施の形態によれ
ば、入力画像の重複部の同一被写体が撮像されている領
域で階調補正を行うので、入力画像の露光条件が異なっ
た場合でも、継ぎ目が目立たないよう画像を合成するこ
とができる。

【００７７】そして、画像重複部の中心付近の画像デー
タを用いて補正を行っているので、像面照度比の特性が
光軸付近と周辺で著しく差のある撮像光学系で撮像した
場合にも継ぎ目が目立たないよう画像を合成することが
できる。

【００７８】（第２の実施の形態）次に、本発明の第２
の実施の形態について説明する。

【００７９】本発明の第２の実施の形態の画像合成装置
の構成は、図１に示した第１の実施の形態の構成とほぼ
同様のであり、階調補正の方法のみ異なるので、以下、
第１の実施の形態と異なる階調補正の方法について説明
する。

【００８０】前記第１の実施の形態では、階調変換部３
１及び３２において、階調補正を重複部内にあると判定
された画素値の階調平均値をＰａ、Ｐｂを用いた式に
基づいて行ったが、第２の実施の形態では、入力画像ａ
及びｂそれぞれについて画素値の比較的明るいものと、
暗いものの階調平均値をＰａ１、Ｐｂ１、Ｐａ２及びＰ
ｂ２として、次の式に基づいて画素値ｐａ′、ｐｂ′
を求め階調補正を行うようになっている。

【００８１】 ｐａ′＝ｐａ×Ｋ２、 ｐｂ′＝（Ｋ１×ｐｂ＋Ｋ０）＋Ｋ２ ……式 但し、 Ｋ１＝（Ｐａ２−Ｐａ１）／（Ｐｂ２−Ｐｂ１）、 Ｋ０＝（Ｐａ１×Ｐｂ２−Ｐａ２×Ｐｂ１／（Ｐｂ２−
Ｐｂ１）、 Ｋ２＝Ｎ／（Ｋ１×（Ｎ−Ｐｂ１）＋Ｐａ１） である。

【００８２】以下、この式の導出についての説明をす
る。

【００８３】まず、画像合成に係る重複部での被写体は
一致しているので入力画像ａ及びｂが同じ露光条件で撮
像されていれば階調平均値Ｐａ１とＰｂ１、Ｐａ２とＰ
ｂ２は等しくなるはずである。しかし、第１の実施の形
態と同様に、図３、図４で説明したように撮像された場
合には、横軸に被写体の明るさ、縦軸に撮像時の画像デ
ータの階調をとると入力画像ａ及びｂの撮像時の特性は
図１０に示すようになっている。

【００８４】本実施の形態では、図１０に示されるよう
な撮像時の被写体の明るさと画像データの階調の特性を
図１８のように近似して考え、それぞれの入力画像間の
重複部での被写体の階調が等しくなるように階調補正を
行う（但し、図１８において、入力画像ａに対する特性
は１８ａに、入力画像ｂに対する特性は１８ｂで表され
ている）。すなわち、２つの階調平均値に相当する被写
体が明るさを図１８のＬ１、Ｌ２としたとき、入力画像
ｂの階調をそれぞれ図１８の矢印Ｄ１、Ｄ２の分だけ上
げる。そして、入力画像ｂの階調は以下の式のように
補正される。

【００８５】 ｐｂ′＝Ｋ１×ｐｂ＋Ｋ０ ……式 但し、 Ｋ１＝（Ｐａ２−Ｐａ１）／（Ｐｂ２−Ｐｂ１）、 Ｋ０＝（Ｐａ１×Ｐｂ２−Ｐａ２×Ｐｂ１／（Ｐｂ２−
Ｐｂ１） である。

【００８６】さらに、この式において画素値のダイナ
ミックレンジが増えた分だけもとの階調に正規化する
と、前記式が導出される。

【００８７】尚、階調補正係数決定部３０は、第１の実
施の形態と同様に、前記入力画像ａ及びｂの重複部の画
像データから、階調変換部３１及び３２において階調補
正を行う際の補正係数を決定するものである。

【００８８】但し、ここで第２の実施の形態での補正係
数は、前記式における係数Ｋ０、Ｋ１及びＫ２で表さ
れるものである。

【００８９】次に、本発明の第２の実施の形態に係る動
作を階調補正係数決定部３０及び階調変換部３１及び３
２における動作を中心に説明する。

【００９０】図１９は、階調補正係数決定部３０及び階
調変換部３１及び３２の処理アルゴリズムを示すフロー
チャートである。

【００９１】同図において、まず、階調補正係数決定部
３０は、各入力画像での座標値が重複部にあるかどうか
をパラメータ推定部４０の出力パラメータを用いて判定
する（ステップＳ１１）。すなわち、入力画像ａの各座
標値を式に従い、アフィン変換を行い、入力画像ｂの
座標値に変換し、この座標値が入力画像ｂの領域内かど
うかを判定する。

【００９２】次に、重複部内にあると判定された画素値
を入力画像ａ及びｂについてそれぞれ加算するが、本実
施の形態では画素値の比較的明るいものと、暗いものの
階調平均値Ｐａ１、Ｐｂ１、Ｐａ２及びＰｂ２を入力画
像ａ及びｂそれぞれについて計算する（ステップＳ１
２）。

【００９３】この時、入力画像ａの画素値が所定の閾値
より大きい画素値とそれに対応する入力画像ｂの画素値
をそれぞれ加算し、同様に所定の閾値より小さい画素値
とそれに対応する入力画像ｂの画素値をそれぞれ加算す
る。そして重複部の全画素について処理が終わった後、
それぞれの画素値の２つの明るさに対応する階調平均値
Ｐａ１、Ｐｂ１、Ｐａ２、Ｐｂ２をそれぞれ計算する。

【００９４】そして、階調補正係数決定部３０で、係数
Ｋ０、Ｋ１、Ｋ２をあらかじめ計算し（ステップＳ１
３）、階調変換部３１及び３２により各入力画像につい
て全画面で式に基づいて階調補正の処理を行う（ステ
ップＳ１４）。

【００９５】（第３の実施の形態）次に、本発明の第３
の実施の形態について説明する。

【００９６】本発明の第３の実施の形態の画像合成装置
の構成を図２０に示す。本実施の形態の構成は、図１に
示した第１の実施の形態の構成とほぼ同様であるが、本
実施の形態では階調補正係数決定部３０で階調補正係数
を求める際に対応点抽出部２０の出力である対応点座標
をそのまま用いるようになっている。

【００９７】以下、本発明の第１の実施の形態とは階調
補正の方法のみ異なるので、この階調補正の方法につい
てのみ説明する。

【００９８】本実施の形態では、前記第２の実施の形態
と同様に図１０に示した入力画像ａ及びｂの撮像時の特
性を図１８のように近似して考え、それぞれの入力画像
間の重複での被写体の階調が等しくなるように階調補正
を行う。従って、式、式と同様に以下の式に示す
方法で画素値ｐａ′、ｐｂ′を求め階調補正を行う。

【００９９】 ｐａ′＝ｐａ×Ｋ２′、 ｐｂ′＝（Ｋ１′×ｐｂ＋Ｋ０′）×Ｋ２′ ……式 但し、 Ｋ２′＝Ｎ／（Ｋ１′×（Ｎ−Ｐｂ′）＋Ｐａ′） である。

【０１００】しかし、本実施の形態においては、階調補
正係数決定部３０で対応点抽出部２０の出力である対応
点座標をそのまま用いて式の係数Ｋ０′、Ｋ１′、Ｋ
２′を求めるようになっている。

【０１０１】以下、その方法について説明する。まず、
式の式に対応する以下の式の係数Ｋ０′、Ｋ１′
を求める。

【０１０２】 ｐｂ′＝Ｋ１′×ｐｂ＋Ｋ０′ ……式 ここで、入力画像ａ及びｂの対応する点では同じ露光条
件で撮像した場合は階調が等しいので、対応点抽出部２
０の出力である対応点座標の画素値の内、入力画像ｂの
画素値を式の右辺のｐｂに代入して計算した画素値と
入力画像ａの画素値との差の自乗の絶対値が最小となる
よう抽出された全ての対応点の画素値から、係数Ｋ
０′、Ｋ１′を求める。

【０１０３】そして、同時に抽出された全ての対応点の
画素値の平均値をＰａ′、Ｐｂ′として求めておく。

【０１０４】以上の処理を階調補正係数決定部３０で行
い、階調変換部３１及び３２では式に従いそれぞれの
入力画像の階調補正を行うようになっている。

【０１０５】（第４の実施の形態）次に、本発明の第４
の実施の形態について説明する。

【０１０６】本発明の第４の実施の形態の画像合成装置
の構成は図１に示した本発明の第１の実施の形態の構成
と同様のものであり、階調補正の方法のみ異なるので、
この階調補正の方法について説明する。

【０１０７】本実施の形態では、入力画像ａ及びｂの取
りうる階調はＮ階調であるが、画像全領域での画像デー
タの最小、最大値がそれぞれＮａｍｉｎ、Ｎａｍａｘ、
Ｎｂｍｉｎ、Ｎｂｍａｘである場合を対象とした階調補
正の方法を説明する。

【０１０８】すなわち、図１０に示した入力画像ａ及び
ｂの撮像時の特性が図２１であった場合を考え、さらに
この特性を図２２のように近似し、それぞれの入力画像
間の重複部での被写体の階調が等しくなるように階調補
正を行う（但し、図２１及び図２２において、入力画像
ａに対する特性は２１ａ、２２ａに、入力画像ｂに対す
る特性は２１ｂ、２２ｂで表されている）。

【０１０９】この時の階調補正係数決定部３０及び階調
変換部３１及び３２の処理アルゴリズムは図１６に示し
たものと同様であるが、ステップＳ１の処理を行う前に
まず、入力画像ａ及びｂの画像全領域についての最小、
最大値を求めておく。そして、図１６に示した本発明の
第１の実施の形態と同様の処理を行う。但し、画素値の
実質のダイナミックレンズをＮ階調まで引き伸ばすた
め、正規化に画像データの最小、最大値Ｎａｍｉｎ、Ｎ
ａｍａｘ、Ｎｂｍｉｎ、Ｎｂｍａｘを用いる。すなわ
ち、以下の式により、画素値ｐａ′、ｐｂ′を求め階
調補正を行う。

【０１１０】 ｐａ′＝（ｐａ−Ｎｍｉｎ）×Ｎ／（Ｎｍａｘ−Ｎｍｉｎ＋１）、 ｐｂ′＝（ｐｂ＋Ｐａ−Ｐｂ−Ｎｍｉｎ）×Ｎ／（Ｎｍａｘ−Ｎｍｉｎ＋１） ……式 但し、 Ｎｍｉｎ＝ＭＩＮ（Ｎａｍｉｎ、Ｎｂｍｉｎ＋Ｐａ−Ｐ
ｂ） Ｎｍａｘ＝ＭＡＸ（Ｎａｍａｘ、Ｎｂｍａｘ＋Ｐａ−Ｐ
ｂ） であり、ＭＩＮ（）は最小値、ＭＡＸ（）は最大値を表
す。

【０１１１】以上説明したように、本実施の形態によれ
ば、入力画像ａ及びｂの画像データのダイナミックレン
ジが画像データとして取りうる階調より少ない場合で
も、入力画像ａ及びｂの重複部での階調平均値と入力画
像ａ及びｂの画像全領域での画像データの最小、最大値
を用いて、階調補正を行い、合成するので継ぎ目が目立
たない、しかもコントラストの高い合成画像が得られ
る。

【０１１２】尚、本発明は上記実施の形態に限定され
ず、種々の変形実施が可能である。

【０１１３】例えば、以上の各実施の形態中での説明に
おいては濃淡画像を対象に説明したが、カラー画像でも
適用できることは言うまでもない。その際、入力画像ａ
及びｂの撮像時にそれぞれホワイトバランスが自動的に
行われた場合には、前記従来技術の問題点に説明した露
光条件の不一致と同様なことがカラーバランスにおいて
も生じるが、例えば、カラーのＲＧＢ成分のそれぞれに
ついて画像の重複部内の画像データまたは対応点の抽出
された画素の画像データから濃淡画像の場合と同様にし
て、画像データの補正を行えばよい。

【０１１４】

【発明の効果】以上詳述した本発明によれば、上述した
構成にしたことにより、以下の効果を奏する。

【０１１５】請求項１記載の発明によれば、画像合成
を、複数の画像の重複した画像領域内の画像状態に応じ
て画像を補正した後に行うので、撮像条件の違い等によ
る異なる画像状態を有した複数の画像を合成する際に、
継ぎ目が目立たないよう良好に画像合成が可能な画像合
成装置を提供することができる。

【０１１６】請求項２記載の発明によれば、画像合成
を、画像の各重複した画像領域内の中心部の画像状態に
応じて画像を補正した後に行うので、例えば像面照度比
の特性が光軸付近と周辺で著しく差のある撮像光学系で
撮像した複数の画像を合成する場合においても、継ぎ目
が目立たないように良好に画像合成を行うことが可能な
画像合成装置を提供することができる。

【０１１７】請求項３記載の発明によれば、画像状態と
して複数の画像の階調を検出し、この検出結果に基づき
重複した画像領域の階調が等しくなるよう前記複数の画
像を補正するので、例えば、露光条件が異なる条件で撮
像された画像の場合でも、継ぎ目が目立たないよう画像
合成を行うことが可能な画像合成装置を提供することが
できる。

【０１１８】請求項４記載の発明によれば、画像合成
を、複数の画像の重複した画像領域内の画像状態に応じ
て画像を補正した後に行うので、撮像条件の違い等によ
り異なる画像状態を有した複数の画像を合成する際にも
継ぎ目が目立たないよう良好に合成が可能な画像合成方
法を提供することができる。

【０１１９】請求項５記載の発明によれば、画像合成
を、画像の重複した画像領域内の中心部の画像状態に応
じて画像を補正した後に行うので、例えば像面照度比の
特性が光軸付近と周辺で著しく差のある撮像光学系で撮
像した複数の画像を合成する場合においても、継ぎ目が
目立たないように良好に画像を合成することが可能な画
像合成方法を提供することができる。

【０１２０】請求項６記載の発明によれば、画像状態と
して複数の画像の階調を検出し、この検出結果に基づき
重複した画像領域の階調が等しくなるよう前記複数の画
像を補正するので、例えば、露光条件が異なる条件で撮
像された画像の場合でも、継ぎ目が目立たないよう画像
合成を行うことが可能な画像合成方法を提供することが
できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の構成を示すブロッ
ク図である。

【図２】合成する画像の撮像状況を示す図である。

【図３】入力画像の一例を示す図である。

【図４】入力画像の一例を示す図である。

【図５】対応点抽出の際のテンプレートの切り出し方法
を示す図である。

【図６】対応点抽出の際のテンプレートを示す図であ
る。

【図７】本発明の対応点抽出での探索領域の設定方法を
示す図である。

【図８】本発明の合成画像の領域を説明する図である。

【図９】本発明の合成画像の一例を示す図である。

【図１０】撮像時の被写体の明るさと画像データの階調
の特性を示す図である。

【図１１】第１の実施の形態の階調補正の方式を説明す
る図である。

【図１２】重複部の中心付近で階調平均を求める場合の
説明図である。

【図１３】撮像光学系の像面照度比の特性を示す図であ
る。

【図１４】入力画像の像面照度比の特性による明るさの
違いを説明する図である。

【図１５】対応点抽出部の処理アルゴリズムを示すフロ
ーチャートである。

【図１６】階調補正の処理アルゴリズムを示すフローチ
ャートである。

【図１７】画像変換合成部の処理アルゴリズムを示すフ
ローチャートである。

【図１８】第２の実施の形態の階調補正の方式を説明す
る図である。

【図１９】第２の実施の形態の階調補正の処理アルゴリ
ズムを示すフローチャートである。

【図２０】第３の実施の形態の画像合成装置の構成を示
すブロック図である。

【図２１】少ない階調で撮像した場合の撮像時の被写体
の明るさと画像データの階調の特性を示す図である。

【図２２】第４の実施の形態の階調補正の方式を説明す
る図である。

【図２３】従来の合成する画像の撮像状況を示す図であ
る。

【図２４】従来の入力画像の一例を示す図である。

【図２５】従来の入力画像の一例を示す図である。

【図２６】従来の合成画像の一例を示す図である。

【符号の説明】

２０ 対応点抽出部 ３０ 階調補正係数決定部 ３１、３２ 階調変換部 ４０ パラメータ推定部 ５０ 画像変換合成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 羽鳥 健司 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (6)

【特許請求の範囲】
1. 【請求項１】 互いに重複した画像領域を有する複数の
   画像を合成し、画角の広い一つの合成画像を作成する画
   像合成装置において、 前記画像合成は、前記複数の画像の重複した画像領域内
   の画像状態に応じて前記複数の画像を補正した後に行う
   ことを特徴とする画像合成装置。
2. 【請求項２】 互いに重複した画像領域を有する複数の
   画像を合成し、画角の広い一つの合成画像を作成する画
   像合成装置において、 前記画像合成は、前記複数の画像の重複した画像領域内
   の中心部の画像状態に応じて前記複数の画像を補正した
   後に行うことを特徴とする画像合成装置。
3. 【請求項３】 前記画像状態として前記複数の画像の階
   調を検出する検出手段と、この検出結果に基づき重複し
   た画像領域の階調が等しくなるよう前記複数の画像を補
   正する補正手段とを有したことを特徴とする請求項１又
   は２記載の画像合成装置。
4. 【請求項４】 互いに重複した画像領域を有する複数の
   画像を合成し、画角の広い一つの合成画像を作成する画
   像合成方法において、 前記画像合成は、前記複数の画像の重複した画像領域内
   の画像状態に応じて前記複数の画像を補正した後に行う
   ことを特徴とする画像合成方法。
5. 【請求項５】 互いに重複した画像領域を有する複数の
   画像を合成し、画角の広い一つの合成画像を作成する画
   像合成方法において、 前記画像合成は、前記複数の画像の重複した画像領域内
   の中心部の画像状態に応じて前記複数の画像を補正した
   後に行うことを特徴とする画像合成方法。
6. 【請求項６】 前記画像状態として前記重複した画像領
   域内の階調を検出し、この検出結果に基づき重複した画
   像領域の階調が等しくなるよう前記複数の画像を補正す
   ることを特徴とする請求項４又は５記載の画像合成方
   法。