JPH1091765A - 画像合成装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 入力された複数の画像の露光条件がそれぞれ
異なった場合でも、継ぎ目が目立たないように画像を合
成することができる画像合成装置及び画像合成方法を提
供する。 【解決手段】 入力端子１０ａ、１０ｂから入力された
画像ａ及び画像ｂの互いに重複する部分の同一被写体が
撮像されている領域で誤対応部分が除去された精度の高
い対応点抽出の結果に基づいて、パラメータ推定部４０
により設定された画像合成パラメータを用いて階調補正
のためのサンプルデータが生成され（ステップＳ１
１）、該サンプルデータの平均値に基づいて画像ａの階
調補正係数が算出され（ステップＳ１２）、その階調補
正係数を用いて階調補正された画像ａのサンプルデータ
に基づいて画像ｂの階調補正係数が算出され（ステップ
Ｓ１３）、ステップＳ１２及びステップＳ１３で算出さ
れた各階調補正係数を用いて画像ａ及び画像ｂが補正さ
れる。その後、画像変換合成部５０において、階調補正
された画像ａと画像ｂとの画像合成が行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成装置及び
その方法に関し、特に画像の一部が重複する複数の画像
を重ねて、画角の広いパノラマ画像を合成する画像合成
装置及びその方法に関するものである。

【０００２】

【従来の技術】従来、画像の一部が重複する複数の画像
から画角の広いパノラマ画像を合成する手法として、入
力された複数の画像の重複する領域内の互いに対応する
点が一致するようにアフィン変換等の幾何変換を施し
て、それらの画像を平面上でつなぎ合わせる手法が知ら
れている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の手法において、入力画像の撮像条件が被写体等の要
因により異なり、特に露光条件が異なった場合、精度良
く複数の画像をつなぎ合わせることができたとしても、
同一被写体での入力画像の明るさの違いにより、継ぎ目
が目立ってしまうという問題点があった。

【０００４】例えば、図１６に示すような被写体を、電
子スチルカメラ等でそれぞれフレームｆ１、ｆ２の枠内
で撮像した場合を想定する。フレームｆ１の被写体は全
体が暗いので、撮像時の露光量は暗い所が明るくなるよ
うに補正され、図１７（ａ）のような画像が撮像され
る。また、フレームｆ２の被写体は、全体が明るいの
で、撮影時の露光量は明るい所が暗くなるように補正さ
れ、図１７（ｂ）のような画像が撮像される。従って、
図１７（ａ）及び（ｂ）の入力画像が精度良くつながっ
た場合であっても、図１８に示すような合成画像とな
り、明るさの違いによる継ぎ目が生じてしまう。

【０００５】本発明は、上記問題点を解決するためにな
されたもので、入力された複数の画像の露光条件がそれ
ぞれ異なった場合でも、継ぎ目が目立たないように画像
を合成することができる画像合成装置及びその方法を提
供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、請求項１の画像合成装置は、画像の一部が重複する
ように撮像された第１の画像と第２の画像との対応点を
抽出する対応点抽出手段と、前記対応点抽出手段により
抽出された対応点を用いて推定される座標変換パラメー
タに基づいて、前記対応点抽出手段により抽出された対
応点から誤対応成分を除去する誤対応成分除去手段と、
前記誤対応成分が除去された対応点に基づいて画像合成
パラメータを推定する推定手段と、前記推定された画像
合成パラメータに基づいて、前記第１及び第２の画像の
それぞれから前記誤対応成分が除去された対応点の画素
値を抽出し、前記抽出された画素値を用いて前記第１及
び第２の画像をそれぞれ階調補正する階調補正手段と、
前記階調補正された第１及び第２の画像を合成する画像
合成手段とを備えることを特徴とする。

【０００７】請求項２の画像合成装置は、請求項１の画
像合成装置において、前記階調補正手段は、前記第１の
画像から抽出された画素値の平均値と前記第２の画像か
ら抽出された画素値の平均値との差に基づいて前記第１
の画像を階調補正するための第１の補正関数を生成し、
前記第１の補正関数を用いて前記第１の画像を階調補正
し、前記第２の画像内の、前記除去手段により前記誤対
応成分が除去された対応点の画素値を、前記階調補正さ
れた第１の画像内の前記誤対応成分が除去された対応点
の画素値に一致させる第２の補正関数を生成し、前記第
２の補正関数を用いて前記第２の画像を階調補正するよ
うに構成されることを特徴とする。

【０００８】請求項３の画像合成方法は、画像の一部が
重複するように撮像された第１の画像と第２の画像との
対応点を抽出し、前記抽出された対応点を用いて推定さ
れる座標変換パラメータに基づいて、前記対応点抽出手
段により抽出された対応点から誤対応成分を除去し、前
記誤対応成分が除去された対応点に基づいて画像合成パ
ラメータを推定し、前記推定された画像合成パラメータ
に基づいて、前記第１及び第２の画像のそれぞれから前
記誤対応成分が除去された対応点の画素値を抽出し、前
記抽出された画素値を用いて前記第１及び第２の画像を
それぞれ階調補正し、前記階調補正された第１及び第２
の画像を合成することを特徴とする。

【０００９】請求項４の画像合成方法は、上記請求項３
の画像合成方法において、前記第１及び第２の画像をそ
れぞれ階調補正するときは、前記第１の画像から抽出さ
れた画素値の平均値と前記第２の画像から抽出された画
素値の平均値との差に基づいて前記第１の画像を階調補
正するための第１の補正関数を生成し、前記第１の補正
関数を用いて前記第１の画像を階調補正し、前記第２の
画像内の、前記除去手段により前記誤対応成分が除去さ
れた対応点の画素値を、前記階調補正された第１の画像
内の前記誤対応成分が除去された対応点の画素値に一致
させる第２の補正関数を生成し、前記第２の補正関数を
用いて前記第２の画像を階調補正することを特徴とす
る。

【００１０】

【発明の実施の形態】以下、本発明の実施の形態を、図
面を参照して説明する。

【００１１】（第１の実施の形態）まず最初に、本発明
の第１の実施の形態について、図１〜図１２を参照して
説明する。

【００１２】図１は、本実施の形態にかかる画像合成装
置の構成及び入力された画像の流れを示すブロック図で
ある。

【００１３】同図において、画像合成装置１０は、画像
が入力される入力端子１０ａ、１０ｂと、入力された二
つの画像の対応点を抽出する対応点抽出手段としての対
応点抽出部２０と、対応点抽出部２０により抽出された
対応点から誤対応成分を除去する誤対応成分除去手段と
しての対応点選択部２５と、画像合成パラメータを推定
する推定手段としてのパラメータ推定部４０と、画像の
階調補正のための係数を決定する階調補正係数決定部３
０と、画像の階調を補正する階調変換部３１及び３２
と、二つの画像を合成する画像合成手段としての画像変
換合成部５０とから主に構成されている。階調補正係数
決定部３０、階調変換部３１及び３２は、階調補正手段
を構成する。

【００１４】入力端子１０ａ、１０ｂからは、それぞれ
画像ａ及びｂが入力されている。入力画像ａ及びｂは、
電子スチルカメラ、ビデオカメラ等により画像の一部が
重複するように撮像されたものであり、例えば上述した
従来例の図１７（ａ）及び（ｂ）に示したように、撮像
時の露光条件がそれぞれ異なる画像である。

【００１５】入力端子１０ａ及び１０ｂは対応点抽出部
２０、階調補正係数決定部３０、及び階調変換部３１、
３２に接続されている。入力された画像ａ及びｂは、対
応点抽出部２０に送られ、対応点抽出部２０において画
像ａ及びｂの互いに対応する点（対応点）が抽出され
る。

【００１６】対応点抽出部２０は対応点選択部２５及び
パラメータ推定部４０に接続されており、対応点抽出部
２０により抽出された対応点が対応点選択部２５及びパ
ラメータ推定部４０に送られる。また、対応点選択部２
５は、パラメータ推定部４０と互いに接続されており、
パラメータ推定部４０より推定される座標変換パラメー
タと対応点抽出部２０により抽出された対応点の位置座
標とに基づいて、対応点抽出部２０により抽出された対
応点から誤対応成分を除去し、その結果を再びパラメー
タ推定部４０に送る。パラメータ推定部４０では誤対応
成分が除去された結果に基づいて、画像変換のためのパ
ラメータが推定される。

【００１７】パラメータ推定部４０は階調補正係数決定
部３０及び画像変換合成部５０に接続されており、パラ
メータ推定部４０により推定された画像変換パラメータ
は階調補正係数決定部３０及び画像変換合成部５０に送
られる。

【００１８】階調補正係数決定部３０には、入力端子１
０ａ及び１０ｂから入力された画像ａ及びｂと、パラメ
ータ推定部４０により推定された画像変換パラメータと
が入力されており、画像ａ及びｂの重複部分の画像に基
づいて、画像の階調補正を行う際の係数が決定される。
階調補正係数決定部３０は階調変換部３１及び３２に接
続されており、階調補正係数決定部３０により決定され
た係数は、階調変換部３１及び３２に送られる。階調変
換部３１及び３２では、階調補正係数決定部３０から送
られてきた係数を用いて画像ａ及びｂのそれぞれに対し
て階調変換を行うことにより、２つの画像ａ及びｂの重
複する領域で明るさが等しくなるように、画像ａ及びｂ
それぞれの補正が行われる。

【００１９】階調変換部３１及び３２は、画像変換合成
部５０に接続されている。階調変換部３１及び３２によ
り階調補正された画像ａ及びｂは、パラメータ推定部４
０により推定されたパラメータを用いて変換され、一つ
の画像に合成処理される。

【００２０】上記構成において、画像合成装置全体の制
御は、不図示の制御部で行われる。以下、画像ａ及びｂ
から合成画像ｃを生成する場合の画像合成装置の動作に
ついて詳細に説明する。なお、本実施の形態では、入力
された画像ａ及びｂはそれぞれＮ階調の濃淡画像データ
から構成されているものとする。

【００２１】まず、入力された二つの画像ａ及びｂは、
上述したように対応点抽出部２０に送られ、対応点抽出
部２０において対応点の抽出処理が行われる。

【００２２】図２は、対応点抽出部２０で行われる対応
点抽出処理手順を示すフローチャートである。

【００２３】画像ａ及びｂが入力されると、対応点抽出
部２０では、入力された画像におけるテンプレート切り
出し領域の設定が行われる（ステップＳ１）。このと
き、予め重複領域が判らないので、所定の領域をテンプ
レート切り出し領域とする。

【００２４】図３は、テンプレート切り出し領域Ｔの設
定の一例を示す説明図である。本実施の形態では、図１
７に示した入力画像ａ、ｂは左、右の順で左右に並べら
れている。そこで、図３に示すように、画像ａの水平方
向の右端からテンプレート切り出し領域Ｔを設定し、図
３中破線で示すようにブロック単位で小領域を切り出
す。

【００２５】なお、例えば入力画像ａ及びｂが上、下の
順で上下に並べられている場合は、画像ａの水平方向の
下端からテンプレート切り出し領域を設定するとよい。

【００２６】テンプレート切り出し領域が設定される
と、設定されたテンプレートに対応する点を探索するた
めの領域（探索領域）が、画像ｂにおいて設定される
（ステップＳ２）。このとき、予め重複領域が判ってい
ないので、所定の領域が探索領域とされる。本実施の形
態では、画像ｂの水平方向の左端から、画像ａ中のテン
プレートの位置に基づいて設定した領域が探索領域とし
て設定される。

【００２７】なお、入力画像ａ及びｂの、想定される重
複条件が異なる場合は、ステップＳ２における対応点抽
出の探索範囲の設定を変更すればよい。

【００２８】図４は、画像ｂ中の探索領域の設定の一例
を示す図である。同図（ａ）において画像ａ中の斜線で
示した領域をテンプレートとした場合の画像ｂ中の探索
領域は、図４（ｂ）において領域Ｓとして示してある。

【００２９】探索領域Ｓが設定されると、次に対応点の
検出が行われる（ステップＳ３）。具体的には、ステッ
プＳ２で設定された探索領域Ｓ内でテンプレートを平行
にずらしていき、画像ａとｂとの差分が算出される。そ
して、算出された差分の絶対値の総和が最小となる位置
が、画像ａの、ステップＳ１で切り出されたテンプレー
トとの対応点の位置とされる。

【００３０】対応点が検出された後、その検出結果に対
する信頼性の判定が行われる（ステップＳ４）。信頼性
の判定は、最小値となった差分の絶対値の総和Ｄ１及び
２番目に小さい差分の絶対値の総和Ｄ２を用いて行われ
る。本実施の形態では、差の絶対値の総和の最小値Ｄ１
が第１の所定閾値以下であり、且つ、差の絶対値の総和
Ｄ２が第２の所定閾値以上であった場合に、ステップＳ
３で検出された対応点に信頼性があると判定される。信
頼性があると判定された対応点の座標は、対応点抽出部
２０の不図示のメモリに格納される。

【００３１】そして、全てのテンプレートについて対応
点が抽出されたか否かが判別され（ステップＳ５）、そ
の答が否定（ＮＯ）の場合はステップＳ２からステップ
Ｓ４の処理が繰り返される。また、ステップＳ５の答が
肯定（ＹＥＳ）の場合は、本処理手順を終了する。

【００３２】なお、上記ステップＳ４において、差の絶
対値の総和が最小となる位置を対応点位置としたが、例
えば相関演算を行って、相関値が最大となる位置を対応
点位置としてもよい。また、画像ａおよびｂの対応点を
ステップＳ２〜Ｓ４の処理により抽出したが、例えば、
二つの画像をディスプレイ（不図示）上に表示し、画像
中の同一な点をカーソル等で指定することにより対応点
を抽出するようにしてもよい。

【００３３】図１に戻り、対応点抽出部２０による対応
点抽出の結果は、パラメータ推定部４０及び対応点選択
部２５に送られる。パラメータ推定部４０では、抽出さ
れた対応点位置から、座標変換パラメータが推定され
る。

【００３４】このとき、アフィン変換が座標変換として
行われる。すなわち、画像ａに対して、画像ｂが、θ回
転、（ｄｘ，ｄｙ）変更移動、及びｍ倍の拡大変換を行
った関係にあるとすると、画像ａ中の点（ｘａ，ｙａ）
は、以下の式（１）で示される画像ｂ中の点（ｘｂ，ｙ
ｂ）に対応する。

【００３５】 xb=(cosθ・xa+sinθ・ya-dx)×m =A・xa+B・ya+C yb=(-sinθ・xa+cosθ・ya-dy)×m =-B・xa+A・ya+D 但し、 A=m・cosθ B=m・sinθ C=-m・dx D=-m・dy …………（１） このときのパラメータＡ、Ｂ、Ｃ及びＤは、最小二乗法
により、パラメータ推定部４０において推定される。た
だし、各パラメータを求めるには、対応点の座標が最低
２対必要であり、対応点抽出部２０により抽出された対
応点が１対の場合は、求められた対応点ベクトルの平均
値が平行移動パラメータとされる。すなわち、対応点ベ
クトルの平均値を（ａｘ，ａｙ）とすると、パラメータ
は以下のように設定され、出力される。

【００３６】 A=1、B=0、C=-ax、D=-ay …………（２） また、対応点抽出部２０において対応点が１対も見つか
らなかった場合は、例えば不図示のＣＲＴにメッセージ
を表示して、本処理を終了する。

【００３７】パラメータ推定部４０において推定された
座標変換パラメータは、画像の重複部分を予測する際に
用いられる。

【００３８】図１に戻り、対応点選択部２５には対応点
抽出部２０において抽出された対応点とパラメータ推定
部４０により推定された座標変換パラメータが入力さ
れ、対応点抽出部２０で抽出された対応点から誤対応成
分が除去されて、パラメータ推定部４０における画像変
換パラメータの推定に用いる対応点を選択する処理が行
われる。

【００３９】具体的には、対応点選択部２５では、図５
に示す画像ａ及びｂの対応点Ｐｉ（ｘ，ｙ）及びＱｉ
（ｘ’，ｙ’）の位置座標に基づいて、パラメータ推定
部４０において得られたパラメータＡ、Ｂ、Ｃ及びＤを
用いて、次式に従い誤対応成分が除去される。

【００４０】 ｜x'-(Ax+By+C)｜<Th ｜y'-(-Bx+Ay+D)｜<Th …………（３） 式（３）は、対応点抽出部２０により得られた対応点座
標と、パラメータ推定部４０により得られたパラメータ
Ａ、Ｂ、Ｃ及びＤに基づいて推定される対応点座標との
差を比較するものである。Ｔｈは、差の閾値を示してお
り、任意の値に設定することができる。

【００４１】対応点選択部２５では、対応点抽出部２０
により得られた対応点の中から式（３）を満たすものの
みが選択される。例えば図５において、実線で示されて
いる対応点のペア、例えば点Ｐ０と点Ｑ０、点Ｐ２と点
Ｑ２等のペアは、パラメータＡ、Ｂ、Ｃ及びＤに基づい
て対応点として選択される。対応点抽出部２０により得
られる対応点が上記パラメータを基に得られる座標に対
して閾値より大きくずれている対応点のペア、即ち図５
の点Ｐ１と点Ｑ１、点Ｐ３と点Ｑ３は、誤対応成分とし
て除去される。

【００４２】図１に戻り、対応点選択部２５における選
択の結果はパラメータ推定部４０に送られる。パラメー
タ推定部４０では、選択された対応点を用いて、画像合
成パラメータが推定される。このように、誤対応成分が
除去された対応点の位置座標に基づいて画像合成パラメ
ータが推定されるので、より精度の高い合成画像を生成
することができる。

【００４３】パラメータ推定部４０において推定された
パラメータは、階調補正係数決定部３０へ送られる。階
調補正係数決定部３０では、階調変換部３１、３２によ
る階調補正のための補正係数が決定される。

【００４４】図６は、階調補正係数決定部３０及び階調
変換部３１、３２における階調補正処理手順を示すフロ
ーチャートである。

【００４５】最初に、階調補正係数を決定するためのサ
ンプルデータが、画像ａ及びｂより取得される（ステッ
プＳ１１）。図７は、取得されるサンプルデータの概略
を示す説明図である。階調補正係数決定部３０では、ま
ず、図７に示す画像ａ上でのサンプルデータＰａ１の座
標値が重複部分にあるか否かが、パラメータ推定部４０
により推定された画像合成パラメータに基づいて判別さ
れる。即ち、画像ａのサンプルデータＰａ１の座標値が
式（１）を用いてアフィン変換されて画像ｂの座標値に
変換され、この変換された座標値が画像ｂ内に含まれる
座標値であるか否かが判別される。サンプルデータＰａ
１が画像ａと画像ｂとの重複部分にあると判別された場
合は、そのサンプルデータＰａ１の画像ｂにおける座標
値での画素値をサンプルデータＰｂ１とする。以下、入
力画像ａの複数のサンプルデータＰａ１〜Ｐａｋ（ｋ＝
２〜Ｎ）に対して同様の処理を行い、得られた画素値を
サンプルデータＰｂ１〜Ｐｂｋ（ｋ＝２〜Ｎ）とする。

【００４６】なお、画素値のサンプリングは１画素毎で
もよく、また、任意の間隔でサンプリングをおこなうよ
うにしてもよい。また、サンプルデータの値として、画
像合成パラメータにより得られる対応点の位置座標に基
づいて近辺の画素値の平均値を用いることも可能であ
る。

【００４７】図６に戻り、このように取得されたサンプ
ルデータＰａｋ及びＰｂｋに基づいて、画像ａの階調補
正係数が求められる（ステップＳ１２）。階調補正係数
は、階調補正関数ｆａの係数として算出される。

【００４８】図８は、階調補正の手法を説明するための
説明図である。同図において、横軸は補正前の画像の階
調を示しており、縦軸は補正後の階調を示している。

【００４９】まず、画像ａ及びｂのサンプルデータＰａ
ｋ及びＰｂｋの平均値Ａｖｇ（Ｐａ）及びＡｖｇ（Ｐ
ｂ）が算出され、されに各々の平均値の差Ｄが算出され
る。次に、図８（ａ）に示すように、画像ａの階調を、
三点（０，０）、（２５５，２５５）及び（１２８，１
２８＋Ｄ／２）を通る２次関数（階調補正関数）ｆａで
表されるように関数ｆａを求める。また、画像ａのサン
プルデータＰａｋを階調補正関数ｆａにより変換し、そ
の結果得られる値をｆａ（Ｐａｋ）とする。ここで、階
調補正関数ｆａの係数は、Ｔａ１、Ｔａ２及びＴａ３と
する。

【００５０】図６に戻り、画像ａの階調補正係数の算出
後、画像ｂの階調補正係数が算出される（ステップＳ１
３）。階調補正係数は、階調補正関数ｆｂの係数として
算出される。階調補正関数ｆｂは、サンプルデータＰｂ
ｋをサンプルデータｆａ（Ｐａｋ）に一致させるための
関数として求められる。階調補正関数ｆｂの係数は、図
８（ｂ）のサンプルデータを用いて、式（４）のεを最
小にする係数Ｔｂ１、Ｔｂ２及びＴｂ３として、最小二
乗法により算出される。

【００５１】 ε＝｛fa(Pak)-(Tb1・(Pbk)²+Tb2(Pbk)+Tb3)｝² …………（４） 以上の処理により、各々の画像ａ及び画像ｂの階調補正
関数ｆａ及びｆｂが、式（５）のように得られる。

【００５２】 fa(i)=Ta1・i²+Ta2・i+Ta3 fb(i)=Tb1・i²+Tb2・i+Tb3 …………（５） ここで、ｉは変換前の階調を表す。階調補正係数決定部
３０により算出される階調補正係数は、階調変換部３１
及び３２に送られる。

【００５３】図６に戻り、階調変換部３１及び３２で
は、階調補正係数決定部３０から送られてきた階調補正
係数により、画像ａ及びｂの各々の画素値が変換される
（ステップＳ１４）。

【００５４】このときの階調変換部３２の動作について
説明する。なお、階調変換部３１は階調変換部３２と同
様に動作する。

【００５５】階調変換部３２においては、階調補正係数
Ｔｂ１、Ｔｂ２及びＴｂ３に基づいて画像ｂの階調を変
換するためのテーブルが作成される。具体的には、画像
のダイナミックレンジを８ビットとすると、図９に示す
ように、画像ｂの画素値０〜２５５を式（３）の２次関
数により画素値ｆ（０）〜ｆ（２５５）に変換するため
のテーブルが作成される。

【００５６】なお、階調変換の手法として、カラー画像
の場合はＲ、Ｇ、Ｂの各色毎に行うようにしてもよく、
また、輝度信号に基づいてＲ、Ｇ、Ｂ共通の変換関数を
生成して階調変換を行うようにしてもよい。また、変換
関数としてここでは２次関数を用いたが、他の関数形を
用いることも可能である。また、非線形のテーブルによ
り階調変換を行うようにしてもよいことはいうまでもな
い。

【００５７】図１に戻り、階調変換部３１、３２におい
て階調補正された画像ａ、ｂは、画像変換合成部５０に
送られ、該画像変換合成部５０において１つの画像に合
成される。

【００５８】図１０は、画像変換合成部５０において実
行される合成画像生成手順を示すフローチャートであ
る。

【００５９】まず、合成画像ｃの画像領域が設定される
（ステップＳ２１）。本実施の形態では、画像領域の設
定は入力画像ａの座標系を基準に行われる。図１１は、
画像合成手順を説明するための説明図である。すなわ
ち、合成画像ｃの左端は画像ａの左端とし、合成画像ｃ
の右端は、画像ｂの右上端及び右下端の画素を画像ａの
座標系に変換することにより求められる座標のうち大き
い方の座標とする。画像ｂの座標系を画像ａの座標系に
変換するために、アフィン変換の逆変数が用いられる。
逆変換のパラメータをＡ’、Ｂ’、Ｃ’、Ｄ’とする
と、逆変換は以下のようになる。

【００６０】 xa=A'・xb+B'・yb+C' ya=-B'・xb+A'・yb+D' 但し、A'=A/(A2+B2)、B'=-B(A2+B2)、C'=(-AC+BD)/(A2+B2)、 D'=(-BD-AD)/(A2+B2) …………（６） また、合成画像ｃの上端は画像ａの上端座標値、画像ｂ
の右上端及び左上端の座標を画像ａの座標系に変換して
求められた座標値のうち最小の座標値とし、合成画像ｃ
の下端は画像ａの下端座標値、画像ｂの右下端及び左下
端の座標を画像aの座標系に変換して求められた座標値
のうち最大の座標値とする。

【００６１】合成画像領域の設定が終了すると、画像ａ
及びｂの継ぎ目位置の設定が行われる（ステップＳ２
２）。継ぎ目位置は、画像ａ及びｂの重複部分の中心に
くるように、具体的には図１１の破線Ｌで示すように、
設定される。すなわち、画像ａの右端座標値と、画像ｂ
の左上端及び左下端の座標を画像ａの座標系に変換して
求めた座標値のうち小さい方の座標値との平均値が継ぎ
目位置として設定される。

【００６２】継ぎ目位置の設定が終了すると、ステップ
Ｓ２１で設定された合成画像ｃの領域に対して画素値が
求められ、画像ａ及び画像ｂに対応する画素の画素値が
書き込まれる（ステップＳ２４、Ｓ２５）。そして、全
ての画素値の書き込みが終了したか否かが判別され（ス
テップＳ２６）、その答が否定（ＮＯ）の場合は上記ス
テップＳ２４及びＳ２５の処理が繰り返される。また、
ステップＳ２６の答が肯定（ＹＥＳ）の場合は、直ちに
本手順を終了する。

【００６３】このようにして画像変換合成部５０におい
て生成された合成画像ｃは、図１２に示すように、画像
同士の継ぎ目が目立たないように生成される。合成画像
ｃは、画像合成装置の外部に接続される例えばＣＲＴ等
の表示装置やプリンタ装置等に出力される。

【００６４】以上説明したように、本実施の形態によれ
ば、入力画像ａ及びｂの重複部分の同一被写体が撮像さ
れている領域で誤対応部分が除去された精度の高い対応
点抽出の結果に基づいて設定される画像合成パラメータ
を用いて階調補正のためのサンプルデータを生成し、該
サンプルデータの平均値に基づいて画像ａの階調補正係
数を算出し、その階調補正係数を用いて階調補正された
画像ａのサンプルデータに基づいて画像ｂの階調補正係
数を算出し、このように算出された各階調補正係数を用
いて画像ａ及び画像ｂを階調補正した後、階調補正され
た画像ａと画像ｂとを合成するようにしたので、入力画
像の露光条件が異なる場合であっても、画像の継ぎ目が
目立たないように画像を合成することができる。

【００６５】また、上記合成パラメータに基づいて得ら
れる重複部の画素値の平均レベルに基づいて画像ａの階
調を変換するとともに、画像ｂの階調を画像ａの補正後
の階調に一致するように補正するようにしたので、補正
後の各画像ａ及びｂ部分の階調が自然なものとなる。

【００６６】（第２の実施の形態）次に、本発明の第２
の実施の形態について、図１３及び図１４を参照して説
明する。本実施の形態に係る画像合成装置は、上述した
第１の実施の形態における図１に示した構成からなる画
像合成装置と同様に構成されるが、対応点抽出部２０、
対応点選択部２５及び階調係数決定部３０の機能及び動
作が異なるので、以下、第１の実施の形態と異なる点に
ついて説明する。

【００６７】本実施の形態に係る画像合成装置１０の対
応点抽出部２０は、第１の実施の形態とは異なりマッチ
ングにより得られる対応点の信頼性の判定を行わず、残
差が最小となる位置を対応点とするように構成される。

【００６８】対応点選択部２５においては、上述した式
（３）による誤対応成分の除去を反復することにより対
応点抽出の精度を向上させる。図１３は、対応点選択部
における誤対応成分除去手順を説明するための説明図で
ある。

【００６９】対応点抽出部２０による得られる抽出結果
（図１３（ａ））に基づいて、画像変換パラメータＡ、
Ｂ、Ｃ及びＤが算出される。そして、式（３）に従っ
て、各対応点について差が求められる。次に、差の平均
値Ａｖｇ（ｄｘ）、Ａｖｇ（ｄｙ）が算出される。本実
施の形態においては、この差の平均値が閾値とされる。
すなわち、Ｔｈｘ＝Ａｖｇ（ｄｘ）、Ｔｈｙ＝Ａｖｇ
（ｄｙ）として、図１３（ｂ）に示すように誤対応成分
が除去される。

【００７０】以上の処理は、差の平均値が収束するまで
反復され、最終的に残った対応点（図１３（ｃ））がパ
ラメータ推定部４０に送られ、パラメータ推定部４０に
おいて画像合成パラメータが推定される。

【００７１】また、階調補正係数決定部３０において
は、第１の実施の形態と同様に、図６に示したフローチ
ャートのステップＳ１２及びＳ１３で求められたサンプ
ルデータＰａｋ及びＰｂｋに基づいて、階調補正係数が
求められる。

【００７２】図１４は、階調補正係数決定部３０におけ
る階調補正係数決定手順を説明するための説明図であ
る。具体的には、各画像ａ及びｂにより得られるサンプ
ルデータＰａｋ及びＰｂｋの平均値Ａｖｇ（Ｐａ）及び
Ａｖｇ（Ｐｂ）求められ、更に各々の平均値の差Ｄが求
められる。そして、図１４（ａ）に示すように、画像ａ
の階調が、図１４（ａ）の（０，０）、及び（１２８，
１２８＋Ｄ／２）を通る一次関数ｆａ’で表されるもの
に変換される。また、画像ａのサンプルデータＰａｋが
階調補正関数ｆａ’に従って変換され、ｆａ’（Ｐａ
ｋ）とされる。なお、階調補正関数ｆａ’の係数はＴａ
１’及びＴａ２’とする。

【００７３】更に、サンプルデータＰｂｋをサンプルデ
ータｆａ’（Ｐａｋ）に一致させるための階調補正関数
ｆｂ’が生成される。図１４（ｂ）の横軸は補正前の階
調を示し、縦軸は階調補正関数ｆｂ’により補正された
後の階調を示す。

【００７４】階調補正関数ｆｂ’を生成するための係数
は、図１４（ｂ）のサンプルデータを用いて、式（４）
のεを最小にする係数Ｔｂ１、Ｔｂ２及びＴｂ３として
最小二乗法により算出される。

【００７５】以上の処理により、画像ａ及びｂの階調を
変換する階調補正関数ｆａ’及びｆｂ’が式（７）によ
り与えられる。

【００７６】 fa'(i)=Ta1'・i+Ta2' fb'(i)=Tb1'・i²+Tb2'・i+Tb3' …………（７） なお、ｉは変換前の階調を表す。

【００７７】以上説明したように、本実施の形態によれ
ば、マッチングにより得られる対応点の信頼性の判定を
行わず、残差が最小となる位置を対応点とするようにし
たことにより、対応点抽出の精度を向上させることが可
能となり、更に誤対応成分が除去された精度の高い対応
点抽出の結果に基づいて画像合成パラメータが設定さ
れ、その画像合成パラメータを用いて階調補正のための
サンプルデータが生成されるので、入力画像の露光条件
が異なる場合であっても、画像の継ぎ目が目立たないよ
うに画像を合成することができる。

【００７８】（第３の実施の形態）次に、本発明の第３
の実施の形態について図１５を参照して説明する。本実
施の形態に係る画像合成装置の構成は、上述した第１の
実施の形態の図１に示した画像合成装置の構成と同様で
あり、階調補正係数決定部３０の動作のみが異なる。以
下、階調補正係数決定部３０の動作について説明する。

【００７９】上述した第１及び第２の実施の形態では、
図７に示したように階調補正係数を生成するためのサン
プルデータＰａｋ及びＰｂｋはアフィン変換パラメータ
に基づいて得られる画像ａ及びｂ間の対応点の画素値か
ら取得されていたが、本実施の形態では、アフィン変換
パラメータを基に得られる対応点座標位置の近傍でマッ
チング処理を実行し、より精度の高いサンプルデータの
取得を実現する。

【００８０】図１５は本実施の形態におけるサンプルデ
ータ取得について説明するための説明図である。

【００８１】同図において、Ｐ及びＰ’は、アフィン変
換パラメータを基に得られる対応点のペアである。ここ
では、画像ａ’の点Ｐを中心にテンプレートＴが生成さ
れ、このテンプレート内の点について画像ｂ’の点Ｐ’
を中心としたサーチ領域Ｓ内においてマッチング演算す
ることにより、対応点は、点Ｐに正確に対応する位置
Ｐ’’とされる。これにより、従来はパラメータの誤差
により生じていたサンプルデータのずれ（Ｐ’−Ｐ’’
間の誤差）が補正され、更に精度のよいサンプルデータ
が生成される。

【００８２】マッチング処理の結果の信頼性はピーク位
置での残差で表すこととし、この値が閾値以下である場
合にマッチング処理の結果が正しいと判断される。

【００８３】仮に、サーチ領域Ｓ内においてマッチング
する位置を得ることができなかった場合には、アフィン
変換により得られる対応点座標を用いてサンプルデータ
が生成されるようにしてもよい。

【００８４】以下、画像ａ’及びｂ’それぞれの階調の
補正処理、及び画像変換合成部５０における合成画像
ｃ’の生成処理については、上述した第１の実施の形態
と同様に行われる。

【００８５】このように、本実施の形態によれば、アフ
ィン変換パラメータを基に得られる対応点座標位置の近
傍でマッチング処理を実行することにより、更に精度の
高いサンプルデータの取得を実現することが可能とな
る。

【００８６】

【発明の効果】以上説明したように、請求項１の画像合
成装置又は請求項３の画像合成方法によれば、画像の一
部が重複するように撮像された第１の画像と第２の画像
との対応点を抽出し、前記抽出された対応点を用いて推
定される座標変換パラメータに基づいて、前記対応点抽
出手段により抽出された対応点から誤対応成分を除去
し、前記誤対応成分が除去された対応点に基づいて画像
合成パラメータを推定し、前記推定された画像合成パラ
メータに基づいて、前記第１及び第２の画像のそれぞれ
から前記誤対応成分が除去された対応点の画素値を抽出
し、前記抽出された画素値を用いて前記第１及び第２の
画像の階調補正し、前記階調補正された第１及び第２の
画像を合成するようにしたので、入力画像の露光条件が
異なる場合であっても、画像の継ぎ目が目立たないよう
に画像を合成することができるという効果が得られる。

【００８７】請求項２の画像合成装置又は請求項４の画
像合成方法によれば、前記第１の画像から抽出された画
素値の平均値と前記第２の画像から抽出された画素値の
平均値との差に基づいて前記第１の画像を階調補正する
ための第１の補正関数を生成し、前記第１の補正関数を
用いて前記第１の画像を階調補正し、前記第２の画像内
の、前記除去手段により前記誤対応成分が除去された対
応点の画素値を、前記階調補正された第１の画像内の前
記誤対応成分が除去された対応点の画素値に一致させる
第２の補正関数を生成し、前記第２の補正関数を用いて
前記第２の画像を階調補正するようにしたので、補正後
の各画像ａ及びｂ部分の階調を自然なものとすることが
できるという効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態にかかる画像合成装
置の構成及び入力された画像の流れを示すブロック図で
ある。

【図２】図１に示した対応点抽出部で行われる対応点抽
出処理手順を示すフローチャートである。

【図３】テンプレート切り出し領域Ｔの設定の一例を示
す説明図である。

【図４】探索領域Ｓの設定の一例を示す図である。

【図５】画像ａ及び画像ｂの対応点Ｐｉ，Ｑｉを示す説
明図である。

【図６】図１に示した階調補正係数決定部及び階調変換
部における階調補正処理手順を示すフローチャートであ
る。

【図７】階調補正係数を決定するためのに取得されるサ
ンプルデータの概略を示す説明図である。

【図８】階調補正の手法を説明するための説明図であ
る。

【図９】画像ｂの画素値を画像ａの画素値に変換するた
めのテーブルの一例を示す図である。

【図１０】図１に示した画像変換合成部において実行さ
れる合成画像生成手順を示すフローチャートである。

【図１１】図１に示した画像変換合成部において実行さ
れる画像合成手順を説明するための説明図である。

【図１２】合成画像ｃの一例を示す図である。

【図１３】本発明の第２の実施の形態における対応点選
択部における誤対応成分除去手順を説明するための説明
図である。

【図１４】図１に示した階調補正係数決定部における階
調補正係数決定手順を説明するための説明図である。

【図１５】本発明の第３の実施の形態におけるサンプル
データ取得について説明するための説明図である。

【図１６】従来の画像合成の手法を説明するための説明
図である。

【図１７】従来の画像合成の手法を説明するための説明
図である。

【図１８】従来の画像合成の手法を説明するための説明
図である。

【符号の説明】

２０ 対応点抽出部 ２５ 対応点選択部 ３０ 階調補正係数決定部 ３１、３２ 階調変換部 ４０ パラメータ推定部 ５０ 画像変換合成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 羽鳥 健司 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像の一部が重複するように撮像された
   第１の画像と第２の画像との対応点を抽出する対応点抽
   出手段と、 前記対応点抽出手段により抽出された対応点を用いて推
   定される座標変換パラメータに基づいて、前記対応点抽
   出手段により抽出された対応点から誤対応成分を除去す
   る誤対応成分除去手段と、 前記誤対応成分が除去された対応点に基づいて画像合成
   パラメータを推定する推定手段と、 前記推定された画像合成パラメータに基づいて、前記第
   １及び第２の画像のそれぞれから前記誤対応成分が除去
   された対応点の画素値を抽出し、前記抽出された画素値
   を用いて前記第１及び第２の画像をそれぞれ階調補正す
   る階調補正手段と、 前記階調補正された第１及び第２の画像を合成する画像
   合成手段とを備えることを特徴とする画像合成装置。
2. 【請求項２】 前記階調補正手段は、前記第１の画像か
   ら抽出された画素値の平均値と前記第２の画像から抽出
   された画素値の平均値との差に基づいて前記第１の画像
   を階調補正するための第１の補正関数を生成し、 前記第１の補正関数を用いて前記第１の画像を階調補正
   し、 前記第２の画像内の、前記除去手段により前記誤対応成
   分が除去された対応点の画素値を、前記階調補正された
   第１の画像内の前記誤対応成分が除去された対応点の画
   素値に一致させる第２の補正関数を生成し、 前記第２の補正関数を用いて前記第２の画像を階調補正
   するように構成されることを特徴とする請求項１の画像
   合成装置。
3. 【請求項３】 画像の一部が重複するように撮像された
   第１の画像と第２の画像との対応点を抽出し、 前記抽出された対応点を用いて推定される座標変換パラ
   メータに基づいて、前記対応点抽出手段により抽出され
   た対応点から誤対応成分を除去し、 前記誤対応成分が除去された対応点に基づいて画像合成
   パラメータを推定し、 前記推定された画像合成パラメータに基づいて、前記第
   １及び第２の画像のそれぞれから前記誤対応成分が除去
   された対応点の画素値を抽出し、前記抽出された画素値
   を用いて前記第１及び第２の画像をそれぞれ階調補正
   し、 前記階調補正された第１及び第２の画像を合成すること
   を特徴とする画像合成方法。
4. 【請求項４】 前記第１及び第２の画像をそれぞれ階調
   補正するときは、 前記第１の画像から抽出された画素値の平均値と前記第
   ２の画像から抽出された画素値の平均値との差に基づい
   て前記第１の画像を階調補正するための第１の補正関数
   を生成し、 前記第１の補正関数を用いて前記第１の画像を階調補正
   し、 前記第２の画像内の、前記除去手段により前記誤対応成
   分が除去された対応点の画素値を、前記階調補正された
   第１の画像内の前記誤対応成分が除去された対応点の画
   素値に一致させる第２の補正関数を生成し、 前記第２の補正関数を用いて前記第２の画像を階調補正
   することを特徴とする請求項３に記載の画像合成方法。