JPH09321972A

JPH09321972A - 画像合成装置及び方法

Info

Publication number: JPH09321972A
Application number: JP8133642A
Authority: JP
Inventors: Tatsushi Katayama; 達嗣片山; Kotaro Yano; 光太郎矢野; Hideo Takiguchi; 英夫滝口; Kenji Hatori; 健司羽鳥
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-05-28
Filing date: 1996-05-28
Publication date: 1997-12-12

Abstract

(57)【要約】【課題】露光量が異なりかつ一部を重複させて撮像し
た複数枚の画像をつなぎ合わせて１枚のパノラマ画像を
得る場合に、各画像のつなぎ目を目立たないようにす
る。【解決手段】対応点抽出部１は２つの入力画像ａ、ｂ
の対応点を抽出し、パラメータ推定部２は抽出した対応
点の座標変換を行うためのパラメータを推定し、階調補
正係数決定部３は、推定したパラメータに基づいて画像
ａ、ｂを重み付けするための係数を求める。階調補正部
４、５は、画像ａ、ｂの少くとも一方の重複部分を補正
する。画像合成変換部６は補正された画像ａ、ｂの少く
とも一方を重み付けして元の画像と加算し、この加算画
像と他方の画像とを上記パラメータに基づいて合成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の一部が重複
する複数の画像を重ねて画角の広いパノラマ画像を合成
する場合に用いて好適な画像合成装置および方法に関す
るものである。

【０００２】

【従来の技術】従来、画像の一部が重複する複数の画像
から画角の広いパノラマ画像を合成する方法としては、
画像の重複する領域内の同一な点が一致するようにアフ
ィン変換等の幾何変換を施して２つの画像を平面上でつ
なぎ合わせる方法が知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来例において、入力画像の撮像条件が被写体等の要因で
異なり、特に露光条件が異なった場合、精度良くつなが
った場合でも、同一被写体での入力画像の明るさの違い
により、継ぎ目が目立つという問題点があった。例え
ば、図１６に示すような被写体を電子スチルカメラ等で
それぞれフレームｆ１、ｆ２の枠内で撮像した場合を想
定する。フレームｆ１の被写体は全体が暗いので撮像時
の露光量は暗い所が明るくなるよう補正されて、図１７
ａのような画像が撮像される。また、フレームｆ２の被
写体は全体が明るいので撮像時の露光量は明るい所が暗
くなるよう補正されて、図１７ｂのような画像が撮像さ
れる。従って、入力画像ａ、ｂが精度良くつながった場
合でも図１８に示したような合成画像により，明るさの
違いによる継ぎ目が生じる。

【０００４】従って、発明の目的は、上記問題点を解決
し、入力画像の露光条件が異なった場合でも、継ぎ目が
目立たないように画像を合成することのできる画像合成
装置および方法を提供することである。

【０００５】

【課題を解決するための手段】本発明においては、第１
の画像とこの第１の画像と重複部分を有する第２の画像
との対応点を抽出する抽出手段と、上記抽出した対応点
の座標変換を行うためのパラメータを推定する推定手段
と、上記推定したパラメータに基づいて上記重複部分に
おける第１、第２の画像の少くとも一方を補正する補正
手段と、上記補正された第１、第２の画像の少くとも一
方を重み付けして元の画像と加算し、この加算画像と他
方の画像とを上記パラメータに基づいて合成する合成手
段とを設けている。

【０００６】

【作用】本発明によれば、まず、第１、第２の画像の対
応点を抽出し、この対応点から互いの画像の座標を変換
するためのパラメータを推定する。次に上記パラメータ
に基づいて第１、第２の画像の重複部分の少くとも一方
の画像を補正し、この補正された画像を重み付けした
後、その元の画像と加算し、この加算された画像と他方
の画像とを上記パラメータに基づいてつなぎ合わせるこ
とにより１枚の合成画像が得られる。

【０００７】

【発明の実施の形態】図１に本発明の第１の実施の形態
による画像合成装置の構成を示す。ａ、ｂは入力画像で
あり、電子スチルカメラ、ビデオカメラ等で画像の一部
が重複して撮像されたものである。これは例えば図１７
ａ、ｂに示したような撮像時の露光条件の異なる画像で
ある。１は対応点抽出部であり、入力画像ａ、ｂ間の画
像中の対応点を抽出する。２はパラメータ推定部であ
り、抽出された対応点ベクトルから画像変換を行うパラ
メータを推定する。

【０００８】３は階調補正係数決定部であり、入力画像
ａ、ｂの重複する部分の画像データから階調補正を行う
際の係数を決定する。４、５は階調変換部であり、それ
ぞれ入力画像ａ、ｂに対して階調補正を行い、２つの画
像の重複する領域での明るさを等しくするように補正す
る。６は画像変換合成部であり、入力画像ａ、ｂの明る
さを補正した画像を変換パラメータで変換し、一つの画
像に合成する。７は画像合成装置全体の制御を行う制御
部である。

【０００９】次に入力画像ａ、ｂから合成画像ｃを生成
するときの動作について説明する。ここでは、入力画像
ａ、ｂの画像データがそれぞれＮ階調の濃淡画像データ
である場合について説明する。まず、対応点抽出部１で
対応点抽出を行う。対応点抽出部１の処理アルゴリズム
を図２に示す。ステップＳ２１でまず画像ａからテンプ
レート切り出し領域の設定を行う。この時、あらかじめ
重複領域が分からないので所定の領域をテンプレート切
り出し領域とする。ここでは図１７のように入力画像
ａ、ｂは左、右の順に並んでいるので、図３のように、
画像ａの水平方向の右端から３割、垂直方向の１割から
９割を画像ａにおけるテンプレート切り出し領域Ｔとす
る。そしてこの領域Ｔを分割したブロック単位で画像サ
イズの１割程度の大きさの小領域ｔを切り出す。この
時、例えば入力画像ａ、ｂが上、下の順に並んでいれ
ば、画像ａの垂直方向の下端から３割、水平方向の１割
から９割を画像ａにおけるテンプレート切り出し領域と
するとよい。次にステップＳ２２で切り出した全テンプ
レートについて以下のステップＳ２３〜Ｓ２５の処理を
行う。

【００１０】ステップＳ２３では切り出したテンプレー
トに対応する点を探索する領域を画像ｂから設定する。
この時、あらかじめ重複領域が分からないので、所定の
領域を探索領域とする。ここでは、図４のように、画像
ｂの水平方向の左端からテンプレートの画像ａ中の位置
から±１割の位置を探索領域Ｓとする。この範囲設定は
入力画像ａ、ｂの重複領域が水平方向で５割以下で、垂
直方向では±１割以上はずれないという条件に基づく。
入力画像ａ、ｂの想定される重複条件が異なる場合は、
この対応点抽出の探索範囲の設定を変えれば良い。

【００１１】図４においては、画像ａの斜線で示した領
域ｔをテンプレートとした場合の探索領域Ｓを示してい
る。ステップＳ２４ではこの探索領域Ｓ内でテンプレー
トを平行にずらしていき、画像ａとｂとの差分が計算さ
れる。そして、差の絶対値の総和が最小となる位置を対
応点位置とする。

【００１２】ステップＳ２５ではステップＳ２４の結果
に対する信頼性の判定を行う。信頼性の判定は最小値と
なった差の絶対値の総和の最小値が第１の所定の閾値以
下、差の絶対値の総和の２番目に小さい値と最小値との
差が第２の所定の閾値以上あった時に対応点に信頼性が
あると判定し、対応点の画像ａ、ｂ中の座標を対応点抽
出部１内のメモリに格納しておく。

【００１３】尚、ここでは、差の絶対値の総和が最小と
なる位置を対応点位置としたが、例えば相関演算を行っ
て、相関値が最大となる位置を対応点位置としてもよ
い。また入力画像ａ、ｂの対応点を画像データから上記
処理により抽出したが、例えば、２つの画像ａ、ｂをデ
ィスプレイ上に表示し、画像中の同一な点をカーソル等
で指定して抽出してもよい。

【００１４】パラメータ推定部２では抽出された対応点
位置から、座標変換のパラメータを推定する。この時、
アフィン変換が座標変換として行われる。画像ａに対し
て画像ｂがθ回転、（ｄｘ，ｄｙ）平行移動、ｍ倍の拡
大変換した関係にあるとすると、画像ａ中の点（ｘａ，
ｙａ）は以下の次式（１）の画像ｂ中の点（ｘｂ，ｙ
ｂ）に対応する。ｘｂ＝（ｃｏｓθ・ｘａ＋ｓｉｎθ・ｙａ−ｄｘ）×ｍ＝Ａ・ｘａ＋Ｂ・ｙａ＋Ｃｙｂ＝（−ｓｉｎθ・ｘａ＋ｃｏｓθ・ｙａ−ｄｙ）×ｍ＝−Ｂ・ｘａ＋Ａ・ｙａ＋Ｄ但し、Ａ＝ｍ・ｃｏｓθ、Ｂ＝ｍ・ｓｉｎθ、Ｃ＝−ｍ・ｄｘ、Ｄ＝−ｍ・ｄｙ ………（１）

【００１５】この時のパラメータＡ、Ｂ、Ｃ、Ｄを最小
自乗法によりパラメータ推定部２で推定する。但し、パ
ラメータを求めるには対応点の座標が最低２対必要であ
り、求まった対応点が１対の場合には１／２画像に対し
て求まった対応点ベクトルの平均値を平行移動パラメー
タとする。すなわち、対応点ベクトルの平均値を（ａ
ｘ，ａｙ）とするとき、次式（２）のようにパラメータ
を設定し、出力する。Ａ＝１、Ｂ＝０、Ｃ＝−ａｘ、Ｄ＝−ａｙ ………（２）

【００１６】また、対応点が１対も求まらなかった場合
は以後の処理を行わないで、例えばＣＲＴにメッセージ
を出力し、処理を終了する。推定されたパラメータは重
複部を予測する際に用いられる。

【００１７】一方、階調変換部４、５ではそれぞれ入力
画像ａ、ｂに対して階調変換を行い、２つの画像の重複
する領域での明るさを等しくするように補正する。階調
補正係数決定部３はそのための補正係数を決定する。

【００１８】階調補正係数決定部３および階調変換部
４、５の処理アルゴリズムを図５に示す。ステップＳ１
で、まず各入力画像での座標値が重複部にあるかどうか
をパラメータ推定部２の出力パラメータを用いて判定す
る。すなわち、入力画像ａの各座標値を式（１）に従い
アフィン変換を行い、入力画像ｂの座標値に変換し、こ
の座標値が画像ｂの領域内かどうかを判定する。

【００１９】次に、ステップＳ２において重複部内にあ
ると判定された画素値を入力画像ａ、ｂについてそれぞ
れＰａ₁及びＰｂ₂とする。入力画像ａの座標値に対し
て同様の処理を行い、対応する画素値をＰａ_k及びＰｂ
_k（ｋ＝１〜Ｎ）とする。尚、画素値のサンプリングは
１画素毎でも良いし、任意の間隔でサンプリングを行っ
ても良い。また、サンプル値としてパラメータにより得
られる対応点の座標を基に近辺の画素値の平均値をサン
プルデータとすることも可能である。

【００２０】次に上記ステップＳ２の処理により求まる
サンプルデータＰａ_k及びＰｂ_kを基にステップＳ３に
より階調補正係数を求める。図６は階調補正係数算出の
概略を示したものである。図６において、横幅は画像ｂ
のサンプルデータＰｂ_kの画素値であり、縦幅は画像ａ
のサンプルデータＰａ_k画素値をあらわす。ステップＳ
３においては、上記サンプルデータを基に一方の画像の
画素値を他方の画素値と一致させるための変換関数（図
６の関数９００）を生成する。

【００２１】変換式として、ここでは画像ｂの画素値を
変換する以下の２次関数を生成する。ｆ（Ｐｂ）＝Ｔｂ₁×Ｐｂ²＋Ｔｂ₂×Ｐｂ＋Ｔｂ₃ ………（３）

【００２２】ステップＳ３において、式（３）のｆ（Ｐ
ｂ）を生成するための係数Ｔｂ₁、Ｔｂ₂及びＴｂ₃を
求める。方式としては、最小２乗法により次式のεを最
小にする係数Ｔｂ₁、Ｔｂ₂及びＴｂ₃を算出する。 ε＝Σ｛Ｐａ_k−（Ｔｂ₁×Ｐｂ_k ²＋Ｔｂ₂×Ｐｂ_k＋Ｔｂ₃）｝ ………（４）

【００２３】階調補正係数決定部３により算出される係
数は、階調変換部４、５に与えられる。尚、ここでは画
像ｂの画素値を画像ａに一致させる係数を求めているの
で、画像ａの階調補正係数Ｔａ₁、Ｔａ₂及びＴａ₃
についてはＴａ₁＝０、Ｔａ ₂＝１及びＴａ₃＝０とな
る。

【００２４】次にステップＳ４において階調補正変換部
４、５により与えられた階調補正係数に従い各々の画像
ａ及びｂの画素値を変換する。以下、階調補正変換部５
の動作について説明する。階調変換部５においては、階
調補正係数Ｔｂ₁、Ｔｂ₂及びＴｂ₃を基に画像ｂの
諧調を変換するためのテーブルを作成する。画像のダイ
ナミックレンジを８ビットとすると、図７に示すように
画像ｂの画素値０〜２５５を式（３）の２次関数により
ｆ（０）〜ｆ（２５５）に変換するためのテーブル９１
０を生成する。階調補正変換部４についても同様である
が、ここでは画像ａの画素値は変換しないので、画素値
０〜２５５を０〜２５５に変換するテーブルとなる。

【００２５】尚、階調変換についてはカラー画像の場合
ＲＧＢ共通の変換関数を生成して実行しても良い。ま
た、変換関数としてここでは２次関数を用いたが、他の
関数形を用いることも可能であるし、非線形のテーブル
により階調変換を行うことが可能であることは言うまで
もない。

【００２６】最後に画像変換合成部６において、階調変
換部４、５でそれぞれ階調補正された画像及び入力画像
を基に１つの合成画像が生成される。画像変換合成部６
では図８に示すアルゴリズムに従って合成画像ｃが生成
される。ステップＳ５１でまず合成画像ｃの画像領域を
設定する。ここでは、画像領域の設定は入力画像ａの座
標系を基準に行い、図９の破線で示した領域のように設
定する。すなわち、合成画像ｃの左端は画像ａの左端座
標とし、右端は画像ｂの右上端、右下端の画素を画像ａ
の座標に変換して求めた座標のうち大きい方の座標とす
る。

【００２７】画像ｂの座標を画像ａの座標に変換するに
は次式（５）のアフィン変換の逆変換を用いる。逆変換
のパラメータをＡ′、Ｂ′、Ｃ′、Ｄ′とすると以下に
示す式（５）の変換を行うことになる。ｘａ＝Ａ′・ｘｂ＋Ｂ′・ｙｂ＋Ｃ′ ｙａ＝−Ｂ′・ｘｂ＋Ａ′・ｙｂ＋Ｄ′ 但し、Ａ′＝Ａ／（Ａ２＋Ｂ２）Ｂ′＝−Ｂ／（Ａ２＋Ｂ２）Ｃ′＝（−ＡＣ＋ＢＤ）／（Ａ２＋Ｂ２）Ｄ′＝（−ＢＣ−ＡＤ）／（Ａ２＋Ｂ２） ………（５）

【００２８】また、合成画像ｃの上端は画像ａの上端座
標値および画像ｂの右上端、左上端の画素を画像ａの座
標に変換して求めた座標のうち小さい方の座標値、下端
は画像ａの下端座標値および画像ｂの右下端、左下端の
画素を画像ａの座標に変換して求めた座標のうち大きい
方の座標値とする。

【００２９】ステップＳ５２では、継ぎ目の位置を重複
部の中心となるように図９の破線Ｌで示したように設定
する。すなわち、画像ａの右端座標値と、画像ｂの左上
端、左下端の画素を画像ａの座標に変換して求めた座標
のうち小さい方の座標値との平均値を継ぎ目の位置とす
る。ステップＳ５３では、ステップＳ５１で設定した合
成画像ｃの領域に対してそれぞれ画素値を求める。

【００３０】ステップＳ５４では、図１０に示すように
つなぎ目Ｌを中心に所定幅の階調変換領域２Ｗを設定す
る。次に、画像ａの領域内１４０ａで、かつ階調変換領
域外にあるものに対してはオリジナルの画像ａの画素値
をそのまま書き込む。また、画像ａの領域内で、階調変
換領域内にあるものに対しては、階調変換部４の変換テ
ーブルを基に、書き込む座標位置に従い次式（６）によ
り画素値Ｐを決定する。Ｐ＝｛Ｐａ×（ｄｘａ／Ｗ）｝＋ｆ（Ｐａ）・｛１．０−（ｄｘａ／Ｗ）｝ ………（６）ここで、ｄｘａは図１０に示すように、つなぎ目Ｌから
書き込み座標位置までの距離である。

【００３１】次に画像ｂの領域に関しても同様に書き込
みを実行する。図１０の画像ｂの領域内１４０ｂ内で、
かつ階調変換領域外にあるものに対してはオリジナルの
画像ｂの画素値をそのまま書き込む。また、画像ｂの領
域内で、階調変換領域内にあるものに対しては、階調変
換部５の変換テーブルを基に、書き込む座標位置に従い
次式により画素値Ｐを決定する。Ｐ＝｛Ｐｂ×（ｄｘｂ／Ｗ）｝＋ｆ（Ｐｂ）・｛１．０−（ｄｘｂ／Ｗ）｝ ………（７）ここで、ｄｘｂは図１０に示すようにつなぎ目Ｌから書
き込み座標位置までの距離である。

【００３２】このようにして求めた合成画像ｃの画像は
図１１のようになる。図１１で斜線で示した部分は画像
ａ、ｂどちらかからも画素の割当てがなされない領域で
ダミー画素（たとえば、白画素等）が入る。

【００３３】図１２は図１１のラインＨにおける画素値
の概略を示したものである。ここでは、画像ａの画素値
はそのままであるので、つなぎ目Ｌの左側の画素値はオ
リジナルの画像ａの画素値である。また、つなぎ目Ｌの
右側については階調変換領域Ｗ内にあるか否かで処理が
異なる。即ち、階調変換領域Ｗ内の画素値については画
像ｂのオリジナルの画素値１３１及び階調変換部５の補
正テーブルに従い変換された画素値１３２を式（７）に
従い変換した画素値１３３となっている。さらに、階調
変換領域Ｗ外の領域はオリジナルの画像ｂの画素値とな
る。

【００３４】尚、上記の説明では、画像変換合成部６
は、つなぎ目を中心に画像ａの領域及び画像ｂの領域に
分けて書き込みを行ったが、各々の画像の重複部につい
て領域を設定してその中で各々の画像の画素値を重み付
け加算して合成画像の画素値を生成してもよい。以上の
処理で合成された画像ｃはＣＲＴ、プリンタ等に出力さ
れる。

【００３５】次に本発明の第２の実施の形態について説
明する。本実施の形態による画像合成装置の構成は図１
に示した第１の実施の形態の構成と同様のものであり、
階調変換係数決定部３及び画像変換合成部６の機能及び
動作のみ異なるので、以下、この部分の動作について説
明する。本実施の形態の階調変換係数決定部３において
は、階調変換領域２Ｗを入力画像ａ及びｂの重複部の画
素値を基に設定する。第１の実施の形態と同様に、図１
３に示すように重複部の画像ａ及び画像ｂの画素値を基
にサンプルデータＰａ_k及びＰｂ_kを生成するが、この
とき各々サンプルデータの平均値の差ｄＰ_avgを同時に
求める。求めた平均値の差ｄＰ_avgを画像変換合成部６
に与える。

【００３６】画像変換合成部６においては、得られたｄ
Ｐ_avgを基に次式により階調変換領域２Ｗを設定する。２Ｗ＝Ｙ×（ｄＰ_avg／２５５） ………（８）但し、Ｙは画像の横幅を示す。式（８）におけるｄＰ
_avgは重複部における各々の画像の諧調の差をあらわ
し、最大で２５５、最小で０となる。従って、レベル差
が大きい場合は、階調変換領域２Ｗは大きくなり。レベ
ル差が小さい場合は２Ｗも小さくなる。

【００３７】以下、第１の実施の形態と同様に図１１、
１２に示すように画素値を書き込み合成画像を生成す
る。本実施の形態によれば、重複部のレベル差に応じて
階調変換領域が適応的に設定されるので画像に適した滑
らかな階調補正を行うことができる。

【００３８】次に本発明の第３の実施の形態について説
明する。本実施の形態の構成は図１の構成とほぼ同様で
あり、階調補正の方法のみ異なるので、以下その階調補
正の方法についてのみ説明する。本実施の形態では、第
１の実施の形態と同様に画像ａ及び画像ｂの重複部の画
素値を基にサンプルデータを抽出し図６に示すように各
々のサンプルデータを関係づける。第１の実施の形態に
おいては、各々のサンプルデータを関係を基に最小２乗
法により画像ｂの諧調を画像ａに一致させるための変換
関数を生成して階調変換を行っており、従って、画素値
の変換は画像ｂのみ実行するものである。

【００３９】これに対して本実施の形態では、各々の画
像の画素値を変換して階調補正を実行するものである。
即ち図６に示す関係より変換関数を生成して、階調変換
部４、５に階調補正係数を与える。但し、変換関数は、
第１の実施の形態と同様に画像ｂの画素値を画像ａに一
致させるものである。

【００４０】階調変換部５は、画像ｂの画素値を基に変
換関数により階調を変換する。ここで、オリジナル画像
ｂの画素値をＰｂ、変換関数により変換された画素値を
ｆ（Ｐｂ）として以下の式９により変換を実行する。Ｐｂ′＝｛Ｐｂ＋ｆ（Ｐｂ）｝／２ ………（９）即ち、オリジナルの画素値Ｐｂと変換関数により得られ
る画素値ｆ（Ｐｂ）の平均値により階調変換を行う。

【００４１】一方、階調変換部４においては、次式４０
１により階調変換を行う。Ｐａ′＝Ｐａ−［｛ｆ（Ｐｂ）−Ｐｂ｝／２］ ………（１０）但し、Ｐａは画像ａのオリジナルの画素値である。

【００４２】上記の階調変換の概略を図１４に示す。図
１４に示すように、変換関数ｆ（Ｐｂ）とオリジナルの
画素値Ｐｂとのオフセットｆ（Ｐｂ）−Ｐｂの１／２分
を画像ｂ及び画像ａに対して加減算することにより階調
変換を行うものである。これにより、各々の画素値が互
いに歩み寄ることにより階調補正を行う。各階調変換部
４、５において生成される変換後の画素値は、第１の実
施の形態と同様に図７のようなテーブル形式で保持され
る。

【００４３】以下、第１の実施の形態と同様に画像変換
合成部６において合成画像の書き込みが行われる。図１
５は本実施の形態により合成される画像について、図１
１のラインＨの画素値の概略を示したものである。各々
の画像の画素値が歩み寄って階調補正されていることが
わかる。

【００４４】

【発明の効果】以上説明したように、請求項１、６の発
明によれば、入力画像の重複部分の同一被写体が撮像さ
れている領域で階調補正を行うので、入力画像の露光条
件が異なった場合でも、継ぎ目が目立たないよう合成画
像を得ることができる。

【００４５】また、請求項２の発明によれば、合成画像
のつなぎ目からの距離に応じて重み付けの係数を設定す
るので、滑らかに階調変換された合成画像を得ることが
できる。また、請求項３の発明によれば、所定の領域内
でのみ階調変換を行うので、処理に要する時間を低減す
ることができ、さらに変換前の画像に対して違和感の無
い合成画像を得ることができる。

【００４６】また、請求項４の発明によれば、入力画像
の重複部分の画像を基に階調変換を行う領域を設定する
ので、画像に適した階調補正及び合成を行うことにな
り、高品質の合成画像を得ることができる。また、請求
項５の発明によれば、入力画像の重複部分の画像の平均
値の差を基に階調変換を行う領域を設定するので、画像
に適し、かつ滑らかに階調変換された合成画像を得るこ
とができる。

【図面の簡単な説明】

【図１】本発明の第１〜３実施の形態による画像合成装
置の構成を示すブロック図である。

【図２】対応点抽出部の処理アルゴリズムを示すフロー
チャートである。

【図３】対応点抽出でのテンプレートの切り出し方法を
示す構成図である。

【図４】対応点抽出での探索領域の設定方法を示す構成
図である。

【図５】階調補正の処理アルゴリズムを示すフローチャ
ートである。

【図６】サンプルデータの関係を示す特性図である。

【図７】階調変換部の変化テーブルの構成図である。

【図８】画像変換合成部の処理アルゴリズムを示すフロ
ーチャートである。

【図９】画像合成方法を説明する構成図である。

【図１０】画像合成方法を説明する構成図である。

【図１１】合成画像の一例を示す構成図である。

【図１２】合成画像の一例を示す特性図である。

【図１３】第２の実施の形態によるサンプルデータの抽
出を説明する構成図である。

【図１４】第３の実施の形態による階調変換を説明する
特性図である。

【図１５】第３の実施の形態による画像合成を説明する
特性図である。

【図１６】合成する画像の撮像状況を示す構成図であ
る。

【図１７】入力画像の一例を示す構成図である。

【図１８】従来の合成画像の一例を示す構成図である。

【符号の説明】

１対応点抽出部２パラメータ推定部３階調補正係数決定部４、５階調変換部６画像変換合成部７制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者羽鳥健司東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】第１の画像とこの第１の画像と重複部分
を有する第２の画像との対応点を抽出する抽出手段と、上記抽出した対応点の座標変換を行うためのパラメータ
を推定する推定手段と、上記推定したパラメータに基づいて上記重複部分におけ
る第１、第２の画像の少くとも一方を補正する補正手段
と、上記補正された第１、第２の画像の少くとも一方を重み
付けして元の画像と加算し、この加算画像と他方の画像
とを上記パラメータに基づいて合成する合成手段とを備
えた画像合成装置。
【請求項２】上記合成手段は、上記重複部分からの距
離に応じて上記重み付けを行うことを特徴とする請求項
１記載の画像合成装置。
【請求項３】上記合成手段は、所定の領域内において
上記重み付け及び加算を行うことを特徴とする請求項１
記載の画像合成装置。
【請求項４】上記合成手段は、上記重複部分内の第
１、第２の画像に基づいて上記所定の領域を設定するこ
とを特徴とする請求項３記載の画像合成装置。
【請求項５】上記合成手段は、上記重複部分内の第
１、第２の画像の各平均値の差に基づいて上記所定の領
域を設定することを特徴とする請求項３記載の画像合成
装置。
【請求項６】第１の画像とこの第１の画像と重複部分
を有する第２の画像との対応点を抽出し、この抽出した
対応点の座標変換を行うためのパラメータを推定し、推
定したパラメータに基づいて上記重複部分におけるの第
１、第２の画像の少くとも一方を補正し、補正された第
１、第２の画像の少くとも一方を重み付けして元の画像
と加算し、この加算画像と他方の画像とを上記パラメー
タに基づいて合成するようにした画像合成方法。