JPH0997326A - 画像合成装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 ３枚以上の画像を重ねて画角の広い画像を合
成する場合でも、効率良く合成画像を得ることができる
画像合成装置および方法を提供する。 【解決手段】 画像合成装置は、インターフェース部
１、処理部２およびデータ記憶部３から構成される。処
理部２はリスト作成部２０、位置関係検出部２１、画像
変換合成部２２からなる。リスト作成部２０はディスプ
レイに表示された画像の処理リストを作成してリスト記
憶部３１に記憶する。位置関係検出部２１は対応点抽出
部２１１、変換パラメータ算出部２１２からなり、２つ
の画像の相対位置関係を求め、その変換パラメータを変
換パラメータ記憶部３２に記憶する。画像変換合成部２
２は変換パラメータに基づいて複数の画像データから１
つの画像データを合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成装置およ
び方法に関し、特に３枚以上の画像を重ねて画角の広い
画像を合成する画像合成装置および方法に関する。

【０００２】

【従来の技術】従来、複数の画像を繋ぎ合わせて画角の
広い画像を合成する方法として、２つの画像が重複する
領域内の対応点を指定し、それらが一致するように画像
の位置合わせを行い、２つの画像を繋ぎ合わせる方法が
知られている。この方法は、２つの画像の対応点をマウ
スなどで指定する必要があり、操作が面倒であった。

【０００３】また、この対応点の抽出をテンプレートマ
ッチングなどの方法により自動的に行って２つの画像の
位置関係を検出し、画像を繋ぎ合わせることも可能であ
る。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来例では、例えば通常の撮影レンズで３６０度全周のパ
ノラマ画像を合成する場合や高解像度の大きい画像を合
成する場合には、２つの画像を合成するだけでは足ら
ず、２つの画像の合成を繰り返し行う必要があり、以下
に掲げる問題があった。

【０００５】例えば、連続した４枚の画像を合成すると
きには、まず第１の画像と第２の画像とから合成画像を
作成し、同様に第３の画像と第４の画像とから合成画像
を作成する。そして、合成された画像同士から４枚の画
像を合成した画像を作成する。

【０００６】この場合、第１の画像と第２の画像、第３
の画像と第４の画像、および合成された画像同士の位置
関係を検出して画像データの合成を行う必要があった。

【０００７】予め、全ての画像の位置関係が分かってい
れば４枚の画像を合成することは可能であるが、繰り返
し２枚の画像の合成を行って合成画像を作成する方法で
は、画像データの合成を複数回行わなければならず、処
理効率が悪かった。

【０００８】また、テンプレートマッチングなどの方法
により自動的に対応点を抽出して２つの画像の位置関係
を検出する場合、繰り返し２枚の画像の合成を行って合
成画像を作成する方法では画像を合成する処理毎に対象
画像を指示しておく必要があり、対応点の指定を行わな
くても操作が面倒であった。

【０００９】そこで、本発明は、３枚以上の画像を重ね
て画角の広い画像を合成する場合に効率良く合成画像を
得ることができる画像合成装置および方法を提供するこ
とを第１の目的とする。

【００１０】また、簡単な操作で上記合成画像を得るこ
とができる画像合成装置および方法を提供することを第
２の目的とする。

【００１１】さらに、合成処理の効率がよく、特に所望
の画像領域での画質がよい合成画像を得ることができる
画像合成装置および方法を提供することを第３の目的と
する。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に係る画像合成装置は、複数の画
像を合成して画角の広い画像を生成する画像合成装置に
おいて、前記複数の画像のうち一部が重複する２つの画
像の重複部分の対応点を抽出し、該抽出した対応点に基
づいて前記２つの画像の位置関係を求める位置関係検出
手段と、該求められた２つの画像の位置関係から順次全
ての画像間の位置関係を求める全画像間位置関係検出手
段と、該求められた全ての画像間の位置関係に基づき、
前記複数の画像の画像データから合成画像領域における
画像データを求めて合成画像を作成する合成画像作成手
段とを備える。

【００１３】請求項２に係る画像合成装置は、複数の画
像を合成して画角の広い画像を生成する画像合成装置に
おいて、前記複数の画像を表示領域内に配置する配置手
段と、該配置された複数の画像のうち一部が重複する２
つの画像の重複部分の対応点を抽出し、該抽出した前記
２つの画像の位置関係を求める位置関係検出手段と、前
記表示領域内の前記複数の画像の配置に基づき、前記位
置関係を求める順序、対象画像および該対象画像の前記
表示領域内の配置を示すリストを作成するリスト作成手
段と、該作成されたリストに基づき、順次求められる２
つの画像の位置関係から全ての画像間の位置関係を求め
る全画像間位置関係検出手段と、該求められた全ての画
像間の位置関係に基づき、前記複数の画像の画像データ
から合成画像領域における画像データを求めて合成画像
を作成する合成画像作成手段とを備える。

【００１４】請求項３に係る画像合成装置は、請求項１
または請求項２に係る画像合成装置において前記複数の
画像の１つを基準画像に設定する設定手段を備え、全画
像間位置関係検出手段は、全ての画像間の位置関係とし
て前記設定された基準画像に対する各画像の位置関係を
求め、前記合成画像作成手段は、前記基準画像に対する
各画像の位置関係に基づき、前記複数の画像の画像デー
タから合成画像領域における画像データを求めて合成画
像を作成することを特徴とする。

【００１５】請求項４に係る画像合成方法は、複数の画
像を合成して画角の広い画像を生成する画像合成方法に
おいて、前記複数の画像のうち一部が重複する２つの画
像の重複部分の対応点を抽出し、該抽出した対応点に基
づいて前記２つの画像の位置関係を求め、該求められた
２つの画像の位置関係から順次全ての画像間の位置関係
を求め、該求められた全ての画像間の位置関係に基づ
き、前記複数の画像の画像データから合成画像領域にお
ける画像データを求めて合成画像を作成することを特徴
とする。

【００１６】請求項５に係る画像合成方法は、複数の画
像を合成して画角の広い画像を生成する画像合成方法に
おいて、前記複数の画像を表示領域内に配置し、該配置
された複数の画像のうち一部が重複する２つの画像の重
複部分の対応点を抽出し、該抽出した前記２つの画像の
位置関係を求め、前記表示領域内の前記複数の画像の配
置に基づき、前記位置関係を求める順序、対象画像およ
び該対象画像の前記表示領域内の配置を示すリストを作
成し、該作成されたリストに基づき、順次求められる２
つの画像の位置関係から全ての画像間の位置関係を求
め、該求められた全ての画像間の位置関係に基づき、前
記複数の画像の画像データから合成画像領域における画
像データを求めて合成画像を作成することを特徴とす
る。

【００１７】

【発明の実施の形態】本発明の画像合成装置の実施の形
態について説明する。

【００１８】［第１の実施の形態］図１は第１の実施の
形態における画像合成装置の構成を示すブロック図であ
る。画像合成装置はインタフェース部１、処理部２およ
びデータ記憶部３の３つの部分から構成される。各部は
コンピュータによって実行される制御プログラムにより
制御される。

【００１９】インターフェース部１は、画像表示部１０
および画像配置部１１からなる。画像表示部１０はコン
ピュータのディスプレイに表示される画像合成のワーク
ウィンドウにユーザが指定した画像および合成後の画像
を表示する。画像配置部１１はディスプレイに表示され
た画像をカーソルのドラッグ操作により移動し、所望の
位置に画像を配置する。

【００２０】処理部２は、リスト作成部２０、位置関係
検出部２１および画像変換合成部２２からなる。リスト
作成部２０は処理を行うための処理順と対象画像のリス
ト（以下、処理リストという）を作成する。位置関係検
出部２１は対応点抽出部２１１、変換パラメータ算出部
２１２からなり、２つの画像の相対位置関係を求め、変
換パラメータを出力する。画像変換合成部２２は複数の
画像データから１つの画像データを合成する。

【００２１】データ記憶部３は、画像データ記憶部３
０、リスト記憶部３１、変換パラメータ記憶部３２から
なり、それぞれ画像データ、処理リスト、変換パラメー
タを記憶する。

【００２２】つぎに、Ｎ枚の画像データから画像を合成
する場合の画像合成装置の動作について説明する。画像
合成のメインプログラムが起動すると、コンピュータの
ディスプレイにワークウィンドウが表示される。同時に
画像データ記憶部３０に記憶されている画像データのフ
ァイル一覧がファイル管理ウィンドウに表示される。

【００２３】ユーザは合成する画像データをファイル管
理ウィンドウから選択する。このとき選択される画像デ
ータを画像＃１とする。そして、選択された画像データ
を画像データ記憶部３０から読み込み、画像表示部１０
によって画像＃１をワークウィンドウ内に表示する。こ
の操作をＮ回繰り返した後、画像＃１〜画像＃ＮのＮ枚
の画像がワークウィンドウ内に表示される。

【００２４】つづいて、ユーザは表示されたＮ枚の画像
のそれぞれにカーソルを合わせ、Ｎ枚の画像について大
体の再配置を行う。画像配置部１１は、このとき、ユー
ザのカーソル指示にしたがって表示されている画像の移
動を画像表示部１０に指示する。画像表示部１０はその
指示にしたがって画像の再表示を行う。同時に画像配置
部１１は、ユーザによって配置されたそれぞれの画像の
ワークウィンドウ内での配置情報を記憶しておく。そし
て、ユーザがキーボードからのコマンド入力により合成
の指示を行うと、処理部２はつぎの処理にしたがって画
像を合成する。

【００２５】リスト作成部２０は、画像＃１を基準画像
とし、画像データの配置情報を基に基準画像との繋がり
を調べる。図２は合成する９枚の画像が配置されたワー
クウィンドウを示す説明図である。この９枚の画像の合
成を例にして、リスト作成部２０が行う処理リストの作
成について説明する。

【００２６】まず、リスト作成部２０は基準画像を中心
に左、右、上、下の順にワークウィンドウ内の残りの全
ての画像との配置関係を探索する。基準画像と相手画像
の配置情報とを比較することによって探索は行われる。
各画像＃１〜＃９のそれぞれの配置情報をｐｏｓ１〜ｐ
ｏｓ９とし、配置情報には水平、垂直方向の位置データ
（ｐｏｓ１ｘ，ｐｏｓ１ｙ）〜（ｐｏｓ９ｘ，ｐｏｓ９
ｙ）が記憶されている。但し、（ｐｏｓ１ｘ，ｐｏｓ１
ｙ）＝（０，０）である。

【００２７】リスト作成部２０は、基準画像と相手画像
の配置情報を比較し、水平方向の配置が左側であり、か
つ任意の閾値ｔｈ１以上のもの（つまり、右側、下側の
配置をそれぞれ正とし、条件式（ｐｏｓ１ｘ，ｐｏｓｉ
ｘ）＞ｔｈ１ （ｉ＝２〜９）、ｔｈ１＞０を満たすも
の）で、かつ画像領域が重複し（つまり、画像の水平方
向の幅をｗとすると、条件式（ｐｏｓ１ｘ，ｐｏｓｉ
ｘ）＜ｗ（ｉ＝２〜９）、ｔｈ１＜ｗを満たし）、その
うち垂直方向の配置ずれが任意の閾値ｔｈ２以下（つま
り、｜（ｐｏｓ１ｙ，ｐｏｓｉｙ）｜＜ｔｈ２、（ｉ＝
２〜９））で最小のものを左画像として探索する。ここ
で、ｔｈ１が画像の水平方向の幅ｗの１／４程度、ｔｈ
２が同様に画像垂直方向の幅ｈの１／４程度であるとす
ると、図２の場合、画像＃１の左画像を探索できない。

【００２８】左画像の探索と同様に、右画像、上画像、
下画像の探索を行う。右画像の探索では、基準画像と相
手画像の配置情報を比較し、水平方向の配置が右側であ
り、かつ任意の閾値ｔｈ１以上のもの、かつ画像領域が
重複し、そのうち垂直方向の配置ずれが任意の閾値ｔｈ
２以下で最小のものを右画像として探索する。

【００２９】また、上画像の探索では、基準画像と相手
画像の配置情報を比較し、垂直方向の配置が上側であ
り、かつ任意の閾値ｔｈ２以上のもの、かつ画像領域が
重複し、そのうち水平方向の配置ずれが任意の閾値ｔｈ
１以下で最小のものを上画像として探索する。

【００３０】さらに、下画像の探索では、基準画像と相
手画像の配置情報を比較し、垂直方向の配置が下側であ
り、かつ任意の閾値ｔｈ２以上のもの、かつ画像領域が
重複し、そのうち水平方向の配置ずれが任意の閾値ｔｈ
１以下で最小のものを下画像として探索する。

【００３１】この結果、画像＃１に対する右画像として
画像＃２、上画像として画像＃４、下画像として画像＃
７が選ばれ、この結果がリスト記憶部３１に登録され
る。図３はリスト記憶部３１に登録された処理リストを
示す説明図である。リスト作成部２０はこの段階で全て
の画像が処理リストに登録されているか否かを判定し、
全ての画像が処理リストに登録されている場合、処理を
終了する。その他の場合、処理リストに登録された画像
を基に基準画像で行った処理と同様の処理をリスト未登
録の画像に対して行い、順次、処理リストを作成してい
く。本実施の形態では、残りの画像が存在するので、処
理を続行する。

【００３２】そして、画像＃２に対する右画像として画
像＃３、上画像として画像＃５、下画像として＃８が選
ばれ、この結果がリスト記憶部３１に登録される。画像
＃４、画像＃７に対する左右上下の画像は探索できな
い。最後に、画像＃３に対する上画像として画像＃６、
画像＃８に対する右画像として画像＃９が選ばれ、この
結果がリスト記憶部３１に登録され、全ての画像が処理
リストに登録されたことを確認して、リスト作成部２０
は処理を終了する。図４は最終的に作成された処理リス
トを示す説明図である。

【００３３】処理リストが作成されると、位置関係検出
部２１は作成された処理リストを基に順次２つの画像の
相対位置関係を求める。すなわち、図４に示した処理リ
ストを参照し、処理リストに登録された順、つまり、画
像＃１と画像＃２、画像＃１と画像＃４、画像＃１と画
像＃７、画像＃２と画像＃３、画像＃２と画像＃５、画
像＃２と画像＃８、画像＃３と画像＃６、画像＃８と画
像＃９の順に相対位置関係を求める。

【００３４】つづいて、画像＃１と画像＃２の相対位置
関係を求める場合、位置関係検出部２１内の対応点抽出
部２１１と変換パラメータ算出部２１２の動作について
説明する。図５は対応点抽出部２１１によって実行され
る対応点抽出の処理手順を示すフローチャートである。
まず、画像＃１からテンプレート切り出し領域の設定を
行う（ステップＳ１１）。画像＃１と画像＃２の配置情
報から画像＃１の右端部をおおよそのテンプレート切り
出し領域とし、ブロック単位で画像サイズの１割程度の
大きさの小領域を切り出す。

【００３５】そして、切り出した全テンプレートについ
て以下のステップＳ１３〜Ｓ１５の処理を行う（ステッ
プＳ１２）。すなわち、切り出したテンプレートに対応
する点を探索する領域を画像＃２から設定する（ステッ
プＳ１３）。このとき、あらかじめ重複領域が分からな
いので、画像＃１と画像＃２の配置情報を利用して画像
＃２の水平方向では左半分、垂直方向ではテンプレート
の画像＃１の位置から±１割の位置を探索領域とする。
この探索領域内でテンプレートを平行にずらしていき、
画像＃１と画像＃２の差分が計算される。そして、差の
絶対値の総和が最小となる位置を対応点位置とする（ス
テップＳ１４）。

【００３６】ステップＳ１４の結果に対する信頼性の判
定を行う（ステップＳ１５）。切り出した全てのテンプ
レートについてステップＳ１３〜ステップＳ１５の処理
を終えたか否かを判別し（ステップＳ１６）、終えてい
ない場合、ステップＳ１３に戻り、終えている場合、処
理を終了する。

【００３７】ステップＳ１５における信頼性の判定は、
最小値となった差の絶対値の総和および２番目に小さい
差の絶対値の総和を用いて行う。本実施の形態では、差
の絶対値の総和の最小値が第１の所定の閾値ｔｈ３以
下、差の絶対値の総和の２番目に小さい値と最小値の差
が第２の所定の閾値ｔｈ４以上であった場合、対応点に
信頼性があると判定し、対応点の画像＃１、＃２中の座
標を対応点抽出部２１１内のメモリに格納しておく。本
実施の形態では、差の絶対値の総和が最小となる位置を
対応点位置としたが、例えば相関演算を行って相関値が
最大となる位置を対応点位置としてもよい。

【００３８】対応点抽出部２１１では、画像＃１とその
右側にある画像＃２の対応点を抽出する場合を示した。
この他、例えば画像＃１とその上側にある画像＃４の対
応点を抽出する場合、まず、処理リストにより画像＃４
が画像＃１の上側に配置されていることを確認し、ステ
ップＳ１１で設定するテンプレート切り出し領域を画像
＃１の上端部に設定し、ステップＳ１３で設定する探索
領域は画像＃４の垂直方向では下半分、水平方向ではテ
ンプレートの画像＃１中の１から±１割の位置に設定す
るのがよい。

【００３９】対応点を抽出する画像が左側、下側の場合
も同様に処理リストの配置情報にしたがって、テンプレ
ート切り出し領域、探索領域の設定を行う。

【００４０】つづいて、変換パラメータ算出部２１２で
は、抽出された対応点位置から画像合成のための座標変
換のパラメータを推定する。このとき、アフィン変換が
座標変換として行われる。画像＃１に対して画像＃２が
θ回転、（ｄｘ、ｄｙ）平行移動、ｍ倍の拡大変換した
関係にあるとすると、画像＃１中の点（ｘ１、ｙ１）は
数式１に示す画像＃２中の点（ｘ２、ｙ２）に対応す
る。

【００４１】

【数１】 このときのパラメータＡ、Ｂ、Ｃ、Ｄを最小自乗法によ
り変換パラメータ算出部２１２で推定する。求めた変換
パラメータＡ、Ｂ、Ｃ、Ｄは変換パラメータ記憶部３２
に記憶される。

【００４２】同様の処理が処理リストを参照して、他の
画像対についても順次行われ、相対位置関係が求まる。
処理リストに登録された画像の相対位置関係が全て求ま
ると、求めた変換パラメータに基づいて、画像変換合成
部２２で画像合成処理が行われる。

【００４３】画像変換合成部２２は、処理リストのそれ
ぞれの画像に対応した変換パラメータ記憶部３２に記憶
された変換パラメータを基に基準画像＃１に対する合成
画像の領域を設定する。合成画像領域は合成後の左右上
下端の位置で表される。図２に示した例では左端は画像
＃１、画像＃４、画像＃７のそれぞれの左上端の画素お
よび左下端の画素の６つの画素のうち基準画素＃１に対
する位置が最も左の位置として求められる。例えば、画
像＃７の画像領域の左上端の基準画像＃１に対する位置
は、画像＃１と画像＃７の合成パラメータＡ１７、Ｂ１
７、Ｃ１７、Ｄ１７を用いて、アフィン変換の逆変換と
して数式２に示すように求められる。但し、点（ｘＬ
１、ｙＬ１）は画像＃７中の左上端の点（ｘＬ７、ｙＬ
７）の基準画像＃１での座標である。

【００４４】

【数２】 同様に、右端は画像＃６、画像＃３、画像＃９のそれぞ
れの右上端の画素および右下端の画素の６つの画素のう
ち基準画像＃１に対する位置が最も右の位置として求め
られる。上端は画像＃４、画像＃５、画像＃６のそれぞ
れの左上端の画素および右上端の画素の６つの画素のう
ち基準画像＃１に対する位置が最も上の位置として求め
られる。下端は画像＃７、画像＃８、画像＃９のそれぞ
れの左下端の画素および右下端の画素の６つの画素のう
ち基準画像＃１に対する位置が最も下の位置として求め
られる。但し、例えば画像＃９の右下端の画素の基準画
像＃１に対する位置を求める場合、変換パラメータ記憶
部３２に直接変換パラメータが記憶されていないので、
数式２と同様の変換を２回行って求める。

【００４５】上記処理により合成画像の矩形領域が求ま
ると、その各画素について画像変換合成部２２は画像＃
１〜画像＃９の画像データを用いて画素値を求める。即
ち、各画素についてつぎの処理を行う。

【００４６】まず、合成画像の画素の画素位置（基準画
像＃１に対する位置）を変換パラメータ記憶部３２に記
憶された変換パラメータを用いて、それぞれの画像＃２
〜画像＃９の画素位置に変換する。例えば、画像＃２の
画素位置は数式１に示した変換を行うことにより求ま
る。また、画像＃３の画素位置は画像＃２と画像＃３、
画像＃１と画像＃２の変換パラメータを用いて同様の変
換を２回行って求める。

【００４７】そして、求まった画素位置の画素値を平均
して合成画像の画素値とする。このとき、変換後の画素
位置が元の画像領域外のものは平均しない。また、画像
＃１〜画像＃９のどの画像領域にも入らない画素はダミ
ー画素（例えば、白画素等）を割り当てる。

【００４８】上記処理により合成された画像データは画
像データ記憶部３０に書き込まれ、画像表示部１０によ
りディスプレイに表示される。このように、図２に示し
たような９枚の画像を合成する場合に限らず、一般にＮ
枚の画像の合成を行う場合も同様に簡単な操作で合成処
理が行えることはいうまでもない。

【００４９】［第２の実施の形態］図６は第２の実施の
形態における画像合成装置の構成を示すブロック図であ
る。前記第１の実施の形態と同一の構成要素は同一の番
号を付して示す。本実施の形態における画像合成装置
は、前記第１の実施の形態と較べて処理部２に基準画像
設定部２３および位置関係統合部２４を設けている。

【００５０】基準画像設定部２３は、画像のワークウイ
ンドウ内での配置情報を基にほぼ中央に位置する画像を
探し、基準画像として設定する。位置関係統合部２４は
変換パラメータ記憶部３２に記憶されている画像間の相
対位置関係から基準画像に対する各画像の位置関係を求
め、位置関係の統合を行う。図２に示した９枚の画像の
合成を行う場合について説明する。

【００５１】ユーザが９枚の画像を図２のように配置し
合成の指示を行うと、合成基準画像設定部２３は、まず
ワークウインドウ内での各画像の配置情報から水平、垂
直方向の位置データの最小値、最大値を求め、最小値と
最大値とを平均して水平、垂直方向の位置データの中央
値を求める。そして、求めた中央値からの距離が最も近
い配置情報を持つ画像を基準画像として設定する。ここ
で、基準画像として設定された画像は、ワークウインド
ウ内でほぼ中央に位置する画像であり、画像＃２が基準
画像として設定される。

【００５２】リスト作成部２０は、前記第１の実施の形
態と同様の処理を行い、処理リストを作成する。図７は
第２の実施の形態において作成された処理リストを示す
説明図である。処理リストが作成されると、位置関係検
出部２１は作成された処理リストを基に順次２枚の画像
の相対位置関係を求める。

【００５３】位置関係統合部２４はリスト記憶部３１に
記憶されている処理リストにしたがって順次、変換パラ
メータ記憶部３２に記憶されている画像間の相対位置関
係から基準画像に対する各画像の位置関係を求め、位置
関係の統合を行う。

【００５４】図７に示した処理リストから画像＃１、画
像＃３、画像＃５、画像＃８の基準画像＃２に対する位
置関係は位置関係検出部２１で検出され、変換パラメー
タ記憶部３２に既に記憶されていることが分かる。一
方、画像＃４、画像＃７、画像＃６、画像＃９の位置関
係検出部２１で検出された位置関係はそれぞれ画像＃
１、画像＃１、画像＃３、画像＃８に対するものであ
り、基準画像＃２に対する位置関係を求めるには変換パ
ラメータの統合が必要である。

【００５５】画像＃４の基準画像＃２に対する位置関係
を求めるときには、位置関係統合部２４は、まず、画像
＃２と画像＃１との位置関係を示す変換パラメータＡ２
１、Ｂ２１、Ｃ２１、Ｄ２１および画像＃１と画像＃４
との位置関係を示す変換パラメータＡ１４、Ｂ１４、Ｃ
１４、Ｄ１４を変換パラメータ記憶部３２から読み込
む。そして、数式３により画像＃２と画像＃４との位置
関係を示す変換パラメータＡ２４、Ｂ２４、Ｃ２４、Ｄ
２４を求める。

【００５６】

【数３】 そして、求められた変換パラメータＡ２４、Ｂ２４、Ｃ
２４、Ｄ２４を変換パラメータ記憶部３２の変換パラメ
ータＡ１４、Ｂ１４、Ｃ１４、Ｄ１４の記憶領域に書き
換えておく。同様に画像＃７、画像＃６、画像＃９の基
準画像＃２に対する位置関係を計算し、変換パラメータ
記憶部３２に書き換えておく。

【００５７】処理リストに登録された画像の基準画像＃
２に対する位置関係の統合が行われた後、統合された変
換パラメータに基づいて画像変換合成部２２で画像合成
処理が行われる。まず、画像変換合成部２２は処理リス
トのそれぞれの画像に対応した変換パラメータ記憶部３
２に記憶された変換パラメータを基に基準画像＃２に対
する合成画像の領域を設定する。そして、合成画像の矩
形領域が求まると、その各画素について画像変換合成部
２２は画像＃１〜画像＃９の画像データを用いて画素値
を求める。このときの各画素の画素位置から基準画像の
画素位置への変換は、位置関係統合部２４で各画像の位
置関係が統合された後なので、１回の変換のみで行われ
る。

【００５８】本実施の形態における画像合成装置では、
画像変換合成部２２での基準画像の画素位置を求める
際、画像領域が画像＃４のような基準画像から直接に左
右上下関係のない画像でも１回の変換のみで画素位置を
求めることができるので、画像変換合成部２２における
画素位置の変換の処理効率がよい。

【００５９】本実施の形態における画像合成装置で作成
された合成画像と前記第１の実施の形態における画像合
成装置で作成された合成画像とを比較してみると、前記
第１の実施の形態における画像合成装置で作成された合
成画像では画像＃１を基準画像としているので、元の画
像＃１の領域が実質的に画像変換を行わない領域である
ため最も画質が良い領域であるが、本実施の形態におけ
る画像合成装置で作成された合成画像の場合には画像＃
２を基準画像としているので、合成画像の中央部分であ
る元の画像＃２の領域が実質的に画像変換を行わない領
域であるため最も画質が良い領域である。

【００６０】また、本実施の形態では、基準画像を設定
する際、ユーザが画像を配置した配置情報を基にしてい
たが、位置関係検出部２１で求めた画像間の位置関係を
基にして設定してもよい。また、本実施の形態では合成
画像のほぼ中央部分の画質が最も良くなるように基準画
像を設定していたが、例えばカーソルなどで画質を良く
したい部分を指定し、その部分を画像領域に含む画像を
基準画像に設定してもよい。

【００６１】尚、本発明は複数の機器から構成されるシ
ステムに適用してもよいし、１つの機器からなる装置に
適用してもよい。また、本発明はシステムあるいは装置
にプログラムを供給することによって達成される場合に
も適用できることはいうまでもない。この場合、本発明
を達成するためのソフトウェアによって表されるプログ
ラムを格納した記憶媒体をシステムあるいは装置に読み
出すことによってそのシステムあるいは装置が本発明の
効果を享受することが可能となる。

【００６２】

【発明の効果】本発明の請求項１に係る画像合成装置に
よれば、複数の画像を合成して画角の広い画像を生成す
る際、位置関係検出手段により前記複数の画像のうち一
部が重複する２つの画像の重複部分の対応点を抽出し、
該抽出した対応点に基づいて前記２つの画像の位置関係
を求め、全画像間位置関係検出手段により該求められた
２つの画像の位置関係から順次全ての画像間の位置関係
を求め、合成画像作成手段により該求められた全ての画
像間の位置関係に基づき、前記複数の画像の画像データ
から合成画像領域における画像データを求めて合成画像
を作成するので、３枚以上の多くの画像を重ねて画角の
広い画像を合成する場合でも効率良くが合成画像を得る
ことができる。

【００６３】請求項２に係る画像合成装置によれば、複
数の画像を合成して画角の広い画像を生成する際、配置
手段により前記複数の画像を表示領域内に配置し、位置
関係検出手段により該配置された複数の画像のうち一部
が重複する２つの画像の重複部分の対応点を抽出し、該
抽出した前記２つの画像の位置関係を求め、リスト作成
手段により前記表示領域内の前記複数の画像の配置に基
づき、前記位置関係を求める順序、対象画像および該対
象画像の前記表示領域内の配置を示すリストを作成し、
全画像間位置関係検出手段により該作成されたリストに
基づき、順次求められる２つの画像の位置関係から全て
の画像間の位置関係を求め、合成画像作成手段により該
求められた全ての画像間の位置関係に基づき、前記複数
の画像の画像データから合成画像領域における画像デー
タを求めて合成画像を作成するので、３枚以上の多くの
画像を重ねて画角の広い画像を合成する場合でも簡単な
操作で合成画像を得ることができる。

【００６４】請求項３に係る画像合成装置によれば、前
記複数の画像の１つを基準画像に設定する設定手段を備
え、全画像間位置関係検出手段は、全ての画像間の位置
関係として前記設定された基準画像に対する各画像の位
置関係を求め、前記合成画像作成手段は、前記基準画像
に対する各画像の位置関係に基づき、前記複数の画像の
画像データから合成画像領域における画像データを求め
て合成画像を作成するので、合成処理の効率がよく、特
に所望の画像領域での画質がよい合成画像を得ることが
できる。

【００６５】請求項４に係る画像合成方法によれば、複
数の画像を合成して画角の広い画像を生成する画像合成
方法において、前記複数の画像のうち一部が重複する２
つの画像の重複部分の対応点を抽出し、該抽出した対応
点に基づいて前記２つの画像の位置関係を求め、該求め
られた２つの画像の位置関係から順次全ての画像間の位
置関係を求め、該求められた全ての画像間の位置関係に
基づき、前記複数の画像の画像データから合成画像領域
における画像データを求めて合成画像を作成するので、
３枚以上の多くの画像を重ねて画角の広い画像を合成す
る場合でも効率良くが合成画像を得ることができる。

【００６６】請求項５に係る画像合成方法によれば、複
数の画像を合成して画角の広い画像を生成する画像合成
方法において、前記複数の画像を表示領域内に配置し、
該配置された複数の画像のうち一部が重複する２つの画
像の重複部分の対応点を抽出し、該抽出した前記２つの
画像の位置関係を求め、前記表示領域内の前記複数の画
像の配置に基づき、前記位置関係を求める順序、対象画
像および該対象画像の前記表示領域内の配置を示すリス
トを作成し、該作成されたリストに基づき、順次求めら
れる２つの画像の位置関係から全ての画像間の位置関係
を求め、該求められた全ての画像間の位置関係に基づ
き、前記複数の画像の画像データから合成画像領域にお
ける画像データを求めて合成画像を作成するので、３枚
以上の多くの画像を重ねて画角の広い画像を合成する場
合でも簡単な操作で合成画像を得ることができる。

【図面の簡単な説明】

【図１】第１の実施の形態における画像合成装置の構成
を示すブロック図である。

【図２】合成する９枚の画像が配置されたワークウィン
ドウを示す説明図である。

【図３】リスト記憶部３１に登録された処理リストを示
す説明図である。

【図４】最終的に作成された処理リストを示す説明図で
ある。

【図５】対応点抽出部２１１によって実行される対応点
抽出の処理手順を示すフローチャートである。

【図６】第２の実施の形態における画像合成装置の構成
を示すブロック図である。

【図７】第２の実施の形態において作成された処理リス
トを示す説明図である。

【符号の説明】

１ インターフェース部 ２ 処理部 ３ データ記憶部 １０ 画像表示部 １１ 画像配置部 ２０ リスト作成部 ２１ 位置関係検出部 ２２ 画像変換合成部 ２１１ 対応点抽出部 ２１２ 変換パラメータ算出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 羽鳥 健司 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数の画像を合成して画角の広い画像を
   生成する画像合成装置において、 前記複数の画像のうち一部が重複する２つの画像の重複
   部分の対応点を抽出し、該抽出した対応点に基づいて前
   記２つの画像の位置関係を求める位置関係検出手段と、 該求められた２つの画像の位置関係から順次全ての画像
   間の位置関係を求める全画像間位置関係検出手段と、 該求められた全ての画像間の位置関係に基づき、前記複
   数の画像の画像データから合成画像領域における画像デ
   ータを求めて合成画像を作成する合成画像作成手段とを
   備えたことを特徴とする画像合成装置。
2. 【請求項２】 複数の画像を合成して画角の広い画像を
   生成する画像合成装置において、 前記複数の画像を表示領域内に配置する配置手段と、 該配置された複数の画像のうち一部が重複する２つの画
   像の重複部分の対応点を抽出し、該抽出した前記２つの
   画像の位置関係を求める位置関係検出手段と、 前記表示領域内の前記複数の画像の配置に基づき、前記
   位置関係を求める順序、対象画像および該対象画像の前
   記表示領域内の配置を示すリストを作成するリスト作成
   手段と、 該作成されたリストに基づき、順次求められる２つの画
   像の位置関係から全ての画像間の位置関係を求める全画
   像間位置関係検出手段と、 該求められた全ての画像間の位置関係に基づき、前記複
   数の画像の画像データから合成画像領域における画像デ
   ータを求めて合成画像を作成する合成画像作成手段とを
   備えたことを特徴とする画像合成装置。
3. 【請求項３】 前記複数の画像の１つを基準画像に設定
   する設定手段を備え、 全画像間位置関係検出手段は、全ての画像間の位置関係
   として前記設定された基準画像に対する各画像の位置関
   係を求め、 前記合成画像作成手段は、前記基準画像に対する各画像
   の位置関係に基づき、前記複数の画像の画像データから
   合成画像領域における画像データを求めて合成画像を作
   成することを特徴とする請求項１または請求項２に記載
   の画像合成装置。
4. 【請求項４】 複数の画像を合成して画角の広い画像を
   生成する画像合成方法において、 前記複数の画像のうち一部が重複する２つの画像の重複
   部分の対応点を抽出し、 該抽出した対応点に基づいて
   前記２つの画像の位置関係を求め、 該求められた２つの画像の位置関係から順次全ての画像
   間の位置関係を求め、 該求められた全ての画像間の位置関係に基づき、前記複
   数の画像の画像データから合成画像領域における画像デ
   ータを求めて合成画像を作成することを特徴とする画像
   合成方法。
5. 【請求項５】 複数の画像を合成して画角の広い画像を
   生成する画像合成方法において、 前記複数の画像を表示領域内に配置し、 該配置された複数の画像のうち一部が重複する２つの画
   像の重複部分の対応点を抽出し、 該抽出した前記２つの画像の位置関係を求め、 前記表示領域内の前記複数の画像の配置に基づき、前記
   位置関係を求める順序、対象画像および該対象画像の前
   記表示領域内の配置を示すリストを作成し、 該作成されたリストに基づき、順次求められる２つの画
   像の位置関係から全ての画像間の位置関係を求め、 該求められた全ての画像間の位置関係に基づき、前記複
   数の画像の画像データから合成画像領域における画像デ
   ータを求めて合成画像を作成することを特徴とする画像
   合成方法。