JPH11112790A

JPH11112790A - 画像合成装置および方法

Info

Publication number: JPH11112790A
Application number: JP9289175A
Authority: JP
Inventors: Tatsuji Katayama; 達嗣片山; Kotaro Yano; 光太郎矢野; Kenji Hatori; 健司羽鳥; Hideo Takiguchi; 英夫滝口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-10-06
Filing date: 1997-10-06
Publication date: 1999-04-23

Abstract

(57)【要約】【課題】画像枚数が増加した場合でも位置合わせ処理
を高精度で実行することができる画像合成装置を提供す
る。【解決手段】画像合成装置では、画像設定部２０１に
より複数の画像から２つの画像を設定し、重複領域にお
ける対応点位置を抽出する。座標変換パラメータ生成部
２０３により２つの画像間の座標変換パラメータを生成
し、階調補正処理部２０４により２つの画像間の階調を
一致させるための補正関数を生成し、階調補正テーブル
を作成する。合成処理部２０５は設定されている２つの
画像を合成処理し、合成結果を表示部１０５に出力す
る。生成された２つの画像の合成結果が適切であると通
知された場合、各画像の座標変換パラメータは全て画像
１の基準点Ｏを基にしたものに変換され、かつ階調も画
像１に一致するように階調補正テーブルの設定がなされ
て全画像を統合した合成画像Ｇが生成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子カメラなどに
より撮像された複数の画像を合成する画像合成装置およ
び方法に関する。

【０００２】

【従来の技術】従来、この種の画像合成装置として画像
の一部が重複している複数の画像を合成し、パノラマ画
像を生成するものが知られている。図２０は画像の一部
が重複する複数の画像を示す図である。画像３０１、３
０２、３０３ではその一部において画像が重複してい
る。図２１は図２０における複数の画像の合成処理を示
す図である。図において、４０１は画像３０１と画像３
０２を合成した後の合成画像である。

【０００３】従来ではパノラマ画像を合成する場合、図
２１に示すように合成画像を生成し、これを基に逐次、
次の画像を継ぎ足していく方式で画像の合成が行われて
いた。したがって、合成画像４０１と画像３０３を合成
する場合、回転あるいは倍率などが変換された合成画像
４０１の重複領域４０１ａと画像３０３の重複領域３０
３ａとの間で位置合わせ等の処理が行われる。

【０００４】

【発明が解決しようとする課題】しかしながら、回転等
の変換がなされた後の画像はオリジナルの画像に対して
被写体の形状の変化あるいは座標変換等による画像の劣
化を含むので、次画像との位置合わせの際に誤差が生
じ、所望のパノラマ画像が生成できないという問題があ
った。

【０００５】また、この問題は合成する画像の数が増加
するほど顕著となるので、従来の方式により合成できる
画像数は限られたものであった。

【０００６】さらに、合成画像を逐次生成する場合、合
成した画像データを常にメモリに保持しておく必要があ
るので、大容量のメモリが必要であった。

【０００７】そこで、本発明は画像枚数が増加した場合
でも位置合わせ処理を高精度で行うことができる画像合
成装置および方法を提供することを目的とする。

【０００８】また、本発明は複数の画像間の配置および
階調等の関係を有する統合情報および画像情報を記録媒
体に記録することにより、合成画像を常に保持する必要
のない画像合成装置および方法を提供することを他の目
的とする。

【０００９】さらに、本発明はユーザが基準画像を選択
することにより主被写体が撮像されている画像の階調等
を基準に合成画像を生成する画像合成装置および方法を
提供することを他の目的とする。

【００１０】また、本発明は複数の画像およびこの複数
の画像に関連付けされた情報を基に１つの画像に合成す
る画像合成装置および方法を提供することを他の目的と
する。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に記載の画像合成装置は、画像の
一部が少なくとも他の１つの画像と重複して全体として
繋がりを有する複数の画像を合成して合成画像を生成す
る画像合成装置において、前記複数の画像から重複領域
を有する２つの画像を選択する選択手段と、該選択され
た２つの画像を記憶する記憶手段と、該記憶された２つ
の画像を１つの画像に合成する際の座標変換パラメータ
を生成する座標変換パラメータ生成手段と、該生成され
た座標変換パラメータを任意の画像を基準とした値に変
換する座標変換パラメータ合成処理手段と、該変換され
た座標変換パラメータを画像統合情報として保持する画
像統合情報保持手段とを備え、該保持される画像統合情
報にしたがって、前記複数の画像を合成することを特徴
とする。

【００１２】請求項２に記載の画像合成装置は、請求項
１に係る画像合成装置において前記複数の画像が少なく
とも１つの経路で連結するまで処理を繰り返した後、保
持される画像統合情報にしたがって、前記複数の画像を
合成することを特徴とする。

【００１３】請求項３に記載の画像合成装置は、請求項
１に係る画像合成装置において前記画像統合情報として
保持された後、前記選択された２つの画像を前記記憶手
段から破棄する破棄手段を備えたことを特徴とする。

【００１４】請求項４に記載の画像合成装置は、請求項
１に係る画像合成装置において前記選択された２つの画
像を１つの画像に合成する際の階調補正情報を一方の画
像を基に生成する階調補正情報生成手段を備え、前記画
像統合情報保持手段は、該生成された階調補正情報を保
持することを特徴とする。

【００１５】請求項５に記載の画像合成装置は、請求項
１に係る画像合成装置において前記画像統合情報を各画
像に関連付けて記録媒体に記録する記録手段を備えたこ
とを特徴とする。

【００１６】請求項６に記載の画像合成装置は、請求項
１に係る画像合成装置において前記選択された２つの画
像を１つの画像に合成する際の階調補正情報を該２つの
画像の階調が歩み寄る形で生成する階調補正情報生成手
段を備え、前記画像統合情報保持手段は、該生成された
階調補正情報を保持することを特徴とする。

【００１７】請求項７に記載の画像合成装置は、請求項
１に係る画像合成装置において前記生成された座標変換
パラメータが変換される際に基準となる画像を、前記複
数の画像の中から選択して入力する入力手段を備え、該
入力により選択された画像を基準とする座標変換パラメ
ータに基づいて前記複数の画像を１つの画像に合成する
ことを特徴とする。

【００１８】請求項８に記載の画像合成方法は、画像の
一部が少なくとも他の１つの画像と重複して全体として
繋がりを有する複数の画像を合成して合成画像を生成す
る画像合成方法において、前記複数の画像から重複領域
を有する２つの画像を選択し、該選択された２つの画像
を記憶し、該記憶された２つの画像を１つの画像に合成
する際の座標変換パラメータを生成し、該生成された座
標変換パラメータを任意の画像を基準とした値に変換
し、該変換された座標変換パラメータを画像統合情報と
して保持し、該保持される画像統合情報にしたがって、
前記複数の画像を合成することを特徴とする。

【００１９】

【発明の実施の形態】本発明の画像合成装置および方法
の実施の形態について説明する。

【００２０】［第１の実施の形態］図１は第１の実施形
態における画像合成装置の構成を示すブロック図であ
る。図において、１０１は外部記録媒体であり、画像の
一部が重複する複数の画像を記録している。

【００２１】１０２はＣＰＵであり、外部記録媒体１０
１に記録されている画像を読み出し、後述する画像合成
処理を行う。１０３は一時記憶部であり、読み出した画
像を一時的に保持する。１０４は画像処理部であり、一
時記憶部１０３に保持されている画像の合成処理を行っ
てパノラマ画像を生成する。

【００２２】１０５は表示部であり、合成画像およびグ
ラフィックユーザインターフェース（ＧＵＩ）等を表示
する。１０６は操作部であり、ボタンやマウスなどを有
する。上記各部はＣＰＵバスに接続されており、データ
および制御信号のやり取りが可能である。

【００２３】画像合成装置は外部記録媒体１０１から画
像を読み込み、位置合わせを行う２つの画像だけを一時
記憶部１０３に保持する。

【００２４】図２は位置合わせ処理を示す図である。複
数の画像３０１、３０２、３０３を合成する場合、位置
合わせのための対応点検出処理にはオリジナルの画像が
用いられる。

【００２５】同図（Ａ）では、重複領域３０１ａ、３０
２ａの画像を用いて画像３０１、３０２を位置合わせす
るための対応点検出処理が行われる。また、同図（Ｂ）
でも同様に重複領域３０２ｂ、３０３ａを用いて画像３
０２、３０３を位置合わせするための対応点検出処理が
行われる。いずれの場合も合成後の画像ではなく、オリ
ジナルの画像を用いるので、対応点検出処理を高精度に
実行することが可能である。

【００２６】図３は画像処理部１０４の構成を示すブロ
ック図である。図において、２０１は画像設定部であ
り、複数の画像から対応点検出処理を行う２つの画像を
設定する。２０２は対応点検出部であり、図２に示すよ
うに２つの画像間の重複領域における対応点位置を抽出
する。

【００２７】２０３は座標変換パラメータ生成部であ
り、２つの画像間の座標変換パラメータを生成する。２
０４は階調補正処理部であり、２つの画像間の階調を一
致させるための補正関数を生成し、階調補正テーブルを
作成する。

【００２８】２０５は合成処理部であり、設定されてい
る２つの画像を合成処理し、合成結果を表示部１０５に
出力する。２０６は座標変換パラメータ合成処理部であ
り、複数の画像から基準画像を設定し、その他の画像の
座標変換パラメータを基準画像に基づいて変換する。２
０７は階調補正テーブル更新処理部であり、階調補正テ
ーブルを基準画像に基づいて更新する。

【００２９】２０８は描画領域生成部であり、最終的な
合成画像の描画領域を設定する。２０９は画像統合情報
記憶部であり、最終的な合成画像を生成するために必要
となる情報を保持する。２１０は全画像統合処理部であ
り、合成に用いられる全ての画像および画像統合情報に
基づいて最終的な合成画像を生成する。これらの各部は
内部バスに接続されており、内部バスを介してデータお
よび制御信号のやり取りが行われる。

【００３０】つぎに、上記構成を有する画像合成装置の
画像合成動作について説明する。一時記憶部１０３に保
持されている複数の画像を基に、画像設定部２０１は画
像の配置および対応点検出部２０２で対応点検出を行う
ための２つの画像を設定する。

【００３１】図４は複数の画像の配置ウインドウを示す
図である。表示部１０５で配置ウインドウを設定し、配
置ウインドウ上に並べられた画像の位置情報を利用する
ことで複数の画像間の配置関係を設定することが可能で
ある。ただし、配置ウインドウにはサムネイル画像を用
いることにより記憶容量を低減することができる。

【００３２】図５は配置ウインドウに配置された複数の
画像の合成処理を行う手順を示す図である。画像設定部
２０１は配置ウインドウ上の左上隅の画像（図５の画像
１）を基準として処理を開始する。

【００３３】処理の手順として、まず、基準となる画像
１に対して右側の画像の有無を検索し（矢印のパス
）、画像が存在する場合には画像２を選択する。画像
１および画像２間の処理が終了した場合、次に画像２を
基に右側の画像を検索し（矢印のパス）、画像３を選
択する。

【００３４】さらに、画像３を基に右側の画像を検索す
るが、図５の場合には画像３の右側には画像が存在しな
い（点線の矢印）ので、画像３と同じ行の左端の画像つ
まり画像１に戻り、画像１を基に下側の画像を検索し
（矢印のパス）、画像４を選択する。同様の処理を順
次繰り返し、複数の画像から２つの画像を設定する。

【００３５】ここで、画像設定部２０１は選択した２画
像だけを外部記録媒体１０１から一時記憶部１０３に読
み込み、以降の処理を実行する。さらに、統合情報が画
像統合情報記憶部２０９に保持された時点で２つの画像
を一時記憶部１０３から破棄するように動作する。

【００３６】尚、対応点検出部２０２が縮小画像で対応
点検出処理を実行する場合、画像設定部２０１は設定し
た２つの画像を縮小するなどの処理を行う。また、対応
点検出処理をＲＧＢのカラー情報のうちのＧ信号だけで
実行する場合、画像設定部２０１はカラー画像からＧ信
号を抽出する。さらに、対応点検出処理をエッジ画像で
実行する場合、画像設定部２０１は画像からエッジ情報
を抽出する。

【００３７】このようにして画像設定部２０１で設定さ
れた２つの画像は対応点検出部２０２に与えられ、対応
点検出部２０２は２つの画像間の対応点情報を検出す
る。

【００３８】図６は対応点情報の検出処理を示す図であ
る。図において、画像３０１および画像３０２は画像設
定部２０１で設定された２つの画像である。

【００３９】尚、本実施形態では画像３０１および画像
３０２を用いているが、前述したように画像３０１およ
び画像３０２を縦横１／２に縮小した画像を用いてもよ
く、この場合、対応点情報の検出処理を高速に行うこと
ができる。また、エッジ画像を用いることにより対応点
検出の高速化・高精度化を図ることも可能である。

【００４０】対応点情報の検出方式としては、テンプレ
ートマッチング法が用いられる。テンプレートマッチン
グ法では、図６に示すように一方の画像３０１から画像
の一部をテンプレート６０１として切り出す。そして、
他方の画像３０２のサーチエリア６０２内でテンプレー
ト６０１を移動させながらそれぞれの位置でテンプレー
ト６０１の各画素と対応するサーチエリア６０２の各画
素との間で差分の絶対値を計算し、その総和を評価す
る。

【００４１】テンプレート６０１の対応点は、上記差分
の絶対値の総和の最小値を与える位置として求められ
る。対応点検出部２０２は上記テンプレートを少なくと
も２つ以上用いて画像間の対応点情報を検出する。

【００４２】座標変換パラメータ生成部２０３は２つの
画像を合成するための座標変換パラメータを算出する。
本実施形態では、座標変換の一例としてアフィン変換を
示す。画像３０１上の座標を（ｘ，ｙ）とし、画像３０
２上の座標を（ｘ’，ｙ’）とすると、画像３０１およ
び画像３０２間のアフィン変換はパラメータＡ，Ｂ，
Ｃ，Ｄを用いて数式（１）、（２）で表すことができ
る。

【００４３】ｘ’＝Ａｘ＋Ｂｙ＋Ｃ ………（１）ｙ’＝−Ｂｘ＋Ａｙ＋Ｄ ………（２）座標変換パラメータ生成部２０３は対応点検出部２０２
から得られる対応点情報を基にパラメータＡ，Ｂ，Ｃ，
Ｄを求める。パラメータは４つあるので、２点の対応点
情報を数式（１）、（２）に代入して連立方程式を解く
ことにより、パラメータＡ，Ｂ，Ｃ，Ｄを算出すること
ができる。また、３点以上の対応点情報が得られている
場合には、最小二乗法等によりパラメータを求めること
ができる。

【００４４】階調補正処理部２０４は画像間の階調を一
致させるための補正処理を行う。図７は階調補正処理を
示す図である。

【００４５】階調補正処理では、数式（１），（２）式
により画像３０１および画像３０２の対応点を求め、サ
ンプルデータを取得する。すなわち、図７のサンプルデ
ータ７０１ａに対応する点を数式（１），（２）から求
め、サンプルデータ７０１ａに対応する画像３０２上の
サンプルデータ７０１ｂを生成する。サンプルデータは
特定の点の画素値そのものでもよいが、座標変換パラメ
ータの誤差等を考慮して特定の点を中心とした任意の領
域内の画素値の平均値でもよい。

【００４６】図８は補正関数を示す図である。図７に示
すサンプルデータ７０１ａ〜７０４ａ，７０１ｂ〜７０
４ｂを複数生成し、図８に示すように生成したサンプル
データをプロットする（図８の×点）。サンプルデータ
の画素値は各画像毎に保持されている階調補正テーブル
に基づいて生成される。したがって、画像３０１のサン
プルデータＳａおよび画像３０２のサンプルデータＳｂ
は、オリジナルの画素値をｉとして数式（３）、（４）
より算出される。

【００４７】Ｓａ＝Ｋａ［ｉ］ ………（３）Ｓｂ＝Ｋｂ［ｉ］ ………（４）ここで、Ｋａ，Ｋｂは画像３０１および画像３０２の階
調補正テーブルの値を表す。

【００４８】プロットされたデータに基づいて画像３０
２の階調を画像３０１に一致させるための補正関数ｆを
生成する。補正関数ｆの生成はプロットされたデータを
基に最小二乗法等により求めることが可能である。

【００４９】階調補正処理部２０４は生成された補正関
数ｆを基に階調補正テーブルを作成する。ＲＧＢのカラ
ー画像である場合、補正関数ｆは各色毎にｆＲ、ｆＧ、
ｆＢとして求められる。階調補正テーブルの値は、例え
ば各色８ビットのデータからなるＲ［２５６］，Ｇ［２
５６］，Ｂ［２５６］のデータとして生成される。

【００５０】Ｒ信号について示すと、階調補正テーブル
の作成はつぎのように実行される。

【００５１】Ｒ［ｉ］＝ｆＲ（ｉ）（ｉ＝０〜２５５） ………（５）図９は階調補正テーブルを示す図である。左側には補正
前の画素値、右側には数式（５）式より生成された補正
後の画素値が示されている。階調補正処理部２０４は上
記処理により階調補正テーブルを生成する。

【００５２】尚、この時点での階調補正テーブルは一時
的なものであり、合成結果が適切であると判断された場
合にだけ画像に関連付けて保持され、不適切であるとさ
れた場合には破棄されて処理のやり直しが行われる。

【００５３】合成処理部２０５は、座標変換パラメータ
および階調補正テーブルを基に２つの画像３０１，３０
２を合成処理する。図１０は合成処理を示す図である。
合成画像は画像３０１の左上隅を基準とした座標に従
い、合成画像Ｇの座標（ｉ，ｊ）の画素値を画像３０１
および画像３０２から生成する。

【００５４】画像３０１および画像３０２の重複領域の
中心１５０を繋ぎ目として、中心１５０より左側は画像
３０１の画素値を用い、右側は画像３０２の画素値を用
いるようにする。

【００５５】ここでは画像３０１を基準としているの
で、領域１５１は画像３０１の画素値Ｔａを用いてＧ
（ｉ，ｊ）＝Ｔａ（ｉ，ｊ）とし、領域１５２は画像３
０２の画素値Ｔｂを階調補正テーブルにより変換した画
素値を用いて数式（１），（２）式に従いＧ（ｉ，ｊ）
＝Ｋ（Ｔｂ（ｉ’，ｊ’））とする。

【００５６】ただし、ｉ’＝Ａ・ｉ＋Ｂ・ｊ＋Ｃ、ｊ’
＝−Ｂ・ｉ＋Ａ・ｊ＋Ｄであり、Ｋ（）は階調補正テー
ブルの値を表す。

【００５７】カラー画像の場合、合成画像の画素値の生
成はＲＧＢの各色毎に行われる。画像３０１を基準とし
て画像３０２の座標および階調を変換し、合成画像を生
成する。生成された合成画像は記憶部２１１に書き込ま
れて表示部１０５に出力される。

【００５８】表示部１０５は合成画像を表示する。また
同時に、表示部１０５に確認用のボタンを表示し、ユー
ザーが合成された画像が適切であると判断した場合、確
認用のボタンにより適切であることを、操作部１０６を
通じて画像処理部１０４に通知する。

【００５９】そして、操作部１０６から不適切であると
の通知情報が出力されると、表示部１０５上の２つの合
成画像は消去され、記憶部２１１に書き込まれている画
像情報は破棄される。画像処理部１０４は、操作部１０
６からの通知情報に従って合成画像が適切であると通知
された場合、座標変換パラメータ合成処理部２０６は座
標変換パラメータの合成処理を実行する。

【００６０】図１１は座標変換パラメータ合成処理を示
す図である。図１１では８枚の画像を合成する場合が示
されている。ここで、画像１の左上隅を合成画像の基準
点Ｏ（０，０）とする。

【００６１】合成処理部２０５で生成された２つの画像
の合成結果が適切であると通知された場合、座標変換パ
ラメータ合成処理部２０６は座標変換パラメータ生成部
２０３において得られているパラメータを基準点Ｏを基
にした座標変換パラメータに変換する。

【００６２】画像３では画像２との間で対応点検出およ
び座標変換パラメータの生成が行われるが、画像３のパ
ラメータは画像２を基準として生成されたものであるの
で、座標変換パラメータ合成処理部２０６は、これを画
像１の点Ｏを基準としたものに変換する。この処理は、
画像１以外の全ての画像に対して１回実行される。

【００６３】また、階調補正テーブル更新処理部２０７
は、階調補正処理部２０４において得られている階調補
正テーブルを基に、画像３の階調補正テーブルを更新す
る。すなわち、階調補正処理部２０４の階調補正テーブ
ルを画像３の階調補正テーブルとして保持しておくため
のデータ領域を確保し、テーブルデータの書き込みを行
う。但し、操作部１０６から画像２および画像３の合成
結果が適切であるという通知が得られなかった場合、こ
の階調補正テーブルの更新処理を実行しない。

【００６４】階調補正テーブルの更新が完了すると、描
画領域生成部２０８は最終的な合成画像における各画像
の描画領域の設定を行う。

【００６５】画像５の合成画像Ｇにおける描画領域は、
座標変換パラメータ合成処理部２０６で得られる合成パ
ラメータＡ₅，Ｂ₅，Ｃ₅，Ｄ₅を逆変換したパラメータ
Ａ’₅，Ｂ’₅，Ｃ’₅，Ｄ’₅を用い、画像５のオリジナ
ルの４隅の点の合成画像における座標を数式（６）、
（７）より算出する。

【００６６】ｘ＝Ａ’₅ｘ’＋Ｂ’₅ｙ’＋Ｃ’₅………（６）ｙ＝−Ｂ’₅ｘ’＋Ａ’₅ｙ’＋Ｄ’₅………（７）ここで、（ｘ’，ｙ’）はオリジナルの４隅の座標であ
り、（ｘ，ｙ）はこれに対応する合成画像Ｇにおける座
標位置である。

【００６７】図１２は合成画像Ｇの描画領域を示す図で
ある。合成画像Ｇにおける描画領域は、変換後の４隅の
座標を囲む最小の矩形領域として設定される。

【００６８】座標変換パラメータ合成処理部２０６で得
られる合成パラメータ、階調補正テーブル更新部２０７
で得られる階調補正テーブルおよび描画領域データは、
画像情報と共に画像統合情報記憶部２０９に保持され
る。

【００６９】画像統合情報記憶部２０９で保持される情
報には、画像の識別情報（例えばファイル名など）、
基準点Ｏに対する座標変換パラメータ、ＲＧＢの階
調補正テーブル、統合画像における描画領域、チェ
ックフラグがある。

【００７０】画像処理部１０４はｎ枚の画像および逐次
合成中の画像を一時記憶部１０３に常に保持しないで上
記画像統合情報だけを保持しておく。また、画像統合情
報は画像毎に保持するように、情報の設定がなされた時
点でチェックフラグを値１とする。

【００７１】図５に示すパスに従い、画像設定部２０１
は画像１−画像２、画像２−画像３、画像１−画像４、
画像４−画像５、画像５−画像６を選択して上記一連の
処理を実行する。この処理では、基本的に２枚の画像だ
けが必要であり、画像設定部２０１が対応点検出に必要
な２つの画像だけを外部記録媒体１０１から読み込むこ
とにより、記憶容量が低減される。

【００７２】画像５および画像６の間で上記一連の処理
が完了し、画像６の画像統合情報が画像統合情報記憶部
２０９に保持されると、各画像の座標変換パラメータは
全て画像１の基準点Ｏを基にしたものに変換され、かつ
階調も画像１に一致するように階調補正テーブルの設定
がなされる。さらに、描画領域も画像毎に設定が完了し
た状態となる。

【００７３】全画像統合処理部２１０は、画像統合情報
記憶部２０９の情報および一時記憶部１０３に保持され
ている画像を基に全画像を統合した合成画像Ｇを生成す
る。各画像の描画領域は図１２に示すように保持されて
いるので、記憶部２１１から画像１〜画像８を順次読み
込み、各画像の描画領域内の画素値を書き込む。画像の
書き込みは合成された座標変換パラメータおよび階調テ
ーブルにしたがって実行される。

【００７４】また、この際、画像１から順に書き込みを
行うので、画像１の描画領域内の書き込みが完了した時
点で一時記憶部１０３から画像１の情報を破棄する。画
像２〜画像８についても同様の処理を行うことにより、
一時記憶部１０３は８枚の画像分程度の記憶容量で済
む。

【００７５】また、基本的にオリジナルの画像だけを用
いて統合処理のための情報を生成しているので、画像枚
数が何枚になっても処理の負荷は変わらない。さらに、
位置検出もオリジナルの画像を基にしているので、画像
枚数が多くなることによる精度の低下も生じない。

【００７６】［第２の実施の形態］図１３は第２の実施
形態における画像合成装置の画像処理部の構成を示すブ
ロック図である。画像処理部以外の各部については前記
第１の実施形態と同様である。

【００７７】図１３の画像処理部１０４Ａにおいて、図
２と同じ記号を付したものは同一の機能および動作をす
るものとしてその説明を省略する。第２の実施形態の画
像合成装置は画像設定部２１４、階調補正処理部２１
５、階調補正テーブル更新処理部２１３に特徴を有す
る。

【００７８】図１４は２つの画像の設定手順を示す図で
ある。画像設定部２１４は前記第１の実施形態と異なる
手順で２つの画像を設定する。すなわち、左上隅の画像
１を基準として左→右→上→下の順で周囲の画像を検索
し、画像が存在する場合には従来と同様に画像を設定
し、対応点検出部２０２に出力する。図１４では画像１
−画像２（矢印のパス）が設定される。そして、再び
画像１を基準にして検索を実行し、画像１の下にある画
像４（矢印のパス）を設定し、画像１−画像２間で処
理を実行する。

【００７９】さらに、画像設定部２１４は処理の順番に
従って処理リストを作成する。図１５は処理リストを示
す図である。処理リスト９００には、基準となる画像１
を先頭に処理に用いられた順に画像情報が追加される。

【００８０】画像１の左→右→上→下の検索および処理
が完了した時点では、処理リスト９００に画像１、画像
２および画像４が登録される。そして、処理リスト９０
０の２番目に登録された画像２を基準として、同様に左
→右→上→下の順で検索および処理が実行される。画像
２の左側には画像１が存在するが、既にこのペアでは処
理が実行されているので、画像１はスキップされる。ス
キップするか否かはチェックフラグが値１（処理済）で
あるか値０（未処理）であるかにより判断される。

【００８１】画像２の右側には未処理の画像３が存在す
るので、画像２−画像３を設定して以降の処理を実行す
る。画像２を基準とした処理が完了すると、処理リスト
９０の３番目に移行して画像４を基準とした検索および
処理を行う。同様の処理を繰り返して、画像統合情報
（統合情報）を生成する。

【００８２】この検索方式を用いることにより、複数の
画像間の配置が如何に複雑であっても、未処理の画像を
残すことなく効率的に統合情報の設定を行うことができ
る。

【００８３】階調補正処理部２１５の動作について説明
する。前記第１の実施形態では、画像３０２の階調を画
像３０１に一致させる階調補正について示したが、第２
の実施形態では、各々の画像の階調を歩み寄らせて階調
補正を行う。

【００８４】サンプルデータの取得は第１の実施形態と
同様である。図１６は補正関数を示す図である。各々の
サンプルデータを基に、各々の画像の階調が歩み寄る形
で補正関数ｆａおよびｆｂは生成される。

【００８５】階調補正テーブル更新処理部２１３は、各
画像の階調を歩み寄らせる形で補正関数を生成して階調
補正テーブルを生成する。すなわち、画像１−画像２間
で階調補正を行って階調補正テーブルを作成し、後に画
像２−画像３間で階調補正テーブルを生成した場合、画
像２に接する画像１の階調補正テーブルおよび画像１に
接する画像４の階調補正テーブルも同時に変換すること
が必要不可欠となる。前記第１実施形態では、画像１を
基準として新たに繋げる方の画像の階調だけを変換して
補正を行ったので、この処理は必要なかった。

【００８６】この処理を実現するために、階調補正テー
ブル更新処理部２１３はマイクロコンピュータを介して
処理リスト９００をアクセスする。画像２−画像３間で
階調補正を行っている時点では、処理リスト９００には
画像１、画像２、画像４が登録されているので、画像２
−画像３間で補正関数が生成され、２つの画像を合成し
た結果が適切であるという通知が操作部１０６から得ら
れた後に、階調補正テーブル更新処理部２１３は画像
１、画像２、画像４の階調補正テーブルの更新を実行す
る。

【００８７】階調補正テーブルの更新処理では、画像３
の階調補正関数ｆｂにより、Ｒ₃［ｉ］＝ｆｂ（ｉ），
（ｉ＝０〜２５５）とし、画像１、画像２および画像４
ではＲ₁［ｉ］＝ｆａ（Ｒ₁［ｉ］），Ｒ₂［ｉ］＝ｆ
ａ（Ｒ₂［ｉ］），Ｒ₄［ｉ］＝ｆａ（Ｒ₄［ｉ］）とし
て階調補正テーブルの更新を行う。

【００８８】この一連の処理を実行して画像統合情報の
設定が完了すると、画像統合情報記憶部２０９の処理リ
ストのヘッダ部に画像毎の統合情報が追加される。

【００８９】本実施形態では、上記処理リストは１つの
ファイルフォーマットとしてＣＰＵ１０２により記録媒
体に記憶される。このフォーマットのファイルを再生す
る手段と全画像統合処理部を有する装置（図示せず）を
用いることにより、情報を記録した記録媒体から統合し
た合成画像を生成することが可能となる。

【００９０】この記録媒体を用いることにより、統合し
た画像を記録しなくとも必要に応じて統合情報を基に統
合処理し、合成画像を生成することができる。また、統
合処理する装置は再生手段と全体画像統合処理部で動作
するので、装置が簡潔となり低コストで合成画像を得る
ことが可能となる。

【００９１】［第３の実施の形態］図１７は第３の実施
形態における画像合成装置の画像処理部の構成を示すブ
ロック図である。図１７の画像処理部１０４Ｂにおい
て、図２と同じ記号を付するものはその機能および動作
が同じものであるので、その説明を省略する。

【００９２】第３の実施形態の画像合成装置は、複数の
画像を合成する際の基準画像をユーザーが選択し、選択
された基準画像を基に他の画像の座標変換パラメータの
生成および階調補正を実行することに特徴を有する。

【００９３】図１８は複数の画像が配置された状態を示
す図である。画像設定部２１６は一時記憶部１０３から
複数の画像を読み込み、配置された状態で左上隅の画像
から順に番号を付ける。

【００９４】操作部１０６により例えば斜線の画像５が
選択されると、選択された画像情報を基準画像として設
定する。前記第１の実施形態と同様に２つの画像を順次
設定し、対応点検出以降の処理を実行する。

【００９５】対応点検出処理に用いられる画像のペア
は、図１８の矢印のパスに従って画像１−画像２、
画像２−画像３、画像１−画像４、画像４−画像
５、画像５−画像６、画像４−画像７、画像７−
画像８、画像８−画像９となる。

【００９６】本実施形態では、基準画像５が設定される
まで前記第１の実施形態と同様に一連の処理を実行する
が、基準画像５が設定された時点で座標変換パラメータ
および階調補正テーブルを基準画像５を基に変換する。
即ち、矢印のパスの処理までは、画像１を基準とした
座標変換パラメータおよび階調補正テーブルを保持する
が、矢印のパスの処理、つまり画像４−画像５間の処
理の時点で座標変換パラメータおよび階調補正テーブル
を画像５を基準としたものに変換する。

【００９７】画像４−画像５の２画像に関する合成画像
が生成され、操作部１０６から合成結果が適切であると
の通知をマイクロコンピュータが受けると、座標変換パ
ラメータ合成処理部２１７は、まず画像４の座標変換パ
ラメータを画像５を基準としたものに変換する。そし
て、画像４と接する画像１の座標変換パラメータを画像
５を基準として変換し、さらに画像２および画像３の座
標変換パラメータを画像５を基準とした値に変換する。

【００９８】また、階調補正テーブル更新処理部２１８
は、画像４の階調を画像５を基準としたものに変換する
ための補正関数ｆ’を用いて画像１〜画像４の階調を変
換する。さらに、描画領域生成部２１９は座標変換パラ
メータ合成処理部２１７で合成された座標変換パラメー
タを基に、合成画像における画像１〜画像５の描画領域
を設定し直す。

【００９９】この処理の結果は画像統合情報記憶部２０
９で保持される。画像５−画像６以降のペアに関する処
理も、画像５を基準とした情報に変換して保持される。
全ての画像統合情報の設定が完了すると、全画像統合処
理部２１０は全画像を統合情報に従って合成する。

【０１００】図１９は画像合成処理を示す図である。中
心の画像を基準に合成しているので、歪み等が分散した
画像を生成することができる。また、基準画像として主
被写体を有する画像を選択することにより、主被写体を
撮像した際の階調を保持した状態で全画像の合成結果を
得ることができる。

【０１０１】尚、第３の実施形態ではユーザーが基準画
像を選択する場合を示したが、画像の配置から自動的に
基準画像を設定することも可能である。例えば、図１９
に示す配置の場合、３×３の配列となっているので、縦
・横の真ん中の位置（１，１）にある画像を自動的に基
準画像としてもよい。

【０１０２】また、第１、第２および第３の実施形態に
おける画像処理部１０４、１０４Ａ、１０４Ｂにおける
処理機能を、フロッピーディスク等の記録媒体にプログ
ラムとして格納しておき、パーソナルコンピュータ等の
システムあるいは装置を用いてプログラムを記憶部にロ
ードして、ソフトウェアにより実行することも可能であ
る。この場合、本発明を達成するためのソフトウェアに
よって表されるプログラムを格納した記録媒体をシステ
ムあるいは装置に読み出すことによってそのシステムあ
るいは装置が本発明の効果を享受することが可能とな
る。

【０１０３】記憶媒体としては、例えばＲＯＭ、ハード
ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯ
Ｍ、ＣＤ−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリ
カードなどを用いることができる。

【０１０４】さらに、本発明は複数の機器から構成され
るシステムに適用してもよいし、１つの機器からなる装
置に適用してもよい。

【０１０５】

【発明の効果】本発明の請求項１に記載の画像合成装置
によれば、画像の一部が少なくとも他の１つの画像と重
複して全体として繋がりを有する複数の画像を合成して
合成画像を生成する際、選択手段により前記複数の画像
から重複領域を有する２つの画像を選択し、該選択され
た２つの画像を記憶手段に記憶し、座標変換パラメータ
生成手段により該記憶された２つの画像を１つの画像に
合成する際の座標変換パラメータを生成し、座標変換パ
ラメータ合成処理手段により該生成された座標変換パラ
メータを任意の画像を基準とした値に変換し、画像統合
情報保持手段により該変換された座標変換パラメータを
画像統合情報として保持し、該保持される画像統合情報
にしたがって、前記複数の画像を合成するので、画像枚
数が増加した場合でも、常にオリジナルの画像で位置合
わせ処理を実行することができ、高精度かつ高速に画像
合成を実行することが可能となる。

【０１０６】また、請求項８に記載の画像合成方法にお
いても同様の効果を得ることができる。

【０１０７】請求項２に記載の画像合成装置によれば、
前記複数の画像が少なくとも１つの経路で連結するまで
処理を繰り返した後、保持される画像統合情報にしたが
って、前記複数の画像を合成するので、複数の画像およ
びこの複数の画像に関連付けされた情報を基に１つの画
像に合成することができ、所望のパノラマ画像を生成で
きる。

【０１０８】請求項３に記載の画像合成装置によれば、
前記画像統合情報として保持された後、破棄手段により
前記選択された２つの画像を前記記憶手段から破棄する
ので、記憶手段の記憶容量を低減できる。

【０１０９】請求項４に記載の画像合成装置によれば、
階調補正情報生成手段により前記選択された２つの画像
を１つの画像に合成する際の階調補正情報を一方の画像
を基に生成し、前記画像統合情報保持手段は、該生成さ
れた階調補正情報を保持するので、高精度に階調補正を
行うことができる。

【０１１０】請求項５に記載の画像合成装置によれば、
記録手段により前記画像統合情報を各画像に関連付けて
記録媒体に記録するので、複数の画像間の配置および階
調等の関係を有する統合情報および画像情報を記録媒体
に記録することにより、合成画像を常に保持する必要を
なくすことができ、複数枚の合成画像の生成を容易に行
うことができる。

【０１１１】請求項６に記載の画像合成装置によれば、
前記選択された２つの画像を１つの画像に合成する際の
階調補正情報を該２つの画像の階調が歩み寄る形で生成
する階調補正情報生成手段を備え、前記画像統合情報保
持手段は、該生成された階調補正情報を保持するので、
高精度に階調補正を行うことができる。

【０１１２】請求項７に記載の画像合成装置によれば、
前記生成された座標変換パラメータが変換される際に基
準となる画像を、前記複数の画像の中から選択して入力
する入力手段を備え、該入力により選択された画像を基
準とする座標変換パラメータに基づいて前記複数の画像
を１つの画像に合成するので、ユーザが基準画像を選択
することにより主被写体が撮像されている画像の階調等
を基準に合成画像を生成することができ、違和感のない
合成画像を得ることができる。また、中心の画像を基準
に合成することにより、歪み等が分散した画像を生成す
ることができる。

【図面の簡単な説明】

【図１】第１の実施形態における画像合成装置の構成を
示すブロック図である。

【図２】位置合わせ処理を示す図である。

【図３】画像処理部１０４の構成を示すブロック図であ
る。

【図４】複数の画像の配置ウインドウを示す図である。

【図５】配置ウインドウに配置された複数の画像の合成
処理を行う手順を示す図である。

【図６】対応点情報の検出処理を示す図である。

【図７】階調補正処理を示す図である。

【図８】補正関数を示す図である。

【図９】階調補正テーブルを示す図である。

【図１０】合成処理を示す図である。

【図１１】座標変換パラメータ合成処理を示す図であ
る。

【図１２】合成画像Ｇの描画領域を示す図である。

【図１３】第２の実施形態における画像合成装置の画像
処理部の構成を示すブロック図である。

【図１４】２つの画像の設定手順を示す図である。

【図１５】処理リストを示す図である。

【図１６】補正関数を示す図である。

【図１７】第３の実施形態における画像合成装置の画像
処理部の構成を示すブロック図である。

【図１８】複数の画像が配置された状態を示す図であ
る。

【図１９】画像合成処理を示す図である。

【図２０】画像の一部が重複する複数の画像を示す図で
ある。

【図２１】図２０における複数の画像の合成処理を示す
図である。

【符号の説明】

１０１外部記憶媒体１０２ＣＰＵ１０３一時記憶部１０４、１０４Ａ、１０４Ｂ画像処理部１０６操作部２０１画像設定部２０２対応点検出部２０３座標変換パラメータ生成部２０４、２１５階調補正処理部２０５合成処理部２０６、２１７座標変換パラメータ合成処理部２０７、２１３、２１８階調補正テーブル更新処理部２０８、２１９描画領域生成部２０９画像統合情報記憶部２１０全画像統合処理部３０１、３０２、３０３画像３０１ａ、３０２ａ、３０２ｂ、３０３ａ重複領域

───────────────────────────────────────────────────── フロントページの続き (72)発明者滝口英夫東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】画像の一部が少なくとも他の１つの画像
と重複して全体として繋がりを有する複数の画像を合成
して合成画像を生成する画像合成装置において、前記複数の画像から重複領域を有する２つの画像を選択
する選択手段と、該選択された２つの画像を記憶する記憶手段と、該記憶された２つの画像を１つの画像に合成する際の座
標変換パラメータを生成する座標変換パラメータ生成手
段と、該生成された座標変換パラメータを任意の画像を基準と
した値に変換する座標変換パラメータ合成処理手段と、該変換された座標変換パラメータを画像統合情報として
保持する画像統合情報保持手段とを備え、該保持される画像統合情報にしたがって、前記複数の画
像を合成することを特徴とする画像合成装置。
【請求項２】前記複数の画像が少なくとも１つの経路
で連結するまで処理を繰り返した後、保持される画像統
合情報にしたがって、前記複数の画像を合成することを
特徴とする請求項１記載の画像合成装置。
【請求項３】前記画像統合情報として保持された後、
前記選択された２つの画像を前記記憶手段から破棄する
破棄手段を備えたことを特徴とする請求項１記載の画像
合成装置。
【請求項４】前記選択された２つの画像を１つの画像
に合成する際の階調補正情報を一方の画像を基に生成す
る階調補正情報生成手段を備え、前記画像統合情報保持手段は、該生成された階調補正情
報を保持することを特徴とする請求項１記載の画像合成
装置。
【請求項５】前記画像統合情報を各画像に関連付けて
記録媒体に記録する記録手段を備えたことを特徴とする
請求項１記載の画像合成装置。
【請求項６】前記選択された２つの画像を１つの画像
に合成する際の階調補正情報を該２つの画像の階調が歩
み寄る形で生成する階調補正情報生成手段を備え、前記画像統合情報保持手段は、該生成された階調補正情
報を保持することを特徴とする請求項１記載の画像合成
装置。
【請求項７】前記生成された座標変換パラメータが変
換される際に基準となる画像を、前記複数の画像の中か
ら選択して入力する入力手段を備え、該入力により選択された画像を基準とする座標変換パラ
メータに基づいて前記複数の画像を１つの画像に合成す
ることを特徴とする請求項１記載の画像合成装置。
【請求項８】画像の一部が少なくとも他の１つの画像
と重複して全体として繋がりを有する複数の画像を合成
して合成画像を生成する画像合成方法において、前記複数の画像から重複領域を有する２つの画像を選択
し、該選択された２つの画像を記憶し、該記憶された２つの画像を１つの画像に合成する際の座
標変換パラメータを生成し、該生成された座標変換パラメータを任意の画像を基準と
した値に変換し、該変換された座標変換パラメータを画像統合情報として
保持し、該保持される画像統合情報にしたがって、前記複数の画
像を合成することを特徴とする画像合成方法。