JPH0918685A

JPH0918685A - 画像合成方法

Info

Publication number: JPH0918685A
Application number: JP7164108A
Authority: JP
Inventors: Koichi Ejiri; 公一江尻; Toshio Miyazawa; 利夫宮澤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1995-06-29
Filing date: 1995-06-29
Publication date: 1997-01-17

Abstract

(57)【要約】【目的】複数枚の画像を貼り合わせて、一枚の高解像
度画像を作成する。【構成】画像入力部４から入力された複数枚の画像が
メモリ７に格納される。メモリ７から順次画像が取り出
され、画像合成部２では、各画像の歪を補正した後、画
像間の類似した領域を探す。次いで、領域の中心座標を
基に領域を幾つかのクラスターに分類する。対応する各
クラスターの重心座標の誤差が最小となるように、隣接
する画像を重ね合わせ、順次重ね合わされる画像の座標
系を、最初画像の座標系に変換し、一枚の画像に合成す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数枚の画像を貼り合
わせて一枚の画像を作成する画像合成方法に関する。

【０００２】

【従来の技術】画像データベースや、高精細カラー印刷
などの分野においては、種々の高品質な画像処理機能が
求められているが、その一つに画像の拡大がある。この
画像拡大は、画像処理システムの１つの機能として重要
であり、また解像度の異なるメディア（例えば、ＨＤＴ
Ｖ、ＮＴＳＣ方式のＴＶ、電子スチルカメラなど）を結
ぶために必要な解像度変換としても利用できる極めて重
要な技術である。

【０００３】従来の画像拡大方法としては、単純に画素
を補間する補間方法が採用されてきた。その代表的な補
間方法としては、ニアレストネイバー（ｎｅａｒｅｓｔ
ｎｅｉｇｈｂｏｒ）、バイリニア（ｂｉｌｉｎｅａ
ｒ）、キュービックコンボリューション（ｃｕｂｉｃ
ｃｏｎｖｏｌｕｔｉｏｎ）が知られている。

【０００４】これらの補間法は、サンプリング定理に基
づいたｓｉｎｃ関数による補間を基本概念とした方法で
あり、演算上の負荷を軽減するために、ｓｉｎｃ関数を
近似した補間関数を原画像のサンプリング点に対して畳
み込むことによって、原画像のサンプル点の間を補間
し、画素数を増やすものである。

【０００５】上記ニアレストネイバーは補間関数として
矩形関数を用い、最も近いサンプルの値を補間値とする
方法であり、バイリニアは補間関数としてトライアング
ル関数を用い、１次元の場合であれば近傍の２点から線
形内挿される値を補間値とする方法であり、キュービッ
クコンボリューションは補間関数として３次元関数を用
い、１次元の場合であれば近傍４点から内挿される値を
補間値とする方法である。

【０００６】

【発明が解決しようとする課題】しかし、これらの方法
は、いずれも失われた空間的高周波成分を復元すること
ができないことから、例えば、画像をＤＣＴ（２次元離
散コサイン変換）によって空間領域から周波数領域に変
換し、高周波成分として０を追加して、逆ＤＣＴによっ
て空間領域に逆変換することにより、失われた空間的高
周波成分を復元する画像の拡大方式が提案されている
（特開平２−７６４７２号公報）。直交変換による他の
方法としては、特開平３−４４２７０号公報、同３−２
０４２６８号公報などに記載された画像の拡大方式があ
る。

【０００７】これらの画像拡大方法は、１枚の画像を様
々な手法により補間し、高解像度化するものであるが、
例えば、高い建物を上下２つ以上に分割して撮影し、そ
れら複数枚の画像を貼り合わせて、シャープで、大きな
画面（画像）を作成する場合には適していない。本発明
は上記した事情を考慮してなされたもので、本発明の目
的は、複数枚の画像を貼り合わせて、一枚の高解像度画
像を作成する画像合成方法を提供することにある。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、請求項１記載の発明では、順次入力された複数枚の
画像を貼り合わせて一枚の画像を作成する画像合成方法
において、入力された画像の歪を補正する処理ステップ
と、隣接する画像間の各画像について、所定のエッジを
有する領域を抽出する処理ステップと、隣接する画像か
らそれぞれ抽出された領域の類似度を算出する処理ステ
ップと、類似する領域間のずれ量を算出する処理ステッ
プと、領域の中心座標を基に領域を幾つかのクラスター
に分類する処理ステップと、隣接する画像間で対応する
各クラスターについて、一方のクラスター内の中心座標
の平均を重心座標とし、他方のクラスター内の、中心座
標をずれ量だけずらした座標値の平均を重心座標とし、
該対応する重心座標の誤差が最小となるように、該隣接
する画像を重ね合わせる処理ステップと、重ね合わされ
た画像の組をグラフ化したとき、ループが形成される画
像の組を対象に、各ループにおいて隣接する画像間の重
心座標の誤差を累積し、各ループ内の各画像を該累積誤
差だけ平行に移動する処理ステップと、最初に入力され
た画像を基準画像としたとき、順次重ね合わされる画像
の座標系を、該基準画像の座標系に変換する処理ステッ
プからなることを特徴としている。

【０００９】請求項２記載の発明では、前記入力された
画像の座標値をｘとし、該入力画像の歪を補正した座標
値をｘ＾とし、補正関数ｆ（ｘ＾）をｆ（ｘ＾）＝１．
０−Ａ（ｘ＾）²としたとき、ただし、Ａは定数ｘ＝ｘ＾（１．０−Ａ（ｘ＾）²）の３次方程式の解（ｘ＾）を用いて、前記入力画像の歪
を補正することを特徴としている。

【００１０】請求項３記載の発明では、前記複数の画像
を順次、重ね合わせ処理した後、画像の所定領域に対し
て歪補正を付加することを特徴としている。

【００１１】

【作用】デジタルスチルカメラなどによって入力された
画像の歪（樽型歪）を補正する。次いで、隣接する画像
間の各画像について、エッジ領域を抽出する。隣接する
画像から抽出された各領域の類似度（例えば、濃度の差
分を求める）を計算する。そして、類似する領域間のず
れ量を求め、領域の中心座標を基に領域を幾つかのクラ
スターに分類する。対応する各クラスターの重心座標の
誤差が最小となるように、隣接する画像を重ね合わせ
る。重ね合わせが終了した画像をグラフ化し、その接続
の関係を決める。その接続関係を基にループがあるか否
かを調べ、ループを持つ画像の組を対象に、各ループに
おける、隣接する画像間の累積誤差を求める。ループ内
の各画像を累積誤差だけ平行移動した後、順次重ね合わ
される画像の座標系を、最初の画像の座標系に変換す
る。ループに属さず、かつループを構成する画像と互い
に部分的重なりが生ずる画像は、ループ構成画像が補正
された後、隣接画像の平均移動量だけ移動（平行移動）
する。これにより、複数枚の画像が一枚の画像に合成さ
れ、しかも高解像度な画像を得ることができる。

【００１２】

【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。従来、複数画像の貼り合わせを行うと
き、隣合う画像の一部分を切り出し、両者の相関を計算
しながらその最大値を有する部分を探索するアルゴリズ
ムが一般的である。あるいは、計算スピードを重要視す
る場合は、両者の差分が最小値を示す部分を探索する。
何れにしても、切り出した小領域が最も類似する相対位
置を検出し、その相対位置だけずらして、２つの画像を
貼り合わせればよい。

【００１３】しかし、どのような計算方法を採るにして
も、２つずつの画像の貼り合わせを続けていくと、たと
え一回の貼り合わせ誤差は微小であっても、次第に誤差
が集積することが多い。例えば、画像Ａと画像Ｂの貼り
合わせを行い、次の画像Ｂと画像Ｃの貼り合わせを行
い、さらに画像Ｃと画像Ｄの貼り合わせを行ったとき、
画像Ａと画像Ｄが隣合ったとしよう。このとき、画像Ａ
と画像Ｄの位置誤差は一般的に小さくない。

【００１４】本発明の方法は、計算スピードを犠牲にし
ないで、貼り合わせ精度を高くする方法であり、以下の
ような処理手順からなる。

【００１５】貼り合わせようとする複数枚の画像の中か
ら任意の１枚を取り出し、これを基準画像とする。これ
をＧ１とする。次に、Ｇ１に接する画像の中から、今ま
でに利用されていない任意の１枚の画像を取り出し、こ
れをＧ２とする。同様に、Ｇ２に隣接する画像Ｇ３、Ｇ
３に隣接し、かつＧ１に隣接する画像をＧ４とする。図
１６は、これら画像の位置関係を示す。

【００１６】さて、２つの画像の各々からみた小領域Ｒ
のグループの平均座標値は、それぞれ２つの座標系に属
しているから２通りの座標値を持つ。これをＯ（ｘ，
ｙ）、Ｏ’（ｖ，ｗ）で表す。ただし、各々の座標系の
原点は各画像に固有のものであり、例えばカメラによっ
て撮影された画像では光軸の中心、すなわち画像の中心
が原点である。

【００１７】図１７は、重なり合う２つの画像に共通す
る小領域を３つのグループ（Ａ，Ｂ，Ｃ）に分けた例を
示す。図１７において、グループＡのＯ座標側代表点
（平均値）をＰｘ、Ｏ’座標側の代表点をＰｖとする。
すべてのグループＡ，Ｂ，Ｃ．．．の各代表点を２つの
座標系で２乗誤差最小法によって重ね合わせたとき、Ｐ
ｘ、Ｐｖが図１８のような位置関係になったとする。図
１８は、２つの画像（Ｘ座標系とＶ座標系）が重なり合
うときの対応する小領域のＰｘ，Ｐｖの位置関係を示
す。このとき、両座標系の代表点の中点をＰ０とする。
もし、両方の画像間に歪がなければＰｘ、Ｐｖ、Ｐ０は
一致する。以下、説明を簡単にするために１次元で説明
する。

【００１８】図１９は、図１８の関係を１次元で表現し
たもので、Ｐｘ、Ｐｖを座標系Ｏで表すと、それぞれｘ
１、ｘ２であるが、座標系Ｏ’ではｖ１、ｖ２となる。
また、図１９において、ｆ（ｘ），ｆ（ｖ）で示される
関数は、光軸からの距離（実際は角度であるが、画像の
上では中心からの距離として表現される）ｘに来るべき
画像が、割合ｆ（ｘ）分だけ移動していることを表す。
これは、通常の撮像系に一般的な現象で、レンズ設計を
行う分野では、「樽型ひずみ」と言われることもある。
つまり、通常のレンズ設計では、本来、長方形の画像が
撮影されると、辺が外側に樽のように変形して見えるか
らである。言い換えると、光軸から離れるほど、縮小し
て写るということになる。一般に画像の中心では歪がゼ
ロであるからｆ（ｘ）の値は１．０となる。

【００１９】上記した表記法を採用すると、以下の関係
が成り立つ。すなわち、図１９の点Ｐｘの理想的な（つ
まり、歪のない）座標値をｘ＾とし、Ｐｖの理想的な座
標値をｖ＾とすると、座標系Ｏでは、観測値ｘ１，ｘ２
は、ｘ１＝ｘ＾１（ｆ（ｘ＾１））式（１）ｘ２＝ｘ＾２（ｆ（ｘ＾２））式（２）座標系Ｏ’では、観測値ｖ１，ｖ２は、ｖ１＝ｖ＾１（ｆ（ｖ＾１））式（３）ｖ２＝ｖ＾２（ｆ（ｖ＾２））式（４）と表すことができる。ここで、ｆ（ｘ＾）、ｆ（ｖ＾）
は、歪の割合を表す関数で、歪がないときはｆ（ｘ＾）
＝ｆ（ｖ＾）＝１となる。

【００２０】従って、両者の距離ｄｘ，ｄｖを、Ｏ，
Ｏ’のそれぞれの系で表現すると、ｄｘ＝ｘ１−ｖ２式（５）ｄｖ＝ｘ２−ｖ１式（６）ｄｘ＝ｄｖ式（７）式（７）に式（６）、（５）および式（１）〜（４）を
代入すると、ｘ＾１ｆ（ｘ＾１）−ｖ＾２ｆ（ｖ＾２）＝ｘ＾２ｆ（ｘ＾２）−ｖ＾１ｆ（ｖ＾１）式（８）となる。

【００２１】さて、ここで、関数ｆ（ｘ＾）の具体的な
形は不明であるが、経験則によると２次以上のグラフで
近似できる。ここでは、ｆ（ｘ＾）＝１．０−Ａ（ｘ＾）² 式（９）とする。ここに、Ａは定数である。

【００２２】式（９）を式（８）に代入すると、Ａ（（ｖ＾２）³−（ｖ＾１）³＋（ｘ＾２）³−（ｘ＾１）³）＝ｘ＾２−ｖ＾１−ｘ＾１＋ｖ＾２式（１０）となる。

【００２３】同一の光学系は常に同じ歪を生じるから、
精密に測定した上記ｘ＾２，ｖ＾１，ｘ＾１，ｖ＾２を
使って、式（１０）から定数Ａを容易に求めることがで
きる。

【００２４】従って、補正すべき画像の方程式（１）
は、式（１１）となる。すなわち、ｘ’＝ｘ＾（１．０−Ａ（ｘ＾）²）式（１１）ここで、ｘ’は観測値である。

【００２５】式（１１）は標準の形の３次方程式である
から、一意的に解が求まる。

【００２６】ｐ＝−１／（３Ａ）ｑ＝ｘ’／２とおくと、−ｐ≒１０³〜１０⁵、ｑ≒１０³と考えられ
る。何故なら、画像の修正を施す必要のある領域は、画
像の周辺部分で、画素アドレスは１００以上であり、ま
た、光学系の歪曲ひずみは画像の周辺部で数％のオーダ
ーでＡ≒１０の（−３乗）〜１０の（−４乗）となるか
らである。

【００２７】従って、ｑ²＋ｐ³≪０が成立し、３次方程
式の解の公式から、ｃｏｓφ＝−ｑ／√（−ｐ³）とお
くと、ｘ＾＝２√（−ｐ）ｃｏｓ（φ／３）式（１２）が得られる。

【００２８】図１は、本発明の実施例の構成を示す。図
において、１は画像を取り込んで保存用メモリに格納す
る静止画像処理部、２は保存用メモリから複数枚の画像
を選択して、各画像の歪を補正し、また各画像間のずれ
量を検出して、画像の重ね合わせを行う画像合成部、３
は一枚の高解像度化された画像を出力する画像出力部で
ある。

【００２９】静止画像処理部１は、ＣＣＤカメラ、デジ
タルスチルカメラ、スキャナなどの画像入力部４と、制
御部５と、入力デジタル画像を圧縮する圧縮部６と、圧
縮された画像を格納する画像保存用メモリ７と、圧縮さ
れた画像を復元する伸長部８とから構成されている。な
お、画像の圧縮方法としては、例えばランレングス符号
化、予測符号化など、入力画像に適した符号化方法を採
用すればよい。

【００３０】図２は、画像合成部２の構成を示し、歪補
正処理部２１、エッジ抽出部２２、類似度算出部２３、
ずれ量算出部２４、クラスタリング部２５、画像重ね合
わせ部２６、接続関係決定部２７、平行移動処理部２
８、座標変換部２９から構成されている。

【００３１】いま、対象物を複数回に分けて撮影し、複
数枚の画像Ｇ１〜Ｇｎが画像保存用メモリ７に格納され
ているものとする。画像保存用メモリから複数枚の画像
を取り出して、これを順次、貼り合わせる手順につい
て、以下詳細に説明する。

【００３２】歪補正処理部２１；歪補正処理部２１は、
光学系の歪曲ひずみを測定する。そのためには標準とな
るテストチャートを撮影し、その本来の位置（ｘ＾）が
どれほどずれるかを測定し、実測値（ｘ’）を式（１
１）に代入して、係数Ａを定める。

【００３３】このようにして得られた係数Ａを利用し
て、対象となる画像の各画素位置を補正する。すなわ
ち、歪が補正された画素の位置（つまり本来の画素位
置）は、上記した式（１２）によって決定される。この
算出値が格子点上にない場合は、線形補間法を使って補
間する。線形補間法以外のアルゴリズムも幾つか知られ
ているが、ここでは最も簡単な線形補間法を使うものと
する。

【００３４】エッジ抽出処理部２２；このエッジ抽出処
理部では、隣合う画像の領域から、エッジ成分が大きい
小領域を抽出する。図３、図４、図５は、エッジ抽出処
理部の処理フローチャートである。ステップ１０１にお
いて、Ｇ１，Ｇ２は隣合う画像であり、各々の画像デー
タ（すなわち、画像濃度または輝度）をｆ１（ｉ，
ｊ），ｆ２（ｉ，ｊ）で表す。ここで、座標（ｉ，ｊ）
は画素の座標値である。定義された領域内部でエッジを
見つけるとき、見つけた順番に連番を付ける。後述する
ように、もし、エッジが互いに近すぎたり、あるいは微
弱なエッジであった場合には、これを消去する。また、
明瞭なエッジであれば、これを優先して利用する。Ｍは
その連番を示すパラメータである。同様に、見つけた十
分明瞭なエッジを他のエッジと比較するために、一時的
に記憶しておかねばならない。Ｅ１ｍはＧ１で抽出され
た明瞭なエッジのパラメータ（エッジの大きさ、その座
標値）を記憶するための変数である。

【００３５】ステップ１０２において、Ｒは、Ｇ１また
はＧ２内部を動き回る小領域であり、この内部でエッジ
の大きさや、画像の相関、重なり具合を計算する。Ｒの
大きさは用途によって決められるが、通常１６×１６画
素から６４×６４画素程度のサイズが使用される。図６
は、隣合う画像Ｇ１，Ｇ２と小領域Ｒ、Ｒ’を示す。

【００３６】ステップ１０３において、Ｅ１（ｉｃ，ｊ
ｃ）は、小領域Ｒの中心が（ｉｃ，ｊｃ）に存在すると
きのエッジ量である。すなわち、座標軸ｘ，ｙ方向に画
像の濃度勾配をとったものの絶対値を領域Ｒ内部で足し
合わせたものである。Ｅｍａｘは、領域ＲとＲ’が近接
し、お互いの距離がＴｄより近接しているときに、その
中で最もエッジが顕著なものを採用するために使用され
るパラメータである。ただし、距離の定義はシティブロ
ック距離を採用するものとする。

【００３７】ステップ１０４において、ステップ１０３
で定義されたエッジが目立つほど大きいかどうかを予め
選択するものである。小さいエッジはノイズの可能性が
高いから、そのようなものは計算から除外しておく。

【００３８】ステップ１０５〜ステップ１１２は、ルー
プ制御しながら、着目しているエッジが登録に値するも
のかどうかを判定する。着目エッジが以下の条件を満た
すか否かを判定しながら、有効と判定される顕著なエッ
ジのみを登録していく。

【００３９】（ア）着目に値するか？（ステップ１０６
では、過去に抽出されたエッジより大きいか否かを判
定）（イ）過去のエッジに近すぎて存在しないか？（ステッ
プ１０７とステップ１０９に相当）（ウ）もし、ある範囲内に複数のエッジがある場合は、
最大のエッジを抽出し（ステップ１１０）、これをエッ
ジとして登録する（ステップ１１１）。もし、最大でな
く、かつ以前のエッジに近接する場合は、これをメモリ
から消去する（ステップ１０８）。

【００４０】すなわち、過去のエッジから離れて存在す
る場合、過去の近接エッジの中で最大のエッジである場
合、これを登録する（ステップ１１２）。

【００４１】ステップ１１３では小領域Ｒを移動させ、
ステップ１０３に戻ってエッジを探していく。ここでＲ
の移動量は、Ｒの１辺のサイズの半分程度とする。すべ
ての走査が終わると（ステップ１１５）、次の画像Ｇ２
について同様の処理を行う。

【００４２】類似度算出部２３；図７は、類似度算出部
の処理フローチャートである。ステップ２０１におい
て、抽出されたエッジは画像別に、図９に示すようにス
タックに登録されている。ここで、Ｅ１（９，ｉ９，ｊ
９）は画像Ｇ１の９番目のエッジで、その座標値が（ｉ
９，ｊ９）であることを表す。

【００４３】ステップ２０２において、Ｄの式は次のこ
とを意味している。すなわち、画像Ｇ１の座標値（ｉｃ
＋ｋ，ｊｃ＋ｌ）の濃度（輝度）ｆ１（ｉｃ＋ｋ，ｊｃ
＋ｌ）と画像Ｇ２の座標値（ｉｃ’＋ｋ，ｊｃ’＋ｌ）
の濃度（輝度）ｆ２（ｉｃ’＋ｋ，ｊｃ’＋ｌ）の差分
を小領域Ｒ内部で加算したもので、Ｄが大きいときは両
画像が大きく異なり、小さいときは類似していることを
示す。その結果は記憶され、記憶されるデータは、類似
度、小領域の中心座標である。

【００４４】ステップ２０３、２０４において、スタッ
クメモリ内部の全てのエッジデータの組み合わせについ
て、差分を演算する。

【００４５】ずれ量算出部２４；図８は、ずれ量算出部
の処理フローチャートである。ステップ２０６、２０７
において、ステップ２０２の結果を、Ｄの小さい順番に
並べ変える。つまり、類似度の高い順番に並び変える。
ステップ２０８において、小領域の中心間の距離ｄｘ，
ｄｙ（シティブロック距離）を算出する。

【００４６】ステップ２０９〜２１１は、以下のように
処理する。画像には偶然類似した部分も存在するし、ノ
イズも多い。しかし、２つの画像全体が移動したのであ
れば、類似部分の差分（移動距離）は、多くの場合、同
じ値を持つはずである。ただし、デジタル画像を扱う限
り少なくとも１ないし２画素の誤差は避けられない。こ
こでは、複数の画像にわたって差分が一定の値を示す場
合のみを、正しい移動量とみなす。そのため、ステップ
２０９では、差分値毎に頻度分布をとる。つまり、差分
がｋであれば、座標値ｋのところに１を加算する。

【００４７】図１０は、このようにして作成された頻度
分布を示したものである。このような頻度分布の座標の
刻みが小さい場合は、頻度値が偶然重なる確率は小さ
い。そこで、座標の刻みを粗くするか、あるいは、分布
の密度を利用して、頻度のピークを探す。図１０の例で
は、差分値が（Ｐｄｘ，Ｐｄｙ）であるとき最大頻度を
持っている。すなわち、ｘ方向にＰｄｘ、ｙ方向にｐｄ
ｙ移動した関係にあるのが、画像Ｇ１とＧ２である。

【００４８】ステップ２１１で画像のずれの大きさ（画
素単位でのずれ量）が算出された。従って、この後の処
理では、このずれ量だけ画像を移動し、２つの画像を重
ね合わせればよい。しかし、ずれ量には誤差（つまり１
画素以下のずれ）が伴う。そのため、ステップ２１２で
は、類似のずれ量を示す多数の小領域の組を寄せ集め、
全体として誤差が最小になるように、２乗誤差最小法に
よって、ずれの大きさを精度よく算出する。

【００４９】なお、ステップ２１２で用いているアルゴ
リズムは、「画像の時空間微分算法を用いた速度ベクト
ルの分布計測システム」（計測自動制御学会論文集）
Ｖｏｌ．２２，Ｎｏ．１２，ｐｐ８８−９４（昭和６１
年１２月）に記載されたものである。

【００５０】これを簡単に説明すると、２つのデジタル
データの標本化位置のずれは、移動する対象物の速度と
も考えることができる。そこで、速度ｖで平行移動する
１次元の連続関数ｆ（ｘ，ｔ）を例に考える。変化が微
小ならば、Ｔａｙｌｅｒ展開の１次近似として、ｖ（∂ｆ／∂ｘ）＋（∂ｆ／∂ｔ）が各点で成り立つ。この式の∂ｆ／∂ｘおよび∂ｆ／∂
ｔから、各点で変化速度ｖを求めることができる。しか
し、上記した式では、雑音の影響などのため精度が悪い
ので、次式のような、の左辺の２乗をある領域内で積分
した値を評価関数とし、この評価関数が最小値をとるｖ
を求めることで、正確な値が得られる。

【００５１】 ∫｛ｖ（∂ｆ／∂ｘ）＋（∂ｆ／∂ｔ）｝²ｄｘ本実施例のステップ２１２では、特に８９頁の式（５）
の微分を差分に置き換えている。式（５）のｕ（ずれ
量）が、ステップ２１２中のΔｉに、ｖ（ずれ量）がΔ
ｊに相当し、偏微分ｆｘが、(ｆ１（ｉ＋１，ｊ）−ｆ
１（ｉ−１，ｊ)）に相当し、ｆｙが、（ｆ１（ｉ，ｊ
＋１）−ｆ１（ｉ，ｊ−１））に相当し、ｆｔが最後の
項に相当する。ただし、差分は通常、（ｆ（ｘｉ＋１）
−ｆ（ｘｉ））／１または（ｆ（ｘｉ）−ｆ（ｘｉ−
１））／１であるが、ここでは対称性を保つために、
（ｆ（ｘｉ＋１）−ｆ（ｘｉ−１））／２を用いてい
る。図１１は、ステップ２１２における差分を説明する
図である。そして、各項を２倍して、その２乗和をとっ
たものがＳである。

【００５２】上記した処理によって、画像Ｇ１側の小領
域の中心座標と、画像Ｇ２側の小領域の中心座標とのず
れ量が算出される。図１２は、算出されたずれ量を説明
する図である。画像Ｇ１の小領域Ｒ１と、画像Ｇ２の小
領域Ｒ２は、隣接する類似度の高い領域である。画像Ｇ
１の中心座標をｇ１、画像Ｇ２の中心座標をｇ２とした
とき、そのずれ量は、ｘ方向については、Ｐｄｘ＋Δｉ
であり、ｙ方向についてはＰｄｙ＋Δｊである。

【００５３】クラスタリング部２５上記した図７、８の処理は、それぞれの小領域を等しく
扱ってきた。クラスタリング部２５では、先のずれ量算
出部２４で記憶した中心座標とずれ量の組｛ｉｃ
（ｋ），ｊｃ（ｋ），ΔＲｘ（ｋ），ΔＲｙ（ｋ）｝の
中から、中心座標｛ｉｃ（ｋ），ｊｃ（ｋ）｝が互いに
最も離れた３つの小領域（Ｃａ、Ｃｂ、Ｃｃ）を抽出す
る。これを例えばＧ１側について行う。選ぶ方法は特に
限定しないが、例えば標準偏差値の３倍を目安に、出現
順に選んでもよい。

【００５４】そして、図１３に示すように、Ｃａ、Ｃ
ｂ、Ｃｃを核にして、残りのデータの中心座標が、最も
近い核の何れかに分類する。つまり、Ｇ１中の小領域を
Ｃａ、Ｃｂ、Ｃｃの何れかにクラスタリングして、３グ
ループの小領域群をつくる。そして、クラスタリングさ
れた各クラスター内の中心座標の平均を重心座標とす
る。図１３の×印が各クラスターの重心を示す。また、
これに対応するＧ２中の各クラスターの重心座標は、中
心座標（ｉｃ（ｋ），ｊｃ（ｋ））をずれ量（ΔＲｘ
（ｋ），ΔＲｙ（ｋ））だけ、ずらした座標値の平均と
なる。

【００５５】従って、Ｇ１中のクラスターの重心座標
は、ｇ１ｘ＝＜ｉｃ（ｋ）＞ｋ，ｇ１ｙ＝＜ｊｃ（ｋ）
＞ｋとなる。ここで、＜ｉｃ（ｋ）＞ｋは、ｉｃ（ｋ）
をクラスター内のｋについて平均化したことを表す。ま
た、これに対応するＧ２中のクラスターの重心座標は、
ｇ１ｘ’＝＜ｉｃ（ｋ）＋ΔＲｘ（ｋ）＞ｋ，ｇ１ｙ’
＝＜ｊｃ（ｋ）＋ΔＲｙ（ｋ）＞ｋとなる。

【００５６】画像の重ね合わせ部２６；画像の重ね合わ
せ部２６では、各クラスターの重心に着目して、対応す
る重心座標の平均２乗誤差が最小になるように、隣接す
る画像（Ｇ１，Ｇ２）を重ね合わせる。Ｇ１側の各クラ
スターの重心座標を、（ｇ１ｘ，ｇ１ｙ）、（ｇ２ｘ，
ｇ２ｙ）、（ｇ３ｘ，ｇ３ｙ）として、Ｇ２側の対応す
る各クラスターの重心座標を、（ｇ１ｘ’，ｇ１
ｙ’）、（ｇ２ｘ’，ｇ２ｙ’)、（ｇ３ｘ’，ｇ３
ｙ’）としたとき、２乗誤差＝（ｇ１ｘ−ｇ１ｘ’）²＋（ｇ２ｘ−ｇ２ｘ’）²＋（ｇ３ｘ−ｇ３ｘ’）²，（ｇ１ｙ−ｇ１ｙ’）²＋（ｇ２ｙ−ｇ２ｙ’）²＋（ｇ３ｙ−ｇ３ｙ’）² を最小化する。

【００５７】接続関係決定部２７；上記した処理によっ
て重ね合わせる画像の組を、図１４に示すようにグラフ
に表現して、その接続関係を一義的に決める。図１４に
おいて、図中の点線は隣接関係を表し、Ｇ１とＧ２が重
なり、Ｇ２とＧ３が重なり、またＧ１はＧ３とも重なっ
ている。

【００５８】重なりの関係は順次、以下のように追跡す
るものとする。すなわち、画像Ｇｉから画像Ｇｉ＋１へ
のつながりは、左分岐優先とする。図１４の例では、Ｇ１−Ｇ２−Ｇ３−Ｇ４−Ｇ５−Ｇ６−Ｇ３−Ｇ１の関係があり、Ｇ３とＧ１で元に戻る。戻るためのルー
プが存在しない場合は対象外とする。ｊ番目のループが
元に戻るまでのつながりの数をＭ（ｊ）とし、各々のル
ープでの累積誤差をＡｅ（ｊ）とする。ここでは、ルー
プは２つあるからＭ（１）＝３、Ｍ（２）＝４である。

【００５９】また、累積誤差Ａｅ（ｊ）、例えばＧ１−
Ｇ２−Ｇ３−Ｇ１のループの累積誤差は次のようにな
る。まず、Ｇ１−Ｇ２間の累積誤差は、図１３の重心座
標を用いて、累積誤差＝｛１／３（（ｇ１ｘ＋ｇ２ｘ＋ｇ３ｘ）−（ｇ１ｘ’＋ｇ２ｘ’＋ｇ３ｘ’），１／３（（ｇ１ｙ＋ｇ２ｙ＋ｇ３ｙ）−（ｇ１ｙ’＋ｇ２ｙ’＋ｇ３ｙ’)｝となり、これを同様に各画像間で累積したものとなる。

【００６０】平行移動処理部２８；上記した処理によっ
て算出された、ｊ番目のループの累積誤差のｘ成分をＡ
ｅｘ（ｊ)、ｙ成分をＡｅｙ（ｊ）とする。ｊ番目のル
ープの平均誤差Ｍｅｘ（ｊ)、Ｍｅｙ（ｊ）Ｍｅｘ（ｊ）＝Ａｅｘ（ｊ）／Ｍ（ｊ）Ｍｅｙ（ｊ）＝Ａｅｙ（ｊ）／Ｍ（ｊ）を算出する。そして、ループｊに属する各画像を、Ｍｅ
ｘ（ｊ）、Ｍｅｙ（ｊ）の大きさだけ、つまり誤差分だ
け、更にｘ，ｙ方向に平行移動する。

【００６１】座標変換部２９；上記した処理の後では、
多くの画像の画素位置は、基準画像（通常は最初の画
像）の画素位置からずれている。図１５は、上記した処
理によって、基準画像Ｇ１と隣接画像Ｇ２とが、領域Ａ
の部分で重ね合わされた図である。画像Ｇ１は、領域Ｃ
と領域Ａの格子点からなり、画像Ｇ２は破線の格子点か
らなるものとする。画像Ｇ１とＧ２を重ねる場合、重ね
た画像全体の座標系を画像Ｇ１の座標系にする。従っ
て、領域Ｂの画像Ｇ２の座標系を、画像Ｇ１の座標系に
変換しなければならない。このような変換としては、例
えば線形補間を用いる。

【００６２】図１５のＧ１系の画素値（濃度または輝
度）ｈは、Ｇ２系におけるｈに隣接する４個の画素
（ａ，ｂ，ｃ，ｄ）の値から補間して求める。

【００６３】上記したようにして一枚の画像が作成され
るが、自然画像を肉眼で観察するときは、方向性のある
歪が付加されて見える。そして、上記したように作成さ
れた画像について、さらに、方向性のある歪を加えるこ
とが望ましいことがある。そこで、本実施例では、複数
の画像を貼り合わせた後に、画像全体に対して、水平方
向に一様に引き伸ばしたり、あるいは垂直方向に圧縮す
る歪を付加する。

【００６４】また、遠近の表現は、例えば遠方のものは
小さく見えるといった幾何補正だけではなく、実際は大
気（空気）による減光によって遠方は霞んで見える。こ
の霞んで見える状態を画像処理装置によって実現するに
は、複数の画像を貼り合わせた後に、画像の遠方領域ほ
ど彩度を低下させて無彩色に近付ける。さらに、画像の
遠方領域ほど、より強い平滑化を行うことによっても実
現できる。

【００６５】更に、非等方な歪として、画像の遠方領
域、特に上下方向に強い平滑化、無彩色化を施すことに
よって、実際の人間の感覚に近い画像が得られる。

【００６６】なお、上記した実施例は専用のプロセッサ
を備えた構成となっているが、本実施例はこれに限定さ
れるものではなく、汎用のプロセッサ上で、図２の機能
を持つソフトウェアを実行させることによっても実現で
きる。

【００６７】

【発明の効果】以上、説明したように、請求項１記載の
発明によれば、入力された複数枚の画像について、画像
間の類似度、ずれ量、接続関係を調べながら貼り合わせ
ているので、一枚の高解像度画像を作成することができ
る。

【００６８】請求項２記載の発明によれば、２次の補正
関数を用いて、入力画像の画素位置を補正しているの
で、画像入力部での樽型歪を補正することができる。

【００６９】請求項３記載の発明によれば、作成された
一枚の画像の所定領域に対して歪補正を施しているの
で、より自然画像に近い出力画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の実施例の構成を示す。

【図２】画像合成部の構成を示す。

【図３】エッジ抽出処理部の処理フローチャートであ
る。

【図４】図３の続きの処理フローチャートである。

【図５】図３の続きの処理フローチャートである。

【図６】隣合う画像と小領域を示す。

【図７】類似度算出部の処理フローチャートである。

【図８】ずれ量算出部の処理フローチャートである。

【図９】スタックに登録された画像毎の抽出エッジを示
す。

【図１０】類似部分の差分値毎の頻度分布を示す。

【図１１】ステップ２１２における差分を説明する図で
ある。

【図１２】算出されたずれ量を説明する図である。

【図１３】小領域をＣａ、Ｃｂ、Ｃｃにクラスタリング
した図である。

【図１４】重ね合わせる画像の組をグラフに表現した図
である。

【図１５】基準画像と隣接画像とを領域Ａの部分で重ね
合わせた図である。

【図１６】隣接する画像の位置関係を示す図である。

【図１７】重なり合う２つの画像に共通する小領域を３
つのグループ（Ａ，Ｂ，Ｃ）に分けた例を示す。

【図１８】２つの画像（Ｘ座標系とＶ座標系）が重なり
合うときの対応する小領域のＰｘ，Ｐ０，Ｐｖの位置関
係を示す図である。

【図１９】図１８の関係を１次元で表現した図である。

【符号の説明】

１静止画像処理部２画像合成部３画像出力部４画像入力部５制御部６圧縮部７画像保存用メモリ８伸長部

Claims

【特許請求の範囲】

【請求項１】順次入力された複数枚の画像を貼り合わ
せて一枚の画像を作成する画像合成方法において、入力
された画像の歪を補正する処理ステップと、隣接する画
像間の各画像について、所定のエッジを有する領域を抽
出する処理ステップと、隣接する画像からそれぞれ抽出
された領域の類似度を算出する処理ステップと、類似す
る領域間のずれ量を算出する処理ステップと、領域の中
心座標を基に領域を幾つかのクラスターに分類する処理
ステップと、隣接する画像間で対応する各クラスターに
ついて、一方のクラスター内の中心座標の平均を重心座
標とし、他方のクラスター内の、中心座標をずれ量だけ
ずらした座標値の平均を重心座標とし、該対応する重心
座標の誤差が最小となるように、該隣接する画像を重ね
合わせる処理ステップと、重ね合わされた画像の組をグ
ラフ化したとき、ループが形成される画像の組を対象
に、各ループにおいて隣接する画像間の重心座標の誤差
を累積し、各ループ内の各画像を該累積誤差だけ平行に
移動する処理ステップと、最初に入力された画像を基準
画像としたとき、順次重ね合わされる画像の座標系を、
該基準画像の座標系に変換する処理ステップからなるこ
とを特徴とする画像合成方法。
【請求項２】前記入力された画像の座標値をｘとし、
該入力画像の歪を補正した座標値をｘ＾とし、補正関数
ｆ（ｘ＾）をｆ（ｘ＾）＝１．０−Ａ（ｘ＾）²とした
とき、ただし、Ａは定数ｘ＝ｘ＾（１．０−Ａ（ｘ＾）²）の３次方程式の解（ｘ＾）を用いて、前記入力画像の歪
を補正することを特徴とする請求項１記載の画像合成方
法。
【請求項３】前記複数の画像を順次、重ね合わせ処理
した後、画像の所定領域に対して歪補正を付加すること
を特徴とする請求項１記載の画像合成方法。