JPH1093808A - 画像合成装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 対象画像よりも画素数の多い合成画像の被写
体の像の歪みを除く。 【解決手段】 １次元画像合成装置３は、被写体を撮像
して、重複領域を有する対象画像を表す対象画像信号を
複数生成する。中央処理装置５は、まず、中央および大
ブロックマッチング処理で、全ての対象画像信号につい
て、隣接する対象画像毎に被写体の像のマッチングを求
め、求めたマッチングから重複領域のずれを検出する。
次いで、小ブロックマッチング処理で、重複領域のずれ
に基づき、各重複領域に参照ブロックと探索領域とを対
応させて複数設定して、各探索領域単位で、被写体の像
のずれを大ブロックマッチング処理で検出されたずれよ
りも詳細に検出する。最後に、被写体の像のずれが打消
されるように各対象画像を部分的に幾何学的に変形しつ
つ、参照ブロックと探索ブロックとを一致させて各対象
画像を重畳するように全ての対象画像信号を合成して、
合成画像信号を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像素子を用いた
１回の撮像動作だけで得られる画像よりも画素数が多
く、高解像度、または広画角および広範囲の画像を得る
ための画像合成装置および方法に関する。

【０００２】

【従来の技術】近年、いわゆるスキャナとして用いられ
る画像合成装置には、たとえばＣＣＤラインセンサであ
るような、受光領域が直線状に配列された１次元の撮像
素子が用いられる。この画像合成装置で出力画像を得る
とき、まず、被写体に対して、２次元平面上で、受光領
域の配列方向と直交する方向に撮像素子を移動させつ
つ、被写体からの画像光を複数の異なる位置で撮像す
る。次いで、２次元平面上に、各撮像動作で得られた画
像を、各撮像動作時の撮像素子の位置と同じ位置関係を
保って並ぶように合成して、出力画像を得る。

【０００３】また、本件出願人は、特開平５−２６０２
６４号公開公報において、受光領域が行列状に配列され
た２次元の撮像素子を用いて、撮像素子の受光領域数よ
りも多い数の画素から成る出力画像を得る技術を提案し
ている。本公報の画像処理装置では、いわゆるＣＣＤカ
メラである画像入力手段を、装置のオペレータが水平移
動させつつ画像光を撮像して、複数の画像を得る。処理
回路は、新たな画像が得られるたびに、まず新たな画像
と合成画像とをマッチングして、これら画像の差異を求
める。次いで、求めた差異に基づいて新たな画像を変形
し、最後に、変形後の画像と合成画像とを合成すること
によって、新たな合成画像を得る。

【０００４】上述の２つの装置で得られる画像は、撮像
素子から直接得られる画像と比較して、撮像素子の移動
方向に沿った方向に並ぶ画素数は増加するが、移動方向
と直交する方向の画素数は変わらない。画像の該直交す
る方向の画素数を増加させる手法として、複数の上述の
出力画像を、上述の直交する方向に沿って並べて、さら
に合成する手法がある。

【０００５】特開昭６３−６４１８０号公開公報には、
上述の手法のイメージ画像合成方式が開示される。この
画像合成方式の装置では、１次元の撮像素子を備え手動
で移動可能なハンドスキャナを用いる。本方式では、ま
ず、入力対象の原画像を、ハンドスキャナを用いた１回
の走査で読取り可能な大きさの領域に分け、ハンドスキ
ャナを原画像の表面に接触させたまま、前記領域の中心
軸線に沿って移動させつつ撮像し、各領域の画像を得
る。各領域の画像は、上述した１次元の撮像素子を用い
た装置の出力画像と等価であり、また原画像の同一の部
分を読取った重複領域をそれぞれ有する。次いで、各領
域の画像の重複領域をマッチングして、画像内の被写体
の像が一致する領域を求める。最後に、これらの像が重
なるように各画像を平行移動させた後に重ね合わせて、
イメージ画像の合成画像を得る。

【０００６】

【発明が解決するべき課題】上述のイメージ画像合成方
式では、撮像素子を含むハンドスキャナを装置の操作者
が手動で移動させているので、移動時に、ハンドスキャ
ナに操作者の手の振れが加わることがある。また、同じ
理由から、ハンドスキャナ内の撮像素子と入力対象の原
画像の前記領域の中心軸線との相対位置が傾くことがあ
る。さらに、ハンドスキャナには、原画像の表面上をハ
ンドスキャナが滑らかに移動するために、原画像と接触
する部分に１対のローラが備えられるが、このローラの
滑りが１対のローラのうちの一方および他方で異なると
き、ハンドスキャナの移動速度が、一方のローラ近傍の
部分と他方のローラ近傍の部分とで異なることがある。

【０００７】これらのことが起こると、得られる画像内
で、たとえば被写体の像のずれおよび像の部分的な圧縮
であるような、像の歪みが生じる。このような歪みが生
じた画像は、画像を水平移動させただけでは、複数の画
像の被写体の像が滑らかにつながらないので、合成後の
画像の被写体の像に歪みが生じる。

【０００８】また、上述の特開平５−２６０２６４号公
開公報の画像処理装置では、画像入力手段は、被写体か
ら予め定める距離だけ離反した位置から被写体の画像光
を撮像する。この画像入力手段は、装置のオペレータの
手だけに支持されて中空に保持されるので、被写体との
相対位置がずれやすい。このように相対位置がずれる
と、得られた合成対象の画像の被写体の像に、たとえば
像のずれ、傾き、および倍率変化であるような、像の歪
みが生じる。該装置は、画像合成時に被写体の像の歪み
を補正しながら画像を合成するが、たとえばマッチング
の誤差および補正誤差によって、像の歪みを全て補正す
ることができずに歪みが残ることがある。

【０００９】本発明の目的は、受光領域の数の少ない撮
像素子を用いて、被写体の像の歪みが小さく、高解像度
の画像、または広画角および広範囲の画像を得ることが
できる画像合成装置および方法を提供することである。

【００１０】

【課題を解決するための手段】本発明は、合成対象とな
る被写体の異なる部分からの対象画像を表す対象画像信
号を、隣接する対象画像間に重複領域を含むようにして
複数生成する対象画像生成手段と、対象画像生成手段に
よって生成される対象画像信号のうち、隣接する対象画
像の組合わせ毎に、重複領域間で被写体の像のマッチン
グを求め、マッチングに基づいて重複領域間の相対位置
のずれを検出する第１マッチング手段と、第１マッチン
グ手段によって相対位置のずれの検出が行われる対象画
像の一方の重複領域内に、予め定める大きさを有する参
照領域を複数設定し、対象画像の他方内に、検出される
相対位置のずれに基づいて、参照領域よりも大きい探索
領域を各参照領域毎に設定し、各参照領域内と該参照領
域に対応する探索領域内との間で被写体の像のマッチン
グを求め、マッチングに基づいて各被写体の像間の相対
位置のずれを検出する第２マッチング手段と、第２マッ
チング手段によって検出される相対位置のずれを打消す
ように各対象画像を部分的に変形しながら、隣接する対
象画像の組合わせ毎に参照領域と該参照領域に対応する
探索領域とを重畳させるように、全ての対象画像信号を
合成し、被写体に対する単一の合成画像を表す合成画像
信号を生成する画像合成手段とを含むことを特徴とする
画像合成装置である。

【００１１】本発明に従えば、画像合成装置は、複数の
対象画像を、その重複領域の被写体の像が一致するよう
に合成して、単一の合成画像を得る。合成対象の対象画
像は、たとえばビデオカメラであるような撮像装置で撮
像された原画像である。この撮像装置は、たとえば該撮
像装置の１回の撮像動作で撮像可能な有限領域を水平お
よび垂直移動させながら、同一被写体の各有限領域から
の画像光を撮像して、対象画像となるべき原画像を得
る。このとき、得られた原画像内における被写体の或る
部分の像の位置が異なると、同一被写体を撮像している
にも拘わらず、たとえば撮像装置の光学系のレンズの歪
みによって、被写体の像の形状に差異が生じることがあ
る。また、たとえば撮像装置を画像合成装置の使用者が
手で保持して移動させるとき、被写体と撮像装置との相
対距離が各撮像時に変化することによって、原画像の被
写体の像の大きさに差異が生じることがある。さらに、
対象画像が上述の原画像を複数合成した合成画像である
とき、各原画像の被写体の像の差異が累積されて、上述
の差異が大きくなることがある。この画像合成装置の画
像合成手法では、まず、各対象画像の重複領域の被写体
の像のずれを表す指標となるマッチングを求める。この
マッチングは、たとえば隣接する対象画像の組合わせ毎
に、重複領域内の被写体の像の位置のずれ、および被写
体の像の形状の変形の度合を表す。次いで、求められた
マッチングから、被写体の像の相対位置のずれを検出す
る。最後に、検出されたずれおよび変形を補正するため
に、各重複領域の各参照領域とそれに対応する探索領域
とを一致させるように重畳させ、かつ各対象画像を変形
させながら、全ての対象画像を合成する。これによっ
て、上述の差異を補正して、対象画像よりも広画角およ
び広範囲の合成画像、または高解像度の合成画像を得る
ことができる。また、ずれの相殺手法として、隣接する
組合わせの対象画像の相対的な平行移動だけでなく、画
像の変形も行うので、たとえば対象画像の生成時におけ
る部分的な撮像装置の倍率変化も補正することができ
る。また、被写体のずれを検出するマッチング処理は２
段階に分けて行う。具体的には、第１マッチング手段に
おける１回目のマッチング処理では、重複領域の平行移
動量を定めるための被写体のずれを大まかに検出する。
第２マッチング手段における２回目のマッチング処理で
は、画像の変形の変形量を定める為の被写体のずれ量を
１回目よりも詳細に検出する。ゆえに、第１マッチング
手段のマッチング処理は、たとえば第２マッチング手段
と同様の手法であって、かつ参照領域を第２マッチング
手段の参照領域よりも大きく設定することができる。こ
れによって、第１マッチング手段の処理量を減少させる
ことができる。さらに、第２マッチング手段のマッチン
グ処理動作では、探索対象となる探索領域の位置を、第
１マッチング手段の検出結果に基づき、たとえば対象画
像内で最良のマッチングが得られる位置をおおよそ予測
して、その位置を含むように設定する。したがって、対
象画像内に目安なく機械的に探索領域を設定するときと
比較して、該探索領域の大きさを小さくしても、探索す
べき被写体の像のある位置と探索領域の位置とを一致さ
せやすい。したがって、探索領域を小さくして、第２マ
ッチング手段の処理量を減少させることができる。

【００１２】また本発明は、前記第１マッチング手段
は、まず、前記各隣接する対象画像の組合わせのいずれ
か一方の重複領域内の予め定める位置に、予め定める大
きさの第１参照領域を設定し、いずれか他方の対象画像
の重複領域内と該第１参照領域内との間で被写体の像と
のマッチングを求め、求めたマッチングに基づいて、各
被写体の像の相対位置のずれを検出し、次いで、いずれ
か一方の重複領域内に、第１参照領域よりも小さい第２
参照領域を、検出されたずれの方向と平行に少なくとも
２つ設定し、いずれか他方の対象領域の重複領域内に、
検出される相対位置のずれに基づいて、重複領域の大き
さよりも小さい第２探索領域を、各第２参照領域毎に設
定し、各第２探索領域内と、該第２探索領域に対応する
第２参照領域内との間で、被写体の像とのマッチングを
求め、求めたマッチングに基づいて、前記重複領域間の
相対位置のずれを検出することを特徴とする。本発明に
従えば、上述の第１マッチング手段におけるマッチング
処理は、２段階に分けて行われる。或る被写体に対する
複数の対象画像は、上述した対象画像生成手段で生成さ
れるが、平行に配列されるべき隣接する１対の対象画像
内の被写体の像の相対位置がどのようにずれているか
を、画像撮像時に判断することは困難である。たとえ
ば、重複領域内の被写体の像が一致するように重ねられ
て左右に並べられた１対の対象画像のうち、右側の対象
画像の上辺が左側の対象画像の上辺よりも相対的に突出
しているか、または左側の対象画像の上辺が右側の対象
画像の上辺よりも相対的に突出しているかを、画像撮像
時に判断することは困難である。このずれが不明である
と、重複領域間の相対位置のずれを検出するための参照
領域および探索領域を設定すべき該重複領域内の最適な
位置を定めることが困難になる。本発明の第１マッチン
グ手段では、まず、第１参照領域を用いて、１対の対象
画像間での被写体の像のずれを検出し、検出されたずれ
に基づいて、第２参照領域と第２検索領域との配置可能
な場所を定める。次いで、第２参照領域と第２検索領域
とを上述の配置可能な場所に設定して、重複領域間の被
写体の像のずれを求める。このようにマッチング処理を
２段階に分けて行うことによって、１対の対象画像のず
れの状態が不明な場合にも、２回目のマッチング処理の
第２参照領域と第２探索領域とを、重複領域間の相対位
置のずれを検出するために最適な位置に定めることがで
きる。また、１回目のマッチング処理で、重複領域間の
ずれが大まかに検出されるので、２回目のマッチング処
理の探索領域は、重複領域よりも小さくすることができ
る。さらに、２回目のマッチング処理では、重複領域内
の２箇所でマッチングを求めるので、被写体の像の平行
なずれだけでなく、像の大きさの変化および回転のずれ
を検出することができる。また、マッチング処理では、
参照領域を小さくするほどマッチングの精度を向上させ
ることができるが、探索すべき領域内で参照領域内の被
写体の像と対応していない点を誤って一致した点とみな
す誤りが生じる可能性が高くなる。ゆえに、１回目のマ
ッチング処理の第１参照領域よりも２回目のマッチング
処理の第２参照領域を大きくすることによって、上述し
た誤りが生じることを防止することができる。

【００１３】また本発明は、前記画像合成装置は、前記
各隣接する対象画像の組合わせ毎に、前記第１マッチン
グ手段で検出された重複領域間の相対位置のずれに基づ
いて、隣接する対象画像間の相対回転角度を求め、求め
た相対回転角度を打消す方向に各対象画像を相対的に角
変位させるように、対象画像信号を回転変換する回転変
換手段をさらに含み、前記第２マッチング手段は、回転
変換手段によって相対位置が回転変換された対象画像の
組合わせに対して、前記探索領域のマッチングを求める
ことを特徴とする。本発明に従えば、前記画像合成装置
は、第１マッチング手段におけるマッチング処理の後、
前記１対の対象画像毎に、その相対位置のずれのうち、
相対回転角度が表す回転移動のずれだけを回転変換によ
って先に補正し、補正後の対象画像に対して第２マッチ
ング手段におけるマッチング処理を施す。このような回
転補正を行った対象画像を合成することによって、合成
後の画像内で像の回転移動に基づく、ずれおよび歪みが
生じることを防止し、滑らかに像をつなげることができ
る。また、第２マッチング手段におけるマッチング処理
では、基本的に、重複領域内の複数の位置における被写
体の像のずれの平行移動量だけを検出すれば良い。この
平行移動量は、第１マッチング手段で一度検出されてい
るので、第２マッチング手段のマッチング処理の探索領
域をさらに小さくして、マッチング処理の処理量を減少
させることができる。また、回転変換後に回転移動のず
れが残るときでも、そのずれは微小であるので、探索領
域を小さくしても検出することができる。

【００１４】また本発明は、前記第２マッチング手段
は、複数の前記探索領域毎に求められるマッチングのう
ち、被写体の像が予め定める比較対象の適格性を持つ探
索領域に対するマッチングだけを前記画像合成手段に与
えることを特徴とする。本発明に従えば、上述の画像合
成手法では、第２マッチング手段で得られる複数のマッ
チングのうち、たとえば信頼性が高いマッチングだけ
を、画像合成手段における画像変形処理に用いる。信頼
性が高いマッチングが得られるのは、たとえば、設定さ
れる各探索領域内の被写体の像が、予め定める比較対象
の適格性を持つときである。この比較対象の適格性の指
標は、たとえばマッチング処理の処理手法に関連し、定
量的に検出可能な指標が選ばれることが好ましい。これ
によって、たとえば誤ったマッチングを用いて合成処理
を行い、合成画像の被写体の像の歪みを増大させること
を防止することができる。

【００１５】また本発明は、前記各対象画像は、複数の
画素からそれぞれ構成され、前記参照領域の大きさは、
単一の画素の大きさ以上であり、各探索領域に対する前
記マッチングは、各探索領域内で、大きさおよび形状が
前記参照領域と等しい探索範囲であって、かつ該探索範
囲内の全画素の輝度を表す画素値の総和値が参照領域の
画素値の総和値に最も近い探索範囲の位置で表され、前
記比較対象の適格性は、マッチングの探索範囲の画素値
の総和値と、前記参照領域の画素値の総和値との差分値
が、予め定める基準値未満であることを特徴とする。本
発明に従えば、第２マッチング手段では、いわゆるテン
プレートマッチングと称される処理手法でマッチングを
求める。このとき、前述の比較対象の適格性は、上述の
探索範囲の全画素の画素値の総和値と、参照領域の画素
値の総和値との差分値を指標とする。この差分値が予め
定める基準値以上のとき、マッチングとして得られる探
索範囲内の被写体の像は、探索領域内において、参照領
域内の被写体の像と最も類似しているが、被写体内で参
照領域の像とは異なる部分の像である可能性が高くな
る。ゆえに、このような探索範囲の位置を表すマッチン
グを除去することが好ましい。

【００１６】また本発明は、前記各対象画像は、複数の
画素からそれぞれ構成され、前記参照領域の大きさは、
単一の画素の大きさ以上であり、各探索領域に対する前
記マッチングは、各探索領域内で、大きさおよび形状が
前記参照領域と等しい探索範囲であって、かつ該探索範
囲内の全画素の輝度を表す画素値の総和値が、参照領域
の画素値の総和値に最も近い探索範囲の位置で表され、
前記比較対象の適格性は、マッチングの探索範囲内の画
素値のうちの最大値と最小値との差分値が、予め定める
基準値以上であることを特徴とする。本発明に従えば、
第２マッチング手段では、いわゆるテンプレートマッチ
ングと称される処理手法で、マッチングを求める。この
とき、前述の比較対象の適格性は、上述の探索領域の全
画素の画素値のうち、最大値と最小値との差分値を指標
とする。この差分値が予め定める基準値未満のとき、探
索領域内の画像は、たとえば真っ白な像であるような、
輝度変化の少ない像であると考えられる。このような探
索領域内に位置を変えて探索範囲を複数設定しても、各
探索範囲内の像がほとんど等しいので、正しいマッチン
グを得ることが困難になる。ゆえに、このような探索領
域におけるマッチングは、除去することが好ましい。

【００１７】また本発明は、前記比較対象の適格性は、
前記探索領域内の被写体の像が、同一の輝度変化で同一
の形状の部分が周期的に複数回繰返さないことを特徴と
する。本発明に従えば、前述の比較対象の適格性は、上
述の周期性を有する被写体の像を除くように定められ
る。このような被写体の像としては、たとえば、直線、
および或るパターンの像が複数並べられる模様が挙げら
れる。探索領域内の像がこのような周期性を有すると
き、複数の探索範囲のうち複数の該範囲内の像が等しく
なるので、このうちどの探索範囲が参照領域の被写体の
像と同一の部分であるのかを判断することが困難にな
る。ゆえに、このような探索領域におけるマッチング
は、除去することが好ましい。

【００１８】また本発明は、前記対象画像は、複数の画
素が予め定める一方および他方方向に沿って行列状に配
列されて形成され、前記幾何学的変換は、各対象画像毎
に、重複領域内で一方方向に略平行な予め定める変換基
準軸線と各画素との距離を拡大または縮小し、さらに他
方方向に沿って直線状に並べられる複数の画素から成る
画素群の相互の間隔を拡大または縮小して、画素配列を
変換することを特徴とする。本発明に従えば、前述の画
像合成手段の幾何学的変換手法では、上述したように、
変換基準軸線を固定して、矩形の像が台形の像に変形さ
れるような台形変換を行う。たとえば、幾何学的変換に
おいて、前述の被写体の像のずれに応じて上述の画素群
を平行移動させるだけの手法を用いると、該ずれが蓄積
されて、合成画像全体の被写体の像に歪みが生じること
がある。この歪みは、特に３枚以上の対象画像を合成す
るときに現れる。上述の台形変換を行えば、該ずれは各
対象画像内の画素群単位で相殺されるので、他の対象画
像に影響を及ぼさない。したがって、上述の平行移動と
類似の手法で、かつずれの蓄積を防止することができ
る。また、各画素群単位でずれを相殺するので、画素の
行列状の配列のうち、行または列のいずれかに関し、各
行または列の間隔、および単一行または列の画素間隔以
外の配列関係を保持することができる。

【００１９】また本発明は、前記変換基準軸線は、前記
第２マッチング手段の各参照領域の中心を通過すること
を特徴とする。本発明に従えば、少なくとも変換前に変
換基準軸線上に配列された複数の画素は、一方方向に隣
接する画素間の間隔は変化しても、変換後も変換基準軸
線上に位置する。この変換軸線上に前述の第２マッチン
グ手段の複数の参照領域を設定すると、３枚以上の対象
画像を合成する場合であって、或る隣接する組合わせの
対象画像の合成後、該合成結果の画像にさらに他の対象
画像または合成結果の画像を合成するとき、参照領域の
他方方向へのずれがないので、演算処理の処理量が減少
する。したがって、幾何学的合成処理の処理量が減少す
る。

【００２０】また本発明は、前記対象画像および合成画
像は、複数の画素からそれぞれ形成され、合成画像の全
画素のうち、対象画像の前記重複領域に対応する部分の
各画素の輝度を表す画素値は、該画素に対応する対象画
像の２つの重複領域の各画素の画素値に、重複領域の予
め定める合成基準軸線からの距離に対応して定める重み
を付けて加重平均した値であることを特徴とする。本発
明に従えば、前述の画像合成装置で得られる合成画像の
うち、各対象画像の重複部分に対応する部分は、各隣接
する組合わせの対象画像が重ねられて形成される。この
部分の画素値は、重ねられた２つの重複領域の各画素の
画素値を加重平均して得る。これによって、各一対の対
象画像において、一方および他方の対象画像全体の輝度
が異なるときでも、一方の画像から他方の画像にわたっ
て、被写体の像の輝度を滑らかに変化させることができ
る。したがって、輝度の違いが目立たなくなる。

【００２１】また本発明は、合成対象となる被写体の異
なる部分からの対象画像を、隣接する対象画像間に重複
領域を含むようにして複数生成し、生成される対象画像
のうち、隣接する対象画像の組合わせ毎に、重複領域間
で被写体の像のマッチングを求め、マッチングに基づい
て重複領域間の相対位置のずれを検出し、重複領域間の
相対位置のずれの検出が行われる対象画像の一方の重複
領域内に、予め定める大きさを有する参照領域を複数設
定し、対象画像の他方内に、検出される相対位置のずれ
に基づいて、参照領域よりも大きい探索領域を各参照領
域毎に設定し、各参照領域内と対応する探索領域内との
間で被写体の像のマッチングを求め、マッチングに基づ
いて各被写体の像間の相対位置のずれを検出し、検出さ
れる各被写体の像間の相対位置のずれを打消すように、
各対象画像を部分的に変形しながら、隣接する対象画像
を合成し、被写体に対する単一の合成画像を生成するこ
とを特徴とする画像合成方法である。本発明に従えば、
画像合成手法は、上述のような画像合成装置によって、
被写体のずれを２段階のマッチング処理で検出する。こ
れによって、マッチング処理の処理量を減少させて、高
解像度または広範囲および広画角の合成画像を得ること
ができる。

【００２２】

【発明の実施の形態】図１は、本発明の実施の一形態で
ある画像合成装置１の電気的構成を示すブロック図であ
る。画像合成装置１は、一次元画像合成装置３、メモリ
４、中央処理装置５、出力装置６を含んで構成される。
これらの各構成部材３〜６は、バスライン７を介して相
互に電気的に接続され、信号の授受が可能である。

【００２３】１次元画像合成装置３は、後述するよう
に、被写体を分割して撮像して、合成対象となる対象画
像を表す対象画像信号を複数出力する。対象画像は、白
色から黒色まで段階的に輝度が変化するような、いわゆ
るグレースケール画像である。複数の対象画像信号は、
メモリ４にストアされる。中央処理装置５は、メモリ４
にストアされた複数の対象画像信号を読出し、後述する
合成手法で合成することによって、単一の合成画像を表
す合成画像信号を生成する。この合成画像信号は、メモ
リ４にストアされると共に、陰極線管（ＣＲＴ）および
プリンタで実現される出力装置６に与えられる。出力装
置６では、合成画像信号を合成画像として目視表示す
る。

【００２４】図２は、被写体１１を示す模式図である。
本実施形態では、被写体１１は平板状の部材であり、そ
の表面を撮像するものとする。勿論被写体１１は、この
形状のものに限らず、たとえばスチルカメラおよびビデ
オカメラのような撮像装置で撮像可能なものであれば、
どのようなものであっても良い。一次元画像合成装置３
は、この被写体１１の表面を、複数の撮像領域に仮想的
に分割して、それぞれ撮像する。本実施形態では、被写
体１１の表面を、並列に並べられた３つの矩形の撮像領
域１３〜１５に分割している。このとき、各撮像領域１
３〜１５は、それぞれ隣接する撮像領域と一部分が重複
するように設定される。

【００２５】図３は、撮像領域１３〜１５をそれぞれ撮
像して得た対象画像１７〜１９を表す図である。対象画
像１７〜１９は、それぞれ重複領域２１；２２，２３；
２４を有する。対象画像１７の重複領域２１、および対
象画像１８の重複領域２２には、被写体１１の部分２５
の像が写っている。同様に、対象画像１８の重複領域２
３、および対象画像１９の重複領域２４には、被写体１
１の部分２６の像が写っている。部分２５，２６は、前
述の撮像領域１３〜１５の重複部分であり、図２では斜
線を付して示す。これら対象画像１７〜１８は、撮像時
の視差が小さいことが好ましい。視差が小さい撮像手法
としては、パンおよびチルトと称されるような、水平お
よび垂直移動撮像が挙げられる。

【００２６】図４は、１次元画像合成装置３の具体的な
撮像動作を説明するための図である。１次元画像合成装
置３は、たとえば、撮像装置として、いわゆるＣＣＤエ
リアセンサを備えたビデオカメラ２８を備える。ＣＣＤ
エリアセンサは、２次元平面である結像面に、受光領域
が行列状に配列された２次元の撮像素子である。

【００２７】ビデオカメラ２８の撮像動作の開始および
終了は、たとえば画像合成装置１の操作者の指示によっ
て定められる。操作者は、ビデオカメラ２８が被写体１
１の撮像を開始すると、被写体１１の表面から予め定め
る距離だけ離れた位置で、撮像領域１３〜１５に併せて
その撮像可能範囲２９が移動するように、ビデオカメラ
２８を手で保持して移動させる。この移動動作は、具体
的には、たとえば操作者がビデオカメラ２８のファイン
ダ、または現在撮像される画像を目視表示する表示装置
内の画像を目視して、撮像可能範囲２９が既に撮像が終
了した領域の一部を含むように該範囲２９の移動方向お
よび移動量を定め、定めた移動方向に移動量だけ該範囲
２９が移動するようにビデオカメラ２８を動かす。この
ビデオカメラ２８の移動は、上述した条件を満たすなら
ば、操作者が手動で行う以外にも、機械的な移動装置を
用いて行っても良い。

【００２８】これによって、たとえば図４を例とする
と、撮像可能範囲２９は、その中心点３０が、まず撮像
領域１３の長手方向の一方端部から他方端部まで、長手
方向の中心軸線に沿って移動するように、矢符３２で示
す方向に移動される。このとき、撮像領域１３〜１５の
幅方向の幅は撮像可能範囲３０の長手方向の幅と等し
く、撮像可能範囲３０は、その中心点３０を通る中心軸
線が撮像領域１３〜１５の中心軸線と平行な状態を保つ
ように移動される。

【００２９】次いで、撮像可能範囲２９を撮像領域１４
の長手方向の他方端部に至るように、撮像可能範囲２９
を矢符３３が示す方向に横に移動される。続いて、撮像
可能範囲２９の中心点３０が、撮像領域１４の長手方向
の他方端部から一方端部まで、矢符３４で示す方向に、
長手方向の中心軸線に沿って移動される。次いで、撮像
領域１５の一方端部に撮像可能範囲２９が至るように、
撮像可能範囲２９を矢符３３が示す方向に横に移動さ
せ、移動後は撮像領域１３での撮像とほぼ同等に移動さ
せる。これによって、撮像可能範囲２９は、その中心点
３０が軌跡３５を描くように移動される。

【００３０】ビデオカメラ２８は、操作者から撮像開始
が指示されてから、たとえば、撮像可能範囲２９内の被
写体からの画像光を撮像素子の結像面に結像するように
集光して、結像面の各受光領域に受光させる。撮像素子
は、予め定める露光時間が経過する毎に、各受光領域
に、露光時間内の受光量に対応する電荷を、画素データ
として出力させる。これによって、ビデオカメラ２８
は、露光時間が経過するたびに、上述の画素データから
構成される原画像信号を出力する。原画像信号は、撮像
素子の結像面の受光領域の数と画素数が等しく、画素配
列が受光領域の配列と相似である原画像を表す。この原
画像は、ビデオカメラで得られる動画像のいわゆる１フ
レームの画像である。したがって、撮像可能範囲を２９
を移動させている間、ビデオカメラ２８は、複数フレー
ム分の原画像信号を出力する。

【００３１】たとえば、撮像領域１３に沿って撮像可能
範囲２９を移動させるとき、４フレーム分の原画像信号
が連続して得られたとする。図５（Ａ）は、これら原画
像信号が表す原画像３７〜４０を、撮像順に並べて示す
図である。原画像３７〜４０には、それぞれ同一の被写
体を異なる位置から撮像した被写体の像４１〜４４が含
まれる。これら像４１〜４４は、たとえば、撮像動作中
に被写体が動くとき、ならびに撮像動作中にビデオカメ
ラ２８の視差および光学系の倍率に変化が生じたとき以
外の残余のときには、被写体の同一の部分を撮像した部
分を重ね合わせると一致する。

【００３２】ビデオカメラ２８は、上述の撮像動作で得
られる各フレームの原画像の被写体の像の相関を検出し
て、検出された相関から、撮像可能範囲２９と被写体と
の相対位置の移動方向を検出する。この移動方向が切換
わるとき、たとえば、矢符３２，３４の方向から、矢符
３３の方向に切換わるとき、撮像領域１３，１４の撮像
が終了して、次の撮像領域１４，１５にそれぞれ移動し
たと判断する。これによって、撮像領域１３〜１５を連
続して撮像するときも、各撮像領域１３を撮像した原画
像を自動的に選択することができる。

【００３３】これら原画像３７〜４０内の被写体の像と
原画像３７〜４０の枠線との相対位置は、矢符３２で表
す撮像可能範囲２９の本来の移動方向だけでなく、矢符
３３で表す方向およびその反対の方向にもずれる。これ
は、上述した手法でビデオカメラ２８を移動させると
き、ビデオカメラ２８は操作者の手だけに支持されるの
で、たとえば操作者の手のぶれによって、被写体１１と
の相対位置がずれることがあるからだと考えられる。

【００３４】１次元合成画像装置３は、これら複数フレ
ームの原画像信号を、原画像の被写体の像が一致するよ
うに重合わせるように合成して、前述の対象画像１７の
対象画像信号を生成する。対象画像１８，１９の対象画
像信号の生成手法も、対象画像１７と等しい。

【００３５】具体的には、まず、原画像３７，３８；３
８，３９；３９，４０間で、それぞれ被写体の像をマッ
チング処理して、被写体の像の相対的な移動距離および
移動方向を求める。この移動距離および移動方向は、ビ
デオカメラ２８の撮像可能範囲２９の相対的な移動距離
および移動方向と一致する。

【００３６】次いで、１次元画像合成装置３は、原画像
３７〜４０を、求めた移動距離だけ、移動方向と逆向き
に相対的に移動させて重合わせる。図５（Ｂ）は、原画
像３７〜４０を上述の手法で重合わせた状態を示す模式
図である。上述の矢符３３の方向のずれのために、重ね
られた状態の画像４５は、矢符３３の方向およびその反
対の方向に、部分的にはみ出す形状を取る。

【００３７】最後に、１次元画像装置３は、画像４５の
矢符３３の方向側の端部に画像以外の情報が含まれない
ように、画像４５の画像信号を加工して、対象画像１７
の対象画像信号を生成する。この手法としては、たとえ
ば、図５（Ｂ）を例とすると、画像４５の仮想線４６よ
りも右側の部分を裁落とすように、この部分を構成する
画素の画素データを画像４５の画像信号から削除する手
法が挙げられる。また、画像４５の画像信号のうち、仮
想線４６よりも右側の画像以外の部分を表す画素データ
に、後述する探索ブロックの設定を禁止するデータを付
加してもよい。これは、後述する対象画像の合成動作に
おいて、画像以外の部分に探索ブロックを設定すること
を防止するためである。

【００３８】また、１次元画像合成装置３は、受光領域
が直線状に並べられる１次元の撮像素子を用いたいわゆ
るハンドスキャナであってもよい。このハンドスキャナ
を用いて対象画像１７を得るとき、図６に示すように、
撮像領域１３の幅方向をハンドスキャナ４８の受光領域
の配列方向とほぼ一致させ、長手方向に沿って被写体１
１の表面にハンドスキャナ４８を接触させた状態で移動
させつつ、被写体１１を撮像する。このとき、撮像素子
は、ビデオカメラ２８の撮像素子とほぼ同等に動くの
で、ハンドスキャナ４８を撮像領域１３の長手方向の一
方端部から他方端部まで移動させると、画素が直線状に
配列された原画像を表す原画像信号を複数得る。１次元
画像合成装置３は、これら原画像が画素の配列方向をそ
れぞれ平行にして撮像した順で順次並べられるように、
原画像信号を合成して、対象画像１７を得る。

【００３９】このような手法によって、ビデオカメラ２
８を用いた１次元画像合成装置３によって、上述の図３
の対象画像１７〜１９を生成する。対象画像１７〜１９
の形状、および画像内の被写体の像は、それぞれ撮像領
域１３〜１５の形状およびその表面とほぼ相似である
が、部分的に歪みが生じる。これは、たとえば、ビデオ
カメラ２８を操作者が手動で移動させるので、これら被
写体１１とビデオカメラ２８との距離を予め定める一定
の距離に保つことが難しく、距離がばらつくためだと考
えられる。また、ハンドスキャナ４８は、被写体１１の
表面を滑らかに移動するための一対のローラを備える
が、この一対のローラの滑りにぶれがあって、ハンドス
キャナ４８の移動速度にばらつきが生じるためだとも考
えられる。

【００４０】さらに、対象画像１７〜１９は、撮像領域
１３〜１７の長手方向の中心軸線が相互に平行とならず
或る角度をなすような、回転を含むことがある。これ
は、上述の歪みと同じ理由から、手のぶれが生じて、ビ
デオカメラ２８およびハンドスキャナ４８の移動方向が
本来の移動方向からずれて移動するためだと考えられ
る。ゆえに、重複領域２１，２２；２３，２４内の被写
体の像もまた、被写体の同一の部分２５，２６を撮像し
ているにも拘わらず、対象画像１７〜１９を平行移動さ
せただけで重合わせても、像が一致しない。

【００４１】図７は、上述の画像合成装置における画像
合成動作を説明するためのフローチャートである。たと
えば、画像合成装置の使用者が、合成動作を指示する
と、ステップａ１からステップａ２に進む。

【００４２】ステップａ２では、中央処理装置５に、合
成対象の複数の対象画像信号を入力する。この対象画像
信号は、前述した手法で得られた該信号を１次元画像合
成装置３から直接得ても良く、また、メモリ４にストア
される複数の対象画像信号のうちで、所望とする該信号
を選択して読出すようにしても良い。１枚分の対象画像
信号が入力されるたびに、ステップａ２からステップａ
３に進む。

【００４３】ステップａ３では、合成画像信号を得るた
めに必要な全ての対象画像信号が得られたか否かが判断
される。全ての対象画像信号が得られていないときは、
ステップａ２に戻り、次の対象画像信号を入力させる。
対象画像信号が全て得られたとき、ステップａ３からス
テップａ４に進む。ステップａ４以後のステップでは、
上述の対象画像信号のうち、撮像領域が隣接し、被写体
１１の同一の部分を撮像した重複領域を有する一対の対
象画像を合成するための合成処理を行う。

【００４４】ステップａ４では、１対の対象画像内の被
写体の像の相対的な平行移動量を検出するための中央ブ
ロックマッチング処理を行い、次いでステップａ５に進
む。ステップａ５では、１対の対象画像内の被写体の像
の詳細な平行移動量、および相対的な回転角度を検出す
るための大ブロックマッチング処理を行い、ステップａ
６に進む。ステップａ６では、大ブロックマッチング処
理の検出結果に基づき、１対の対象画像信号に対して、
画像の回転補正処理を施し、ステップａ７に進む。ステ
ップａ７では、１対の対象画像の被写体の像の相対的な
歪みを検出するための小ブロックマッチング処理を行
い、ステップａ８に進む。ステップａ８では、小ブロッ
クマッチング処理の検出結果に基づき、１対の対象画像
信号に対して、画像の変形処理および合成処理を施し
て、これら一対の対象画像信号を合成し、ステップａ９
に進む。これら各ステップａ４〜ａ８の処理動作の詳細
は後述する。

【００４５】ステップａ９では、全ての対象画像信号に
関して上述の一連の合成処理を施して、単一の合成画像
信号が得られたか否かが判断される。そうでないとき
は、ステップａ９からステップａ４に戻り、他の１対の
対象画像信号に対して、ステップａ４〜ステップａ８の
一連の合成処理を施す。他の１対の対象画像信号の組合
わせは、被写体１１の同一の部分を撮像した重複領域を
有する組合わせであれば、どのような組合わせであって
も良い。たとえば、既に合成された一対の対象画像信号
のいずれか一方と、他の対象画像信号との組合わせであ
る。または、既に合成された１対の対象画像信号同士の
組合わせであっても良い。

【００４６】ステップａ９で、全ての対象画像信号を合
成したと判断されると、ステップａ９からステップａ１
０に進み、当該フローチャートの処理動作を終了する。

【００４７】上述のフローチャートのステップａ４〜ス
テップａ８における一対の対象画像信号の合成手法を、
以下に詳細に説明する。以後の説明では、上述の対象画
像１７，１８を表す１対の対象画像信号の合成処理を例
として、各処理動作を説明する。この対象画像１７，１
８は、上述の手法で生成され、それぞれ長手方向の両端
部のはみ出した部分を切落とした矩形の画像である。ま
た対象画像１７，１８は、図面で左上端部の頂点を原点
とした２次元直交座標系が設定される。この座標系のｘ
およびｙ座標軸は、それぞれ対象画像１７，１８の幅方
向および長手方向に平行であり、以後、ｘ座標軸に平行
な幅方向を「ｘ方向」、ｙ座標軸に平行な長手方向を
「ｙ方向」と称することがある。

【００４８】図８は、上述のフローチャートのステップ
ａ４における中央ブロックマッチング処理を説明するた
めの模式図である。中央ブロックマッチング処理では、
いわゆるテンプレートマッチング処理を用いて、対象画
像１７，１８の被写体の像の相対的な平行移動量を検出
する。

【００４９】まず、対象画像１７の重複領域２１内に、
参照ブロックＫを設定する。参照ブロックＫは、たとえ
ば、その基準点５２が、対象画像１７のｙ方向の辺を２
等分する基準軸線５３上に位置するように配置される。
次いで、対象画像１８の重複領域２２内に、探索領域５
５を設定する。探索領域５５は、重複領域２２のほぼ全
域を含むように設定され、本実施形態では、重複領域２
２と一致する。このように、参照ブロックＫを重複領域
２１のｙ方向の中央部に設定することによって、対象画
像１７，１８の被写体が、ｙ方向のいずれの向きにずれ
ているときでも、そのずれを検出することができる。

【００５０】続いて、対象画像１７の参照ブロックＫと
対象画像１８の探索領域５５との間で、いわゆるテンプ
レートマッチング処理を行う。該処理では、探索領域５
５内で、参照ブロックＫ内の被写体の像と最も類似する
像の位置を検索する。

【００５１】テンプレートマッチング処理を以下に詳細
に説明する。

【００５２】該処理の処理動作では、まず、参照ブロッ
クＫと合同な探索ブロックＬを、該ブロックＬの基準点
５２が探索領域５５内の或る点と一致するように重ねて
設定する。次いで、探索領域５５内の被写体の像のうち
の探索ブロックＬで区分された部分の像と、重複領域２
１内の被写体の像のうちで参照ブロックＫで区分された
部分の像との類似度を求める。この類似度は、たとえ
ば、参照ブロックＫ内の或る画素の画素データｋと、探
索ブロックＬ内部で該画素と同じ位置の画素の画素デー
タｌとの差分値の絶対値｜ｋ−ｌ｜を、参照ブロックＫ
内の全ての画素について求め、その総和を表す総和値ｄ
（ｋｌ）で表される。また、画素の画素データｋ，ｌの
相関で表されることもある。

【００５３】或る点における類似度が検出されると、探
索領域５５内で基準点５２を一致させる点を移動させ、
移動後の点における類似度を同様の手法で検出する。こ
のような類似度の検出動作は、探索ブロックＬで区分さ
れる範囲が探索領域５５内を網羅するように、上述の或
る点を複数個定め、各点において繰返し実施される。定
められた全ての点における類似度の検出動作が終了する
と、各点を基準点５２とする探索ブロックＬの該総和値
ｄ（ｋｌ）が、点の数と同数得られる。このとき、探索
領域５５内の各画素の画素データは、少なくとも１回該
総和値ｄ（ｋｌ）の演算に用いられる。

【００５４】探索領域５５内の全ての点における総和値
ｄ（ｋｌ）が求められると、続いて、求められた全ての
総和値ｄ（ｋｌ）のうちで、値が最小の総和値ｄ（ｋ
ｌ）が得られた点、およびその点を基準として設定され
る探索ブロックＬを探索する。総和値ｄ（ｋｌ）が最小
であることは、その探索ブロックＬ内の被写体の像が、
探索領域５５内で、最も参照ブロックＫ内の被写体の像
と類似することを意味する。総和値ｄ（ｋｌ）が最小の
探索ブロックＬを、最小探索ブロックＬａとして、図８
に示す。最小探索ブロックＬａを得ると、テンプレート
マッチング処理を終了する。

【００５５】このテンプレートマッチング処理の精度
は、参照ブロックＫおよび探索ブロックＬの大きさが小
さいほど向上する。けれども、探索領域５５の大きさを
変更しないまま参照および探索ブロックＫ，Ｌを小さく
すると、本来マッチングすべき対応の場所とは異なる場
所に設定された探索ブロック内と参照ブロックとが類似
して、全く誤ったところでマッチングする可能性が高く
なる。中央ブロックマッチング処理の探索および参照ブ
ロックＫ，Ｌの大きさは、後述する大ブロックおよび小
ブロックマッチング処理の参照および探索ブロックｆ
１，ｆ２，ｇ１，ｇ２；ｂａ，ｂｂよりも大きいことが
好ましい。これは、中央ブロックマッチング処理では、
大ブロックおよび小ブロックマッチング処理で検出する
べき被写体のずれよりも大まかな被写体の平行移動量だ
けを検出すればよいためである。勿論、これらブロック
の大きさは、上述の大小関係に限らず、任意に設定する
ことができる。

【００５６】上述した参照ブロックＫと各探索ブロック
Ｌとのテンプレートマッチング処理では、類似度の検出
動作では、探索ブロックＬを探索領域５５内に直接複数
設定して、それぞれの点での該総和値ｄ（ｋｌ）を求め
ている。このテンプレートマッチング処理では、いわゆ
る階層マッチング処理を用いても良い。

【００５７】階層マッチング処理では、まず、探索領域
５５を縮小して、探索領域５５の画素数を減少させたの
ち、この縮小された領域に対して前述の探索ブロックＬ
を設定する。たとえば、探索領域５５をｘおよびｙ方向
でそれぞれ半分の長さに縮小したとすれば、縮小前の画
像の２行２列の４画素が縮小後の１画素に対応する。こ
れによって、探索領域５５内を網羅するために設定すべ
き探索ブロックＬの数は、縮小前の探索領域５５に設定
すべき探索ブロックＬの数の４分の１になる。この状態
で全ての探索ブロックＬについて類似度を求め、最も類
似度が高い最小探索ブロックＬａの位置を得る。次い
で、縮小された探索領域５５の大きさを拡大し、最小探
索ブロックＬａおよびその近傍の被写体の像に関して、
再度テンプレートマッチング処理を施す。この動作を、
探索領域５５が元の大きさに戻るまで順次的に繰返す。
これによって、探索領域５５全体の各探索ブロックの総
和値ｄ（ｋｌ）を求める演算処理の処理量を減少させる
ことができる。

【００５８】このような手法で得られた最小探索ブロッ
クＬａと参照ブロックＫとが重なり合うように対象画像
１７，１８を重合わせると、重複領域２１，２２の被写
体の像が平行移動しているとき、図９に示すように、対
象画像１７，１８がｙ方向にずれて重合わされることが
分かる。本実施形態の画像合成装置１の対象画像１７，
１８：１８，１９は、この平行移動量が、多くても対象
画像のｙ方向の幅の３分の１以下であることが好まし
い。以後の説明では、対象画像１７，１８の被写体の像
の平行移動がほとんどないものとする。

【００５９】このように、中央ブロックマッチング処理
では、１対の対象画像内の被写体の像のｙ方向の平行移
動量を検出することができる。中央処理装置５は、この
中央マッチング処理のマッチング結果に基づいて、対象
画像１７，１８の被写体の像の大まかな位置合わせを行
う。

【００６０】続いて、図１０を用いて大ブロックマッチ
ング処理について、以下に詳細に説明する。大ブロック
マッチング処理は、いわゆるテンプレートマッチング処
理を用いて、対象画像１７，１８の被写体の像の位置合
わせ、および対象画像１７，１８の相対的な回転角度を
求めるために行われる。

【００６１】まず、対象画像１７の重複領域２１内に、
参照ブロックｆ１，ｆ２を設定する。参照ブロックｆ
１，ｆ２の設定位置は、参照ブロックｆ１，ｆ２で区分
された部分が、重複領域２１内の被写体の像に特徴のあ
る部分を含むように選ばれる。特徴のある部分とは、た
とえば、いわゆるエッジであるような、画素の輝度変化
が大きい部分である。このエッジの位置は、対象画像１
７の対象画像信号をソーベルフィルタを通過させて得ら
れる画像信号から求めることができる。この参照ブロッ
クｆ１，ｆ２は、前述の中央ブロックマッチング処理の
参照ブロックＫよりも小さく設定される。たとえば、重
複領域２１内で参照ブロックｆ１，ｆ２が区分する部分
に、２００行６０列の行列状に並べられた画素が含まれ
るような形状および大きさに設定される。

【００６２】また、参照ブロックｆ１，ｆ２の長手方向
に沿った離反距離Ｗ２は、図９に示す対象画像１７，１
８の重複部分の長手方向の幅Ｗ１以内の距離であって、
できるだけ大きいことが好ましい。さらに、参照ブロッ
クｆ１，ｆ２は、対象画像１７，１８のｙ方向の被写体
のずれに対応できなくなることを防止するために、重複
領域２１のｙ方向の両端部近傍を避けて設定されること
が好ましい。これらのことから、以後の説明では、参照
ブロックｆ１，ｆ２は、ｙ方向の基準軸線５３の両側に
設定され、その基準点ｐ１，ｐ２はｙ座標軸と平行に離
反距離Ｗ２だけ離れるものとする。

【００６３】次いで、対象画像１８の重複領域２２内
に、参照ブロックｆ１，ｆ２にそれぞれ対応した探索領
域５８，５９を設定する。探索領域５８，５９のｙ方向
の設置位置は、対象画像１７，１８をｘおよびｙ座標軸
が平行になるように並べたとき、参照ブロックｆ１から
見て、上述の中央ブロックマッチング処理で検出された
平行移動量だけ、ｙ方向に沿って相対的に平行移動した
位置が選ばれる。

【００６４】探索領域５８，５９の大きさは、それぞれ
対象画像１７，１８の被写体の像のｙ方向のずれの大き
さ、重複領域２０，２１の大きさ、および被写体の像の
細部の変化度合に基づいて決定される。たとえば、探索
領域５８，５９のｙ方向の幅Ｗ３は、中央ブロックマッ
チング処理の探索領域５５のｙ方向の幅Ｗ４よりも短
い。また、ｘ方向の幅は、重複領域２２のｘ方向の幅と
ほぼ一致する。この探索領域５８，５９内には、参照ブ
ロックｆ１，ｆ２と大きさおよび形状が等しい探索ブロ
ックｇ１，ｇ２が設定される。

【００６５】続いて、中央処理装置５は、探索領域５８
に対する参照ブロックｆ１のテンプレートマッチング処
理、および探索領域５９に対する参照ブロックｆ２のテ
ンプレートマッチング処理をそれぞれ個別的に実施す
る。テンプレートマッチング処理の処理手法は、上述の
中央ブロックマッチング処理とほぼ等しく、類似度とし
て、次式に示すような、画素値の差分値の総和値ｄ１
（ｆｇ），ｄ２（ｆｇ）を求める。

【００６６】 ｄｎ（ｆｇ）＝Σ｜ｆｎ−ｇｎ｜ …（１） 「ｆ」，「ｇ」は、それぞれ参照ブロックおよび探索ブ
ロック内の画素の輝度を表す画素データの値を示す。
「ｎ」は、値１および値２のいずれかが代入される。値
１が代入されたとき、「ｆ」，「ｇ」は、参照ブロック
ｆ１および探索ブロックｇ１の画素データに対応する。
値２が入力されたとき、「ｆ」，「ｇ」は、参照ブロッ
クｆ２および探索ブロックｇ２の画素の画素データに対
応する。

【００６７】上述のテンプレートマッチング処理で探索
領域５８，５９それぞれに最小探索ブロックｇ１ａ，ｇ
２ａが得られると、この最小探索ブロックｇ１ａ，ｇ２
ａの基準点ｑ１，ｑ２から、重複領域２１，２２内の被
写体の像のｘおよびｙ方向の詳細な平行移動量、および
相対的な回転角αを求める。

【００６８】回転角αは、上述のように対象画像１７，
１８を各ｘおよびｙ座標軸が平行となるように並べたと
きに、参照領域ｆ１，ｆ２の基準点ｐ１，ｐ２を両端と
する線分ｚ１と、最小探索ブロックｇ１ａ，ｇ２ａの基
準点ｑ１，ｑ２を両端とする線分ｚ２との成す角度であ
る。この回転角αは、対象画像１７のｙ座標軸と線分ｚ
１との成す角度、および対象画像１８のｙ座標軸と線分
ｚ２との成す角度の和であると考えられる。本実施形態
では、線分ｚ１は対象画像１７のｙ座標軸と平行である
と見なすので、回転角αは対象画像１８のｙ座標軸と線
分ｚ２との成す角度と等しい。

【００６９】次いで、対象画像の回転補正処理につい
て、以下に詳細に説明する。回転補正処理では、上述の
相対的な回転角αを打消し、線分ｚ１，ｚ２が平行にな
るように、対象画像１７，１８の画素の画素値に対応す
る代表点の座標を、相対的に回転変換する。たとえば、
この回転変換は、最小探索ブロックｇ１ａの基準点ｑ１
を中心として、対象画像１８の各画素の代表点の座標
（ｘ，ｙ）を、以下の式に基づいて変換する。

【００７０】

【数１】

【００７１】「ｘ」，「ｙ」は、回転変換前の対象画像
１８内の画素の代表点のｘおよびｙ座標の値である。
「ｘ＊」，「ｙ＊」は、同じ画素の回転変換後の代表点
のｘおよびｙ座標の値である。回転変換前の代表点の座
標（ｘ，ｙ）は、それぞれ各画素内の点であって、たと
えば対象画像１８のｘｙ直交座標系のいわゆる格子点と
一致する。回転変換後の代表点は、格子点と一致しない
ことが多い。

【００７２】このような座標変換を行うと、各画素の代
表点の位置が、基準点ｑ１を基準として、元の位置から
それぞれ回転角αだけ、元の対象画像１７から見て逆向
きに角変位する。これによって、対象画像１７に対する
対象画像１８の相対位置を、回転角αだけ逆向きに回転
させて、対象画像１７，１８の被写体の像を平行に並べ
ることができる続いて、対象画像１７，１８の小ブロッ
クマッチング処理について、以下に詳細に説明する。小
ブロックマッチング処理は、後述の画像の変形および合
成処理動作において補正するべき被写体のずれを検出す
る。

【００７３】図１１は、小ブロックマッチング処理の処
理手順を説明するためのフローチャートである。図７の
フローチャートで、ステップａ６からステップａ７に進
むと、ステップｂ１からステップｂ２に進む。

【００７４】ステップｂ２では、対象画像１７の重複領
域２１内に、複数の参照ブロックｂａを設定する。たと
えば、図１２では、１２個の参照ブロックｂａ１〜ｂａ
１２（総称するときは参照ブロックｂａとする）を用意
し、それらの中心点が前述の線分ｚ１およびその延長線
上に、各ブロックが重なることなく直線状に配列される
ように設定する。これら参照ブロックｂａ１〜ｂａ１２
は、たとえば矩形のブロックであって、その中心点を基
準とすると、隣接する２つの中心点が予め定める間隔Ｗ
６をそれぞれ開けて、直線状に並ぶように配列される。

【００７５】各参照ブロックｂａ１〜ｂａ１２は、上述
の大ブロックマッチング処理の参照ブロックｆ１，ｆ２
よりも小さく、たとえば３０行３０列の画素を含む大き
さにそれぞれ設定される。このとき、線分ｚ１の両端で
ある前述の基準点ｐ１，ｐ２は、それぞれｙ方向の一方
端部から数えて２番目および１０番目に並べられる参照
ブロックｂａ２，ｂａ１０内に含まれる。参照ブロック
ｂａが配置されると、ステップｂ２からステップｂ３に
進む。

【００７６】ステップｂ３では、対象画像１８の重複領
域２２内に、探索ブロックｂｂを後述する配列で並べて
設定する。この探索ブロックｂｂは、参照ブロックｂａ
に個別的に対応して同数だけ準備される。図１２では、
１２個の探索ブロックｂｂ１〜ｂｂ１２（総称するとき
は「探索ブロックｂｂ」とする）が用意される。各探索
ブロックｂｂ１〜ｂｂ１２は、それぞれ参照ブロックｂ
ａ１〜ｂａ１２と同一の大きさおよび形状のブロックで
あり、本実施形態では矩形のブロックである。

【００７７】この探索ブロックｂｂは、その中心点ｍａ
１〜ｍａ１２が前述の線分ｚ２およびその延長線上に、
直線状に配列されるように設定される。この探索ブロッ
クｂｂのうち、参照ブロックｂａ２，ｂａ１０に対応す
る探索ブロックｂｂ２，ｂｂ１０は、前述の基準点ｑ
１，ｑ２を含む。探索ブロックｂｂ２，ｂｂ１０と基準
点ｑ１，ｑ２との相対位置関係は、参照ブロックｂａ
２，ｂａ１０と基準点ｐ１，ｐ２との相対位置関係と等
しい。

【００７８】また、探索ブロックｂｂ１，ｂｂ３〜ｂｂ
９、ｂｂ１１，ｂｂ１２は、たとえばその中心点を基準
とすると、隣接する２つの中心点が間隔Ｗ７を開けるよ
うに、それぞれ配列される。間隔Ｗ７は、線分ｚ２の長
さＷ８を、基準点ｑ１，ｑ２の間に介在される探索ブロ
ックｂｂの数で分割した長さと等しい。図１２では、基
準点ｑ１，ｑ２間の探索ブロックｂｂの数は８個である
ので、間隔Ｗ７は長さＷ８を８等分した長さと等しい。
間隔Ｗ７は、探索ブロックｂｂのｙ方向の幅Ｗ６よりも
広いので、隣接する２つの探索ブロックｂｂ間には隙間
ができる。また逆に、間隔Ｗ７が幅Ｗ６よりも狭いとき
は、隣接する２つの探索ブロックｂｂの一部の領域が重
なることがある。

【００７９】これら探索ブロックｂｂの周囲には、各探
索ブロックｂｂをそれぞれ含む探索領域６１がそれぞれ
設定される。たとえば、探索ブロックｂｂ１の探索領域
６１の中心点は、探索ブロックｂｂ１の中心点と一致す
る。この探索領域６１は、たとえば、探索ブロックｂｂ
よりも、ｘおよびｙ方向の両側に、それぞれ６画素分の
空間が加えられ、全体として、４２行４２列に行列状に
並べられた画素を含む大きさとなるように設定される。
このように、探索ブロックｂｂが配置されると、ステッ
プｂ３からステップｂ４に進む。ステップｂ４以後、各
探索ブロックｂｂを含む探索領域６１毎に、該探索領域
６１に対する各参照ブロックｂａ１〜ｂａ１２のテンプ
レートマッチング処理を個別的に行う。

【００８０】ステップｂ４では、マッチング処理対象と
なる探索領域６１に関して、探索領域６１内の画素の輝
度変化が少ない否かが判断される。たとえば、探索領域
６１内の複数の画素のうち、輝度を表す画素データの値
の最大値および最小値の差分が、予め定める差分未満で
あるとき、輝度変化が少ないと判断する。この判定によ
って、たとえば真っ白な像であるような、被写体の像の
画像変化が少なくマッチング処理が困難な探索領域６１
を、予めマッチング処理対象から除くことができる。画
像の輝度変化が大きいと判断されたときだけ、ステップ
ｂ４からステップｂ５に進む。ステップｂ５では、上述
の判定を受けたマッチング処理対象の探索領域６１に対
して、該領域６１に対応する参照ブロックｂａのテンプ
レートマッチング処理動作を行う。該処理が終了する
と、ステップｂ５からステップｂ６に進む。

【００８１】ステップｂ６では、マッチング処理対象の
探索領域６１内の被写体の像が、周期模様および直線で
あるような像であるか否かが判断される。具体的には、
たとえば、探索領域６１内で、上述の類似度の値が判定
基準値よりも高くなる点が複数あるとき、被写体の像が
周期模様および直線であると判断される。被写体の像が
周期模様および直線であるとき、類似度の値がほとんど
同じ点が複数検出されるので、上述のテンプレートマッ
チング処理で正しい結果が得られないことが多い。ゆえ
に、この小ブロックマッチング手段では、予め周期模様
及び直線を含む被写体の像が含まれる探索領域を、後述
の処理動作の対象から外す。被写体の像が、周期模様お
よび直線でないときだけ、ステップｂ６からステップｂ
７に進む。ステップｂ７では、ステップｂ５のテンプレ
ートマッチング処理の処理結果から、各探索領域６１内
に最小探索ブロックｂｂａを定める。

【００８２】また、ステップｂ４でマッチング処理対象
の探索領域６１内の被写体の像の輝度変化が小さいと判
断されたとき、およびステップｂ６で、被写体の像が周
期模様および直線の像であると判断されたとき、ステッ
プｂ４，ｂ６からステップｂ８に進む。ステップｂ８で
は、そのマッチング処理対象の探索領域６１、ならび
に、それに対応する参照ブロックｂａ、および探索ブロ
ックｂｂを、削除する。これによって、テンプレートマ
ッチング処理の処理結果が不良となることが分かってい
るものを予め取除くことができる。また、テンプレート
マッチング処理を行った後、参照範囲と探索範囲とのそ
れぞれにおいて、上述の画素値の総和値を検出し、これ
ら総和値の差分値を求め、この差分値が予め定める値以
上であるときだけ、正しいマッチングであると判断し
て、その探索範囲を残すようにしても良い。

【００８３】このように、マッチング処理対象の探索領
域６１に対して、最小探索ブロックｂｂａを決定する処
理、または、処理対象の探索領域６１を除去する処理が
終了すると、ステップｂ７またはステップｂ８から、ス
テップｂ９に進む。ステップｂ９では、重複領域２２に
設定された全ての探索領域６１に関して、ステップｂ４
〜ステップｂ８の一連の処理動作が終了したか否かが判
断される。そうでないときには、ステップｂ９からステ
ップｂ４に戻り、次の探索領域６１に関して上述の処理
動作を施す。全てのブロックについて、テンプレートマ
ッチング処理が終了しているとき、ステップｂ９からス
テップｂ１０に進み、当該フローチャートの処理動作を
終了する。

【００８４】図１３は、図１２の対象画像１７，１８に
対して図１１の小ブロックマッチング処理動作を施した
後の、対象画像１７，１８を示す図である。

【００８５】この対象画像１７は、図１２の対象画像１
７と比較して、参照ブロックｂａのうち、上述のフロー
チャートのステップｂ４，ｂ６の条件から外れるブロッ
クとして、参照ブロックｂａ３，ｂａ６，ｂａ７，ｂａ
１０が削除されている。同様に、対象画像１８は、これ
ら参照ブロックｂａ３，ｂａ６，ｂａ７，ｂａ１０に対
応する最小探索ブロックｂｂａ３，ｂｂａ６，ｂｂａ
７，ｂｂａ１０が削除されている。

【００８６】また、対象画像１７内の残余の参照ブロッ
クｂａ１，ｂａ２，ｂａ４，ｂａ５，ｂａ８，ｂａ９，
ｂａ１１，ｂａ１２の中心点ｍａ１，ｍａ２，ｍａ４，
ｍａ５，ｍａ８，ｍａ９，ｍａ１１，ｍａ１２は、前述
の線分ｚ１およびその延長線上にあるが、対象画像１８
内の残余の最小探索ブロックｂｂａ１，ｂｂａ２，ｂｂ
ａ４，ｂｂａ５，ｂｂａ８，ｂｂａ９，ｂｂａ１１，ｂ
ｂａ１２の中心点ｍｂ１，ｍｂ２，ｍｂ４，ｍｂ５，ｍ
ｂ８，ｍｂ９，ｍｂ１１，ｍｂ１２を順次的に結ぶ線分
は、前述の線分ｚ２およびその延長線上からはずれた折
線となる。

【００８７】次いで、画像の変形処理を、以下に詳細に
説明する。画像の変形処理では、対象画像１７，１８を
重ね合わせるときに、上述の残された任意の参照ブロッ
クｂａｋの中心点ｍａｋと、それに対応する最小探索ブ
ロックｂｂａｋの中心点ｍｂｋとが一致するように、対
象画像１８を幾何学的変換する。上述のｋは、自然数
１，２，４，５，８，９，１１，１２のいずれかであ
る。

【００８８】変形処理では、まず対象画像１７，１８を
重合た状態を仮想する。具体的には、対象画像１７，１
８は、重複領域２１内の１番目の参照ブロックｂａ１の
中心点ｍａ１と、重複領域２２内の１番目の最小探索ブ
ロックｂｂａ１の中心点ｍｂ１とが一致し、かつ各対象
画像１７，１８のｘおよびｙ座標軸が平行になるよう
に、重ね合わされる。

【００８９】図１４は、上述した手法で重合わされた対
象画像１７，１８の模式図である。この図で、中心点ｍ
ｂ１，ｍｂ２を通る直線ｚ３と、対象画像１８のｙ方向
の一方端部の辺との交点を、点ｍｂ０とする。同様に、
中心点ｍｂ１１，ｍｂ１２を通る直線ｚ４と、対象画像
１８のｙ方向の他方端部の辺との交点を、点ｍｂ１３と
する。

【００９０】この状態から、中心点ｍｂｋ，ｍｂ（ｋ＋
１）をそれぞれ通りｘ座標軸に平行な１対の線分と、中
心点ｍｂｋ，ｍｂ（ｋ＋１）を両端とする線分とによっ
て区分された台形の領域単位で、対象画像１８の各画素
の代表点の位置座標を幾何学的変換する。

【００９１】以下に、台形領域６３を例として、上述の
幾何学的変換手法を模式的に説明する。この幾何学的変
換手法では、台形領域６３が矩形領域６４と一致するよ
うに変形し、その変形に準じて、各代表点の位置座標を
変換する。

【００９２】台形領域６３は、中心点ｍｂ１，ｍｂ２を
頂点に含み、点ｍｂ１，ｍｃ１を通る辺、および点ｍａ
２，ｍｃ２を通る辺が平行である。以後、或る２点を端
部とする線分および辺または通る線分および辺を、その
２点を表す参照符号を連続して付して示す。また矩形領
域６４は、中心点ｍａ１，ｍａ２を頂点とし、交点ｍｄ
１，ｍｄ２を通る辺を有する。交点ｍｃ１，ｍｃ２；ｍ
ｄ１，ｍｄ２は、中心点ｍｂ１，ｍｂ２；ｍａ１，ｍａ
２をそれぞれ通りｘ座標軸に平行な直線と、対象画像１
８のｘ方向の一方端部の辺との交点である。台形領域６
３および矩形領域６４を、図１４では、右下がりおよび
右上がりの斜線を付して示す。

【００９３】まず、図１４から、台形領域６３のｙ方向
の幅Ｗ１１は、矩形領域６４のｙ方向の幅Ｗ１２よりも
広いことがわかる。ゆえに、台形領域６３は、ｙ方向に
関し、ｘ方向に沿って一律の変換率で圧縮変形される。
この変換率は、以下の式で表される。

【００９４】 （ｙ方向の変換率）＝ Ｗ１２／Ｗ１１ …（３） これによって、台形領域６３の辺ｍｂ１ｍｃ１，ｍｂ２
ｍｃ２が、矩形領域６４の辺ｍａ１ｍｄ１，ｍａ２ｍｄ
２と一致するように平行移動される。

【００９５】また、図１４から、台形領域６３の辺ｍｂ
１ｍｂ２と矩形領域６４の辺ｍａ１ｍａ２とは、辺の長
さおよびｙ座標軸に対する角度が共に異なることが分か
る。ゆえに、台形領域６３は、ｘ方向に関し、ｙ座標軸
に平行な基準軸線ｈを基準として、ｙ方向に沿って連続
的に変化する変換率で拡大変形される。たとえば、中心
点ｍａ１，ｍａ２の間を通りｘ座標軸と平行な仮想線６
５上のｘ方向の変換率は、以下の式で表される。

【００９６】 （ｘ方向の変換率）＝ Ｗ１３／Ｗ１４ …（４） Ｗ１３は、基準軸線ｈと中心点ｍｂ１，ｍｂ２を両端と
する線分との距離である。Ｗ１４は、仮想線６５上で
の、基準軸線ｈと直線ｚ３との距離である。このよう
に、ｘ方向の領域の拡大率または縮小率は、中心点ｍａ
１，ｍａ２間の間隔よりも短い予め定める間隔で設定さ
れる仮想線毎に定められる。これによって、台形領域６
３の辺ｍｂ１ｍｂ２，ｍｃ１ｍｃ２が、矩形領域６４の
辺ｍａ１ｍａ２，ｍｄ１ｍｄ２と一致するように、回転
されかつ移動される。

【００９７】このように台形的に台形領域６３を変形す
ると、変換後の台形領域６３の辺ｍｂ１ｍｂ２，ｍｂ１
ｍｃ１，ｍｂ２ｍｃ２が矩形領域６４の辺ｍａ１ｍａ
２，ｍａ１ｍｄ１，ｍａ２ｍｄ２と一致する。また、図
１４で台形領域６３の右辺が２点鎖線で示すようにふく
らむ。台形領域６３内の各画素の代表点の座標は、ｘお
よびｙ方向に隣接する２つの代表点間の間隔が、上述の
ｘおよびｙ方向の変換率で縮小または拡大されるように
変換される。したがって、各代表点のｘおよび方向の位
置が、間隔の変換分だけ順次的に移動される。

【００９８】以後、他の中心点ｍｂを頂点とする台形領
域を、上述の台形領域６３の幾何学的変形手法と同様の
手法によって、順次的に変形する。具体的には、上述の
中心点ｍｂｋが中心点ｍａｋと一致するように、各台形
領域が幾何学的変形される。また、点ｍｂ０，ｍｂ１を
頂点に含む台形領域、および点ｍｂ１２，ｍｂ１３を頂
点に含む台形領域は、点ｍｂ０，ｍｂ１３に対応する点
を定めることができないので、上述の手法ではｙ方向の
変換率が定められない。ゆえに、点ｍｂ０，ｍｂ１を頂
点に含む矩形領域、および点ｍｂ１２，ｍｂ１３を頂点
に含む台形領域のｙ方向の変換率は、上述の台形領域６
３、および点ｍｂ１１，ｍｂ１２を頂点に含む台形領域
のｙ方向の変換率と等しいと見なして、変換処理を行
う。

【００９９】上述の基準軸線ｈは、対象画像１８内で、
中心点ｍｂよりも重複領域２２から遠ざかる方向の領域
であれば、どこに設定されても良い。この基準軸線ｈ
は、たとえば対象画像１８の重複領域２３側の一方端部
の辺と一致する。また、対象画像１８のｘ方向の中心軸
線と一致する。さらに、対象画像１８，１９を合成処理
対象とするときの小ブロックマッチング処理の全ての参
照ブロックｂａの中心点を通る仮想直線と一致してもよ
い。

【０１００】基準軸線を参照ブロックｂａの中心点を通
る仮想直線と一致させるとき、画像の幾何学的変換処理
では、この基準軸線ｈと辺ｍａ１ｍａ２との距離に基づ
いて対象画像１８のｘ方向の拡大率を定めるので、基準
軸線ｈ上の画素は、幾何学的変換後も、同一の基準軸線
ｈ上に直線状に配列される。このことから、対象画像１
７，１８の画像合成を行った後に、合成後の画像と対象
画像１９とを画像合成するとき、後者の画像合成処理に
おける小ブロックマッチング処理の演算処理が容易にな
ることが分かる。

【０１０１】このような手法によって、対象画像１８の
各画素の代表点の位置座標を、対象画像１７に併せて変
換する。この変換後の対象画像１８と元の対象画像と
を、中心点ｍａ，ｍｂが一致するように重ね合わせた重
合画像を、合成画像の基礎とする。重合画像は、その生
成時に、対象画像１８のうち、該対象画像１８の中心点
ｍｂを通る仮想線よりも対象画像１７の中心に近い部
分、図１４では仮想線よりも左側の部分が裁落とされて
る。この仮想線は、画像変形前では図１４の太い実線で
表され、画像変形後では合成基準軸線Ｈと一致する。ま
たこの処理は、対象画像１８の対象画像信号で、該部分
を構成する画素の画素値を削除したことと等しい。ゆえ
に、重合画像では、対象画像１７の全ての中心点ｍａを
通る合成基準軸線Ｈから対象画像１８の中心側の端部だ
けが、対象画像１８の端部と重なる。重合画像のうち、
対象画像１７，１８が重なりある部分を、以後重複部分
と称する。

【０１０２】重合画像を構成する画素の代表点は、重合
画像に設定されるｘｙ直交座標系の格子点とはずれてい
ることが多い。合成画像は、この重合画像とｘｙ直交座
標系の座標軸が等しく、該座標系の格子点を代表点とす
る画素から構成された画像である。合成画像の画素の画
素値は、以下の決定手法に基づいて決定される。この画
素値の決定動作は、上述の画像の幾何学的変換動作と並
行して行われる。

【０１０３】まず、合成画像の全画素のうち、重複部分
以外の残余の画素の代表点の画素値は、該代表点の位置
座標と同じ位置座標の重合画像内の格子点における画素
値と等しいと見なされる。たとえば、該格子点に画素の
代表点が一致するとき、この代表点に対応する画素値が
そのまま用いられる。該格子点と重合画像の代表点とが
一致しないとき、該格子点の画素値は、重合画像内で該
格子点に近接する複数の画素の代表点の画素値から、い
わゆる線形補間法を用いて補間して決定される。線形補
間法では、格子点の周囲４箇所の画素の代表点の画素値
に、格子点と各代表点との距離に応じた係数を乗算した
値の平均値を、格子点の画素値とする。

【０１０４】また、重複部分の画素の代表点の画素値
は、該代表点の位置座標と同じ位置座標の重合画像内の
格子点に近接する重合画像の画素の代表点の画素値の加
重平均値から、上述の線形補間法を用いて決定される。
この加重平均値の係数値は、重合画像の画素が元々対象
画像１７，１８のどちらに属していたか、および該画素
の代表点と合成基準軸線Ｈとの距離に基づいて決定され
る。

【０１０５】図１５は、上述の画素値の加重平均値の係
数値と、重合画像のｘ座標値との関係を表すグラフであ
る。重合画像および合成画像のｘｙ直交座標系の原点
は、たとえば画像の右上の頂点、すなわち対象画像１７
の原点と一致し、対象画像１８に近付く程ｘ座標の値は
増加するものとする。この係数値は、重合画像のｘ座標
値に応じて、値０から値１までの間の値を取る。

【０１０６】対象画像１７に属する画素の係数値を折線
７１で示す。この係数値は、原点から合成基準軸線Ｈま
での間、値１を保つ。この間の部分は、重合画像のうち
対象画像１７に属する画素だけで構成される部分であ
り、合成基準軸線Ｈは、上述の部分と重合部分との境界
である。合成基準軸線からｘ座標値が増加する方向に離
れるほど係数値は小さくなり、合成基準軸線Ｈから予め
定める距離Ｗ１６だけ離れた点で係数値は値０になる。
さらに、ｘ座標値が増加しても、係数値は値０を保つ。
予め定める距離Ｗ１６は、重複部分のｘ方向の幅よりも
小さく設定され、たとえばｘ方向に重合画像の画素が１
５画素配列された長さと等しい。

【０１０７】対象画像１８に属する画素を折線７２で示
す。この係数値は、原点から合成基準軸線Ｈまでの間、
値０を保つ。合成基準軸線Ｈからｘ座標値が増加する方
向に離れるほど係数値は大きくなり、合成基準軸線Ｈか
ら予め定める距離Ｗ１６だけ離れた点で係数値は値１に
なる。さらに、ｘ座標値が増加しても、係数値は値１を
保つ。対象画像１７，１８の合成基準軸線Ｈ近傍の係数
値の変化率の絶対値は等しいので、合成基準軸線Ｈから
距離Ｗ１６の半分だけ離れた点に対する対象画像１７，
１８の画素値の係数値は等しい。

【０１０８】したがって、上述の重合部分の画素値の決
定動作では、重合部分の各画素の画素値に上述の加重平
均の係数値を乗算した値を用い、線形補間を行う。これ
によって、対象画像１７，１８の被写体の像全体の輝度
が異なるときでも、画像の重合部分で輝度変化が滑らか
になるように画像を合成することができる。

【０１０９】以上のような手法を用いて、対象画像１
７，１８を合成することができる。対象画像１７，１８
にさらに対象画像１９を合成するとき、上述の合成画像
と対象画像１９とを、上述の画像合成手法で合成して、
対象画像１７〜１９を合成した合成画像を得る。また、
対象画像１７〜１９の画像合成手法としては、対象画像
１７，１８；１８，１９に対する各マッチング処理をそ
れぞれ個別的に行い、その後に、対象画像１７〜１９の
画像変形処理を行ってもよい。この画像変形処理では、
対象画像１７，１８；１８，１９のいずれか一方の組合
わせを先に画像合成し、その合成画像に残りの対象画像
を合成する。残りの対象画像と合成画像とを合成すると
き、小ブロックマッチング処理の参照ブロックｂａの中
心点ｍａと最小探索ブロックｂｂａの中心点ｍｂとの位
置関係に、画像合成処理における参照ブロックｍａの位
置のずれをオフセットとして加味する。これによって、
上述の手法と同様の画像変形手法で、画像合成を行うこ
とができる。

【０１１０】このような画像合成動作によって、対象画
像よりも画素数の多い合成画像を得ることができる。こ
の合成画像は、画素の大きさを対象画像の画素と一致さ
せたとき、対象画像よりも広画角および広範囲の画像と
なる。また、画像の大きさを対象画像と一致させたと
き、対象画像よりも解像度の高い画像となる。

【０１１１】上述の画像合成装置では、白黒のグレース
ケール画像を対象画像としたが、対象画像には、カラー
画像を用いることもできる。このとき、画像合成手法の
画素値としては、たとえば各画素に対応する輝度信号の
値を算出して用いる。また、各画素に対して赤青緑の３
原色光の輝度を表す原色信号の値が個別に得られると
き、いずれか１つの原色信号の値だけを上述の画素値と
して、該原色信号に関してだけ上述の画像合成手法を行
う。残余の原色信号は、いずれか１つの原色信号の画像
合成処理の処理結果に基づいて変換する。このいずれか
１つの原色信号としては、輝度信号への寄与が最も大き
い緑の原色信号を用いることが好ましい。

【０１１２】また、本実施形態の画像合成装置では、対
象画像を３枚としたが、対象画像の数はこれに限らず、
さらに増加させても良い。また、対象画像の配列を一方
向だけとしたが、各対象画像が少なくとも１つの他の対
象画像と重なる重複領域を有するならば、直交する２方
向に行列状に配列されていても良い。さらに、対象画像
は、他の対象画像との重複領域を有すれば、上述の原画
像をそのまま用いても良い。この対象画像を得る１次元
画像合成装置は、上述のビデオカメラ２８に限らず、複
写機およびスキャナであってもよい。また、対象画像
は、画像信号として入力された画像を、パーソナルコン
ピュータで合成した画像であってもよい。

【０１１３】さらに、上述の画像合成処理の各手法は、
同様の結果を得ることができる手法であれば、上述の手
法に限らず他の手法を用いても良い。たとえば、各ブロ
ックマッチング処理のマッチング手法は、テンプレート
マッチング処理以外のマッチング処理であってもよい。
また参照ブロックおよび探索ブロックは、矩形ブロック
以外の形状であっても良い。

【０１１４】

【発明の効果】本発明に従えば、画像合成装置は、相互
に重複する複数の対象画像を合成して、単一の合成画像
を得る。この画像合成処理動作では、各対象画像内の被
写体の像の相互のずれを２段階のマッチング処理で検出
した後、各対象画像毎にずれを相殺させるように相対位
置の移動および画像の幾何学的変形を行って、各対象画
像を合成する。これによって、対象画像のずれが累積さ
れて、合成画像の被写体の像が歪むことを防止すること
ができる。また、マッチング処理は２段階に分けて行う
ので、マッチング処理の処理量を減少させることができ
る。

【０１１５】さらにまた本発明によれば、第１マッチン
グ手段では、まず、１回目のマッチング処理において、
１対の対象画像の重複領域内の中央付近で被写体の像の
相対位置のずれの状態を求めるためのマッチングを求め
る。次いで、１回目のマッチングの結果に基づいて２回
目のマッチング処理で２組の参照領域と探索領域とを設
定し、各組ごとに像内の詳細な対応点の検出のためのマ
ッチングを求める。これによって、１対の対象画像内の
被写体の像のずれの状態が不明であるときでも、２回目
のマッチング処理の参照領域と探索領域とを、該重複領
域内の被写体の像の平行なずれを検出するために最適な
位置に配置することができる。また、２組の領域を用い
ることによって、１対の対象画像の被写体の像の大きさ
および回転のずれも同時に検出することができる。さら
に、マッチング処理の参照領域の大きさを、１回目の領
域よりも２回目の領域の方が小さくなるように設定して
いるので、大まかな像のずれの検出と、像内の詳細な対
応点の検出とを、それぞれ最適な手法で実施することが
できる。

【０１１６】また本発明によれば、前述の画像合成装置
は、第２マッチング手段での処理の間に、マッチング対
象の各隣接する組合わせの対象画像毎に、画素の代表点
の回転変換を行う。これによって、対象画像の重複領域
およびその近傍の部分を合成後の画像で被写体の像が自
然につながるように合成することができる。

【０１１７】さらにまた本発明によれば、第２マッチン
グ手段は、予め定める指標を用い、被写体の像が比較対
象の適格性を有する探索領域で得られるマッチングだけ
を、幾何学的変換の変換量を求めるために用いる。また
本発明によれば、この指標は、参照および探索範囲の画
素値の総和値の差分値、探索領域内の画素値の最大値と
最小値の差分値、および被写体の像の周期性の有無で表
される。これによって、誤ったマッチングを用いて合成
処理を行い、被写体の像の歪みを増大させることを防止
することができる。したがって、合成画像の画質を向上
させることができる。

【０１１８】さらにまた本発明は、画像合成時に、変換
基準軸線を基準として、各対象画像を部分的に台形状に
幾何学的変換する。これによって、特に３枚以上の対象
画像を合成するとき、各対象画像の被写体の像のずれが
蓄積されることを防止することができる、したがって、
合成画像の画質を向上させることができる。

【０１１９】また本発明は、変換基準軸線上に第２マッ
チング処理の参照領域を設定するので、特に３枚以上の
対象画像を合成するとき、合成処理の演算処理量を減少
させることができる。したがって、画像合成手段の負担
を減少させることができる。

【０１２０】さらにまた本発明は、合成画像のうちの対
象画像の重複領域に当たる部分の画素の画素値を、１対
の対象画像の各重複領域内の画素を加重平均して得る。
これによって、複数の対象画像それぞれの輝度が異なる
ときでも、合成画像のつなぎ目を滑らかにすることがで
きる。これによって、合成画像の画質を向上させること
ができる。

【図面の簡単な説明】

【図１】本発明の実施の一形態である画像合成装置１の
電気的構成を示すブロック図である。

【図２】被写体１１と撮像領域１３〜１５の関係を示す
模式図である。

【図３】対象画像１７〜１９を表す模式図である。

【図４】１次元画像合成装置３のビデオカメラ２８の移
動手法を説明するための模式図である。

【図５】ビデオカメラ２８で得られる原画像３７〜４０
を表す図、および原画像３７〜４０の合成手法を説明す
るための模式図である。

【図６】１次元画像合成装置３のハンドスキャナ４８の
移動手法を説明するための模式図である。

【図７】画像合成装置１を用いた画像合成手法を説明す
るためのフローチャートである。

【図８】中央ブロックマッチング処理における参照ブロ
ックＫ、探索領域５５、および探索ブロックＬの関係を
表す模式図である。

【図９】１対の対象画像１７，１８について、中央ブロ
ックマッチング処理の参照ブロックＫおよび最小探索ブ
ロックＬａを一致させた状態を表す模式図である。

【図１０】大ブロックマッチング処理における参照ブロ
ックｆ１，ｆ２、探索領域５８，５９、および最小探索
ブロックｇ１ａ，ｇ２ａの関係を表す模式図である。

【図１１】小ブロックマッチング処理手法を説明するた
めのフローチャートである。

【図１２】小ブロックマッチング処理における参照ブロ
ックｂａ１〜ｂａ１２、探索領域６１、および探索ブロ
ックｂｂ１〜ｂｂ１２の関係を表す模式図である。

【図１３】小ブロックマッチング処理における参照ブロ
ックｂａ１〜ｂａ１２、および最小探索ブロックｂｂａ
１〜ｂｂａ１２の関係を表す模式図である。

【図１４】画像の変形処理を説明するための対象画像１
７，１８の模式図である。

【図１５】画像の合成処理における画素値の加重平均の
係数値と、画素の空間位置との関係を表すグラフであ
る。

【符号の説明】

１ 画像合成装置 ３ １次元画像合成装置 ４ メモリ ５ 中央処理装置 ６ 出力装置 １１ 被写体 １７，１８，１９ 対象画像 ２１，２２，２３，２４ 重複領域 ２８ ビデオカメラ ３７，３８，３９，４０ 原画像 ４１，４２，４３，４４ 被写体の像 ５５，５８，５９，６１ 探索領域 Ｋ，ｆ１，ｆ２，ｂａ１〜ｂａ１２ 参照ブロック Ｌａ、ｇ１ａ，ｇ２ａ，ｂｂａ１〜ｂｂａ１２ 最小探
索ブロック ｈ 基準軸線

───────────────────────────────────────────────────── フロントページの続き (72)発明者 赤木 宏之 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 北村 義弘 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内

Claims (11)

【特許請求の範囲】
1. 【請求項１】 合成対象となる被写体の異なる部分から
   の対象画像を表す対象画像信号を、隣接する対象画像間
   に重複領域を含むようにして複数生成する対象画像生成
   手段と、 対象画像生成手段によって生成される対象画像信号のう
   ち、隣接する対象画像の組合わせ毎に、重複領域間で被
   写体の像のマッチングを求め、マッチングに基づいて重
   複領域間の相対位置のずれを検出する第１マッチング手
   段と、 第１マッチング手段によって相対位置のずれの検出が行
   われる対象画像の一方の重複領域内に、予め定める大き
   さを有する参照領域を複数設定し、対象画像の他方内
   に、検出される相対位置のずれに基づいて、参照領域よ
   りも大きい探索領域を各参照領域毎に設定し、各参照領
   域内と該参照領域に対応する探索領域内との間で被写体
   の像のマッチングを求め、マッチングに基づいて各被写
   体の像間の相対位置のずれを検出する第２マッチング手
   段と、 第２マッチング手段によって検出される相対位置のずれ
   を打消すように各対象画像を部分的に変形しながら、隣
   接する対象画像の組合わせ毎に参照領域と該参照領域に
   対応する探索領域とを重畳させるように、全ての対象画
   像信号を合成し、被写体に対する単一の合成画像を表す
   合成画像信号を生成する画像合成手段とを含むことを特
   徴とする画像合成装置。
2. 【請求項２】 前記第１マッチング手段は、 まず、前記各隣接する対象画像の組合わせのいずれか一
   方の重複領域内の予め定める位置に、予め定める大きさ
   の第１参照領域を設定し、いずれか他方の対象画像の重
   複領域内と該第１参照領域内との間で被写体の像とのマ
   ッチングを求め、求めたマッチングに基づいて、各被写
   体の像の相対位置のずれを検出し、 次いで、いずれか一方の重複領域内に、第１参照領域よ
   りも小さい第２参照領域を、検出されたずれの方向と平
   行に少なくとも２つ設定し、いずれか他方の対象領域の
   重複領域内に、検出される相対位置のずれに基づいて、
   重複領域の大きさよりも小さい第２探索領域を、各第２
   参照領域毎に設定し、 各第２探索領域内と、該第２探索領域に対応する第２参
   照領域内との間で、被写体の像とのマッチングを求め、
   求めたマッチングに基づいて、前記重複領域間の相対位
   置のずれを検出することを特徴とする請求項１記載の画
   像合成装置。
3. 【請求項３】 前記画像合成装置は、前記各隣接する対
   象画像の組合わせ毎に、前記第１マッチング手段で検出
   された重複領域間の相対位置のずれに基づいて、隣接す
   る対象画像間の相対回転角度を求め、求めた相対回転角
   度を打消す方向に各対象画像を相対的に角変位させるよ
   うに、対象画像信号を回転変換する回転変換手段をさら
   に含み、前記第２マッチング手段は、回転変換手段によ
   って相対位置が回転変換された対象画像の組合わせに対
   して、前記探索領域のマッチングを求めることを特徴と
   する請求項１記載の画像合成装置。
4. 【請求項４】 前記第２マッチング手段は、複数の前記
   探索領域毎に求められるマッチングのうち、被写体の像
   が予め定める比較対象の適格性を持つ探索領域に対する
   マッチングだけを前記画像合成手段に与えることを特徴
   とする請求項１記載の画像合成装置。
5. 【請求項５】 前記各対象画像は、複数の画素からそれ
   ぞれ構成され、 前記参照領域の大きさは、単一の画素の大きさ以上であ
   り、 各探索領域に対する前記マッチングは、各探索領域内
   で、大きさおよび形状が前記参照領域と等しい探索範囲
   であって、かつ該探索範囲内の全画素の輝度を表す画素
   値の総和値が参照領域の画素値の総和値に最も近い探索
   範囲の位置で表され、前記比較対象の適格性は、マッチ
   ングの探索範囲の画素値の総和値と、前記参照領域の画
   素値の総和値との差分値が、予め定める基準値未満であ
   ることを特徴とする請求項４記載の画像合成装置。
6. 【請求項６】 前記各対象画像は、複数の画素からそれ
   ぞれ構成され、 前記参照領域の大きさは、単一の画素の大きさ以上であ
   り、 各探索領域に対する前記マッチングは、各探索領域内
   で、大きさおよび形状が前記参照領域と等しい探索範囲
   であって、かつ該探索範囲内の全画素の輝度を表す画素
   値の総和値が、参照領域の画素値の総和値に最も近い探
   索範囲の位置で表され、前記比較対象の適格性は、マッ
   チングの探索範囲内の画素値のうちの最大値と最小値と
   の差分値が、予め定める基準値以上であることを特徴と
   する請求項４記載の画像合成装置。
7. 【請求項７】 前記比較対象の適格性は、前記探索領域
   内の被写体の像が、同一の輝度変化で同一の形状の部分
   が周期的に複数回繰返さないことを特徴とする請求項４
   記載の画像合成装置。
8. 【請求項８】 前記対象画像は、複数の画素が予め定め
   る一方および他方方向に沿って行列状に配列されて形成
   され、 前記幾何学的変換は、各対象画像毎に、重複領域内で一
   方方向に略平行な予め定める変換基準軸線と各画素との
   距離を拡大または縮小し、さらに他方方向に沿って直線
   状に並べられる複数の画素から成る画素群の相互の間隔
   を拡大または縮小して、画素配列を変換することを特徴
   とする請求項１記載の画像合成装置。
9. 【請求項９】 前記変換基準軸線は、前記第２マッチン
   グ手段の各参照領域の中心を通過することを特徴とする
   請求項８記載の画像合成装置。
10. 【請求項１０】 前記対象画像および合成画像は、複数
    の画素からそれぞれ形成され、 合成画像の全画素のうち、対象画像の前記重複領域に対
    応する部分の各画素の輝度を表す画素値は、該画素に対
    応する対象画像の２つの重複領域の各画素の画素値に、
    重複領域の予め定める合成基準軸線からの距離に対応し
    て定める重みを付けて加重平均した値であることを特徴
    とする請求項１記載の撮像装置。
11. 【請求項１１】 合成対象となる被写体の異なる部分か
    らの対象画像を、隣接する対象画像間に重複領域を含む
    ようにして複数生成し、 生成される対象画像のうち、隣接する対象画像の組合わ
    せ毎に、重複領域間で被写体の像のマッチングを求め、
    マッチングに基づいて重複領域間の相対位置のずれを検
    出し、 重複領域間の相対位置のずれの検出が行われる対象画像
    の一方の重複領域内に、予め定める大きさを有する参照
    領域を複数設定し、対象画像の他方内に、検出される相
    対位置のずれに基づいて、参照領域よりも大きい探索領
    域を各参照領域毎に設定し、各参照領域内と対応する探
    索領域内との間で被写体の像のマッチングを求め、マッ
    チングに基づいて各被写体の像間の相対位置のずれを検
    出し、 検出される各被写体の像間の相対位置のずれを打消すよ
    うに、各対象画像を部分的に変形しながら、隣接する対
    象画像を合成し、被写体に対する単一の合成画像を生成
    することを特徴とする画像合成方法。