JP3851384B2 - 画像合成装置および方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像素子を用いた１回の撮像動作だけで得られる画像よりも画素数が多く、高解像度、または広画角および広範囲の画像を得るための画像合成装置および方法に関する。
【０００２】
【従来の技術】
近年、いわゆるスキャナとして用いられる画像合成装置には、たとえばＣＣＤラインセンサであるような、受光領域が直線状に配列された１次元の撮像素子が用いられる。この画像合成装置で出力画像を得るとき、まず、被写体に対して、２次元平面上で、受光領域の配列方向と直交する方向に撮像素子を移動させつつ、被写体からの画像光を複数の異なる位置で撮像する。次いで、２次元平面上に、各撮像動作で得られた画像を、各撮像動作時の撮像素子の位置と同じ位置関係を保って並ぶように合成して、出力画像を得る。
【０００３】
また、本件出願人は、特開平５−２６０２６４号公開公報において、受光領域が行列状に配列された２次元の撮像素子を用いて、撮像素子の受光領域数よりも多い数の画素から成る出力画像を得る技術を提案している。本公報の画像処理装置では、いわゆるＣＣＤカメラである画像入力手段を、装置のオペレータが水平移動させつつ画像光を撮像して、複数の画像を得る。処理回路は、新たな画像が得られるたびに、まず新たな画像と合成画像とをマッチングして、これら画像の差異を求める。次いで、求めた差異に基づいて新たな画像を変形し、最後に、変形後の画像と合成画像とを合成することによって、新たな合成画像を得る。
【０００４】
上述の２つの装置で得られる画像は、撮像素子から直接得られる画像と比較して、撮像素子の移動方向に沿った方向に並ぶ画素数は増加するが、移動方向と直交する方向の画素数は変わらない。画像の該直交する方向の画素数を増加させる手法として、複数の上述の出力画像を、上述の直交する方向に沿って並べて、さらに合成する手法がある。
【０００５】
特開昭６３−６４１８０号公開公報には、上述の手法のイメージ画像合成方式が開示される。この画像合成方式の装置では、１次元の撮像素子を備え手動で移動可能なハンドスキャナを用いる。本方式では、まず、入力対象の原画像を、ハンドスキャナを用いた１回の走査で読取り可能な大きさの領域に分け、ハンドスキャナを原画像の表面に接触させたまま、前記領域の中心軸線に沿って移動させつつ撮像し、各領域の画像を得る。各領域の画像は、上述した１次元の撮像素子を用いた装置の出力画像と等価であり、また原画像の同一の部分を読取った重複領域をそれぞれ有する。次いで、各領域の画像の重複領域をマッチングして、画像内の被写体の像が一致する領域を求める。最後に、これらの像が重なるように各画像を平行移動させた後に重ね合わせて、イメージ画像の合成画像を得る。
【０００６】
【発明が解決するべき課題】
上述のイメージ画像合成方式では、撮像素子を含むハンドスキャナを装置の操作者が手動で移動させているので、移動時に、ハンドスキャナに操作者の手の振れが加わることがある。また、同じ理由から、ハンドスキャナ内の撮像素子と入力対象の原画像の前記領域の中心軸線との相対位置が傾くことがある。さらに、ハンドスキャナには、原画像の表面上をハンドスキャナが滑らかに移動するために、原画像と接触する部分に１対のローラが備えられるが、このローラの滑りが１対のローラのうちの一方および他方で異なるとき、ハンドスキャナの移動速度が、一方のローラ近傍の部分と他方のローラ近傍の部分とで異なることがある。
【０００７】
これらのことが起こると、得られる画像内で、たとえば被写体の像のずれおよび像の部分的な圧縮であるような、像の歪みが生じる。このような歪みが生じた画像は、画像を水平移動させただけでは、複数の画像の被写体の像が滑らかにつながらないので、合成後の画像の被写体の像に歪みが生じる。
【０００８】
また、上述の特開平５−２６０２６４号公開公報の画像処理装置では、画像入力手段は、被写体から予め定める距離だけ離反した位置から被写体の画像光を撮像する。この画像入力手段は、装置のオペレータの手だけに支持されて中空に保持されるので、被写体との相対位置がずれやすい。このように相対位置がずれると、得られた合成対象の画像の被写体の像に、たとえば像のずれ、傾き、および倍率変化であるような、像の歪みが生じる。該装置は、画像合成時に被写体の像の歪みを補正しながら画像を合成するが、たとえばマッチングの誤差および補正誤差によって、像の歪みを全て補正することができずに歪みが残ることがある。
【０００９】
本発明の目的は、受光領域の数の少ない撮像素子を用いて、被写体の像の歪みが小さく、高解像度の画像、または広画角および広範囲の画像を得ることができる画像合成装置および方法を提供することである。
【００１０】
【課題を解決するための手段】
本発明は、合成対象となる被写体の異なる部分からの対象画像を表す対象画像信号を、隣接する対象画像間に重複領域を含むようにして複数生成する対象画像生成手段と、
対象画像生成手段によって生成される対象画像信号のうち、隣接する対象画像の組合わせ毎に、重複領域間で被写体の像のマッチングを求め、マッチングに基づいて重複領域間の相対位置のずれを検出する第１マッチング手段と、
第１マッチング手段によって相対位置のずれの検出が行われる対象画像の一方の重複領域内に、予め定める大きさを有する参照領域を複数設定し、対象画像の他方内に、検出される相対位置のずれに基づいて、参照領域よりも大きい探索領域を各参照領域毎に設定し、各参照領域内と該参照領域に対応する探索領域内との間で被写体の像のマッチングを求め、マッチングに基づいて各被写体の像間の相対位置のずれを各探索領域毎に検出する第２マッチング手段と、
第２マッチング手段によって検出される各相対位置のずれをそれぞれ打消すように各対象画像を部分的に拡大縮小変換しながら、隣接する対象画像の組合わせ毎に参照領域と該参照領域に対応する探索領域とを重畳させるように、全ての対象画像信号を合成し、被写体に対する単一の合成画像を表す合成画像信号を生成する画像合成手段とを含むことを特徴とする画像合成装置である。
【００１１】
本発明に従えば、画像合成装置は、複数の対象画像を、その重複領域の被写体の像が一致するように合成して、単一の合成画像を得る。合成対象の対象画像は、たとえばビデオカメラであるような撮像装置で撮像された原画像である。
この撮像装置は、たとえば該撮像装置の１回の撮像動作で撮像可能な有限領域を水平および垂直移動させながら、同一被写体の各有限領域からの画像光を撮像して、対象画像となるべき原画像を得る。このとき、得られた原画像内における被写体の或る部分の像の位置が異なると、同一被写体を撮像しているにも拘わらず、たとえば撮像装置の光学系のレンズの歪みによって、被写体の像の形状に差異が生じることがある。また、たとえば撮像装置を画像合成装置の使用者が手で保持して移動させるとき、被写体と撮像装置との相対距離が各撮像時に変化することによって、原画像の被写体の像の大きさに差異が生じることがある。さらに、対象画像が上述の原画像を複数合成した合成画像であるとき、各原画像の被写体の像の差異が累積されて、上述の差異が大きくなることがある。
この画像合成装置の画像合成手法では、まず、各対象画像の重複領域の被写体の像のずれを表す指標となるマッチングを求める。このマッチングは、たとえば隣接する対象画像の組合わせ毎に、重複領域内の被写体の像の位置のずれ、および被写体の像の形状の変形の度合を表す。次いで、求められたマッチングから、被写体の像の相対位置のずれを検出する。最後に、検出されたずれおよび変形を補正するために、各重複領域の各参照領域とそれに対応する探索領域とを一致させるように重畳させ、かつ各対象画像を部分的に拡大縮小変換させながら、全ての対象画像を合成する。
これによって、上述の差異を補正して、対象画像よりも広画角および広範囲の合成画像、または高解像度の合成画像を得ることができる。また、ずれの相殺手法として、隣接する組合わせの対象画像の相対的な平行移動だけでなく、画像の部分的な拡大縮小変換も行うので、たとえば対象画像の生成時における部分的な撮像装置の倍率変化も補正することができる。
また、被写体のずれを検出するマッチング処理は２段階に分けて行う。具体的には、第１マッチング手段における１回目のマッチング処理では、重複領域の平行移動量を定めるための被写体のずれを大まかに検出する。第２マッチング手段における２回目のマッチング処理では、画像の変形の変形量を定める為の被写体のずれ量を１回目よりも詳細に検出する。ゆえに、第１マッチング手段のマッチング処理は、たとえば第２マッチング手段と同様の手法であって、かつ参照領域を第２マッチング手段の参照領域よりも大きく設定することができる。これによって、第１マッチング手段の処理量を減少させることができる。
さらに、第２マッチング手段のマッチング処理動作では、探索対象となる探索領域の位置を、第１マッチング手段の検出結果に基づき、たとえば対象画像内で最良のマッチングが得られる位置をおおよそ予測して、その位置を含むように設定する。したがって、対象画像内に目安なく機械的に探索領域を設定するときと比較して、該探索領域の大きさを小さくしても、探索すべき被写体の像のある位置と探索領域の位置とを一致させやすい。したがって、探索領域を小さくして、第２マッチング手段の処理量を減少させることができる。
【００１２】
また本発明は、前記第１マッチング手段は、
まず、前記各隣接する対象画像の組合わせのいずれか一方の重複領域内の予め定める位置に、予め定める大きさの第１参照領域を設定し、いずれか他方の対象画像の重複領域内と該第１参照領域内との間で被写体の像とのマッチングを求め、求めたマッチングに基づいて、各被写体の像の相対的な平行ずれを検出し、
次いで、いずれか一方の重複領域内に、第１参照領域よりも小さい第２参照領域を、検出された相対的な平行ずれの方向と平行に少なくとも２つ設定し、いずれか他方の対象領域の重複領域内に、検出される相対的な平行ずれに基づいてこの平行ずれの方向に相対的に平行移動した位置に、重複領域の大きさよりも小さい第２探索領域を、各第２参照領域毎に設定し、
各第２探索領域内と、該第２探索領域に対応する第２参照領域内との間で、被写体の像とのマッチングを求め、求めたマッチングに基づいて、前記重複領域間の相対的な回転ずれを検出することを特徴とする。
本発明に従えば、上述の第１マッチング手段におけるマッチング処理は、２段階に分けて行われる。或る被写体に対する複数の対象画像は、上述した対象画像生成手段で生成されるが、平行に配列されるべき隣接する１対の対象画像内の被写体の像の相対位置がどのようにずれているかを、画像撮像時に判断することは困難である。たとえば、重複領域内の被写体の像が一致するように重ねられて左右に並べられた１対の対象画像のうち、右側の対象画像の上辺が左側の対象画像の上辺よりも相対的に突出しているか、または左側の対象画像の上辺が右側の対象画像の上辺よりも相対的に突出しているかを、画像撮像時に判断することは困難である。このずれが不明であると、重複領域間の相対位置のずれを検出するための参照領域および探索領域を設定すべき該重複領域内の最適な位置を定めることが困難になる。
本発明の第１マッチング手段では、まず、第１参照領域を用いて、１対の対象画像間での被写体の像の相対的な平行ずれを検出し、検出された相対的な平行ずれに基づいて、第２参照領域と第２検索領域との配置可能な場所を定める。次いで、第２参照領域と第２検索領域とを上述の配置可能な場所に設定して、重複領域間の被写体の像の相対的な回転ずれを求める。このようにマッチング処理を２段階に分けて行うことによって、１対の対象画像のずれの状態が不明な場合にも、２回目のマッチング処理の第２参照領域と第２探索領域とを、重複領域間の相対的な回転ずれを検出するために最適な位置に定めることができる。
また、１回目のマッチング処理で、重複領域間の相対的な平行ずれが大まかに検出されるので、２回目のマッチング処理の探索領域は、重複領域よりも小さくすることができる。さらに、２回目のマッチング処理では、重複領域内の２箇所でマッチングを求めるので、被写体の像の相対的な平行ずれだけでなく、相対的な回転のずれを検出することができる。
また、マッチング処理では、参照領域を小さくするほどマッチングの精度を向上させることができるが、探索すべき領域内で参照領域内の被写体の像と対応していない点を誤って一致した点とみなす誤りが生じる可能性が高くなる。ゆえに、１回目のマッチング処理の第１参照領域よりも２回目のマッチング処理の第２参照領域を大きくすることによって、上述した誤りが生じることを防止することができる。
【００１３】
また本発明は、前記画像合成装置は、前記各隣接する対象画像の組合わせ毎に、前記第１マッチング手段で検出された重複領域間の相対位置のずれに基づいて、隣接する対象画像間の相対回転角度を求め、求めた相対回転角度を打消す方向に各対象画像を相対的に角変位させるように、対象画像信号を回転変換する回転変換手段をさらに含み、
前記第２マッチング手段は、回転変換手段によって相対位置が回転変換された対象画像の組合わせに対して、前記探索領域のマッチングを求めることを特徴とする。
本発明に従えば、前記画像合成装置は、第１マッチング手段におけるマッチング処理の後、前記１対の対象画像毎に、その相対位置のずれのうち、相対回転角度が表す回転移動のずれだけを回転変換によって先に補正し、補正後の対象画像に対して第２マッチング手段におけるマッチング処理を施す。このような回転補正を行った対象画像を合成することによって、合成後の画像内で像の回転移動に基づく、ずれおよび歪みが生じることを防止し、滑らかに像をつなげることができる。
また、第２マッチング手段におけるマッチング処理では、基本的に、重複領域内の複数の位置における被写体の像のずれの平行移動量だけを検出すれば良い。この平行移動量は、第１マッチング手段で一度検出されているので、第２マッチング手段のマッチング処理の探索領域をさらに小さくして、マッチング処理の処理量を減少させることができる。また、回転変換後に回転移動のずれが残るときでも、そのずれは微小であるので、探索領域を小さくしても検出することができる。
【００１４】
また本発明は、前記第２マッチング手段は、複数の前記探索領域毎に求められるマッチングのうち、被写体の像が予め定める比較対象の適格性を持つ探索領域に対するマッチングだけを前記画像合成手段に与えることを特徴とする。
本発明に従えば、上述の画像合成手法では、第２マッチング手段で得られる複数のマッチングのうち、たとえば信頼性が高いマッチングだけを、画像合成手段における画像変形処理に用いる。信頼性が高いマッチングが得られるのは、たとえば、設定される各探索領域内の被写体の像が、予め定める比較対象の適格性を持つときである。この比較対象の適格性の指標は、たとえばマッチング処理の処理手法に関連し、定量的に検出可能な指標が選ばれることが好ましい。これによって、たとえば誤ったマッチングを用いて合成処理を行い、合成画像の被写体の像の歪みを増大させることを防止することができる。
【００１５】
また本発明は、前記各対象画像は、複数の画素からそれぞれ構成され、
前記参照領域の大きさは、単一の画素の大きさ以上であり、
各探索領域に対する前記マッチングは、各探索領域内で、大きさおよび形状が前記参照領域と等しい探索範囲であって、かつ該探索範囲内の全画素の輝度を表す画素値の総和値が参照領域の画素値の総和値に最も近い探索範囲の位置で表され、
前記比較対象の適格性は、マッチングの探索範囲の画素値の総和値と、前記参照領域の画素値の総和値との差分値が、予め定める基準値未満であることを特徴とする。
本発明に従えば、第２マッチング手段では、いわゆるテンプレートマッチングと称される処理手法でマッチングを求める。このとき、前述の比較対象の適格性は、上述の探索範囲の全画素の画素値の総和値と、参照領域の画素値の総和値との差分値を指標とする。この差分値が予め定める基準値以上のとき、マッチングとして得られる探索範囲内の被写体の像は、探索領域内において、参照領域内の被写体の像と最も類似しているが、被写体内で参照領域の像とは異なる部分の像である可能性が高くなる。ゆえに、このような探索範囲の位置を表すマッチングを除去することが好ましい。
【００１６】
また本発明は、前記各対象画像は、複数の画素からそれぞれ構成され、
前記参照領域の大きさは、単一の画素の大きさ以上であり、
各探索領域に対する前記マッチングは、各探索領域内で、大きさおよび形状が前記参照領域と等しい探索範囲であって、かつ該探索範囲内の全画素の輝度を表す画素値の総和値が、参照領域の画素値の総和値に最も近い探索範囲の位置で表され、
前記比較対象の適格性は、マッチングの探索範囲内の画素値のうちの最大値と最小値との差分値が、予め定める基準値以上であることを特徴とする。
本発明に従えば、第２マッチング手段では、いわゆるテンプレートマッチングと称される処理手法で、マッチングを求める。このとき、前述の比較対象の適格性は、上述の探索領域の全画素の画素値のうち、最大値と最小値との差分値を指標とする。この差分値が予め定める基準値未満のとき、探索領域内の画像は、たとえば真っ白な像であるような、輝度変化の少ない像であると考えられる。このような探索領域内に位置を変えて探索範囲を複数設定しても、各探索範囲内の像がほとんど等しいので、正しいマッチングを得ることが困難になる。ゆえに、このような探索領域におけるマッチングは、除去することが好ましい。
【００１７】
また本発明は、前記比較対象の適格性は、前記探索領域内の被写体の像が、同一の輝度変化で同一の形状の部分が周期的に複数回繰返さないことを特徴とする。
本発明に従えば、前述の比較対象の適格性は、上述の周期性を有する被写体の像を除くように定められる。このような被写体の像としては、たとえば、直線、および或るパターンの像が複数並べられる模様が挙げられる。探索領域内の像がこのような周期性を有するとき、複数の探索範囲のうち複数の該範囲内の像が等しくなるので、このうちどの探索範囲が参照領域の被写体の像と同一の部分であるのかを判断することが困難になる。ゆえに、このような探索領域におけるマッチングは、除去することが好ましい。
【００１８】
また本発明は前記対象画像は、複数の画素が予め定める一方および他方方向に沿って行列状に配列されて形成され、
前記拡大縮小変換は、各対象画像毎に、重複領域内で一方方向に略平行な予め定める変換基準軸線と各画素との距離を拡大または縮小し、さらに他方方向に沿って直線状に並べられる複数の画素から成る画素群の相互の間隔を拡大または縮小して、画素配列を変換することを特徴とする。
本発明に従えば、前述の画像合成手段の拡大縮小変換手法では、上述したように、変換基準軸線を固定して、矩形の像が台形の像に変形されるような台形変換を行う。たとえば、拡大縮小変換において、前述の被写体の像のずれに応じて上述の画素群を平行移動させるだけの手法を用いると、該ずれが蓄積されて、合成画像全体の被写体の像に歪みが生じることがある。この歪みは、特に３枚以上の対象画像を合成するときに現れる。上述の台形変換を行えば、該ずれは各対象画像内の画素群単位で相殺されるので、他の対象画像に影響を及ぼさない。したがって、上述の平行移動と類似の手法で、かつずれの蓄積を防止することができる。また、各画素群単位でずれを相殺するので、画素の行列状の配列のうち、行または列のいずれかに関し、各行または列の間隔、および単一行または列の画素間隔以外の配列関係を保持することができる。
【００１９】
また本発明は、前記変換基準軸線は、前記第２マッチング手段の各参照領域の中心を通過することを特徴とする。
本発明に従えば、少なくとも変換前に変換基準軸線上に配列された複数の画素は、一方方向に隣接する画素間の間隔は変化しても、変換後も変換基準軸線上に位置する。この変換軸線上に前述の第２マッチング手段の複数の参照領域を設定すると、３枚以上の対象画像を合成する場合であって、或る隣接する組合わせの対象画像の合成後、該合成結果の画像にさらに他の対象画像または合成結果の画像を合成するとき、参照領域の他方方向へのずれがないので、演算処理の処理量が減少する。したがって、合成処理の処理量が減少する。
【００２０】
また本発明は、前記対象画像および合成画像は、複数の画素からそれぞれ形成され、
合成画像の全画素のうち、対象画像の前記重複領域に対応する部分の各画素の輝度を表す画素値は、該画素に対応する対象画像の２つの重複領域の各画素の画素値に、重複領域の予め定める合成基準軸線からの距離に対応して定める重みを付けて加重平均した値であることを特徴とする。
本発明に従えば、前述の画像合成装置で得られる合成画像のうち、各対象画像の重複部分に対応する部分は、各隣接する組合わせの対象画像が重ねられて形成される。この部分の画素値は、重ねられた２つの重複領域の各画素の画素値を加重平均して得る。これによって、各一対の対象画像において、一方および他方の対象画像全体の輝度が異なるときでも、一方の画像から他方の画像にわたって、被写体の像の輝度を滑らかに変化させることができる。したがって、輝度の違いが目立たなくなる。
【００２１】
また本発明は、合成対象となる被写体の異なる部分からの対象画像を、隣接する対象画像間に重複領域を含むようにして複数生成し、
生成される対象画像のうち、隣接する対象画像の組合わせ毎に、重複領域間で被写体の像のマッチングを求め、マッチングに基づいて重複領域間の相対位置のずれを検出し、
重複領域間の相対位置のずれの検出が行われる対象画像の一方の重複領域内に、予め定める大きさを有する参照領域を複数設定し、対象画像の他方内に、検出される相対位置のずれに基づいて、参照領域よりも大きい探索領域を各参照領域毎に設定し、各参照領域内と対応する探索領域内との間で被写体の像のマッチングを求め、マッチングに基づいて各被写体の像間の相対位置のずれを各探索領域毎に検出し、
検出される各被写体の像間の各相対位置のずれをそれぞれ打消すように、各対象画像を部分的に拡大縮小変換しながら、隣接する対象画像を合成し、被写体に対する単一の合成画像を生成することを特徴とする画像合成方法である。
本発明に従えば、画像合成手法は、上述のような画像合成装置によって、被写体のずれを２段階のマッチング処理で検出する。これによって、マッチング処理の処理量を減少させて、高解像度または広範囲および広画角の合成画像を得ることができる。
【００２２】
【発明の実施の形態】
図１は、本発明の実施の一形態である画像合成装置１の電気的構成を示すブロック図である。画像合成装置１は、一次元画像合成装置３、メモリ４、中央処理装置５、出力装置６を含んで構成される。これらの各構成部材３〜６は、バスライン７を介して相互に電気的に接続され、信号の授受が可能である。
【００２３】
１次元画像合成装置３は、後述するように、被写体を分割して撮像して、合成対象となる対象画像を表す対象画像信号を複数出力する。対象画像は、白色から黒色まで段階的に輝度が変化するような、いわゆるグレースケール画像である。複数の対象画像信号は、メモリ４にストアされる。中央処理装置５は、メモリ４にストアされた複数の対象画像信号を読出し、後述する合成手法で合成することによって、単一の合成画像を表す合成画像信号を生成する。この合成画像信号は、メモリ４にストアされると共に、陰極線管（ＣＲＴ）およびプリンタで実現される出力装置６に与えられる。出力装置６では、合成画像信号を合成画像として目視表示する。
【００２４】
図２は、被写体１１を示す模式図である。本実施形態では、被写体１１は平板状の部材であり、その表面を撮像するものとする。勿論被写体１１は、この形状のものに限らず、たとえばスチルカメラおよびビデオカメラのような撮像装置で撮像可能なものであれば、どのようなものであっても良い。一次元画像合成装置３は、この被写体１１の表面を、複数の撮像領域に仮想的に分割して、それぞれ撮像する。本実施形態では、被写体１１の表面を、並列に並べられた３つの矩形の撮像領域１３〜１５に分割している。このとき、各撮像領域１３〜１５は、それぞれ隣接する撮像領域と一部分が重複するように設定される。
【００２５】
図３は、撮像領域１３〜１５をそれぞれ撮像して得た対象画像１７〜１９を表す図である。対象画像１７〜１９は、それぞれ重複領域２１；２２，２３；２４を有する。対象画像１７の重複領域２１、および対象画像１８の重複領域２２には、被写体１１の部分２５の像が写っている。同様に、対象画像１８の重複領域２３、および対象画像１９の重複領域２４には、被写体１１の部分２６の像が写っている。部分２５，２６は、前述の撮像領域１３〜１５の重複部分であり、図２では斜線を付して示す。これら対象画像１７〜１８は、撮像時の視差が小さいことが好ましい。視差が小さい撮像手法としては、パンおよびチルトと称されるような、水平および垂直移動撮像が挙げられる。
【００２６】
図４は、１次元画像合成装置３の具体的な撮像動作を説明するための図である。１次元画像合成装置３は、たとえば、撮像装置として、いわゆるＣＣＤエリアセンサを備えたビデオカメラ２８を備える。ＣＣＤエリアセンサは、２次元平面である結像面に、受光領域が行列状に配列された２次元の撮像素子である。
【００２７】
ビデオカメラ２８の撮像動作の開始および終了は、たとえば画像合成装置１の操作者の指示によって定められる。操作者は、ビデオカメラ２８が被写体１１の撮像を開始すると、被写体１１の表面から予め定める距離だけ離れた位置で、撮像領域１３〜１５に併せてその撮像可能範囲２９が移動するように、ビデオカメラ２８を手で保持して移動させる。この移動動作は、具体的には、たとえば操作者がビデオカメラ２８のファインダ、または現在撮像される画像を目視表示する表示装置内の画像を目視して、撮像可能範囲２９が既に撮像が終了した領域の一部を含むように該範囲２９の移動方向および移動量を定め、定めた移動方向に移動量だけ該範囲２９が移動するようにビデオカメラ２８を動かす。このビデオカメラ２８の移動は、上述した条件を満たすならば、操作者が手動で行う以外にも、機械的な移動装置を用いて行っても良い。
【００２８】
これによって、たとえば図４を例とすると、撮像可能範囲２９は、その中心点３０が、まず撮像領域１３の長手方向の一方端部から他方端部まで、長手方向の中心軸線に沿って移動するように、矢符３２で示す方向に移動される。このとき、撮像領域１３〜１５の幅方向の幅は撮像可能範囲３０の長手方向の幅と等しく、撮像可能範囲３０は、その中心点３０を通る中心軸線が撮像領域１３〜１５の中心軸線と平行な状態を保つように移動される。
【００２９】
次いで、撮像可能範囲２９を撮像領域１４の長手方向の他方端部に至るように、撮像可能範囲２９を矢符３３が示す方向に横に移動される。続いて、撮像可能範囲２９の中心点３０が、撮像領域１４の長手方向の他方端部から一方端部まで、矢符３４で示す方向に、長手方向の中心軸線に沿って移動される。次いで、撮像領域１５の一方端部に撮像可能範囲２９が至るように、撮像可能範囲２９を矢符３３が示す方向に横に移動させ、移動後は撮像領域１３での撮像とほぼ同等に移動させる。これによって、撮像可能範囲２９は、その中心点３０が軌跡３５を描くように移動される。
【００３０】
ビデオカメラ２８は、操作者から撮像開始が指示されてから、たとえば、撮像可能範囲２９内の被写体からの画像光を撮像素子の結像面に結像するように集光して、結像面の各受光領域に受光させる。撮像素子は、予め定める露光時間が経過する毎に、各受光領域に、露光時間内の受光量に対応する電荷を、画素データとして出力させる。これによって、ビデオカメラ２８は、露光時間が経過するたびに、上述の画素データから構成される原画像信号を出力する。原画像信号は、撮像素子の結像面の受光領域の数と画素数が等しく、画素配列が受光領域の配列と相似である原画像を表す。この原画像は、ビデオカメラで得られる動画像のいわゆる１フレームの画像である。したがって、撮像可能範囲を２９を移動させている間、ビデオカメラ２８は、複数フレーム分の原画像信号を出力する。
【００３１】
たとえば、撮像領域１３に沿って撮像可能範囲２９を移動させるとき、４フレーム分の原画像信号が連続して得られたとする。図５（Ａ）は、これら原画像信号が表す原画像３７〜４０を、撮像順に並べて示す図である。原画像３７〜４０には、それぞれ同一の被写体を異なる位置から撮像した被写体の像４１〜４４が含まれる。これら像４１〜４４は、たとえば、撮像動作中に被写体が動くとき、ならびに撮像動作中にビデオカメラ２８の視差および光学系の倍率に変化が生じたとき以外の残余のときには、被写体の同一の部分を撮像した部分を重ね合わせると一致する。
【００３２】
ビデオカメラ２８は、上述の撮像動作で得られる各フレームの原画像の被写体の像の相関を検出して、検出された相関から、撮像可能範囲２９と被写体との相対位置の移動方向を検出する。この移動方向が切換わるとき、たとえば、矢符３２，３４の方向から、矢符３３の方向に切換わるとき、撮像領域１３，１４の撮像が終了して、次の撮像領域１４，１５にそれぞれ移動したと判断する。これによって、撮像領域１３〜１５を連続して撮像するときも、各撮像領域１３を撮像した原画像を自動的に選択することができる。
【００３３】
これら原画像３７〜４０内の被写体の像と原画像３７〜４０の枠線との相対位置は、矢符３２で表す撮像可能範囲２９の本来の移動方向だけでなく、矢符３３で表す方向およびその反対の方向にもずれる。これは、上述した手法でビデオカメラ２８を移動させるとき、ビデオカメラ２８は操作者の手だけに支持されるので、たとえば操作者の手のぶれによって、被写体１１との相対位置がずれることがあるからだと考えられる。
【００３４】
１次元合成画像装置３は、これら複数フレームの原画像信号を、原画像の被写体の像が一致するように重合わせるように合成して、前述の対象画像１７の対象画像信号を生成する。対象画像１８，１９の対象画像信号の生成手法も、対象画像１７と等しい。
【００３５】
具体的には、まず、原画像３７，３８；３８，３９；３９，４０間で、それぞれ被写体の像をマッチング処理して、被写体の像の相対的な移動距離および移動方向を求める。この移動距離および移動方向は、ビデオカメラ２８の撮像可能範囲２９の相対的な移動距離および移動方向と一致する。
【００３６】
次いで、１次元画像合成装置３は、原画像３７〜４０を、求めた移動距離だけ、移動方向と逆向きに相対的に移動させて重合わせる。図５（Ｂ）は、原画像３７〜４０を上述の手法で重合わせた状態を示す模式図である。上述の矢符３３の方向のずれのために、重ねられた状態の画像４５は、矢符３３の方向およびその反対の方向に、部分的にはみ出す形状を取る。
【００３７】
最後に、１次元画像装置３は、画像４５の矢符３３の方向側の端部に画像以外の情報が含まれないように、画像４５の画像信号を加工して、対象画像１７の対象画像信号を生成する。この手法としては、たとえば、図５（Ｂ）を例とすると、画像４５の仮想線４６よりも右側の部分を裁落とすように、この部分を構成する画素の画素データを画像４５の画像信号から削除する手法が挙げられる。また、画像４５の画像信号のうち、仮想線４６よりも右側の画像以外の部分を表す画素データに、後述する探索ブロックの設定を禁止するデータを付加してもよい。これは、後述する対象画像の合成動作において、画像以外の部分に探索ブロックを設定することを防止するためである。
【００３８】
また、１次元画像合成装置３は、受光領域が直線状に並べられる１次元の撮像素子を用いたいわゆるハンドスキャナであってもよい。このハンドスキャナを用いて対象画像１７を得るとき、図６に示すように、撮像領域１３の幅方向をハンドスキャナ４８の受光領域の配列方向とほぼ一致させ、長手方向に沿って被写体１１の表面にハンドスキャナ４８を接触させた状態で移動させつつ、被写体１１を撮像する。このとき、撮像素子は、ビデオカメラ２８の撮像素子とほぼ同等に動くので、ハンドスキャナ４８を撮像領域１３の長手方向の一方端部から他方端部まで移動させると、画素が直線状に配列された原画像を表す原画像信号を複数得る。１次元画像合成装置３は、これら原画像が画素の配列方向をそれぞれ平行にして撮像した順で順次並べられるように、原画像信号を合成して、対象画像１７を得る。
【００３９】
このような手法によって、ビデオカメラ２８を用いた１次元画像合成装置３によって、上述の図３の対象画像１７〜１９を生成する。対象画像１７〜１９の形状、および画像内の被写体の像は、それぞれ撮像領域１３〜１５の形状およびその表面とほぼ相似であるが、部分的に歪みが生じる。これは、たとえば、ビデオカメラ２８を操作者が手動で移動させるので、これら被写体１１とビデオカメラ２８との距離を予め定める一定の距離に保つことが難しく、距離がばらつくためだと考えられる。また、ハンドスキャナ４８は、被写体１１の表面を滑らかに移動するための一対のローラを備えるが、この一対のローラの滑りにぶれがあって、ハンドスキャナ４８の移動速度にばらつきが生じるためだとも考えられる。
【００４０】
さらに、対象画像１７〜１９は、撮像領域１３〜１７の長手方向の中心軸線が相互に平行とならず或る角度をなすような、回転を含むことがある。これは、上述の歪みと同じ理由から、手のぶれが生じて、ビデオカメラ２８およびハンドスキャナ４８の移動方向が本来の移動方向からずれて移動するためだと考えられる。ゆえに、重複領域２１，２２；２３，２４内の被写体の像もまた、被写体の同一の部分２５，２６を撮像しているにも拘わらず、対象画像１７〜１９を平行移動させただけで重合わせても、像が一致しない。
【００４１】
図７は、上述の画像合成装置における画像合成動作を説明するためのフローチャートである。たとえば、画像合成装置の使用者が、合成動作を指示すると、ステップａ１からステップａ２に進む。
【００４２】
ステップａ２では、中央処理装置５に、合成対象の複数の対象画像信号を入力する。この対象画像信号は、前述した手法で得られた該信号を１次元画像合成装置３から直接得ても良く、また、メモリ４にストアされる複数の対象画像信号のうちで、所望とする該信号を選択して読出すようにしても良い。１枚分の対象画像信号が入力されるたびに、ステップａ２からステップａ３に進む。
【００４３】
ステップａ３では、合成画像信号を得るために必要な全ての対象画像信号が得られたか否かが判断される。全ての対象画像信号が得られていないときは、ステップａ２に戻り、次の対象画像信号を入力させる。対象画像信号が全て得られたとき、ステップａ３からステップａ４に進む。ステップａ４以後のステップでは、上述の対象画像信号のうち、撮像領域が隣接し、被写体１１の同一の部分を撮像した重複領域を有する一対の対象画像を合成するための合成処理を行う。
【００４４】
ステップａ４では、１対の対象画像内の被写体の像の相対的な平行移動量を検出するための中央ブロックマッチング処理を行い、次いでステップａ５に進む。ステップａ５では、１対の対象画像内の被写体の像の詳細な平行移動量、および相対的な回転角度を検出するための大ブロックマッチング処理を行い、ステップａ６に進む。ステップａ６では、大ブロックマッチング処理の検出結果に基づき、１対の対象画像信号に対して、画像の回転補正処理を施し、ステップａ７に進む。ステップａ７では、１対の対象画像の被写体の像の相対的な歪みを検出するための小ブロックマッチング処理を行い、ステップａ８に進む。ステップａ８では、小ブロックマッチング処理の検出結果に基づき、１対の対象画像信号に対して、画像の変形処理および合成処理を施して、これら一対の対象画像信号を合成し、ステップａ９に進む。これら各ステップａ４〜ａ８の処理動作の詳細は後述する。
【００４５】
ステップａ９では、全ての対象画像信号に関して上述の一連の合成処理を施して、単一の合成画像信号が得られたか否かが判断される。そうでないときは、ステップａ９からステップａ４に戻り、他の１対の対象画像信号に対して、ステップａ４〜ステップａ８の一連の合成処理を施す。他の１対の対象画像信号の組合わせは、被写体１１の同一の部分を撮像した重複領域を有する組合わせであれば、どのような組合わせであっても良い。たとえば、既に合成された一対の対象画像信号のいずれか一方と、他の対象画像信号との組合わせである。または、既に合成された１対の対象画像信号同士の組合わせであっても良い。
【００４６】
ステップａ９で、全ての対象画像信号を合成したと判断されると、ステップａ９からステップａ１０に進み、当該フローチャートの処理動作を終了する。
【００４７】
上述のフローチャートのステップａ４〜ステップａ８における一対の対象画像信号の合成手法を、以下に詳細に説明する。以後の説明では、上述の対象画像１７，１８を表す１対の対象画像信号の合成処理を例として、各処理動作を説明する。この対象画像１７，１８は、上述の手法で生成され、それぞれ長手方向の両端部のはみ出した部分を切落とした矩形の画像である。また対象画像１７，１８は、図面で左上端部の頂点を原点とした２次元直交座標系が設定される。この座標系のｘおよびｙ座標軸は、それぞれ対象画像１７，１８の幅方向および長手方向に平行であり、以後、ｘ座標軸に平行な幅方向を「ｘ方向」、ｙ座標軸に平行な長手方向を「ｙ方向」と称することがある。
【００４８】
図８は、上述のフローチャートのステップａ４における中央ブロックマッチング処理を説明するための模式図である。中央ブロックマッチング処理では、いわゆるテンプレートマッチング処理を用いて、対象画像１７，１８の被写体の像の相対的な平行移動量を検出する。
【００４９】
まず、対象画像１７の重複領域２１内に、参照ブロックＫを設定する。参照ブロックＫは、たとえば、その基準点５２が、対象画像１７のｙ方向の辺を２等分する基準軸線５３上に位置するように配置される。次いで、対象画像１８の重複領域２２内に、探索領域５５を設定する。探索領域５５は、重複領域２２のほぼ全域を含むように設定され、本実施形態では、重複領域２２と一致する。このように、参照ブロックＫを重複領域２１のｙ方向の中央部に設定することによって、対象画像１７，１８の被写体が、ｙ方向のいずれの向きにずれているときでも、そのずれを検出することができる。
【００５０】
続いて、対象画像１７の参照ブロックＫと対象画像１８の探索領域５５との間で、いわゆるテンプレートマッチング処理を行う。該処理では、探索領域５５内で、参照ブロックＫ内の被写体の像と最も類似する像の位置を検索する。
【００５１】
テンプレートマッチング処理を以下に詳細に説明する。
【００５２】
該処理の処理動作では、まず、参照ブロックＫと合同な探索ブロックＬを、該ブロックＬの基準点５２が探索領域５５内の或る点と一致するように重ねて設定する。次いで、探索領域５５内の被写体の像のうちの探索ブロックＬで区分された部分の像と、重複領域２１内の被写体の像のうちで参照ブロックＫで区分された部分の像との類似度を求める。この類似度は、たとえば、参照ブロックＫ内の或る画素の画素データｋと、探索ブロックＬ内部で該画素と同じ位置の画素の画素データｌとの差分値の絶対値｜ｋ−ｌ｜を、参照ブロックＫ内の全ての画素について求め、その総和を表す総和値ｄ（ｋｌ）で表される。また、画素の画素データｋ，ｌの相関で表されることもある。
【００５３】
或る点における類似度が検出されると、探索領域５５内で基準点５２を一致させる点を移動させ、移動後の点における類似度を同様の手法で検出する。このような類似度の検出動作は、探索ブロックＬで区分される範囲が探索領域５５内を網羅するように、上述の或る点を複数個定め、各点において繰返し実施される。定められた全ての点における類似度の検出動作が終了すると、各点を基準点５２とする探索ブロックＬの該総和値ｄ（ｋｌ）が、点の数と同数得られる。このとき、探索領域５５内の各画素の画素データは、少なくとも１回該総和値ｄ（ｋｌ）の演算に用いられる。
【００５４】
探索領域５５内の全ての点における総和値ｄ（ｋｌ）が求められると、続いて、求められた全ての総和値ｄ（ｋｌ）のうちで、値が最小の総和値ｄ（ｋｌ）が得られた点、およびその点を基準として設定される探索ブロックＬを探索する。総和値ｄ（ｋｌ）が最小であることは、その探索ブロックＬ内の被写体の像が、探索領域５５内で、最も参照ブロックＫ内の被写体の像と類似することを意味する。総和値ｄ（ｋｌ）が最小の探索ブロックＬを、最小探索ブロックＬａとして、図８に示す。最小探索ブロックＬａを得ると、テンプレートマッチング処理を終了する。
【００５５】
このテンプレートマッチング処理の精度は、参照ブロックＫおよび探索ブロックＬの大きさが小さいほど向上する。けれども、探索領域５５の大きさを変更しないまま参照および探索ブロックＫ，Ｌを小さくすると、本来マッチングすべき対応の場所とは異なる場所に設定された探索ブロック内と参照ブロックとが類似して、全く誤ったところでマッチングする可能性が高くなる。中央ブロックマッチング処理の探索および参照ブロックＫ，Ｌの大きさは、後述する大ブロックおよび小ブロックマッチング処理の参照および探索ブロックｆ１，ｆ２，ｇ１，ｇ２；ｂａ，ｂｂよりも大きいことが好ましい。これは、中央ブロックマッチング処理では、大ブロックおよび小ブロックマッチング処理で検出するべき被写体のずれよりも大まかな被写体の平行移動量だけを検出すればよいためである。勿論、これらブロックの大きさは、上述の大小関係に限らず、任意に設定することができる。
【００５６】
上述した参照ブロックＫと各探索ブロックＬとのテンプレートマッチング処理では、類似度の検出動作では、探索ブロックＬを探索領域５５内に直接複数設定して、それぞれの点での該総和値ｄ（ｋｌ）を求めている。このテンプレートマッチング処理では、いわゆる階層マッチング処理を用いても良い。
【００５７】
階層マッチング処理では、まず、探索領域５５を縮小して、探索領域５５の画素数を減少させたのち、この縮小された領域に対して前述の探索ブロックＬを設定する。たとえば、探索領域５５をｘおよびｙ方向でそれぞれ半分の長さに縮小したとすれば、縮小前の画像の２行２列の４画素が縮小後の１画素に対応する。これによって、探索領域５５内を網羅するために設定すべき探索ブロックＬの数は、縮小前の探索領域５５に設定すべき探索ブロックＬの数の４分の１になる。この状態で全ての探索ブロックＬについて類似度を求め、最も類似度が高い最小探索ブロックＬａの位置を得る。次いで、縮小された探索領域５５の大きさを拡大し、最小探索ブロックＬａおよびその近傍の被写体の像に関して、再度テンプレートマッチング処理を施す。この動作を、探索領域５５が元の大きさに戻るまで順次的に繰返す。これによって、探索領域５５全体の各探索ブロックの総和値ｄ（ｋｌ）を求める演算処理の処理量を減少させることができる。
【００５８】
このような手法で得られた最小探索ブロックＬａと参照ブロックＫとが重なり合うように対象画像１７，１８を重合わせると、重複領域２１，２２の被写体の像が平行移動しているとき、図９に示すように、対象画像１７，１８がｙ方向にずれて重合わされることが分かる。本実施形態の画像合成装置１の対象画像１７，１８：１８，１９は、この平行移動量が、多くても対象画像のｙ方向の幅の３分の１以下であることが好ましい。以後の説明では、対象画像１７，１８の被写体の像の平行移動がほとんどないものとする。
【００５９】
このように、中央ブロックマッチング処理では、１対の対象画像内の被写体の像のｙ方向の平行移動量を検出することができる。中央処理装置５は、この中央マッチング処理のマッチング結果に基づいて、対象画像１７，１８の被写体の像の大まかな位置合わせを行う。
【００６０】
続いて、図１０を用いて大ブロックマッチング処理について、以下に詳細に説明する。大ブロックマッチング処理は、いわゆるテンプレートマッチング処理を用いて、対象画像１７，１８の被写体の像の位置合わせ、および対象画像１７，１８の相対的な回転角度を求めるために行われる。
【００６１】
まず、対象画像１７の重複領域２１内に、参照ブロックｆ１，ｆ２を設定する。参照ブロックｆ１，ｆ２の設定位置は、参照ブロックｆ１，ｆ２で区分された部分が、重複領域２１内の被写体の像に特徴のある部分を含むように選ばれる。特徴のある部分とは、たとえば、いわゆるエッジであるような、画素の輝度変化が大きい部分である。このエッジの位置は、対象画像１７の対象画像信号をソーベルフィルタを通過させて得られる画像信号から求めることができる。この参照ブロックｆ１，ｆ２は、前述の中央ブロックマッチング処理の参照ブロックＫよりも小さく設定される。たとえば、重複領域２１内で参照ブロックｆ１，ｆ２が区分する部分に、２００行６０列の行列状に並べられた画素が含まれるような形状および大きさに設定される。
【００６２】
また、参照ブロックｆ１，ｆ２の長手方向に沿った離反距離Ｗ２は、図９に示す対象画像１７，１８の重複部分の長手方向の幅Ｗ１以内の距離であって、できるだけ大きいことが好ましい。さらに、参照ブロックｆ１，ｆ２は、対象画像１７，１８のｙ方向の被写体のずれに対応できなくなることを防止するために、重複領域２１のｙ方向の両端部近傍を避けて設定されることが好ましい。これらのことから、以後の説明では、参照ブロックｆ１，ｆ２は、ｙ方向の基準軸線５３の両側に設定され、その基準点ｐ１，ｐ２はｙ座標軸と平行に離反距離Ｗ２だけ離れるものとする。
【００６３】
次いで、対象画像１８の重複領域２２内に、参照ブロックｆ１，ｆ２にそれぞれ対応した探索領域５８，５９を設定する。探索領域５８，５９のｙ方向の設置位置は、対象画像１７，１８をｘおよびｙ座標軸が平行になるように並べたとき、参照ブロックｆ１から見て、上述の中央ブロックマッチング処理で検出された平行移動量だけ、ｙ方向に沿って相対的に平行移動した位置が選ばれる。
【００６４】
探索領域５８，５９の大きさは、それぞれ対象画像１７，１８の被写体の像のｙ方向のずれの大きさ、重複領域２０，２１の大きさ、および被写体の像の細部の変化度合に基づいて決定される。たとえば、探索領域５８，５９のｙ方向の幅Ｗ３は、中央ブロックマッチング処理の探索領域５５のｙ方向の幅Ｗ４よりも短い。また、ｘ方向の幅は、重複領域２２のｘ方向の幅とほぼ一致する。この探索領域５８，５９内には、参照ブロックｆ１，ｆ２と大きさおよび形状が等しい探索ブロックｇ１，ｇ２が設定される。
【００６５】
続いて、中央処理装置５は、探索領域５８に対する参照ブロックｆ１のテンプレートマッチング処理、および探索領域５９に対する参照ブロックｆ２のテンプレートマッチング処理をそれぞれ個別的に実施する。テンプレートマッチング処理の処理手法は、上述の中央ブロックマッチング処理とほぼ等しく、類似度として、次式に示すような、画素値の差分値の総和値ｄ１（ｆｇ），ｄ２（ｆｇ）を求める。
【００６６】
ｄｎ（ｆｇ）＝Σ｜ｆｎ−ｇｎ｜ …（１）
「ｆ」，「ｇ」は、それぞれ参照ブロックおよび探索ブロック内の画素の輝度を表す画素データの値を示す。「ｎ」は、値１および値２のいずれかが代入される。値１が代入されたとき、「ｆ」，「ｇ」は、参照ブロックｆ１および探索ブロックｇ１の画素データに対応する。値２が入力されたとき、「ｆ」，「ｇ」は、参照ブロックｆ２および探索ブロックｇ２の画素の画素データに対応する。
【００６７】
上述のテンプレートマッチング処理で探索領域５８，５９それぞれに最小探索ブロックｇ１ａ，ｇ２ａが得られると、この最小探索ブロックｇ１ａ，ｇ２ａの基準点ｑ１，ｑ２から、重複領域２１，２２内の被写体の像のｘおよびｙ方向の詳細な平行移動量、および相対的な回転角αを求める。
【００６８】
回転角αは、上述のように対象画像１７，１８を各ｘおよびｙ座標軸が平行となるように並べたときに、参照領域ｆ１，ｆ２の基準点ｐ１，ｐ２を両端とする線分ｚ１と、最小探索ブロックｇ１ａ，ｇ２ａの基準点ｑ１，ｑ２を両端とする線分ｚ２との成す角度である。この回転角αは、対象画像１７のｙ座標軸と線分ｚ１との成す角度、および対象画像１８のｙ座標軸と線分ｚ２との成す角度の和であると考えられる。本実施形態では、線分ｚ１は対象画像１７のｙ座標軸と平行であると見なすので、回転角αは対象画像１８のｙ座標軸と線分ｚ２との成す角度と等しい。
【００６９】
次いで、対象画像の回転補正処理について、以下に詳細に説明する。回転補正処理では、上述の相対的な回転角αを打消し、線分ｚ１，ｚ２が平行になるように、対象画像１７，１８の画素の画素値に対応する代表点の座標を、相対的に回転変換する。たとえば、この回転変換は、最小探索ブロックｇ１ａの基準点ｑ１を中心として、対象画像１８の各画素の代表点の座標（ｘ，ｙ）を、以下の式に基づいて変換する。
【００７０】
【数１】

【００７１】
「ｘ」，「ｙ」は、回転変換前の対象画像１８内の画素の代表点のｘおよびｙ座標の値である。「ｘ＊」，「ｙ＊」は、同じ画素の回転変換後の代表点のｘおよびｙ座標の値である。回転変換前の代表点の座標（ｘ，ｙ）は、それぞれ各画素内の点であって、たとえば対象画像１８のｘｙ直交座標系のいわゆる格子点と一致する。回転変換後の代表点は、格子点と一致しないことが多い。
【００７２】
このような座標変換を行うと、各画素の代表点の位置が、基準点ｑ１を基準として、元の位置からそれぞれ回転角αだけ、元の対象画像１７から見て逆向きに角変位する。これによって、対象画像１７に対する対象画像１８の相対位置を、回転角αだけ逆向きに回転させて、対象画像１７，１８の被写体の像を平行に並べることができる
続いて、対象画像１７，１８の小ブロックマッチング処理について、以下に詳細に説明する。小ブロックマッチング処理は、後述の画像の変形および合成処理動作において補正するべき被写体のずれを検出する。
【００７３】
図１１は、小ブロックマッチング処理の処理手順を説明するためのフローチャートである。図７のフローチャートで、ステップａ６からステップａ７に進むと、ステップｂ１からステップｂ２に進む。
【００７４】
ステップｂ２では、対象画像１７の重複領域２１内に、複数の参照ブロックｂａを設定する。たとえば、図１２では、１２個の参照ブロックｂａ１〜ｂａ１２（総称するときは参照ブロックｂａとする）を用意し、それらの中心点が前述の線分ｚ１およびその延長線上に、各ブロックが重なることなく直線状に配列されるように設定する。これら参照ブロックｂａ１〜ｂａ１２は、たとえば矩形のブロックであって、その中心点を基準とすると、隣接する２つの中心点が予め定める間隔Ｗ６をそれぞれ開けて、直線状に並ぶように配列される。
【００７５】
各参照ブロックｂａ１〜ｂａ１２は、上述の大ブロックマッチング処理の参照ブロックｆ１，ｆ２よりも小さく、たとえば３０行３０列の画素を含む大きさにそれぞれ設定される。このとき、線分ｚ１の両端である前述の基準点ｐ１，ｐ２は、それぞれｙ方向の一方端部から数えて２番目および１０番目に並べられる参照ブロックｂａ２，ｂａ１０内に含まれる。参照ブロックｂａが配置されると、ステップｂ２からステップｂ３に進む。
【００７６】
ステップｂ３では、対象画像１８の重複領域２２内に、探索ブロックｂｂを後述する配列で並べて設定する。この探索ブロックｂｂは、参照ブロックｂａに個別的に対応して同数だけ準備される。図１２では、１２個の探索ブロックｂｂ１〜ｂｂ１２（総称するときは「探索ブロックｂｂ」とする）が用意される。各探索ブロックｂｂ１〜ｂｂ１２は、それぞれ参照ブロックｂａ１〜ｂａ１２と同一の大きさおよび形状のブロックであり、本実施形態では矩形のブロックである。
【００７７】
この探索ブロックｂｂは、その中心点ｍａ１〜ｍａ１２が前述の線分ｚ２およびその延長線上に、直線状に配列されるように設定される。この探索ブロックｂｂのうち、参照ブロックｂａ２，ｂａ１０に対応する探索ブロックｂｂ２，ｂｂ１０は、前述の基準点ｑ１，ｑ２を含む。探索ブロックｂｂ２，ｂｂ１０と基準点ｑ１，ｑ２との相対位置関係は、参照ブロックｂａ２，ｂａ１０と基準点ｐ１，ｐ２との相対位置関係と等しい。
【００７８】
また、探索ブロックｂｂ１，ｂｂ３〜ｂｂ９、ｂｂ１１，ｂｂ１２は、たとえばその中心点を基準とすると、隣接する２つの中心点が間隔Ｗ７を開けるように、それぞれ配列される。間隔Ｗ７は、線分ｚ２の長さＷ８を、基準点ｑ１，ｑ２の間に介在される探索ブロックｂｂの数で分割した長さと等しい。図１２では、基準点ｑ１，ｑ２間の探索ブロックｂｂの数は８個であるので、間隔Ｗ７は長さＷ８を８等分した長さと等しい。間隔Ｗ７は、探索ブロックｂｂのｙ方向の幅Ｗ６よりも広いので、隣接する２つの探索ブロックｂｂ間には隙間ができる。また逆に、間隔Ｗ７が幅Ｗ６よりも狭いときは、隣接する２つの探索ブロックｂｂの一部の領域が重なることがある。
【００７９】
これら探索ブロックｂｂの周囲には、各探索ブロックｂｂをそれぞれ含む探索領域６１がそれぞれ設定される。たとえば、探索ブロックｂｂ１の探索領域６１の中心点は、探索ブロックｂｂ１の中心点と一致する。この探索領域６１は、たとえば、探索ブロックｂｂよりも、ｘおよびｙ方向の両側に、それぞれ６画素分の空間が加えられ、全体として、４２行４２列に行列状に並べられた画素を含む大きさとなるように設定される。このように、探索ブロックｂｂが配置されると、ステップｂ３からステップｂ４に進む。ステップｂ４以後、各探索ブロックｂｂを含む探索領域６１毎に、該探索領域６１に対する各参照ブロックｂａ１〜ｂａ１２のテンプレートマッチング処理を個別的に行う。
【００８０】
ステップｂ４では、マッチング処理対象となる探索領域６１に関して、探索領域６１内の画素の輝度変化が少ない否かが判断される。たとえば、探索領域６１内の複数の画素のうち、輝度を表す画素データの値の最大値および最小値の差分が、予め定める差分未満であるとき、輝度変化が少ないと判断する。この判定によって、たとえば真っ白な像であるような、被写体の像の画像変化が少なくマッチング処理が困難な探索領域６１を、予めマッチング処理対象から除くことができる。画像の輝度変化が大きいと判断されたときだけ、ステップｂ４からステップｂ５に進む。ステップｂ５では、上述の判定を受けたマッチング処理対象の探索領域６１に対して、該領域６１に対応する参照ブロックｂａのテンプレートマッチング処理動作を行う。該処理が終了すると、ステップｂ５からステップｂ６に進む。
【００８１】
ステップｂ６では、マッチング処理対象の探索領域６１内の被写体の像が、周期模様および直線であるような像であるか否かが判断される。具体的には、たとえば、探索領域６１内で、上述の類似度の値が判定基準値よりも高くなる点が複数あるとき、被写体の像が周期模様および直線であると判断される。被写体の像が周期模様および直線であるとき、類似度の値がほとんど同じ点が複数検出されるので、上述のテンプレートマッチング処理で正しい結果が得られないことが多い。ゆえに、この小ブロックマッチング手段では、予め周期模様及び直線を含む被写体の像が含まれる探索領域を、後述の処理動作の対象から外す。被写体の像が、周期模様および直線でないときだけ、ステップｂ６からステップｂ７に進む。ステップｂ７では、ステップｂ５のテンプレートマッチング処理の処理結果から、各探索領域６１内に最小探索ブロックｂｂａを定める。
【００８２】
また、ステップｂ４でマッチング処理対象の探索領域６１内の被写体の像の輝度変化が小さいと判断されたとき、およびステップｂ６で、被写体の像が周期模様および直線の像であると判断されたとき、ステップｂ４，ｂ６からステップｂ８に進む。ステップｂ８では、そのマッチング処理対象の探索領域６１、ならびに、それに対応する参照ブロックｂａ、および探索ブロックｂｂを、削除する。これによって、テンプレートマッチング処理の処理結果が不良となることが分かっているものを予め取除くことができる。また、テンプレートマッチング処理を行った後、参照範囲と探索範囲とのそれぞれにおいて、上述の画素値の総和値を検出し、これら総和値の差分値を求め、この差分値が予め定める値以上であるときだけ、正しいマッチングであると判断して、その探索範囲を残すようにしても良い。
【００８３】
このように、マッチング処理対象の探索領域６１に対して、最小探索ブロックｂｂａを決定する処理、または、処理対象の探索領域６１を除去する処理が終了すると、ステップｂ７またはステップｂ８から、ステップｂ９に進む。ステップｂ９では、重複領域２２に設定された全ての探索領域６１に関して、ステップｂ４〜ステップｂ８の一連の処理動作が終了したか否かが判断される。そうでないときには、ステップｂ９からステップｂ４に戻り、次の探索領域６１に関して上述の処理動作を施す。全てのブロックについて、テンプレートマッチング処理が終了しているとき、ステップｂ９からステップｂ１０に進み、当該フローチャートの処理動作を終了する。
【００８４】
図１３は、図１２の対象画像１７，１８に対して図１１の小ブロックマッチング処理動作を施した後の、対象画像１７，１８を示す図である。
【００８５】
この対象画像１７は、図１２の対象画像１７と比較して、参照ブロックｂａのうち、上述のフローチャートのステップｂ４，ｂ６の条件から外れるブロックとして、参照ブロックｂａ３，ｂａ６，ｂａ７，ｂａ１０が削除されている。同様に、対象画像１８は、これら参照ブロックｂａ３，ｂａ６，ｂａ７，ｂａ１０に対応する最小探索ブロックｂｂａ３，ｂｂａ６，ｂｂａ７，ｂｂａ１０が削除されている。
【００８６】
また、対象画像１７内の残余の参照ブロックｂａ１，ｂａ２，ｂａ４，ｂａ５，ｂａ８，ｂａ９，ｂａ１１，ｂａ１２の中心点ｍａ１，ｍａ２，ｍａ４，ｍａ５，ｍａ８，ｍａ９，ｍａ１１，ｍａ１２は、前述の線分ｚ１およびその延長線上にあるが、対象画像１８内の残余の最小探索ブロックｂｂａ１，ｂｂａ２，ｂｂａ４，ｂｂａ５，ｂｂａ８，ｂｂａ９，ｂｂａ１１，ｂｂａ１２の中心点ｍｂ１，ｍｂ２，ｍｂ４，ｍｂ５，ｍｂ８，ｍｂ９，ｍｂ１１，ｍｂ１２を順次的に結ぶ線分は、前述の線分ｚ２およびその延長線上からはずれた折線となる。
【００８７】
次いで、画像の変形処理を、以下に詳細に説明する。画像の変形処理では、対象画像１７，１８を重ね合わせるときに、上述の残された任意の参照ブロックｂａｋの中心点ｍａｋと、それに対応する最小探索ブロックｂｂａｋの中心点ｍｂｋとが一致するように、対象画像１８に対して部分的に拡大縮小変換である幾何学的変換を行う。上述のｋは、自然数１，２，４，５，８，９，１１，１２のいずれかである。
【００８８】
変形処理では、まず対象画像１７，１８を重合た状態を仮想する。具体的には、対象画像１７，１８は、重複領域２１内の１番目の参照ブロックｂａ１の中心点ｍａ１と、重複領域２２内の１番目の最小探索ブロックｂｂａ１の中心点ｍｂ１とが一致し、かつ各対象画像１７，１８のｘおよびｙ座標軸が平行になるように、重ね合わされる。
【００８９】
図１４は、上述した手法で重合わされた対象画像１７，１８の模式図である。この図で、中心点ｍｂ１，ｍｂ２を通る直線ｚ３と、対象画像１８のｙ方向の一方端部の辺との交点を、点ｍｂ０とする。同様に、中心点ｍｂ１１，ｍｂ１２を通る直線ｚ４と、対象画像１８のｙ方向の他方端部の辺との交点を、点ｍｂ１３とする。
【００９０】
この状態から、中心点ｍｂｋ，ｍｂ（ｋ＋１）をそれぞれ通りｘ座標軸に平行な１対の線分と、中心点ｍｂｋ，ｍｂ（ｋ＋１）を両端とする線分とによって区分された台形の領域単位で、対象画像１８の各画素の代表点の位置座標を幾何学的変換する。
【００９１】
以下に、台形領域６３を例として、上述の幾何学的変換手法を模式的に説明する。この幾何学的変換手法では、台形領域６３が矩形領域６４と一致するように変形し、その変形に準じて、各代表点の位置座標を変換する。
【００９２】
台形領域６３は、中心点ｍｂ１，ｍｂ２を頂点に含み、点ｍｂ１，ｍｃ１を通る辺、および点ｍａ２，ｍｃ２を通る辺が平行である。以後、或る２点を端部とする線分および辺または通る線分および辺を、その２点を表す参照符号を連続して付して示す。また矩形領域６４は、中心点ｍａ１，ｍａ２を頂点とし、交点ｍｄ１，ｍｄ２を通る辺を有する。交点ｍｃ１，ｍｃ２；ｍｄ１，ｍｄ２は、中心点ｍｂ１，ｍｂ２；ｍａ１，ｍａ２をそれぞれ通りｘ座標軸に平行な直線と、対象画像１８のｘ方向の一方端部の辺との交点である。台形領域６３および矩形領域６４を、図１４では、右下がりおよび右上がりの斜線を付して示す。
【００９３】
まず、図１４から、台形領域６３のｙ方向の幅Ｗ１１は、矩形領域６４のｙ方向の幅Ｗ１２よりも広いことがわかる。ゆえに、台形領域６３は、ｙ方向に関し、ｘ方向に沿って一律の変換率で圧縮変形される。この変換率は、以下の式で表される。
【００９４】
（ｙ方向の変換率）＝ Ｗ１２／Ｗ１１ …（３）
これによって、台形領域６３の辺ｍｂ１ｍｃ１，ｍｂ２ｍｃ２が、矩形領域６４の辺ｍａ１ｍｄ１，ｍａ２ｍｄ２と一致するように平行移動される。
【００９５】
また、図１４から、台形領域６３の辺ｍｂ１ｍｂ２と矩形領域６４の辺ｍａ１ｍａ２とは、辺の長さおよびｙ座標軸に対する角度が共に異なることが分かる。ゆえに、台形領域６３は、ｘ方向に関し、ｙ座標軸に平行な基準軸線ｈを基準として、ｙ方向に沿って連続的に変化する変換率で拡大変形される。たとえば、中心点ｍａ１，ｍａ２の間を通りｘ座標軸と平行な仮想線６５上のｘ方向の変換率は、以下の式で表される。
【００９６】
（ｘ方向の変換率）＝ Ｗ１３／Ｗ１４ …（４）
Ｗ１３は、基準軸線ｈと中心点ｍｂ１，ｍｂ２を両端とする線分との距離である。Ｗ１４は、仮想線６５上での、基準軸線ｈと直線ｚ３との距離である。このように、ｘ方向の領域の拡大率または縮小率は、中心点ｍａ１，ｍａ２間の間隔よりも短い予め定める間隔で設定される仮想線毎に定められる。これによって、台形領域６３の辺ｍｂ１ｍｂ２，ｍｃ１ｍｃ２が、矩形領域６４の辺ｍａ１ｍａ２，ｍｄ１ｍｄ２と一致するように、回転されかつ移動される。
【００９７】
このように台形的に台形領域６３を変形すると、変換後の台形領域６３の辺ｍｂ１ｍｂ２，ｍｂ１ｍｃ１，ｍｂ２ｍｃ２が矩形領域６４の辺ｍａ１ｍａ２，ｍａ１ｍｄ１，ｍａ２ｍｄ２と一致する。また、図１４で台形領域６３の右辺が２点鎖線で示すようにふくらむ。台形領域６３内の各画素の代表点の座標は、ｘおよびｙ方向に隣接する２つの代表点間の間隔が、上述のｘおよびｙ方向の変換率で縮小または拡大されるように変換される。したがって、各代表点のｘおよび方向の位置が、間隔の変換分だけ順次的に移動される。
【００９８】
以後、他の中心点ｍｂを頂点とする台形領域を、上述の台形領域６３の幾何学的変形手法と同様の手法によって、順次的に変形する。具体的には、上述の中心点ｍｂｋが中心点ｍａｋと一致するように、各台形領域が幾何学的変形される。また、点ｍｂ０，ｍｂ１を頂点に含む台形領域、および点ｍｂ１２，ｍｂ１３を頂点に含む台形領域は、点ｍｂ０，ｍｂ１３に対応する点を定めることができないので、上述の手法ではｙ方向の変換率が定められない。ゆえに、点ｍｂ０，ｍｂ１を頂点に含む矩形領域、および点ｍｂ１２，ｍｂ１３を頂点に含む台形領域のｙ方向の変換率は、上述の台形領域６３、および点ｍｂ１１，ｍｂ１２を頂点に含む台形領域のｙ方向の変換率と等しいと見なして、変換処理を行う。
【００９９】
上述の基準軸線ｈは、対象画像１８内で、中心点ｍｂよりも重複領域２２から遠ざかる方向の領域であれば、どこに設定されても良い。この基準軸線ｈは、たとえば対象画像１８の重複領域２３側の一方端部の辺と一致する。また、対象画像１８のｘ方向の中心軸線と一致する。さらに、対象画像１８，１９を合成処理対象とするときの小ブロックマッチング処理の全ての参照ブロックｂａの中心点を通る仮想直線と一致してもよい。
【０１００】
基準軸線を参照ブロックｂａの中心点を通る仮想直線と一致させるとき、画像の幾何学的変換処理では、この基準軸線ｈと辺ｍａ１ｍａ２との距離に基づいて対象画像１８のｘ方向の拡大率を定めるので、基準軸線ｈ上の画素は、幾何学的変換後も、同一の基準軸線ｈ上に直線状に配列される。このことから、対象画像１７，１８の画像合成を行った後に、合成後の画像と対象画像１９とを画像合成するとき、後者の画像合成処理における小ブロックマッチング処理の演算処理が容易になることが分かる。
【０１０１】
このような手法によって、対象画像１８の各画素の代表点の位置座標を、対象画像１７に併せて変換する。この変換後の対象画像１８と元の対象画像とを、中心点ｍａ，ｍｂが一致するように重ね合わせた重合画像を、合成画像の基礎とする。重合画像は、その生成時に、対象画像１８のうち、該対象画像１８の中心点ｍｂを通る仮想線よりも対象画像１７の中心に近い部分、図１４では仮想線よりも左側の部分が裁落とされてる。この仮想線は、画像変形前では図１４の太い実線で表され、画像変形後では合成基準軸線Ｈと一致する。またこの処理は、対象画像１８の対象画像信号で、該部分を構成する画素の画素値を削除したことと等しい。ゆえに、重合画像では、対象画像１７の全ての中心点ｍａを通る合成基準軸線Ｈから対象画像１８の中心側の端部だけが、対象画像１８の端部と重なる。重合画像のうち、対象画像１７，１８が重なりある部分を、以後重複部分と称する。
【０１０２】
重合画像を構成する画素の代表点は、重合画像に設定されるｘｙ直交座標系の格子点とはずれていることが多い。合成画像は、この重合画像とｘｙ直交座標系の座標軸が等しく、該座標系の格子点を代表点とする画素から構成された画像である。合成画像の画素の画素値は、以下の決定手法に基づいて決定される。この画素値の決定動作は、上述の画像の幾何学的変換動作と並行して行われる。
【０１０３】
まず、合成画像の全画素のうち、重複部分以外の残余の画素の代表点の画素値は、該代表点の位置座標と同じ位置座標の重合画像内の格子点における画素値と等しいと見なされる。たとえば、該格子点に画素の代表点が一致するとき、この代表点に対応する画素値がそのまま用いられる。該格子点と重合画像の代表点とが一致しないとき、該格子点の画素値は、重合画像内で該格子点に近接する複数の画素の代表点の画素値から、いわゆる線形補間法を用いて補間して決定される。線形補間法では、格子点の周囲４箇所の画素の代表点の画素値に、格子点と各代表点との距離に応じた係数を乗算した値の平均値を、格子点の画素値とする。
【０１０４】
また、重複部分の画素の代表点の画素値は、該代表点の位置座標と同じ位置座標の重合画像内の格子点に近接する重合画像の画素の代表点の画素値の加重平均値から、上述の線形補間法を用いて決定される。この加重平均値の係数値は、重合画像の画素が元々対象画像１７，１８のどちらに属していたか、および該画素の代表点と合成基準軸線Ｈとの距離に基づいて決定される。
【０１０５】
図１５は、上述の画素値の加重平均値の係数値と、重合画像のｘ座標値との関係を表すグラフである。重合画像および合成画像のｘｙ直交座標系の原点は、たとえば画像の右上の頂点、すなわち対象画像１７の原点と一致し、対象画像１８に近付く程ｘ座標の値は増加するものとする。この係数値は、重合画像のｘ座標値に応じて、値０から値１までの間の値を取る。
【０１０６】
対象画像１７に属する画素の係数値を折線７１で示す。この係数値は、原点から合成基準軸線Ｈまでの間、値１を保つ。この間の部分は、重合画像のうち対象画像１７に属する画素だけで構成される部分であり、合成基準軸線Ｈは、上述の部分と重合部分との境界である。合成基準軸線からｘ座標値が増加する方向に離れるほど係数値は小さくなり、合成基準軸線Ｈから予め定める距離Ｗ１６だけ離れた点で係数値は値０になる。さらに、ｘ座標値が増加しても、係数値は値０を保つ。予め定める距離Ｗ１６は、重複部分のｘ方向の幅よりも小さく設定され、たとえばｘ方向に重合画像の画素が１５画素配列された長さと等しい。
【０１０７】
対象画像１８に属する画素を折線７２で示す。この係数値は、原点から合成基準軸線Ｈまでの間、値０を保つ。合成基準軸線Ｈからｘ座標値が増加する方向に離れるほど係数値は大きくなり、合成基準軸線Ｈから予め定める距離Ｗ１６だけ離れた点で係数値は値１になる。さらに、ｘ座標値が増加しても、係数値は値１を保つ。対象画像１７，１８の合成基準軸線Ｈ近傍の係数値の変化率の絶対値は等しいので、合成基準軸線Ｈから距離Ｗ１６の半分だけ離れた点に対する対象画像１７，１８の画素値の係数値は等しい。
【０１０８】
したがって、上述の重合部分の画素値の決定動作では、重合部分の各画素の画素値に上述の加重平均の係数値を乗算した値を用い、線形補間を行う。これによって、対象画像１７，１８の被写体の像全体の輝度が異なるときでも、画像の重合部分で輝度変化が滑らかになるように画像を合成することができる。
【０１０９】
以上のような手法を用いて、対象画像１７，１８を合成することができる。対象画像１７，１８にさらに対象画像１９を合成するとき、上述の合成画像と対象画像１９とを、上述の画像合成手法で合成して、対象画像１７〜１９を合成した合成画像を得る。また、対象画像１７〜１９の画像合成手法としては、対象画像１７，１８；１８，１９に対する各マッチング処理をそれぞれ個別的に行い、その後に、対象画像１７〜１９の画像変形処理を行ってもよい。この画像変形処理では、対象画像１７，１８；１８，１９のいずれか一方の組合わせを先に画像合成し、その合成画像に残りの対象画像を合成する。残りの対象画像と合成画像とを合成するとき、小ブロックマッチング処理の参照ブロックｂａの中心点ｍａと最小探索ブロックｂｂａの中心点ｍｂとの位置関係に、画像合成処理における参照ブロックｍａの位置のずれをオフセットとして加味する。これによって、上述の手法と同様の画像変形手法で、画像合成を行うことができる。
【０１１０】
このような画像合成動作によって、対象画像よりも画素数の多い合成画像を得ることができる。この合成画像は、画素の大きさを対象画像の画素と一致させたとき、対象画像よりも広画角および広範囲の画像となる。また、画像の大きさを対象画像と一致させたとき、対象画像よりも解像度の高い画像となる。
【０１１１】
上述の画像合成装置では、白黒のグレースケール画像を対象画像としたが、対象画像には、カラー画像を用いることもできる。このとき、画像合成手法の画素値としては、たとえば各画素に対応する輝度信号の値を算出して用いる。また、各画素に対して赤青緑の３原色光の輝度を表す原色信号の値が個別に得られるとき、いずれか１つの原色信号の値だけを上述の画素値として、該原色信号に関してだけ上述の画像合成手法を行う。残余の原色信号は、いずれか１つの原色信号の画像合成処理の処理結果に基づいて変換する。このいずれか１つの原色信号としては、輝度信号への寄与が最も大きい緑の原色信号を用いることが好ましい。
【０１１２】
また、本実施形態の画像合成装置では、対象画像を３枚としたが、対象画像の数はこれに限らず、さらに増加させても良い。また、対象画像の配列を一方向だけとしたが、各対象画像が少なくとも１つの他の対象画像と重なる重複領域を有するならば、直交する２方向に行列状に配列されていても良い。さらに、対象画像は、他の対象画像との重複領域を有すれば、上述の原画像をそのまま用いても良い。この対象画像を得る１次元画像合成装置は、上述のビデオカメラ２８に限らず、複写機およびスキャナであってもよい。また、対象画像は、画像信号として入力された画像を、パーソナルコンピュータで合成した画像であってもよい。
【０１１３】
さらに、上述の画像合成処理の各手法は、同様の結果を得ることができる手法であれば、上述の手法に限らず他の手法を用いても良い。たとえば、各ブロックマッチング処理のマッチング手法は、テンプレートマッチング処理以外のマッチング処理であってもよい。また参照ブロックおよび探索ブロックは、矩形ブロック以外の形状であっても良い。
【０１１４】
【発明の効果】
本発明に従えば、画像合成装置は、相互に重複する複数の対象画像を合成して、単一の合成画像を得る。この画像合成処理動作では、各対象画像内の被写体の像の相互のずれを２段階のマッチング処理で検出した後、各対象画像毎にずれを相殺させるように相対位置の移動および画像の拡大縮小変換を行って、各対象画像を合成する。これによって、対象画像のずれが累積されて、合成画像の被写体の像が歪むことを防止することができる。また、マッチング処理は２段階に分けて行うので、マッチング処理の処理量を減少させることができる。
【０１１５】
さらにまた本発明によれば、第１マッチング手段では、まず、１回目のマッチング処理において、１対の対象画像の重複領域内の中央付近で被写体の像の相対的な平行ずれの状態を求めるためのマッチングを求める。次いで、１回目のマッチングの結果に基づいて２回目のマッチング処理で２組の参照領域と探索領域とを設定し、各組ごとに像内の詳細な対応点の検出のためのマッチングを求める。これによって、１対の対象画像内の被写体の像のずれの状態が不明であるときでも、２回目のマッチング処理の参照領域と探索領域とを、該重複領域内の被写体の像の相対的な回転ずれを検出するために最適な位置に配置することができる。また、２組の領域を用いることによって、１対の対象画像の被写体の像の回転のずれを検出することができる。さらに、マッチング処理の参照領域の大きさを、１回目の領域よりも２回目の領域の方が小さくなるように設定しているので、大まかな像のずれの検出と、像内の詳細な対応点の検出とを、それぞれ最適な手法で実施することができる。
【０１１６】
また本発明によれば、前述の画像合成装置は、第２マッチング手段での処理の間に、マッチング対象の各隣接する組合わせの対象画像毎に、画素の代表点の回転変換を行う。これによって、対象画像の重複領域およびその近傍の部分を合成後の画像で被写体の像が自然につながるように合成することができる。
【０１１７】
さらにまた本発明によれば、第２マッチング手段は、予め定める指標を用い、被写体の像が比較対象の適格性を有する探索領域で得られるマッチングだけを、拡大縮小変換の変換量を求めるために用いる。また本発明によれば、この指標は、参照および探索範囲の画素値の総和値の差分値、探索領域内の画素値の最大値と最小値の差分値、および被写体の像の周期性の有無で表される。これによって、誤ったマッチングを用いて合成処理を行い、被写体の像の歪みを増大させることを防止することができる。したがって、合成画像の画質を向上させることができる。
【０１１８】
さらにまた本発明は、画像合成時に、変換基準軸線を基準として、各対象画像を部分的に台形状に拡大縮小変換する。これによって、特に３枚以上の対象画像を合成するとき、各対象画像の被写体の像のずれが蓄積されることを防止することができる、したがって、合成画像の画質を向上させることができる。
【０１１９】
また本発明は、変換基準軸線上に第２マッチング処理の参照領域を設定するので、特に３枚以上の対象画像を合成するとき、合成処理の演算処理量を減少させることができる。したがって、画像合成手段の負担を減少させることができる。
【０１２０】
さらにまた本発明は、合成画像のうちの対象画像の重複領域に当たる部分の画素の画素値を、１対の対象画像の各重複領域内の画素を加重平均して得る。これによって、複数の対象画像それぞれの輝度が異なるときでも、合成画像のつなぎ目を滑らかにすることができる。これによって、合成画像の画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態である画像合成装置１の電気的構成を示すブロック図である。
【図２】被写体１１と撮像領域１３〜１５の関係を示す模式図である。
【図３】対象画像１７〜１９を表す模式図である。
【図４】１次元画像合成装置３のビデオカメラ２８の移動手法を説明するための模式図である。
【図５】ビデオカメラ２８で得られる原画像３７〜４０を表す図、および原画像３７〜４０の合成手法を説明するための模式図である。
【図６】１次元画像合成装置３のハンドスキャナ４８の移動手法を説明するための模式図である。
【図７】画像合成装置１を用いた画像合成手法を説明するためのフローチャートである。
【図８】中央ブロックマッチング処理における参照ブロックＫ、探索領域５５、および探索ブロックＬの関係を表す模式図である。
【図９】１対の対象画像１７，１８について、中央ブロックマッチング処理の参照ブロックＫおよび最小探索ブロックＬａを一致させた状態を表す模式図である。
【図１０】大ブロックマッチング処理における参照ブロックｆ１，ｆ２、探索領域５８，５９、および最小探索ブロックｇ１ａ，ｇ２ａの関係を表す模式図である。
【図１１】小ブロックマッチング処理手法を説明するためのフローチャートである。
【図１２】小ブロックマッチング処理における参照ブロックｂａ１〜ｂａ１２、探索領域６１、および探索ブロックｂｂ１〜ｂｂ１２の関係を表す模式図である。
【図１３】小ブロックマッチング処理における参照ブロックｂａ１〜ｂａ１２、および最小探索ブロックｂｂａ１〜ｂｂａ１２の関係を表す模式図である。
【図１４】画像の変形処理を説明するための対象画像１７，１８の模式図である。
【図１５】画像の合成処理における画素値の加重平均の係数値と、画素の空間位置との関係を表すグラフである。
【符号の説明】
１ 画像合成装置
３ １次元画像合成装置
４ メモリ
５ 中央処理装置
６ 出力装置
１１ 被写体
１７，１８，１９ 対象画像
２１，２２，２３，２４ 重複領域
２８ ビデオカメラ
３７，３８，３９，４０ 原画像
４１，４２，４３，４４ 被写体の像
５５，５８，５９，６１ 探索領域
Ｋ，ｆ１，ｆ２，ｂａ１〜ｂａ１２ 参照ブロック
Ｌａ、ｇ１ａ，ｇ２ａ，ｂｂａ１〜ｂｂａ１２ 最小探索ブロック
ｈ 基準軸線

Claims (11)

1. 合成対象となる被写体の異なる部分からの対象画像を表す対象画像信号を、隣接する対象画像間に重複領域を含むようにして複数生成する対象画像生成手段と、
   対象画像生成手段によって生成される対象画像信号のうち、隣接する対象画像の組合わせ毎に、重複領域間で被写体の像のマッチングを求め、マッチングに基づいて重複領域間の相対位置のずれを検出する第１マッチング手段と、
   第１マッチング手段によって相対位置のずれの検出が行われる対象画像の一方の重複領域内に、予め定める大きさを有する参照領域を複数設定し、対象画像の他方内に、検出される相対位置のずれに基づいて、参照領域よりも大きい探索領域を各参照領域毎に設定し、各参照領域内と該参照領域に対応する探索領域内との間で被写体の像のマッチングを求め、マッチングに基づいて各被写体の像間の相対位置のずれを各探索領域毎に検出する第２マッチング手段と、
   第２マッチング手段によって検出される各相対位置のずれをそれぞれ打消すように各対象画像を部分的に拡大縮小変換しながら、隣接する対象画像の組合わせ毎に参照領域と該参照領域に対応する探索領域とを重畳させるように、全ての対象画像信号を合成し、被写体に対する単一の合成画像を表す合成画像信号を生成する画像合成手段とを含むことを特徴とする画像合成装置。
2. 前記第１マッチング手段は、
   まず、前記各隣接する対象画像の組合わせのいずれか一方の重複領域内の予め定める位置に、予め定める大きさの第１参照領域を設定し、いずれか他方の対象画像の重複領域内と該第１参照領域内との間で被写体の像とのマッチングを求め、求めたマッチングに基づいて、各被写体の像の相対的な平行ずれを検出し、
   次いで、いずれか一方の重複領域内に、第１参照領域よりも小さい第２参照領域を、検出された相対的な平行ずれの方向と平行に少なくとも２つ設定し、いずれか他方の対象領域の重複領域内に、検出される相対的な平行ずれに基づいてこの平行ずれの方向に相対的に平行移動した位置に、重複領域の大きさよりも小さい第２探索領域を、各第２参照領域毎に設定し、
   各第２探索領域内と、該第２探索領域に対応する第２参照領域内との間で、被写体の像とのマッチングを求め、求めたマッチングに基づいて、前記重複領域間の相対的な回転ずれを検出することを特徴とする請求項１記載の画像合成装置。
3. 前記画像合成装置は、前記各隣接する対象画像の組合わせ毎に、前記第１マッチング手段で検出された重複領域間の相対位置のずれに基づいて、隣接する対象画像間の相対回転角度を求め、求めた相対回転角度を打消す方向に各対象画像を相対的に角変位させるように、対象画像信号を回転変換する回転変換手段をさらに含み、
   前記第２マッチング手段は、回転変換手段によって相対位置が回転変換された対象画像の組合わせに対して、前記探索領域のマッチングを求めることを特徴とする請求項１記載の画像合成装置。
4. 前記第２マッチング手段は、複数の前記探索領域毎に求められるマッチングのうち、被写体の像が予め定める比較対象の適格性を持つ探索領域に対するマッチングだけを前記画像合成手段に与えることを特徴とする請求項１記載の画像合成装置。
5. 前記各対象画像は、複数の画素からそれぞれ構成され、
   前記参照領域の大きさは、単一の画素の大きさ以上であり、
   各探索領域に対する前記マッチングは、各探索領域内で、大きさおよび形状が前記参照領域と等しい探索範囲であって、かつ該探索範囲内の全画素の輝度を表す画素値の総和値が参照領域の画素値の総和値に最も近い探索範囲の位置で表され、
   前記比較対象の適格性は、マッチングの探索範囲の画素値の総和値と、前記参照領域の画素値の総和値との差分値が、予め定める基準値未満であることを特徴とする請求項４記載の画像合成装置。
6. 前記各対象画像は、複数の画素からそれぞれ構成され、
   前記参照領域の大きさは、単一の画素の大きさ以上であり、
   各探索領域に対する前記マッチングは、各探索領域内で、大きさおよび形状が前記参照領域と等しい探索範囲であって、かつ該探索範囲内の全画素の輝度を表す画素値の総和値が、参照領域の画素値の総和値に最も近い探索範囲の位置で表され、
   前記比較対象の適格性は、マッチングの探索範囲内の画素値のうちの最大値と最小値との差分値が、予め定める基準値以上であることを特徴とする請求項４記載の画像合成装置。
7. 前記比較対象の適格性は、前記探索領域内の被写体の像が、同一の輝度変化で同一の形状の部分が周期的に複数回繰返さないことを特徴とする請求項４記載の画像合成装置。
8. 前記対象画像は、複数の画素が予め定める一方および他方方向に沿って行列状に配列されて形成され、
   前記拡大縮小変換は、各対象画像毎に、重複領域内で一方方向に略平行な予め定める変換基準軸線と各画素との距離を拡大または縮小し、さらに他方方向に沿って直線状に並べられる複数の画素から成る画素群の相互の間隔を拡大または縮小して、画素配列を変換することを特徴とする請求項１記載の画像合成装置。
9. 前記変換基準軸線は、前記第２マッチング手段の各参照領域の中心を通過することを特徴とする請求項８記載の画像合成装置。
10. 前記対象画像および合成画像は、複数の画素からそれぞれ形成され、
    合成画像の全画素のうち、対象画像の前記重複領域に対応する部分の各画素の輝度を表す画素値は、該画素に対応する対象画像の２つの重複領域の各画素の画素値に、重複領域の予め定める合成基準軸線からの距離に対応して定める重みを付けて加重平均した値であることを特徴とする請求項１記載の撮像装置。
11. 合成対象となる被写体の異なる部分からの対象画像を、隣接する対象画像間に重複領域を含むようにして複数生成し、
    生成される対象画像のうち、隣接する対象画像の組合わせ毎に、重複領域間で被写体の像のマッチングを求め、マッチングに基づいて重複領域間の相対位置のずれを検出し、
    重複領域間の相対位置のずれの検出が行われる対象画像の一方の重複領域内に、予め定める大きさを有する参照領域を複数設定し、対象画像の他方内に、検出される相対位置のずれに基づいて、参照領域よりも大きい探索領域を各参照領域毎に設定し、各参照領域内と対応する探索領域内との間で被写体の像のマッチングを求め、マッチングに基づいて各被写体の像間の相対位置のずれを各探索領域毎に検出し、
    検出される各被写体の像間の各相対位置のずれをそれぞれ打消すように、各対象画像を部分的に拡大縮小変換しながら、隣接する対象画像を合成し、被写体に対する単一の合成画像を生成することを特徴とする画像合成方法。

Images