JPH1115951A - ずれ検出装置および画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 マッチングの誤差を減少させてマッチングの
処理時間を短縮する。 【解決手段】 画像メモリ４に記憶された一対の対象画
像信号を、２値化回路６によって個別に２値化して線画
像信号を生成する。特徴点抽出回路８は、参照側の線画
像信号から、各参照領域毎に、特徴点画素を複数抽出す
る。変換回路１０は、探索側の線画像信号を２値多値変
換して、線画像の線の幅を拡大させる。相関演算回路１
３は、各参照領域毎に、変換回路８から出力される変換
画像信号が表す変換画像のうちの探索領域内の各画素と
特徴点画素との相関を求め、相関に基づいて探索領域内
に対応領域を定める。合成処理部は、相関演算回路１３
によって定められた対応領域の位置を基準にして、各対
応領域の中心点が各参照領域の中心点に重なるように、
一対の対象画像を部分的に変形しながら前記像を重畳さ
せるように、一対の対象画像信号を合成して、合成画像
信号を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、２枚の画像内の像
のずれを検出するずれ検出装置、ならびに、撮像素子を
用いた１回の撮像動作で得られる画像よりも画素数が多
く、高解像度の合成画像、または広画角および広範囲の
画像を得るための画像合成装置に関する。

【０００２】

【従来の技術】いわゆるスキャナとして用いられる画像
合成装置には、たとえばＣＣＤラインセンサであるよう
な、受光領域が直線状に配列された１次元の撮像素子が
用いられる。この画像合成装置で出力画像を得るとき、
まず、被写体に対して、２次元平面上で受光領域の配列
方向と直交する方向に撮像素子を移動させつつ、被写体
を複数の位置で撮像する。次いで、各撮像動作によって
得られた画像を、２次元平面上に各撮像時の撮像素子の
位置と同じ位置関係で並ぶように合成して、単一枚の出
力画像を得る。この装置で得られる画像は、撮像素子か
ら直接得られる画像と比較して、撮像素子の移動方向と
同じ方向に並ぶ画素数は増加するが、移動方向と直交す
る方向の画素数は変わらない。画像の該直交する方向の
画素数を増加させる手法として、複数の上述の出力画像
を、上述の直交する方向に沿って並べて、さらに合成す
る手法がある。

【０００３】上述する手法を用いる第１の従来技術とし
て、特開昭６３−６４１８０号公報が挙げられる。この
公報で開示されるイメージ画像合成方式を用いた装置で
は、１次元の撮像素子を、手動で移動可能なハンドスキ
ャナ内に設置する。本方式では、まず、入力対象の原画
像をハンドスキャナを用いた１回の走査で読取り可能な
大きさの領域に分け、ハンドスキャナを原画像の表面に
接触させたまま、前記領域の中心軸線に沿って移動させ
つつ撮像し、各領域の画像を得る。各領域の画像は、上
述した１次元の撮像素子を用いた装置の出力画像と等価
であり、また原画像の同一の部分を読取った重複領域を
それぞれ有する。次いで、各領域の画像の重複領域をテ
ンプレートマッチング法によってマッチングして、各画
像間で同じ形状および輝度分布の像の位置のずれを求め
る。最後に、像の位置のずれに基づいて、これらの像が
重なるように各画像を平行移動させた後に重合わせて、
イメージ画像の合成画像を得る。

【０００４】このイメージ画像合成方式では、撮像素子
を含むハンドスキャナを装置の操作者が手動で移動させ
ているので、移動時に、ハンドスキャナに操作者の手の
振れが加わることがある。また、同じ理由から、ハンド
スキャナ内の撮像素子と入力対象の原画像の前記領域の
中心軸線との相対位置が傾くことがある。さらに、ハン
ドスキャナには、原画像の表面上をハンドスキャナが滑
らかに移動するために、原画像と接触する部分に１対の
ローラが備えられるが、このローラの滑りが１対のロー
ラのうちの一方および他方で異なるとき、ハンドスキャ
ナの移動速度が、一方のローラ近傍の部分と他方のロー
ラ近傍の部分とで異なることがある。これらのことが起
こると、画像内で、たとえば、平行移動の方向とは異な
る方向への像のずれ、および像の部分的な圧縮を含むよ
うな、像の歪みが生じる。このような歪みが生じた画像
は、画像を水平移動させただけでは複数の画像の被写体
の像が滑らかにつながらないので、合成後の画像の像に
歪みが生じる。

【０００５】このずれを補正するために、本件出願人
は、第２の従来技術として、特開平５−２６０２６４号
公報において、受光領域が行列状に配列された２次元の
撮像素子を用いて、撮像素子の受光領域数よりも多い数
の画素から成る出力画像を得る技術を提案している。本
公報の画像処理装置では、いわゆるＣＣＤカメラである
画像入力手段を装置の操作者が保持し、被写体から予め
定める距離だけ離反した位置で水平移動させつつ被写体
を撮像して、複数の画像を得る。処理回路は、新たな画
像が得られるたびに、まず新たな画像と合成画像とをた
とえばブロックマッチング法によってマッチングして、
両画像内で同じ像の位置のずれを求める。次いで、この
ずれに基づいて新たな画像を変形し、最後に、変形後の
画像と合成画像とを合成することによって、新たな合成
画像を得る。

【０００６】この画像処理装置では、画像入力手段が装
置の操作者の手だけに支持されて中空に保持されるの
で、被写体と撮像素子との相対位置がずれやすい。この
ため、合成対象の２枚の画像の像には、画像入力手段の
水平移動の方向以外の方向への像のずれ、像の傾き、お
よび倍率の違いを含むような、像の歪みが生じる。画像
処理装置は、合成時にこの像の歪みを補正しながら画像
を合成するが、たとえば後述するマッチングの誤差およ
び補正誤差によって、像の歪みを全て補正することがで
きずに歪みが残ることがある。また、この補正のための
演算処理は複雑であり、補正のための処理量が増大す
る。

【０００７】さらにまた、第３の従来技術として、特開
平４−３１４２６３号公報が挙げられる。本公報に開示
される画像処理装置では、まず、スキャナから入力され
た複数の画像データからエッジ等の特徴を抽出する。次
いで、この特徴に基づいて画像データをつなぎ合わせる
ためのアドレス情報を生成し、複数の画像データをこの
アドレス情報によって指示される位置でつなぎ合わせる
ことによって、合成画像を得る。

【０００８】また、第４の従来技術として、本件出願人
は、特開平６−１８１５１８号公報において、複数頁に
またがって掲載される地図等の画像を自動的に合成して
複写する技術を提案している。この画像処理装置では、
予め読取り対象の複数の原稿のうちで重複する像を含む
部分に、予め定める記号を記載させておく。まず、これ
ら原稿をまず複写機の読取り部を構成するＣＣＤセンサ
よって個別に読取らせて原稿データを作成する。次い
で、各原稿データの外周側の部分を検索して前記記号を
抽出することによって、各画像データをつなぎ合わせる
組合わせおよびその原稿データ内のつなぎ目を認識す
る。最後に、認識した組み合わせの原稿データをつなぎ
目が向かい合うように並変え、つなぎ目の画像が一致す
るように位置合わせして、合成する。

【０００９】第３および第４の従来技術の画像処理装置
では、読取り素子としてスキャナおよび複写機の読取り
部を用いるので、被写体と読取り素子とが、それぞれ予
め定める位置に固定されるので、両者の位置関係に常に
保たれる。ゆえに、画像データおよび原稿データに、位
置関係の狂いに起因する前述の像の歪みがほとんど生じ
ない。このため、上述の画像処理装置では、像の歪みを
補正するための手段が備えられていない。ゆえに、第１
および第２の従来技術と同じ手法によって得られた画像
を第３および第４の従来技術と同じ手法によって合成す
る場合、合成後の画像の像に歪みが残る。

【００１０】また、第１および第２の従来技術の画像処
理装置では、パターンマッチング法によって像のずれを
求めている。パターンマッチング法では、一対の画像を
重ね合わせてそのときの一対の画像間の相関を算出する
動作を、重ね合わせる位置を変更しつつ複数回繰返し、
相関が最大であるときに画像を重合わせた状態でその画
像の位置のずれを、像のずれとして検出する。このパタ
ーンマッチング法には、代表点マッチング方式とブロッ
クマッチング方式とがある。

【００１１】代表点マッチング方式は、一対の画像のう
ちの一方の画像内の画素のうちから離散的に配列された
予め定める位置の画素を代表点として予め設定し、一対
の画像を重ね合わせたときに、各代表点とその代表点と
重なった他方の画像の画素との輝度の差を累積加算し
て、その和を相関を表す値として得る。代表点マッチン
グ方式では、像の重ね合わせ位置の移動に従って各代表
点が順次重ね合わされる複数の画素の輝度が変化してい
ないと、相関を表す値が変化しないので、相関の大小を
得ることができない。ゆえに、文書画像のような白黒の
画像を処理対象とした場合、全代表点で輝度の変化が小
さくなるので、相関が最も大きくなる位置を検出しにく
くなり、像のずれを適確に検出することが困難になる。

【００１２】パターンマッチング法では、一対の画像の
うちの一方の画像のうちに予め定める大きさの参照領域
を設定し、一対の画像を重ね合わせたときに、参照領域
内の各画素とその画素と重なった他方の画像の画素との
輝度の差を累積加算して、その和を相関を表す値として
得る。他方の画像に参照領域内の像と形状と輝度分布と
が等しい像が含まれていれば、その像が重なるように一
対の画像を重ね合わせたときの和が０になり、相関が最
大であると見なされる。

【００１３】この場合に一対の画像が第１および第２の
従来技術で説明した手法によって得られた画像であると
き、前述の像の歪みのために、一対の画像のうちで同じ
被写体を表す像の形状および輝度分布が異なる。たとえ
ば、一方の画像に図２７（Ａ）の像「Ａ」が含まれ、他
方の画像に図２７（Ｂ）の像「Ａ」が含まれているとす
る。これら両像は、同じ文字「Ａ」を表すが、その形状
および輝度が異なる。これら一対の画像を、図２７
（Ｃ）で表すように、その中心が一致しほぼ像が重なる
ように重ね合わせても、部分的に重ならない部分ができ
る。この部分では、重なりあう画素の輝度値が一致しな
いので、この位置で得られる前記和が上述の位置以外の
位置で得られた和よりも大きくなることがある。したが
って、和の大小によって像のずれを検出することが困難
になり、合成時に確実に一対の画像を重ね合わせること
が困難になる。

【００１４】さらにブロックマッチング法では、上述の
ように、参照領域の全画素と参照領域の各画素と重なる
他方の画像の画素との輝度差を、各画素毎に求めてその
和を求める。このため、１回の相関演算で輝度差を求め
る画素の数が多いので、像のずれを得るための処理量が
極めて多い。したがって、演算処理に時間がかかる。た
とえば、このブロックマッチング法を用いて、たとえば
手ぶれ検出のために一対の画像のずれを検出する場合、
ブロックマッチングを行うための演算処理回路の処理速
度を極めて高速にする必要がある。

【００１５】さらに、マッチング方式として、一方の画
像からその画像内の特徴点を予め抽出し、この特徴点と
他方の画像内の点との相関を各特徴点毎に求めて、その
相関の総和の大小によって、ずれを検出する手法があ
る。このようなマッチング方式を、以後、特徴点マッチ
ング方式と称する。たとえば、図２７（Ａ）に示す像の
エッジを抽出し、そのエッジ上の点から、図２８（Ａ）
に表すように、特徴点を抽出する。図２８（Ａ）では、
細線が像のエッジを表し、黒四角が特徴点を表す。図２
７（Ａ）の像と図２８（Ｂ）の像とのずれを特徴点マッ
チング方式によって求めるとき、図２８（Ｂ）の像と図
２８（Ａ）の特徴点とを重ね、各特徴点と図２８（Ｂ）
の像のうちでその特徴点に重なる点との相関を個別に求
める。この相関は、前記重なる点がすべて図２８（Ｂ）
の像のエッジ上の点であるときに最大になる。

【００１６】この場合、一対の画像の像に、前述した理
由によって像の歪みがあるとき、一対の画像内の像のエ
ッジの形状が合同にならない。ゆえに、或る特徴点が像
のエッジのうちでその特徴点の対応点に重なるように一
対の画像とを重ね合わせた状態でも、他の特徴点とその
特徴点の対応点とが重ならない。対応点とは、他方の画
像内で一方の画像の像が表す被写体と同じ被写体を表す
像のうちで、他方の画像内の像で特徴点が表す前記被写
体の部分と同じ部分を表す点を指す。

【００１７】ゆえに、この状態での相関は、像が合同で
ある場合に一対の画像を上述のように重ね合わせた状態
での相関よりも小さくなり、重ね合わせ状態を順次変更
して求めた複数の相関のうちで最大にならないことがあ
る。したがってこの相関に基づいてずれを求めた場合、
像が全く重なっていない状態での相関が最大になりその
ときの画像のずれを像のずれとして検出してしまうの
で、ずれの誤差が大きくなることがある。すなわち、マ
ッチングの精度が低下する。

【００１８】

【発明が解決しようとする課題】本発明の目的は、誤差
が少なくかつ演算量の少ないずれ検出装置を提供するこ
とである。また本発明の他の目的は、像の歪みが小さく
かつ撮像素子よりも高解像度の画像、または像の歪みが
小さくかつ撮像素子よりも広画角および広範囲の画像
を、少ない演算量によって得ることができる画像合成装
置を提供することである。

【００１９】

【課題を解決するための手段】本発明は、同じ被写体を
表す像を含む参照側および探索側画像を個別に表す参照
側および探索側画像信号を記憶する画像信号記憶手段
と、画像信号記憶手段から参照側画像信号を読出し、参
照側画像内の点のうちから画像のエッジ上の点を特徴点
として抽出する特徴点抽出手段と、画像信号記憶手段か
ら探索側画像信号を読出し、探索側画像から像のエッジ
を抽出し、像のエッジを示す線を含む線画像を表す線画
像信号を生成する線画像信号生成手段と、線画像信号生
成手段によって生成された線画像信号を変換して、像の
エッジを示す線の幅を拡大させる変換手段と、特徴点抽
出手段によって抽出された特徴点と、変換手段によって
変換された線画像信号が表す線画像内の各点との相関を
求め、相関に基づいて参照側および探索側画像内の像の
ずれを検出するずれ検出手段とを含むことを特徴とする
ずれ検出装置である。

【００２０】本発明に従えば、ずれ検出装置は参照側お
よび探索側画像の像のずれを検出する。このずれは、参
照側画像と探索側画像とのうちで、同じ被写体を表す像
の各画像の基準位置に対する相対位置が、両画像でどれ
だけ異なるかを表す。基準位置とはたとえば各画像の外
枠のうちの１点である。このずれは、参照側画像と探索
側画像とを同じ被写体を表す像が表す部分が重なるよう
に重ね合わせた場合に、参照側画像と探索側画像とのず
れに相当する。

【００２１】ずれ検出装置では、まず特徴点抽出手段に
よって、像のエッジ上の点を、特徴点として抽出する。
この点とは、たとえば画像を構成する画素の代表点であ
り、また代表点とは異なる位置の点であることもある。
像のエッジとは像の輪郭線に相当するものであり、たと
えば隣接する２点間の輝度の差分が大きい点を指す。こ
の像のエッジは、たとえば画像信号をソーベルフィルタ
によって処理することによって得られる。また、画像信
号を微分してその結果から得ることもある。ゆえに、特
徴点は、参照側画像内で像の輪郭線上に設定されること
になる。

【００２２】次いで、線画像信号生成手段によって上述
の線画像信号が生成される。この線画像信号が表す線画
像は、像のエッジを示す線を含むので、探索側画像の像
の輪郭線だけが記載された画像になる。探索側画像内の
像の中で参照側画像の像が表す被写体と同じ被写体を表
す像のうちで、参照側画像内の像で特徴点が表す前記被
写体の部分と同じ部分を表す点を、その特徴点の対応点
とする。この対応点は、参照側画像と探索側画像との前
記像が合同である場合、その像が一致するように参照側
画像と探索側画像とを重ね合わせた状態で特徴点と重な
る。ゆえに、特徴点が参照側画像の像のエッジ上の点な
ので、対応点も探索側画像の像のエッジ上の点になる。

【００２３】続いて、変換手段によって上述のように線
画像信号が変換される。ずれ検出手段は、変換後の線画
像信号を用い前述の特徴点マッチング方式によって相関
を求め、その相関に基づいてずれを検出する。たとえ
ば、特徴点と線を構成する点との相関が、特徴点と線を
構成する点以外の残余の点との相関よりも大きい。相関
が最大となるときに参照側画像と探索側画像とを重ね合
わせた状態での外枠のずれが、像のずれに相当する。

【００２４】特徴点マッチング方式は、いわゆる代表点
マッチング方式と比較して、像のずれを確実に検出する
ことができる。これは以下の理由からである。代表点マ
ッチング方式では、代表点を像の輝度変化とは無関係に
設定する。たとえば文字を印刷した画像のように、像の
エッジ以外の部分である背景部分で輝度変化が少ない画
像を代表点マッチング方式によって相関を求めた場合、
代表点が背景部分に設定され易く、その対応点も背景部
分になるため、対応点近傍で輝度変化がほとんど起こら
ない。ゆえに、画像の重ね合わせ状態を変更しても、相
関がほとんど変化しない。特徴点マッチング方式は、像
のエッジ上の点を特徴点とするので、対応点も探索側画
像内の像のエッジ上にあり、かつ像のエッジ近傍では、
各点の輝度が、エッジ以外の背景部分よりも大きく変化
する。したがって、特徴点との相関を求める点を対応点
からその近傍の点に変化させて順次相関を求めたとき、
代表点マッチング方式で同じ数の相関を求めたときと異
なり、その相関の変化が像のずれを求めるのに充分なほ
ど大きくなる。したがって、特徴点マッチング方式で
は、像のずれを確実に得ることができる。

【００２５】また、特徴点マッチング方式では、参照側
画像内に１または複数の特徴点を点在させ、その各特徴
点と該特徴点に対応する対応点との相関を個別に求め
る。この特徴点の数は、いわゆるブロックマッチング方
式で用いられる参照領域内の全ての点よりも少ないの
で、ブロックマッチング方式と比較して、演算量が少な
い。したがって、ずれ検出のための演算量を減少させる
ことができるので、ブロックマッチング方式と同じ演算
速度の演算回路を用いた場合にも、ずれ検出のための計
算時間を短縮して、計算を高速化することができる。

【００２６】特徴点マッチング方式を用いた従来技術の
ずれ検出装置では、線画像信号生成手段によって生成さ
れた線画像が表す変換前の線画像の点と特徴点との相関
を求めて、この相関からずれを検出していた。この場
合、参照側および探索側画像の像に従来技術で説明した
理由によって像の歪みがあるとき、従来技術で説明した
理由によって、マッチングの精度が低下していた。

【００２７】本請求項のずれ検出装置では、変換手段に
よって変換された線画像信号が表す変換後の線画像内の
点と特徴点との相関を求める。この場合、或る特徴点と
その特徴点の対応点との相関、または或る特徴点と該対
応点近傍の点であって変換後の線画像信号が表す線画像
内で線を構成する点との相関が最大になる。線の幅を拡
大させることは、線画像内で特徴点との相関が最大に成
り得る点が存在する許容範囲を拡大することに相当す
る。すなわち、或る特徴点の対応点の存在し得る許容範
囲を拡大することになる。

【００２８】これによって、上述の像の歪みに起因して
特徴点とその対応点とが重ならない状態でも、探索側画
像内で特徴点と重なる点とその特徴点の対応点との距離
が小さければ、前記重なる点が線を構成する点になるの
で、相関が最大になる。したがって、像の歪みによって
参照側画像と探索側画像とのうちで同じ被写体を表す像
が合同ではない場合、前記重なる点がその特徴点の対応
点近傍にある重ね合わせ状態での相関が最大になる。し
たがって、特徴点と対応点とが重ならない場合でもその
重なる点が対応点近傍にあれば相関が大きくなるので、
像の歪みだけに起因して特徴点と対応点とが重ならない
第１の状態の相関は、像自体が重なっていない第２の状
態の相関よりも充分に大きくなる。

【００２９】したがって、ずれ検出手段は、第１の場合
の外枠のずれを、像のずれとして検出する。このとき、
前記重なる点と対応点との距離は小さいので、参照側画
像と探索側画像とは、同じ被写体を表す像がほぼ重なり
合い、像の歪みの分だけずれて重ね合わされている。し
たがってこの状態では、像のずれの誤差が小さい。この
ように、本請求項のずれ検出装置では、計算の高速化が
可能な特徴点マッチング手法を用いて、上述のように像
の歪みが生じた場合にも、検出されたずれの誤差が少な
くすることができる。したがって、ずれ検出のための計
算を高速化して、かつずれ検出の計算精度を向上させる
ことができる。また、ずれ検出のための演算量を減少さ
せて、かつずれ検出の計算精度を向上させることができ
る。

【００３０】本発明は、同じ被写体を表す像を含む参照
側および探索側画像を個別に表す参照側および探索側画
像信号を記憶する画像信号記憶手段と、画像信号記憶手
段から参照側画像信号を読出し、参照側画像内の点のう
ちから画像のエッジ上の点を特徴点として抽出する特徴
点抽出手段と、画像信号記憶手段から探索側画像信号を
読出し、探索側画像から像のエッジを抽出し、像のエッ
ジを示す線を含む線画像を表す線画像信号を生成する線
画像信号生成手段と、線画像信号生成手段によって生成
された線画像信号を変換して、像のエッジを示す線の幅
を拡大させる変換手段と、特徴点抽出手段によって抽出
された特徴点と、変換手段によって変換された線画像信
号が表す線画像内の各点との相関を求め、相関に基づい
て参照側および探索側画像内の像間のずれを検出するず
れ検出手段と、ずれ検出手段によって検出されたずれを
打消すように参照側および探索側画像を部分的に変形し
ながら前記像を重畳させるように、画像信号記憶手段に
記憶された参照側および探索側画像信号を読出し合成し
て、単一の合成画像を表す合成画像信号を生成する合成
手段とを含むことを特徴とする画像合成装置である。

【００３１】本発明に従えば、画像合成装置は、請求項
１のずれ検出装置と同じずれ検出手法を用いて、参照側
画像と探索側画像との像のずれを検出する。これによっ
て、請求項１と同じ理由によって、計算高速化または演
算量の減少を図り、かつずれ検出の精度を向上させるこ
とができる。合成手段は、このずれに基づいて、上述の
ように参照側および探索側画像信号を合成して、合成画
像信号を生成する。この合成画像信号が表す合成画像
は、参照側画像と探索側画像とを、前記ずれだけずら
し、かつ像の歪みを打消すように変形して重ね合わせた
画像に相当する。したがって、参照側画像と探索側画像
とに、前述した像の歪みがある場合にも、参照側画像と
探索側画像とを、同じ被写体を表す像が重なり合うよう
に、確実に合成することができる。したがって、合成精
度を向上させることができる。また、ずれ検出のための
演算量が減少されているので、合成処理全体の演算量が
減少される。また従来技術の画像合成装置と同じ演算回
路を用いている場合には、合成処理のための演算を高速
化させることができる。

【００３２】本発明は、前記線画像信号生成手段は、画
像信号記憶手段から探索側画像信号を読出し、探索側画
像から像のエッジを抽出し、探索側画像と同じ配列で点
が配列された線画像を表す線画像信号であって、各点に
個別に対応する画素データを含み、エッジ上の点に対応
する画素データが第１の値であり、エッジ上の点以外の
残余の点に対応する画素データが第２の値である線画像
信号を生成することを特徴とする。

【００３３】本発明に従えば、線画像信号生成手段は、
探索側画像信号から上述のように線画像信号を生成す
る。この生成手法は、探索側画像の各点がエッジ上の点
であるか否かに応答して、探索側画像信号を２値化する
手法と等しい。この演算手法は極めて容易であるので、
線画像信号生成手段を実現する演算回路の負担を小さく
することができ、また演算処理の時間を短くすることが
できる。これによって線画像信号のデータ量は、探索側
画像信号と比較して小さくなる。特に、探索側画像信号
が各点の輝度を３段以上の段階的な値または連続的な値
として記憶している場合、線画像信号のデータ量を、探
索側画像信号のデータ量よりも極めて小さくする事がで
きる。したがって、線画像信号を取り扱うためのメモリ
の記憶容量を小さくすることができる。また、変換手段
とずれ検出手段とでも、取り扱うデータ量が減少するの
で、線画像信号を取り扱うときの回路の負担を減少させ
ることができる。

【００３４】本発明は、前記変換手段は、前記線画像信
号生成手段によって生成された線画像信号のうちで、第
１の値の画素データに対応する点を含む線画像内の予め
定める領域内の全ての点に対応する画素データを、全て
第１の値に変換することを特徴とする。

【００３５】本発明に従えば、変換手段は、上述のよう
に線画像信号を変換する。線画像信号生成手段によって
生成された線画像信号が表す変換前の線画像のうちで対
応する画素データが第１の値である点は、像のエッジ上
の点に対応する。ゆえに、変換前の線画像では、対応す
る画素データが第１の値である点が隣接して連なること
によって、線が構成される。変換手段によって変換され
た線画像信号が表す変換後の線画像では、像のエッジ上
に対応する点を含む上述の領域内の全ての点に対応する
画素データが第１の値であるので、これら点が線を構成
する。これによって、変換手段は、前述の領域内の点に
対応する画素データを書換えるだけで、変換前の線画像
の線の幅が広がるように線画像信号を変換することがで
きる。これによって、変換手段は、極めて容易な演算処
理によって、線画像信号を変換することができるので、
演算量が減少する。したがって、変換手段を実現する演
算回路の負担を減少させることができる。

【００３６】本発明は、前記変換手段は、前記線画像信
号生成手段によって生成された線画像信号の各画素デー
タの値を、その画素データの値と該画素データが対応す
る点に線画像内で隣接する点に対応する画素データの値
との平均値に変換することを特徴とする。

【００３７】本発明に従えば、変換手段は、上述のよう
に線画像信号を変換する。この演算処理は、いわゆる２
値−多値変換であり、変換された線画像信号の各画素デ
ータは、３段階以上の異なる値になる。このとき、前記
変換前の線画像信号が表す線画像のうちで、像のエッジ
上の点には予め第１の値が付されている。第１の値が第
２の値よりも大きい場合、変換された線画像信号が表す
線画像のうちで像のエッジに対応する点に対応する画素
データは、像のエッジ近傍の点に対応する画素データよ
りも大きくなる。したがって、画素データの値の分布
は、像のエッジに対応する線上の点が最大になり、線か
ら離れるほど徐々に小さくなる。

【００３８】このような変換後の線画像信号が表す線画
像内の点と特徴点との相関を検出した場合、像のエッジ
近傍の点と特徴点との相関よりも、像のエッジ上の点と
特徴点との相関の方が大きくなる。これによって、線の
幅を拡大した場合に上述の２種類の相関が得られたと
き、像のエッジ上の点と特徴点との相関が最大となるの
で、こちらの相関から像のずれを検出する。したがっ
て、線を拡大した場合にも、像のエッジと特徴点との相
関が最大になりやすい。

【００３９】像の歪みが充分に小さい場合、請求項４の
画像合成装置では、像のエッジ上の点と特徴点との相関
と、像のエッジ近傍の点と特徴点との相関とがほぼ等し
くなるので、相関の大小だけで像のエッジ上の点と特徴
点とが重なる状態が最良の画像の重なり状態であると判
定することは困難である。本請求項の画像合成装置で
は、この場合に像のエッジ上の点と特徴点との相関が、
像のエッジ近傍の点と特徴点との相関よりも大きくなる
ので、前者の相関を求めたときの像の重なり状態から、
像のずれを検出することができる。したがって、像のず
れの誤差を、さらに小さくすることができる。

【００４０】本発明は、変換手段によって変換された線
画像信号のうちで、線画像内で隣接する点間の間隔より
も大きい予め定める間隔で配列された点に対応する画素
データを削除する削除手段をさらに含み、前記ずれ検出
手段は、特徴点抽出手段によって作成された特徴点と、
削除手段によって画素データが削除された線画像信号が
表す線画像の点との相関をとり、相関に基づいて２枚の
画像内の像のずれを検出することを特徴とする。

【００４１】本発明に従えば、画像合成装置は、請求項
２の画像合成装置と比較して、変換手段とずれ検出手段
との間に上述の削除手段を介在させ、さらにずれ検出手
段を上述のずれ検出手段に置き換えた装置である。削除
後の線画像信号が表す線画像は、変換後の線画像信号が
表す線画像と比較して、画像内の点の行および列が間引
きされている。これによって、削除後の線画像信号が表
す線画像内の全点数が、変換後の線画像信号が表す線画
像内の全点数よりも減少する。ずれ検出手段は、このよ
うな削除後の線画像信号を用いて相関を求めるので、相
関を求めるための演算処理の演算量を、請求項２の画像
合成装置のずれ検出手段よりもさらに減少させることが
できる。また、この演算処理の処理時間を、請求項２の
画像合成装置のずれ検出手段の処理時間よりも短縮する
ことができる。

【００４２】本発明は、前記線画像生成手段は、前記画
像信号記憶手段から前記探索側画像信号を読出し、探索
側画像内の全ての点のうちで、輝度変化勾配が予め定め
る閾値以上である点を抽出し、その点を連ねて構成され
る線を含む線画像を表す線画像信号を生成することを特
徴とする。

【００４３】本発明に従えば、本請求項の画像合成装置
は、請求項２の画像合成装置の線画像信号生成手段に変
わって、上述の線画像信号生成手段を用いた装置であ
る。前記線画像信号は、上述のように輝度変化勾配の大
小に応じて、点を抽出する。これら点は、たとえば像の
エッジ上の点になる。したがって、輝度変化勾配に応答
して、探索側画像信号から線画像信号を生成することが
できる。この輝度変化勾配の算出手法は、たとえば隣接
する２点の輝度の差分が予め定める値であるか否かを判
定するだけなので、判定が極めて容易である。したがっ
て、像のエッジを抽出する手法が極めて容易になるの
で、線画像信号生成手段の演算処理の演算量をさらに減
少させることができる。またこの請求項を請求項３に適
用した場合、輝度勾配の大小に応答して画素データの値
を定めることによって、演算処理が容易な判定指針によ
って像のエッジ上の点を抽出し、探索側画像信号を２値
化して線画像信号を生成することができる。

【００４４】本発明は、前記画像信号記憶手段から前記
参照側画像信号を読出し、参照側画像内の全ての点のう
ちで、輝度変化勾配が予め定める閾値以上である変化点
を抽出する変化点抽出手段をさらに含み、前記特徴点抽
出手段は、変化点抽出手段によって抽出された点のうち
から、参照側画像内で予め定める距離以上離れた点を、
特徴点として抽出することを特徴とする。

【００４５】本発明に従えば、本請求項の画像合成装置
は、請求項２の画像合成装置の特徴点抽出手段に変わっ
て、上述の特徴点抽出手段を用い、その特徴点抽出手段
と画像記憶手段との間に変化点抽出手段を介在させた装
置である。変化点抽出手段は、上述のように変化点を抽
出する。この変化点は、輝度変化勾配が予め定める閾値
以上である点なので、像のエッジ上の点に相当する。特
徴点抽出手段は、この変化点のうちから、上述のように
特徴点を抽出する。これによって、特徴点は、像のエッ
ジ上の点であり、かつ相互に予め定める距離だけ離れ
る。したがって、特徴点は、参照側画像内で相互に予め
定める距離だけ離れて点在するので、特徴点が画像内の
一部分にかたまることがない。特徴点マッチング方式で
は、特徴点が点在しているほうが、像のずれを確実に検
出することができて好ましい。ゆえに本請求項の画像合
成装置では、像のずれを確実に検出することができる。

【００４６】また、上述の変化点検出手段の動作は、請
求項７で説明した線画像信号生成手段のうちで線を構成
する点を抽出する手法と等しい。したがって、線画像信
号生成手段によって参照側画像信号からその像のエッジ
を表す線から構成される線画像信号を生成し、特徴点抽
出手段はこの線画像信号に基づいて特徴点を抽出しても
よい。この場合、画像合成装置の構成を簡略化すること
ができる。

【００４７】本発明は、前記特徴点抽出手段は、画像信
号記憶手段から参照側画像信号を読出し、参照側画像内
の点の中で隣接する２点の輝度を両端とする範囲内に参
照側画像の各点の輝度の平均値が含まれる点のうちか
ら、相互に予め定める距離以上離れた点を、特徴点とし
て抽出し、前記線画像生成手段は、前記画像信号記憶手
段から前記探索側画像信号を読出し、探索側画像内の点
の中で隣接する２点の輝度を両端とする範囲内に探索側
画像の点の輝度の平均値が含まれる点を抽出し、その点
を連ねて構成される線を含む線画像を表す線画像信号を
生成することを特徴とする。

【００４８】本発明に従えば、本請求項の画像合成装置
は、請求項２の画像合成装置の特徴点抽出手段と線画像
生成手段とに変わって、上述の特徴点抽出手段と線画像
生成手段を用いた装置である。前記線画像信号は、上述
のように特徴点を抽出する。これによって、参照側画像
と探索側画像とのうちで、各点間の輝度変化勾配が小さ
い場合にも、特徴点を抽出することができる。また、線
画像信号抽出手段も、特徴点抽出手段と同じ条件で点を
抽出して線画像信号を生成する。これによって、線画像
内の線上の点またはその点の近傍の点が、特徴点の対応
点になる。したがって、参照側画像と探索側画像とのう
ちで各点間の輝度変化勾配が小さい場合にも、請求項１
と同じ理由から、特徴点マッチング方式を用いて、計算
高速化または演算量の減少を図り、かつずれ検出の精度
を向上させることができる。したがって、この画像合成
装置でも、従来技術の画像合成装置と比較して、合成処
理のための演算量を減少させて、合成処理の処理時間を
短縮することができる。

【００４９】本発明は、同じ被写体を表す像を含む参照
側および探索側画像を個別に表す参照側および探索側画
像信号を記憶する画像信号記憶手段と、画像信号記憶手
段から参照側画像信号を読出し、参照側画像信号が表す
画像内に、予め定める大きさを有する参照領域を複数設
定し、各参照領域内の点のうちから、画像のエッジ上の
点を特徴点として抽出する特徴点抽出手段と、画像信号
記憶手段から探索側画像信号を読出し、探索側画像から
像のエッジを抽出し、像のエッジを示す線を含む線画像
を表す線画像信号を生成する線画像信号生成手段と、参
照領域毎に、線画像信号生成手段によって生成された線
画像信号が表す線画像内に参照領域よりも大きい探索領
域を設定し、特徴点抽出手段によって抽出された参照領
域内の特徴点と、前記線画像のうちで前記探索領域内の
各点との相関を求め、相関に基づいて探索領域と参照領
域とのうちの像のずれを検出するずれ検出手段と、画像
信号記憶手段から参照側および探索側画像信号を読出
し、ずれ検出手段によって検出された複数のずれに基づ
いて参照側および探索側画像間の像の傾きを求め、その
傾きを打消す方向に各画像を相対的に角変位させるよう
に、各画像信号を回転変換する回転変換手段と、ずれ検
出手段によって検出されたずれを打消すように参照側お
よび探索側画像を部分的に変形しながら前記像を重畳さ
せるように、回転変換手段によって回転変換された参照
側および探索側画像信号を合成して、単一の合成画像を
表す合成画像信号を生成する合成手段とを含むことを特
徴とする画像合成装置である。

【００５０】本発明に従えば、本請求項の画像合成装置
は、参照側画像内に複数の参照領域を設け、探索側画像
に複数の探索領域を設けて、参照領域と探索領域との組
毎に、請求項２で説明した特徴点マッチング方式を用い
て像のずれを検出する。これによって、請求項２で説明
した理由によって、代表点マッチング手法を用いた場合
よりも確実にずれを検出することができ、またブロック
マッチング方式を用いた場合よりもずれ検出のための演
算量を減少させかつずれ検出のための処理時間を短縮す
ることができる。また、参照領域と探索領域との組が複
数あるので、両画像のうちで異なる位置に設定された参
照及び探索領域の組で得られた像のずれから、参照側画
像に対する探索側画像の傾きを求めることができる。

【００５１】この画像合成装置では、ずれを検出した
後、回転変換手段によって参照側画像信号と探索側画像
信号とを上述のように回転変換して、回転変換後の参照
側および探索側画像信号を、合成手段によって上述のよ
うに合成する。特徴点マッチング方式を用いた従来技術
の画像合成装置では、ずれを検出した後、参照側画像信
号と探索側画像信号とをそのまま合成していた。一般的
に、複数の重ね合わせ状態での相関を求めるために画像
を移動させる場合、参照側および探索側画像はその内部
の画素配列に平行に相対的に移動される。この場合、参
照側画像の像と探索側画像の像とに、像の回転を含む像
の歪みがあるとき、たとえば参照側画像内の像の中心線
と画素の配列方向に平行な直線との角度と探索側画像内
の像の中心線と前記直線との角度が異なる。このときに
上述のように画像を移動させて相関を求めると、両画像
の像が合同である場合にも、像の傾きによって、その像
に歪みがあると見なされる。このとき、合成手段は、こ
の歪みを打ち消すように画像を変形させるように、画像
信号を合成するので、探索側画像を大きく変形しなけれ
ばならないことがある。

【００５２】本請求項の画像合成装置では、回転変換手
段によって参照側および探索側画像信号を回転変換して
から、参照側および探索側画像信号を合成する。これに
よって、像の歪みのうちで像の傾きを、回転変換によっ
て相殺することができるので、回転変換後の参照側およ
び探索側画像信号を合成するとき、画像の変形によって
打ち消さなければならない像の歪みが小さくなる。した
がって、画像の変形量が小さくなる。これによって、画
像の変形量を小さくすることができるので、合成画像内
で像を滑らかにつなげることができる。

【００５３】本発明は、被写体を、一部分が重複する一
対の第１領域に分割し、さらに各第１領域を相互に重複
する複数の第２領域に分割して撮像して、第２領域内の
被写体を表す像を含む原画像を表す原画像信号を生成す
る撮像手段と、第１領域毎に、撮像手段によって生成さ
れた各原画像信号を、その原画像信号が表す原画像のう
ちで像が重複する領域を表す部分が重畳されるように合
成して、前記参照側および探索側信号を生成して、前記
画像信号記憶手段に記憶させる初期合成手段をさらに含
むことを特徴とする。

【００５４】本発明に従えば、請求項９の画像合成装置
は、上述の撮像手段と初期合成手段とをさらに備える。
これら手段によって、参照側および探索側画像信号が生
成される。このような手法で得られる画像は、たとえば
１次元の撮像素子を含むハンドスキャナによって得られ
た画像であり、また２次元の撮像素子を含む撮像手段に
よって得られた原画像を順次つなげた画像である。これ
ら画像では、従来技術で説明した撮像素子の移動時の誤
差によって、参照側画像の像と探索側画像の像とに、画
像の傾きを含む像のずれが生じやすい。このような手段
で得られた参照側画像と探索側画像とを、請求項８の画
像合成装置によって合成することによって、参照側画像
と探索側画像との間の画像の傾きを相殺し、かつ画像の
変形量を小さくして、両画像を合成することができる。

【００５５】また、原画像のうちで、画像信号生成手段
によって原画像を順次つなぎ合わせるための重複部分と
なる辺と、参照側画像と探索側画像との間で画像を重ね
合わせるための重複部分となる辺とが直交するようにし
た場合、初期合成手段での初期合成処理と合成手段での
合成処理とによって、原画像が相互に直交する２方向に
向かって順次重ね合わされる。したがって、原画像を、
２方向に延長することができる。したがって、撮像手段
によって得られた原画像よりも２方向について高精細な
合成画像、あるいは原画像よりも広画角で広範囲の合成
画像を得ることができる。また、この撮像手段と初期合
成手段とは、請求項２の画像合成装置にさらに付加して
もよい。このときも、上述の理由から、２方向について
高精細あるいは広画角および広範囲の合成画像を得るこ
とができる。

【００５６】本発明は、同じ被写体を表す像を含む参照
側および探索側画像を個別に表す参照側および探索側画
像信号を記憶する画像信号記憶手段と、画像信号記憶手
段から参照側画像信号を読出し、参照側画像信号が表す
画像内に、予め定める大きさを有する参照領域を複数設
定し、各参照領域内の点のうちから、画像のエッジ上の
点を特徴点として抽出する特徴点抽出手段と、画像信号
記憶手段から探索側画像信号を読出し、探索側画像から
像のエッジを抽出し、像のエッジを示す線を含む線画像
を表す線画像信号を生成する線画像信号生成手段と、線
画像信号生成手段によって生成された線画像信号を変換
して、像のエッジを示す線の幅を拡大させる変換手段
と、参照領域毎に、変換手段によって変換された線画像
信号が表す線画像内に参照領域よりも大きい探索領域を
設定し、特徴点抽出手段によって抽出された参照領域内
の特徴点と、前記線画像のうちで前記探索領域内の各点
との相関を求め、相関に基づいて参照領域と探索領域と
の内の像のずれを検出するずれ検出手段と、画像信号記
憶手段から参照側および探索側画像信号を読出し、ずれ
検出手段によって検出された複数のずれに基づいて、２
枚の画像間の像の回転角度を求め、その回転角度を打消
す方向に各画像が相対的に角変位するように、各画像信
号を回転変換する回転変換手段と、ずれ検出手段によっ
て検出されたずれを打消すように各画像を部分的に変形
しながら前記像を重畳させるように、回転変換手段によ
って回転変換された参照側および探索側画像信号を合成
して、単一の合成画像を表す合成画像信号を生成する合
成手段とを含むことを特徴とする画像合成装置である。

【００５７】本発明に従えば、請求項１２の画像合成装
置は、請求項２の画像合成装置に、請求項１０の回転変
換手段を付加した装置である。この装置では、請求項１
と同じ理由によって、計算高速化または演算量の減少を
図り、かつずれ検出の精度を向上させることができる。
さらに、請求項１０で説明したように、画像の変形量を
小さくすることができるので、合成画像内で像が滑らか
につなげることができる。これによって、請求項１２の
画像合成装置は、請求項２，１０の画像合成装置より
も、合成精度を向上させることができる。またこの請求
項に請求項１１を適用することによって、２方向につい
て原画像よりも広画角および広範囲な画像または高精細
な画像を、精度よく生成することができる。 〔発明の詳細な説明〕

【００５８】図１は、本発明の第１実施形態である画像
合成装置１の電気的構成を示すブロック図である。画像
合成装置１は、複数の画像を合成して、撮像素子の１回
の撮像で得られる原画像よりも高精細または広画角で広
範囲の画像を得る。画像合成装置１は、ずれ検出装置
２、画像取込み装置３，合成処理回路１４および出力回
路１５を含んで構成される。ずれ検出装置２は、画像メ
モリ４、ラインメモリ５、２値化回路６、特徴データ用
メモリ７、特徴点抽出回路８、変換回路１０、演算用メ
モリ１２および相関演算回路１３を含んで構成される。

【００５９】画像取込み装置３は、合成対象となる対象
画像を表す対象画像信号を複数取得する。この画像取込
み装置３は、撮像部３ａと初期合成部３ｂとを備え、撮
像部３ａ内の撮像素子によって得られた複数の原画像
を、初期合成部３ｂによって合成して出力する装置であ
ってもよい。また、いわゆる電子スチルカメラおよびス
キャナによって得られた対象画像信号を入力するための
入力装置であっても良い。対象画像は、複数の画素が行
列状に配置されて構成される。以後、図面を記載する紙
面上で横方向に直線上に並べられた一群の画素を「行」
と称し、前記紙面上で縦方向に直線状に並べられた一群
の画素を「列」と称する。対象画像信号は、各画素に対
応しその画素の画像内の位置と輝度とを表す輝度データ
から構成される。

【００６０】画像取込み装置３に取込まれた複数の対象
画像信号は、各対象画像毎に輝度データ単位で画像取込
み装置３から画像メモリ４に転送されて記憶される。ま
たこの輝度データは、ラインメモリ５と２値化回路６と
に与えられる。ラインメモリ５は、与えられた全輝度デ
ータのうちで予め定める数の画素に対応する輝度データ
を順次記憶し、新たな輝度データが与えられるたびに、
その輝度データよりも前にラインメモリ５に与えられた
輝度データであって、その輝度データが対応する画素に
隣接する画素の輝度データを２値化回路６に与える。

【００６１】２値化回路６は、画像取込み装置３から与
えられた輝度データとラインメモリ５から与えられた輝
度データとに基づいて、対象画像信号を輝度変化勾配に
応じて２値化することによって、線画像信号を生成す
る。線画像信号は、画像合成処理の過程で生成され、画
像信号と同じ信号構成の信号であるが、実際には線画像
信号が表す線画像は操作者に対して目視表示されない。
この説明のうちで線画像とは、線画像信号の内容を表す
ための仮想的な画像である。この線画像内の線は、前記
対象画像信号が表す対象画像のうちで輝度変化勾配が予
め定める値以上である部分、すなわち像のエッジを表
す。線画像信号の生成のために２値化された対象画像
を、線画像の元の対象画像とする。線画像信号は、特徴
データ用メモリ７に記憶される。

【００６２】特徴点抽出回路８は、特徴データ用メモリ
７に記憶された線画像信号を読出し、この線画像信号が
表す線画像の線を構成する画素、すなわち元の対象画像
のうちで像のエッジ上の画素を特徴点画素として抽出
し、その特徴点画素の対象画像内での位置を表す座標
を、メモリ９に記憶させる。変換回路１０は、特徴デー
タ用メモリ７に記憶された線画像信号を読出し、この線
画像信号が表す線画像の線の幅が太くなるように線画像
信号を変換して、変換画像信号を生成する。変換画像信
号は、線画像信号と同じ意味の信号であり、変換画像信
号が表す変換画像は目視表示されない仮想的な画像であ
る。変換画像は、前述の線画像と比較して線の太さが異
なり、他は等しい。変換画像信号は、メモリ１１に記憶
される。メモリ９，１１から、演算用メモリ１２が構成
される。

【００６３】相関演算回路１３は、演算用メモリ１２の
記憶内容を参照して、特徴点画素と変換画像内の画素と
の相関を求め、その相関から２枚の対象画像の像のずれ
および像の歪みを検出する。合成処理回路１４は、画像
メモリ４に記憶された一対の対象画像信号を読出し、一
対の対象画像を像のずれを相殺するように重ね合わせ、
一対の対象画像が相関演算回路１３で求められた像の歪
みを打消すように画像を変形しつつ重ねるように、一対
の対象画像信号を合成して、合成画像信号を生成する。
合成画像信号は、出力回路１５を介して、外部の印刷機
および表示装置に与えられて、目視表示される。各回路
６，８，１０，１３の詳細な処理は後述する。

【００６４】図２は、図１の画像合成装置の画像合成処
理を概略的に説明するためのフローチャートである。画
像合成処理の開始が指示されると、ステップａ１からス
テップａ２に進む。

【００６５】ステップａ２では、画像取込み装置３によ
って、合成対象となる一対の対象画像信号が取得され
る。第１実施形態では、各対象画像信号は、それぞれ、
２次元の撮像素子で被写体を撮像して得られた画像信号
であり、両対象画像は矩形の外枠を有する２次元画像で
あるとする。両画像信号が表す対象画像の中に、同じ被
写体を表す像が含まれ、両対象画像の基準位置に対する
この像の相対位置は異なる。このため、両対象画像は部
分的に重複可能であり、両対象画像を同じ被写体を表す
像が重なるように重ね合わせることができる。

【００６６】次いで、ステップａ２〜ａ７で、ずれ検出
装置２におけるマッチング処理が行われる。このマッチ
ング処理では、処理対象の一対の対象画像について、像
のずれおよび像の歪みを、特徴点マッチング方式によっ
て求める。詳しくは、まず、ステップａ３で、一対の対
象画像信号のうちのいずれか一方を、参照用の対象画像
として、その対象画像内のうちで前記同じ被写体を表す
像を含む領域に、１または複数の参照領域を設定する。
同様に、一対の対象画像信号のうちのいずれか他方を探
索用の対象画像として、その対象画像のうちで前記同じ
被写体を表す像を含む領域に、各参照領域に対応する探
索領域を設定する。

【００６７】次いで、ステップａ４では、２値化回路６
が、両対象画像信号を２値化して参照用線画像信号と探
索用線画像信号とを生成して、特徴データ用メモリ７に
記憶させる。続いて、ステップａ５では、変換回路１０
は、両線画像信号を個別に変換して、参照用変換画像信
号と探索用変換画像信号とを生成する。続いて、ステッ
プａ６では、参照用線画像信号を参照して、特徴点抽出
回路８が、参照用対象画像内の画素のうちから特徴点画
素を抽出する。続いて、ステップａ７で、相関演算回路
１３は、参照領域と探索領域との組毎に相関演算を行
い、参照領域と探索領域との中の像のずれと該像の歪み
とを得るための対応領域の位置を求める。これによっ
て、マッチング処理が終了する。

【００６８】最後に、ステップａ８で、合成処理回路１
４は、相関演算回路１３で求められた対応領域の位置か
ら、像のずれと像の歪みとに基づいて、前記一対の対象
画像信号を変形しつつ合成して、合成画像信号を生成す
る。生成後、ステップａ９で画像合成処理を終了する。

【００６９】以下に、ずれ検出装置２のマッチング処理
を、図３に表す対象画像２１，２２を処理対象としてマ
ッチング処理を行う場合を例として、詳細に説明する。
以後の説明の中の図面の説明で、「上」、「下」、
「右」、「左」とあるのは、図面が記載された紙面上で
の向きを指し、処理対象となる画像の向きとは無関係で
ある。

【００７０】図３は、ステップａ１の取得処理によって
画像取込み装置３が取り込んだ一対の対象画像信号が表
す対象画像２１，２２を表す模式図である。対象画像２
１，２２はそれぞれ矩形の画像であり、縦方向の長さが
等しい。以下の説明では、対象画像２１を参照側の対象
画像とし、対象画像２２を探索側の対象画像とする。対
象画像２１の行を構成する画素の数をＭ、列を構成する
画素の数をＮとし、１以上Ｍ以下の任意の整数をｍ、１
以上Ｎ以下の任意の整数をｎとする。これら対象画像内
の画素のうち、ｎ行ｍ列に属する画素を（ｍ，ｎ）と表
す。さらに、対象画像２１，２２には、画像内で、画
素、領域および像などの位置を表すためのｘｙ直交座標
系が設定される。この座標系のために、対象画像２１，
２２には、その行に平行なｘ座標軸と、その列に平行な
ｙ座標軸とが設定され、座標系の原点をたとえば左上隅
の頂点とする。この原点は、対象画像２１，２２内の位
置を表すための基準位置であり、各対象画像２１，２２
内の位置は、この基準位置に対する相対位置として表さ
れる。

【００７１】対象画像２１，２２には、同じ被写体を表
す像２３，２４が含まれる。この被写体は、たとえば紙
面に印刷された「あいうえおかきくけこ」の文字であ
る。像２３は対象画像２１の右端部にあり、像２４は対
象画像２２の左端部にある。対象画像２１の上辺２５と
像２３の上端２６との距離２７は、対象画像２２の上辺
２８と像２４の上端２９との距離３０よりも長い。すな
わち、対象画像２１内の像２３の位置と、対象画像２２
内の像２４の位置とは異なり、また像２３をｘ座標軸に
平行な方向に平行移動させても、像２４の前記位置とは
一致しない。

【００７２】対象領域２１，２２のうちで同じ被写体を
表す像２３，２４が含まれ得る領域を、対象画像２１，
２２の重複領域３１，３２とする。この対象画像２１，
２２は、予め重複領域３１，３２の位置が定められてお
り、操作者は、対象画像２１，２２を生成させるとき、
この重複領域３１，３２に同じ被写体を表す像２３，２
４が含まれるように被写体を撮像する。図３の例では、
重複領域３１は、対象画像２１のうちで中央部から右辺
までの領域であり、重複領域３２は、対象画像２２のう
ちで左辺から中央部までの領域である。

【００７３】以下に、ステップａ３の参照領域と探索領
域との設定処理を詳細に説明する。参照領域は、参照用
の対象画像２１の重複領域３１内に、予め定める数ｉ個
設定される。ｉは任意の整数である。図３の例では、参
照領域Ｅ１〜Ｅｉが、右辺近傍に設定された基準軸線ｈ
１上にその中心点が配置され、かつ隣接する２つの参照
領域Ｅ１の中心点の間隔が予め定める間隔になるよう
に、設定される。各参照領域Ｅ１〜Ｅｉの横幅Ｗ１は、
たとえば約１００〜２００画素分である。探索領域は、
探索用の対象画像２２の重複領域３２内に、各参照領域
Ｅ１〜Ｅｉに対応して同じ数だけ設定される。図３で
は、参照領域Ｅ１，Ｅ２，Ｅｉに対応して設定される探
索領域Ｆ１，Ｆ２，Ｆｉだけを記載する。探索領域Ｆ１
〜Ｆｉは相互に重なっていても良い。各探索領域Ｆｉ〜
Ｆｉの大きさは、対応する参照領域Ｅ１〜Ｅｉよりも大
きく、その横幅Ｗ２は探索側の対象画像２２の横幅の約
半分である。

【００７４】対象画像２１内の参照領域Ｅ１〜Ｅｉの位
置と、対象画像２２内の探索領域Ｆ１〜Ｆｉの位置は、
予め経験的に決定され、一対の対象画像信号が与えられ
るたびに、その決定された位置に設定されるようにして
もよい。また、画像取込み装置３が電子スチルカメラで
あるような移動可能な装置である場合、装置の移動量を
センサで検出し、その移動量に基づいて、一対の対象画
像２１，２２の重なり状態を予測し、その予測結果に基
づいて参照領域Ｅ１〜Ｅｉの位置と探索領域Ｆ１〜Ｆｉ
の位置を決定してもよい。

【００７５】以下に、ステップａ４の２値化処理につい
て詳細に説明する。この２値化処理には、ラインメモリ
５と２値化回路６と特徴データ用メモリ７とが用いられ
る。画像取込み装置３は、対象画像信号を構成する各輝
度データを、図３に表すように、Ｘ方向を主走査方向と
し、Ｙ方向を副走査方向として、走査された画素に対応
する輝度データを順次出力する。以後、画像取り込み装
置３から出力された輝度データに対応する画素を、処理
対象の対象画素とする。ラインメモリ５と２値化回路６
とは、画素単位で以下に説明する一連の処理を行い、そ
の処理結果として得られる画素データを特徴データ用メ
モリ７に記憶させる。或る対象画像を構成する各画素に
ついて、この処理を繰返し、或る対象画像を構成する全
画素について一連の処理が終わった時点で、ステップａ
４の処理が終了する。

【００７６】図４（Ａ）は、ラインメモリ５の具体的な
電気的構成を表すブロック図である。ラインメモリ５
は、たとえば、対象画像２１，２２の単一本の行を構成
する画素の数Ｍと同数のレジスタＲ（１）〜Ｒ（Ｍ）を
有し、各レジスタＲ（１）〜Ｒ（Ｍ）がこの順で直線状
に縦列接続される。画像取込み装置３から対象画素の輝
度データが与えられると、まず各レジスタＲ（１）〜Ｒ
（Ｍ−１）に個別に記憶された輝度データが、そのレジ
スタの次段のレジスタＲ（２）〜Ｒ（Ｍ）に転送されて
記憶される。同時に、最後段のレジスタＲ（Ｍ）に記憶
されていた輝度データと、最前段のレジスタＲ（１）か
ら次段のレジスタＲ（２）に転送されたデータとが、２
値化回路６に与えられる。次いで、画像取込み装置３か
らの輝度データが最前段のレジスタＲ（１）に記憶され
る。

【００７７】ゆえに、図３で説明した順で画像取込み装
置３が輝度データを出力した場合、ラインメモリ５に
は、対象画素から，該対象画素から矢符３４で表す走査
方向とは逆方向に１行の画素の数Ｍだけ溯った画素まで
のＭ個の画素に個別に対応する輝度データが記憶され
る。たとえば、図３の参照側の対象画像２１のうちでｎ
行ｍ列の画素（ｍ，ｎ）に対応する輝度データが画像取
込み装置３から出力された時点では、図４（Ａ）に示す
ように、最前段のレジスタＲ（１）はｎ行ｍ−１列の画
素（ｍ−１，ｎ）に対応する輝度データを記憶し、最後
段のレジスタＲ（Ｍ）はｎ−１行ｍ列の画素（ｍ，ｎ−
１）に対応する輝度データを記憶する。図４（Ｂ）に表
すように、画素（ｍ，ｎ），（ｍ−１，ｎ）は、同じ行
内にあってかつ隣接し、画素（ｍ，ｎ），（ｍ−１，
ｎ）は、同じ列内にあってかつ隣接する。これによっ
て、ラインメモリ５から２値化回路６には、対象画素と
同じ行内にあってかつ隣接する画素に対応する輝度デー
タと、対象画素と同じ列内にあってかつ隣接する画素に
対応する輝度データとが与えられる。

【００７８】このように、ラインメモリ５を備えておく
ことによって、対象画素に隣接する２つの画素の輝度デ
ータを、２値化回路６が容易に取得することができる。
このラインメモリ５は、ラインメモリ以外のメモリ、た
とえば対象画像信号の全輝度データを記憶可能な記憶要
領をもつメモリに置き換えてもよい。ラインメモリを用
いた場合、前記隣接する画素の輝度データを取得させる
ためのメモリのメモリ容量を小さくすることができる。
ゆえに、画像合成装置１の回路構造が簡略化される。

【００７９】２値化回路６は、対象画像２１，２２の像
のエッジを検出して、そのエッジを表す線から構成され
る線画像を表す線画像信号を生成する。この線画像信号
は、対象信号２１，２２の画素の数と同数の画素データ
を有し、各画素データは、線画像４１，４２の各画素に
対応付けられる。線画像と対象画像とは同じ画素配列の
画像であり、同じように座標系が設定される。線画像内
で、対象画像内の或る画素と同じ位置の画素、すなわち
対象画像内の或る画素に対応する画素に対応づけられた
画素データは、対象画像内の前記或る画素の輝度変化勾
配によって定められる。画素データは、その画素の輝度
変化勾配が予め定める値以上であるときに１となり、輝
度変化勾配が予め定める値未満であるとき０になる。線
画像信号を線画像として仮想的に目視表示する場合に画
素データが１の画素を黒色表示して画素データが０であ
る画素を白色表示したとき、黒色表示された画素が連な
って、像のエッジを表す線を構成する。

【００８０】図５は、２値化回路６の具体的な処理を説
明するための模式図である。具体的には、画像取込み装
置３から対象画素の輝度データが与えられた場合、式１
に表すように、その対象画素と同じ行で隣接する画素お
よび同じ列内で隣接する画素について個別に、その輝度
データとラインメモリ５から与えられた各輝度データと
の差分の絶対値が、予め定める閾値Ｔｈよりも大きいか
否かを判定する。行内の２つの画素の輝度データの差分
は、前記この行内の輝度変化のうちで対象画素での輝度
変化勾配に相当する。列内の２つの画素の輝度データの
差分は、前記この列内の輝度変化のうちで対象画素での
輝度変化勾配に相当する。

【００８１】２つの前記差分の絶対値分のうちで少なく
とも一方が閾値Ｔｈよりも大きいである場合、対象画素
に対応する画素データを１とする。２つの前記差分の絶
対値が共に閾値Ｔｈ以下である場合、対象画素に対応す
る画素データを０にする。この画素データは、特徴デー
タ用メモリ７に与えられて記憶される。ゆえに、線画像
信号内では、各画素に対応する画素データが、Ｘ方向を
主の順としてＹ方向を従の順とした順序で順次並べられ
る。このような手法で輝度変化勾配を算出することによ
って、対象画像が像のエッジ上の画素であるか否かを判
定することができる。すなわち、輝度変化勾配に基づい
て、像のエッジを検出することができる。 ｜（ｍ，ｎ）の輝度−（ｍ−１，ｎ）｜の輝度＞Ｔｈ または、および ｜（ｍ，ｎ）の輝度−（ｍ，ｎ−１）｜の輝度＞Ｔｈ …（１）

【００８２】また、このラインメモリ５に代わって、レ
ジスタの数が対象画像の行を構成する画素の数Ｍの２倍
であるラインメモリを用いても良い。この場合、対象画
素が画素（ｍ，ｎ）であれば、ラインメモリからは、同
じ行内の画素のうちで画素（ｍ，ｎ）に隣接する画素
（ｍ−１，ｎ）の輝度データと、前記行内で該画素（ｍ
−１，ｎ）に隣接する画素（ｍ−２，ｎ）の輝度データ
と、同じ列内で画素（ｍ，ｎ）に隣接する画素（ｍ，ｎ
−１）の輝度データと、前記列内で該画素（ｍ，ｎ−
１）に隣接する画素（ｍ，ｎ−２）との輝度データが与
えられる。これら輝度データから対象画素の輝度変化勾
配を求める場合、参照する輝度データの数が多いので、
雑音の影響を除去することができる。この雑音は、画像
取込み装置３で対象画像を取得したときに外部から対象
画像信号に混入した光学的雑音および電気的雑音、なら
びに画像取り込み装置３から２値化回路６までの電気回
路に重畳される雑音を含む。したがって、像のエッジを
抽出するときの精度を向上させることができる。

【００８３】さらに、２値化処理の別の手法を以下に説
明する。この手法では、まず、対象画像２１，２２の全
画素の輝度の平均値Ｔｈａｖを求める。次いで、平均値
Ｔｈａｖを閾値として、隣接する２つの画素の輝度を両
端とする範囲内にこの閾値が入るか否かを判定し、その
判定結果に応じて画素データの値を定める。具体的に
は、次式に示すように、対象画素が画素（ｍ，ｎ）であ
るとき、画素（ｍ，ｎ），（ｍ−１，ｎ），（ｍ，ｎ−
１）の輝度を平均値Ｔｈａｖと比較する。画素（ｍ，
ｎ）の輝度が平均値Ｔｈａｖ以下であり、画素（ｍ，ｎ
−１），（ｍ−１，ｎ）のうちの少なくとも一方の輝度
データが平均値Ｔｈａｖよりも大きいとき、画素データ
を１とする。画素（ｍ，ｎ），（ｍ，ｎ−１），（ｍ−
１，ｎ）がすべて平均値Ｔｈａｖよりも大きいとき、お
よび画素（ｍ，ｎ），（ｍ，ｎ−１），（ｍ−１，ｎ）
がすべて平均値Ｔｈａｖ以下であるとき、画素データを
０とする。 （ｍ，ｎ）の輝度＜Thav、ならびに （ｍ，ｎ−１）の輝度＞Thav、または（ｍ−１，ｎ）の輝度＞Thav …（２）

【００８４】これによって、２値化回路６は、像のエッ
ジ上の画素に代わって、輝度が変化して平均値を横切る
ような画素を抽出する。以後、この画素を、像のエッジ
上の画素と同等に扱い、処理を行う。これによって、対
象画像内で輝度変化が少なく、像のエッジが検出しにく
い場合にも、特徴点を抽出し、また線画像信号を生成す
ることができる。これによって、輝度変化の少ない画
像、たとえば風景画像や背景と像との輝度が近い画像を
対象画像として、画像合成処理を行うことができる。

【００８５】図６は、一対の線画像信号が表す線画像４
１，４２を表す模式図である。この線画像信号は、図３
で説明した一対の対象画像を表す対象画像信号を処理対
象としてステップａ４の２値化処理を行って得られたも
のであり、処理が終了した時点で特徴データ用メモリ７
に記憶されている。図３の対象画像２１，２２では、像
のエッジになり得る点は、文字を表す像の輪郭線上の点
なので、各対象画像２１，２２に対応する線画像４１，
４２は、文字を表す像の輪郭線だけが描かれた画像にな
る。図６の線画像は、図３の対象画像と比較して、像２
３，２４が像の輪郭線４３，４４に置換えられた点が異
なり、他は等しい。

【００８６】図７は、図６の線画像４２の一部分を拡大
して表す模式図である。図７では、行列状に配置された
矩形領域が線画像４２の画素に相当し、その矩形領域内
の数値がその画素に対応する画素データの値を表す。数
値が記載されていない矩形領域に相当する画素の画素デ
ータの値は０である。図７から、これら画素のうち、こ
の線画像４２の元の対象画像２２のうちで被写体を表す
像がある領域５１の周辺部５２の画素の画素データの値
だけが１であり、領域５１以外の残余の領域の画素の画
素データ、および領域５１のうちで周辺部５２よりも内
側にある画素の画素データの値が０であることが分か
る。図７では、周辺部５２の画素に斜線を付して示す。
すなわち、画素データの値が１である画素は、像のエッ
ジ上の画素であることが分かる。

【００８７】以下に、ステップａ５の太線化処理につい
て詳細に説明する。この太線化処理には、特徴データ用
メモリ７と変換回路１０とメモリ１１とが用いられる。
この太線化処理は、ステップａ４の２値化処理が或る対
象画像について終了して、特徴データ用メモリ７に図６
で表すような線画像信号が記憶された時点から開始され
る。変換回路１１は、画素単位で以下に説明する処理を
行い、その処理結果として得られる画素データをメモリ
１１に記憶させる。或る線画像を構成する各画素につい
てこの一連の処理を繰返し、或る線画像を構成する全画
素について一連の処理が終わった時点で、ステップａ５
の処理が終了する。

【００８８】図８は、変換回路１０の具体的な処理を説
明するための模式図である。変換回路１０は、特徴デー
タ用メモリ７に記憶された線画像信号を変換して、変換
画像信号を生成する。この変換画像信号は、たとえば、
前記線画像信号の各画素データの値を、その画素データ
と対象画像内で前記画素データに対応する画素の周辺の
画素に対応する画素データとの平均値に置換えたもので
ある。ゆえに、変換画像と線画像と対象画像とは同じ画
素配列の画像であり、同じように座標系が設定される。
また、変換画像の画素は、対象画像内で該画素と同じ位
置の画素、および線画像内で該画素と同じ位置の画素と
対応する。

【００８９】画素（ｍ，ｎ）を処理対象の対象画素とす
る場合、変換回路１０は特徴データ用メモリ７から画素
（ｍ，ｎ），（ｍ，ｎ−１），（ｍ，ｎ＋１），（ｍ−
１，ｎ），（ｍ＋１，ｎ）の画素データを読出す。これ
ら５つの画素データから、式３に基づいて平均値を算出
して、画素データの値をその平均値とを置換える。この
変換処理は、いわゆる２値多値変換である。

【００９０】

【数１】

【００９１】太線化処理は、実際には、画素データが１
または０のいずれかの値を取るので、画素（ｍ，ｎ），
（ｍ，ｎ−１），（ｍ，ｎ＋１），（ｍ−１，ｎ），
（ｍ＋１，ｎ）のうちで画素データが１だった画素の数
を計数し、その計数結果を平均値に代わって画素データ
の値と置換えてもよい。さらに、画素データを平均値と
置換える代わりに、線画像のうちで画素データが１であ
る画素を含む予め定める領域を検索し、検索された領域
内の全ての画素の値を１に変換してもよい。この変換画
像信号を目視表示する場合、画素データが１以上の画素
を黒色表示して画素データが０である画素を白色表示し
たとき、黒色表示された画素が連なって線を構成する。
したがって、上述の太線化処理によって、線画像の細線
の幅が拡大されることが分かる。

【００９２】図９は、変換画像信号が表す変換画像４
５，４６を表す模式図の部分拡大図である。この変換画
像信号は、図６で説明した線画像４１，４２を表す線画
像信号を処理対象としてステップａ５の太線化処理を行
って得られたものであり、処理が終了した時点でメモリ
１１に記憶されている。図６の線画像４１，４２では、
像のエッジは細線で描かれていたが、図９の変換画像４
５，４６では、像のエッジはその細線を中心線として細
線よりも幅の広い太線によって描かれる。これによっ
て、線画像の線の幅が拡大されたことが分かる。変換画
像４５，４６は、図６の線画像４１，４２と比較して、
像の輪郭線を描く線が細線から太線に変更された点が異
なり、他は等しい。線の変更後の輪郭線４３，４４を、
輪郭線４７，４８とする。

【００９３】図１０は、図９の変換画像の一部分を拡大
して表す模式図である。この模式図は、図７で説明した
線画像を変換回路１０によって変換して得られた変換画
像を表す。図の矩形領域と数値との意味付けと、領域５
１および周辺部５２の意味付けとは、図７と等しい。図
７と図１０とを比較すると、これら画素のうち、領域５
１の周辺部５２を含み、領域５１の内側と領域５１以外
の残余の領域とにまたがる領域５３の各画素に対応する
画素データが、０または１から１以上の値に変換されて
いることがわかる。

【００９４】また変換画像では、領域５３のうちで周辺
部５２の画素の画素データよりもが、領域５３内の画素
のうちで周辺部５２以外の画素の画素データのほうが小
さいことが分かる。すなわち、領域５３内の画素の画素
データの値には、周辺部５２の画素の画素データが高
く、周辺部５２以外の画素の画素データがそれよりも低
くなるように傾斜が付けられている。

【００９５】以下に、ステップａ６の特徴点の抽出処理
について詳細に説明する。この抽出処理には、特徴デー
タ用メモリ７と特徴点抽出回路８とメモリ９とが用いら
れる。この抽出処理も、ステップａ４の２値化処理が参
照側の対象画像について終了して、特徴データ用メモリ
７に図６で表すような線画像信号が記憶された時点から
開始される。特徴点抽出回路８は、参照領域単位で以下
に説明する処理を行い、その処理結果として得られる特
徴点画素の位置データをメモリ９に記憶させる。参照側
の対象画像内の各参照領域について一連の処理を繰返
し、全参照領域について一連の処理が終わった時点で、
ステップａ６の処理が終了する。

【００９６】特徴点抽出回路８は、まず、参照側の対象
画像信号を元の対象画像とする線画像信号のうちで処理
対象の参照領域Ｅ内の全画素に対応する画素データを、
特徴データ用メモリ７から読出す。線画像と対象画像と
変換画像とは同じ画素配列の画像として仮想されている
ので、対象画像内に参照領域と探索領域とを設定した場
合、線画像と変換画像とにも、各画像の基準位置に対し
て、対象画像に設定された両領域と同じ相対位置で同じ
形状に、参照領域と探索領域とが設定されると見なすこ
とができる。

【００９７】特徴点抽出回路８は、線画像の参照領域内
の画素のうちから、像のエッジ上の画素のうちのいずれ
か１つを、１番目の特徴点画素として抽出し、その画素
の位置を表す座標を取得する。像のエッジ上の画素は、
具体的には、画素データの値が１である画素である。次
いで、像のエッジ上の画素であってかつｎ番目の特徴点
画素から予め定める距離以上離れた画素を、ｎ＋１番目
の特徴点画素として抽出する。１は２以上であって予め
定める数未満の整数である。この処理を、予め定める数
の特徴点画素を抽出し終わるまで繰返す。

【００９８】２番目以後の具体的な抽出処理は、画素デ
ータの値が１である画素を抽出して、その座標（ａｘ，
ｂｙ）が式４で表す抽出条件を満たしているか否かを判
定する比較演算を行い、抽出条件を満たしていないとき
には、次の画素を抽出して再度判定を行い、抽出条件を
満たす画素が得られるまで画素の抽出と判定とを繰返
す。抽出条件を満たす画素が得られると、その座標をメ
モリ９に記憶させる。

【００９９】抽出条件は、次式で表すように、この抽出
処理で抽出された特徴点画素のうちで最新のものである
ｎ番目の特徴点画素のＸ座標ａｎと前記Ｘ座標ａｘとの
差分が予め定める差分ＴＨｘよりも大きく、かつｎ番目
の特徴点画素のＹ座標ｂｎと前記Ｙｂｙ座標との差分が
予め定める差分ＴＨｙよりも大きいことである。たとえ
ば、１番目の特徴点画素のＸ座標ａ１と２番目の特徴点
画素のＸ座標ａ２との差分は前記差分ＴＨｘよりも大き
く、かつ１番目の特徴点画素のＹ座標ｂ１と２番目の特
徴点画素のＹ座標ｂ２との差分は前記差分ＴＨｙよりも
大きい。 ｜ａｎ−ａｘ｜＞ＴＨｘ かつ ｜ｂｎ−ｂｙ｜＞ＴＨｙ …（４）

【０１００】表１は、メモリ９のメモリ空間の構造を表
す。メモリ９は、Ｘ座標とＹ座標とを個別に記憶する記
憶領域が関連して設定され、さらにこれら記憶領域が複
数準備されている。特徴点画素の座標は、１番目の特徴
点画素から順次この記憶領域に記憶される。

【０１０１】

【表１】

【０１０２】このように、特徴点画素を画素抽出するこ
とによって、特徴点画素が参照領域内に分散して点在す
るので、特徴点画素が局所的に集中することを防止する
ことができる。これは以下の理由からである。特徴点画
素が局所的に集中した場合、特徴点画素が集中した部分
では相関が大きいがその部分から離れた部分では相関が
小さい場合に、特徴点画素の相関だけからそれを認識す
ることができないので、前記離れた部分に像の大きな歪
みがあっても、その歪みを相関演算によって検出するこ
とができなくなる。これを防止するには、参照領域全域
に特徴点画素が設定されることが好ましい。しかしなが
ら、特徴点画素を増加させるほど、相関演算の演算量が
増加するので、相関演算の処理時間が増加する。したが
って、上述のように特徴点を分散させることによって、
像の歪みを確実に検出し、かつ相関演算の演算量を少な
くすることができる。

【０１０３】この特徴点抽出回路８では、２値化回路に
よって対象画像信号を２値化した後に、その処理結果で
ある線画像信号を用いて、特徴点の抽出を行う。前述し
たように、像のエッジの抽出は、太線化処理の前処理と
して必要なので、そのための２値化回路６が画像合成装
置１内に備えられる。特徴点の抽出のための像のエッジ
の抽出と、太線化処理のための像のエッジの抽出とは、
全く同じ処理である。ゆえに、両方の理由のための像の
エッジの抽出を行う回路を共通化することによって、画
像合成装置１の回路構造を簡略化することができる。勿
論、特徴点の抽出のための２値化回路と太線化処理のた
めの２値化回路とを別個に設けておいてもよい。このと
き、参照側の対象画像信号の処理と探索側の対象画像信
号の処理とを並列して実施することができるので、２値
化回路を共通化した場合と比較して、画像合成処理全体
の処理時間を短縮することができる。

【０１０４】さらに、２値化回路６で画素の画素データ
を定めた時点で、その画素が像のエッジ上の点であるか
を判定することができる。ゆえに、特徴点の抽出処理
は、２値化処理と平行して実施してもよい。たとえば、
画素データを定めた時点で、その画素データが１であれ
ば、その画素データが対応する画素の座標を取得して特
徴点抽出回路８が式３の判定を行い、抽出条件を満たし
ていればその画素の座標をメモリ９に記憶させる。画素
データが０であれば、これらの処理を行わない。これに
よって、２値化処理と特徴点の抽出処理とを並列して実
施することができるので、画像合成処理全体の処理時間
をさらに短縮することができる。

【０１０５】図１１は、特徴点抽出回路８によって抽出
された特徴点画素と、変換画像４５の輪郭線４７との位
置関係を表す模式図である。図１１の模式図は、図６の
模式図のうちで参照側の線画像４１から抽出した特徴点
画素を、その特徴点画素を図９の模式図のうちで参照側
の変換画像４５の輪郭線４７上に、白四角で表したもの
である。特徴点画像は、線画像の像のエッジを表す細線
上の画素から選ばれているので、像のエッジを表す太線
の上に離散的に配置されることが分かる。これら特徴点
画素を中心として、予め定める画素を含み破線で表す矩
形の領域内には、必ず太線の縁がある。この矩形の領域
は、参照領域を比較して極めて狭い。ゆえに、変換画像
内では、特徴点画素の近傍に、必ず輝度変化勾配が大き
くなる点があることが分かる。

【０１０６】以下に、ステップａ７の相関演算処理につ
いて詳細に説明する。この相関演算処理には、演算用メ
モリ１２と相関演算回路１３とが用いられる。この相関
演算処理は、探索側の線画像信号に対するステップａ５
の太線化処理が終了してメモリ１１に変換画像が記憶さ
れ、かつ参照側の線画像信号に対するステップａ６の特
徴点抽出処理が終了してメモリ９に特徴点画素の座標が
記憶された時点から開始される。相関演算回路８は、各
参照領域毎に、以下に説明する特徴点マッチング法を用
いたマッチング処理を行い、その参照領域との相関が最
大になる対応領域を取得する。この対応領域の位置に、
像のずれおよび像の歪みに関する情報が含まれる。全参
照領域について一連の処理が終了した時点で、ステップ
ａ６の処理が終了する。

【０１０７】図１２は、特徴点マッチング法を用いたマ
ッチング処理を説明するための模式図である。特徴点マ
ッチング法では、概略的には、参照領域Ｅと探索領域Ｆ
とを仮想的に重ね合わせたときに、参照領域Ｅ内の各特
徴点画素と探索領域Ｆ内で各特徴点画素と重なる画素と
の相関を各特徴点画素毎に求め、これら相関の総和を、
参照領域Ｅと矩形領域Ｂ（ｐｑ）との相関として求め
る。矩形領域Ｂ（ｐｑ）は、参照領域Ｅと探索領域Ｆと
を重ね合わせる場合、参照領域Ｅの基準位置が画素
（ｐ，ｑ）と重なるときに、探索領域Ｆのうちで参照領
域Ｅと重なった領域を示す。ｐはＰ１以上Ｐｍ以下の任
意の整数、ｑはＱ１以上Ｑｎ以下の任意の整数、Ｐ１，
Ｐｍ，Ｑ１，Ｑｎは予め定める整数とする。

【０１０８】説明上、探索領域Ｆが画素（Ｐ１，Ｑ
１），（Ｐｍ＋α，０），（０，Ｑｎ＋β）、（Ｐｍ＋
α，Ｑｎ＋β）を四隅とする矩形の領域であって、参照
領域Ｅがβ行α列で配置されたα×β個の画素から構成
され、第Ｐ１列から第Ｐｍ列までの列の本数がｍであり
第Ｑ１行から第Ｑｎ行までの行の本数がｎであるとす
る。また、参照領域Ｅの基準位置をその左上隅の頂点と
し、変換画像内の或る画素（ｐ，ｑ）が参照領域Ｅの基
準位置と一致するように矩形領域Ｂ（ｐｑ）を定め、参
照領域Ｅ内の各特徴点画素を画素（ａ１，ｂ１）〜（ａ
ｊ，ｂｊ）であるとする。この場合、矩形領域内で各特
徴点画素（ａ１，ｂ１）〜（ａｊ，ｂｊ）に重なる画素
は、画素（ａ１−ｐ，ｂ１−ｑ）〜（ａｊ−ｐ，ｂｊ−
ｑ）である。

【０１０９】特徴点画素（ａｘ，ｂｙ）と該特徴点画素
に重なる画素（ａｘ−ｐ，ｂｘ−ｑ）との相関は、たと
えば、参照側の線画像信号のうちで特徴点画素（ａｘ，
ｂｙ）に対応する画素データＲ（ａｘ，ｂｙ）と、探索
側の変換画像信号のうちで前記重なる画素（ａｘ−ｐ，
ｂｙ−ｑ）に対応する画素データＳ（ａｘ−ｐ，ｂｙ−
ｑ）との値の差の絶対値であり、差の絶対値が小さいほ
ど相関が大きい。このときの矩形領域Ｂ（ｐｑ）と参照
領域Ｅとの相関は、次式に示すように、全特徴点画素
（ａ１，ｂ１）〜（ａｊ，ｂｊ）について求められた前
記差の総和によって表される。ゆえに、両領域Ｅ，Ｂ
（ｐｑ）の相関も、総和が小さいほど相関が大きい。 相関 ＝ ｜Ｒ(a1,b1)−Ｓ(a1-p,b1-q)｜ ＋｜Ｒ(a2,b2)−Ｓ(a2-p,b2-q)｜ ＋ … ＋│Ｒ(aj,bj)−Ｓ(aj-p,bj-q)│ …（５）

【０１１０】相関演算回路１３は、この相関演算を、探
索領域Ｆ内での参照領域Ｅを重ね合わせる位置を順次変
更しつつ複数回行う。参照位置を重ねる位置の移動は、
たとえば図１２に表すように、ｘ方向を主走査方向とし
ｙ方向を副走査方向として、参照位置の基準位置を重ね
合わせる画素を探索領域Ｆ内で１画素ずつ順次移動させ
る。このとき、参照領域Ｅの基準位置は、画素（Ｐ１，
Ｑ１）〜（Ｐｍ，Ｑｎ）と個別に一致するように設定さ
れるので、ｍ×ｎ個の矩形領域Ｂ（００）〜Ｂ（ｍｎ）
が探索領域Ｆ内に設定され、参照領域Ｅとこれら各矩形
領域Ｂ（００）〜Ｂ（ｍｎ）との相関を個別に求められ
る。これら両領域Ｅ，Ｂ（ｐｑ）の相関のうちで相関が
最大になるときの矩形領域を、参照領域Ｅの対象領域Ｇ
として、その位置を取得する。

【０１１１】この一連の相関演算によって、図１３に表
すように、参照領域Ｅ内の特徴点画素（ａ１，ｂ１）
と、探索領域Ｆ内で画素（ａ１−Ｐ１，ｂ１−Ｑ１），
（ａ１−Ｐ１，ｂ１−Ｑｎ），（ａ１−Ｐｍ，ｂ１−Ｑ
１），（ａ１−Ｐｍ，ｂ１−Ｑｎ）を４隅とする矩形の
領域内の各画素との相関が、個別に演算される。同様
に、図１３に表すように、参照領域内の特徴点画素（ａ
２，ｂ２）と、探索領域内で画素（ａ２−Ｐ１，ｂ２−
Ｑ１），（ａ２−Ｐｍ，ｂ２−Ｑ１），（ａ２−Ｐ１，
ｂ２−Ｑｎ），（ａ２−Ｐｍ，ｂ２−Ｑｎ）を４隅とす
る矩形の領域内の各画素との相関が、個別に演算される
ことになる。

【０１１２】このとき、相関演算には、変換画像信号が
用いられる。ゆえに、像の歪みによって同じ被写体を表
す像が合同ではない場合でも、探索領域Ｅ内で像のずれ
を相殺するような位置に参照領域Ｅを重ね合わせたとき
に、両領域Ｅ，Ｂ（ｐｑ）の相関が最小になる。この理
由とその効果とを、図１４を用いて詳細に説明する。

【０１１３】まず、対象画像２２の探索領域Ｆのうち
で、画素（ａ１−ｐ，ｂ１−ｑ）を含む行内の画素の輝
度とその画素のｘ座標との関係を、図１４（Ａ）に表
す。この行では、ｘ座標がａ１−ｐである画素よりもｘ
座標が大きい画素の輝度が最大であり、この画素のｘ座
標よりもｘ座標が小さい画素の輝度が最小であり、この
画素近傍では、輝度が急激に変化する。ゆえに、対象画
像２２を表す対象画像信号を２値化すると、画素（ａ１
−ｐ，ｂ１−ｑ）を中心とした予め定める幅の細線によ
って像のエッジを表すような線画像信号が得られる。こ
の線画像信号が表す線画像４２のうちで探索領域Ｆ内の
前述の行では、図１４（Ｂ）に表すように、画素（ａ１
−ｐ，ｂ１−ｑ）近傍の画素の画素データだけが１であ
り、そのほかの画素の画素データは０である。図１４
（Ａ）に表す画素の輝度の変化のうちで輝度変化勾配が
大きいほど、像のエッジが明確になるので、特徴点マッ
チング法によって確実に相関を求めることができる。こ
の場合、線画像２２の線の幅は、この行内で画素データ
が１になる画素の存在する範囲Ｗ２１に相当する。この
範囲Ｗ２１は、像の幅Ｗ２２と比較して極めて狭い。

【０１１４】参照領域Ｅと探索領域Ｆとには、同じ被写
体を表す像が含まれるので、像のずれおよび歪みを検出
するためには、これら像が重なり合うような重なり状態
を求め、そのときの矩形領域Ｂ（ｐｑ）を対応領域Ｇと
して取得する必要がある。両領域Ｅ，Ｂ（ｐｑ）の相関
は、各特徴点画素と重なる画素が、探索領域Ｆ内の全画
素の中で、前記同じ被写体を表す像のうちの各特徴点画
素が表す部分と同じ被写体の部分を表す対応点画素であ
る場合に最小になる。

【０１１５】前記同じ被写体を表す像に従来技術で説明
した理由によって像の歪みがあるとき、対象画像２１，
２２の同じ被写体を表す像２３，２４が合同にならない
ので線画像４１，４２の輪郭線４３，４４も合同になら
ない。ゆえに、従来技術のように線画像信号を用いて特
徴点画素と前記重なる画素との相関を求めた場合、或る
特徴点画素とその特徴点の対応点画素とが重なるように
参照領域と探索領域とを重ね合わせた状態でも、他の特
徴点画素とその特徴点画素の対応点画素とが重ならず
に、範囲Ｗ２１の外にずれてしまうことがある。

【０１１６】このときの前記他の特徴点画素と重なる画
素と該他の特徴点画素との相関は、前記他の特徴点画素
の画素データが１であり前記重なる画素が範囲Ｗ２１の
外の画素であってその画素データが０であるので、１に
なる。このように対応点画素と重ならない特徴点画素が
多いほど、両画素の相関の総和が大きくなる。したがっ
て、両領域の相関が大きくなる。前述したように、線画
像では、画素データが１になる範囲Ｗ２１が極めて狭い
ので、像の歪みが小さくても上述のことが起こり易く、
対象画像２１，２２のうちで同じ被写体を表す像が合同
ではない場合には、相関によって像のずれを検出するこ
とが困難だった。特に、対象画像２１，２２を複数の原
画増を合成した画像とする場合、従来技術で説明したよ
うに、被写体を撮像するときの手ぶれ、および撮像素子
の移動のさせ方によって、容易に像の歪みが発生するの
で、このことが起こり易い。

【０１１７】本実施形態の画像合成装置１では、相関演
算に、線画像信号に代わって変換画像信号を用いる。た
とえば、図１４（Ｂ）の線画像を表す線画像信号を変換
すると、図１４（Ｃ）に表すような変換画像信号が得ら
れる。２点鎖線Ｌ１は、変換回路１０で元の線画像のう
ちで細線を含む領域の画素の画素データを１に置換える
変換を行った第１の場合の変換画像信号を表す。実線Ｌ
２は、変換回路１０で前述の２値多値変換を行った第２
の場合の変換画像信号を表す。

【０１１８】第１の場合の変換画像信号は、変換画像の
うちで前述の行では、画素（ａ１−ｐ，ｂ１−ｑ）を含
む範囲Ｗ２３の画素の画素データが１であり、その他の
画素の画素データは０である。範囲Ｗ２３は変換画像の
線の幅に相当し、範囲Ｗ２１と比較して充分に広い。こ
れによって、上述の像の歪みに起因して特徴点画素とそ
の対応点画素とが重ならない状態でも、探索領域内で前
記重なる画素と対応点画素との距離が小さければ、前記
重なる画素は範囲Ｗ２３内に含まれる。このとき、前記
重なる画素の輝度データが０ではないので、この特徴点
画素と前記重なる画素との相関は、線画像信号を用いて
相関に求めた場合の相関よりも大きくなる。

【０１１９】たとえば、像の歪みによって参照領域Ｅと
探索領域Ｆとのうちで同じ被写体を表す像が合同ではな
い場合、或る特徴点画素とその対応画素とを重ねた第１
の状態では、参照領域Ｅと探索領域Ｆとは、同じ被写体
を表す像がほぼ重なり、像の歪みのためだけに他の特徴
点画素とその対応画素とが重ならない。その特徴点画素
と重なる画素は、対応画素の近傍の画素であり、範囲Ｗ
２３に含まれると予想される。このとき、特徴点画素と
前記重なる画素との相関が、前記重なる画素が範囲Ｗ２
３の外の画素であるときの相関よりも大きくなる。した
がって、この場合の両領域の相関は、全特徴点画素と対
応点画素とが重ならなくても、同じ被写体が表す像が合
同である場合の相関に近い。

【０１２０】これに対して、同じ被写体を表す像が合同
ではない場合に、全特徴点画素とその対応画素とが重な
らない第２の状態では、参照領域と探索領域とは同じ被
写体を表す像自体がずれるように重ね合わされる。各特
徴点画素と重なる画素はその特徴点の対応画素から大き
く離れており、ほぼ全てが範囲Ｗ２３に含まれないと予
想される。ゆえに、各両画素の相関が、前記第１の状態
での相関よりも充分に小さい。したがって、第２の場合
の両領域の相関は、第１の状態の相関よりも充分に小さ
くなる。

【０１２１】したがって、本実施形態のマッチング手法
を用いた場合、参照領域Ｅと探索領域Ｆとの重ね合わせ
状態が第１の状態であるときの相関が最小になる。した
がって、このときの矩形領域Ｂ（ｐｑ）を、対応領域Ｇ
として取得する。したがって、この対応領域Ｇの位置か
ら求められる像のずれは、像の歪みに起因する誤差が小
さい。このように、本実施形態のマッチング手法では、
計算高速化が可能な特徴点マッチング手法を用いて、ず
れの検出誤差を減少させることができる。

【０１２２】また、第１の場合の変換画像信号を用いて
相関演算を行う場合、範囲Ｗ２３内のどの画素も画素デ
ータが等しいので、参照領域Ｅと探索領域Ｆとを重ね合
わせたときに前記重なる画素が範囲Ｗ２３に含まれるよ
うな重ね合わせ状態が複数回生じたとき、どの重ね合わ
せ状態でも、特徴点画素と前記重なる画素との相関は、
前記重なる画素と対応点画素との距離に拘わらず等し
い。このとき、これら重ね合わせ状態のうちで、同じ被
写体を表す像の重ね合わせのずれが最小である状態がど
れであるかを、両領域の相関から判断するのは困難であ
る。このとき、第２の場合の変換画像信号を用いて相関
演算を行うと、この判断を行うことができる。この理由
を以下に示す。

【０１２３】第２の場合の変換画像信号では、範囲Ｗ２
３内の画素の画素データは、範囲Ｗ２３の外の画素の画
素データ以上であって、対応点画素に近いほど大きく、
対応点画素から離れるほど小さくなる。このような変換
画像信号を用いて、特徴点画素とその重なる画素との相
関を求めた場合、特徴点画素とその特徴点画素に重なる
画素との相関は、前記重なる画素が範囲Ｗ２３内の画素
であって、かつ対応点画素に近いほど大きい。これによ
って、対応点画素と特徴点画素とが重なる重ね合わせ状
態であるときの両領域の相関が、対応点画素近傍の画素
と特徴点画素とが重なる重ね合わせ状態のときの両領域
の相関よりも大きくなる。したがって、範囲Ｗ２３内の
画素と特徴点画素とが重なる重ね合わせ状態が複数回生
じたとき、前記重なる画素と対応点画素との距離が最短
になるときの重ね合わせ状態、すなわち参照領域と探索
領域との像が最も良く一致する重ね合わせ状態を、相関
に基づいて容易に選択することができる。

【０１２４】また、第２の場合の変換画像信号を用いて
相関を求める場合であってかつ変換画像信号が、画素デ
ータの値が１である画素の数に置換えられているとき、
特徴点画素の画素データの値を、探索領域の全画素デー
タのうちの最大値に変更しておくことが好ましい。これ
によって、変換画像信号のうちで値が最大の画素データ
と特徴点画素の画素データとの差分が０になる。したが
って、特徴点画素の画素データの値を置き換えておけ
ば、画素データの値を平均値に置き換えたときと同じ処
理によって、相関が最大である画素を求めることができ
る。

【０１２５】以下に、ステップａ８の合成処理を、図３
〜図１３を用いた例によって説明したマッチング処理に
続いて、詳細に説明する。

【０１２６】合成処理には、画像メモリ４と合成処理部
１４とが用いられる。この合成処理は、各参照領域Ｅ１
〜Ｅｉに対する相関演算処理が全て終了し、各参照領域
Ｅ１〜Ｅｉに対する対応領域Ｇ１〜Ｇｉの位置が取得さ
れた時点から開始される。合成処理回路８は、像の歪み
を補正するための画像の変形処理と、一対の対象画像信
号を合成する合成処理とを同時に行う。

【０１２７】図１５（Ａ）は、相関演算処理が終了した
時点で、対象画像２１内の参照領域Ｅ１，Ｅ２の位置関
係と、対象画像２２内の対応領域Ｇ１，Ｇ２の位置関係
とを表す模式図である。参照領域Ｅ１〜Ｅｉは、対象画
像２１内に、ステップａ３で設定された通りに、基準軸
線ｈ１上にその中心点ｃｅ１〜ｃｅｉが並ぶように配置
される。対応領域Ｇ１〜Ｇｉは、対象画像２２内に、参
照領域Ｅ１〜Ｅｉの並べ順と同じ並べ順に並べられる。
対応領域Ｇ１〜Ｇｉの各中心点ｃｇ１〜ｃｇｉを隣接す
る中心点同士を線分で順次結んだ場合、これら線分によ
って、各中心点ｃｇ１〜ｃｇｉを変化点とする折線が形
成される。たとえば、対応領域Ｇ１，Ｇ２の中心点ｃｇ
１，ｃｇ２を結ぶ線分は、中心点ｃｇ１を通り対象画像
２２のｙ座標軸に平行な直線と一致しない。対応領域Ｇ
１〜Ｇｉは、特徴点画素の位置データと変換画像信号と
を用いた相関演算処理によって得られているが、変換画
像４６と対象画像２２とは画素配列が等しいので、変換
画像４６内の基準位置に対する対応領域Ｇの相対位置
が、対象画像２２内の基準位置に対する対応領域Ｇの相
対位置と等しい。ゆえに、対象画像２２内の対応領域の
位置は容易に分かる。

【０１２８】参照領域Ｅ１〜Ｅｉのうちのいずれか１つ
の参照領域Ｅの中心点ｃｅの対象画像２１の基準位置に
対する相対位置と、その参照領域Ｅに対応する対応領域
Ｇの中心点ｃｇの対象画像２２の基準位置に対する相対
位置との差分が、対象画像２１，２２の像のずれに相当
する。像の歪みがないとき、この像のずれを相殺するよ
うに、かつ各対象画像２１，２２のｘ座標軸とｙ座標軸
とが平行になるように対象画像２１，２２を重ね合わせ
れば、対象画像２１，２２のうちで同じ被写体を表す像
が重なる。

【０１２９】また、対象画像２１，２２のうちで同じ被
写体を表す像に像の歪みがあるとき、或る参照領域Ｅの
中心点ｃｅとその参照領域Ｅに対応する対応領域Ｇの中
心点ｃｇとが重なるように対象画像２１，２２を重ね合
わせた場合に、他の参照領域Ｅの中心点ｃｅとその参照
領域Ｅに対応する対応領域Ｇの中心点ｃｇとが重ならな
い。この場合の前記他の参照領域Ｅの中心点ｃｅと重な
る対象画像２２内の画素の位置とその参照領域Ｅに対応
する対応領域Ｇの中心点ｃｇの位置との差分が、像の歪
みに相当する。たとえば、参照領域Ｅ１の中心点ｃｅ１
と対応領域Ｇ１の中心点ｃｇ１とが重なるよう対象画像
２１，２２を重ね合わせた場合に、参照領域Ｅ２の中心
点ｃｅ２と対応領域Ｇ２の中心点ｃｇ２が重ならない。
この場合に参照領域の中心点ｃｅ１と重なる点５６は、
中心点ｃｇ１を通りｙ座標軸に平行な直線上にある。こ
の場合、同じ被写体を表す像は大まかに重なるが、その
細部がずれている。

【０１３０】画像の変形処理では、対象画像２１，２２
を、たとえば参照領域Ｅ１の中心点ｃｅ１と対応領域Ｇ
１の中心点ｃｇ１とが重なるように重ね合わせる場合
に、参照領域Ｅ１以外の他の参照領域Ｅ２〜Ｅｉの中心
点ｃｅ２〜ｃｅ１と、対応領域Ｇ２〜Ｇｉの中心点ｃｇ
２〜ｃｇｉとが全て一致するように、探索側の対象画像
信号を幾何学的に変換する。概略的には、まず、対象画
像２２のうちから、隣接する２つの対応領域Ｇの中心点
ｃｇを頂点として、これら中心点ｃｇを一方端とする２
本の線分と辺５７と前記中心点ｃｇを両端とする線分と
によって区分される四辺形領域を抽出する。次いで、こ
の領域を長方形の領域になるように変形し、その変形に
準じて、対象画像２２の代表点の座標を変換する。代表
点とは、たとえば画素の中心点であり、対象画像２１，
２２内では行列状に配置されているものである。

【０１３１】以下に、上述の幾何学的変換手法を、台形
領域６０を例として説明する。台形領域６０は、中心点
ｃｇ１，ｃｇ２を頂点とし、ｘ座標軸に平行で中心点ｃ
ｇ１，ｃｇ２を一方端とする辺６１，６２が平行な台形
の領域である。中心点ｃｇ１，ｃｇ２を両端とする線分
を台形領域６０の辺６３とし、対象画像２２の左辺５７
のうちで、辺６１，６２によって区分される部分を、台
形領域６０の辺６４とする。辺６１，６２は、ｙ座標軸
に平行であって、左辺５７近傍にｙ座標軸に平行に設定
される基準軸線ｈ２と直交する。辺６１，６２と基準軸
線ｈ２との交点を、点ｃｈ１，ｃｈ２とする。

【０１３２】まず、台形領域６０は、ｙ方向に関し、ｘ
方向のどの位置でも一律の変換率で変形される。この変
換率は、次式で示すように、対応領域Ｇ１，Ｇ２の中心
点ｃｇ１，ｃｇ２のｙ座標の差分Ｗ１１で、参照領域Ｅ
１，Ｅ２の中心点ｃｅ１，ｃｅ２のｙ座標の差分Ｗ１２
を除算した商である。 （ｙ方向の変換率）＝ Ｗ１２÷Ｗ１１ …（６）

【０１３３】また、図１５から、台形領域６０の辺６３
と、参照領域Ｅ１，Ｅ２の中心点ｃｅ１，ｃｅ２を両端
とする線分６６とは、線分の長さおよびｙ座標軸に対す
る角度が異なることが分かる。ゆえに台形領域６０は、
ｘ方向に関し、基準軸線ｈ２を基準として、ｙ座標が変
化するのに従って連続的に変化するような変換率で変形
される。たとえば、中心点ｃｇ１，ｃｇ２の間を通りｘ
座標軸と平行な仮想線６７上のｘ方向の変換率は、次式
で示すように、対象画像２１，２２を中心点ｃｅ１，ｃ
ｇ１が重なりかつｘおよびｙ座標軸がそれぞれ平行にな
るように重ね合わせた場合における中心点ｃｅと基準軸
線ｈ２との距離Ｗ１３を、仮想線６７上での辺６３と基
準軸線ｈ２との距離Ｗ１４で除算した商である。このよ
うに、ｘ方向の領域の変換率は、中心点ｃｇ１，ｃｇ２
間の間隔よりも短い予め定める間隔で設定される仮想線
毎に定められる。このような変換率で台形領域６０を変
形すると、台形領域６０の辺６３が線分６６と同じ長さ
でかつ辺６１，６２と直交する辺となる。 （ｘ方向の変換率）＝ Ｗ１３÷Ｗ１４ …（７）

【０１３４】上述の手順で台形領域６０を変形すると、
台形領域６０は、図１５（Ｃ）に示すように、ｘ座標軸
に平行な辺の長さが距離Ｗ１３と等しく、ｙ座標軸に平
行な辺の長さが距離Ｗ１２に等しい長方形の領域にな
る。各画素の代表点の座標は、ｘおよびｙ方向に隣接す
る２つの代表点間の間隔が、上述のｘおよびｙ方向の変
換率で縮小または拡大されるように変換される。したが
って、各代表点のｘおよびｙ方向の位置が、間隔の変換
分だけ順次的に移動される。

【０１３５】このような幾何学変換処理を、頂点となる
中心点ｃｇの組合せを、中心点ｃｇ２，ｃｇ３から中心
点ｃｇ（ｉ−１），ｃｇｉまで変更して順次行う。さら
に、中心点ｃｇ１よりも上側の領域と中心点ｃｇｉより
も下側の領域とを、その領域に隣接する台形領域の幾何
学的変換処理で定められた変換率を用いてさらに変形す
る。これによって、対象画像２２のうちで中心点ｃｇ１
〜ｃｇｉを通る折線よりも右側の領域が、前述の長方形
の領域を順次並べて構成される領域に変形される。この
変形後の領域の左辺は直線である。このように、対象画
像２２を幾何学的に変換することによって、対象画像２
１内の像と同じ被写体を表す像の像の歪みが相殺され
る。これによって、対象画像２１，２２内で同じ被写体
を表す像が合同になる。

【０１３６】上述の基準軸線ｈ２は、対象画像２２内
で、対応領域Ｇの中心点ｃｇを結ぶ線分よりも探索領域
Ｆが設定された側の辺と反対側の領域であれば、どこに
設定されても良い。この基準軸線ｈ２は、たとえば対象
画像２２の前記探索領域が設定された側と反対側の辺と
一致する。また、対象画像２２のｘ方向の中心軸線と一
致する。さらに、対象画像２２にさらに他の対象画像を
合成する場合に、参照領域を設定するときの基準軸線ｈ
１と一致してもよい。基準軸線ｈ１と基準軸線ｈ２と一
致させるとき、画像の幾何学的変換処理では上述のよう
にｘ方向の変換率を定めるので、基準軸線ｈ２上の画素
は、幾何学的変換後も、同一の基準軸線ｈ２上に直線状
に配列される。このことから、対象画像２１，２２の画
像合成を行った後に、合成後の画像と他の対象画像とを
合成するとき、後者の画像合成処理での相関演算処理の
演算処理が容易になる。

【０１３７】この対象画像２２の変形後の領域を、各長
方形の領域の左側の頂点が中心点ｃｅに重なるように、
かつ対象画像２１，２２のｘおよびｙ座標軸が平行にな
るように、対象画像２１に重ねる。この後、たとえば中
心点ｃｅ１〜ｃｅｉを通る直線を境界にして、その右側
の画素の輝度データに対象画像２１の輝度データをあて
はめ、左側の画素の輝度データに対象画像２２の輝度デ
ータをあてはめることによって、合成画像信号が生成さ
れる。

【０１３８】また、合成画像は、たとえば対象画像２１
に設定されるｘｙ直交座標系の格子点を代表点とする画
素から構成される。このとき、前述の幾何学的変換によ
って、対象画像２２の代表点の座標が、対象画像２１に
設定されるｘｙ直交座標系の格子点からはずれているこ
とが多い。合成画像の画素の画素値は、以下の決定手法
に基づいて決定される。この画素値の決定動作は、上述
の画像の幾何学的変換動作と並行して行われる。

【０１３９】合成画像の全画素のうち、その画素内の格
子点に対象画像２１，２２の画素の代表点が一致すると
き、この代表点に対応する対象画像２１，２２の輝度デ
ータがそのまま合成画像のその画素の輝度データとして
用いられる。合成画像の格子点と対象画像２１，２２の
代表点とが一致しないとき、合成画像の画素の輝度デー
タは、対象画像２１，２２内でその格子点に近接する複
数の画素の代表点の画素値から、いわゆる線形補間法を
用いて補間して決定される。線形補間法では、格子点の
周囲４箇所の画素の代表点の画素値に、格子点と各代表
点との距離に応じた係数を乗算した値の平均値を、格子
点の画素の輝度データとする。合成画像信号は、このよ
うに定められた輝度データから構成される。

【０１４０】このような一連の詳細な処理によって、合
成画像信号が生成される。対象画像２２を変形した後に
重ね合わせて合成することによって、変形後の対象画像
２１，２２の同じ被写体を表す像が合同になっているの
で、合成画像内の対象領域２１，２２の境界に当たる部
分で像が完全に一致する。したがって、画像のつなぎ目
が目立たない合成画像を得ることができる。

【０１４１】また、生成された合成画像をさらに新たな
対象画像とし、この新たな対象画像と撮像素子によって
得られた画像とを、上述の画像合成処理によって合成し
てもよい。すなわち、複数の対象画像を一部分を重複さ
せつつ一列に並べて、隣接する原画像と個別にマッチン
グ処理を行って合成して合成画像を得ることができる。
これによって、合成画像の画素数は対象画像の画素数よ
りも多くなる。したがって、対象画像よりも広画角およ
び広範囲の画像を得ることができる。また、合成画像の
大きさを対象画像と一致させることによって、対象画像
よりも高解像度の画像を得ることができる。

【０１４２】この画像合成処理では、像のずれおよび像
の歪みを求めるためのマッチング処理が、ステップａ３
〜ａ７で表すように、変換画像信号を用いた特徴点マッ
チング方式の処理によって行われる。これによって、ブ
ロックマッチング法を用いた従来技術の画像合成装置の
マッチング処理よりもマッチング処理に要する処理量を
減少させ、かつマッチングの精度を向上させることがで
きる。したがって、この画像合成装置の各回路を従来技
術の画像合成装置と同じ演算速度の演算回路によって実
現したとき、従来技術の画像合成装置よりもマッチング
処理の処理時間を短縮することができる。ゆえに、たと
えば、画像取込み装置３内の撮像部で被写体を撮像する
動作と並行して行うことができる。すなわち、いわゆる
実時間処理を行うことができる。また、実時間処理を行
うときに、各回路を従来技術の画像合成装置と同じ演算
速度の演算回路によって実現することができるので、画
像合成装置を汎用の演算回路を用いて安価に製造するこ
とができる。

【０１４３】この画像合成装置１は、明暗の差が大きい
部分画像、すなわち像のエッジが明瞭な画像を対象画像
２１，２２とすることが好ましい。このような画像に
は、文字を含む画像が挙げられる。また、風景画像で
も、空と建造物との境界がエッジとなり得るので、この
ような画像を対象画像とすることができる。また、画像
取込み装置３によって対象画像信号を生成するとき、そ
の対象画像内に、被写体の像とは無関係な位置併せ用の
像を挿入しておき、この像を用いて、画像の像のずれ及
び歪みを検出するようにしてもよい。この位置併せ用の
像には、像のエッジが明瞭に現れる像を用いることが好
ましく、たとえば文字および数字が用いられる。位置併
せ用の像は、対象画像の予め定める位置、たとえば４隅
近傍に、それぞれ同じ像を自動的に挿入する。また位置
併せ用の像は、画像合成処理を開始する前に、操作者が
たとえばパーソナルコンピュータに対象画像２１，２２
を表示させ、像を一致させようとする場所に位置併せ用
の像を挿入するようにしてもよい。

【０１４４】以下に、本発明の第２実施形態である画像
合成装置について説明する。第２実施形態の画像合成装
置は、第１実施形態の画像合成装置１と比較して、画像
取り込み装置と合成処理回路の処理手法が異なり、他は
等しい。第１実施形態の画像合成装置と同じ動作を行う
構成部品には同じ符号を付し、動作の説明およびその効
果は省略する。

【０１４５】画像取込み装置の挙動を、以下に説明す
る。画像取込み装置は、撮像部３ａによって被写体を撮
像して得られた原画像を初期合成部３ｂによって合成し
て得られた画像を、対象画像とする。図１６（Ａ）は、
撮像素子が２次元の撮像素子であるときに得られる対象
画像８０を表す。図１６（Ｂ）は、撮像素子が１次元の
撮像素子であるときに得られる対象画像９０を指す。対
象画像８０，９０は、左右の辺および上下の辺が平行で
はなく、また各辺が直線ではない。このため、たとえば
対象画像８０，９０の上側の辺上の点または上側の辺の
延長線上の点を原点に設定して、その原点を基準に、ｘ
ｙ座標系を設定する。これによって、この対象画像８
０，９０は、第１実施形態の対象画像２１，２２と同様
に取扱うことができる。

【０１４６】対象画像８０の生成手法を、以下に説明す
る。このとき、撮像部３ａは、２次元の撮像素子を備
え、たとえば電子スチルカメラによって実現される。操
作者は、被写体１１の表面から予め定める距離だけ離れ
た位置に手で撮像部３ａを保持し、操作者が撮像部のフ
ァインダ、または現在得られる画像を目視表示する表示
装置内の画像を目視して、撮像可能範囲の一部に既に撮
像し終えた被写体の部分が含まれるように撮像可能範囲
の移動方向と移動距離とを定め、この移動方向に移動距
離だけ撮像可能範囲が移動するように撮像部３ａを動か
す。このとき、撮像可能範囲は、たとえば被写体上でそ
の中心点が「コ」の字状の軌跡８６を描くように移動さ
れる。この撮像部３ａの移動は、上述した条件を満たす
ならば、操作者が手動で行う以外にも、移動用の機械を
用いて行っても良い。撮像部３ａは、たとえば予め定め
る時間おきに、撮影可能範囲内の被写体を撮像して、原
画像信号を生成して出力する。原画像信号は、撮像時に
撮像可能範囲内にある被写体を表す像を含む原画像を表
す。原画像は、撮像素子の結像面の受光領域の数と画素
数が等しく、画素配列が受光領域の配列と相似である。
これら原画像を、同じ被写体の像を重ねるように重ね合
わせて並べた場合、原画像は隣接した２つが相互に重複
しつつ行列状に配置されることになる。

【０１４７】初期合成部３ｂは、これら複数の原画像信
号のうちで、撮像可能範囲を或る１方向だけに連続して
動かす間に得られた複数の原画像信号を、合成対象の原
画像信号とする。この合成の対象となる原画像信号は、
行列状に配置された全原画像のうちで或る行または或る
列を構成する原画像８１〜８５を表すものに相当する。
初期合成部３ｂは、まず、合成対象の原画像信号のうち
で同じ被写体を表す像を含む一対の原画像信号毎に、そ
の原画像の像のずれを求める。このずれの検出には、た
とえば第１実施形態で説明したマッチング手法が用いら
れる。または、他のマッチング手法が用いられる。この
ずれは、その原画像信号を生成したときの撮像部３ａの
撮像可能範囲の移動距離および移動方向と一致する。次
いで、初期合成部３ｂは、各一対の原画像信号毎に、そ
の像のずれが相殺されるように原画像が重ね合わされる
ように、合成対象の原画像信号を合成する。これによっ
て、対象画像８０を表す対象画像信号が得られる。

【０１４８】これと同じ手法で、複数の原画像信号のう
ちで他の原画像信号を合成すると、対象画像８７が得ら
れる。対象画像８０を構成する原画像８１〜８５と、対
象画像８７を構成する原画像とを、これらのうちで隣接
するものに同じ被写体を表す像が含まれるように予め作
成しておけば、対象画像８０，８７の関係が、第１実施
形態で説明した対象画像２１，２２と等しくなる。

【０１４９】対象画像９０の生成手法を、以下に説明す
る。撮像部３ａは、１次元の撮像素子を備え、たとえば
ハンドスキャナによって実現される。この場合、操作者
は、撮像素子の受光領域の配列方向と直交する方向に、
被写体の表面に撮像部３ａを接触させた状態で移動させ
つつ、被写体を周期的に撮像する。これによって、撮像
部３ａは、画素が直線状に配列された原画像を表す原画
像信号を複数生成する。初期合成部３ｂは、これら原画
像が、画素の配列方向をそれぞれ平行にし、原画像の中
心点が撮像部３ａの軌跡と一致し、かつ各原画像が撮像
した順で順次並べられるように、原画像信号を合成す
る。これによって、対象画像９０が得られる。

【０１５０】図１７は、本実施形態の画像合成装置が行
う画像合成動作を概略的に説明するためのフローチャー
トである。この画像合成動作は、図２のフローチャート
と同じ動作を行うステップを含み、そのステップの説明
は省略する。

【０１５１】画像合成動作の開始が指示されると、ステ
ップｂ１からステップｂ２に進む。ステップｂ２では、
画像取込み装置が、上述した手法によって、一対の対象
画像１０１，１０２を表す対象画像信号を取得する。次
いで、ステップｂ３〜ｂ７のマッチング処理を行う。マ
ッチング処理の詳細は、ステップａ３〜ａ７の処理と等
しい。これによって、たとえば、図１８に表すように、
参照領域Ｅ１〜Ｅｉに個別に対応する対応領域Ｇ１〜Ｇ
ｉが得られる。参照領域Ｅ１，Ｅ２内の白丸は、特徴点
画素を表し、対応領域Ｇ１，Ｇ２の白丸は、対応点画素
を表す。これによって、参照領域Ｅ１，Ｅ２内の特徴点
画素の分布と、対応領域Ｇ１，Ｇ２内の対応点画素の分
布とが等しいことが分かる。すなわち、探索領域Ｆ１，
Ｆ２内で相関が最小となる矩形領域とは、矩形領域の枠
を基準に見て、対応点画素の分布が等しくなるような領
域である。

【０１５２】続いて、ステップｂ８で合成処理回路は、
対象画像１０１，１０２の回転角度を求め、その回転角
度を打消すように、対象画像信号を回転変換する。この
ステップの処理動作が、請求項の回転変換処理の動作に
相当する。次いで、合成処理回路は、ステップｂ９で、
ステップａ８と同じ手法を用いて画像の変形処理と合成
処理とを行い、ステップｂ９で画像合成処理を終了す
る。

【０１５３】ステップｂ８の回転変換処理を行う理由
は、以下の通りである。上述した画像取込み装置によっ
て対象画像を得るとき、対象画像１０１となるべき原画
像を得るために撮像部３ａを移動させた方向と、対象画
像１０２となるべき原画像を得るために撮像部３ａを移
動させた方向とが平行ではないときがある。この場合に
得られた対象画像１０１，１０２には、像のずれと像の
歪みとに加えて、像の傾きが含まれる。像の傾きが含ま
れる対象画像１０１，１０２では、同じ被写体を表す像
の中心軸線とｙ座標軸とのなす角度が異なる。

【０１５４】第１実施形態の画像合成装置１では、図１
９に表すように、この対象画像１０１，１０２を、参照
領域Ｅ１の中心点ｃｅ１と対応領域Ｇ１の中心点ｃｇ１
とが一致し、かつ両対象画像１０１，１０２のｘ座標軸
とｙ座標軸とがそれぞれ平行になるように重ね合わせ、
対応領域Ｇの中心点ｃｇを頂点とする台形領域が、その
対応領域に対応する参照領域Ｅの中心点ｃｅに重なる点
ｃｈを頂点とする矩形領域と合同な形状になるように変
形する。これによって、対象画像１０２のうちで中心点
ｃｇ１〜ｃｇｉを通る線よりも右側の領域１０８が、点
ｃｈ１，ｃｈｉを通る直線よりも右側の領域１０９と合
同になるように変形される。

【０１５５】このとき、像の傾きによって、対応領域Ｇ
の中心点ｃｇと前記重なる点ｃｈとの距離は、対象画像
１０２の上側から下側に向かうほど大きくなる。このた
め、台形領域と矩形領域との面積の差も、台形領域１０
６よりも台形領域１０７の方が大きい。したがって、領
域１０８，１０９が一致しない領域１１０の面積が広
い。図１９では、領域１１０に斜線を付して示す。この
ため、領域１０８を領域１０９と合同になるように変形
する場合、領域１０８を領域１１０の分だけ拡大するよ
うに変形することになるので、領域１０９の変形の度合
が大きい。このために、仮に被写体の像に歪みがなくて
も、この変形処理によって、被写体の像に歪みが生じる
ことがある。このような不都合を防止するために、本実
施形態の画像合成装置では、画像の変形処理の前に、画
像の回転変換を行って、画像の傾きを相殺する。

【０１５６】以下に、図２０を用いて、画像の回転変換
処理を詳細に説明する。最初に、合成処理回路１４は、
画像の傾きを表す回転角度θを求める。たとえば、まず
対象画像１０２の全対応領域Ｇの中心点ｃｇ１〜ｃｇｉ
を直線近似する直線１１１を求める。具体的には、まず
対象画像１０２を上下に２分し、上側の部分に含まれる
中心点ｃｇ１〜ｃｇ４の組と、下側部分に含まれる中心
点ｃｇ５〜ｃｇｉの組とに分割する。次いで、各組毎
に、これら中心点ｃｇの座標から基準点１１２，１１３
を求める。基準点１１２のｘ座標は、中心点ｃｇ１〜ｃ
ｇ４のｘ座標の平均値であり、基準点１１２のｙ座標
は、中心点ｃｇ１〜ｃｇ４のｙ座標の平均値である。同
様に、基準点１１３のｘ座標およびｙ座標は、中心点ｃ
ｇ５〜ｃｇｉのｘ座標およびｙ座標の平均値である。基
準点１１２，１１３を通る直線が、前述した直線１１１
である。次いで、合成処理回路１３は、中心点ｃｇ１を
通りｙ座標軸に平行な直線１１４と、前記直線１１１と
のなす角度を、回転角度θとして求める。

【０１５７】また回転角度θは、以下の手法で求めても
良い。まず、対象画像１０１内の参照領域Ｅの位置と対
象画像１０２内の各対応領域Ｇの位置とのずれを、各参
照領域Ｅ１〜Ｅｉ毎に求める。次いで、この位置のずれ
を、隣接する２つの参照領域Ｅ毎に比較して、各参照領
域の組み合わせ毎にそのずれの差を求める。さらに、式
８に表すように、そのずれの差の平均値を求め、その平
均値を隣接する２つの対応領域の中心点のｙ座標軸に平
行な距離によって除算し、その商の逆正接を求める。こ
れによって、回転角度θが得られる。

【０１５８】

【数２】

【０１５９】次いで、対象画像１０２の画素の代表点の
座標を、回転変換する。たとえば、この回転変換は、対
象画像１０２の各画素の代表点の座標（ｘ，ｙ）を、以
下の式に基づいて変換する。「ｘ」，「ｙ」は、回転変
換前の対象画像１０２内の画素の代表点のｘおよびｙ座
標の値である。「ｘ＊」，「ｙ＊」は、同じ画素の回転
変換後の代表点のｘおよびｙ座標の値である。回転変換
前の代表点の座標（ｘ，ｙ）は、それぞれ各画素内の点
であって、たとえば対象画像１０２のｘｙ直交座標系の
いわゆる格子点と一致する。回転変換後の代表点は、格
子点と一致しないことが多い。

【０１６０】

【数３】

【０１６１】このような座標変換を行うと、各画素の代
表点の位置が、元の位置からそれぞれ回転角θだけ、矢
符１１６，１１７で表す方向に角変位する。これによっ
て、図２１に表すように、直線１１１が対象画像１０２
のｙ座標軸に平行になる。したがって、この直線は、前
述の直線１１４と一致する。

【０１６２】回転変換した後の対象画像１１２を用い
て、図１９で説明したように画像の変形処理を行う場
合、直線１１１，１１４が一致しているので、対象画像
１０２のうちで中心点ｃｇ１〜ｃｇｉを通る線よりも右
側の領域が、直線１１１よりも右側の領域と合同になる
ように変形される。これら両領域が一致しない領域１２
３の面積は、前述の領域１０９の面積よりも十分に狭
い。領域１２３には斜線を付して示す。また、対象画像
１０２の上下で領域１２３の占める割合がほとんど変化
しない。これによって、幾何学的変換を行うとき、各台
形領域をほぼ均等に変形し、かつその変形の度合が小さ
い。これによって、被写体の像に、画像の変形処理に起
因する歪みを生じさせることを防止することができる。

【０１６３】前述した対象画像８０を画像の回転変換処
理を含む画像合成処理によって合成した場合、図２２に
表すような合成画像が得られる。前述した対象画像９０
を画像の回転変換処理を含む画像合成処理によって合成
した場合、図２３に表すような合成画像が得られる。こ
れらの合成画像では、複数の原画像を行列状に並べて、
縦方向および横方向に隣接する２つの原画像毎に個別に
マッチングを取って合成した画像と等しい。これによっ
て、合成画像の画素数は、相互に直交する２方向共に、
原画像の画素数よりも多い。したがって、２方向につい
て原画像よりも広画角および広範囲の画像、または２方
向について原画像よりも高解像度の画像を、処理時間が
少なくかつ合成精度が高い画像合成装置によって得るこ
とができる。

【０１６４】以下に、本発明の第３実施形態である画像
合成装置について説明する。第３実施形態の画像合成装
置は、第１実施形態の画像合成装置１と比較して、変換
回路１０の処理手法が異なり、他は等しい。第１実施形
態の画像合成装置と同じ動作を行う構成部品には同じ符
号を付し、動作の説明およびその効果は省略する。変換
回路は、前述の変換回路１０と同様に線画像信号を２値
多値変換したのち、この変換画像信号の画素データの一
部分を削除する。

【０１６５】図２４は、本実施形態の画像合成装置が行
う画像合成動作を概略的に説明するためのフローチャー
トである。この画像合成動作は、図２のフローチャート
と同じ動作を行うステップを含み、そのステップの説明
は省略する。画像合成動作の開始が指示されると、ステ
ップｃ１からステップｃ２に進む。ステップｃ２〜ｃ５
の処理は、ステップａ２〜ａ５の処理と等しい。

【０１６６】ステップｃ６では、変換回路１０が、変換
画像信号を構成する画素データのうちから一部の画素デ
ータを削除する。削除される画素データは、たとえば変
換画像のうちで奇数番目の行を構成する画素に対応する
画素データと、変換画像内で奇数番目の列を構成する画
素データである。すなわち、図７に表す変換画像の画素
を、１画素おきに間引くことと等しい。これによって、
変換画像信号のデータ両が４分の１になる。

【０１６７】さらに、ステップｃ７では、特徴点抽出回
路８はステップａ６の処理手法によって特徴点を抽出
し、さらにこの特徴点の座標のｘおよびｙ座標値とを、
半分の値に変換して記憶する。ステップｃ８では、相関
演算回路１３が、ステップｃ７で生成された変換画像信
号と、ステップｃ６で記憶された特徴点画素の座標とを
用いて、ステップａ７と同じ手法によって相関演算を行
う。このとき、変換画像の画素数が第１実施形態の変換
画像の画素数の４分の１に減少されているので、探索領
域の大きさと参照領域の大きさとも４分の１に縮小す
る。これによって、探索領域内の画素数が４分の１に減
少するので、領域の相関を求める回数が減少する。した
がって、相関演算の処理量を減少させることができる。
最後に、ステップｃ９で、ステップａ８と同じ処理によ
って合成処理を行い、ステップｃ１０で画像合成処理を
終了する。

【０１６８】画素データの削除処理を、変換画像信号を
対象に行う理由を以下に説明する。図２５は、図１０の
変換画像信号の画素データをステップａ６の削除処理に
よって削除して得られた変換画像信号が表す変換画像の
一部分を表す模式図である。図２６は、図７の線画像信
号の画素データをステップａ６の削除処理と同じ処理に
よって削除して得られた線画像信号が表す変換画像の一
部分を表す模式図である。図２５，２６の矩形領域と数
字との関係は、図７と等しい。図２５の変換画像のうち
で図９の変換画像内で領域４１〜４３に含まれていた画
素からなる領域を、それぞれ領域１３１〜１３３とし、
図２５の線画像のうちで図７の線画像内で領域４２に含
まれていた画素からなる領域を、領域１３４とする。領
域１３３，１３４には斜線を付して示す。

【０１６９】図２５の変換画像では、領域４１〜４３の
形状と領域１３１〜１３３の形状とは、大まかに見て類
似しており、また領域４１〜４３の位置関係と領域１３
１〜１３３の位置関係とも、類似している。すなわち、
上述のように画素データを削除した場合にも、変換画像
信号の情報量、たとえば像のエッジ上の画素の位置およ
び対応点画素になり得る画素が含まれる領域は保持され
る。削除後の変換画像信号を相関演算処理に用いたと
き、第１実施形態の相関演算処理と比較して、マッチン
グの精度が低くなりにくい。

【０１７０】これとは逆に図２６の線画像では、領域１
３４は途中に２つに分割されてしまい、領域４２内の画
素が一続きの線を構成していたという情報が失われる。
したがって、上述の削除後の線画像信号から変換画像信
号を生成した場合、その変換画像信号の各領域と図１０
の変換画像信号の領域４１〜４３との形状は大きく異な
る。したがって、この変換画像信号を相関演算処理に用
いると、第１実施形態の相関演算処理と比較して、マッ
チング精度が低下する恐れがある。

【０１７１】これらのことから、変換画像信号を生成し
た後にその変換画像信号の画素データを一部削除して、
削除後の変換画像信号を用いて相関演算処理を行うこと
によって、マッチング精度を大きく低下させずに相関演
算処理の演算量を減少させることができる。したがっ
て、マッチング処理の処理時間をさらに減少させること
ができるので、画像合成処理全体の処理時間をさらに減
少させることができる。ゆえに、画像合成処理を高速で
行うことができるので、たとえばこの画像合成処理を実
時間処理に用いることができる。

【０１７２】さらにまた、画像合成処理全体の処理時間
を短縮するには、以下の手法を用いても良い。この手法
では、対象画像の取得から特徴点抽出までの処理は、第
１実施形態の画像合成処理のステップａ１〜ａ７と等し
い。相関演算処理時に、参照領域Ｅと探索領域Ｆとを重
ね合わせる位置をｘ方向に移動させるとき、その基準位
置が探索領域Ｆ内の画素２つ分ずつずれるように動か
す。さらに、重ね合わせる位置をｙ方向に移動させると
きも、行２つ分ずつずれるように動かす。ゆえに、基準
位置が重ねられる画素が探索領域Ｆ内で１つおきに並
ぶ。これによって、参照領域Ｅと矩形領域Ｂとの相関の
演算回数が、第１実施形態での演算回数の４分の１にな
る。これによって、上述の第３実施形態の画像合成処理
と同じように、画像合成処理全体の処理時間を短縮する
ことができる。

【０１７３】これによって、第１〜第３実施形態の画像
合成装置は、従来技術で説明した理由、すなわち像の歪
みおよび倍率変化によって像の歪みがあるときにも、マ
ッチングの精度および合成精度を高く保つことができ
る。またこの画像合成装置は、たとえば、予め限られた
撮像可能範囲を有するＣＣＤカメラであるような撮像部
を用いて、新聞であるような広い面積を有する被写体を
撮像し、得られた原画像を上述の画像合成処理によって
つなぎ合わせて、合成画像を得る。ゆえに、撮影素子の
撮影可能範囲よりも広い面積を有する被写体を、撮影素
子の解像度よりも高い解像度で読取ることができる。ま
た、合成画像は撮像素子の受光領域数よりも多い画素か
らなるので、高解像度の画像を、従来技術と同じ安価な
撮像素子によって得ることができる。したがって、装置
を安価に製造することができる。

【０１７４】上述した第１〜第３実施形態の画像合成装
置は、撮像素子を用いて被写体を撮像して得られた画像
を合成する場合に限らず、他の状況で用いられても良
い。たとえば、コンピュータによって作成されてメモリ
に記憶された画像を対象画像として処理してもよい。ま
た、対象画像が３次元画像であるときも、上述の各領域
を３次元空間とし、平面上の処理を空間上の処理に置換
えることによって、対象画像が２次元画像とあるときと
同様に処理して同じ効果を得ることができる。さらに、
上述のずれ検出装置は、画像合成処理に限らず、他の用
途で用いられてもよい。たとえばビデモカメラの手ぶれ
検出に用いられても良い。

【０１７５】第１〜第３実施形態の画像合成装置は本発
明の画像合成装置の例示であり、主要な動作が等しけれ
ば、他の様々な形で実施することができる。特に各回路
の詳細な動作は、同じ出力が得られれば、これに限らず
他の動作によって実現されてもよい。さらに、これら画
像合成装置は、上述の画像合成動作を実施するためのソ
フトウエアをコンピュータによって読出し可能な記憶媒
体に記憶させ、このソフトウエアを画像信号の入力と記
憶とが可能なコンピュータにインストールすることによ
って実現してもよい。この記憶媒体には、ＣＤ−ＲＯＭ
およびフロッピーディスクが挙げられる。

【０１７６】

【発明の効果】以上のように本発明によれば、ずれ検出
装置では、特徴点マッチング方式によって、特徴点と、
像のエッジを表す線の幅を拡大して示す変換画像内の点
との相関を求め、相関が最大のときの画像の重ね合わせ
状態から、像のずれおよび歪みを求める。このずれ検出
装置は、像のエッジを表す線を拡大しないまま用いて相
関を求める場合と比較して、求められた像のずれの誤差
が小さい。ゆえに、像の歪みが生じた場合にも、ずれ検
出のための計算を高速化して、かつずれ検出の計算精度
を向上させることができる。また、ずれ検出のための演
算量を減少させて、かつずれ検出の計算精度を向上させ
ることができる。

【０１７７】また本発明によれば、画像合成装置は、請
求項１のずれ検出手法を用いて、参照側画像と探索側画
像との像間のずれを検出し、このずれを打ち消すように
両画像を変形しつつ重ね合わせて、合成画像信号を生成
する。これによって、両画像に像の歪みがある場合に
も、合成精度を向上させることができる。また、ずれ検
出のための演算量が減少されているので、画像合成処理
全体の演算量が減少させ、さらに画像合成処理全体の処
理時間を短縮することができる。

【０１７８】さらにまた本発明によれば、線画像信号生
成手段は、探索側画像信号を２値化して、線画像信号を
生成する。これによって、演算回路の負担を小さくし、
メモリの記憶容量を小さくすることができる。

【０１７９】また本発明によれば、線画像信号のうちで
像のエッジを表す線を含む領域の画素の画素データを書
換えてることによって、線画像の線の幅を拡大する。こ
れによって、変換手段は、極めて容易な演算処理によっ
て線画像信号を変換することができるので、演算量を減
少させることができる。

【０１８０】さらにまた本発明によれば、線画像信号を
２値多値変換することによって、線画像の線の幅を拡大
する。これによって、変換後の線画像信号を用いて相関
を求める場合、像のエッジ近傍の点と特徴点との相関よ
りも、像のエッジ上の点と特徴点との相関の方が大きく
なる。したがって、像のずれの誤差を、さらに小さくす
ることができる。

【０１８１】また本発明によれは、変換手段によって変
換後の線画像信号のうちの画素データを一部削除して、
変換および削除後の線画像信号を用いて相関を求める。
これによって、変換および削除後の線画像の画素数が変
換後の線画像信号の画素数よりも少ないので、相関を求
めるための演算処理の演算量および演算時間を請求項２
の画像合成装置のずれ検出手段よりもさらに減少させる
ことができる。

【０１８２】さらにまた本発明によれば、線画像信号生
成手段は、輝度変化勾配が予め定める点を像のエッジ上
の点として抽出する。これによって、像のエッジを抽出
する手法が極めて容易になるので、線画像信号生成手段
の演算処理の演算量をさらに減少させることができる。

【０１８３】また本発明によれば、参照側画像信号から
輝度変化勾配が予め定める閾値以上の変化点を抽出した
後、これら変化点のうちで相互に予め定める距離以上離
れた点を特徴点として選ぶ。特徴点が参照側画像に分散
される。これによって、特徴点マッチング方式を用いて
像のずれを確実に検出することができる。

【０１８４】さらにまた本発明によれば、参照側画像信
号から、隣接する２点の輝度が参照側画像全体の輝度の
平均値を横切るような点であって、相互に予め定める距
離以上離れた点を、特徴点として選ぶ。これによって、
各点間の輝度変化勾配が小さい場合にも、特徴点マッチ
ング方式を用いて像のずれを求めることができる。

【０１８５】また本発明によれば、画像合成装置は、複
数の参照領域と探索領域との組毎に、特徴点マッチング
方式を用いて像のずれを検出する。これによって、参照
側画像に対する探索側画像の傾きを求めることができ
る。さらに、参照側画像と探索側画像とを回転変換して
その傾きを相殺し、回転変換後の両画像を合成する。こ
れによって、画像の合成時の画像の変形量を小さくする
ことができるので、合成画像内で像が滑らかにつなげる
ことができる。

【０１８６】さらにまた本発明によれば、撮像手段によ
って被写体を撮像して得られた原画像を合成して対象画
像を生成し、その対象画像をさらに上述の画像合成処理
によって合成して、合成画像を生成する。したがって、
２方向について、撮像手段によって得られた原画像より
高精細な合成画像、または原画像よりも広画角で広範囲
の合成画像を得ることができる。

【０１８７】また本発明によれば、画像合成装置は、複
数の参照領域と探索領域との組毎に、変換された線画像
信号を用いた特徴点マッチング方式を用いて像のずれを
検出する。これによって、参照側画像に対する探索側画
像の傾きを求めることができる。さらに、参照側画像と
探索側画像とを回転変換してその傾きを相殺し、回転変
換後の両画像を合成する。これによって、画像合成処理
の計算を高速化し、演算量の減少を図り、かつずれ検出
の精度を向上させることができる。さらに、合成画像内
で像が滑らかにつなげることができる。これによって、
この画像合成装置で得られる合成画像は、請求項２，１
０の画像合成装置で得られ合成画像よりも、合成精度を
向上させることができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態である画像合成装置１の
電気的構造を表すブロック図である。

【図２】画像合成装置１の画像合成処理を説明するため
のフローチャートである。

【図３】処理対象の一対の対象画像信号が表す対象画像
２１，２２と、対象画像２１内の参照領域Ｅ１〜〜Ｅｉ
の位置関係と、対象画像２２内の探索領域Ｆ１〜〜Ｆｉ
の位置関係とを表す模式図である。

【図４】画像合成装置１のラインメモリ５の具体的な電
気的構成とラインメモリ５のレジスタＲ（１）〜Ｒ
（Ｍ）と２値化回路６との接続関係とを表すブロック
図、ならびに対象画像２１，２２内の画素（ｍ，ｎ），
（ｍ−１，ｎ），（ｍ，ｎ−１）の位置関係を表す模式
図である。

【図５】画像合成装置１の２値化回路６の具体的な動作
を表すブロック図である。

【図６】一対の線画像信号が表す線画像４１，４２を表
す模式図である。

【図７】図６の線画像４２の部分拡大図である。

【図８】画像合成装置１の変換回路１０の具体的な動作
を表すブロック図である。

【図９】一対の変換画像信号が表す変換画像４７，４８
を表す模式図である。

【図１０】図９の変換画像４８の部分拡大図である。

【図１１】変換画像４７内の輪郭線４７と特徴点画素
（ａ１，ｂ１）〜（ａｊ，ｂｊ）との位置関係を表す模
式図である。

【図１２】参照領域Ｅと探索領域Ｆとの重ね合わせ状態
を表す模式図である。

【図１３】変換画像４７のうちで、特徴点画素（ａ１，
ｂ１），（ａ２，ｂ２）と相関を求められる画素を表す
模式図である。

【図１４】対象画像２２内の或る行の輝度変化を表すグ
ラフ、線画像４２内の或る行の画素データの変化を表す
グラフ、および変換画像４６内の或る行の画素データの
変化を表すグラフである。

【図１５】対象画像２１内の参照領域Ｅ１，Ｅ２の位置
関係と、対象画像２２内の対応領域Ｇ１，Ｇ２の位置関
係とを表す模式図、台形領域６０を表す模式図、および
台形領域６０の変形後の形状を表す模式図である。

【図１６】第２実施形態の画像合成装置の画像取込み装
置によって得られた対象画像信号が表す対象画像８０，
９０を表す模式図である。

【図１７】第２実施形態の画像合成装置の画像合成処理
を説明するためのフローチャートである。

【図１８】一対の対象画像信号が表す対象画像１０１，
１０２と、対象画像２１内の参照領域Ｅ１〜Ｅｉの位置
関係と、対象画像２２内の対応領域Ｇ１〜Ｇｉの位置関
係とを表す模式図である。

【図１９】対象画像１０１，１０２を第１実施形態の画
像合成処理によって合成する場合の例を説明するための
模式図である。

【図２０】画像の回転変換処理前の対象画像１０２を表
す模式図である。

【図２１】画像の回転変換処理後の対象画像１０２を表
す模式図である。

【図２２】対象画像８０を第２実施形態の画像合成処理
によって合成して得られた合成画像を表す模式図であ
る。

【図２３】対象画像９０を第２実施形態の画像合成処理
によって合成して得られた合成画像を表す模式図であ
る。

【図２４】第３実施形態の画像合成装置の画像合成処理
を説明するためのフローチャートである。

【図２５】画素の削除処理後の変換画像信号が表す変換
画像の部分拡大図である。

【図２６】画素の削除処理後の線画像信号が表す線画像
の部分拡大図である。

【図２７】従来技術のブロックマッチング方式のマッチ
ング処理を説明するための模式図である。

【図２８】従来技術の特徴点マッチング方式のマッチン
グ処理を説明するための模式図である。

【符号の説明】 １ 画像合成装置 ２ ずれ検出装置 ３ 画像取込み装置 ３ａ 撮影部 ３ｂ 初期合成部 ４ 画像メモリ ６ ２値化回路 ８ 特徴点抽出回路 １０ 変換回路 １３ 相関演算回路 １４ 合成処理回路 Ｅ１〜Ｅｉ 参照領域 Ｆ１〜Ｆｉ 探索領域 Ｇ１〜Ｇｉ 対応領域

───────────────────────────────────────────────────── フロントページの続き (72)発明者 広沢 昌司 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 名古 和行 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 中村 三津明 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内

Claims (12)

【特許請求の範囲】
1. 【請求項１】 同じ被写体を表す像を含む参照側および
   探索側画像を個別に表す参照側および探索側画像信号を
   記憶する画像信号記憶手段と、 画像信号記憶手段から参照側画像信号を読出し、参照側
   画像内の点のうちから画像のエッジ上の点を特徴点とし
   て抽出する特徴点抽出手段と、 画像信号記憶手段から探索側画像信号を読出し、探索側
   画像から像のエッジを抽出し、像のエッジを示す線を含
   む線画像を表す線画像信号を生成する線画像信号生成手
   段と、 線画像信号生成手段によって生成された線画像信号を変
   換して、像のエッジを示す線の幅を拡大させる変換手段
   と、 特徴点抽出手段によって抽出された特徴点と、変換手段
   によって変換された線画像信号が表す線画像内の各点と
   の相関を求め、相関に基づいて参照側および探索側画像
   内の像のずれを検出するずれ検出手段とを含むことを特
   徴とするずれ検出装置。
2. 【請求項２】 同じ被写体を表す像を含む参照側および
   探索側画像を個別に表す参照側および探索側画像信号を
   記憶する画像信号記憶手段と、 画像信号記憶手段から参照側画像信号を読出し、参照側
   画像内の点のうちから画像のエッジ上の点を特徴点とし
   て抽出する特徴点抽出手段と、 画像信号記憶手段から探索側画像信号を読出し、探索側
   画像から像のエッジを抽出し、像のエッジを示す線を含
   む線画像を表す線画像信号を生成する線画像信号生成手
   段と、 線画像信号生成手段によって生成された線画像信号を変
   換して、像のエッジを示す線の幅を拡大させる変換手段
   と、 特徴点抽出手段によって抽出された特徴点と、変換手段
   によって変換された線画像信号が表す線画像内の各点と
   の相関を求め、相関に基づいて参照側および探索側画像
   内の像間のずれを検出するずれ検出手段と、 ずれ検出手段によって検出されたずれを打消すように参
   照側および探索側画像を部分的に変形しながら前記像を
   重畳させるように、画像信号記憶手段に記憶された参照
   側および探索側画像信号を読出し合成して、単一の合成
   画像を表す合成画像信号を生成する合成手段とを含むこ
   とを特徴とする画像合成装置。
3. 【請求項３】 前記線画像信号生成手段は、前記画像信
   号記憶手段から探索側画像信号を読出し、探索側画像か
   ら像のエッジを抽出し、探索側画像と同じ配列で点が配
   列された線画像を表す線画像信号であって、各点に個別
   に対応する画素データを含み、エッジ上の点に対応する
   画素データが第１の値であり、エッジ上の点以外の残余
   の点に対応する画素データが第２の値である線画像信号
   を生成することを特徴とする請求項２記載の画像合成装
   置。
4. 【請求項４】 前記変換手段は、前記線画像信号生成手
   段によって生成された線画像信号のうちで、第１の値の
   画素データに対応する点を含む線画像内の予め定める領
   域内の全ての点に対応する画素データを、全て第１の値
   に変換することを特徴とする請求項３記載の画像合成装
   置。
5. 【請求項５】 前記変換手段は、前記線画像信号生成手
   段によって生成された線画像信号の各画素データの値
   を、その画素データの値と該画素データが対応する点に
   線画像内で隣接する点に対応する画素データの値との平
   均値に変換することを特徴とする請求項３記載の画像合
   成装置。
6. 【請求項６】 前記変換手段によって変換された線画像
   信号のうちで、線画像内で隣接する点間の間隔よりも大
   きい予め定める間隔で配列された点に対応する画素デー
   タを削除する削除手段をさらに含み、 前記ずれ検出手段は、前記特徴点抽出手段によって作成
   された特徴点と、削除手段によって画素データが削除さ
   れた線画像信号が表す線画像の点との相関をとり、相関
   に基づいて２枚の画像内の像のずれを検出することを特
   徴とする請求項２記載の画像合成装置。
7. 【請求項７】 前記線画像生成手段は、前記画像信号記
   憶手段から前記探索側画像信号を読出し、探索側画像内
   の全ての点のうちで、輝度変化勾配が予め定める閾値以
   上である点を抽出し、その点を連ねて構成される線を含
   む線画像を表す線画像信号を生成することを特徴とする
   請求項２記載の画像合成装置。
8. 【請求項８】 前記画像信号記憶手段から前記参照側画
   像信号を読出し、参照側画像内の全ての点のうちで、輝
   度変化勾配が予め定める閾値以上である変化点を抽出す
   る変化点抽出手段をさらに含み、 前記特徴点抽出手段は、変化点抽出手段によって抽出さ
   れた点のうちから、参照側画像内で予め定める距離以上
   離れた点を、特徴点として抽出することを特徴とする請
   求項２記載の画像合成装置。
9. 【請求項９】 前記特徴点抽出手段は、画像信号記憶手
   段から参照側画像信号を読出し、参照側画像内の点の中
   で隣接する２点の輝度を両端とする範囲内に参照側画像
   の各点の輝度の平均値が含まれる点のうちから、相互に
   予め定める距離以上離れた点を、特徴点として抽出し、 前記線画像生成手段は、前記画像信号記憶手段から前記
   探索側画像信号を読出し、探索側画像内の点の中で隣接
   する２点の輝度を両端とする範囲内に探索側画像の点の
   輝度の平均値が含まれる点を抽出し、その点を連ねて構
   成される線を含む線画像を表す線画像信号を生成するこ
   とを特徴とする請求項２記載の画像合成装置。
10. 【請求項１０】 同じ被写体を表す像を含む参照側およ
    び探索側画像を個別に表す参照側および探索側画像信号
    を記憶する画像信号記憶手段と、 画像信号記憶手段から参照側画像信号を読出し、参照側
    画像信号が表す画像内に、予め定める大きさを有する参
    照領域を複数設定し、各参照領域内の点のうちから、画
    像のエッジ上の点を特徴点として抽出する特徴点抽出手
    段と、 画像信号記憶手段から探索側画像信号を読出し、探索側
    画像から像のエッジを抽出し、像のエッジを示す線を含
    む線画像を表す線画像信号を生成する線画像信号生成手
    段と、 参照領域毎に、線画像信号生成手段によって生成された
    線画像信号が表す線画像内に参照領域よりも大きい探索
    領域を設定し、特徴点抽出手段によって抽出された参照
    領域内の特徴点と、前記線画像のうちで前記探索領域内
    の各点との相関を求め、相関に基づいて探索領域と参照
    領域とのうちの像のずれを検出するずれ検出手段と、 画像信号記憶手段から参照側および探索側画像信号を読
    出し、ずれ検出手段によって検出された複数のずれに基
    づいて参照側および探索側画像間の像の傾きを求め、そ
    の傾きを打消す方向に各画像を相対的に角変位させるよ
    うに、各画像信号を回転変換する回転変換手段と、 ずれ検出手段によって検出されたずれを打消すように参
    照側および探索側画像を部分的に変形しながら前記像を
    重畳させるように、回転変換手段によって回転変換され
    た参照側および探索側画像信号を合成して、単一の合成
    画像を表す合成画像信号を生成する合成手段とを含むこ
    とを特徴とする画像合成装置。
11. 【請求項１１】 被写体を、一部分が重複する一対の第
    １領域に分割し、さらに各第１領域を、相互に重複する
    複数の第２領域に分割して撮像して、第２領域内の被写
    体を表す像を含む原画像を表す原画像信号を生成する撮
    像手段と、 第１領域毎に、撮像手段によって生成された各原画像信
    号を、その原画像信号が表す原画像のうちで像が重複す
    る領域を表す部分が重畳されるように合成して、前記参
    照側および探索側信号を生成して、前記画像信号記憶手
    段に記憶させる初期合成手段をさらに含むことを特徴と
    する請求項１０記載の画像合成装置。
12. 【請求項１２】 同じ被写体を表す像を含む参照側およ
    び探索側画像を個別に表す参照側および探索側画像信号
    を記憶する画像信号記憶手段と、 画像信号記憶手段から参照側画像信号を読出し、参照側
    画像信号が表す画像内に、予め定める大きさを有する参
    照領域を複数設定し、各参照領域内の点のうちから、画
    像のエッジ上の点を特徴点として抽出する特徴点抽出手
    段と、 画像信号記憶手段から探索側画像信号を読出し、探索側
    画像から像のエッジを抽出し、像のエッジを示す線を含
    む線画像を表す線画像信号を生成する線画像信号生成手
    段と、 線画像信号生成手段によって生成された線画像信号を変
    換して、像のエッジを示す線の幅を拡大させる変換手段
    と、 参照領域毎に、変換手段によって変換された線画像信号
    が表す線画像内に参照領域よりも大きい探索領域を設定
    し、特徴点抽出手段によって抽出された参照領域内の特
    徴点と、前記線画像のうちで前記探索領域内の各点との
    相関を求め、相関に基づいて参照領域と探索領域との内
    の像のずれを検出するずれ検出手段と、画像信号記憶手
    段から参照側および探索側画像信号を読出し、ずれ検出
    手段によって検出された複数のずれに基づいて、２枚の
    画像間の像の回転角度を求め、その回転角度を打消す方
    向に各画像が相対的に角変位するように、各画像信号を
    回転変換する回転変換手段と、 ずれ検出手段によって検出されたずれを打消すように各
    画像を部分的に変形しながら前記像を重畳させるよう
    に、回転変換手段によって回転変換された参照側および
    探索側画像信号を合成して、単一の合成画像を表す合成
    画像信号を生成する合成手段とを含むことを特徴とする
    画像合成装置。