JPH11134500A

JPH11134500A - 画像処理装置

Info

Publication number: JPH11134500A
Application number: JP9292957A
Authority: JP
Inventors: Yasuhisa Nakamura; 安久中村; Hiroyuki Akagi; 宏之赤木; Yoshihiro Kitamura; 義弘北村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-10-24
Filing date: 1997-10-24
Publication date: 1999-05-21

Abstract

(57)【要約】【課題】相関演算の算出の正誤に起因する合成画像の
劣化を防止する。【解決手段】マッチング手段６は、まず一対の画像を
相互に重複する部分を重ねた状態における位置関係を求
めるための第１マッチング処理を行う。次いで相関演算
制御部１２は、一対の画像のうちの一方の画像に複数の
第１参照領域を設定し、他方の画像に各第１参照領域と
輝度分布が最も類似すると予測される予測領域をそれぞ
れ設定する。さらに相関演算部１４は、他方の画像内で
各第２参照領域と輝度分布が最も類似する第２マッチン
グ領域をそれぞれ求める。画像補正情報生成部９は、第
２マッチング領域と予測領域との位置を比較し、全て一
致する場合、求めた位置関係は正しいと判定して、その
旨を画像補正情報提示部１０に表示する。少なくとも１
つが一致しない場合、画像補正情報生成部９は、さらに
前記位置関係の誤りの原因を求めて、画像補正情報提示
部１０に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、相互に重複する複
数の画像の位置関係を求め、その画像を合成する画像処
理装置に関する。

【０００２】

【従来の接術】従来、たとえばスキャナ装置およびカメ
ラである撮影装置を用い撮影装置の１回の撮影動作によ
って得られる画像よりも高解像度または広画角あるいは
広範囲の画像を得るために、相互に重複する複数の画像
が得られるように被写体を撮影し、この画像を位置合わ
せし合成して、１枚の画像にする技術が知られている。

【０００３】この画像の位置合わせは、たとえばパター
ンマッチング法を用い、画像に記載される情報、たとえ
ば画像を構成する画素の輝度分布を用いて行われる。こ
の輝度分布は、たとえば撮影装置の被写体となる物体の
種類に応じて変わり、また光学的雑音となる粉塵が撮影
時に撮影装置にどの程度付着していたかによっても変わ
る。このため、たとえば光学的雑音の重畳する量に起因
する画像の質、およびその画像に写る被写体が何である
かによって定められる画像の種類に応じて、画像の輝度
変化の様子が変化する。この画像の輝度変化の様子に依
存して、位置合わせの精度も変化する。

【０００４】また、画像を精度良く合成するには、複数
の画像の相対的な傾きがなく、両画像の相互に重複する
部分の大きさが位置合わせに充分な大きさ以上である必
要がある。このような画像を単一の撮影装置を用いて得
る場合、たとえば１回の撮影動作毎に撮影装置と被写体
との相対位置を厳密に定めなければならない。ゆえに、
一対の画像を得るための操作は、画像合成装置の操作に
不慣れな操作者にとって困難なので操作を誤り易く、そ
のための作業時間が大幅に増えることがある。

【０００５】そこで、画像の輝度変化ならびに画像の重
複状態に関係なく、精度良く位置合わせを行い、かつ操
作者の負担を少なくするための従来技術が、特開平３−
１８８５７５号公報の画像結合方式、および特開平５−
１２２５０１号公報の画像処理装置に開示される。画像
結合方式では、操作者は、被写体である原稿に、連結基
準点として予め定めるマークが記されたシールを予め貼
付け、その原稿をスキャナに読取らせる。または、入力
した複数の画像を目視表示し、それら画像の相互に重複
する部分に前記マークを付加する。画像結合方式を実行
する装置は、このマークを利用してパターンマッチング
を行い、そのマッチング結果に基づいて画像を合成す
る。また、画像処理装置では、操作者は、被写体である
原稿の重複して撮影させるべき部分に予め色マーカによ
って印を付してから、画像読取り部に読取らせる。画像
処理装置は、複数の画像を位置合わせする際には、色マ
ーカによって印が付された部分をパターンマッチングし
て、そのマッチング結果に基づいて画像を合成する。

【０００６】これらの従来技術では、被写体となる原稿
に、予めマークおよび印を付ける必要があるので、操作
者の操作に余計な手間がかかる。また、たとえば新聞原
稿などが被写体である場合、画像自体に位置合わせを行
うのに充分な輝度変化があるのでマークおよび印の付加
がなくても精度良く位置合わせを行うことができるが、
これら従来技術では画像の輝度変化の度合を考慮してい
ないので、これら画像にもマークまたは印を付ける必要
があり、操作性が悪くなる。また、マークおよび印の位
置に基づいてスキャナおよび画像読取り部に対して原稿
を配置しなければならないので、原稿の取扱いおよび装
置の操作が繁雑になる。ゆえに、原稿の取扱いおよび装
置の操作に操作者が熟練しないと、精度良く画像を合成
することが困難だった。

【０００７】

【発明が解決しようとする課題】本発明の目的は、操作
者の操作が簡単であってかつ従来の画像処理装置よりも
精度よく位置合わせを行うことができ、位置合わせの結
果に基づく合成の精度を従来の画像処理装置よりも向上
させることができる画像処理装置を提供することであ
る。

【０００８】

【課題を解決するための手段】本発明は、相互に重複す
る一対の画像を入力する画像入力手段と、一対の画像の
相互に重複する部分を重ねた状態における一対の画像の
位置関係を求める位置関係検出手段と、求められた位置
関係が正しいか否かを判定する位置関係判定手段と、位
置関係判定手段によって求められた位置関係の正誤を表
示する表示手段とを含むことを特徴とする画像処理装置
である。

【０００９】本発明に従えば、画像処理装置は、入力さ
れた一対の画像の位置関係を求め、かつその位置関係の
正誤を判定して、その判定結果に表示する。これによっ
て、画像処理装置の操作者は、位置関係検出手段が求め
た位置関係の正誤を知ることができる。したがって、求
めた位置関係を用いて行う画像処理、たとえば一対の画
像の合成および画像の動きの検出において処理の精度が
低下した場合、その精度の低下の原因が位置関係の誤り
にあるか否かを容易に知ることができる。

【００１０】本発明は、前記位置関係判定手段によって
前記位置関係が誤りであると判定された場合、前記位置
関係の誤りの原因を求めて前記表示手段に表示させ、位
置関係が正しいと判定された場合休止する原因検出手段
をさらに含むことを特徴とする。

【００１１】本発明に従えば、画像処理装置は、求めた
位置関係に誤りがある場合、その誤りの原因を検出して
表示する。これによって画像処理装置の操作者は、求め
た位置関係に誤りがある場合、その原因を知ることがで
きる。ゆえに、求めた位置関係を用いる処理をやり直す
場合、その誤りの原因を除くように装置を動作させるこ
とができる。これによって、処理をやり直した時点で求
めた位置関係が、再び誤る可能性が少なくなる。したが
って、一対の画像の位置関係の訂正が容易であり、やり
直しの回数も減少させることができる。

【００１２】本発明は、前記位置関係検出手段は、前記
一対の画像のうちの一方の画像に予め定める大きさの第
１参照領域を設定し、前記一対の画像のうちの他方の画
像内で、輝度分布が第１参照領域の輝度分布と最も類似
する第１マッチング領域を求め、第１参照領域と第１マ
ッチング領域との位置関係に基づいて前記一対の画像の
前記位置関係を求め、前記位置関係判定手段は、前記一
方の画像の第１参照領域を含む部分に、予め定める大き
さの第２参照領域を設定し、前記他方の画像内で第２参
照領域と輝度分布が最も類似すると予想される予想領域
を、第１マッチング領域の位置と第１および第２参照領
域の位置関係とに基づいて設定し、前記他方の画像の第
１マッチング領域を含む部分内で、第２参照領域と輝度
分布が最も類似する第２マッチング領域を求め、第２マ
ッチング領域が予想領域と一致する場合、前記位置関係
が正しいと判定し、一致しない場合、前記位置関係が誤
りであると判定することを特徴とする。

【００１３】本発明に従えば、画像処理装置の位置関係
判定手段は、位置関係を求めるための第１参照領域およ
び第１マッチング領域に基づき、上述のように位置関係
の正誤を判定する。これによって、いわゆるパターンマ
ッチング法を用いて、位置関係の正誤を判定することが
できる。

【００１４】本発明は、前記位置関係検出手段は、前記
一対の画像のうちの一方の画像に予め定める大きさの第
１参照領域を設定し、前記一対の画像のうちの他方の画
像内で、輝度分布が第１参照領域の輝度分布と最も類似
する第１マッチング領域を求め、第１参照領域と第１マ
ッチング領域との位置関係に基づいて前記一対の画像の
前記位置関係を求め、前記位置関係判定手段は、前記一
方の画像内で第１参照領域を含む部分に、予め定める大
きさの第２参照領域を複数設定し、前記他方の画像内で
各第２参照領域と輝度分布が最も類似すると予想される
予想領域を、第１マッチング領域と第１および第２参照
領域の位置関係とに基づいてそれぞれ設定し、前記他方
の画像内の第１マッチング領域を含む部分内で、各第２
参照領域と輝度分布が最も類似する第２マッチング領域
をそれぞれ求め、各第２マッチング領域が各予想領域と
それぞれ一致する場合、前記位置関係が正しいと判定
し、少なくとも１つの第２マッチング領域がその予想領
域と一致しない場合、前記位置関係が誤りであると判定
し、前記原因検出手段は、前記位置関係判定手段によっ
て前記位置関係が誤りであると判定された場合、前記各
予想領域から前記各第２マッチング領域までのずれおよ
び前記各第２マッチング領域から前記第１マッチング領
域までの距離との関係を求め、距離の増加に伴ってずれ
が増加するとき、前記一対の画像の相対的な傾きが前記
位置関係検出手段によって位置関係を検出することが可
能な最大の傾き以上であることを位置関係の誤りの原因
として前記表示手段に表示させ、距離に無関係にずれが
変化するとき、前記一対の画像の相互に重複する部分の
大きさが前記位置関係検出手段によって位置関係を検出
することが可能な最大の大きさ以上または最小の大きさ
未満であることを誤りの原因として前記表示手段に表示
させ、前記位置関係が正しいと判定された場合、休止す
ることを特徴とする。

【００１５】本発明に従えば、原因検出手段は、位置関
係判定手段によって求められた複数の第２マッチング領
域および予測領域を用いて、位置関係の誤りの原因が、
一対の画像の相対的な傾きに起因するのか一対の画像の
相互に重複する部分の大きさに起因するのかを判定す
る。このように、位置関係判定手段が複数の第２参照領
域を設定して各第２参照領域毎に処理を行うことによっ
て、位置関係の正誤の判定と位置関係の誤りの原因と
を、両方同時に調べることができる。したがって、これ
らを別個に行う場合よりも、位置関係の正誤の判定に加
えて原因の検出を行う場合の処理を、容易にすることが
できる。

【００１６】本発明は、前記位置関係検出手段は、前記
一対の画像のうちの一方の画像に予め定める大きさの第
１参照領域を複数設定し、前記一対の画像のうちの他方
の画像内で、輝度分布が各第１参照領域の輝度分布と最
も類似する第１マッチング領域をそれぞれ求め、各第１
参照領域と各第１マッチング領域との位置関係に基づい
て前記一対の画像の前記位置関係を求め、前記位置関係
判定手段は、複数の第１参照領域および第１マッチング
領域のうちで、位置関係検出手段の第１マッチング領域
の算出の信頼性が予め定める基準以上に高い第１マッチ
ング領域と、該第１マッチング領域の算出に用いられた
第１参照領域とを選択し、前記一方の画像内で選択され
た第１参照領域を含む部分に、予め定める大きさの第２
参照領域を複数設定し、前記他方の画像内で各第２参照
領域と輝度分布が最も類似すると予想される予想領域
を、選択された第１マッチング領域と選択された第１参
照領域および各第２参照領域の位置関係とに基づいてそ
れぞれ設定し、前記他方の画像内の選択された第１マッ
チング領域を含む部分内で、各第２参照領域と輝度分布
が最も類似する第２マッチング領域をそれぞれ求め、各
第２マッチング領域が各予想領域とそれぞれ一致する場
合、前記位置関係が正しいと判定し、少なくとも１つの
第２マッチング領域がその予想領域と一致しない場合、
前記位置関係が誤りであると判定することを特徴とす
る。

【００１７】本発明に従えば、位置関係検出手段は、複
数の第１参照領域を設定して、各第１参照領域の第１マ
ッチング領域を求める。これは、たとえば画像の歪みを
検出するため、および画像の傾きを検出するためであ
る。この場合に位置関係判定手段は、第２参照領域およ
び予測領域の設定のために、複数の第１マッチング領域
のうちで算出の信頼性が最も高いものを選ぶ。第１マッ
チング領域の算出の信頼性が高いほど第１マッチング領
域が正しい可能性が高いので、一方の画像の前記部分お
よび他方の画像の前記部分の輝度分布が等しい可能性が
高い。ゆえに、このような第１マッチング領域および第
１参照領域に基づいて予測領域を設定することによっ
て、位置関係が正しい場合に予測領域の輝度分布が第２
参照領域と等しくなる可能性が高くなるので、輝度分布
が第２参照領域と輝度分布が違う領域を誤って予測領域
とすることを防止することができる。

【００１８】このために、位置関係判定手段は、複数の
第１参照領域を無作為に用いて設定する場合よりも、予
測領域の設定の精度を向上させることができる。したが
って、位置関係の判定の精度をこの場合よりも向上させ
ることができる。また、この画像処理装置に、請求項４
で説明した原因検出手段を加えた場合、予測領域の設定
の精度が高いので、第２マッチング領域と予測領域との
ずれが予測領域の誤りによって狂う可能性が低くなる。
ゆえに、原因の判定の精度も向上させることができる。

【００１９】本発明は、前記前記位置関係判定手段は、
第１参照領域および第１マッチング領域の位置関係が隣
合う第１参照領域同士で等しい第１マッチング手段を、
算出の信頼性が前記基準以上に高いマッチング領域とし
て選択することを特徴とする。

【００２０】本発明に従えば、前記位置関係判定手段
は、複数の第１マッチング領域のうちで、上述の関係を
満たす第１参照領域を用いて算出されたものを、算出の
信頼性が高いものとして選ぶ。これによって、位置関係
を検出するための第１参照領域および第１マッチング領
域を利用して、算出の信頼性の判定を行うことができ
る。したがって、算出の信頼性の高い第１マッチング領
域の選択を、容易に行うことができる。

【００２１】本発明は、前記位置関係判定手段は、第１
参照領域および第１マッチング領域の位置関係が隣合う
第１参照領域同士で等しい第１マッチング領域のうち
で、第１参照領域同士の相対距離が最も大きい２つの第
１マッチング領域を、前記信頼性が前記基準以上に高い
第１マッチング領域として選ぶことを特徴とする。

【００２２】本発明に従えば、前記位置関係判定手段
は、複数の第１マッチング領域のうちで、上述の関係を
満たす２つの参照領域を用いて算出されたものを、算出
の信頼性が高いものとして選ぶ。この２つの参照領域お
よび第１マッチング領域は相対距離が最大のものなの
で、これらを用いれば、一対の画像が相互に傾いている
場合、一方の画像に対する他方の画像の傾き角を、厳密
に推定することができる。ゆえに、厳密に推定された傾
き角を考慮して第２参照領域および予測領域を設定する
ことによって、各領域を、一対の画像の相互に重複する
部分内に確実に設定することができるので、その設定の
精度をさらに向上させることができる。したがって、し
たがって、位置関係の判定の精度をさらに向上させるこ
とができる。

【００２３】本発明は、前記位置関係判定手段によって
前記第１参照領域および第１マッチング領域を選ぶこと
ができない場合、前記一対の画像の相互に重複する部分
の輝度変化が前記位置関係検出手段によって前記位置関
係を検出するための最小の輝度変化未満であることを位
置関係の誤りの原因として前記表示手段に表示させ、で
きる場合休止する輝度変化検出手段をさらに含むことを
特徴とする。

【００２４】本発明に従えば、輝度変化検出手段は、算
出の信頼性の高い第１マッチング領域を選ぶことができ
るか否かによって、位置関係の誤りの原因が、一対の画
像の相互に重複する部分の輝度変化が最小の輝度変化未
満であるか否か、すなわちこの重複する部分の輝度分布
が平坦であるか否かを判定する。これは、マッチング法
を用いて第１マッチング領域を求める場合、一般的に、
輝度変化が大きいほど第１マッチング領域の算出の信頼
性が高くなるからである。このように、第１マッチング
領域の信頼性を調べることによって、予測領域の精度を
向上させるだけでなく、位置関係の誤りの原因を調べる
こともできる。したがって、誤りの原因が重複する部分
の輝度分布が平坦であることであるか否かを、容易に調
べることができる。

【００２５】本発明は、前記輝度変化検出手段は、前記
位置関係判定手段によって前記第１参照領域および第１
マッチング領域を選ぶことができない場合、さらに、前
記一対の画像の相互に重複する部分に同一の印を付すこ
とを指示することを特徴とする。

【００２６】本発明に従えば、輝度変化検出手段は、信
頼性の高い第１マッチング領域を選ぶことができない場
合、すなわち一対の画像の相互に重複する部分の輝度変
化が最小の輝度変化未満であることが誤りの原因である
と判定された場合、さらに、重複する部分に同一の印を
付すことを操作者に指示する。操作者がこの一対の画像
の重複する部分に印を付ければ、その部分の輝度変化が
大きくなるので、印を付した一対の画像の位置関係を再
び求めれば、求められた位置関係が正しい確率が高い。
したがって同一の印を付すことを指示することによっ
て、位置関係の検出を再び行わせる場合に、その位置関
係を正しく求めさせるにはどうしたら良いかを、操作者
が容易に知ることができる。

【００２７】またこの印を付す指示は、重複する部分の
輝度変化が小さすぎることが誤りの原因である場合だけ
行われ、重複する部分の輝度変化が前記最小の輝度変化
以上である場合は行われない。すなわち、輝度変化に起
因した誤りが起こり易い場合だけ印の付加が指示される
ので、誤りの起こりにくい画像に印を付す必要はなく、
その印を付す作業を、画像に印を常に付して位置関係を
求めさせる従来技術の装置と比較して、簡略化すること
ができる。

【００２８】本発明は、前記画像入力手段に画像を再び
入力させるか否かをを選択させる再入力選択手段をさら
に含み、前記画像入力手段は、画像を再入力させること
が選択された状態で、前記輝度変化検出手段が位置関係
の誤りの原因を前記表示手段に表示させた場合、前記一
対の画像を全て再び入力させ、前記状態で輝度変化検出
手段が休止した場合、前記一対の画像のうちのいずれか
一方を再び入力させることを特徴とする。

【００２９】本発明に従えば、画像処理装置は、再入力
選択手段によって、画像を再入力させるか否かを、選択
させることができる。この場合、画像入力手段は、輝度
変化検出手段によって誤りの原因が表示手段に表示され
たか否か、すなわち、重複する部分の輝度変化が前記最
小の輝度変化未満であるか否かに応じて、一対の画像を
全て再入力させるか、いずれか一方の画像を再入力させ
るかを選択する。これによって、位置関係の誤りが重複
する部分の輝度変化に起因していない場合、再入力させ
るべき画像の枚数を減らすことができるので、全ての画
像を再入力させる場合よりも操作者の作業を簡略化させ
ることができる。

【００３０】本発明は、前記画像入力手段は、被写体を
載置する載置台と、予め定める撮影範囲を有し、載置台
に載置された被写体内の撮影範囲内にある部分を撮影し
て画像を生成し、入力されるべき画像の枚数だけ撮影を
繰り返す撮影手段と、載置台の撮影範囲の近傍に並べら
れて固定される複数の案内手段とを含むことを特徴とす
る。

【００３１】本発明に従えば、画像処理装置は、載置台
に載置された被写体を撮影して、画像を得る。この場
合、相互に重複する一対の画像を得るには、まず載置台
上の被写体を撮影手段に１回撮影させ、次いで操作者が
その被写体を、１回目の撮影で撮影範囲に入っていた部
分の一部が撮影範囲内に残るように、載置台上で平行移
動させ、移動後に撮影手段に被写体を再度撮影させる。
この場合、従来技術では被写体を移動させる際に被写体
をどれだけ移動させればよいかを、操作者の目視によっ
てだけ確認していた。本発明の画像処理装置では、載置
台近傍に複数の案内手段が設けられているので、その案
内部材を目安に被写体を移動させれば良い。これによっ
て、被写体をどのように移動させるかを、操作者が容易
に把握することができる。

【００３２】本発明は、前記各案内手段は発光手段であ
り、撮影の繰返し回数に応じて、画像の重複する部分に
相当する被写体の部分を置くべき載置台上の位置に最も
近く、かつ繰返し回数に対応して予め定められる案内手
段が発光または消灯し、さらに該案内手段以外の残余の
案内手段が消灯または発光することを特徴とする。

【００３３】本発明に従えば、前記各案内手段は発光手
段であり、これらの点灯／消灯の組合わせは、撮影の繰
返し回数に応じて上述のようになる。これによって、相
互に重複する画像を得る場合、操作者は、他の発光手段
と点灯／消灯の状態が逆になっている発光手段に合わせ
て被写体を移動させれば良いので、操作者自身が被写体
の移動方向および移動距離を定める必要がなくなる。し
たがって、操作者が被写体を移動させる作業がさらに簡
略化される。

【００３４】本発明は、一対の画像を合成するか否かを
選択させる合成選択手段と、合成することが選択された
場合、前記位置関係検出手段によって求められた前記位
置関係に基づいて、一対の画像を相互に重複する部分で
つなぎ合わせるように合成し、合成しないことが選択さ
れた場合休止する合成手段とをさらに含むことを特徴と
する。

【００３５】本発明に従えば、前記画像処理装置は、合
成選択手段によって合成することが選択された場合だ
け、合成手段によって一対の画像を合成する。これによ
って、たとえば表示手段に表示される位置関係判定手段
の判定結果を考慮して合成選択手段に選択を行わせるこ
とによって、位置関係が誤っている場合は合成を行わせ
ないようにすることができる。これによって、推測され
た重複する部分が位置関係の誤りに起因して本来の重複
する部分と異なるために、合成された画像内に歪みおよ
び輝度の境目が生じてその画像の画質の劣化が生じるこ
とを、防止することができる。また、この合成選択手段
を操作者に操作させた場合、位置関係が誤っている場合
に合成を行わせること、および位置関係が正しい場合に
合成を取りやめることを、選択させることもできる。こ
れによって、位置関係の正誤を考慮しつつ、合成の実行
の是非を操作者が柔軟に選択することができる。したが
って、画像処理装置の操作性を向上させることができ
る。

【００３６】

【発明の実施の形態】図１は本発明の実施の一形態であ
る画像処理装置１の電気的構成を表すブロック図であ
る。画像処理装置１は、画像取込み部３、画像メモリ
４、マッチング処理部５、画像合成部６、画像出力部
７、画像補正情報生成部８、および画像補正情報提示部
９を含む。

【００３７】画像取込み部３は、処理対象であり相互に
重複する一対の画像を外部から取込む。各画像は複数の
画素が行列状に配置されて構成されるものであり、画像
処理装置１内では、各画素の画像内の位置および該画素
の輝度を表す画素データの集合である画像信号の形態で
取扱われる。以後の説明では、画像信号も画像と称し、
図面に記載される画像は、画像信号を仮想的に目視表示
したものとする。画像取込み部３は、取込んだ画像を、
画像メモリ４に記憶させる。

【００３８】画像フィルタ５は、画像メモリ４から各画
像を読出し、その画像に予め定めるフィルタ処理を個別
に施すことによって、各画像毎に、画像の相関演算用デ
ータを作成する。画像の相関演算用データは、その画像
から空間周波数の高周波成分を除去したものである。画
像フィルタ５は、画像の相関演算用データを、画像メモ
リ４内の画像が記憶された場所とは異なる場所に記憶さ
せる。

【００３９】マッチング処理部６は、相関演算制御部１
２、相関演算部１３、およびワークメモリ１４を含む。
マッチング処理部６は、概略的には、一対の画像をその
重複する部分を重ねた場合の該一対の画像の位置関係を
検出する検出処理のための第１マッチング処理と、検出
された位置関係の正誤を判定する判定処理のための第２
マッチング処理とを行う。具体的には、相関演算制御部
１２は、画像メモリ４から一対の画像の相関演算用デー
タを読出し、相関演算の処理対象となる領域を各画像に
それぞれ設定して、その領域の各画像内の位置を表す領
域データを作成し、ワークメモリ１３に記憶させる。相
関演算部１４は、画像メモリ４から一対の画像の相関演
算用データを読出し、かつワークメモリ１３から一対の
画像の領域データを読出し、これらデータを用いて、一
対の画像の設定された前記領域のマッチングを求めるた
めの相関演算を行う。求められたマッチングを表すマッ
チングデータは、ワークメモリ１３に記憶される。

【００４０】画像合成部７は、画像メモリ４から一対の
画像を読出し、かつワークメモリ１３から領域データお
よびマッチングデータを読出して、領域データおよびマ
ッチングデータに基づいて一対の画像を合成する。これ
によって得られる合成画像は、画像出力部８によって画
像処理装置１外部に出力される。画像出力部８は、たと
えば画像を目視表示する表示装置、および画像を紙面に
印刷する印刷装置によって実現される。

【００４１】画像補正情報生成部９は、ワークメモリ１
３から領域データおよびマッチングデータを読出し、領
域データおよびマッチングデータに基づいて、一対の画
像の位置合わせの精度を評価する。画像補正情報提示部
１０は、画像補正情報生成部の評価結果を画像処理装置
１の操作者に伝達し、かつ操作者から指示される命令を
受取って画像取込み部３および画像合成部７に与える。
画像取込み部３は、与えられた命令に基づいて、画像の
取込み動作を制御する。画像合成部７は、与えられた命
令に基づいて、画像の合成動作および合成画像の出力動
作を制御する。

【００４２】画像補正情報提示部１０は、たとえば、表
示装置とキーボードとを組合わせて実現され、表示装置
に評価結果を目視表示することで、評価結果を操作者に
伝達する。操作者はキーボードを操作して命令を指示
し、そのキーボードに対する操作を検出することによっ
て、指示された命令を受取る。また、キーボードの代わ
りに、タブレットを用いてもよい。この場合、タブレッ
トは、透光性を有す部材から構成された指示領域を有
し、その指示領域が表示装置の表示面の上に設置されて
おり、操作者が指または棒状の部材によって指示領域に
触れた点の座標を取得する。タブレットは、取得された
座標と、座標を取得した時点に表示装置に表示されてい
た画像とに基づいて、指示された命令を受取る。

【００４３】図２は、画像取込み部３の外観を示す斜視
図である。画像取込み部３は、筺体２１と、載置台２２
と、撮影部と、複数の案内部材とを含む。本実施形態で
は、案内部材が４つであるとして説明する。画像取込み
部３は、具体的には、たとえばスキャナ装置および複写
機の読取り部によって実現される。

【００４４】載置台２２はたとえば透明な矩形の板であ
り、矩形の筺体２１のいずれか１つの面に嵌込まれる。
撮影部は、撮影部が１回の撮影によって撮影可能な予め
定める撮影範囲がたとえば載置台２２全域と一致するよ
うに筺体２１内部に設置され、筺体２１内部から載置台
２２に載置された被写体を撮影して、その被写体の像が
写る画像を生成する。画像取込み部３の１回の画像の取
込みは、具体的には、操作者が載置台２２に載置させた
被写体を撮影部が１回撮影することによって実現され、
撮影部が生成した画像が、画像取込み部３が取込んだ画
像として、画像メモリ４に記憶される。撮影部は、画像
取込み部３が取込むべき画像の枚数と同じ回数だけ、撮
影を繰返し行う。

【００４５】案内部材２３〜２６は、点灯／消灯を個別
に制御することができる発光素子によって実現され、筺
体２１の載置台２２が嵌込まれた面の載置台２２の平行
な２辺の近傍に取付けられる。かつ、案内部材２３，２
４が前記２辺のうちの一方の辺２７に平行に並び、案内
部材２５，２６が、前記２辺のうちの他方の辺２８に平
行に並ぶ。さらに、載置台２２を挟んで前記２辺に直交
する２辺２９，３０に平行に並び辺２９に近い複数の案
内部材２３，２５は第１の組を成し、載置台２２を挟ん
で２辺２９，３０に平行に並び辺３０に近い複数の案内
部材２４，２６は、第２の組を成す。同じ組の複数の案
内部材２３，２５；２４，２６は、撮影部の撮影の繰返
し回数に応じて予め定められる点灯パターンに基づい
て、同時に点灯および消灯する。この案内部材２３〜２
６は、少なくとも、載置台２２のいずれか１つの辺に平
行に複数並べられれば良い。

【００４６】このような構造の画像取込み部３を用い
て、画像処理装置１の処理対象となる複数の画像を取込
むための画像の取込み動作を、以下に詳細に説明する。
この画像取込み部３で撮影するべき被写体３１は、撮影
部の撮影範囲よりも大きいと仮定し、画像取込み部３が
取込むべき画像の枚数は２枚であると仮定する。

【００４７】１回目の撮影時には、まず、第１の組の案
内部材２３，２５が消灯して第２の組の案内部材２４，
２６が点灯する。操作者は、被写体３１のうちの一部分
が載置台２２からはみ出すように、被写体３１を載置台
２２上に載置する。具体的には、図３に示すように、被
写体３１は、その一方の端部が消灯している案内部材２
３，２５の近傍の辺２９の近傍にあり、その他方の端部
が点灯している案内部材２４，２６の近傍の辺３０を越
えて載置台２２の外に出るように、載置される。このと
き操作者は、被写体３１内で点灯している案内部材２
４，２６に挟まれる部分がどこであるかを覚えておく。
被写体３１の載置後、操作者は撮影部に被写体３１の撮
影を指示し、撮影部はこの指示に応答して、被写体３１
を撮影し、画像を生成して画像メモリ４に記憶させる。
この場合、被写体３１のうちでその一方の端部から中央
部付近までの部分３２が載置台２２上にあるので、撮影
部によって生成される画像には、この部分３２の像が写
っている。

【００４８】２回目の撮影時には、まず、第１の組の案
内部材２３，２５が点灯して第２の組の案内部材２４，
２６が消灯する。操作者は、載置台２２上で点灯してい
る案内部材２３，２５に挟まれる部分に、被写体３１の
部分３２内で１回目の撮影時に点灯していた案内部材２
４，２６に挟まれた部分３３が置かれるように、被写体
３１を載置台２２上に載置する。具体的には、図４に示
すように、被写体３１は、その一方の端部が点灯してい
る案内部材２３，２５の近傍の辺２９を越えて載置台２
２の外に出て、その他方の端部が消灯している案内部材
２４，２６の近傍の辺３０の近傍にあるように、載置さ
れる。被写体３１の載置後、操作者は撮影部に被写体３
１の撮影を指示し、撮影部はこの指示に応答して、被写
体３１を撮影する。この場合、被写体３１のうちで中央
部付近から他方の端部までの部分３４が載置台２２上に
あるので、撮影部によって生成される画像には、この部
分３４の像が写っている。

【００４９】このように、点灯する案内部材２４，２
６；２３，２５を基準に被写体を移動させた場合、２回
目の撮影時に撮影部に撮影される部分３４には、１回目
の撮影時に撮影される部分３２の一部分である部分３３
が含まれる。すなわち、１回目の撮影で生成された画像
と２回目の撮影で生成された画像とには、どちらも部分
３３の像が写っている。これによって、１回目および２
回目の撮影で生成された画像内には、被写体３１の同じ
部分３３の像が写る部分がそれぞれあることになる。各
画像内で被写体３１の同じ部分３３の像が写る部分は、
その部分の画素の輝度分布が等しい。すなわち、各画像
内で被写体３１の同じ部分３３が写る部分は、相互に重
複する。以後、一対の画像内で相互に重複する部分を、
各画像の重複部分と称する。

【００５０】このように、画像取込み部３を用いて処理
対象の一対の画像を取込む場合、各撮影時に点灯する案
内部材２４，２６；２３，２５の間に被写体３１の同じ
部分３３が常にあるように被写体３１を載置台２２に載
置させれば、各撮影時に生成される画像の一部分が相互
に重複する。ゆえに、操作者が被写体３１を動かす場
合、１回目の撮影時に撮影された被写体３１の部分のさ
らに一部分が２回目の撮影時にも撮影範囲内に残るよう
にするために、被写体をどのように動かしたら良いか
を、極めて簡単に知ることができる。これによって、操
作者が被写体３１を動かす場合に、相互に重複する一対
の画像を容易に取込ませることができる。

【００５１】図５は、位置関係の正誤の評価処理を含む
画像合成動作を説明するためのフローチャートである。
この画像の合成動作は、前提条件として、処理対象の一
対の画像とそれら各画像の相対演算用データとが、画像
メモリ４に記憶されているものとする。この状態で、操
作者がたとえば画像補正情報提示部１０のキーボードを
操作して、画像合成動作の開始を指示した場合、ステッ
プＳ１からステップＳ２に進む。

【００５２】ステップＳ２，Ｓ３では、マッチング処理
部６は、処理対象の一対の画像の位置関係を求めるため
の位置関係検出手段として動作する。このためにマッチ
ング処理部６はまずステップＳ２で、第１マッチング処
理を行う。

【００５３】以下に、図６を参照して、第１マッチング
処理を、詳細に説明する。図６は、マッチング処理の処
理対象の一対の画像Ｐ１，Ｐ２の一部分を表す図であ
る。相関演算部１２と相関演算制御部１４とは各画像Ｐ
１，Ｐ２の相関演算用データを用いて処理を行うので、
一対の画像Ｐ１，Ｐ２は相関演算用データを仮想的に目
視表示したものである。すなわち一対の画像Ｐ１，Ｐ２
は、実際に画像取込み部３で取込まれた一対の画像か
ら、空間周波数の高周波成分を取除いたものになってい
る。この一対の画像Ｐ１，Ｐ２のうちのいずれか一方の
画像を参照画像Ｐ１とし、いずれか他方の画像を探索画
像Ｐ２とする。

【００５４】これら画像Ｐ１，Ｐ２には、画像内の点の
位置を示すために、座標系がそれぞれ設定される。以後
の説明では、画像Ｐ１，Ｐ２の座標系は２次元直交座標
系であり、その原点がたとえば画像の左上隅の頂点と等
しく、ｘ座標軸は紙面の縦方向に平行でありｙ座標軸は
紙面の横方向に平行であると仮定する。また、画像Ｐ
１，Ｐ２の重複部分は、ｙ座標軸に平行な方向の幅がｘ
座標軸に平行な方向の幅よりも長いと仮定する。

【００５５】まず相関演算制御部１２は、一対の画像Ｐ
１，Ｐ２に、相関演算部１４が相関演算の処理対象とす
るべき第１参照領域および第１探索領域を設定する。具
体的には、まず、第１参照領域Ｐ１内に、予め定める大
きさの複数の第１参照領域を設定する。第１参照領域の
数はたとえば２個以上１０数個程度であり、たとえば図
６の説明では１３個の第１参照領域Ａ１〜Ａ１３が、ｙ
座標軸に沿って平行に等間隔で設定されたものとする。
次に、探索画像Ｐ２内に、各第１参照領域Ａ１〜Ａ１３
に個別に対応し第１参照領域Ａ１〜Ａ１３よりも大きい
第１探索領域Ｂ１〜Ｂ１３を設定する。本実施形態の説
明では、各第１参照領域Ａ１〜Ａ１３は同じ大きさの矩
形の領域であるとする。また図６には、第１参照領域Ａ
１〜Ａ５と第１探索領域Ｂ１，Ｂ２を記載し、第１参照
領域Ａ６〜Ａ１３と第１探索領域Ｂ３〜Ｂ１３は省略す
る。第１参照領域Ａ１〜Ａ１３および第１探索領域Ｂ１
〜Ｂ１３の各画像Ｐ１，Ｐ２内の位置は、第１領域デー
タとしてワークメモリ１３に記憶される。

【００５６】各第１探索領域Ｂ１〜Ｂ１３は、対応する
第１参照領域Ａ１〜Ａ１３と重複する可能性がある部分
を全て含むように設定される。この時点では、重複部分
が各画像のどこであるのかは分かっていないので、参照
画像Ｐ１内で第１参照領域Ａ１〜Ａ１３を設定する部
分、および探索画像Ｐ２内で第１探索領域Ｂ１〜Ｂ１３
を設定する部分は、それぞれ各画像Ｐ１，Ｐ２の重複部
分であろうと相関演算制御部１２によって推測される部
分である。領域に付す参照符の末尾の数値は沿え字であ
り、対応する領域同士には同じ数値を付し、また数値を
任意とする場合はｉと記載する。

【００５７】相関演算部１４は、各第１探索領域Ｂ１〜
Ｂ１３とそれに対応する第１参照領域Ａ１〜Ａ１３との
マッチングをそれぞれ求める。すなわち、各第１探索領
域Ｂ１〜Ｂ１３内で、それに対応する第１参照領域Ａ１
〜Ａ１３と輝度分布が最も類似する領域を、該第１参照
領域Ａ１〜Ａ１３に対応する第１マッチング領域Ｃ１〜
Ｃ１３として求める。探索画像Ｐ２内の第１マッチング
領域Ｃ１〜Ｃ１３の位置、たとえば第１マッチング領域
Ｃ１〜Ｃ１３の中心の座標が、第１マッチングデータと
してワークメモリ１３に記憶される。

【００５８】具体的な相関演算部１４の動作を、第１参
照領域Ａ１と第１探索領域Ｂ１とのマッチングの算出を
例に、以下に説明する。相関演算部１４は、第１探索領
域Ｂ１内に第１参照領域Ａ１と合同な仮領域を仮に設定
し、この仮領域と第１参照領域との相関を求める。相関
は、たとえば、その仮領域に第１参照領域Ａ１を仮に重
ね合わせた状態を想定して、その状態で重なり合う仮領
域の画素と第１参照領域の画素との差和演算を行って求
める。差和演算は、各仮領域の画素とそれに重なり合う
第１参照領域の画素との輝度の差の絶対値の総和である
とする。この相関を、第１探索領域Ｂ１内で仮領域とし
て区分される部分が第１探索領域Ｂ１を網羅するよう
に、仮領域の位置を変えて複数回求める。これら仮領域
のうちで相関が最も高くなるものを、第１マッチング領
域Ｃ１とする。

【００５９】この第１のマッチング処理で設定された第
１参照領域Ａ１〜Ａ１３と、それに対応する第１マッチ
ング領域Ｃ１〜Ｃ１３を、図７に示す。参照画像Ｐ１内
で文字が描かれている部分に設定された第１参照領域Ａ
４〜Ａ１０に対応する第１マッチング領域Ｃ４〜Ｃ１０
は、探索画像Ｐ２内で第１参照領域Ａ４〜Ａ１０内の文
字と同じ文字が描かれている部分にあり、第１マッチン
グ領域Ｃ４〜Ｃ１０同士の位置関係は、第１参照領域Ａ
４〜Ａ１０同士の位置関係とほぼ等しい。参照画像Ｐ１
内で文字のない空白の部分に設定された第１参照領域Ａ
１〜Ａ３，Ａ１１〜Ａ１３に対応する第１マッチング領
域Ｃ１〜Ｃ３，Ｃ１０〜Ｃ１３は、探索画像Ｐ２内の空
白の部分に、第１参照領域Ａ１〜Ａ３，Ａ１１〜Ａ１３
同士の位置関係と異なる位置関係で点在する。すなわ
ち、参照画像Ｐ１内で画素の輝度変化が頻繁な部分に設
定された第１参照領域に対応する第１マッチング領域
は、参照画像Ｐ１内で画素の輝度変化が平坦な部分に設
定された第１参照領域に対応する第１マッチング領域と
比較して、その算出のための相関演算の信頼性、すなわ
ち第１マッチング領域が正しい確率が高い。

【００６０】再び図５を参照する。次いで、ステップＳ
３では、相関演算制御部１２が、基準マッチング領域お
よび基準参照領域を選ぶ基準マッチング領域選択手段と
して動作する。この場合、相関演算制御部１２は、全第
１マッチング領域Ｃ１〜Ｃ１３のうちで、その算出にお
ける相関演算の信頼性が最も高い複数の第１マッチング
領域を基準マッチング領域として選び、さらに選ばれた
第１マッチング領域に対応する第１参照領域を基準参照
領域として選ぶ。本実施形態では、基準マッチング領域
は２つ選ばれる。図７の例では、第１マッチング領域Ｃ
４，Ｃ１０が基準マッチング領域として選ばれ、第１参
照領域Ａ４，Ａ１０が基準参照領域として選ばれる。基
準マッチング領域選択手段は、合成処理において一対の
画像の重複部分を重ね合わせた場合の両画像の位置関係
を算出するために用いる第１マッチング領域および第１
参照領域を選択するための選択手段と、第１マッチング
処理の処理結果の正誤、すなわち第１マッチング領域の
正誤を判定する判定処理に用いられる第１マッチング領
域および第１参照領域を選択するための選択手段とを兼
ねる。

【００６１】次いで、ステップＳ４では、相関演算制御
部１２は、ステップＳ２で基準参照領域および基準マッ
チング領域を選択することができたか否かを判定する。
できた場合はステップＳ４からステップＳ５に進み、で
きない場合はステップＳ４からステップＳ１０に進む。
すなわち相関演算制御部１２は、ステップＳ３，Ｓ４で
は、一対の画像の重複部分の輝度変化に起因する第１マ
ッチング処理の誤りを検出する輝度変化検出手段として
動作する。

【００６２】ステップＳ５，Ｓ６では、マッチング処理
部６が第２マッチング処理を行う。概略的には、まずス
テップＳ５で、相関演算制御部１２が、予測処理とし
て、複数の第２参照領域およびそれに個別に対応する第
２探索領域と、各第２探索領域内で各第２参照領域と輝
度分布が等しいと予測される予測領域とを求める。次い
でステップＳ６で、相関演算部１４が、各第２探索領域
内でそれに対応する第２参照領域と輝度分布が最も類似
する第２マッチング領域を、それぞれ求める。各第２マ
ッチング領域の中心の座標が、第２マッチングデータと
してワークメモリ１３に記憶される。

【００６３】以下に、図８を参照して、第２マッチング
処理を、詳細に説明する。相関演算処理部１２は、ま
ず、第１マッチング処理の第１領域データおよび第１マ
ッチングデータに基づいて、複数の第２参照領域とそれ
に個別に対応する第２探索領域とを、それらを用いた相
関演算によって得られる第２マッチング領域が基準マッ
チング領域の周辺に位置するように、設定する。基準マ
ッチング領域の周辺とは、たとえば、基準マッチング領
域を中心として第２参照領域を２〜３個隙間なく並べた
長さだけ離れた点までの範囲である。また、基準参照領
域が複数ある場合、各基準参照領域の周囲に、それぞれ
複数の第２参照領域を設定する。この場合、隣合う２つ
の基準参照領域の中心を通る仮想直線Ｌ１上にその中心
が並ぶように複数の第２参照領域を設定し、かつ、隣合
う２つの基準マッチング領域の中心を通る仮想直線Ｌ２
上に複数の第２探索領域を設定すると、それらを用いた
相関演算によって得られる第２マッチング領域が基準マ
ッチング領域の周辺に位置するようになるので、好まし
い。

【００６４】図８の例では、参照画像Ｐ１内に、第２参
照領域ＡＡ５を基準参照領域Ａ４に隣接するように設定
し、第２参照領域ＡＡ６を第２参照領域ＡＡ５に隣接す
るように設定する。また、第２参照領域ＡＡ８を基準参
照領域Ａ１０に隣接するように設定し、第２参照領域Ａ
Ａ９を第２参照領域ＡＡ８に隣接するように設定する。
第２参照領域ＡＡ５，ＡＡ６，ＡＡ８，ＡＡ９の中心は
仮想直線Ｌ１上にあり、各第２参照領域の大きさおよび
形状が全て等しい。さらに、第２参照領域ＡＡ５，ＡＡ
６に対応する第２探索領域Ｄ５，Ｄ６は、その中心が基
準マッチング領域Ｃ４の近傍にありかつ仮想直線Ｌ２上
に並ぶように設定する。第２参照領域ＡＡ８，ＡＡ９に
対応する第２探索領域Ｄ８，Ｄ９は、その中心が基準マ
ッチング領域Ｃ１０の近傍にありかつ仮想直線Ｌ２上に
に並ぶように設定する。第２参照領域および第２探索領
域の画像Ｐ１，Ｐ２内の位置は、第２領域データとし
て、ワークメモリ１３に記憶される。

【００６５】第２参照領域ＡＡ５，ＡＡ６，ＡＡ８，Ａ
Ａ９は、参照画像Ｐ１の輝度勾配を調べ、輝度変化があ
る部分を選んで、その部分に設定することが好ましい。
これによって、輝度変化がない部分、すなわち輝度変化
が平坦な部分を避けて参照領域を設定することができる
ので、それを用いた相関演算の信頼性が高くなる。また
この例では、第２参照領域の形状は、第１参照領域と合
同であるとする。このため、第２参照領域ＡＡ５，ＡＡ
６，ＡＡ８，ＡＡ９は、第１参照領域Ａ５，Ａ６，Ａ
８，Ａ９と合同でありその中心も同じ位置にある。ゆえ
に、第２参照領域を新たに設定しなくても、第１参照領
域のうちで上述の条件を満たすものを選択するだけでも
よい。この場合、設定の手間を省くことができる。ま
た、第２探索領域は、相関演算の計算量の削減のため
に、第１探索領域よりも小さく設定する。たとえば、第
２探索領域の大きさは、それに対応する第２参照領域の
大きさと比較して、少し大きい程度の大きさ、たとえば
第２参照領域の２倍程度の大きさに設定することが好ま
しい。第２検索領域がこの大きさであれば、たとえば、
後述の図１１に示すように、一対の画像Ｐ１，Ｐ２の相
対的な傾きが第１マッチング処理によって誤りなく第１
マッチング領域を求めることができる最大の傾き以上で
ある場合に、第２検索領域Ｄ６内に第２参照領域ＡＡ６
と同じ文字が描かれた領域、すなわち第２マッチング領
域Ｆ６ｂとなるべき領域が含まれる。

【００６６】さらに、相関演算制御部１２は、各第２探
索領域Ｄ５，Ｄ６，Ｄ８，Ｄ９内に、第２参照領域ＡＡ
５，ＡＡ６，ＡＡ８，ＡＡ９と輝度分布が最も類似する
と予測される予測領域の中心である予測点Ｈ５，Ｈ６，
Ｈ８，Ｈ９を、基準マッチング領域Ｃ４，Ｃ１０の位置
と基準および第２参照領域Ａ４，Ａ１０，ＡＡ５，ＡＡ
６，ＡＡ８，ＡＡ９の位置関係とに基づいて設定する。
すなわちこの予測領域は、各第２探索領域Ｄ５，Ｄ６，
Ｄ８，Ｄ９内で、第２参照領域ＡＡ５，ＡＡ６，ＡＡ
８，ＡＡ９との相関が最も高いと予測される領域であ
る。たとえば、予測領域は、それと基準マッチング領域
との位置関係が、基準参照領域と第２参照領域との位置
関係と等しい領域である。図８の例では、第２参照領域
ＡＡ５，ＡＡ６；ＡＡ８，ＡＡ９の中心が、基準参照領
域Ａ４，Ａ１０を起点として仮想直線Ｌ１上にそれぞれ
等間隔に並んでいるので、予測点Ｈ５，Ｈ６；Ｈ８，Ｈ
９も、基準マッチング領域Ｃ４，Ｃ１０を起点として、
仮想直線Ｌ２上にそれぞれ等間隔に並べる。この間隔
は、たとえば基準参照領域の幅と等しい。また、隣合う
２つの基準マッチング領域の間の距離がそれらに対応す
る基準参照領域の間の間隔と異なる場合、それら間隔と
同じ比率で増減させてもよい。

【００６７】このように第２参照領域および第２探索領
域が設定された後、相関演算部１４は、各第２参照領域
ＡＡ５，ＡＡ６，ＡＡ８，ＡＡ９とそれに対応する第２
探索領域Ｄ５，Ｄ６，Ｄ８，Ｄ９とを用いて、それぞれ
相関演算を行い、第２探索領域Ｄ５，Ｄ６，Ｄ８，Ｄ９
内で第２参照領域ＡＡ５，ＡＡ６，ＡＡ８，ＡＡ９と最
も相関が高い第２マッチング領域Ｆ５，Ｆ６，Ｆ８，Ｆ
９を求める。この相関演算の詳細は、第１マッチング処
理の相関演算と比較して、処理対象の領域が第１参照領
域および第１探索領域から第２参照領域および第２探索
領域に置換わった点が異なり、他は等しい。

【００６８】第１マッチング処理の相関演算が正しい場
合において、第２マッチング処理によって求められた第
２マッチング領域Ｆ５，Ｆ６，Ｆ８，Ｆ９を、図９に示
す。この場合、基準マッチング領域Ｃ４，Ｃ１０の周辺
の部分の輝度分布と基準参照領域Ａ４，Ａ１０の周辺の
部分の輝度分布とはそれぞれ等しいので、第２マッチン
グ領域Ｆ５，Ｆ６，Ｆ８，Ｆ９はその予測領域とそれぞ
れ一致し、第２マッチング領域Ｆ５，Ｆ６，Ｆ８，Ｆ９
の中心が予測点Ｈ５，Ｈ６，Ｈ８，Ｈ９とそれぞれ重な
る。

【００６９】第１マッチング処理の相関演算が誤ってい
る場合において、第２のマッチング処理によって求めら
れた第２マッチング領域Ｆ５ａ，Ｆ６ａ，Ｆ８ａ，Ｆ９
ａ；Ｆ５ｂ，Ｆ６ｂ，Ｆ８ｂ，Ｆ９ｂを、図１０，１１
に示す。この場合、基準マッチング領域Ｃ４ａ，Ｃ１０
ａ；Ｃ４ｂ，Ｃ１０ｂの周辺の部分の輝度分布と基準参
照領域Ａ４，Ａ１０の周辺の部分との輝度分布は一致し
ないので、各第２探索領域Ｄ５，Ｄ６，Ｄ８，Ｄ９内で
その予測領域以外の領域の輝度分布が第２参照領域ＡＡ
５，ＡＡ６，ＡＡ８，ＡＡ９と最も類似することにな
る。ゆえにこの場合、第２マッチング領域Ｆ５，Ｆ６，
Ｆ８，Ｆ９の中心は、予測点Ｈ５，Ｈ６，Ｈ８，Ｈ９と
一致しない。

【００７０】ゆえに、第２マッチング領域の中心と予測
点とが一致するか否かと、第１のマッチング処理が成功
したか否かとは対応する。ゆえに、第２マッチング領域
と予測領域との一致の有無に基づいて、第１マッチング
処理の処理結果の正誤を判定することができる。また、
第１マッチング処理が成功していれば、一対の画像を基
準マッチング領域と基準参照領域との中心が重なるよう
に重ね合わせた場合、画像の重なり合う部分が重複部分
になる。ゆえにこの基準マッチング領域と基準参照領域
とに基づいて画像を合成すれば、合成画像内の画像のつ
なぎ目に相当する部分に輝度の境目が生じないので、合
成画像の画質が第１マッチング処理の誤りに起因して低
下しない。このように、第１マッチング処理の処理結果
の正誤を判定すれば、その結果を用いる処理の成否も判
定することができる。

【００７１】再び図５を参照する。ステップＳ７では、
画像補正情報生成部９が、各第２マッチング領域Ｆ５，
Ｆ６，Ｆ８，Ｆ９の予測領域に対する相対位置が同じで
あるか否か、すなわち、各第２マッチング領域Ｆ５，Ｆ
６，Ｆ８，Ｆ９とその予測領域とがそれぞれ一致するか
否かを判定する。具体的には、各第２マッチング領域Ｆ
５，Ｆ６，Ｆ８，Ｆ９の中心とその予測点Ｈ５，Ｈ６，
Ｈ８，Ｈ９との座標の差をそれぞれ求め、それら座標の
差が全て予め定める閾値以下であるか否かをそれぞれ判
定する。第２マッチング領域の中心と予測点との差を閾
値と比較する算出式は、後述する式４，５と比較して、
式４，５で第１参照領域の中心の座標を入力した項に予
測点の座標を入力する点が異なり、他は等しい。また、
前記閾値は各式４，５の右辺と等しい。また閾値を定め
る理由も等しい。

【００７２】各座標の差が全て閾値以下である場合、各
第２マッチング領域Ｆ５，Ｆ６，Ｆ８，Ｆ９とその予測
領域とはそれぞれ一致するので、ステップＳ２の第１マ
ッチング処理が成功しており基準マッチング領域は正し
い。いずれかの座標の差が閾値を越える場合、第２マッ
チング領域Ｆ５，Ｆ６，Ｆ８，Ｆ９のうちでその予測領
域と一致しないものがあるので、ステップＳ２の第１マ
ッチング処理が失敗しており基準マッチング領域が誤っ
ている。第１マッチング処理の処理結果が正しい場合、
ステップＳ７からステップＳ８に進み、第１マッチング
処理の処理結果が誤っている場合、ステップＳ７からス
テップＳ１３に進む。すなわち、ステップＳ５〜Ｓ７で
は、マッチング処理部６と画像補正情報生成部９とは、
第１マッチング処理の処理結果の正誤を判定するための
判定手段として動作する。

【００７３】ステップＳ８では、画像合成部７が、ま
ず、ワークメモリ１３に記憶された第１領域データおよ
び第１マッチングデータと画像メモリ４に記憶された一
対の画像とを読出し、第１領域データおよび第１マッチ
ングデータに基づいて求められる一対の画像の位置関係
に基づいて、一対の画像を合成する。合成結果である合
成画像は、画像出力部８に与えられる。ステップＳ９で
は、画像出力部８が、与えられた合成画像を出力する。
同時に、画像補正情報生成部９は、第１マッチング処理
が成功しており、それによって求められた一対の画像の
位置関係が正しいものとみなして画像の合成が行われた
ことを、操作者に提示する。具体的には、図１２に示す
ように、画像補正情報提示部１０の表示装置に、画像の
合成が行われたことを示す第１のメッセージ４２が記載
された画像４１を表示する。ゆえに操作者は、表示装置
を目視することによって、画像合成が成功したことを知
ることができる。

【００７４】ステップＳ４で基準参照領域および基準マ
ッチング領域を選択することができない場合、ならびに
ステップＳ７で相対位置が同じではないと判定された場
合、第１マッチング処理の処理結果に誤りがあると考え
られる。ゆえに、ステップＳ１０〜Ｓ１９では、画像補
正情報生成部９は、第１マッチング処理の処理結果を解
析して誤りの原因を求める原因検出手段として動作す
る。

【００７５】ステップＳ１０に進む場合、画像補正情報
生成部９は、基準参照領域および基準マッチング領域を
選択することができないと判定している。この場合、一
対の画像Ｐ１，Ｐ２内で重複部分として推測された部分
の輝度変化が、相関演算を行うために必要な輝度変化未
満であると考えられる。これは、たとえば前記推測され
た部分が文字のない空白の部分である場合に相当する。
ゆえに、ステップＳ１０では、画像補正情報生成部９
は、重複部分の輝度変化が小さすぎるために第１マッチ
ング処理が失敗したと判定する。

【００７６】次いで、ステップＳ１１で、画像補正情報
生成部９は、ステップＳ１１で判定した誤りの原因を操
作者に提示する。さらに、画像を取直すか否かを操作者
に選択させる。このために画像補正情報生成部９は、具
体的には、画像補正情報提示部１０の表示装置に、図１
３に示す画像４４を表示させる。この画像内で、第２の
メッセージ４５は、誤りの原因が重複部分の輝度変化が
小さいことを示すものである。またこの画像内の２つの
矩形４６，４７は、たとえばキーボード内で画像を取直
すかこの時点で記憶されている一対の画像をそのまま合
成するかを指示するキーの操作結果を表すものである。
たとえば、キーが画像を取直すことが指示するために操
作された場合には矩形４７の枠線が矩形４６の枠線より
も太くされ、減算の一対の画像の合成を指示するために
操作された場合には、矩形４６の枠線が矩形４７の枠線
よりも太くされる。

【００７７】ゆえに操作者は、表示装置に表示されたメ
ッセージを読取ることによって、第１マッチング処理が
失敗したこととその誤りの原因とを知ることができる。
さらに、これらのことを踏まえて、画像の合成処理をや
り直すか、そのまま続行させるかをを選択することがで
きる。操作者は、合成処理をやり直すことを選択した場
合、キーボードを操作して、画像の再取込みを指示す
る。合成処理をそのまま続行させる場合、キーボードを
操作して、現在の一対の画像の合成を指示する。

【００７８】画像補正情報提示部１０は、キーボードの
操作に応答して、操作者が画像の再取込みを指示したか
否かを判定し、画像の合成が指示された場合、ステップ
Ｓ１１からステップＳ８に進み、画像合成部７に画像の
合成処理を実行させる。これによって、一対の画像が合
成されてその合成画像が出力される。また、画像の取直
しが指示された場合、ステップＳ１１からステップＳ１
２に進む。

【００７９】ステップＳ１２では、画像補正情報提示部
１０は、画像取込み部３に、画像の取込み動作の全てを
再び実行することを指示して、ステップＳ２０で合成処
理を終了する。これによって、画像取込み部３が１回目
の撮影から最終回の撮影までの動作を再び実行するの
で、新たに一対の画像が画像メモリ４に記憶される。こ
の際、操作者は第１マッチング処理の処理結果の誤りの
原因が分かっているので、画像の取込み時にそれを除く
ための作業を行って、誤りの原因が除かれた一対の画像
を記憶させることができる。したがって、この新たな一
対の画像を用いて画像の合成処理を行う場合、重複部分
の輝度変化が小さいために第１マッチング処理が失敗す
ることがない。これによって、画像の合成動作をやり直
す場合に、同じ原因に基づいて第１マッチング処理の処
理結果が再び誤ることを防止することができる。

【００８０】すなわちステップＳ１１，Ｓ１２では、画
像補正情報生成部９は、誤りの原因を操作者に提示する
ことと平行して、矩形４６を表示して操作者に合成処理
を続行させるか否かを選択させることによって、この時
点で求められている一対の画像の位置関係に基づいて画
像を合成するか否かを選択させるための合成選択手段と
して動作し、同時に、矩形４７を表示して操作者に画像
の取直すか否かを選択させることによって、一対の画像
を画像取込み部に再び取込ませるか否かを選択させるた
めの再取込み選択手段として動作する。

【００８１】さらに、ステップＳ１１の時点で、画像補
正情報生成部９は、重複部分の輝度変化を大きくするた
めの操作者の作業を示すメッセージ４８を、表示装置に
さらに表示させてもよい。この作業は、たとえば、被写
体の重複部分に写るべき部分に印を付加する作業であ
る。これは、以下の理由からである。被写体がたとえば
紙面に文字が印刷された原稿である場合、重複部分の輝
度変化が平坦であって原因として、被写体内で文字が描
かれていない空白の部分の像が重複部分に写っているこ
とが考えられる。この場合、この空白の部分に印を付け
てからその被写体を再び撮影すれば、新たに得られた画
像内で被写体のその部分の像が写る部分に、印の分だけ
輝度変化が生じる。これによって、重複部分の輝度変化
が小さいという問題が解決する。ゆえに、輝度変化に起
因する誤りの原因を簡単に除くことができる。

【００８２】ステップＳ１３に進む場合、画像補正情報
生成部９は、第２マッチング領域とその予測領域との相
対位置がそれぞれ異なると判定している。この場合、誤
りの原因は２つ考えられる。第１の原因は、一対の画像
Ｐ１，Ｐ２の重複部分が第１マッチング処理によって誤
りなく第１マッチング領域を求めるために必要な最小の
大きさ未満である場合またはそのために必要な最大の大
きさ以上であることである。たとえば、図１０に示すよ
うに探索画像Ｐ２に重複部分が殆ど無い場合、各基準マ
ッチング領域Ｃ４ａ，Ｃ１０ａの算出がどれも誤ってい
るので、それらの中心を通る仮想直線Ｌ２ａは、基準参
照領域Ａ４，Ａ１０と同じ文字が描かれた部分を通る仮
想線ＬＬとは異なる場所にある。また、第２の原因は、
たとえば図１１に示すように、一対の画像Ｐ１，Ｐ２の
相対的な傾きが第１マッチング処理によって誤りなく第
１マッチング領域を求めることができる最大の角度以上
であることである。この場合、基準マッチング領域Ｃ４
ｂ，Ｃ１０ｂの一部の算出が誤ってるので、それらの中
心を通る仮想直線Ｌ２ｂは仮想線ＬＬと交差する。

【００８３】第１の原因によって基準マッチング領域が
誤っている場合、第２マッチング領域Ｆ５ａ，Ｆ６ａ，
Ｆ８ａ，Ｆ９ａは第２参照領域ＡＡ５，ＡＡ６，ＡＡ
８，ＡＡ９と異なる文字が描かれた部分にあり、仮想直
線Ｌ２ａが仮想線ＬＬと一致していないので、予測点Ｈ
５ａ，Ｈ６ａ，Ｈ８ａ，Ｈ９ａも前記部分内にある。し
たがって、第２マッチング領域Ｆ５ａ，Ｆ６ａ，Ｆ８
ａ，Ｆ９ａの中心と予測点Ｈ５ａ，Ｈ６ａ，Ｈ８ａ，Ｈ
９ａとの距離は、予測点Ｈ５ａ，Ｈ６ａ，Ｈ８ａ，Ｈ９
ａと基準マッチング領域Ｃ４ａ，Ｃ１０ａの中心との距
離とは無関係に増減する。また、第２の原因によって基
準マッチング領域が誤っている場合、第２マッチング領
域Ｆ５ｂ，Ｆ６ｂの中心は、基準マッチング領域Ｃ４ｂ
から遠ざかるほど仮想直線Ｌ２ｂから離れ、予測点Ｈ５
ｂ，Ｈ６ｂは仮想直線Ｌ２ｂ上にある。したがって、第
２マッチング領域Ｆ５ｂ，Ｆ６ｂの中心と予測点Ｈ５
ｂ，Ｈ６ｂとの距離は、予測点Ｈ５ｂ，Ｈ６ｂと基準マ
ッチング領域Ｃ４ｂの中心との距離に比例して増加す
る。

【００８４】すなわち、第２の原因によって第１マッチ
ング処理の処理結果が誤っている場合、予測領域と第２
マッチング領域との位置のずれは、予測領域が基準マッ
チング領域から遠ざかる程大きくなると考えられる。ま
た、第１の原因によって第１マッチング処理の処理結果
が誤っている場合、予測領域と第２マッチング領域との
位置のずれは、予測領域と基準マッチング領域との距離
と無関係に増減すると考えられる。このように本実施形
態では、第２参照領域および第２探索領域を基準参照領
域の周囲に設定しかつ各領域を複数設定しているので、
第１マッチング処理の成否だけではなく、距離とずれと
の関係に基づいて、第１マッチング処理の処理結果の誤
りの原因が、第１および第２の原因のどちらであるかを
判定することができる。

【００８５】再び図５を参照する。このために画像補正
情報生成部９は、まずステップＳ１３で、各第２マッチ
ング領域の予測領域に対する相対位置が、基準マッチン
グ領域と予測領域との距離に比例してずれていくか否か
を判定する。すなわち、各第２マッチング領域の中心と
それの予測点との距離が、基準マッチング領域の中心と
該予測点との距離に比例して、線形に増加するか否かを
判定する。線形に増加する場合、ステップＳ１３からス
テップＳ１４に進み、増加しない場合、ステップＳ１３
からステップＳ１６に進む。

【００８６】ステップＳ１４では、画像補正情報生成部
９は、一対の画像Ｐ１，Ｐ２の相対的な傾きが大きすぎ
るために第１マッチング処理の処理結果に誤りがあると
判定する。次いで、次いで、ステップＳ１５で、画像補
正情報生成部９は、ステップＳ１４で判定した誤りの原
因を操作者に提示し、さらに、画像を取込み直すか否か
を操作者に選択させる。このために画像補正情報生成部
９は、具体的には、画像補正情報提示部１０の表示装置
に、図１４に示す画像５１を表示させる。この画像内の
第３のメッセージ５２は、誤りの原因が一対の画像の傾
きが大きすぎることを示すものである。またこの画像内
には２つの矩形４６，４７があり、画像の再取込みと合
成動作の続行とを選択することができることを示してい
る。画像５１表示後、ステップＳ１５からステップＳ１
８に進む。

【００８７】ステップＳ１６では、画像補正情報生成部
９は、一対の画像を重複部分を重ね合わせた場合の位置
関係が第１マッチング処理を誤りなく実行するための適
切な位置になっていないために、第１マッチング処理の
処理結果が誤ったと判定する。すなわち、誤りの原因が
重複部分の大きさの過不足であると判定する。次いで、
ステップＳ１７で、画像補正情報生成部９は、ステップ
Ｓ１６で判定した誤りの原因を操作者に提示し、さら
に、画像を取込みし直すか否かを操作者に選択させる。
このために画像補正情報生成部９は、具体的には、画像
補正情報提示部１０の表示装置に、図１５に示す画像５
３を表示させる。この画像内の第４のメッセージ５４
は、誤りの原因が重複部分の過不足であることを示すも
のである。またこの画像内には２つの矩形４６，４７が
あり、画像の再取込みと合成動作の続行とを選択するこ
とができることを示している。画像５４の表示後、ステ
ップＳ１７からステップ１８に進む。

【００８８】操作者は、表示装置に表示された画像５
１，５３のメッセージを読取ることによって、第１マッ
チング処理の処理結果が誤っていることとその誤りの原
因とを知ることができる。さらに、これらのことを踏ま
えて、画像の合成処理をやり直すか、そのまま続行させ
るかをを選択することができる。操作者は、この選択結
果に応じて、キーボードを操作する。

【００８９】画像補正情報提示部１０は、ステップＳ１
８で、キーボードの操作に応答して、操作者が画像の取
直しを指示したか否かを判定する。画像の合成が指示さ
れた場合、ステップＳ１８からステップＳ８に進み、画
像合成部７に画像の合成処理を実行させる。これによっ
て、一対の画像が合成されてその合成画像が出力され
る。また、画像の取直しが指示された場合、ステップＳ
１８からステップＳ１９に進む。

【００９０】ステップＳ１９では、画像補正情報提示部
１０は、画像取込み部３に、画像の取込み動作の一部を
再び実行することを指示して、ステップＳ２０で合成処
理を終了する。たとえば、２回の被写体の撮影のうち
で、いずれか一方の撮影だけを再び実行させる。本実施
形態では、２回目の撮影を実行させる。これによって、
画像取込み部３は、図４で説明した２回目の撮影の動作
を再び実行するので、新たに１枚の画像が画像メモリ４
に記憶される。この画像と、元の処理対象の一対の画像
のうちで１回目の撮影で得られた画像とを、新たな処理
対象の一対の画像とする。このステップＳ１５，Ｓ１７
〜Ｓ１９では、画像補正情報生成部９は、誤りの原因を
操作者に提示することと並行して、前記合成選択手段お
よび前記再取込み選択手段としても動作する。

【００９１】この撮影のために載置台に被写体を載置さ
せる際、操作者は誤りの原因が分かっているので、その
原因を除くことができるように、点灯している案内部材
の位置を基準に被写体の位置を定めることができる。し
たがって、この新たな一対の画像を用いて画像の合成処
理を行う場合、重複部分の輝度変化が小さいために第１
マッチング処理が失敗することがない。これによって、
画像の合成動作をやり直す場合に、同じ原因に基づいて
第１マッチング処理が失敗することを防止することがで
きる。また、２回目の撮影だけを再び実行させるのは、
元の一対の画像の輝度変化は第１マッチング領域を誤り
なく算出するための輝度変化以上あると考えられるの
で、２回目の撮影時に被写体をおく位置をこの画像を基
準に定めれば一対の画像の位置関係に起因する誤りの原
因を除くことができ、かつ輝度変化に起因する誤りは起
こりにくいと考えられるからである。したがって、この
ように元の一対の画像の一部を再利用する場合、被写体
を再び撮影させる動作を簡略化することができる。

【００９２】このように、画像処理装置では、相互に重
複する一対の画像の位置関係を求め、その位置関係に基
づいて一対の画像を合成する場合、一対の画像を合成す
る前に、その位置関係の算出の正誤を判定し、正しい場
合には合成を行い、誤っている場合には操作者にその旨
を提示する。ステップＳ４〜Ｓ１９の処理が、第１マッ
チング処理の処理結果を評価するための評価処理に相当
する。たとえば被写体が新聞である画像等、内部の輝度
変化が頻繁な画像を処理対象とする場合、第１マッチン
グ処理は成功しやすいので、一対の画像はそのまま合成
されることが多い。ゆえにこの場合、従来技術のように
位置合わせ用の印を被写体に付さなくても、合成の精度
の高い合成画像を得ることができる。また、たとえば被
写体が図面である画像等、内部の輝度変化が平坦な画像
を処理対象とする場合、第１マッチング処理が失敗しや
すいので合成動作は中断されてその旨が操作者に知らさ
れることが多い。ゆえに、操作者が、印の付加および位
置関係の補正を行った後に一対の画像が合成されるの
で、予め定める品質の画像を常に得ることができる。

【００９３】また、以上の説明では、一対の画像の位置
関係に基づいて行う処理を、画像の合成処理としたが、
たとえば画像の動き検出等、前記位置関係に基づいて行
う処理であれば、どのような処理であってもよい。さら
にまた、処理対象の画像が３枚以上あり、各画像が少な
くとも１枚の他の画像と重複する場合、相互に重複する
２枚の画像の組合わせ毎に、第１マッチング処理および
その処理結果の評価、すなわちステップＳ１〜Ｓ７，Ｓ
１０，Ｓ１３，Ｓ１４，Ｓ１６の処理を行い、全ての画
像の組み合わせの評価の結果に基づいて、評価結果の提
示ならびに合成の続行および画像の再取込みの選択、す
なわちステップＳ１１，Ｓ１２，Ｓ１５，Ｓ１７〜Ｓ１
９の処理を行えば良い。

【００９４】以下に、画像フィルタ５について説明す
る。画像フィルタ５は、画像取込み部３によって取り込
まれた画像の空間周波数の高周波成分を取除き、その画
像の相関演算用データを作成する。このために画像フィ
ルタ５は、概略的には、たとえば、処理対象の画像の各
画素の輝度を、その画素および該画素の近傍の複数の画
素の輝度のうちで最大である輝度とそのうちで最小であ
る輝度の差を量子化した値に、それぞれ置換える。画像
フィルタ５は、上述した演算をするために、以下の演算
処理を実行する演算手段によって実現される。

【００９５】画像フィルタ５が実行する画素の輝度変換
の詳細な動作を、図１６を例として以下に説明する。図
１６（Ａ）は、画像フィルタ５が処理対象とする画像内
の任意の画素とその近傍の画素とを表す模式図であり、
各矩形が画素に相当し、矩形の濃淡が、その画素の輝度
の大小に相当する。画像取込み部３から入力された時点
の画像の各画素の輝度は、０〜２５５の範囲で変化する
ものと仮定する。また、画像は行列状に配列された画素
から構成され、ｘ行ｙ列の画素を画素（ｘ，ｙ）と表
す。ｘ，ｙは任意の整数である。以後の説明では、輝度
変換の対象の画素を画素（ｘ，ｙ）とする。

【００９６】画像フィルタ５は、まず、画素（ｘ，ｙ）
およびその近傍の画素として、まず画素（ｘ，ｙ）を中
心として、画素（ｘ−α，ｙ−β）と画素（ｘ＋α，ｙ
＋β）とを角隅部とする矩形の範囲内の画素を選ぶ。
α、βは任意の整数であり、たとえばそれぞれ２であ
る。次いで、この矩形の範囲内の画素の輝度のうちで最
大および最小の輝度を選び、その差を求める。図１６の
例では、画素（ｘ−α，ｙ−β）の輝度が最小であり、
画素（ｘ＋α，ｙ＋β）の輝度が最小であるので、それ
らの差を求める。この差は、０〜２５５の範囲内の値
すなわち８ビットの値である。

【００９７】次いで、図１６（Ｂ）に示す量子化テーブ
ルを参照し、求められた差を量子化することによって、
０〜７の範囲内の値、すなわち３ビットの値に変換し、
変換後の差を、画素（ｘ，ｙ）の画素値として出力す
る。量子化テーブルは、前記求められた差と画素値との
予め定める対応を示すものであり、たとえば、画像フィ
ルタ５内のメモリに記憶される。量子化処理では、たと
えば、８ビットの値である差を線形的に３ビットの値に
変換して、その変換後の値を画素値としてもよい。また
８ビットの値を３２で割り、その除算結果を画素値とし
てもよい。図１６の例では画素（ｘ−α，ｙ−β），
（ｘ＋α，ｙ＋β）の輝度の差は５であるので、画素
（ｘ，ｙ）の画素値は５になる。画像フィルタ５は、こ
の画素値を、画像の全ての画素について求める。これら
各画素の画素値を画像信号の該画素の輝度値と全て置換
えたものが、相関演算用データである。

【００９８】たとえば、処理対象の画像が新聞である場
合、網点部分の画素値は文字部分の画素値よりも大きく
なる。この理由を、図１７，１８を用いて説明する。図
１７（Ａ）は処理対象の画像である。図１７（Ｂ）は、
処理対象の画像の相関演算用データを、各画素の画素値
を画素の濃度に置換えて仮想的に目視表示した仮想画像
である。図１７（Ｃ）は、図１７（Ｂ）の仮想画像にお
ける、画素の輝度と該画素値との関係を表す図である。
図１８は、処理対象の画像内の行Ｘの輝度の変化を表す
グラフであり、横軸が画素の配列であり、縦軸が各画素
の輝度を表す。

【００９９】文字部分とは、文字を構成する線が記載さ
れた部分に相当し、文字を構成する線は全て黒の画素に
よって構成される。ゆえに、この線を構成する画素のう
ちの１つの画素ｐ１の輝度を量子化する場合、その画素
ｐ１が線の中心およびその付近にある場合、その画素ｐ
１を中心として行数が±α行である範囲内の画素は全て
線を構成する画素となる可能性が高い。ゆえに、最大お
よび最小の輝度の差が小さくなり易い。

【０１００】網点部分とは、たとえば写真を中間調表示
で表す部分に相当し、白の地に黒の点が周期的に配置さ
れている。ゆえに網点部分は、黒の画素、すなわち輝度
の最小の画素が周期的に配置される。網点部分内の画素
ｐ２の輝度を量子化する場合、その画素ｐ２を中心とし
て行数が±α行である範囲内では、地を構成する画素の
輝度が最大であり、点を構成する画素の輝度が最小にな
る。ゆえに、最大の輝度と最小の輝度との差が大きくな
る。

【０１０１】図１７の例では、相関演算用データでは、
網点部分および線のエッジにある画素の画素値はレベル
６であり、文字の中心およびその付近にある画素の画素
値ははレベル１となっている。これによって、網点部分
の画素の輝度変化を、平坦にすることができる。すなわ
ち、処理対象の画像から、空間周波数の高周波成分を除
くことができる。また、たとえば被写体を撮影する際に
載置台に粉塵が乗っていてそれが被写体と共に撮影され
た場合、粉塵の像が画像の光学的な雑音として重畳され
ることになる。この場合，雑音が重畳された画像に、画
像フィルタ５によって上述の処理を施せば、画像からこ
の雑音が除去された信号を、相関演算用データとして生
成することができる。したがって、この相関演算用デー
タを用いてマッチング処理を行う場合、光学的な雑音に
よってマッチング処理が誤ることを防止することができ
る。また、網点部分を輝度変化が平坦な部分として取扱
うことができるので、網点部分をそのまま取扱う場合よ
りも、処理が容易になる。

【０１０２】以下に、画像合成部７の画像の合成処理
を、図１９を用いて詳細に説明する。まず、探索画像Ｐ
２において、仮想直線Ｌ２と探索画像Ｐ２の対向する２
つの辺６１，６２との交点Ｍ１，Ｍ３、探索画像Ｐ２内
で重複部分がある側の辺６３と逆側の辺６４の両端の頂
点Ｍ２，Ｍ４を求める。図１９の例では、頂点Ｍ２，Ｍ
４は探索画像Ｐ２の右上角および右下角の頂点とであ
る。さらに、参照画像Ｐ１において、仮想直線Ｌ１と参
照画像Ｐ１の対向する２つの辺６５，６６との交点Ｎ
１，Ｎ２を求める。

【０１０３】次いで、探索画像Ｐ２内で交点Ｍ１，Ｍ３
と頂点Ｍ２，Ｍ４とを頂点とする台形の部分６８を辺６
１，６２と平行な方向に拡大または縮小して、図１９
（Ｂ）で示す長方形に変型する。この場合、ｘ座標軸に
平行な方向の台形部分の倍率は、拡大／縮小対象の部分
の台形の底辺からの距離に応じて異なる。たとえば、台
形部分６８内で、底辺６１からの高さｙ０と、その高さ
ｙ０における仮想直線Ｌ２と辺６４との間隔ｘ０とに
は、以下の式１の関係が成り立つ。ｘ０＝ｙ０÷ｙ２×（ｘ２−ｘ１）＋ｘ１ …（１）

【０１０４】ｘ１は辺６１内で交点Ｍ１と頂点２とを両
端とする部分の長さである。ｘ２は辺６２内で交点Ｍ２
と頂点４とを両端とする部分の長さである。ゆえに、台
形部分６９内で高さｙ０の横幅の拡大率はｘ１／ｘ０と
なる。ゆえに、台形部分を辺６１，６２に平行に複数に
分割して、分割後の各部分をその部分の高さに応じて定
めた拡大率によってそれぞれ拡大する。これによって、
台形部分６８は、図１９（Ｂ）に示す長方形６８ａに変
形される。この長方形６８ａの頂点Ｍ１ａ，Ｍ３ａが交
点Ｎ１，Ｎ２に重なるように、参照画像Ｐ１と長方形６
８ａとを重ね合わせて合成する。これによって、一対の
画像Ｐ１，Ｐ２を、繋ぎ目が目立たないように繋ぎ合わ
せて合成することができる。

【０１０５】基準マッチング領域の選択手法の例を、図
２０を用いて以下に詳細に説明する。図２０（Ａ）は処
理対象の一対の画像Ｐｘ，Ｐｙを、その重複部分を重ね
合わせて配置した状態を示す図である。図２０（Ｂ）
は、一対の画像Ｐｘ，Ｐｙを分離して配置した状態を示
す図である。この説明では、画像Ｐｘ内に、中心の座標
が（ａｉ，ｂｉ）である第１参照領域Ａｉと、中心の座
標が（ａｊ，ｂｊ）である第１参照領域Ａｊとが設定さ
れ、画像Ｐｙの内に、中心の座標が（ｘｉ，ｙｉ）であ
る第１マッチング領域Ｃｉと、中心の座標が（ｘｊ，ｙ
ｊ）である第１マッチング領域Ｃｊとが求められている
ものとする。第１参照領域の中心の座標は、参照画像Ｐ
ｘに設定された座標系の座標であり、第１マッチング領
域の中心の座標は、探索画像Ｐｙに設定された座標系の
座標である。一対の画像Ｐｘ，Ｐｙは、画像Ｐｙを画像
Ｐｘの座標軸に平行に移動させると、一対の画像Ｐｘ，
Ｐｙの重複部分を完全に一致させることができると仮定
する。また、画像Ｐｘ，Ｐｙの座標系の原点は、それぞ
れ画像Ｐｘ，Ｐｙの左上隅の頂点と一致しているものと
仮定する。

【０１０６】相関演算制御部１２は、各第１マッチング
領域の算出の信頼性を求める場合、まず、各第１マッチ
ング領域Ｃｉとそれの算出に用いた第１参照領域Ａｉと
のマッチングの相対位置を、各第１マッチング領域毎に
求める。ｉは、０より大きく第１参照領域の数未満の整
数である。マッチングの相対位置は、第１参照領域Ａｉ
の中心の座標（ａｉ，ｂｉ）のｘ座標ａｉと第１マッチ
ング領域Ｃｉの中心の座標（ｘｉ，ｙｉ）のｘ座標ｘｉ
との差の絶対値｜ｘｉ−ａｉ｜、および、前記座標（ａ
ｉ，ｂｉ）のｙ座標ｂｉと前記座標（ｘｉ，ｙｉ）のｙ
座標ｙｉとの差の絶対値｜ｙｉ−ｂｉ｜によって表され
る数値である。

【０１０７】次いで、求めたマッチングの相対位置を隣
合う２つの第１マッチング領域同士で比較して、マッチ
ングの相対位置が最も近いものを、算出の信頼性が最も
高い第１マッチング領域であるとして選択する。この選
択を、各第１マッチング領域について行い、選択された
第１マッチング領域を、基準マッチング領域とする。ま
た、選択された第１マッチング領域の数が基準マッチン
グ領域の数よりも多い場合、選択された第１マッチング
領域のうちから、必要な数の第１マッチング領域をさら
に選択して、それらを基準マッチング領域とする。

【０１０８】一対の画像Ｐｘ，Ｐｙの重複部分を重ね合
わせた場合、画像Ｐｙの原点は、画像Ｐｘ内の座標（Ｇ
ｘ，Ｇｙ）の点と重なる。画像Ｐｘの原点とその画像Ｐ
ｘ内の座標（Ｇｘ，Ｇｙ）の点との位置関係が、画像Ｐ
ｘ，Ｐｙの位置関係の相当する。第１参照領域Ａｉ，Ａ
ｊは画像Ｐｘに設定された複数の第１参照領域のうちで
隣合うものであり、各第１参照領域Ａｉ，Ａｊを用いて
第１マッチング領域Ｃｉ，Ｃｊが算出されている。

【０１０９】第１マッチング領域Ｃｉ，Ｃｊの算出に誤
りがなければ、一対の画像Ｐｘ，Ｐｙの重複部分を重ね
合わせた場合、図２０（Ａ）に示すように、第１参照領
域Ａｉ，Ａｊはどちらも、それを用いて算出された第１
マッチング領域Ｃｉ，Ｃｊと完全に重なりあう。ゆえに
この場合、第１参照領域Ａｉと第１マッチング領域Ｃｉ
とのマッチングの相対位置（｜ｘｉ−ａｉ｜，｜ｙｉ−
ｂｉ｜）、および第１参照領域Ａｊと第１マッチング領
域Ｃｊとのマッチングの相対位置（｜ｘｊ−ａｊ｜，｜
ｙｊ−ｂｊ｜）は、式２および式３の関係を満たす。｜ｘｉ−ａｉ｜＝｜ｘｊ−ａｊ｜＝Ｇｘ …（２）｜ｙｉ−ｂｉ｜＝｜ｙｊ−ｂｊ｜＝Ｇｙ …（３）

【０１１０】このように、第１マッチング領域の算出に
正しければ、その第１マッチング領域について求められ
たマッチングの相対位置は、画像Ｐｘ，Ｐｙの位置関係
に等しい。ゆえに、隣合う２つの第１マッチング領域Ｃ
ｉ，Ｃｊについてそれぞれ求められたマッチングの相対
位置を比較した場合、両方の第１マッチング領域Ｃｉ，
Ｃｊの算出が正しければ、それらマッチングの相対位置
は等しく、いずれか一方および両方の第１マッチング領
域Ｃｉ，Ｃｊの算出が誤っていれば、それらマッチング
の相対位置が異なる。したがって、隣合う２つの第１マ
ッチング領域について求められたマッチングの相対位置
がほぼ等しい場合、その値が（Ｇｘ，Ｇｙ）であるとみ
なすことができるので、前記２つの第１マッチング領域
の算出の信頼性が高いと判定することができる。

【０１１１】ゆえに相関演算制御部１２は、求めたマッ
チングの相対位置を隣合う２つの第１マッチング領域同
士で比較して、マッチングの相対位置が最も近いもの
を、算出の信頼性が最も高い第１マッチング領域である
として選択する。この選択を、各第１マッチング領域に
ついて行い、選択された第１マッチング領域を、基準マ
ッチング領域とする。また、選択された第１マッチング
領域の数が基準マッチング領域の数よりも多い場合、選
択された第１マッチング領域のうちから必要な数の第１
マッチング領域をさらに選択して、それらを基準マッチ
ング領域とする。

【０１１２】実際の演算では、画像Ｐｘ，Ｐｙの傾きお
よびマッチング処理の微小な誤差を考慮して、隣合う２
つの第１マッチング領域Ｃｉ，Ｃｊが以下の式４，５を
満たす場合、それら第１マッチング領域Ｃｉ，Ｃｊの算
出の信頼性が予め定める基準の信頼性よりも高いとみな
す。式４，５は、図５のステップａ５で相対位置の判定
を行う場合の算出式と比較して、予測領域のｘ座標およ
びｙ座標に代わって第１参照領域のｘ座標およびｙ座標
を代入する点が異なり、他は等しい。｜ｘｉ−ａｉ｜−｜ｘｊ−ａｊ｜＜ α×２ …（４）｜ｙｉ−ｂｉ｜−｜ｙｊ−ｂｊ｜＜２ …（５）

【０１１３】上式で、「２」は、マッチングの相対位置
のｙ座標の誤差許容範囲の最大値であり、本実施形態で
はｙ座標の誤差許容範囲を０以上２画素分の座標未満で
あるとする。また、α×２は、マッチングの相対位置の
ｘ座標の誤差許容範囲の最大値であり、本実施形態では
ｘ座標の誤差許容範囲を０以上α×２未満であるとす
る。αは予め定める定数である。このように、相対位置
のｘ座標およびｙ座標に誤差許容範囲を設けたのは、第
１および第２マッチング処理の演算が行われるのは座標
値の１の位までなので、これら誤差許容範囲内の演算誤
差が生じる可能性があるからである。

【０１１４】ｙ座標の誤差許容範囲とｘ座標の誤差許容
範囲とが異なるのは、以下の理由からである。一対の画
像に相対的な傾きがない場合の基準マッチング領域の中
心を通る仮想直線と、実際の基準マッチング領域Ｃ４，
Ｃ１０の中心を通る仮想直線Ｌ２とのなす角度が画像の
傾き角θに相当する。一対の画像に相対的な傾きがある
場合、マッチングの相対位置のｙ座標はほぼ変わらずそ
のｘ座標が増加する。ゆえに、一対の画像の相対的な傾
きにも許容範囲内の誤差を許容する場合、ｘ座標の誤差
許容範囲の最大値をｙ座標の誤差許容範囲の最大値と傾
き角θの正接（ｔａｎθ）に第１参照領域Ａｉ，Ａｊの
距離を乗算した値との積とすれば、一対の画像の相対的
な傾きが許容範囲であるか否かを同時に判定することが
できる。ゆえに、定数αは傾き角θの正接（ｔａｎθ）
に比例した値である傾き角θの誤差許容範囲は、たとえ
ば、０度以上１度未満である。

【０１１５】また、この算出の信頼性を求める場合、マ
ッチングの相対位置を比較する２つの第１マッチング領
域は、その距離が比較的短いものであれば、隣合う２つ
の第１マッチング領域だけでなく、間に他の第１マッチ
ング領域を挟む２つ第１マッチング領域であってもよ
い。比較的短い距離は、たとえば、第１マッチング領域
を最大で３個程度挟む位置関係の２つの第１マッチング
領域の中心間の距離に相当する。

【０１１６】定数αの決定手法について、図２１を参照
して説明する。図２１は、一対の画像Ｐｘ，Ｐｙに相対
的な傾きがある場合の第１マッチング領域Ｃi ，Ｃj の
位置関係を表す図である。第１マッチング領域Ｃi ，Ｃ
j は、その間に３つの他の第１マッチング領域を挟んで
いるものと仮定する。この場合、傾き角θの正接（ｔａ
ｎθ）に関し、第１マッチング領域Ｃi ，Ｃj の中心の
座標（Ｘi ，Ｙi ），（Ｘj ，Ｙj ）を用いて、式６が
成立つ。ゆえに、第１マッチング領域Ｃi ，Ｃjの中心の
Ｘ座標値Ｘi ，Ｘj の差と、該中心のＹ座標値Ｙi ，Ｙ
j の差とには、式７が成立つ。この説明では、Ｙ座標値
Ｙi は、沿え字i が１増加するたびに、第１マッチング
領域Ｃi のＹ方向の幅と同じ値だけ増加するものであ
り、沿え字i の数値に第１マッチング領域Ｃi ，Ｃj の
間の挟まれる他の第１マッチング領域の数よりも１大き
い数を加算した数値が、沿え字j に相当する。ｔａｎθ ＝（Ｘj −Ｘi ）／（Ｙj −Ｙi ） …（６）（Ｘj −Ｘi ）＝ｔａｎθ×（Ｙj −Ｙi ） …（７）

【０１１７】したがって、定数αを式８によって定める
ことによって、２つの第１マッチング領域Ｃi ，Ｃj が
他の第１マッチング領域を３つ挟む距離だけ離れて位置
し、かつ一対の画像Ｐｘ，Ｐｙが傾き角θの誤差許容範
囲の上限値である１度だけ傾いている場合のＸ方向のず
れ量が、定数αになる。 α ＝ｔａｎ（１°）×（Ｙi+4−Ｙi ） …（８）

【０１１８】上式の「Ｙi+4−Ｙi 」は、第１参照領域
Ａi ，Ａj の距離と等しい。すなわち定数αは、傾き角
θの上限値θｍａｘの正接（ｔａｎθmax）に、比較す
る２つの第１参照領域Ａi ，Ａj の距離を乗算した値に
なる。したがって、Ｘ座標値の差Ｘj −Ｘi の絶対値が
Ｘ座標の誤差許容範囲の最大値α×２未満であれば、式
４は満たされることになる。

【０１１９】図７の例における基準マッチング領域の具
体的な算出例を以下に示す。たとえば、第１マッチング
領域Ｃ１の中心の座標が（ｘ１，ｙ１）、第１マッチン
グ領域Ｃ２の中心の座標が（ｘ２，ｙ２）、第１参照領
域Ａ１の中心の座標が（ａ１，ｂ１）、第１参照領域Ａ
２の中心の座標が（ａ２，ｂ２）であるとする。この場
合に、第１マッチング領域Ｃ１，Ｃ２について求められ
たマッチングの相対位置が近い場合、以下の式９，１０
を満たす。｜ｘ１−ａ１｜ ≒ ｜ｘ２−ａ２｜ …（９）｜ｙ１−ｂ１｜ ≒ ｜ｙ２−ｂ２｜ …（１０）

【０１２０】図７の例では、｜ｘ４−ａ４｜≒｜ｘ５−
ａ５｜および｜ｙ４−ｂ４｜≒｜ｙ５−ｂ５｜が満たさ
れる。これは、第１マッチング領域Ｃ４，Ｃ５について
求められたマッチングの相対位置がほぼ等しいことを表
すので、結果として第１マッチング領域Ｃ４，Ｃ５の算
出の信頼性が高いと確定される。同様の処理によって、
第１マッチング領域Ｃ９，Ｃ１０も、その算出の信頼性
が高いと確定される。

【０１２１】また、画像Ｐｘに対する画像Ｐｙの傾き、
すなわち画像Ｐｘ，Ｐｙの相対的な傾きを検出するため
に、基準マッチング領域は、その相対距離が大きければ
大きいほど好ましい。このために、たとえば画像Ｐｘ，
Ｐｙをそれぞれ２つの部分に分け、各部分毎に算出の信
頼性が高い第１マッチング領域を選択し、そのうちで画
像の縁に最も近いものを基準マッチング領域として選ん
でもよい。

【０１２２】具体的な例を以下に示す。まず、全第１マ
ッチング領域を、その中心のＹ座標に基づいて、画像Ｐ
ｙの中心よりも上側の部分にある第１マッチング領域
と、画像Ｐｙの中心から下側の部分にある第１マッチン
グ領域とに分ける。次いで、画像Ｐｙの中心から上側の
部分にある第１マッチング領域のうちで、マッチングの
相対位置がほぼ等しい２つの第１マッチング領域を求
め、それらのうちで最も上側にある第１マッチング領域
を、基準マッチング領域とする。同様に、画像Ｐｙの中
心よりも下側の部分にある第１マッチング領域のうち
で、マッチングの相対位置がほぼ等しい２つの第１マッ
チング領域を求め、それらのうちで最も下側にある第１
マッチング領域を、基準マッチング領域とする。「上」
とはｙ座標が増加する方向に相当し、「下」とはｙ座標
が減少する方向に相当する。ｙ座標を基準にしたのは、
画像Ｐｘ内で第１参照領域がｙ座標軸に沿って並べられ
ているので、第１マッチング領域もほぼｙ座標軸に沿っ
て並ぶからである。上側の部分および下側の部分で、マ
ッチングの相対位置がほぼ等しい２つの第１マッチング
領域が複数組求められた場合、それらのうちで相対位置
の差が最も等しいもの、またはその中心の位置が最も画
像の縁に近いものを選ぶ。このようにして基準マッチン
グ領域を求めることによって、信頼性の高い第１マッチ
ング領域のうちで相対距離が最も離れた２つの第１マッ
チング領域を、基準マッチング領域として選択すること
ができる。

【０１２３】さらに、基準マッチング領域の相対距離が
大きいほど、画像Ｐｘ，Ｐｙの相対的な傾きの傾き角を
厳密に定めることができる。これは、画像の傾き角は、
２つの基準マッチング領域の中心のｘ座標を分子として
該中心のｙ座標の差を分母とした分数によって表され、
２つの基準マッチング領域の相対距離が大きいほどｘ座
標の差およびｙ座標の差が大きくなるので、この分数の
分子と分母が前記相対距離が大きいほど大きくなるから
である。また、傾き角を厳密に定めることができる場
合、この傾き角を考慮して第２参照領域および予測領域
を設定すれば、処理対象の一対の画像に相対的な傾きが
ある場合でも、第１マッチング処理の処理結果が等しい
場合に第２参照領域と輝度分布が等しい領域を誤りなく
求めることができる。したがって、第２参照領域および
予測領域の設定の精度を向上させることができる。

【０１２４】本実施形態の画像処理装置は本発明の画像
処理装置の例示であり、主要な動作が等しければ、他の
様々な形で実施することができる。特に各部の詳細な動
作は、同じ出力が得られれば、これに限らず他の動作に
よって実現されてもよい。また、本実施形態の画像処理
装置は、画像フィルタ５を省略し、マッチング処理部６
が画像取り込み部３によって取込まれた画像を用いて第
１および第２マッチング処理を行うようにしてもよい。
また、第１マッチング処理の処理結果の正誤だけを判定
する場合、第２マッチング処理では、第２参照領域を１
つにしてもよい。さらに、一対の画像の相対的な傾きを
検出しない場合、第１マッチング処理では第１参照領域
を１つにして、合成処理時には、第１参照領域とそれに
対応する第１マッチング領域とが重なるように、各画像
をその座標軸に平行にずらして重ね合わせてもよい。

【０１２５】さらに、上述した画像の取込みと位置関係
の検出と位置関係の評価と位置関係を用いた画像処理と
を含む一連の処理を実行するためのプログラムをコンピ
ュータによって読出し可能な記憶媒体に記憶させ、この
プログラムを画像の取込みが可能なコンピュータにイン
ストールし、コンピュータの中央演算処理装置によって
このプログラムを実行させることによって、画像処理装
置を実現してもよい。この記憶媒体には、たとえば、Ｃ
Ｄ−ＲＯＭおよびフロッピーディスクが挙げられる。

【０１２６】

【発明の効果】以上のように本発明によれば、画像処理
装置は、入力された一対の画像の位置関係を求め、かつ
その位置関係の正誤を判定して、その判定結果に表示す
る。したがって、この位置関係を用いて行う画像処理に
おいて、処理の精度の低下の要因が位置関係の誤りにあ
るか否かを容易に知ることができる。

【０１２７】また本発明によれば、画像処理装置は、求
めた位置関係に誤りがある場合、その誤りの原因を検出
して表示する。これによって、位置関係の訂正を容易に
行うことができる。

【０１２８】さらにまた本発明によれば、画像処理装置
の位置関係判定手段は、位置関係を求めるための第１参
照領域および第１マッチング領域に基づき、さらに第２
参照領域と予測領域とを設定しかつ第２マッチング領域
を求め、この第２マッチング領域が予測領域と一致する
か否かを判定することによって、位置関係の正誤を判定
する。これによって、パターンマッチング法を用いて、
位置関係の正誤を判定することができる。

【０１２９】また本発明によれば、第２参照領域を複数
設定して各第２参照領域毎に予測領域を設定しかつ第２
マッチング領域を求め、位置関係が誤りである場合、第
２マッチング領域から予測領域までのずれと第１および
第２マッチング領域の距離との関係に基づいて誤りの原
因を求める。これによって、１回のマッチング処理の処
理結果を用いて、位置関係の正誤の判定と位置関係の誤
りの原因とを、両方調べることができる。

【０１３０】さらにまた本発明によれば、位置関係検出
手段は、複数の第１参照領域を設定して各第１参照領域
毎に第１マッチング領域を求め、それら第１マッチング
領域の中から算出の信頼性が最も高いものを選び、選ん
だ第１マッチング領域とそれに対応する第１参照領域と
を用いて、第２参照領域と予測領域とを設定する。これ
によって、輝度分布が第２参照領域と違う領域を誤って
予測領域とすることを防止することができる。

【０１３１】また本発明によれば、前記位置関係判定手
段は、複数の第１マッチング領域のうちで、隣合う第１
参照領域同士で該第１参照領域とそれに対応する第１マ
ッチング領域との位置関係が等しいものを、算出の信頼
性が高いものとして選ぶ。これによって、算出の信頼性
の高い第１マッチング領域の選択を、容易に行うことが
できる。

【０１３２】さらにまた本発明によれば、前記位置関係
判定手段は、複数の第１マッチング領域のうちで、隣合
う第１参照領域同士で該第１参照領域とそれに対応する
第１マッチング領域との位置関係が等しくかつ相対距離
が最大の２つの第１マッチング領域を、算出の信頼性が
高いものとして選ぶ。これらを用いて位置関係の判定の
ためのマッチング処理を行うことによって、一対の画像
が相互に傾いている場合も、位置関係の判定の精度をさ
らに向上させることができる。

【０１３３】また本発明によれば、輝度変化検出手段
は、算出の信頼性の高い第１マッチング領域を選ぶこと
ができるか否かによって、位置関係の誤りの原因が、一
対の画像の重複する部分の輝度分布が平坦であるか否か
を判定する。したがって、誤りの原因が重複する部分の
輝度分布が平坦であることであるか否かを、容易に調べ
ることができる。

【０１３４】さらにまた本発明によれば、輝度変化検出
手段は、一対の画像の重複する部分の輝度変化が平坦で
あることが誤りの原因であると判定された場合、さら
に、重複する部分に同一の印を付すことを操作者に指示
する。これによって、位置関係の検出を再び行わせる場
合に、その位置関係を正しく求めさせるにはどうしたら
良いかを、操作者が容易に知ることができる。

【０１３５】また本発明によれば、画像処理装置は、画
像を再入力させる場合、重複する部分の輝度変化が前記
最小の輝度変化未満であるか否かに応じて、一対の画像
を全て再入力させるかいずれか一方の画像を再入力させ
るかを選択する。これによって、誤りの原因に応じて再
入力時の操作者の作業を簡略化させることができる。

【０１３６】また本発明によれば、画像入力装置の載置
台には案内手段が付加されているので、画像処理装置の
操作者は、載置台近傍に設けられた複数の案内手段に目
安に被写体を移動させれば、相互に重複する一対の画像
を容易に撮影手段に生成させることができる。

【０１３７】さらにまた本発明によれば、前記各案内手
段は撮影の繰返し回数に応じて点灯／消灯する。これに
よって、操作者は案内手段の点灯パターンに応じて被写
体を動かせばよいので、被写体を移動させる作業をさら
に簡略化することができる。

【０１３８】また本発明によれば、前記画像処理装置
は、合成選択手段によって合成することが選択された場
合だけ、合成手段によって一対の画像を合成する。これ
によって、画像処理装置の操作性を向上させることがで
きる。

【図面の簡単な説明】

【図１】本発明の実施の一形態である画像処理装置１の
電気的構成を示すブロック図である。

【図２】画像取込み部３の外観を示す斜視図である。

【図３】１回目の撮影時の被写体３１と画像取込み部３
との位置関係を示す図である。

【図４】２回目の撮影時の被写体３１と画像取込み部３
との位置関係を示す図である。

【図５】位置関係の評価動作を含む画像の合成動作を説
明するためのフローチャートである。

【図６】参照画像Ｐ１内の第１参照領域Ａ１〜Ａ５と、
探索画像Ｐ２内の第１探索領域Ｂ１，Ｂ２とを示す図で
ある。

【図７】参照画像Ｐ１内の第１参照領域Ａ１〜Ａ１３
と、探索画像Ｐ２内の第１マッチング領域Ｃ１〜Ｃ１３
とを示す図である。

【図８】参照画像Ｐ１内の第２参照領域ＡＡ５，ＡＡ
６，ＡＡ８，ＡＡと、探索画像Ｐ２内の第２探索領域Ｄ
５，Ｄ６，Ｄ８，Ｄ９とを示す図である。

【図９】第１マッチング処理の処理結果が正しい場合の
第２マッチング領域Ｆ５，Ｆ６，Ｆ８，Ｆ９と予測点Ｈ
５，Ｈ６，Ｈ８，Ｈ９とを示す図である。

【図１０】第１マッチング処理の処理結果が重複部分の
過不足に起因して誤っている場合の第２マッチング領域
Ｆ５ａ，Ｆ６ａ，Ｆ８ａ，Ｆ９ａと予測点Ｈ５ａ，Ｈ６
ａ，Ｈ８ａ，Ｈ９ａとを示す図である。

【図１１】第１マッチング処理の処理結果が画像の過大
な傾きに起因して誤っている場合の第２マッチング領域
Ｆ５ｂ，Ｆ６ｂ，Ｆ８ｂ，Ｆ９ｂと予測点Ｈ５ｂ，Ｈ６
ｂ，Ｈ８ｂ，Ｈ９ｂとを示す図である。

【図１２】第１マッチング処理の処理結果が正しい場合
に、画像補正情報提示部１０に表示される画像４１を示
す図である。

【図１３】第１マッチング処理の処理結果が重複部分の
輝度変化の不足に起因して誤っている場合に、画像補正
情報提示部１０に表示される画像４４を示す図である。

【図１４】第１マッチング処理の処理結果が画像の過大
な傾きに起因して誤っている場合に、画像補正情報提示
部１０に表示される画像５１を示す図である。

【図１５】第１マッチング処理の処理結果が画像の重複
部分の過不足に起因して誤っている場合に、画像補正情
報提示部１０に表示される画像５３を示す図である。

【図１６】画像のフィルタ処理の原理を説明するための
図である。

【図１７】網点部分と文字部分とを含む処理対象の画像
と、前記処理対象の画像の相関演算用データの仮想画像
とを示す図である。

【図１８】処理対象の画像の画素の並びと輝度との関係
を示す図である。

【図１９】画像の合成処理を説明するための図である。

【図２０】信頼性の高い第１マッチング領域の選択手法
を説明するための図である。

【図２１】定数αの決定手法を説明するための図であ
る。

【符号の説明】

３画像取込み部４画像メモリ５画像フィルタ６マッチング処理部７画像合成部９画像補正情報生成部１０画像補正情報提示部１２相関演算制御部１４相関演算部２２載置台２３〜２６案内部材３１被写体Ａ１〜Ａ１３第１参照領域Ｃ１〜Ｃ１３第１マッチング領域ＡＡ５，ＡＡ６，ＡＡ８，ＡＡ９第２参照領域Ｆ５，Ｆ６，Ｆ８，Ｆ９第２マッチング領域Ｈ５，Ｈ６，Ｈ８，９Ｈ予測点

Claims

【特許請求の範囲】

【請求項１】相互に重複する一対の画像を入力する画
像入力手段と、一対の画像の相互に重複する部分を重ねた状態における
一対の画像の位置関係を求める位置関係検出手段と、求められた位置関係が正しいか否かを判定する位置関係
判定手段と、位置関係判定手段によって求められた位置関係の正誤を
表示する表示手段とを含むことを特徴とする画像処理装
置。
【請求項２】前記位置関係判定手段によって前記位置
関係が誤りであると判定された場合、前記位置関係の誤
りの原因を求めて前記表示手段に表示させ、位置関係が
正しいと判定された場合休止する原因検出手段をさらに
含むことを特徴とする請求項１記載の画像処理装置。
【請求項３】前記位置関係検出手段は、前記一対の画
像のうちの一方の画像に予め定める大きさの第１参照領
域を設定し、前記一対の画像のうちの他方の画像内で、
輝度分布が第１参照領域の輝度分布と最も類似する第１
マッチング領域を求め、第１参照領域と第１マッチング
領域との位置関係に基づいて前記一対の画像の前記位置
関係を求め、前記位置関係判定手段は、前記一方の画像
の第１参照領域を含む部分に、予め定める大きさの第２
参照領域を設定し、前記他方の画像内で第２参照領域と
輝度分布が最も類似すると予想される予想領域を、第１
マッチング領域の位置と第１および第２参照領域の位置
関係とに基づいて設定し、前記他方の画像の第１マッチ
ング領域を含む部分内で、第２参照領域と輝度分布が最
も類似する第２マッチング領域を求め、第２マッチング
領域が予想領域と一致する場合、前記位置関係が正しい
と判定し、一致しない場合、前記位置関係が誤りである
と判定することを特徴とする請求項１記載の画像処理装
置。
【請求項４】前記位置関係検出手段は、前記一対の画
像のうちの一方の画像に予め定める大きさの第１参照領
域を設定し、前記一対の画像のうちの他方の画像内で、
輝度分布が第１参照領域の輝度分布と最も類似する第１
マッチング領域を求め、第１参照領域と第１マッチング
領域との位置関係に基づいて前記一対の画像の前記位置
関係を求め、前記位置関係判定手段は、前記一方の画像
内で第１参照領域を含む部分に、予め定める大きさの第
２参照領域を複数設定し、前記他方の画像内で各第２参
照領域と輝度分布が最も類似すると予想される予想領域
を、第１マッチング領域と第１および第２参照領域の位
置関係とに基づいてそれぞれ設定し、前記他方の画像内
の第１マッチング領域を含む部分内で、各第２参照領域
と輝度分布が最も類似する第２マッチング領域をそれぞ
れ求め、各第２マッチング領域が各予想領域とそれぞれ
一致する場合、前記位置関係が正しいと判定し、少なく
とも１つの第２マッチング領域がその予想領域と一致し
ない場合、前記位置関係が誤りであると判定し、前記原因検出手段は、前記位置関係判定手段によって前
記位置関係が誤りであると判定された場合、前記各予想
領域から前記各第２マッチング領域までのずれと前記各
第２マッチング領域から前記第１マッチング領域までの
距離との関係を求め、距離の増加に伴ってずれが増加す
るとき、前記一対の画像の相対的な傾きが前記位置関係
検出手段によって位置関係を検出することが可能な最大
の傾き以上であることを位置関係の誤りの原因として前
記表示手段に表示させ、距離に無関係にずれが変化する
とき、前記一対の画像の相互に重複する部分の大きさが
前記位置関係検出手段によって位置関係を検出すること
が可能な最大の大きさ以上または最小の大きさ未満であ
ることを誤りの原因として前記表示手段に表示させ、前
記位置関係が正しいと判定された場合、休止することを
特徴とする請求項２記載の画像処理装置。
【請求項５】前記位置関係検出手段は、前記一対の画
像のうちの一方の画像に予め定める大きさの第１参照領
域を複数設定し、前記一対の画像のうちの他方の画像内
で、輝度分布が各第１参照領域の輝度分布と最も類似す
る第１マッチング領域をそれぞれ求め、各第１参照領域
と各第１マッチング領域との位置関係に基づいて前記一
対の画像の前記位置関係を求め、前記位置関係判定手段
は、複数の第１参照領域および第１マッチング領域のうち
で、位置関係検出手段の第１マッチング領域の算出の信
頼性が予め定める基準以上に高い第１マッチング領域
と、該第１マッチング領域の算出に用いられた第１参照
領域とを選択し、前記一方の画像内で選択された第１参
照領域を含む部分に、予め定める大きさの第２参照領域
を複数設定し、前記他方の画像内で各第２参照領域と輝
度分布が最も類似すると予想される予想領域を、選択さ
れた第１マッチング領域と選択された第１参照領域およ
び各第２参照領域の位置関係とに基づいてそれぞれ設定
し、前記他方の画像内の選択された第１マッチング領域
を含む部分内で、各第２参照領域と輝度分布が最も類似
する第２マッチング領域をそれぞれ求め、各第２マッチング領域が各予想領域とそれぞれ一致する
場合、前記位置関係が正しいと判定し、少なくとも１つ
の第２マッチング領域がその予想領域と一致しない場
合、前記位置関係が誤りであると判定することを特徴と
する請求項１記載の画像処理装置。
【請求項６】前記前記位置関係判定手段は、第１参照
領域および第１マッチング領域の位置関係が隣合う第１
参照領域同士で等しい第１マッチング手段を、算出の信
頼性が前記基準以上に高い第１マッチング領域として選
択することを特徴とする請求項５記載の画像処理装置。
【請求項７】前記位置関係判定手段は、第１参照領域
および第１マッチング領域の位置関係が隣合う第１参照
領域同士で等しい第１マッチング領域のうちで、第１参
照領域同士の相対距離が最も大きい２つの第１マッチン
グ領域を、前記信頼性が前記基準以上に高い第１マッチ
ング領域として選ぶことを特徴とする請求項５記載の画
像処理装置。
【請求項８】前記位置関係判定手段によって前記第１
参照領域および第１マッチング領域を選ぶことができな
い場合、前記一対の画像の相互に重複する部分の輝度変
化が前記位置関係検出手段によって前記位置関係を検出
するための最小の輝度変化未満であることを位置関係の
誤りの原因として前記表示手段に表示させ、できる場合
休止する輝度変化検出手段をさらに含むことを特徴とす
る請求項５記載の画像処理装置。
【請求項９】前記輝度変化検出手段は、前記位置関係
判定手段によって前記第１参照領域および第１マッチン
グ領域を選ぶことができない場合、さらに、前記一対の
画像の相互に重複する部分に同一の印を付すことを指示
することを特徴とする請求項８記載の画像処理装置。
【請求項１０】前記画像入力手段に画像を再び入力さ
せるか否かをを選択させる再入力選択手段をさらに含
み、前記画像入力手段は、画像を再入力させることが選択さ
れた状態で、前記輝度変化検出手段が位置関係の誤りの
原因を前記表示手段に表示させた場合、前記一対の画像
を全て再び入力させ、前記状態で輝度変化検出手段が休
止した場合、前記一対の画像のうちのいずれか一方を再
び入力させることを特徴とする請求項８記載の画像処理
装置。
【請求項１１】前記画像入力手段は、被写体を載置する載置台と、予め定める撮影範囲を有し、載置台に載置された被写体
内の撮影範囲内にある部分を撮影して画像を生成し、入
力されるべき画像の枚数だけ撮影を繰り返す撮影手段
と、載置台の撮影範囲の近傍に並べられて固定される複数の
案内手段とを含むことを特徴とする請求項１記載の画像
処理装置。
【請求項１２】前記各案内手段は発光手段であり、撮
影の繰返し回数に応じて、画像の重複する部分に相当す
る被写体の部分を置くべき載置台上の位置に最も近く、
かつ繰返し回数に対応して予め定められる案内手段が発
光または消灯し、さらに該案内手段以外の残余の案内手
段が消灯または発光することを特徴とする請求項１１記
載の画像処理装置。
【請求項１３】一対の画像を合成するか否かを選択さ
せる合成選択手段と、合成することが選択された場合、
前記位置関係検出手段によって求められた前記位置関係
に基づいて、一対の画像を相互に重複する部分でつなぎ
合わせるように合成し、合成しないことが選択された場
合休止する合成手段とをさらに含むことを特徴とする請
求項１記載の画像処理装置。