JP4538507B2 - 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体 - Google Patents

Description

本発明は、文字や符号を含む画像（文書画像）を対象とした画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体に関するものである。

入力された入力原稿の画像データに対し、複写やデータ送信、ファイリング等の出力処理を行う画像データ出力処理装置がある。このような画像データ出力処理装置においては、従来から、画像同士の類似性を判定するための文書画像の照合技術が種々利用されている。

利用例として、例えば、入力された原稿画像（入力原稿画像）の画像データより、当該入力原稿画像の特徴量を抽出し、これと既に登録されている登録原稿画像の特徴量とを比較して、上記入力原稿画像と登録原稿画像との類似性を判定し、類似しているか場合は、入力原稿の画像データの出力処理を規制したり、所定の条件にて処理したりする出力制御を行うことが提案されている。

画像同士の類似性の判定には、例えば、ＯＣＲ（Optical Character Reader）で画像からキーワードを抽出し、抽出したキーワードにより画像の類似度を判定する方法や、類似度の判定を行う画像を罫線のある帳票画像に限定して、罫線の特徴を抽出して画像の類似度を判定する方法、画像データの文字列等を点に置き換えて、点（特徴点）の位置関係を特徴量として求め画像の類似度を判定する方法などが提案されている。

例えば、特許文献１には、入力された画像の特徴からデスクリプタを生成し、このデスクリプタと、デスクリプタを記録しデスクリプタが生成された特徴を含む画像のリストを指示すデスクリプタデータベースとを用いて、入力画像とデータベース中の画像とのマッチングを行う技術が開示されている。デスクリプタは、画像のデジタル化により生じる歪みや、入力画像とデータベース中の整合する画像との間の差異に対して不変となるように選ばれる。

この技術では、デスクリプタデータベースがスキャンされるときに、データベース中の各画像に対する投票を累積し、最高得票数の１文書または得票数がある閾値を超えた画像を、入力画像に整合する画像或いはこれに類似するものとして抽出するようになっている。

また、特許文献２には、デジタル画像から複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定し、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点の複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を組み合わせて特徴量を計算し、計算した特徴量を有するデータベース中の画像に投票することにより、上記デジタル画像に対応する画像を検索する技術が開示されている。
特開平７−２８２０８８号公報（１９９５年１０月２７日公開） 国際公開第２００６／０９２９５７号パンフレット（２００６年９月８日公開） 中居 友弘、黄瀬 浩一、岩村 雅一：「複比の投票に基づく文書画像検索と射影歪み補正」、画像の認識・理解シンポジウム（ＭＩＲＵ２００５）（情報処理学会 コンピュータビジョンとイメージメディア研究会主催）予稿集、５３８−５４５頁

しかしながら、従来の画像照合装置においては、入力された入力原稿が、１枚の原稿に複数枚分の原稿画像が割り付けられたＮｉｎ１（Ｎ＝２，４，６，８，９等）原稿などであったとしても、それを判別するようにはなっておらず、通常の原稿と同じように判定する。

そのため、例えば、画像データ出力処理装置に画像照合装置を搭載して、その判定結果に基づいて入力原稿の画像データの出力処理を制御するにおいて、入力原稿が割付原稿であった場合には、割り付けられている個々の原稿画像それぞれに対して、適切な出力処理を行うことができなかった。

具体例を挙げると、図２４に示すように、２ｉｎ１原稿の２つある原稿画像Ａ，ＢのうちのＡが登録原稿画像である場合、従来の画像照合装置は、２ｉｎ１原稿であることまでは判別できず、入力原稿画像は登録原稿画像に類似するとだけ判定する。そのため、原稿画像Ａが類似すると判定された登録原稿画像に、例えば「出力処理の禁止」が設定されていると、原稿画像Ｂに対しても原稿画像Ａと同様の出力処理が禁止されてしまい、ユーザは、原稿画像Ｂまでも複写することができないといった不具合を生じる。

なお、入力原稿の画像データより、入力原稿画像の主走査方向及び副走査方向のライン毎に画素値が０から１、１から０に変化する反転回数（または、エッジの数）の分布を求めるなどして、入力原稿が割付原稿であるか否かを判定することもできる。しかしながら、この手法では、画像照合処理とは全く別の機能が必要となる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力原稿が割付原稿であることを画像照合処理において判定することのできる画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体を提供することにある。

本発明の画像照合装置は、上記課題を解決するために、入力された入力原稿の画像データより当該入力原稿画像の特徴点を算出する特徴点算出部と、上記特徴点算出部にて算出された特徴点同士の相対位置に基づいて、上記入力原稿画像の特徴量を算出する特徴量算出部と、上記特徴量算出部にて算出された上記入力原稿画像の特徴量と登録原稿画像の特徴量とを比較して、上記入力原稿画像が登録原稿画像に類似しているか否かの判定を行う類似性判定部とを備えた画像照合装置において、上記類似性判定部にて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像上における上記登録原稿画像と類似する画像位置を特定し、該画像位置の情報を用いて、上記入力原稿画像が割付原稿のものであるか否かを判定する原稿判定部を備えることを特徴としている。

これによれば、原稿判定部が、類似性判定部にて類似していると判定された入力原稿画像と登録原稿画像との間で、特徴量が一致した特徴点の座標位置に基づいて、上記入力原稿画像上における上記登録原稿画像と類似する画像位置を特定し、該位置の情報を用いて、上記入力原稿画像が割付原稿のものであるか否か、つまり、入力原稿が割付原稿であるか否かを判定する。

複数の原稿画像が割り付けられている割付原稿の場合、割り付けられている各原稿画像の位置は、割り付け条件によって決まってくる。したがって、特徴量が一致した入力原稿画像の特徴点と登録原稿画像の特徴点の各々の座標位置に基づいて、入力原稿画像の特徴点と登録原稿画像の特徴点との位置関係を求め、入力原稿画像の座標上における登録原稿画像と類似する画像位置を特定し、これが割り付け条件によって予め決まっている画像位置に適合するか否かで、入力原稿画像が割付原稿のものであるか否かを判定することができる。

つまり、これによれば、登録原稿画像に一致すると判定された入力原稿画像の特徴点と、対応する登録原稿画像の特徴点の相関関係を用いて、画像照合処理の機能を利用して、入力原稿が割付原稿であるか否かの判定を行うことができる。

なお、入力原稿の画像データは、例えば、スキャナにて原稿を読み取ることにより得られた画像データ、あるいは電子データのフォーマットに、コンピュータ（ソフトウェア）を用いて必要事項を入力して作成される電子データである。すなわち、例えば、紙に印刷されあるいは記載された画像を電子化したもの、および電子データとして直接作成されたもの（電子申請書など）である。

本発明の画像照合装置は、さらに、上記原稿判定部は、類似性判定部にて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像の特徴点と上記登録原稿画像の特徴点との位置関係を表す係数を算出する係数算出部と、上記係数算出部にて算出された係数を用いて上記登録原稿画像の基準点の座標を上記入力原稿画像の座標に変換し、変換された基準点の値が予め定められた条件を充たす場合に、上記入力原稿画像が割付原稿のものであると判定する割付判定部とを備える構成とすることもできる。

これによれば、係数算出部が、類似性判定部にて類似していると判定された入力原稿画像と登録原稿画像との間で、特徴量が一致した特徴点の各々の座標位置に基づいて、入力原稿画像の特徴点と登録原稿画像の特徴点との位置関係を表す係数を算出し、割付判定部が、算出された係数を用いて登録原稿画像の基準点の座標を入力原稿画像の座標に変換し、変換された基準点の値が予め定められた条件を充たす場合に、上記入力原稿画像が割付原稿のものであると判定する。上記登録原稿画像の基準点としては、例えば、当該登録原稿画像の４隅の各点とすることができる。

入力原稿画像の座標上における登録原稿画像と類似する画像位置を特定するにあたり、登録原稿画像の基準点を用い、該基準点の座標を入力原稿画像の座標に変換することで、入力原稿画像の座標上における登録原稿画像と類似する画像位置を、容易にかつ迅速に特定することができる。

本発明の画像照合装置は、さらに、原稿判定部は、類似性判定部にて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像の特徴点と上記登録原稿画像の特徴点との位置関係を表す係数を算出する係数算出部と、上記係数算出部にて算出された係数を用いて上記登録原稿画像の基準点の座標を上記入力原稿画像の座標に変換し、変換された基準点の値が予め定められた条件を充たし、かつ、上記登録原稿画像における、上記基準点の座標より求められる画像領域の大きさと、上記入力原稿画像上の座標に変換された上記基準点の値より求められる、上記入力原稿画像における上記登録原稿画像に類似する部分の画像領域の大きさとを比較した結果が予め定められた条件を充たす場合に、上記入力原稿画像が割付原稿のものであると判定する割付判定部とを備える構成とすることもできる。

割付原稿の場合、割り付けられている各原稿画像の位置と共に、各原稿画像の大きさも、割り付け条件によって決まってくる。したがって、上記構成のように、登録原稿画像の基準点の座標変換後の値に加えて、入力原稿画像上における登録原稿画像と類似する画像領域の大きさ（画像領域の主走査方向と副走査方向の長さの比）も考慮して割付原稿のものであるか否かを判定することで、判定精度を上げることができる。

本発明の画像データ出力処理装置は、上記課題を解決するために、入力された入力原稿の画像データに対して出力処理を施す画像データ出力処理装置であって、本発明の画像照合装置を備え、上記画像照合装置の判定結果に基づいて、上記入力原稿の画像データに対する出力処理を制御する出力処理制御部を備え、上記出力処理制御部は、入力原稿画像が割付原稿のものである場合、割り付けられている個々の原稿画像に応じた制御を行うことを特徴としている。

既に画像照合装置として説明したように、本発明の画像照合装置においては、画像照合処理の機能を利用して入力原稿画像が割付原稿のものであるか否かの判定を行うことができる。したがって、このような画像照合処理を搭載した本発明の画像データ出力処理装置では、出力処理制御部が、入力原稿画像が割付原稿のものである場合、割り付けられている個々の原稿画像に応じた制御を行う構成とすることで、入力原稿画像が割付原稿のものであった場合にも、割り付けられている個々の原稿画像それぞれに対して、適切な出力処理が可能となる。

本発明の画像照合方法は、上記課題を解決するために、入力された入力原稿の画像データより当該入力原稿画像の特徴点を算出する特徴点算出ステップと、上記特徴点算出ステップにて算出された特徴点同士の相対位置に基づいて、上記入力原稿画像の特徴量を算出する特徴量算出ステップと、上記特徴量算出ステップにて算出された上記入力原稿画像の特徴量と登録原稿画像の特徴量とを比較して、上記入力原稿画像が登録原稿画像に類似しているか否かの判定を行う類似性判定ステップとを含む画像照合方法において、上記似性判定ステップにて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像上における上記登録原稿画像の位置を特定し、該位置の情報を用いて、上記入力原稿画像が割付原稿のものであるか否かを判定する原稿判定ステップを備えることを特徴としている。

既に画像照合装置として説明したように、上記の構成によれば、画像照合処理の機能を利用して入力原稿画像が割付原稿のものであるか否かの判定を行うことができる。

また、上記画像照合装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像照合装置をコンピュータにて実現させるプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

本発明では、入力原稿が割付原稿であることを画像照合処理において判定することのできる画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体を提供することができるという効果を奏する。

本発明の実施の形態を図面に基づいて以下に説明する。図１は本実施の形態における画像照合装置１０１の構成を示すブロック図である。この画像照合装置１０１は、例えば図２に示すデジタルカラー複写機（画像データ出力処理装置）１０２に備えられる。

画像照合装置１０１が処理対象とする原稿は、特に特定されるものではないが、画像照合装置１０１は、画像同士の類似性を判定する機能を有しており、予め画像を登録できるようになっており、登録された画像と、処理すべく入力された原稿の画像との類似性を判定可能な構成である。

以下、登録されている原稿画像を登録原稿画像と称し、その画像元を登録原稿と称する。また、コピーやファクシミリ、或いはファイリング等の出力処理をデジタルカラー複写機１０２にて実施するために画像データが入力され、画像照合装置１０１にて登録原稿画像との判定処理される原稿画像を入力原稿画像と称し、その画像元を入力原稿と称する。

画像照合装置１０１は、登録原稿画像と処理すべく入力された入力原稿画像との類似性を判定して、制御信号及び原稿判定信号を出力するものである。

図１に示すように、画像照合装置１０１は、制御部１、文書照合処理部２、及びメモリ（記憶手段）３を備えている。

文書照合処理部２は、入力された入力原稿の画像データより入力原稿画像の特徴点を算出し、算出された特徴点同士の相対位置に基づいて当該入力原稿画像の特徴量を算出して、登録されている登録原稿画像の特徴量と比較し、上記入力原稿画像と上記登録画像との類似性を判定して、上記した制御信号と原稿判定信号とを出力するものである。

また、本実施形態では、文書照合処理部２には原稿画像を登録する機能も付加されており、登録処理時、入力された原稿の画像データが登録原稿画像として登録される。

文書照合処理部２は、詳細には、特徴点算出部１１、特徴量算出部１２、投票処理部１３、類似度判定処理部（類似性判定部）１４、登録処理部１５、及び原稿判定処理部（原稿判定部）１６を備えている。

特徴点算出部１１は、入力原稿や登録原稿の画像データが入力されると、該入力画像データより文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出する。本実施形態では、特徴点算出部１１は、各特徴点の座標も算出する。

特徴量算出部１２は、特徴点算出部１１にて算出された特徴点を用いて、回転、拡大、縮小に対して不変な量、すなわち原稿画像（入力原稿画像、登録原稿画像）の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータである特徴量（ハッシュ値）を算出する。特徴量を計算するために注目特徴点の近傍の特徴点を選択して用いる。

投票処理部１３は、照合処理時、特徴点算出部１１が入力原稿の画像データより算出した各特徴点について特徴量算出部１２が算出したハッシュ値を用いて、後述するハッシュテーブルに登録されている登録原稿画像に対して投票するものである。投票処理部１３は、入力原稿の画像データのハッシュ値と同じハッシュ値を有する登録原稿画像に投票する。また、詳細については後述するが、投票処理部１３は、投票処理時、入力原稿画像のどの特徴点がどの登録原稿画像のどの特徴点に投票したかも記憶するようになっている。

類似度判定処理部１４は、投票処理部１３の投票処理結果より、入力原稿画像が登録原稿画像に類似するか否かを判定するものである。類似度判定処理部１４は、判定結果に応じて、判定結果に応じた制御信号を出力する。

登録処理部１５は、登録処理時、特徴点算出部１１が登録原稿の画像データより算出した各特徴点について特徴量算出部１２が算出したハッシュ値に応じて、登録原稿画像を識別するためのインデックス情報であるＩＤを登録するものである。

なお、上記文書照合処理部２において、上記投票処理部１３及び類似度判定処理部１４は、照合処理時に処理を実施し、登録処理時は処理を実施しない。逆に登録処理部１５は、登録処理時に処理を実施し、照合処理時は処理を実施しない。

原稿判定処理部１６は、類似度判定処理部１４にて入力原稿画像が登録原稿画像に類似すると判定されると、特徴量が一致する入力原稿画像の特徴点と登録原稿画像の特徴点の各々の座標位置に基づいて、入力原稿画像上における上記登録原稿画像の位置を特定し、該位置の情報を用いて、上記入力原稿画像が割付原稿のものであるか否かを判定するものである。原稿判定処理部１６は、判定結果に応じて、割付原稿画像であるか否かを示す原稿判定信号を出力する。

制御部（ＣＰＵ）１は、画像照合装置１０１における上記各部及びメモリ３へのアクセスを制御するものである。また、メモリ３は、画像照合装置１０１における上記各部が処理を実施する場合の作業用メモリであると共に、また、登録処理にて、登録原稿画像を表すＩＤ等、各種の情報が登録される場所である。

以下、図面を用いて、画像照合装置１０１における文書照合処理部２を詳細に説明する。文書照合処理部２における特徴点算出部１１は、図３に示すように、無彩化処理部２１、解像度変換部２２、ＭＴＦ処理部２３、２値化処理部２４及び重心算出部２５を備えている。図３は特徴点算出部１１の構成を示すブロック図である。

無彩化処理部２１は、登録原稿や入力原稿等の画像データである入力画像データがカラー画像であった場合に、入力画像データを無彩化して明度もしくは輝度信号に変換する。例えば、下記式より輝度Ｙを求める。

なお、無彩化処理は、上式による方法に限定されず、ＲＧＢ信号をＣＩＥ１９７６Ｌ^*ａ^*ｂ^*信号（CIE : Commission International de l'Eclairage、 Ｌ^*： 明度指数、a^*, ｂ^*:色度指数）に変換するものであっても良い。

解像度変換部２２は、入力画像データが画像入力装置で光学的に変倍されていた場合に、所定の解像度になるように入力画像データを再度変倍する。上記画像入力装置は、例えば、原稿の画像を読み取って画像データに変換するスキャナであり、図２に示すデジタルカラー複写機１０２ではカラー画像入力装置１１１がそれに相当する。

また、解像度変換部２２は、後段でのデータ処理量を軽減するために、画像入力装置により等倍の設定にて読み込まれる解像度よりも解像度を落とすための解像度変換部としても用いられる。例えば、６００ｄｐｉ（dot per inch）で読み込まれた画像データを３００ｄｐｉに変換する。

ＭＴＦ処理部２３は、画像入力装置の空間周波数特性が画像入力装置の種類ごとに異なることによる影響を吸収するために用いられる。すなわち、画像入力装置が備えるＣＣＤの出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び操作むら等に起因しＭＴＦの劣化が生じている。このＭＴＦの劣化により、読み込まれた画像がぼやけたものとなっている。そこで、ＭＴＦ処理部２３は、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理を行う。また、後段の特徴量算出部１２の特徴点抽出部３１での処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタを用いて強調及び平滑化処理を行う。なお、この混合フィルタのフィルタ係数は、例えば図４に示すものである。

２値化処理部２４は、無彩化処理部２１にて無彩化された画像データの輝度値（輝度信号）または明度値（明度信号）を閾値と比較することにより画像データを２値化し、この２値化した画像データ（登録原稿画像、入力原稿画像の２値画像データ）をメモリ３に格納する。

重心算出部２５は、２値化処理部２４において２値化された画像データ（例えば、「１」、「０」で表される画像データ）の各画素に対してラベリング（ラベル付け処理）を行う。このラベリングにおいては２値のうちの同一の値を示す画素に同一のラベルを付与する。次に、同一ラベルを付した画素を連結して形成された複数画素からなる領域である連結領域を特定する。次に、特定した連結領域の重心を特徴点として抽出し、抽出した特徴点を特徴量算出部１２へ出力する。ここで上記特徴点は、２値画像における座標値（ｘ座標、ｙ座標）で表すことができ、特徴点の座標値も算出して、特徴量算出部１２へ出力する。

図５は、２値化された画像データから抽出された連結領域及びこの連結領域の重心の一例を示す説明図であり、「Ａ」という文字に対応する連結領域及びその連結領域の重心（特徴点）を示している。また、図６は、２値化された画像データに含まれる文字列から抽出された複数の連結領域の各重心（特徴点）の一例を示す説明図である。

特徴量算出部１２は、図７に示すように、特徴点抽出部３１、不変量算出部３２及びハッシュ値算出部３３を備えている。図７は特徴量算出部１２の構成を示すブロック図である。

特徴点抽出部３１は、特徴点算出部１１にて算出された特徴点が画像データにおいて複数存在する場合に、１つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数だけ周辺特徴点として抽出する。図８の例では、上記所定数を４点とし、特徴点ａを注目特徴点とした場合に特徴点ｂ，ｃ，ｄ，ｅの４点が周辺特徴点として抽出され、特徴点ｂを注目特徴点とした場合には特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。

また、特徴点抽出部３１は、上記のように抽出した周辺特徴点４点の中から選択し得る３点の組み合わせを抽出する。例えば、図９（ａ）〜図９（ｄ）に示すように、図８に示した特徴点ａを注目特徴点とした場合、周辺特徴点ｂ，ｃ，ｄ，ｅのうちの３点の組み合わせ、すなわち、周辺特徴点ｂ，ｃ，ｄ、周辺特徴点ｂ，ｃ，ｅ、周辺特徴点ｂ，ｄ，ｅ、周辺特徴点ｃ，ｄ，ｅの各組み合わせが抽出される。

不変量算出部３２は、特徴点抽出部３１において抽出された各組み合わせについて、幾何学的変形に対する不変量（特徴量の１つ）Ｈｉｊを算出する。

ここで、ｉは注目特徴点を示す数（ｉは１以上の整数）であり、ｊは周辺特徴点３点の組み合わせを示す数（ｊは１以上の整数）である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの２つの比を不変量Ｈｉｊとする。

上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図９（ａ）の例において、特徴点ｂと特徴点ｃとを結ぶ線分の長さをＡ１１、特徴点ｂと特徴点ｄとを結ぶ線分の長さをＢ１１とすると、不変量Ｈ１１は、Ｈ１１＝Ａ１１／Ｂ１１である。また、図９（ｂ）の例において、特徴点ｂと特徴点ｃとを結ぶ線分の長さをＡ１２、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１２とすると、不変量Ｈ１２は、Ｈ１２＝Ａ１２／Ｂ１２である。また、図９（ｃ）の例において、特徴点ｂと特徴点ｄとを結ぶ線分の長さをＡ１３、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１３とすると、不変量Ｈ１３は、Ｈ１３＝Ａ１３／Ｂ１３である。また、図９（ｄ）の例において、特徴点ｃと特徴点ｄとを結ぶ線分の長さをＡ１４、特徴点ｃと特徴点ｅとを結ぶ線分の長さをＢ１４とすると、不変量Ｈ１４は、Ｈ１４＝Ａ１４／Ｂ１４である。このようにして、図９（ａ）〜図９（ｄ）の例では、不変量Ｈ１１，Ｈ１２，Ｈ１３，Ｈ１４が算出される。

なお、上記の例では、注目特徴点に最も近い周辺特徴点と２番目に近い周辺特徴点とを結ぶ線分をＡｉｊ、注目特徴点に最も近い周辺特徴点と３番目に近い周辺特徴点とを結ぶ線分をＢｉｊとしたが、これに限らず、不変量Ｈｉｊの算出に用いる線分は任意の方法で選定すればよい。

ハッシュ値算出部３３は、例えば、
Ｈｉ＝（Ｈｉ１×１０^３＋Ｈｉ２×１０^２＋Ｈｉ３×１０^１＋Ｈｉ４×１０^０）／Ｄ
という式における余りの値をハッシュ値（特徴量の１つ）Ｈｉとして算出し、得られたハッシュ値メモリ８に格納する。なお、上記Ｄは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。

上記不変量Ｈｉｊの算出方法は特に限定されるものではない。例えば、注目特徴点の近傍５点の複比、近傍ｎ点（ｎはｎ≧５の整数）から抽出した５点の複比、近傍ｎ点から抽出したｍ点（ｍは、ｍ＜ｎかつｍ≧５の整数）の配置、及びｍ点から抽出した５点の複比に基づいて算出される値などを注目特徴点についての上記不変量Ｈｉｊとしてもよい。なお、複比とは、直線上の４点または平面上の５点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。

また、ハッシュ値Ｈｉを算出するための式についても上記の式に限るものではなく、他のハッシュ関数（例えば特許文献２に記載されているハッシュ関数のうちのいずれか）を用いてもよい。

特徴量算出部１２の各部は、１つの注目特徴点に対する周辺特徴点の抽出及びハッシュ値Ｈｉの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出及びハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。

図８の例では、特徴点ａを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出が終わると、次に特徴点ｂを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出を行う。なお、図８の例では、特徴点ｂを注目特徴点とした場合、特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。

そして、図１０（ａ）〜図１０（ｄ）に示すように、これら周辺特徴点ａ，ｃ，ｅ，ｆの中から選択される３点の組み合わせ（周辺特徴点ａ，ｅ，ｆ、周辺特徴点ａ，ｅ，ｃ、周辺特徴点ａ，ｆ，ｃ、周辺特徴点ｅ，ｆ，ｃ）を抽出し、各組み合わせについてハッシュ値Ｈｉを算出し、メモリ３に格納する。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ３に記憶させる。

また、特徴量算出部１２は、登録処理を行う場合には、上記のように算出した入力画像データ（登録原稿の画像データ）の各特徴点についてのハッシュ値（特徴量）を登録処理部１５に送る。

登録処理部１５は、特徴量算出部１２が算出した各特徴点についてのハッシュ値と、当該入力画像データの登録原稿画像を識別するためのＩＤとをメモリ３に設けられた図示しないハッシュテーブルに順次登録していく（図１１（ａ）参照）。ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けてＩＤを登録する。ＩＤは重複することなく順次番号が割り当てられる。

なお、ハッシュテーブルに登録されている登録原稿画像の数が所定値（例えば、登録可能な原稿画像数の８０％）より多くなった場合、古いＩＤを検索して順次消去するようにしてもよい。また、消去されたＩＤは、新たな登録原稿画像のＩＤとして再度使用できるようにしてもよい。また、算出されたハッシュ値が同値である場合（図１１（ｂ）の例ではＨ１＝Ｈ５）、これらを１つにまとめてハッシュテーブルに登録してもよい。

また、特徴量算出部１２は、照合処理を行う場合には、上記のように算出した入力画像データ（入力原稿の画像データ）の各特徴点についてのハッシュ値を投票処理部１３に送る。

投票処理部１３は、入力画像データから算出した各特徴点のハッシュ値をハッシュテーブルに登録されているハッシュ値と比較し、同じハッシュ値を有する登録原稿画像に投票する（図１２参照）。図１２は、３つの登録原稿画像ＩＤ１，ＩＤ２，ＩＤ３に対する投票数の一例を示すグラフである。言い換えれば、投票処理部１３は、登録原稿画像毎に、登録原稿画像が有するハッシュ値と同じハッシュ値が入力画像データから算出された回数をカウントし、カウント値をメモリ３に記憶させる。

また、図１１（ｂ）の例では、Ｈ１＝Ｈ５であり、これらをＨ１の１つにまとめてハッシュテーブルに登録されているが、このようなテーブル値において、入力画像データから算出した入力画像の有するハッシュ値にＨ１があった場合は、登録原稿画像ＩＤ１には、２票投票される。

そして、投票処理部１３は、このとき、ハッシュ値が一致する入力原稿画像の特徴点と登録原稿画像の特徴点を用いて、両者の特徴点の位置関係を求めておく。つまり、入力原稿画像の特徴点と登録原稿画像の特徴点との位置合わせを行う。そして、図１３に示すように、入力原稿画像のどの特徴点が、どの登録原稿画像のどの特徴点に投票したのかを記憶しておく。ここで、ｐ（ｐ１、ｐ２、ｐ３、…）は、入力原稿画像の各特徴点を表すインデックス情報であり、ｆ（ｆ１、ｆ２、ｆ３、…）は、登録原稿画像の各特徴点を表すインデックス情報である。

また、事前に、図１４に示すように、登録原稿画像の各特徴点を表すｆと、各登録原稿画像上の座標とを予め格納しておき、座標位置も含めて照合判定を行う。

図１３の例では、入力原稿画像の特徴点ｐ１に対して求めた特徴量（ハッシュ値）が、登録原稿画像ＩＤ１の特徴点ｆ１の特徴量と一致し、また、入力原稿画像の特徴点ｐ２に対して求めた特徴量（ハッシュ値）が、登録原稿画像ＩＤ３の特徴点ｆ２の特徴量と一致していると判定されている（上記内容については、非特許文献１に記載がある）。

類似度判定処理部１４は、投票処理部１３の投票処理結果より、最大の得票数を得た登録原稿画像のＩＤ及び得票数を抽出し、抽出された得票数を予め定められている閾値と比較して類似度を算出する、或いは、抽出された得票数をその原稿が有している最大得票数で除算して正規化し、その結果と予め定められている閾値との比較を行う。この場合の閾値の例としては、例えば、０．８以上に設定する方法が挙げられる。手書き部分があると、投票数は最大得票数より大きくなることがあるため、類似度は１より大きくなる場合もあり得る。

最大得票数は、特徴点の数×１つの特徴点（注目特徴点）から算出されるハッシュ値の数で表される。前述した図９、図１０の例では、最も簡単例として、１つの特徴点から１つのハッシュ値が算出される例を示しているが、注目特徴点の周辺の特徴点を選択する方法を変えると、１つの特徴点から複数のハッシュ値を算出することができる。例えば、注目特徴点の周辺の特徴点として６点抽出し、この６点から５点を抽出する組み合わせは６通り存在する。そして、これら６通りそれぞれについて、５点から３点を抽出して不変量を求めハッシュ値を算出する方法が挙げられる。

類似度判定処理部１４は、判定結果に応じて制御信号を出力する。制御信号は、デジタルカラー複写機１０２にて入力原稿の画像データに対して実施される出力処理を制御するためのものである。本実施形態の画像照合装置１０１では、入力原稿画像が登録原稿画像に類似していると判定すると、当該登録原稿画像に設定されている制限に応じた制御信号を出力し、入力原稿の画像データに対する出力処理を実施させる。カラー複写機１０２の場合、複写を禁止したり、画質を強制的に低下させた複写したりすることが実施される。なお、類似していないと場合は、制御信号「０」を出力する。

原稿判定処理部１６は、上述したように、類似度判定処理部１４にて入力原稿画像が登録原稿画像に類似すると判定されると、特徴量が一致する入力原稿画像の特徴点と登録原稿画像の特徴点の各々の座標位置に基づいて、入力原稿画像上における上記登録原稿画像の位置を特定し、該位置の情報を用いて、上記入力原稿画像が割付原稿のものであるか否かを判定するものである。

本実施形態においては、原稿判定処理部１６は、類似度判定処理部１４にて類似していると判定されると、特徴量が一致する入力原稿画像の特徴点と登録原稿画像の特徴点の各々の座標位置に基づいて、入力原稿画像の特徴点と登録原稿画像の特徴点との位置関係を表す係数を算出する係数算出部と、後述する割付判定部とを備えている。

係数算出部は、投票処理部１３で求められた入力原稿画像の特徴点と登録原稿画像の特徴点の座標位置より両者の位置関係を示す係数を求める。ここで、上記係数の求め方について説明する。

係数算出部は、入力原稿画像の特徴点と登録原稿画像の特徴点との対応関係を把握するために、読み込まれた入力原稿画像の座標系を登録原稿画像の座標系に変換し位置合わせを行う。具体的には、まず、図１３，図１４の結果を基に、特徴量（ハッシュ値）が一致している登録原稿画像の特徴点の座標と、読み込まれた入力原稿画像の特徴点の座標との対応を取る。

図１５は、特徴量（ハッシュ値）が一致する登録原稿画像の特徴点と入力原稿画像の特徴点とに基づいて、登録原稿画像と入力原稿画像との位置合わせを行う動作の説明図である。図１６は、登録原稿画像と入力原稿画像との位置合わせの結果得られる登録原稿画像の特徴点の座標と入力原稿画像の特徴点の座標との対応関係を示す説明図である。図１５及び図１６の例では、登録原稿画像と入力原稿画像との間において、特徴量（ハッシュ値）が一致する特徴点が４点存在する場合を示している。

次に、係数算出部は、登録原稿画像の特徴点の座標についての行列をＰｉｎ、入力原稿画像の特徴点の座標についての行列をＰｏｕｔ、変換係数をＡとし、下記式を用いて、変換係数Ａを算出する。

ここで、Ｐｉｎは正方行列ではないので、下記式のように、両辺にＰｉｎの転置行列Ｐｉｎ^Ｔを乗算し、さらにＰｉｎ^ＴＰｉｎの逆行列を乗算する。

次に、このようにして得られた変換係数Ａを用いて、入力原稿画像の座標位置を算出する。この場合、下式に示すように、登録原稿画像上の任意の座標(ｘ,ｙ)は、変換係数Ａを用いて入力原稿画像上の座標（ｘ’，ｙ’）に変換される。

割付判定部は、係数算出部にて算出された変換係数Ａを用いて登録原稿画像の基準点の座標を上記入力原稿画像の座標に変換し、変換された基準点の値が予め定められた条件を充たす場合に、上記入力原稿画像が割付原稿のものであると判定するものである。

割付判定部は、変換係数Ａを用いて、登録原稿画像の４隅の座標を入力原稿画像の座標に変換し、変換後の座標位置を閾値処理して割付原稿であるか否かの判定を行い、割付原稿であるか否かを示す原稿判定信号を出力する。割付原稿である場合は、入力原稿画像における登録原稿画像に類似する部分の画像位置を示す情報も一緒に出力される。

ここで、閾値処理して割付原稿であるか否かを判定する処理を、具体例を挙げて説明する。登録原稿をＡ４サイズ（２１０ｍｍ×２９７ｍｍ）とし、有効画像領域を１９０ｍｍ×２５７ｍｍ、解像度を６００ｄｐｉ（画素数：４４８８×６０７０）とする。なお、登録原稿を読み取った画像データ上の大きさである登録原稿画像の大きさは、登録原稿の大きさと同じである。

１）図１７に示すように、登録原稿画像の４隅の座標を、（ａ１，ｂ１）、（ａ２，ｂ１）、（ａ１，ｂ２）、（ａ２，ｂ２）、変換後の４隅の座標（入力原稿上の座標）を、（Ａ１’，Ｂ１’）、（Ａ１’，Ｂ２’）、（Ａ２’，Ｂ１’）、（Ａ２’，Ｂ２’）として、原稿判定処理部１６は、変換後の座標が、
−２２４≦Ａ１’≦２２４、３２０５≦Ｂ１’≦３８１１、
４７３６≦Ａ２’≦５１８４、−３０３≦Ｂ２’≦３０３、
を充たすとき、入力原稿画像は２ｉｎ１原稿のものであると判定する。なお、入力原稿画像における登録原稿画像に類似する画像のある位置は、変換後の４隅の座標にて特定される。

上記値は、原稿画像の大きさ（原稿の大きさ）を元に定めている。即ち、有効画像領域１９０ｍｍ×２５７ｍｍ（画素数４４８８×６０７０（６００ｄｐｉ））である場合、原稿画像全体の画素数は４９６０×７０１６となる。したがって、原稿画像の左上の（Ａ１’，Ｂ２’）＝原点（０，０）とした場合、（Ａ１’，Ｂ１’）-＝（０，７０１６／２）、（Ａ２’，Ｂ１’）＝（４９６０，７０１６／２）、（Ａ２’，Ｂ２’）＝（４９６０，０）となる。そして、これに、座標変動幅を、有効画像領域の主走査方向および副走査方向の画素数の±５％として幅を持たせている。

なお、ここで、Ａ１’の下限を−２２４、Ｂ２’の下限を−３０３としているのは、図１８（ａ）〜図１８（ｄ）に示すように、登録原稿画像を入力原稿画像の座標に変換した場合に、入力原稿画像の原点（０，０）を超えてずれる場合があるためである。また、上記変動幅の値は、２ｉｎ１原稿であるか否かを適切に判定できるように設定すれば良い。

そして、さらに判定精度を上げるのであれば、上記のように変換後の４隅の座標だけでなく、下記の式を用いて、原稿画像の大きさの比をさらに考慮する構成としても良い。

２）また、図１９に示すように、登録原稿画像の４隅の座標を、（ａ１，ｂ１）、（ａ２，ｂ１）、（ａ１，ｂ２）、（ａ２，ｂ２）、変換後の４隅の座標（入力原稿画像上の座標）を、（Ａ１”，Ｂ１”）、（Ａ２”，Ｂ１”）、（Ａ１”，Ｂ２”）、（Ａ２”，Ｂ２”）として、原稿判定処理部１６は、変換後の座標が、
−１１２≦Ａ１”≦１１２、 −１５１≦Ｂ１”≦１５１、
２３６８≦Ａ２”≦２５９２、３３５７≦Ｂ２”≦３６５９
を充たすとき、入力原稿画像は４ｉｎ１原稿のものであると判定する。

原稿画像の左上の（Ａ１"，Ｂ１"）＝原点（０，０）とした場合、（Ａ１”，Ｂ２”）-＝（０，７０１６／２）、（Ａ２”，Ｂ２”）＝（４９６０／２，７０１６／２）、（Ａ２”，Ｂ１”）＝（４９６０／２，０）となる。そして、これに、座標変動幅を、有効画像領域の主走査方向および副走査方向の画素数の±２．５％として幅を持たせている。この場合も、変動幅の値は、４ｉｎ１原稿であるか否かを適切に判定できるように設定すれば良い。

そして、さらに判定精度を上げるためには、２ｉｎ１原稿の場合と同様に、下記の式を用いて、原稿画像領域の大きさの比を考慮するようにしても良い。

制御信号及び原稿判定信号は、デジタルカラー複写機（画像データ出力処理装置）１０２の場合、図２に示すカラー画像処理装置１１２における編集処理部１２６に入力される。

編集処理部１２６は、制御信号及び原稿判定信号から、入力原稿画像が割付原稿のものであり、割り付けられている原稿画像の中に、登録原稿画像に類似するものがある場合には、入力原稿画像のうちの登録原稿画像に類似する領域の画像のみ、制御信号にしたがって、登録原稿画像に設定されている制限（複写禁止、原稿画像の塗り潰しや白紙を出力する（データ値を「０」或いは「２５５（８ビットの場合）」に置き換える）等）を適用し、その他の画像領域は、そのまま出力処理する。

これにより、図２０（ａ）（ｂ）に示すように、入力原稿画像が、出力処理の禁止された登録原稿画像Ａを含む２ｉｎ１原稿画像，４ｉｎ１原稿画像である場合にも、登録原稿画像Ａの部分のみに設定されている制限が適用され、入力原稿画像に含まれるその他のＢ、Ｃ、Ｄの原稿画像については、問題なく出力処理させることができる。

次に、上記の画像照合装置１０１を備えるデジタルカラー複写機１０２の構成について説明する。図２はデジタルカラー複写機１０２の構成を示すブロック図である。

図２に示すように、デジタルカラー複写機１０２は、カラー画像入力装置１１１、カラー画像処理装置１１２及びカラー画像出力装置１１３、及び操作パネル１１４を備えている。

カラー画像入力装置１１１は、例えばＣＣＤ（Charge Coupled Device ）などの光学情報を電気信号に変換するデバイスを備えたスキャナ部より構成され、原稿からの反射光像を、ＲＧＢのアナログ信号として出力する。

カラー画像入力装置１１１にて読み取られたアナログ信号は、カラー画像処理装置１１２内を、Ａ／Ｄ変換部１２１、シェーディング補正部１２２、原稿種別自動判別部１２３、文書照合処理部１２４、入力階調補正部１２５、編集処理部１２６、領域分離処理部１２７、色補正部１２８、黒生成下色除去部１２９、空間フィルタ処理部１３０、出力階調補正部１３１、及び階調再現処理部１３２の順で送られ、ＣＭＹＫのデジタルカラー信号として、カラー画像出力装置１１３へ出力される。

Ａ／Ｄ変換部１２１は、ＲＧＢのアナログ信号をデジタル信号に変換するもので、シェーディング補正部１２２では、Ａ／Ｄ変換部１２１より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置１１１の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。また、カラーバランスを整えると同時に、ＲＧＢの反射率信号を濃度信号などカラー画像処理装置１１２に採用されている画像処理システムの扱い易い信号に変換する処理を施す。

原稿種別自動判別部１２３では、シェーディング補正部１２２にて各種の歪みが取り除かれカラーバランスの調整がなされたＲＧＢ信号（ＲＧＢの濃度信号）より、読み取られた原稿が文字原稿であるか、印刷写真原稿であるか、あるいは、文字と印刷写真が混在した文字印刷写真原稿であるか等の原稿種別の判別を行う。

文書照合処理部１２４は、入力された入力原稿の画像データの画像（入力原稿画像）と予め登録されている登録原稿画像との類似度を判定して、その結果に応じて制御信号を出力するものであり、ここでは、割付原稿であるか否かも判定し、原稿判定信号も出力する。つまり、図１の画像照合装置１０１の文書照合処理部２に相当する。文書照合処理部１２４は、入力原稿画像が割付原稿のものであり、割り付けられている一部の画像が登録原稿画像に類似する場合は、入力原稿画像の画像データを出力処理するにあたり、その部分の画像のみ、複写を禁止する。また、文書照合処理部１２４は、入力された画像データのＲＧＢデータはそのまま後段の入力階調補正部１２５へ出力する。

入力階調補正部１２５では、シェーディング補正部１２２にて各種の歪みが取り除かれたＲＧＢ信号に対して、下地濃度の除去やコントラストなどの画質調整処理が施される。

編集処理部１２６では、入力原稿画像が割付原稿のものであり、登録原稿画像に類似する原稿画像が割り付けられている場合、その画像部分のみ、複写されないように、（複写禁止、原稿画像の塗り潰しや白紙を出力する（データ値を「０」或いは「２５５（８ビットの場合）」に置き換える）等）の処理を行うものである。割付原稿に対する処理を行わない場合、編集処理部の処理はスルー（処理を行わない）となる。

領域分離処理部１２７は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離するものである。領域分離処理部１２７は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、黒生成下色除去部１２９、空間フィルタ処理部１３０、階調再現処理部１３２へと出力すると共に、編集処理部１２６より出力された入力信号をそのまま後段の色補正部１２８に出力する。

色補正部１２８では、色再現の忠実化を図るために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行う。

黒生成下色除去部１２９は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行うものである。これによりＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

空間フィルタ処理部１３０は、黒生成下色除去部１２７より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより出力画像のぼやけや粒状性劣化を軽減することができる。

階調再現処理部１３２では、空間フィルタ処理部１３０と同様に、ＣＭＹＫ信号の画像データに対して、領域識別信号に基づいて後述する所定の処理が施される。

例えば、領域分離処理部１２７にて文字に分離された領域は、文字の再現性を高めるために、空間フィルタ処理部１３０における空間フィルタに高周波成分の強調量が大きいフィルタが用いられる。同時に、階調再現処理部１３２においては、高域周波成分の再現に適した高解像度のスクリーンによる二値化もしくは多値化処理が実施される。

また、領域分離処理部１２７にて網点に分離された領域に関しては、空間フィルタ処理部１３０において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部１３１では、濃度信号などの信号をカラー画像出力装置１１３の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部１３２で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理が施される。領域分離処理部１２７にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。

上述した各処理が施された画像データは、一旦、図示しない記憶装置に記憶され、所定のタイミングで読み出されてカラー画像出力装置１１３に入力される。

このカラー画像出力装置１１３は、画像データを紙などの記録媒体上に出力するもので、例えば、電子写真方式やインクジェット方式を用いたカラー無像出力装置等をあげることができるが特に限定されるものでは無い。なお、以上の処理は図示しないＣＰＵ（Central Processing Unit）により制御される。

上記の構成において、本実施の形態の画像照合装置１０１の動作を、図２１のフローチャートに基づいて以下に説明する。

まず、制御部１が、登録モードが選択されているかどうかを判断する（Ｓ１）。登録モードの選択は、デジタルカラー複写機１０２では、操作パネル１１４の操作により選択される。また、画像処理装置１１２とこれに接続された端末装置（コンピュータ）とを備えた画像処理システムでは、端末装置からの入力操作等により選択される。

登録モードが選択されている場合、特徴点算出部１１が、入力画像データに基づいて、登録原稿画像の各特徴点を算出し（Ｓ２）、それら特徴点の座標を算出する（Ｓ３）。

次に、特徴量算出部１２が、特徴点算出部１１にて算出された各特徴点の特徴量を算出し（Ｓ４）、登録処理部１５が、登録される原稿の上記の各特徴点について、特徴点の特徴量（ハッシュ値）、特徴点のインデックスｆ、特徴点の座標を、メモリ３に格納し、動作を終了する（Ｓ５）。これにより、図１４に示す、登録原稿の各特徴点を表すｆと、登録原稿の画像上の座標とを表すテーブルが得られる。

一方、Ｓ１において登録モードが選択されていない場合、制御部１は、照合モードであると判断して、Ｓ１１に移行する。Ｓ１１では、特徴点算出部１１が、入力画像データに基づいて、入力原稿画像の各特徴点を算出し、さらに、それら特徴点の座標を算出する（Ｓ１２）
次に、特徴量算出部１２が、特徴点算出部１１にて算出された各特徴点の特徴量を算出し（Ｓ１３）、投票処理部１３が、算出されたオブジェクト原稿の特徴量を用いて投票処理を行う（Ｓ１４）。

次に、類似度判定処理部１４が、投票処理の結果に基づいて、入力原稿画像が何れかの登録原稿画像に類似するか否かを判断する（Ｓ１５）。ここで、どの登録原稿画像にも類似しない場合は、類似度判定処理部１４は、判定信号「０」を出力し（Ｓ２１）、動作を終了する。

一方、何れかの登録原稿画像に類似する場合は、類似度判定処理部１４は、特徴量が一致した特徴点を選択し（Ｓ１６）、登録原稿画像の入力原稿画像に対する原稿の変換係数Ａを求め（Ｓ１７）る。

そして、求めた変換係数Ａを用いて、登録原稿画像の座標を入力原稿画像の座標に変換し、入力原稿画像が割付原稿のものであるか否かを判定する（Ｓ１８）。

Ｓ１８において、割付原稿のものであると判定すると、登録原稿画像に類似する部分のみ当該登録原稿画像に設定されている制限にて出力処理する制御信号を出力し（Ｓ１９）、動作を終了する。

一方、Ｓ１８において、割付原稿のものでないと判定すると、入力原稿画像の全体を登録原稿画像に設定されている制限にて出力処理する制御信号を出力し（Ｓ２０）、動作を終了する。

上記のように、本実施の形態の画像照合装置１０１では、入力された入力原稿の画像データより当該入力原稿画像の特徴点を算出し、算出された特徴点同士の相対位置に基づいて、入力原稿画像の特徴量を求め、求めた特徴量を登録原稿画像の特徴量と比較して、入力原稿画像が登録原稿画像に類似しているか否かの判定を行う一方、類似していると判定されると、原稿判定処理部１６が、特徴量が一致する入力原稿画像の特徴点と登録原稿画像の特徴点の各々の座標位置に基づいて、入力原稿画像上における登録原稿画像の位置を特定し、該位置の情報を用いて、入力原稿画像が割付原稿のものであるか否かを判定するようになっている。

これにより、登録原稿画像に一致すると判定された入力原稿画像の特徴点と、対応する登録原稿画像の特徴点の相関関係を用いて、画像照合処理の機能を利用して、入力原稿が割付原稿であるか否かの判定を行うことができる。

図２２は、本実施形態の画像照合装置１０１が備えられるデジタルカラー複合機（画像データ出力処理装置）１０３の構成を示すブロック図である。

デジタルカラー複合機１０３は、図２に示したデジタルカラー複写機１０２に対して、例えばモデムやネットワークカードよりなる通信装置１１５を追加した構成である。

このデジタルカラー複合機１０３では、ファクシミリの送信を行う場合、通信装置１１５にて相手先との送信手続きを行い、送信可能な状態が確保されると、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリ３から読み出し、圧縮形式の変更など必要な処理を施した後、その画像データを通信回線を介して相手先に順次送信する。

また、ファクシミリの受信を行う場合、通信手続きを行いながら相手先から送信されてくる画像データを受信してカラー画像処理装置１１６に入力する。カラー画像処理装置１１６では、受信した画像データに対して圧縮／伸張処理部（図示せず）にて伸張処理を施す。伸張された画像データは、必要に応じて、回転処理や解像度変換処理が行なわれ、出力階調補正（出力階調補正部１３１）、階調再現処理（階調再現処理部１３２）が施され、カラー画像出力装置１１３から出力される。

また、デジタルカラー複合機１０３は、ネットワークカード、ＬＡＮケーブルを介して、ネットワークに接続されたコンピュータや他のデジタル複合機とデータ通信を行う。

また、上記の例では、デジタルカラー複合機１０３について説明したが、この複合機はモノクロの複合機であっても構わない。また、単体のファクシミリ通信装置であっても構わない。

また、本実施の形態の画像照合装置１０１は、画像読取装置にも適用可能である。図２３は、本実施の形態の画像照合装置１０１を適用したカラー画像読取装置（画像データ出力処理装置）１０４の構成を示すブロック図である。このカラー画像読取装置１０４は例えばフラットベッドスキャナであり、デジタルカメラであってもよい。

カラー画像読取装置１０４は、カラー画像入力装置１１１とカラー画像処理装置１１７とを備え、カラー画像処理装置１１７は、Ａ／Ｄ変換部１２１、シェーディング補正部１２２、原稿種別自動判別部１２３、文書照合処理部１２４を備えている。文書照合処理部１２４は、図１に示した画像照合装置１０１における文書照合処理部２に相当する。

カラー画像入力装置１１１（画像読取手段）は、例えばＣＣＤ（Charge Coupled Device ）を備えたスキャナ部より構成され、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号としてＣＣＤにて読み取って、カラー画像処理装置１１７に入力するものである。

カラー画像入力装置１１１にて読み取られたアナログ信号は、カラー画像処理装置１１７内を、Ａ／Ｄ（アナログ／デジタル）変換部１２１、シェーディング補正部１２２、原稿種別自動判別部１２３、文書照合処理部１２４の順で送られる。

Ａ／Ｄ変換部１２１は、ＲＧＢのアナログ信号をデジタル信号に変換するもので、シェーディング補正部１２２は、Ａ／Ｄ変換部１２１より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置１１１の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。シェーディング補正部１２２ではカラーバランスの調整を行い、またＲＧＢの反射率信号を濃度信号に変換する。

原稿種別自動判別部１２３、文書照合処理部１２４の機能は、前述したとおりである。文書照合処理部１２４では、入力された入力原稿画像と登録原稿画像との類似度を判定してその結果に応じて、制御信号（コピー、電子配信、ファイリングの禁止や所定のアドレスへの電子配信やフォルダへのファイリング否など。あるいは、所定のフォルダへのファイリングや所定のアドレスに電子配信するようにしても良い。）を出力する。ここで、制御信号は、読み込まれた画像データとともにネットワークを介してプリンタや複合機に送信され出力される。あるいは、コンピュータを介してプリンタに、もしくは、直接プリンタに入力さる。この場合、プリンタや複合機、コンピュータ側で処理内容を表す信号を判断できるようにしておく必要がある。上記制御信号を出力するのではなく、算出した入力原稿画像の特徴量を出力し、サーバーやコンピュータ、プリンタ側で、登録されている登録原稿画像と照合判定を行うようにしても良い。画像読取装置としてデジタルカメラを用いても良い。

また、以上の実施形態では、原稿種別自動判別部１２３を設けた構成を例示しているが、原稿種別自動判別部１２３を設けない構成とすることもできる。

本発明はコンピュータに実行させるためのプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータ読み取り可能な記録媒体に、上記した類似性判定（画像照合）及び出力制御を行う画像処理方法を記録するものとすることもできる。この結果、類似性判定部並びに出力制御、原稿画像の登録処理を行う画像処理方法を行うプログラムコードを記録した記録媒体を持ち運び自在に提供することができる。

なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるためにメモリ（図示せず）、例えばＲＯＭそのものがプログラムメディアであっても良いし、また、外部記憶装置（図示せず）としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

何れの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、何れの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータのプログラム記憶エリア（図示せず）にダウンロードされて、そのプログラムコードが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスクやハードディスク等の磁気ディスクやCD−ROM／MO／MD／DVD等の光ディスクのディスク系、ICカード（メモリカードを含む）／光カード等のカード系、あるいはマスクROM、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electrically Erasable Programmable Read Only Memory）、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

また、コンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ・液晶ディスプレイなどの画像表示装置およびコンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の実施の形態の画像照合装置の構成を示すブロック図である。 図１に示した画像照合装置を備える画像データ出力処理装置であるデジタルカラー複写機の構成を示すブロック図である。 図１に示した画像照合装置における特徴点算出部の構成を示すブロック図である。 図３に示した特徴点算出部におけるＭＴＦ処理部が備える混合フィルタのフィルタ係数を示す説明図である。 図３に示した特徴点算出部の処理により、２値化された画像データから抽出された連結領域およびこの連結領域の重心の一例を示す説明図である。 図３に示した特徴点算出部の処理により、２値化された画像データに含まれる文字列から抽出された複数の連結領域の各重心（特徴点）の一例を示す説明図である。 図１に示した画像照合装置における特徴量算出部の構成を示すブロック図である。 図７に示した特徴量算出部における特徴点抽出部での注目特徴点に対する周辺特徴点の抽出動作の説明図である。 図９（ａ）は、図８に示した特徴点抽出部にて抽出された周辺特徴点４点の中から選択し得る３点の組み合わせの一例を示すものであって、注目特徴点ａに対する周辺特徴点ｂ，ｃ，ｄの組み合わせの例を示す説明図、図９（ｂ）は、同注目特徴点ａに対する周辺特徴点ｂ，ｃ，ｅの組み合わせの例を示す説明図、図９（ｃ）は、同注目特徴点ａに対する周辺特徴点ｂ，ｄ，ｅの組み合わせの例を示す説明図、図９（ｄ）は、同注目特徴点ａに対する周辺特徴点ｃ，ｄ，ｅの組み合わせの例を示す説明図である。 図１０（ａ）は、図８に示した特徴点抽出部にて抽出された周辺特徴点４点のうちの一つに注目特徴点を移した場合に選択し得る３点の周辺特徴点の組み合わせの一例を示すものであって、注目特徴点ｂに対する周辺特徴点ａ，ｅ，ｆの組み合わせの例を示す説明図、図１０（ｂ）は、同注目特徴点ｂに対する周辺特徴点ａ，ｅ，ｃの組み合わせの例を示す説明図、図１０（ｃ）は、同注目特徴点ｂに対する周辺特徴点ａ，ｆ，ｃの組み合わせの例を示す説明図、図１０（ｄ）は、同注目特徴点ｂに対する周辺特徴点ｅ，ｆ，ｃの組み合わせの例を示す説明図である。 図１１（ａ）及び図１１（ｂ）は、図１に示した画像照合装置におけるメモリに格納されている各特徴点についてのハッシュ値及び登録画像のインデックスの一例を示す説明図である。 図１に示した画像照合装置における投票処理部による投票結果の一例を示すグラフである。 図１に示した画像照合装置におけるメモリに格納される、入力原稿画像の特徴点と、投票先の登録原稿画像の特徴点との対応を記憶したテーブルの説明図である。 図１に示した画像照合装置におけるメモリに格納されている、登録原稿画像毎の、登録原稿画像の特徴点のインデックスｆと座標値との対応付けを示すテーブルの説明図である。 特徴量（ハッシュ値）が一致する登録原稿画像の特徴点と入力原稿画像の特徴点とに基づいて、登録原稿画像と入力原稿画像との位置合わせを行う動作の説明図である。 図１５に示した登録原稿画像と入力原稿画像との位置合わせの結果得られる登録原稿画像の特徴点の座標と入力原稿画像の特徴点の座標との対応関係を示す説明図である。 登録原稿画像が２ｉｎ１の入力原稿画像の一方の原稿画像に類似していた場合に、特徴量（ハッシュ値）が一致する特徴点の位置関係より求めた変換係数を用いて、登録原稿画像の４隅の座標を入力原稿画像上の座標に変換したイメージを示す説明図である。 図１８（ａ）〜図１８（ｄ）共に、２ｉｎ１の入力原稿画像の一方の原稿画像に類似している登録原稿画像を、特徴量（ハッシュ値）が一致する特徴点の位置関係より求めた変換係数を用いて、入力原稿画像上の座標に変換した場合の、位置ズレのイメージを示す説明図である。 登録原稿画像が４ｉｎ１の入力原稿画像の一方の原稿画像に類似していた場合に、特徴量（ハッシュ値）が一致する特徴点の位置関係より求めた変換係数を用いて、登録原稿画像の４隅の座標を入力原稿画像上の座標に変換したイメージを示す説明図である。 図２０（ａ）、図２０（ｂ）共に、入力原稿画像が割付原稿のものであり、割り付けられている複数の原稿画像のうちの１つが登録原稿画像に類似する場合の出力処理（複写）例を示す説明図である。 図１に示した画像照合装置の登録モード、照合モードの動作を示すフローチャートである。 図１の画像照合装置を備えた画像データ出力処理装置であるデジタルカラー複合機の構成を示すブロック図である。 図１の画像照合装置を備えた画像データ出力処理装置であるカラー画像読取装置の構成を示すブロック図である。 従来の課題を示す説明図であり、入力原稿画像が割付原稿のものであり、割り付けられている複数の原稿画像の１つが登録原稿画像に類似する場合の出力処理（複写）例を示す説明図である。

符号の説明

１ 制御部
２ 文書照合処理部
３ メモリ（記憶手段）
１１ 特徴点算出部
１２ 特徴量算出部
１３ 投票処理部
１４ 文書類似度判定処理部
１５ 登録処理部
１６ 原稿判別処理部（原稿判別部）
１０１ 画像照合装置
１０２ デジタルカラー複写機（画像データ出力処理装置）
１０３ デジタルカラー複合機（画像データ出力処理装置）
１０４ カラー画像読取装置（画像データ出力処理装置）
１１２ カラー画像処理装置
１１６ カラー画像処理装置
１１７ カラー画像処理装置
１２３ 文書照合処理部
１２６ 編集処理部（出力処理制御部）

Claims (8)

1. 入力された入力原稿の画像データより当該入力原稿画像の特徴点を算出する特徴点算出部と、上記特徴点算出部にて算出された特徴点同士の相対位置に基づいて、上記入力原稿画像の特徴量を算出する特徴量算出部と、上記特徴量算出部にて算出された上記入力原稿画像の特徴量と登録原稿画像の特徴量とを比較して、上記入力原稿画像が登録原稿画像に類似しているか否かの判定を行う類似性判定部とを備えた画像照合装置において、
   上記類似性判定部にて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像上における上記登録原稿画像の位置を特定し、該位置の情報を用いて、上記入力原稿画像が割付原稿のものであるか否かを判定する原稿判定部を備えており、
   上記原稿判定部は、上記類似性判定部にて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像の特徴点と上記登録原稿画像の特徴点との位置関係を表す係数を算出する係数算出部と、
   上記係数算出部にて算出された係数を用いて上記登録原稿画像の基準点の座標を上記入力原稿画像の座標に変換し、変換された基準点の値が予め定められた条件を充たす場合に、上記入力原稿画像が割付原稿のものであると判定する割付判定部とを備えることを特徴とする画像照合装置。
2. 入力された入力原稿の画像データより当該入力原稿画像の特徴点を算出する特徴点算出部と、上記特徴点算出部にて算出された特徴点同士の相対位置に基づいて、上記入力原稿画像の特徴量を算出する特徴量算出部と、上記特徴量算出部にて算出された上記入力原稿画像の特徴量と登録原稿画像の特徴量とを比較して、上記入力原稿画像が登録原稿画像に類似しているか否かの判定を行う類似性判定部とを備えた画像照合装置において、
   上記類似性判定部にて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像上における上記登録原稿画像の位置を特定し、該位置の情報を用いて、上記入力原稿画像が割付原稿のものであるか否かを判定する原稿判定部を備えており、
   上記原稿判定部は、上記類似性判定部にて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像の特徴点と上記登録原稿画像の特徴点との位置関係を表す係数を算出する係数算出部と、
   上記係数算出部にて算出された係数を用いて上記登録原稿画像の基準点の座標を上記入力原稿画像の座標に変換し、変換された基準点の値が予め定められた条件を充たし、かつ、上記登録原稿画像における、上記基準点の座標より求められる画像領域の大きさと、上記入力原稿画像上の座標に変換された上記基準点の値より求められる、上記入力原稿画像における上記登録原稿画像に類似する部分の画像領域の大きさとを比較した結果が予め定められた条件を充たす場合に、上記入力原稿画像が割付原稿のものであると判定する割付判定部とを備えることを特徴とする画像照合装置。
3. 上記登録原稿画像の基準点が、当該登録原稿画像の４隅の各点であることを特徴とする請求項１又は２に記載の画像照合装置。
4. 入力された入力原稿の画像データに対して出力処理を施す画像データ出力処理装置であって、
   請求項１〜３項の何れか１項に記載の画像照合装置を備え、
   上記画像照合装置の判定結果に基づいて、上記入力原稿の画像データに対する出力処理を制御する出力処理制御部を備え、
   上記出力処理制御部は、入力原稿画像が割付原稿のものである場合、割り付けられている個々の原稿画像に応じた制御を行うことを特徴とする画像データ出力処理装置。
5. 入力された入力原稿の画像データより当該入力原稿画像の特徴点を算出する特徴点算出ステップと、上記特徴点算出ステップにて算出された特徴点同士の相対位置に基づいて、上記入力原稿画像の特徴量を算出する特徴量算出ステップと、上記特徴量算出ステップにて算出された上記入力原稿画像の特徴量と登録原稿画像の特徴量とを比較して、上記入力原稿画像が登録原稿画像に類似しているか否かの判定を行う類似性判定ステップとを含む画像照合方法において、
   上記類似性判定ステップにて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像上における上記登録原稿画像の位置を特定し、該位置の情報を用いて、上記入力原稿画像が割付原稿のものであるか否かを判定する原稿判定ステップを備えており、
   上記原稿判定ステップは、上記類似性判定ステップにて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像の特徴点と上記登録原稿画像の特徴点との位置関係を表す係数を算出する係数算出ステップと、
   上記係数算出ステップにて算出された係数を用いて上記登録原稿画像の基準点の座標を上記入力原稿画像の座標に変換し、変換された基準点の値が予め定められた条件を充たす場合に、上記入力原稿画像が割付原稿のものであると判定する割付判定ステップとを含むことを特徴とする画像照合方法。
6. 入力された入力原稿の画像データより当該入力原稿画像の特徴点を算出する特徴点算出ステップと、上記特徴点算出ステップにて算出された特徴点同士の相対位置に基づいて、上記入力原稿画像の特徴量を算出する特徴量算出ステップと、上記特徴量算出ステップにて算出された上記入力原稿画像の特徴量と登録原稿画像の特徴量とを比較して、上記入力原稿画像が登録原稿画像に類似しているか否かの判定を行う類似性判定ステップとを含む画像照合方法において、
   上記類似性判定ステップにて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像上における上記登録原稿画像の位置を特定し、該位置の情報を用いて、上記入力原稿画像が割付原稿のものであるか否かを判定する原稿判定ステップを備えており、
   上記原稿判定ステップは、上記類似性判定ステップにて類似していると判定されると、特徴量が一致する上記入力原稿画像の特徴点と上記登録原稿画像の特徴点の各々の座標位置に基づいて、上記入力原稿画像の特徴点と上記登録原稿画像の特徴点との位置関係を表す係数を算出する係数算出ステップと、
   上記係数算出ステップにて算出された係数を用いて上記登録原稿画像の基準点の座標を上記入力原稿画像の座標に変換し、変換された基準点の値が予め定められた条件を充たし、かつ、上記登録原稿画像における、上記基準点の座標より求められる画像領域の大きさと、上記入力原稿画像上の座標に変換された上記基準点の値より求められる、上記入力原稿画像における上記登録原稿画像に類似する部分の画像領域の大きさとを比較した結果が予め定められた条件を充たす場合に、上記入力原稿画像が割付原稿のものであると判定する割付判定ステップとを含むことを特徴とする画像照合方法。
7. 請求項１〜３の何れか１項に記載の画像照合装置の上記の各部としてコンピュータを機能させるためのプログラム。
8. 請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images