JP4362538B2 - 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 - Google Patents

Description

本発明は、画像データの特徴量を抽出する特徴量算出部を備えた画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像データの特徴量を抽出する画像処理方法、画像処理プログラムおよびその記録媒体に関するものである。

従来より、スキャナで原稿画像を読み取って得られた入力画像データと事前に登録されている登録画像とを比較して両者の類似度を判定する技術が種々提案されている。

類似度の判定方法としては、例えば、文字画像からＯＣＲ（Optical Character Reader）などでキーワードを抽出してマッチングを行う方法や、画像に含まれる罫線の特徴を抽出してマッチングを行う方法などが提案されている。

また、特許文献１には、入力画像から文字、文字列枠、枠などを認識し、枠情報に基づいて枠ごとのマッチングを行うことによって帳票画像などのフォーマット認識を行う技術が開示されている。

また、特許文献２には、英文文書における単語の重心、黒画素の連結成分の重心、漢字の閉鎖空間、画像中に繰り返し現れる特定部位などを特徴点として抽出し、抽出された各特徴点に対して局所的な特徴点の集合を決定し、決定された各集合から特徴点の部分集合を選択し、選択された各部分集合を特徴付ける量として部分集合中における特徴点の複数の組み合わせについて幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を特徴量とし、このように求めた特徴量に基づいて文書照合を行う技術が開示されている。
特開平８−２５５２３６号公報（公開日：１９９６年１０月１日） 国際公開第ＷＯ２００６／０９２９５７Ａ１号パンフレット（公開日：２００６年９月８日） 特開平４−２８２９６８号公報（公開日：平成４年１０月８日公開）

しかしながら、上記特許文献１，２の技術では、入力画像データが縮小，拡大等の処理を施されたデータである場合に、特徴点を精度よく抽出できないという問題がある。

例えば、特許文献１の技術では、拡大，縮小等の影響によって文字、文字列枠、枠などの認識結果が変動するので、フォーマット認識を精度よく行うことができない。

また、特許文献２の技術では、拡大，縮小等の影響によって英文文書における単語の重心、黒画素の連結成分の重心、漢字の閉鎖空間、画像中に繰り返し現れる特定部位などの抽出結果が変動するため、文書照合結果の精度が低下してしまう。

なお、手書き文字が含まれる画像（例えば所定のフォントで印刷された文書に対して手書きによる書き込みが成された画像など）から特徴点を抽出する場合、手書き文字は画像処理装置に登録されているフォントの形状に対する相違度が高く、もともと誤判定が生じやすい性質を有していることに加えて、上記特許文献１，２の技術では上記拡大，縮小等によって判定精度が低下するので、特に誤判定が生じやすくなる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、拡大，縮小等の処理が施された画像データから当該画像データを適切に特定することのできる特徴点を抽出することにある。

本発明の画像処理装置は、上記の課題を解決するために、入力画像データに含まれる特徴点を検出する特徴点検出部と、上記特徴点検出部が検出した特徴点同士の相対位置に基づいて上記入力画像データの特徴量を算出する特徴量算出部とを備えた画像処理装置であって、上記特徴点検出部は、上記入力画像データから注目画素を含む複数の画素からなる部分画像を抽出する部分画像抽出部と、上記部分画像の少なくとも一部を当該部分画像における他の一部と置換させた自己置換画像を生成する置換画像生成部と、上記部分画像に含まれる画像パターンと上記自己置換画像に含まれる画像パターンとが一致するか否かを判定する一致度判定部と、上記一致度判定部が一致すると判定した部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを上記特徴点として検出する検出部とを備えていることを特徴としている。

上記の構成によれば、部分画像抽出部が入力画像データから注目画素を含む複数の画素からなる部分画像を抽出し、置換画像生成部が部分画像の少なくとも一部を当該部分画像における他の一部と置換させた自己置換画像を生成し、一致度判定部が部分画像に含まれる画像パターンと自己置換画像に含まれる画像パターンとが一致するか否かを判定する。そして、検出部が、一致度判定部によって一致すると判定された部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを特徴点として検出する。

これにより、入力画像データが、拡大，縮小等の処理が施された画像データである場合であっても、上記拡大，縮小等の影響を受けない画像パターンあるいは上記拡大，縮小等の影響が小さい画像パターンを含む部分画像に対応する注目画素あるいはこの注目画素を含むブロックを特徴点として検出することができる。したがって、上記特徴点同士の相対位置に基づいて入力画像データの特徴量を算出することにより、上記拡大，縮小等に関わらず入力画像データを精度よく特定することのできる特徴量を算出できる。

また、上記置換画像生成部は、上記自己置換画像として、上記部分画像の各画素の画素値をこの部分画像を通る直線に対して線対称な画素の画素値に置換した鏡像置換画像、または上記部分画像の各画素の画素値をこの部分画像に含まれる点に対して点対称な画素の画素値に置換した点対称置換画像を生成する構成としてもよい。

上記の構成によれば、入力画像データに対する拡大，縮小等の影響を受けない画像パターンあるいは上記拡大，縮小等の影響が小さい画像パターンを含む部分画像に対応する注目画素あるいはこの注目画素を含むブロックを特徴点として検出することができる。

また、登録画像の特徴量を記憶した記憶部および通信可能に接続された外部装置から登録画像の特徴量を取得する登録画像取得部のうちの少なくとも一方と、上記特徴量算出部が算出した入力画像データの特徴量と登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出部とを備えている構成としてもよい。

上記の構成によれば、登録画像に拡大，縮小等の処理が施されている場合であっても、入力画像と登録画像との類似度を精度よく算出することができる。

また、画像データの特徴量と画像データを識別するための識別情報とを記憶する記憶部と、上記特徴量算出部が上記入力画像データから算出した特徴量と、上記入力画像データを識別するための識別情報とを対応付けて上記記憶部に記憶させる登録処理部とを備えている構成としてもよい。

上記の構成によれば、入力画像データが拡大，縮小等の処理が施された画像データである場合であっても、入力画像データを精度よく特定することのできる特徴量を算出し、この特徴量と上記入力画像データとを記憶部に記憶させておくことができる。

また、上記部分画像に画像パターンが含まれているか否かを判定するパターン検知処理部を備え、上記置換画像生成部は、上記パターン検知処理部において画像パターンが含まれていると判定された部分画像について上記自己置換画像を生成する構成としてもよい。

上記の構成によれば、パターン検知処理部が各部分画像に画像パターンが含まれているか否かを判定し、置換画像生成部は画像パターンが含まれていると判定された部分画像について自己置換画像を生成する。これにより、画像パターンが含まれていない部分画像については自己置換画像の生成処理および一致度判定処理を省略することができるので、処理の簡略化を図ることができる。

また、上記置換画像生成部は、各部分画像について複数種類の自己置換画像を生成し、上記一致度判定部は、上記部分画像とこの部分画像から得られる各自己置換画像とが一致するか否かをそれぞれ判定し、上記検出部は、上記部分画像が少なくとも１つの自己置換画像と一致する場合に、この部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを上記特徴点として検出する構成としてもよい。

上記の構成によれば、各部分画像について自己置換画像を１種類のみ生成する場合に比べて、より多くの特徴点を抽出することができる。また、少なくとも部分画像の抽出処理および一致度判定処理については各自己置換画像について共通のアルゴリズムあるいは処理回路で処理することができるので、アルゴリズムの複雑化や処理回路の回路規模の増大を伴うことなく、より多くの特徴点を抽出することができる。

また、上記部分画像抽出部は、部分画像の抽出対象領域のサイズを異ならせることにより、複数種類の部分画像を抽出する構成としてもよい。

部分画像の抽出対象領域のサイズが異なれば、部分画像の抽出結果も異なる。したがって、上記の構成によれば、部分画像の抽出対象領域のサイズが異なる複数種類の部分画像を抽出することで、抽出される特徴点の数を増加させることができる。これにより、より多くの特徴点に基づいて入力画像と登録画像との類似性を判定するこので、類似性判定の精度をさらに高めることができる。

また、上記部分画像抽出部は、部分画像の抽出対象領域のサイズを第１サイズに設定して部分画像の抽出を行う第１抽出処理と、部分画像の抽出対象領域のサイズを上記第１サイズよりも大きい第２サイズに設定して部分画像の抽出を行う第２処理とを行い、上記第２処理を行う際、注目画素を中心とする第２サイズの抽出対象領域からこの注目画素を中心とする第１サイズの抽出対象領域を除外して部分画像の抽出を行う構成としてもよい。

上記の構成によれば、抽出される特徴点の数をさらに増やすことができ、類似性判定の精度をさらに高めることができる。

また、上記部分画像抽出部は、入力画像データにおける複数の色成分について色成分毎に部分画像の抽出を行う構成としてもよい。

同じ入力画像データであっても異なる色成分に着目すれば部分画像の抽出結果も異なる。したがって、上記の構成によれば、複数の色成分について色成分毎に部分画像の抽出を行うことで、抽出される特徴点の数を増加させることができる。これにより、より多くの特徴点に基づいて入力画像と登録画像との類似性を判定するこので、類似性判定の精度をさらに高めることができる。

また、上記入力画像データに含まれる原稿画像の傾き角度を検出する傾き検知部と、上記傾き検知部の検出した傾き角度に基づいて上記原稿画像の傾きを補正する傾き補正部とを備え、上記傾き補正後の入力画像データを上記部分画像抽出部に入力する構成としてもよい。

上記の構成によれば、入力画像データに含まれる原稿画像が傾斜している場合（例えば画像読取装置の読取位置における所定の配置角度に対して傾斜して配置された状態で読み取られた画像データである場合など）であっても、この傾斜を補正することができる。したがって、上記傾斜の影響を受けずに特徴点を検出することができる。したがって、上記特徴点同士の相対位置に基づいて入力画像データの特徴量を算出することにより、上記傾斜に関わらず入力画像データを精度よく特定することのできる特徴量を算出できる。

また、入力画像データに対して平滑化処理を施す平滑化処理部を備え、上記特徴点検出部は、上記平滑化処理が施された入力画像データに基づいて上記特徴点を検出する構成としてもよい。

上記の構成によれば、平滑化処理が施された入力画像データに基づいて特徴点を検出することにより、網点やノイズ成分の影響によって不適切な特徴量が抽出されることを防止できる。

本発明の画像形成装置は、上記したいずれかの画像処理装置と、入力画像データに応じた画像を記録材上に形成する画像出力部とを備えている。また、本発明の画像送信装置は、上記したいずれかの画像処理装置と、入力画像データを通信可能に接続された他の装置に送信する送信装置とを備えている。また、本発明の画像読取装置は、原稿画像を読み取って入力画像データを取得する画像入力装置と、上記したいずれかの画像処理装置とを備えている。

上記の画像形成装置、画像送信装置、画像読取装置によれば、入力画像データが拡大，縮小等の処理が施された画像データである場合であっても、上記拡大，縮小等に関わらず入力画像データを精度よく特定することのできる特徴量を算出できる。

本発明の画像処理システムは、上記の課題を解決するために、画像処理装置と、この画像処理装置に対して通信可能に接続されたサーバー装置とを備え、入力画像データに含まれる特徴点を検出する特徴点検出部と、上記特徴点検出部が検出した特徴点同士の相対位置に基づいて上記入力画像データの特徴量を算出する特徴量算出部とが上記画像処理装置または上記サーバー装置に備えられるか、あるいは上記画像処理装置と上記サーバー装置とに分散して備えられている画像処理システムであって、上記特徴点検出部は、上記入力画像データから注目画素を含む複数の画素からなる部分画像を抽出する部分画像抽出部と、上記部分画像の少なくとも一部を当該部分画像における他の一部と置換させた自己置換画像を生成する置換画像生成部と、上記部分画像に含まれる画像パターンと上記自己置換画像に含まれる画像パターンとが一致するか否かを判定する一致度判定部と、上記一致度判定部が一致すると判定した部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを上記特徴点として検出する検出部とを備えていることを特徴としている。

上記の構成によれば、部分画像抽出部が入力画像データから注目画素を含む複数の画素からなる部分画像を抽出し、置換画像生成部が部分画像の少なくとも一部を当該部分画像における他の一部と置換させた自己置換画像を生成し、一致度判定部が部分画像に含まれる画像パターンと自己置換画像に含まれる画像パターンとが一致するか否かを判定する。そして、検出部が、一致度判定部によって一致すると判定された部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを特徴点として検出する。

これにより、入力画像データが、拡大，縮小等の処理が施された画像データである場合であっても、上記拡大，縮小等の影響を受けない画像パターンあるいは上記拡大，縮小等の影響が小さい画像パターンを含む部分画像に対応する注目画素あるいはこの注目画素を含むブロックを特徴点として検出することができる。したがって、上記特徴点同士の相対位置に基づいて入力画像データの特徴量を算出することにより、上記拡大，縮小等に関わらず入力画像データを精度よく特定することのできる特徴量を算出できる。

本発明の画像処理方法は、上記の課題を解決するために、入力画像データに含まれる特徴点を検出する特徴点検出工程と、上記特徴点検出工程で検出した特徴点同士の相対位置に基づいて上記入力画像データの特徴量を算出する特徴量算出工程とを含む画像処理方法であって、上記特徴点検出工程は、上記入力画像データから注目画素を含む複数の画素からなる部分画像を抽出する部分画像抽出工程と、上記部分画像の少なくとも一部を当該部分画像における他の一部と置換させた自己置換画像を生成する置換画像生成工程と、上記部分画像に含まれる画像パターンと上記自己置換画像に含まれる画像パターンとが一致するか否かを判定する一致度判定工程と、上記一致度判定工程において一致すると判定された部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを上記特徴点として検出する検出工程とを含むことを特徴としている。

上記の方法によれば、部分画像抽出工程で入力画像データから注目画素を含む複数の画素からなる部分画像を抽出し、置換画像生成部で部分画像の少なくとも一部を当該部分画像における他の一部と置換させた自己置換画像を生成し、一致度判定部で部分画像に含まれる画像パターンと自己置換画像に含まれる画像パターンとが一致するか否かを判定する。そして、検出工程において、一致度判定工程で一致すると判定された部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを特徴点として検出する。

これにより、入力画像データが、拡大，縮小等の処理が施された画像データである場合であっても、上記拡大，縮小等の影響を受けない画像パターンあるいは上記拡大，縮小等の影響が小さい画像パターンを含む部分画像に対応する注目画素あるいはこの注目画素を含むブロックを特徴点として検出することができる。したがって、上記特徴点同士の相対位置に基づいて入力画像データの特徴量を算出することにより、上記拡大，縮小等に関わらず入力画像データを精度よく特定することのできる特徴量を算出できる。

なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

以上のように、本発明の画像処理装置および画像処理システムは、上記入力画像データから注目画素を含む複数の画素からなる部分画像を抽出する部分画像抽出部と、上記部分画像の少なくとも一部を当該部分画像における他の一部と置換させた自己置換画像を生成する置換画像生成部と、上記部分画像に含まれる画像パターンと上記自己置換画像に含まれる画像パターンとが一致するか否かを判定する一致度判定部と、上記一致度判定部が一致すると判定した部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを上記特徴点として検出する検出部とを備えている。

また、本発明の画像処理方法は、上記入力画像データから注目画素を含む複数の画素からなる部分画像を抽出する部分画像抽出工程と、上記部分画像の少なくとも一部を当該部分画像における他の一部と置換させた自己置換画像を生成する置換画像生成工程と、上記部分画像に含まれる画像パターンと上記自己置換画像に含まれる画像パターンとが一致するか否かを判定する一致度判定工程と、上記一致度判定工程において一致すると判定された部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを上記特徴点として検出する検出工程とを含んでいる。

それゆえ、本発明の画像処理装置、画像処理システム、および画像処理方法によれば、入力画像データが拡大，縮小等の処理が施された画像データである場合であっても、上記拡大，縮小等の影響を受けない画像パターンあるいは上記拡大，縮小等の影響が小さい画像パターンを含む部分画像に対応する注目画素あるいはこの注目画素を含むブロックを特徴点として検出することができる。したがって、上記特徴点同士の相対位置に基づいて入力画像データの特徴量を算出することにより、上記拡大，縮小等に関わらず入力画像データを精度よく特定することのできる特徴量を算出できる。

〔実施形態１〕
本発明の一実施形態について説明する。なお、本実施形態では、本発明をデジタルカラー複合機（ＭＦＰ：Multi-Function Printer）に適用する場合の一例について説明する。

（１−１． デジタルカラー複合機１の構成）
図２は、本実施形態にかかるデジタルカラー複合機（画像処理装置、画像形成装置、画像読取装置）１の概略構成を示すブロック図である。このデジタルカラー複合機１は、コピー機能、プリンタ機能、ファクシミリ送信機能、スキャナ機能、scan to e-mail機能等を有している。

図２に示すように、デジタルカラー複合機１は、カラー画像入力装置２、カラー画像処理装置３、カラー画像出力装置４、通信装置５、操作パネル６を備えている。

カラー画像入力装置（画像読取装置）２は、例えばＣＣＤ（Charge Coupled Device ）などの光学情報を電気信号に変換するデバイスを備えたスキャナ部（図示せず）より構成され、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号としてカラー画像処理装置３に出力する。

カラー画像処理装置３は、Ａ／Ｄ変換部１１、シェーディング補正部１２、文書照合処理部１３、入力階調補正部１４、領域分離処理部１５、色補正部１６、黒生成下色除去部１７、空間フィルタ処理部１８、出力階調補正部１９、および階調再現処理部２０を備えている。カラー画像入力装置２からカラー画像処理装置３に出力されたアナログ信号は、カラー画像処理装置３内を、Ａ／Ｄ変換部１１、シェーディング補正部１２、文書照合処理部１３、入力階調補正部１４、領域分離処理部１５、色補正部１６、黒生成下色除去部１７、空間フィルタ処理部１８、出力階調補正部１９、階調再現処理部２０の順で送られ、ＣＭＹＫのデジタルカラー信号としてカラー画像出力装置４に出力される。

Ａ／Ｄ（アナログ／デジタル）変換部１１は、ＲＧＢのアナログ信号をデジタル信号に変換するものである。

シェーディング補正部１２は、Ａ／Ｄ変換部１１より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置２の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。また、シェーディング補正部１２は、カラーバランスの調整、および濃度信号などカラー画像処理装置３に採用されている画像処理システムの扱い易い信号に変換する処理を施す。

文書照合処理部１３は、入力された画像データから特徴点を抽出し、抽出した特徴点に基づいて特徴量を算出する。また、文書照合処理部１３は、上記のように算出した特徴量を画像データと対応付けて後述するハッシュテーブルに記憶（登録）させる。また、文書照合処理部１３は、入力画像データから上記のように算出した特徴量をハッシュテーブルに記憶されている登録画像の特徴量と比較することで入力画像と登録画像との類似性を判定する。また、文書照合処理部１３は入力されたＲＧＢ信号をそのまま後段の入力階調補正部１４へ出力する。なお、文書照合処理部１３の詳細については後述する。

入力階調補正部１４は、シェーディング補正部にて各種の歪みが取り除かれたＲＧＢ信号に対して、下地色（下地色の濃度成分：下地濃度）の除去やコントラストなどの画質調整処理を施す。

領域分離処理部１５は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域のいずれかに分離するものである。領域分離処理部１５は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、色補正部１６、黒生成下色除去部１７、空間フィルタ処理部１８、および階調再現処理部２０へと出力するとともに、入力階調補正部１４より出力された入力信号をそのまま後段の色補正部１６に出力する。

色補正部１６は、色再現の忠実化実現のために、不要吸収成分を含むＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）色材の分光特性に基づいた色濁りを取り除く処理を行うものである。

黒生成下色除去部１７は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行うものである。これにより、ＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

空間フィルタ処理部１８は、黒生成下色除去部１７より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部２０も、空間フィルタ処理部１８と同様、ＣＭＹＫ信号の画像データに対して領域識別信号を基に所定の処理を施すものである。

例えば、領域分離処理部１５にて文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理部１８による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部２０においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。

また、領域分離処理部１５にて網点領域に分離された領域に関しては、空間フィルタ処理部１８において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部１９では、濃度信号などの信号をカラー画像出力装置４の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部２０で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理（中間調生成）が施される。領域分離処理部１５にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。

上述した各処理が施された画像データは、いったん記憶装置（図示せず）に記憶され、所定のタイミングで読み出されてカラー画像出力装置４に入力される。

カラー画像出力装置４は、カラー画像処理装置３から入力された画像データを記録材（例えば紙等）上に出力するものである。カラー画像出力装置４の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置を用いることができる。

通信装置５は、例えばモデムやネットワークカードより構成される。通信装置５は、ネットワークカード、ＬＡＮケーブル等を介して、ネットワークに接続された他の装置（例えば、パーソナルコンピュータ、サーバー装置、他のデジタル複合機、ファクシミリ装置等）とデータ通信を行う。

なお、通信装置５は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。

また、通信装置５は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信してカラー画像処理装置３に入力する。受信した画像データは、カラー画像処理装置３で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、カラー画像出力装置４によって出力される。なお、受信した画像データを記憶装置（図示せず）に保存し、カラー画像処理装置３が必要に応じて読み出して上記所定の処理を施すようにしてもよい。

操作パネル６は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され（いずれも図示せず）、デジタルカラー複合機１の主制御部（図示せず）の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル６を介して入力画像データに対する処理要求（例えば処理モード（複写、印刷、送信、編集など）、処理枚数（複写枚数、印刷枚数）、入力画像データの送信先など）を入力することができる。上記主制御部は、例えばＣＰＵ（Central Processing Unit）等からなり、図示しないＲＯＭ等に格納されたプログラムや各種データ、操作パネル６から入力される情報等に基づいて、デジタルカラー複合機１の各部の動作を制御する。

（１−２． 文書照合処理部１３の構成）
次に、文書照合処理部１３の詳細について説明する。本実施形態にかかる文書照合処理部１３は、入力画像データから複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定し、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点に関する複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を組み合わせてハッシュ値（特徴量）を算出する。また、計算したハッシュ値に対応する登録画像に投票することにより、入力画像データに類似する登録画像の検索、当該登録画像に対する類似性の判定処理（類似あり／類似なしの判定）を行う。また、計算したハッシュ値と、このハッシュ値を抽出した画像とを対応付けてハッシュテーブルに記憶（登録）させる処理を行うこともできる。

図１は、文書照合処理部１３の概略構成を示すブロック図である。この図に示すように、文書照合処理部１３は、前処理部３０、特徴点算出部（特徴点検出部）３１、特徴量算出部３２、投票処理部３３、類似度判定処理部３４、登録処理部３７、制御部７、メモリ８を備えている。

制御部７は、文書照合処理部１３の各部の動作を制御する。なお、制御部７は、デジタルカラー複合機１の各部の動作を制御するための主制御部に備えられていてもよく、主制御部とは別に備えられ、主制御部と協働して文書照合処理部１３の動作を制御するものであってもよい。

メモリ８には、登録画像を特定するためのインデックスと、登録画像から抽出した特徴量とを互いに対応付けて記憶するハッシュテーブル１０３が備えられている。また、メモリ８には、ハッシュテーブル１０３の他、文書照合処理部１３の各部の処理に用いられる各種データ、処理結果等を記憶する記憶部（図示せず）を備えている。なお、ハッシュテーブル１０３の詳細については後述する。

図３は、前処理部３０の概略構成を示すブロック図である。この図に示すように、前処理部３０は、傾き検知部４１、傾き補正処理部４２、信号変換処理部（無彩化処理部）４３、解像度変換部４４、ＭＴＦ処理部４５を備えている。

傾き検知部４１は、入力画像の傾き（入力画像データの縦方向・横方向に対する、この入力画像データ中の原稿画像の縦方向・横方向の傾き）を検知する処理を行う。傾きの検知方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。

例えば、図４に示すように、入力画像データにおけるｘ方向の中心（スキャナで読み取られる領域におけるｘ方向の中心）からｘ方向両側にｗ／２だけ離れた２点で原稿の端部（エッジ）ｅ１，ｅ２、および入力画像データの端部Ｅ１，Ｅ２を検出する。そして、原稿の端部ｅ１から入力画像データのＥ１までのｙ方向に沿った距離ｄ１、原稿の端部ｅ２から入力画像データのＥ２までのｙ方向に沿った距離ｄ２、および原稿の端部ｅ１からｅ２までのｘ方向に沿った距離ｗとに基づいてｔａｎθ＝（ｄ２−ｄ１）／ｗを算出し、傾き角度θを算出する。傾き角度θの算出方法は特に限定されるものではないが、例えば図５に示すような正接−角度テーブルを用いることによって容易に算出できる。

なお、原稿のエッジを抽出する方法としては、例えば、図４に示すようにエッジ計測ウィンド内の輝度値を投影して求める方法を用いることができる。具体的には、図６に示すように、所定の大きさ（ここではｘ方向２０画素×ｙ方向１５０画素）のエッジ計測ウィンド内の入力画像データに対してエッジ強調フィルタ処理（エッジ強調処理）を施してエッジ強調画像を得る。図７はエッジ検知用フィルタの一例である。そして、エッジ強調画像に対して、縦方向（ｙ方向）のエッジを検出するために、横方向（ｘ方向）の画素値の合計を求める投影処理を行い、縦方向のピークをとる位置（例えば最小値）を求める。投影処理（ウィンド内におけるｘ方向に並ぶ各画像の輝度値を合計する処理）を行うのは、ノイズの影響を抑えるためである。図８は投影結果を示すグラフである。

傾き補正処理部４２は、傾き検知部４１の検出した傾き角度θに基づいて入力画像データにおける原稿の傾きを補正する。傾き補正処理の方法は特に限定されるものではないが、例えば回転行列を用いたアフィン変換処理などを用いることができる。

一般に、座標（ｘ，ｙ）をθ回転させた座標（ｘ’，ｙ’）は、下記の式（１）に示す回転行列式で表すことができる。

画像の画素値として出力する場合には、整数値（ｘ’，ｙ’）に対応する小数値（ｘｓ，ｙｓ）を算出し、これをバイリニア等で補間演算すればよい。小数値（ｘｓ，ｙｓ）は、上記の回転行列式の逆変換式である下記の式（２）に示す行列式によって算出される。

ｘ−ｙ座標系において、（ｘｓ，ｙｓ）を取り囲む４点の画素の座標は、図９に示すように、（ｘ_ｉ，ｙ_ｊ）、（ｘ_ｉ＋１，ｙ_ｊ）、（ｘ_ｉ，ｙ_ｊ＋１）、（ｘ_ｉ＋１，ｙ_ｊ＋１）で表される（ｉ，ｊは１以上の整数）。ここで、ｘ_ｉ≦ｘｓ＜ｘ_ｉ＋１、ｙ_ｊ≦ｙｓ＜ｙ_ｊ＋１である。そして、上記４つの画素の値をそれぞれ（ｘ_ｉ，ｙ_ｊ）：Ｚ_１、（ｘ_ｉ＋１，ｙ_ｊ）：Ｚ_２、（ｘ_ｉ，ｙ_ｊ＋１）：Ｚ_３、（ｘ_ｉ＋１，ｙ_ｊ＋１）：Ｚ_４とし、ｘ_ｉとｘｓとのｘ方向についての距離と、ｘｓとｘ_ｉ＋１とのｘ方向についての距離との比をｕ：１−ｕ、ｙ_ｊとｙｓとのｙ方向についての距離と、ｙｓとｙ_ｊ＋１とのｙ方向についての距離との比をｖ：１−ｖとすると、バイリニアによる補間後の座標値Ｚは、Ｚ_{（ｘ’，ｙ’）}＝Ｚ_{（ｘｓ，ｙｓ）}＝（１−ｖ）｛（１−ｕ）Ｚ_１＋ｕ・Ｚ_２｝＋ｖ｛（１−ｕ）Ｚ_３＋ｕ・Ｚ_４｝で表される。なお、三角比の演算方法については特に限定されるものではないが、例えば上述した図５の例と同様、テーブルを用いて行ってもよい。

信号変換処理部４３は、シェーディング補正部１２から入力された画像データ（ＲＧＢ信号）がカラー画像であった場合にこの画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。

例えば、信号変換処理部４３は、下記式によりＲＧＢ信号を輝度信号Ｙに変換する。

Ｙｉ＝０．３０Ｒｉ＋０．５９Ｇｉ＋０．１１Ｂｉ
ここで、Ｙは各画素の輝度信号であり、Ｒ，Ｇ，Ｂは各画素のＲＧＢ信号における各色成分であり、添え字のｉは画素毎に付与された値（ｉは１以上の整数）である。

あるいは、ＲＧＢ信号をＣＩＥ１９７６Ｌ^*ａ^*ｂ^*信号（ＣＩＥ:Commission International de l'Eclairage、Ｌ^*：明度、a^*,ｂ^*:色度）に変換してもよい。

解像度変換部４４は、入力画像データを変倍処理する。例えば、解像度変換部４４は、入力画像データがカラー画像入力装置２で光学的に変倍されている場合に、所定の解像度になるように入力画像データを再度変倍する。また、解像度変換部４４が、後段の各処理部における処理量を軽減するために、カラー画像入力装置２で等倍時に読み込まれる解像度よりも解像度を落とすための解像度変換を行うようにしてもよい（例えば、６００ｄｐｉ（dot per inch）で読み込まれた画像データを３００ｄｐｉに変換するなど）。

ＭＴＦ（modulation transfer function）処理部４５は、カラー画像入力装置２の空間周波数特性が機種ごとに異なることを吸収（調整）するために用いられる。ＣＣＤの出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び操作むら等に起因しＭＴＦの劣化が生じている。このＭＴＦの劣化により、読み込まれた画像がぼやけたものとなっている。ＭＴＦ処理部４５は、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理を行う。また、後述する特徴点抽出処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタ（図示せず）を用いて強調および平滑化処理を行う。なお、図１０は、この混合フィルタにおけるフィルタ係数の一例を示している。

なお、前処理部３０の構成は上記した構成に限るものではなく、例えば、上記各処理に加えて、あるいは上記各処理の一部または全部に代えて、エッジ部分を抽出する微分処理や、アンシャープマスクを用いたノイズ軽減処理、取り扱うデータ量を減らすための２値化処理などを行ってもよい。

図１１は、特徴点算出部３１の概略構成を示すブロック図である。この図に示すように、特徴点算出部３１は、パターン検知処理部４６、置換画像生成部４７、一致度算出部４８、一致度判定部４９を備えている。

パターン検知処理部４６は、入力画像から注目画素を中心とするＬ×Ｍ画素（Ｌ，Ｍは１以上の整数。Ｌ＝Ｍであってもよく、Ｌ≠Ｍであってもよい。）の部分画像を抽出し、部分画像中に有効なパターンが存在するか否かを判定するパターン検知処理を行う。また、パターン検知処理部４６は、注目画素を１画素毎に順次ラスター走査することで上記パターン検知処理を各画素について行う。なお、画像の端部において部分画像に含まれる画素数がＬ×Ｍに満たない場合には、例えば不足画素分を補うように画像端部を折り返しコピーするなどの処理を行ってもよい。

ここで、パターン検知処理の詳細について説明する。本実施形態では、パターン検知処理部４６は、まず、下記式（３）により算出される画像データの煩雑性を示す分散値busyを算出する。なお、下記式（３）において、Ｎは部分画像の画素数、Ｉは各画素の信号値、ｉは各画素を特定するための値（ｉは１からＮまでの整数）を表している。

そして、パターン検知処理部４６は、上記のように算出した分散値busyと予め設定された閾値ＴＨ１との大小関係を比較することで、パターンの有無を判定する。例えば、ｂｕｓｙ≧ＴＨ１の場合に有効なパターン有りと判定し、ｂｕｓｙ＜ＴＨ１の場合に有効なパターン無しと判定する。なお、閾値ＴＨ１は、パターンが適切に抽出されるように適宜設定すればよい。また、ここでは、分散値ｂｕｓｙを用いる場合について説明したが、これに限らず、例えば、分散値以外の画像の煩雑性を示す指標を用いて判定してもよい。

置換画像生成部４７は、パターン検知処理部４６においてパターン有りと判定された部分画像を、この部分画像についての自己置換画像（Ｔ）を生成する。

ここで、自己置換画像とは、部分画像の一部を当該部分画像における他の一部と所定の方法によって置換した画像である。図１２は、入力画像、およびこの入力画像から得られる自己置換画像の一例を示す説明図である。この図に示すように、自己置換画像としては、例えば、縦軸鏡像置換画像、横軸鏡像置換画像、中心点対称置換画像、対角鏡像置換画像などを用いることができる。縦軸鏡像置換画像は、ｘ方向についての中心を通るｙ方向の直線を軸とする部分画像の鏡像である。横軸鏡像画像は、ｙ方向についての中心を通るｘ方向の直線を軸とする部分画像の鏡像である。中心点対称置換画像は、入力画像（部分画像）の各画素をこの部分画像の中心点について対称に置換した画像である。対角鏡像置換画像とは、部分画像の対角線を軸とするこの部分画像の鏡像である。

例えば、縦軸鏡像置換画像（Ｉ）は、（Ｉ）のＣ列Ｒ行を（Ｉ）_Ｃ，Ｒとすると、（Ｔ）_Ｃ，Ｒ＝（Ｉ）_{Ｌ−Ｃ＋１，Ｒ}を演算することで得ることができる。

一致度算出部４８は、入力画像（入力部分画像）と自己置換画像との相関値（正規化相関値；一致度）Ｓを算出する。

ここで、相関値の算出方法および一致度の判定方法についてより具体的に説明する。一般に、Ｎ画素からなる２つの画像Ｉｎｐｕｔ（Ｉ）とＴａｒｇｅｔ（Ｔ）との相関値Ｓは、

で表される。上記式（４）におけるＡ，Ｂ，Ｃは下記の式（５）〜（７）で表される値である。

なお、自己置換画像として中心点対称置換画像を用いる場合には、Ｂ＝Ｃであることは明らかである。したがって、相関値Ｓは、Ｓ＝（Ａ／Ｂ）×１０００を演算すればよく、演算の簡略化を図ることができる。また、上記Ｂは、上記した分散値busyと同じであるので、算出済みの分散値busyの値を上記Ｂとして用いればよく、上記Ｂを再計算する必要はない。

一致度判定部（検出部）４９は、一致度算出部４８が算出した相関値Ｓと予め設定された閾値ＴＨ＿ｅｓｔとを比較することで入力画像と自己置換画像とが一致するか否かを判定する。具体的には、一致度検出部４９は、Ｓ＞ＴＨ＿ｅｓｔの場合には両画像が一致すると判定し、この部分画像の中心画素（注目画素）を特徴点とする。一方、Ｓ≦ＴＨ＿ｅｓｔの場合には両画像は一致しないと判定する。また、一致度判定部４９は特徴点とした画素を示す情報を特徴量算出部３２に出力する。あるいは、一致度判定部４９は特徴点とした画素を示す情報をメモリ８に記憶させ、特徴量算出部３２がメモリ８からこの情報を読み出すようにしてもよい。なお、閾値ＴＨ＿ｅｓｔは、特徴点が適切に抽出されるように適宜設定しておけばよい。

特徴量算出部３２は、特徴点抽出部３２ａ、不変量算出部３２ｂ、ハッシュ値算出部３２ｃを備えており、特徴点算出部３１で算出された特徴点を用いて、原稿画像の回転、平行移動、拡大、縮小、平行移動等の幾何学的変形に対して不変な量である特徴量（ハッシュ値および／または不変量）を算出する。

特徴点抽出部３２ａは、図１３に示すように、１つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数（ここでは４点）だけ周辺特徴点として抽出する。図１３の例では、特徴点ａを注目特徴点とした場合には特徴点ｂ，ｃ，ｄ，ｅの４点が周辺特徴点として抽出され、特徴点ｂを注目特徴点とした場合には特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。

また、特徴点抽出部３２ａは、上記のように抽出した周辺特徴点４点の中から選択しうる３点の組み合わせを抽出する。例えば、図１４（ａ）〜図１４（ｃ）に示すように、図１３に示した特徴点ａを注目特徴点とした場合、周辺特徴点ｂ，ｃ，ｄ，ｅのうちの３点の組み合わせ、すなわち、周辺特徴点ｂ，ｃ，ｄ、周辺特徴点ｂ，ｃ，ｅ、周辺特徴点ｃ，ｄ，ｅの各組み合わせが抽出される。

次に、不変量算出部３２ｂは、抽出した各組み合わせについて、幾何学的変形に対する不変量（特徴量の１つ）Ｈｉｊを算出する。ここで、ｉは注目特徴点を示す数（ｉは１以上の整数）であり、ｊは周辺特徴点３点の組み合わせを示す数（ｊは１以上の整数）である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの２つの比を不変量Ｈｉｊとする。なお、上記線分の長さは、各周辺特徴点の座標値に基づいて算出すればよい。例えば、図１４（ａ）の例では、特徴点ｃと特徴点ｄとを結ぶ線分の長さをＡ１１、特徴点ｃと特徴点ｂとを結ぶ線分の長さをＢ１１とすると、不変量Ｈ１１はＨ１１＝Ａ１１／Ｂ１１である。また、図１４（ｂ）の例では、特徴点ｃと特徴点ｂとを結ぶ線分の長さをＡ１２、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１２とすると、不変量Ｈ１２はＨ１２＝Ａ１２／Ｂ１２である。また、図１４（ｃ）の例では、特徴点ｄと特徴点ｂとを結ぶ線分の長さをＡ１３、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１３とすると、不変量Ｈ１３はＨ１３＝Ａ１３／Ｂ１３である。このようにして、図１４（ａ）〜図１４（ｃ）の例では、不変量Ｈ１１，Ｈ１２，Ｈ１３が算出される。なお、上記の例では、水平方向左側に位置する周辺特徴点と水平方向中央に位置する周辺特徴点とを結ぶ線分をＡｉｊ、水平方向中央に位置する周辺特徴点と水平方向右側に位置する周辺特徴点とを結ぶ線分をＢｉｊとしたが、これに限らず、不変量Ｈｉｊの算出に用いる線分は任意の方法で選定すればよい。

次に、ハッシュ値算出部３２ｃは、（Ｈｉ１×１０^２＋Ｈｉ２×１０^１＋Ｈｉ３×１０^０）／Ｄの余りの値をハッシュ値（特徴量の１つ）Ｈｉとして算出し、メモリ８に記憶させる。なお、上記Ｄは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。

なお、不変量Ｈｉｊの算出方法は特に限定されるものではなく、例えば、注目特徴点の近傍５点の複比、近傍ｎ点（ｎはｎ≧５の整数）から抽出した５点の複比、近傍ｎ点から抽出したｍ点（ｍはｍ＜ｎかるｍ≧５の整数）の配置およびｍ点から抽出した５点の複比に基づいて算出される値などを注目特徴点についての上記不変量Ｈｉｊとしてもよい。なお、複比とは、直線上の４点または平面上の５点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。

また、ハッシュ値Ｈｉの算出するための式についても上記式、すなわち（Ｈｉ１×１０^２＋Ｈｉ２×１０^１＋Ｈｉ３×１０^０）／Ｄの余りの値をハッシュ値とする構成に限るものではなく、他のハッシュ関数（例えば特許文献２に記載されているハッシュ関数のうちのいずれか）を用いてもよい。

また、特徴量算出部３２の各部は、１つの注目特徴点に対する周辺特徴点の抽出およびハッシュ値Ｈｉの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出およびハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。

図１３の例では、特徴点ａを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出が終わると、次に特徴点ｂを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出を行う。図１３の例では、特徴点ｂを注目特徴点とした場合、特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。そして、図１５（ａ）〜図１５（ｃ）に示すように、これら周辺特徴点ａ，ｃ，ｅ，ｆの中から選択される３点の組み合わせ（周辺特徴点ａ，ｅ，ｆ、周辺特徴点ｃ，ｅ，ｆ、周辺特徴点ａ，ｃ，ｆ）を抽出し、各組み合わせについてハッシュ値Ｈｉを算出し、メモリ８に記憶させる。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ８に記憶させる。

なお、特徴点ａを注目特徴点としたときの不変量の算出方法は上記の方法に限るものではない。例えば、図２６（ａ）〜図２６（ｄ）に示すように、図１３に示した特徴点ａを注目特徴点とした場合、周辺特徴点ｂ，ｃ，ｄ，ｅのうちの３点の組み合わせ、すなわち、周辺特徴点ｂ，ｃ，ｄ、周辺特徴点ｂ，ｃ，ｅ、周辺特徴点ｂ，ｄ，ｅ、周辺特徴点ｃ，ｄ，ｅの各組み合わせを抽出し、抽出した各組み合わせについて、幾何学的変形に対する不変量（特徴量の１つ）Ｈｉｊを算出するようにしても良い。

また、図１３に示した特徴点ｂを注目特徴点とした場合、図２７（ａ）〜図２７（ｄ）に示すように、特徴点ａ，ｃ，ｅ，ｆの４点の周辺特徴点の中から、ある３点の組み合わせ（周辺特徴点ａ，ｅ，ｆ、周辺特徴点ａ，ｃ，ｅ、周辺特徴点ａ，ｆ，ｃ、周辺特徴点ｅ，ｆ，ｃ）を抽出し、各組み合わせについて幾何学的変形に対する不変量Ｈｉｊを算出するようにしてもよい。なお、この場合、（Ｈｉ１×１０^３＋Ｈｉ２×１０^２＋Ｈｉ^３×１０^１＋Ｈｉ４×１０^０）／Ｄの余りの値をハッシュ値として算出し、メモリ８に記憶させればよい。

また、上記の例では、注目特徴点に最も近い周辺特徴点と２番目に近い周辺特徴点とを結ぶ線分をＡｉｊ、注目特徴点に最も近い周辺特徴点と３番目に近い周辺特徴点とを結ぶ線分をＢｉｊとしたが、これに限らず、周辺特徴点間を結ぶ線分の長さを基準にして選定する等、不変量Ｈｉｊの算出に用いる線分は任意の方法で選定すればよい。

なお、特徴量算出部３２は、入力画像データを登録画像として登録する登録処理を行う場合には、上記のように算出した入力画像データの各特徴点についてのハッシュ値（特徴量）を登録処理部３７に送る。また、特徴量算出部３２は、入力画像データが既に登録されている登録画像の画像データであるかどうかの判定処理（類似性判定処理）を行う場合には、上記のように算出した入力画像データの各特徴点についてのハッシュ値を投票処理部３３に送る。

登録処理部３７は、特徴量算出部３２が算出した各特徴点についてのハッシュ値と、原稿（入力画像データ）を表すインデックス（原稿ＩＤ）とを互いに対応付けてメモリ８に設けられたハッシュテーブル１０３に順次登録していく（図１６（ａ）参照）。ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて原稿ＩＤを登録する。原稿ＩＤは重複することなく順次番号が割り当てられる。なお、ハッシュテーブル１０３に登録されている原稿の数が所定値（例えば、登録可能な原稿の数の８０％）より多くなった場合、古い原稿ＩＤを検索して順次消去するようにしてもよい。また、消去された原稿ＩＤは、新たな入力画像データの原稿ＩＤとして再度使用できるようにしてもよい。また、算出されたハッシュ値が同値である場合（図１６（ｂ）の例ではＨ１＝Ｈ５）、これらを１つにまとめてハッシュテーブル１０３に登録してもよい。

投票処理部３３は、入力画像データから算出した各特徴点のハッシュ値をハッシュテーブル１０３に登録されているハッシュ値と比較し、同じハッシュ値を有する登録画像に投票する。言い換えれば、登録画像毎に、登録画像が有するハッシュ値と同じハッシュ値が入力画像データから算出された回数をカウントし、カウント値をメモリ８に記憶させる。図１７は、登録画像ＩＤ１，ＩＤ２，ＩＤ３に対する投票数の一例を示すグラフである。

類似度判定処理部３４は、メモリ８から投票処理部３３の投票処理結果（各登録画像のインデックスおよび各登録画像に対する投票数；類似度）を読み出し、最大得票数および最大得票数を得た登録画像のインデックスを抽出する。そして、抽出された最大得票数を予め定められている閾値ＴＨａと比較して類似性（入力画像データが登録画像の画像データであるかどうか）を判定し、判定結果を示す判定信号を制御部７に送る。つまり、最大得票数が予め定められた閾値ＴＨａ以上である場合には「類似性あり（入力画像データは登録画像の画像データである）」と判定し、閾値ＴＨａ未満である場合には「類似性なし（入力画像データは登録画像の画像データではない）」と判定する。

あるいは、類似度判定処理部３４が、各登録画像に対する得票数を投票総数（入力画像データから抽出された特徴点の総数）で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値ＴＨａ（例えば投票総数の８０％）との比較を行うことによって類似度を判定してもよい。

また、類似度判定処理部３４が、各登録画像に対する得票数を、ハッシュ値の登録数が最も多い登録画像についてのハッシュ値の登録数（最大登録数）で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値ＴＨａ（例えば投票総数の８０％）との比較を行うことによって類似性を判定してもよい。つまり、算出した類似度が閾値ＴＨａ以上である場合には「類似性あり」と判定し、閾値ＴＨａ未満である場合には「類似性なし」と判定すればよい。なお、この場合、入力画像データから抽出されるハッシュ値の総数は上記最大登録数よりも大きくなる場合があるため（特に原稿および／または登録画像の少なくとも一部に手書き部分がある場合など）、類似度の算出値は１００％を超える場合も有り得る。

また、類似性を判定する際の閾値ＴＨａは、各登録画像について一定であってもよく、あるいは各登録画像の重要度等に応じて登録画像毎に設定されてもよい。登録画像の重要度は、例えば、紙幣、有価証券、極秘書類、社外秘の書類等については重要度を最大にし、秘密書類については重要度を紙幣等よりも低くするといったように、登録画像に応じて段階的に設定してもよい。この場合、メモリ８に、登録画像の重要度に応じた重み付け係数を当該登録画像のインデックスと関連付けて記憶させておき、類似度判定処理部３４が、最大得票数を得た登録画像に対応する閾値ＴＨａを用いて類似性を判定するようにすればよい。

また、類似性を判定する際、閾値ＴＨａは一定にする一方、各登録画像に対する投票数（各登録画像の得票数）に各登録画像の重み係数を掛けて類似性を判定するようにしてもよい。この場合、メモリ８に、各登録画像の重要度に応じた重み付け係数を各登録画像のインデックスと関連付けて記憶させておき、類似度判定処理部３４が、各登録画像の得票数に当該登録画像の重み付け係数を掛けた補正得票数を算出し、この補正得票数に基づいて類似性を判定するようにすればよい。例えば、最大補正得票数と閾値ＴＨａとを比較してもよく、最大補正得票数を投票総数で正規化したものを閾値ＴＨａと比較してもよく、最大補正得票数を最大登録数で正規化したものを閾値ＴＨａと比較してもよい。また、この場合、重み係数は、例えば、１より大きい値であって、かつ登録画像の重要度が高くなるにつれて大きい値になるように設定すればよい。

また、本実施形態では、１つの特徴点（注目特徴点）に対して１つのハッシュ値を算出するものとしているが、これに限らず、１つの特徴点（注目特徴点）に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として６点を抽出し、この６点から５点を抽出した６通りの組み合わせそれぞれについて、５点から３点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、１つの特徴点に対して６個のハッシュ値が算出されることになる。

（１−３． デジタルカラー複合機１における処理）
次に、デジタルカラー複合機１における処理について、図１８に示すフロー図を参照しながら説明する。

まず、制御部７は、入力画像データ、および、操作パネル６あるいは通信装置５を介してユーザから入力される処理要求（指示入力）を取得する（Ｓ１、Ｓ２）。なお、入力画像データは、カラー画像入力装置２で原稿画像を読み取ることによって取得してもよく、通信装置５によって外部の装置から送信される入力画像データを取得してもよく、デジタルカラー複合機１に備えられるカードリーダー（図示せず）等を介して各種記録媒体から入力画像データを読み出して取得してもよい。

次に、制御部７は、前処理部３０に入力画像データに対する前処理（例えば、傾き検知処理、傾き補正処理、無彩化処理、解像度変換処理、ＭＴＦ処理）を実行させ（Ｓ３）、特徴点算出部３１に特徴点算出処理を実行させ（Ｓ４）、特徴量算出部３２に特徴量を算出させる（Ｓ５）。なお、特徴点算出処理の詳細については後述する。

次に、制御部７は、上記処理要求によって要求されている処理が登録処理であるか否かを判断する（Ｓ６）。そして、登録処理であると判断した場合、制御部７は、特徴量算出部３２が算出した特徴量と原稿ＩＤ（登録画像のＩＤ）とを対応付けてハッシュテーブル１０３に登録させ（Ｓ７）、処理を終了する。

一方、登録処理ではないと判断した場合（類似性の判定処理であると判断した場合）、制御部７は、投票処理部３３に投票処理を実行させ（Ｓ８）、類似度判定処理部３４に類似性の判定処理を実行させる（Ｓ９）。

そして、類似ありと判定した場合には、入力画像データに対する画像処理（例えば、複写、印刷、電子配信、ファクシミリ送信、ファイリング、画像データの補正，編集等の処理）の実行を禁止し（Ｓ１０）、処理を終了する。また、類似なしと判定した場合には、入力画像データに対する画像処理の実行を許可し（Ｓ１１）、処理を終了する。なお、本実施形態では、類似ありの場合に画像処理の実行を許可し、類似なしの場合に画像処理の実行を禁止する例について説明しているが、これに限るものではない。例えば、類似性の判定結果を所定の通知先への通知するようにしてもよい。また、類似性の判定結果に応じて入力画像データの記録の要否、入力画像データに対応する出力画像に所定の記号等を重畳させることの要否、ユーザ認証を行うことの要否、類似性判定結果の表示の要否などを判断するようにしてもよい。

図１９は、特徴点算出部３１における特徴点算出処理（上記Ｓ４の処理）の流れを示すフロー図である。

この図に示すように、前処理部３０から特徴点算出部３１に入力画像データが入力されると、制御部７は、パターン検知処理部４６に部分画像（例えばＬ×Ｍの部分画像）を抽出させ（Ｓ２１）、パターン検知処理を実行させる（Ｓ２２）。そして、制御部７は、パターン検知処理の結果に基づいて部分画像中に有効なパターンが存在するか否かを判断する（Ｓ２３）。

そして、有効なパターンが存在すると判断した場合、制御部７は、置換画像生成部４７にＳ２１で抽出した部分画像の自己置換画像を生成させる（Ｓ２４）。次に、制御部７は、一致度算出部４８に、Ｓ２１で抽出した部分画像とＳ２４で生成した自己置換画像との一致度を算出させる（Ｓ２５）。さらに、制御部７は、一致度判定部４９に、部分画像と自己置換画像とが一致するか否かを判定させる（Ｓ２６）。

そして、制御部７は、Ｓ２６において部分画像と自己置換画像とが一致すると判定された場合、この部分画像における中心画素（注目画素）を特徴点としてメモリ８に登録する（Ｓ２７）。あるいは、上記部分画像における中心画素（注目画素）を特徴点とすることを示す情報を特徴点算出部３１に出力する。

また、制御部７は、Ｓ２７の処理の後、あるいはＳ２３において有効なパターンが存在しないと判断した場合、あるいはＳ２６において部分画像と自己置換画像とが一致しないと判定された場合、入力画像データにおける全画素に対してパターン検知処理を行ったか否かを判断する（Ｓ２８）。すなわち、入力画像データにおける全画素をそれぞれ注目画素とする各部分画像について、パターン検知処理を行ったか否かを判断する。

そして、パターン検知処理を行っていない画素が残っている場合には、注目画素をラスター走査し、次の注目画素についてＳ２２以降の処理を行う（Ｓ２９）。一方、全画素についてパターン検知処理を行ったと判断した場合、制御部７は特徴点算出処理を終了する。

以上のように、本実施形態にかかるデジタルカラー複合機１の文書照合処理部１３では、入力画像データから部分画像を抽出し、抽出した部分画像にパターンが含まれるか否かを判定し、パターンが含まれる場合には上記部分画像と、この部分画像の自己置換画像とが一致するか否かを判定する。そして、一致する場合に、この部分画像における注目画素を特徴点として抽出する。

これにより、入力画像データが拡大，縮小等の処理が施されたデータである場合であっても、上記拡大，縮小等の影響を受けない部分画像（あるいは拡大，縮小等の影響が小さい部分画像）の中心点（注目画素）を特徴点として抽出することができる。つまり、上記拡大，縮小等にかかわらず、同じパターンの特徴点を精度よく抽出でき、算出された特徴点間の距離の比率は不変なものとなる。

また、入力画像データに含まれる罫線などの線分、あるいはこれらの線分の交点等、多くの点を特徴点として抽出することが可能となる。また、上記特許文献１のように、特徴点を抽出する際に原稿の構成要素（文字部分、文字枠、線、枠など）を切り分ける必要が無いので、アルゴリズムおよび装置構成の簡略化を図ることができる。

図２０は、縮小処理が施された部分画像とこの部分画像から生成される縦軸鏡像置換画像、拡大処理が施された部分画像とこの部分画像から生成される縦軸鏡像置換画像の一例を示す説明図である。この図に示すように、部分画像とこの部分画像の自己置換画像との一致度に基づいて特徴点を抽出することで、入力画像データに対して拡大処理や縮小処理が施されている場合であっても、拡大，縮小処理が施されていない場合と同様、同じパターンの特徴点を精度よく抽出することが可能となる。

したがって、このように抽出した特徴点に基づいて算出される特徴量に基づいて画像の類似度を算出することにより、上記拡大，縮小等にかかわらず入力画像と登録画像との類似性を精度よく判定できる。

また、本実施形態にかかるデジタルカラー複合機１の文書照合処理部１３は、入力画像データの傾き（入力画像データの縦方向・横方向に対するこの入力画像データ中の原稿画像の縦方向・横方向の傾き）を検知する傾き検知部４１と、傾き検知部４１の検知結果に基づいて入力画像データの傾きを補正する傾き補正処理部４２とを備えている。したがって、例えば、入力画像データ中における原稿画像が傾斜している場合（例えば、画像読取装置の読取位置における所定の配置角度に対して原稿が傾斜して配置された状態で読み取られた場合など）でも、傾斜がない場合と同様、同じパターンの特徴点を精度よく抽出することが可能となる。したがって、このように抽出した特徴点に基づいて算出される特徴量に基づいて画像の類似度を算出することにより、上記傾斜，拡大，縮小等にかかわらず入力画像と登録画像との類似性を精度よく判定できる。

また、本実施形態では、上記のように抽出された各特徴点に対して局所的な特徴点の集合を決定し、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点に関する複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を組み合わせてハッシュ値（特徴量）を算出する。これにより、入力画像と登録画像との類似性をより精度よく判定できる。

また、上記の構成によれば、部分画像を抽出し、抽出した部分画像とこの部分画像の少なくとも一部を当該部分画像における他の一部と置換させた自己置換画像とが一致するか否か（自己相関があるか否か）を判定するだけで特徴点を容易に抽出することができるので、特徴点算出部３１の回路構成を簡略化し、ハード化を容易にすることができる。

また、一般に、手書き文字は自己置換画像に対する一致度（自己相関）は高くならない。このため、例えば、入力画像中に手書きによる書き込みがある場合であっても、手書き文字によって不適切な特徴点が抽出されることを防止できる。したがって、上記の構成によれば、入力画像中に手書きによる書き込みがある場合であっても、当該入力画像の特徴点を適切に抽出することができる。

なお、本実施形態では、部分画像とこの部分画像の自己置換画像とが一致する場合に、この部分画像における注目画素を特徴点として抽出しているが、これに限るものではない。例えば、上記部分画像における、注目画素を含む複数の画素からなるブロックを特徴点として抽出してもよい。

また、本実施形態では、自己置換画像として縦軸鏡像置換画像、横軸鏡像置換画像、中心点対称置換画像、対角鏡像置換画像のうちのいずれかを用いるものとしたが、これに限るものではなく、自己置換画像は、部分画像の一部を当該部分画像における他の一部と所定の方法によって置換した画像であればよい。自己置換画像としては、例えば、部分画像を鏡像処理や対称置換処理、あるいはこれらの処理を組み合わせた処理などを施して得られるものを用いることができる。

また、部分画像と、この部分画像から生成される複数種類の自己置換画像との一致度をそれぞれ算出し、各自己置換画像に対する一致度の算出結果を用いて当該部分画像の中心画素を特徴点とするか否かを判定するようにしてもよい。

表１は、図１２に示したパターンＡ〜Ｅについての、縦軸鏡像置換画像、横軸鏡像置換画像、中心点対称置換画像に対する一致度の判定結果を示している。

なお、表中に示した○は一致すると判定されるパターン、×は不一致と判定されるパターンを示している。

この表に示すように、一致度の判定結果は自己置換画像の種類によって異なるので、複数の自己置換画像に対する一致度を算出することで、自己置換画像毎に異なるパターンを一致するパターンとして抽出できる。

なお、例えば、複数の自己置換画像のそれぞれにおいて一致すると判定されたパターンの注目画素を特徴点とするようにしてもよく、複数の自己置換画像のうちのいずれか１つにおいて一致すると判定されたパターンの注目画素を特徴点とするようにしてもよく、複数の自己置換画像のうちの所定数以上において一致すると判定されたパターンの注目画素を特徴点とするようにしてもよい。

このように、複数種類の自己置換画像に対する一致度の判定結果を用いて特徴点を抽出することにより、特徴点数を容易に増加させることができる。これにより、より多くの特徴点に基づいて入力画像と登録画像との類似性を判定することができるので、類似性判定の精度をさらに高めることができる。

また、本実施形態では、制御部７は、パターン検知処理部４６に部分画像を抽出させる際に、１つのＬ×Ｍという大きさの部分画像を切り出す場合を例示したが、部分画像の切り出し方法は１つに限るものではない。例えば、Ｌ×Ｍのサイズの部分画像に加えて、Ｌ’×Ｍ’（Ｌ’＞Ｎ、Ｍ’＞Ｍ）のサイズの部分画像にも着目し、同様の演算を行って特徴点としてもよい。

例えば、Ｍ＝Ｌ＝＝７、Ｌ’＝Ｍ’＝１１とし、図２８〜図３０に示すパターンＡ〜Ｃの中心点を着目点として部分画像を抽出する場合を考える。なお、図２８〜図３０における破線で囲んだ枠領域が７×７のサイズの部分画像であり、実線で囲んだ枠領域が１１×１１のサイズの部分画像である。

上記各サイズの部分画像について、抽出した部分画像とこの部分画像の横軸鏡像置換画像（自己置換画像）との一致度を考えると、パターンＡの場合、７画素×７画素では一致するが、１１画素×１１画素では一致しない。また、パターンＢの場合、７画素×７画素でも１１画素×１１画素でも一致しない。また、パターンＣの場合、７画素×７画素でも１１画素×１１画素でも一致する。このように、同じパターンから抽出した部分画像でも、部分画像を切り出すサイズ（部分画像の画素サイズ）に応じて自己置換画像との一致／不一致が変化する。

また、パターンＢの場合、７画素×７画素でも１１画素×１１画素でも一致しないが、１１画素×１１画素の部分画像において７画素×７画素の部分画像領域を演算対象から除外（マスク）して自己置換画像との一致を判定すれば、一致するという結果になる。

なお、除外の演算方法としては、対象画素数に注意して、上記式（５）〜（７）におけるシグマ記号ごとにマスク部分を引けばよい。上記式（５）について記せば、
７×７画素：画素数Ｎｍ（＝４９）については、

１１×１１画素：画素数Ｎｌ（１２１）については、

マスクされた画像：画素数Ｎｋ（１２１−４９＝７２）については、

となる。なお、Ａｋ算出時に用いられているそれぞれシグマ演算値は、ＡｍおよびＡｌを算出する際に求められているものであるため、新たに算出する必要はない。また、上記式（６）のＢおよび上記式（７）のＣも同様に算出可能である。

表２は、上記のようにして得られた部分画像とその横軸鏡像置換画像との一致／不一致を示している。なお、表中に示した○は一致すると判定されるパターン、×は不一致と判定されるパターンを示している。

表２に示したように、一致度の判定結果は部分画像の切り出しサイズやマスクの有無によって異なる。このため、複数の切り出し方法に対する一致度を算出することで、切り出し方法ごとに異なるパターンを部分画像とその自己置換画像とで一致するパターンとして抽出することができる。

なお、例えば、複数の切り出し方法のそれぞれにおいて一致すると判定されたパターンの注目画素を特徴点とするようにしてもよく、複数の切り出し方法のうちのいずれか１つにおいて一致すると判定されたパターンの注目画素を特徴点とするようにしてもよく、複数の切り出し方法のうちの所定数以上の方法において一致すると判定されたパターンの注目画素を特徴点とするようにしてもよい。

このように、複数の切り出し方法に対する一致度の判定結果を用いて特徴点を抽出することにより、抽出される特徴点の数を容易に増加させることができる。これにより、より多くの特徴点に基づいて入力画像と登録画像との類似性を判定することができるので、類似性判定の精度をさらに高めることができる。

また、本実施形態では、特徴点算出部３１が、前処理部３０から入力される多値画像の画像データに基づいて特徴点を抽出する場合の一例について説明したが、特徴点の抽出方法はこれに限るものではない。

例えば、前処理部３０において２値化処理を行い、２値化した画像に基づいて特徴点を抽出するようにしてもよい。

この場合、前処理部３０は、無彩化された画像データ（輝度値（輝度信号）あるいは明度値（明度信号））を、予め定められた閾値と比較することで画像データを２値化する。

そして、特徴点算出部３１のパターン検知処理部４６は、前処理部３０で２値化された画像データから部分画像を抽出し、ＯＮ画素数（黒画素数）CountOnをカウントし、カウントした値が所定範囲内であるか否かによってパターンの有無を判定する。例えば、閾値ＴＨ２，ＴＨ３を予め設定しておき、ＴＨ２≦CountOn≦ＴＨ３の場合にはパターン有りと判定し、ＴＨ２＞CountOnあるいはCountOn＞ＴＨ３の場合にはパターン無しと判定する。なお、閾値ＴＨ２，ＴＨ３は、パターンが適切に抽出されるように適宜設定すればよい。

また、置換画像生成部４７は、パターン検知処理部４６においてパターン有りと判定された部分画像から自己置換画像を生成する。

その後、一致度算出部４８は、部分画像（回転させる前の画像）の画素値と自己置換画像の画素値との一致数Ｓｎをカウントする。

図２１（ａ）は部分画像の一例を示す説明図であり、図２１（ｂ）は図２１（ａ）に示した部分画像の縦軸鏡像置換画像を示す説明図である。図２１（ａ）および図２１（ｂ）の例では、部分画像と自己置換画像とで画素値が一致しているのは、図２１（ｂ）において黒で塗潰した画素である。したがって、この例の場合、部分画像と自己置換画像とで画素値が一致する画素数は「Ｓｎ＝８」となる。

その後、一致度判定部４９は、一致度算出部４８がカウントした一致数Ｓｎの値と、予め設定された閾値ＴＨ＿ｅｓｔ２とを比較することで、部分画像と自己置換画像とが一致するか否かを判定する。例えば、Ｓｎ＞ＴＨ＿ｅｓｔ２の場合に両画像が一致すると判定し、Ｓｎ≦ＴＨ＿ｅｓｔ２の場合に両画像は一致しないと判定する。なお、閾値ＴＨ＿ｅｓｔ２は、特徴点が適切に抽出されるように適宜設定しておけばよい。

また、部分画像と自己置換画像とにおける互いに対応する各画素についての画素値の差分の絶対値の総和である残差値Ｓｚを算出し、この残差値Ｓｚに基づいて特徴点を算出してもよい。

この場合、パターン検知処理部４６および置換画像生成部４７の処理は上記した処理と同様である。一致度算出部４８は、下記式（１１）に示すように、部分画像と自己置換画像とにおける互いに対応する各画素についての画素値の差分の絶対値の総和（残差値Ｓｚ）を算出する。なお、パターン検知処理部４６に入力される画像データは、２値であっても多値であってもよい。

その後、一致度判定部４９は、一致度算出部４８で算出された残差値Ｓｚと、予め設定された閾値ＴＨ＿ｅｓｔ３とを比較することで、部分画像と自己置換画像とが一致するか否かを判定する。なお、残差値Ｓｚを用いる場合、残差値Ｓｚの値が小さいほど両画像の一致度は高くなる。このため、例えば、Ｓｚ＜ＴＨ＿ｅｓｔ３の場合に両画像が一致すると判定し、Ｓｚ≧ＴＨ＿ｅｓｔ３の場合に両画像は一致しないと判定する。なお、閾値ＴＨ＿ｅｓｔ３は、特徴点が適切に抽出されるように適宜設定しておけばよい。

また、本実施形態では、入力画像データが１チャンネルの多値信号であり、この入力画像データを２値化した２値信号を用いて類似度判定を行う例について説明したが、入力画像データの構成はこれに限るものではない。例えば、入力画像データは、複数のチャンネル（例えばＲ，Ｇ，Ｂの３チャンネルあるいはＣ，Ｍ，Ｙ，Ｋの４チャンネルなど）からなるカラー信号や、上記カラー信号に可視光外光源による信号を組み合わせたデータであってもよい。なお、この場合、前処理部３０における信号変換処理部４３の処理はスルー（処理を行わない）となる。信号変換処理部４３における処理をスルーにするか否かは、例えば、画像形成装置３の操作パネル６を介して入力されるユーザによるカラー画像の選択指示（原稿種別の選択として、カラー画像と白黒画像があり、カラー画像が選択された場合）に応じて決定してもよく、あるいは、文書照合処理部１３の前段に原稿画像（入力画像データ）がカラー画像であるか否かを判定する自動カラー選択部（図示せず）を設け、その判定結果に応じて決定するようにしてもよい。

自動カラー選択の方法としては、例えば、例えば、特許文献３に記載されている方法を用いることができる。この方法は、カラー画素であるかモノクロ画素であるかを各画素について判別し、所定数以上の連続するカラー画素の存在が検知された場合にこの連続カラー画素分をカラーブロックと認識し、１ライン中に所定数以上のカラーブロックが存在していればそのラインをカラーラインとして計数する。そして、原稿中にカラーラインが所定数存在していればカラー画像であると判断し、そうでない場合はモノクロ画像であると判断するものである。

例えば、カラー画像入力信号が一般的なＲ，Ｇ，Ｂの３チャンネル信号である場合、上記したように、各チャンネルを前処理部３０において独立した多値信号として扱うか、あるいは２値化処理を行うことで、上述した実施形態と同様にチャンネルごとに特徴点を抽出することができる。

図３１（ａ）はカラー画像からなる入力画像データの一例を示す説明図であり、図３１（ｂ）〜図３１（ｄ）は図３１（ａ）の画像データに対応するＲチャンネル、Ｇチャンネル、Ｂチャンネルの多値画像データを示す説明図である。図３１（ｂ）〜図３１（ｄ）に示したように、抽出される特徴点の位置はチャンネル毎に異なる。すなわち、図３１（ａ）に示したような３つの色の各マーク（Ａ：黒色、Ｂ：緑色、Ｃ：赤色）についての各チャンネルの画像（図３１（ｂ）〜図３１（ｄ））に基づく特徴点の抽出結果は表３のようになる。なお、表中に示した○は特徴点として判定されるパターン、×は特徴点として判定されないパターンを示している。

この表に示すように、特徴点の抽出対象となる部分画像はチャンネル毎に異なるので、これら各部分画像とその自己置換画像に基づいて抽出される特徴点もチャンネル毎に異なる。このため、複数のチャンネルを用いて特徴点の抽出を行うことで、より多くの特徴点を抽出できる。

なお、例えば、各チャンネルで抽出された特徴点をそれぞれ個別の特徴点とするようにしてもよく、複数のチャンネルのうちのいずれか１つにおいて部分画像と自己置換画像とが一致すると判定されたパターンの注目画素を特徴点とするようにしてもよく、複数のチャンネルのうちの所定数のチャンネルにおいて部分画像と自己置換画像とが一致すると判定されたパターンの注目画素をそれぞれ個別の特徴点とするようにしてもよい。

このように、複数チャンネルにおける部分画像と自己置換画像との一致度の判定結果を用いて特徴点を抽出することにより、特徴点の数あるいはそれに付随する情報を容易に増加させることができる。これにより、より多くの特徴点に基づいて入力画像と登録画像との類似性を判定することができるので、類似性判定の精度をさらに高めることができる。

また、本実施形態では、本発明をデジタルカラー複合機１に適用する場合について説明したが、本発明の適用対象はこれに限るものではない。例えば、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体のファクシミリ通信装置、複写機、画像読取装置などの画像処理装置に適用してもよい。

図２２は、本発明をフラットベッドスキャナ（画像読取装置、画像処理装置）１’に適用した場合の構成例を示すブロック図である。

この図に示すように、フラットベッドスキャナ１’は、カラー画像入力装置２とカラー画像処理装置３’とを備えている。カラー画像処理装置３’は、Ａ／Ｄ変換部１１、シェーディング補正部１２、文書照合処理部１３、制御部７（図２２では図示せず）、メモリ８（図２２では図示せず）から構成されており、これに、カラー画像入力装置２が接続され、全体として画像読取装置１’を構成している。なお、カラー画像入力装置（画像読取手段）２におけるＡ／Ｄ変換部１１、シェーディング補正部１２、文書照合処理部１３、制御部７、メモリ８の機能は、上述したデジタルカラー複合機１と略同様であるのでここでは説明を省略する。

また、文書照合処理部１３の機能を、画像処理装置と、この画像処理装置に通信可能に接続されたサーバー装置とからなる画像処理システムによって実現してもよい。図２３は、画像処理装置（複合機（ＭＦＰ）Ａ，Ｂ，・・・、プリンタＡ，Ｂ，・・・、ファクシミリＡ，Ｂ，・・・、コンピュータＡ，Ｂ，・・・、デジタルカメラＡ，Ｂ，・・・、スキャナＡ，Ｂ，・・・）と、サーバー装置５０とが通信可能に接続されてなる画像処理システム１００の構成を示す説明図である。なお、画像処理システム１００の構成はこれに限るものではなく、例えば、サーバー装置５０と、複合機、プリンタ（画像形成装置）、ファクシミリ、コンピュータ、デジタルカメラ（画像読取装置）、スキャナ（画像読取装置）のうちのいずれか１つ以上とからなるものであってもよい。

上記スキャナは、原稿台、光走査部、ＣＣＤ（charge coupled device)等を備えており、原稿台に載置された原稿画像を光走査部によって走査することで原稿画像を読み込んで画像データを生成する。また、上記デジタルカメラは、撮像レンズ、ＣＣＤ等（画像入力装置）を備えており、原稿画像、人物や風景等を撮影して画像データを生成する。なお、上記スキャナおよびデジタルカメラは、画像を適切に再現するために所定の画像処理（例えば各種補正処理等）を施す機能を有していてもよい。上記プリンタは、コンピュータ、スキャナ、デジタルカメラによって生成された画像データに基づく画像をシート（記録用紙）に印刷する。また、上記ファクシミリは、画像入力装置より読み込まれた画像データに対して、２値化処理、解像度変換処理、回転等の処理を行って所定の形式に圧縮した画像データを相手先に送信したり、相手先から送信されてきた画像データを伸張して画像出力装置の性能に応じて回転処理や解像度変換処理、中間調処理を施し、ページ単位の画像として出力したりする。また、上記複合機は、スキャナ機能、ファクシミリ送信機能、印刷機能（複写機能、プリンタ機能）のうちの少なくとも２つ以上を有するものである。また、上記コンピュータは、スキャナやデジタルカメラにより読み込まれた画像データに対して編集を行ったり、アプリケーションソフトウェアを用いて文書の作成を行ったりする。

画像処理システム１００では、上述した文書照合処理部１３の各部が、サーバー装置５０と、サーバー装置５０にネットワークを介して接続される画像処理装置とに分散して備えられている。そして、画像処理装置とサーバー装置５０とが協働して文書照合処理部１３の機能を実現するようになっている。

図２４は、文書照合処理部１３が有する機能が、サーバー装置５０とデジタルカラー複合機１とに分散して備えられている場合の一構成例を示すブロック図である。

図２４に示すように、デジタルカラー複合機１のカラー画像処理装置３は、前処理部３０、特徴点算出部３１および特徴量算出部３２を備えた文書照合処理部１３ａと、文書照合処理部１３ａの動作を制御する制御部７ａと、文書照合処理部１３ａの処理に必要な情報を記憶するメモリ８ａと、外部の装置との通信を行う通信装置５とを備えている。また、サーバー装置５０は、外部の装置との通信を行う通信装置５１、投票処理部３３、類似度判定処理部３４、および登録処理部３７を備えた文書照合処理部１３ｂと、文書照合処理部１３ｂを制御する制御部７ｂと、文書照合処理部１３ｂの処理に必要な情報を記憶するメモリ８ｂとを備えている。なお、デジタルカラー複合機１に備えられる各機能ブロックとサーバー装置５０に備えられる各機能ブロックとの間でデータの送受信が必要な場合には、制御部７ａおよび制御部７ｂが通信装置５および５１を制御して適宜データの送受信を行う。その他の機能については上述した構成と同様である。

また、図２４の例では、特徴量算出部３２の全部（特徴点抽出部３２ａ、不変量算出部３２ｂ、ハッシュ値算出部３２ｃ）がデジタルカラー複合機１に備えられているが、これに限らず、例えば図２５に示すように、特徴点抽出部３２ａおよび不変量算出部３２ｂをデジタルカラー複合機１に備える一方、ハッシュ値算出部３２ｃをサーバー装置５０に備えた構成としてもよい。

また、特徴量算出部３２の各部をサーバー装置５０に備えておき、特徴点算出部３１の算出した特徴点に関するデータをデジタルカラー複合機１からサーバー装置５０に送信し、サーバー装置５０に備えられる特徴量算出部３２がメモリ８ｂに格納されているハッシュテーブル１０３と受信した特徴点のデータとに基づいてハッシュ値を算出するようにしてもよい。また、特徴点算出部３１および特徴量算出部３２の各部をサーバー装置５０に備えておき、デジタルカラー複合機１からサーバー装置５０に入力画像データを送信し、サーバー装置５０に備えられる特徴点算出部３１および特徴量算出部３２がサーバー装置５０から受信した入力画像データとメモリ８ｂに格納されているハッシュテーブル１０３とに基づいてハッシュ値を算出するようにしてもよい。

また、上記の説明では、類似性の判定処理を行う場合の例について説明したが、登録処理を行う場合には、サーバー装置５０に備えられる登録処理部３７が、デジタルカラー複合機１から受信した原稿ＩＤとハッシュ値（あるいはサーバー装置５０に備えられるハッシュ値算出部３２ｃが算出したハッシュ値）とをメモリ８ｂに設けられたハッシュテーブル１０３に登録すればよい。なお、類似性判定処理を行うか登録処理を行うかは、デジタルカラー複合機１のユーザが操作パネル６を介して指定し、何れの処理を行うのかを示す信号をサーバー装置５０に送信するようにしてもよく、サーバー装置５０が類似性判定処理の結果、類似なしと判定した入力画像について登録処理を行うようにしてもよい。

なお、ハッシュ値算出部３２ｃをサーバー装置５０に備える場合、ハッシュテーブル１０３に格納されているハッシュ値の算出方法とは異なる方法で（別のハッシュ関数を用いて）ハッシュ値を算出し、算出したハッシュ値を採用してハッシュテーブル１０３を更新してもよい。これにより、例えば原稿画像の種類等に応じて特徴量（不変量）を参照した適切なハッシュ値をハッシュテーブル１０３に登録（更新）することができ、それを用いて投票処理を行えるので、照合精度（類似性の判定精度）を向上させることができる。

また、上記各実施形態において、デジタルカラー複合機１および／またはサーバー装置５０に備えられる文書照合処理部および制御部を構成する各部（各ブロック）は、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現される。すなわち、デジタルカラー複合機１および／またはサーバー装置５０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複合機１および／またはサーバー装置５０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複合機１および／またはサーバー装置５０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、デジタルカラー複合機１および／またはサーバー装置５０を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

また、デジタルカラー複合機１および／またはサーバー装置５０の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。

本発明のコンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記類似度算出処理や類似性判定処理など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ・液晶ディスプレイなどの画像表示装置、およびコンピュータの処理結果を紙などに出力するプリンタ等の画像形成訴追により構成されてもよい。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられていてもよい。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、入力画像データに含まれる特徴点を算出し、算出した特徴点同士の相対位置に基づいて上記入力画像データの特徴量を算出する画像処理装置に適用できる。

本発明の一実施形態にかかる画像処理装置に備えられる文書照合処理部の概略構成を示すブロック図である。 本発明の一実施形態にかかる画像処理装置の概略構成を示すブロック図である。 図１に示した文書照合処理部に備えられる前処理部の概略構成を示すブロック図である。 図３の前処理部で行われるエッジ検出処理の一例を説明するための説明図である。 図３の前処理部の処理で用いられる正接−角度テーブルの一例を示す説明図である。 図３の前処理部で行われるエッジ検出処理の一例を説明するための説明図である。 図３の前処理部で行われるエッジ検出処理に用いられるエッジ検知用フィルタの一例を示す説明図である。 図３の前処理部で行われるエッジ検出処理の一例を説明するための説明図である。 図３の前処理部で行われる傾き補正処理の一例を説明するための説明図である。 図３に示した前処理部のＭＴＦ処理部に備えられる混合フィルタのフィルタ係数の一例を示す説明図である。 図１に示した文書照合処理部に備えられる特徴点算出部の概略構成を示すブロック図である。 図１１に示した特徴点算出部に備えられる置換画像生成部によって生成される自己置換画像の一例を示す説明図である。 図１に示した文書照合処理部に備えられる特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の一例を示す説明図である。 （ａ）〜（ｃ）は、特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。 （ａ）〜（ｃ）は、特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。 （ａ）および（ｂ）は、図１に示した文書照合処理部において、ハッシュテーブルに登録されるハッシュ値および入力画像データを表すインデックスの一例を示す説明図である。 図１に示した文書照合処理部に備えられる投票処理部における、各登録画像に対する投票数の一例を示すグラフである。 図１に示した文書照合処理部における処理の流れを示すフロー図である。 図１に示した文書照合処理部に備えられる特徴点算出部における処理の流れを示すフロー図である。 入力画像データに縮小処理あるいは拡大処理が施されている場合の、部分画像およびこの部分画像から生成される自己置換画像の一例を示す説明図である。 （ａ）は２値画像データから抽出された部分画像の一例を示す説明図であり、（ｂ）は（ａ）に示した部分画像の縦軸鏡像置換画像を示す説明図である。 本発明の一実施形態にかかる画像処理装置の変形例を示すブロック図である。 本発明の一実施形態にかかる画像処理システムの構成を示す説明図である。 本発明の一実施形態にかかる画像処理システムの一構成例を示すブロック図である。 本発明の一実施形態にかかる画像処理システムの他の構成例を示すブロック図である。 （ａ）〜（ｄ）は、本発明の一実施形態にかかる画像処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。 （ａ）〜（ｄ）は、本発明の一実施形態にかかる画像処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。 部分画像の一例を示す説明図である。 部分画像の一例を示す説明図である。 部分画像の一例を示す説明図である。 （ａ）はカラー画像からなる入力画像データの一例を示す説明図であり、（ｂ）〜（ｄ）は（ａ）の画像データに対応するＲチャンネル、Ｇチャンネル、Ｂチャンネルの多値画像データを示す説明図である。

符号の説明

１ デジタルカラー複合機（画像処理装置、画像形成装置、画像読取装置、画像処理装置）
１’ フラットベッドスキャナ（画像処理装置、画像読取装置）
２ カラー画像入力装置（入力データ取得部、スキャナ装置）
３，３’ カラー画像処理装置（画像処理装置）
４ カラー画像出力装置（画像出力部）
５，５１ 通信装置（入力データ取得部、送信装置）
６ 操作パネル（処理入力部）
７，７ａ，７ｂ 制御部
８，８ａ，８ｂ メモリ（記憶部）
１３，１３ａ，１３ｂ 文書照合処理部（類似度算出部）
３０ 前処理部
３１ 特徴点算出部
３２ 特徴量算出部
３３ 投票処理部（類似度算出部）
３４ 類似度判定処理部
３７ 登録処理部
４１ 傾き検知部
４２ 傾き補正処理部
４３ 信号変換処理部
４４ 解像度変換部
４５ ＭＴＦ処理部
４６ パターン検知処理部（部分画像抽出部）
４７ 置換画像生成部
４８ 一致度算出部
４９ 一致度判定部（算出部）
５０ サーバー装置
１００ 画像処理システム
１０３ ハッシュテーブル

Claims (17)

1. 入力画像データに含まれる特徴点を検出する特徴点検出部と、上記特徴点検出部が検出した特徴点同士の相対位置に基づいて上記入力画像データの特徴量を算出する特徴量算出部とを備えた画像処理装置であって、
   上記特徴点検出部は、
   上記入力画像データから注目画素を含む複数の画素からなる部分画像を抽出する部分画像抽出部と、
   上記部分画像の縦軸鏡像置換画像、横軸鏡像置換画像、中心点対称置換画像、または対角鏡像置換画像である自己置換画像を生成する置換画像生成部と、
   上記部分画像と上記自己置換画像との相関値Ｓを算出する一致度算出部と、
   上記相関値Ｓと予め設定された閾値とを比較することで上記部分画像と上記自己置換画像とが一致するか否かを判定する一致度判定部と、
   上記一致度判定部が一致すると判定した部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを上記特徴点として検出する検出部とを備え、
   上記一致度算出部は、
   上記部分画像をＩ、上記自己置換画像をＴ、上記部分画像および上記自己置換画像の画素数をＮ、上記部分画像および上記自己置換画像における各画素の画素番号をｉとすると、
   

   

   に基づいて上記相関値Ｓを算出することを特徴とする画像処理装置。
2. 登録画像の特徴量を記憶した記憶部および通信可能に接続された外部装置から登録画像の特徴量を取得する登録画像取得部のうちの少なくとも一方と、
   上記特徴量算出部が算出した入力画像データの特徴量と登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出部とを備えていることを特徴とする請求項１に記載の画像処理装置。
3. 画像データの特徴量と画像データを識別するための識別情報とを記憶する記憶部と、
   上記特徴量算出部が上記入力画像データから算出した特徴量と、上記入力画像データを識別するための識別情報とを対応付けて上記記憶部に記憶させる登録処理部とを備えていることを特徴とする請求項１または２に記載の画像処理装置。
4. 上記部分画像に画像パターンが含まれているか否かを判定するパターン検知処理部を備え、
   上記置換画像生成部は、上記パターン検知処理部において画像パターンが含まれていると判定された部分画像について上記自己置換画像を生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 上記置換画像生成部は、各部分画像について複数種類の自己置換画像を生成し、
   上記一致度判定部は、上記部分画像とこの部分画像から得られる各自己置換画像とが一致するか否かをそれぞれ判定し、
   上記検出部は、上記部分画像が少なくとも１つの自己置換画像と一致する場合に、この部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを上記特徴点として検出することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 上記部分画像抽出部は、部分画像の抽出対象領域のサイズを異ならせることにより、複数種類の部分画像を抽出することを特徴とする請求項５に記載の画像処理装置。
7. 上記部分画像抽出部は、
   部分画像の抽出対象領域のサイズを第１サイズに設定して部分画像の抽出を行う第１抽出処理と、
   部分画像の抽出対象領域のサイズを上記第１サイズよりも大きい第２サイズに設定して部分画像の抽出を行う第２処理とを行い、
   上記第２処理を行う際、注目画素を中心とする第２サイズの抽出対象領域からこの注目画素を中心とする第１サイズの抽出対象領域を除外して部分画像の抽出を行うことを特徴とする請求項６に記載の画像処理装置。
8. 上記部分画像抽出部は、
   入力画像データにおける複数の色成分について色成分毎に部分画像の抽出を行うことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 上記入力画像データに含まれる原稿画像の傾き角度を検出する傾き検知部と、
   上記傾き検知部の検出した傾き角度に基づいて上記原稿画像の傾きを補正する傾き補正部とを備え、上記傾き補正後の入力画像データを上記部分画像抽出部に入力することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 入力画像データに対して平滑化処理を施す平滑化処理部を備え、
    上記特徴点検出部は、上記平滑化処理が施された入力画像データに基づいて上記特徴点を検出することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 請求項１から１０のいずれか１項に記載の画像処理装置と、入力画像データに応じた画像を記録材上に形成する画像出力部とを備えていることを特徴とする画像形成装置。
12. 請求項１から１０のいずれか１項に記載の画像処理装置と、入力画像データを通信可能に接続された他の装置に送信する送信装置とを備えていることを特徴とする画像送信装置。
13. 原稿画像を読み取って入力画像データを取得する画像入力装置と、
    請求項１から１０のいずれか１項に記載の画像処理装置とを備えていることを特徴とする画像読取装置。
14. 画像処理装置と、この画像処理装置に対して通信可能に接続されたサーバー装置とを備え、入力画像データに含まれる特徴点を検出する特徴点検出部と、上記特徴点検出部が検出した特徴点同士の相対位置に基づいて上記入力画像データの特徴量を算出する特徴量算出部とが上記画像処理装置または上記サーバー装置に備えられるか、あるいは上記画像処理装置と上記サーバー装置とに分散して備えられている画像処理システムであって、
    上記特徴点検出部は、
    上記入力画像データから注目画素を含む複数の画素からなる部分画像を抽出する部分画像抽出部と、
    上記部分画像の縦軸鏡像置換画像、横軸鏡像置換画像、中心点対称置換画像、または対角鏡像置換画像である自己置換画像を生成する置換画像生成部と、
    上記部分画像と上記自己置換画像との相関値Ｓを算出する一致度算出部と、
    上記相関値Ｓと予め設定された閾値とを比較することで上記部分画像と上記自己置換画像とが一致するか否かを判定する一致度判定部と、
    上記一致度判定部が一致すると判定した部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを上記特徴点として検出する検出部とを備え、
    上記一致度算出部は、
    上記部分画像をＩ、上記自己置換画像をＴ、上記部分画像および上記自己置換画像の画素数をＮ、上記部分画像および上記自己置換画像における各画素の画素番号をｉとすると、
    

    

    に基づいて上記相関値Ｓを算出することを特徴とする画像処理システム。
15. 入力画像データに含まれる特徴点を検出する特徴点検出工程と、上記特徴点検出工程で検出した特徴点同士の相対位置に基づいて上記入力画像データの特徴量を算出する特徴量算出工程とを含む画像処理方法であって、
    上記特徴点検出工程は、
    上記入力画像データから注目画素を含む複数の画素からなる部分画像を抽出する部分画像抽出工程と、
    上記部分画像の縦軸鏡像置換画像、横軸鏡像置換画像、中心点対称置換画像、または対角鏡像置換画像である自己置換画像を生成する置換画像生成工程と、
    上記部分画像と上記自己置換画像との相関値Ｓを算出する一致度算出工程と、
    上記相関値Ｓと予め設定された閾値とを比較することで上記部分画像と上記自己置換画像とが一致するか否かを判定する一致度判定工程と、
    上記一致度判定工程において一致すると判定された部分画像における注目画素、またはこの注目画素を含む複数の画素からなるブロックを上記特徴点として検出する検出工程とを含み、
    上記一致度算出工程では、
    上記部分画像をＩ、上記自己置換画像をＴ、上記部分画像および上記自己置換画像の画素数をＮ、上記部分画像および上記自己置換画像における各画素の画素番号をｉとすると、
    

    

    に基づいて上記相関値Ｓを算出することを特徴とする画像処理方法。
16. 請求項１から１０のいずれか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記特徴点検出部として機能させるためのプログラム。
17. 請求項１６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images