JP4393556B2 - 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体 - Google Patents

画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体 Download PDF

Info

Publication number
JP4393556B2
JP4393556B2 JP2008040439A JP2008040439A JP4393556B2 JP 4393556 B2 JP4393556 B2 JP 4393556B2 JP 2008040439 A JP2008040439 A JP 2008040439A JP 2008040439 A JP2008040439 A JP 2008040439A JP 4393556 B2 JP4393556 B2 JP 4393556B2
Authority
JP
Japan
Prior art keywords
image
feature
area
extracted
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008040439A
Other languages
English (en)
Other versions
JP2008252877A (ja
Inventor
淳寿 森本
雅和 大平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008040439A priority Critical patent/JP4393556B2/ja
Priority to US12/042,996 priority patent/US8055079B2/en
Priority to CN2008100820999A priority patent/CN101261684B/zh
Publication of JP2008252877A publication Critical patent/JP2008252877A/ja
Application granted granted Critical
Publication of JP4393556B2 publication Critical patent/JP4393556B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

本発明は、原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行う画像処理方法、画像処理装置、該画像処理装置を備える画像読取装置及び画像形成装置並びに前記画像処理装置を実現するためのコンピュータプログラム及び該コンピュータプログラムを記録したコンピュータでの読み取りが可能な記録媒体に関する。
スキャナで原稿を読み取り、原稿を読み取って得られた画像データを予め登録されている画像データと照合して、画像の類似度を判定する画像処理としては、例えば、ＯＣＲ（Optical Character Reader）で画像からキーワードを抽出し、抽出したキーワードにより画像の類似度を判定する方法、類似度の判定を行う画像を罫線のある帳票画像に限定して、罫線の特徴を抽出して画像の類似度を判定する方法などが提案されている。
しかし、これらの判定処理において、画像の類似度を精度良く判定するためには、読み取る原稿の傾きなどを事前に補正（スキュー補正）しておく必要があり、スキュー補正を行うことができない場合には、画像の類似度を精度良く判定できないという問題があった。また、画像の類似度を判定する場合の処理が複雑であるため、ハードウエアにより実現することが困難であった。類似度の判定処理を単純なアルゴリズムで実現する場合には、ハードウエアにより実現することが容易になるものの、判定精度を向上させることができず、また、スキュー又はノイズなどの外乱に対する耐性が不十分であるという問題があった。
そこで、非特許文献１には、原稿画像が回転した場合、登録画像には無い書込があった場合でも、精度良く類似度を判定することが可能な文書画像の類似度判定方法が提案されている。この方法は、原稿画像を二値化して連結成分を算出し、連結成分の重心を特徴点として求めておき、ある特徴点に対して周辺の特徴点を抽出し、抽出した特徴点から、例えば、３つの特徴点の組を選択して特徴点の距離の比を算出し、算出された複数の比に基づいてハッシュ関数等を用いて特徴量であるハッシュ値を算出する。このハッシュ値は、予め複数の原稿フォーマット（登録原稿）毎に原稿を表すインデックスに対応付けられてテーブルに格納されており、読み込まれた（読み取られた）原稿画像より算出されたハッシュ値に一致する原稿フォーマットに投票し、得られた得票数を閾値処理することにより原稿画像の照合を行うものである。特徴点として算出される重心は、ノイズなどの影響を受けにくく、原稿の回転、平行移動等が生じた場合でも、重心同士の相対的な位置関係は変化しないので、重心（特徴点）間の距離の比に基づく特徴量を用いて照合を行うことにより外乱に影響されにくい類似判定処理を実現することできる。
中居 友弘、他３名、「複比とハッシュに基づく文書画像検索」、電子情報通信学会技術研究報告、２００５年３月
しかしながら、非特許文献１の方法にあっては、原稿画像を二値化して連結成分を求めるようにしているので、原稿が文字で構成されるような文字原稿である場合には、連結成分を精度よく求めることができ、登録画像との照合を精度良く行うことができるものの、原稿画像が印刷写真又は連続階調領域よりなる印画紙写真などの写真原稿である場合には、原稿画像の濃度値が広い範囲で分布するため、原稿画像を単に二値化しただけでは連結成分の境界が不明瞭になり、精度良く連結成分を求めることができず、登録画像との照合精度が低下するという問題があった。
本発明は、斯かる事情に鑑みてなされたものであり、原稿画像の各画素の画素値に基づいて、画素値の範囲が異なる複数の階層画像を生成し、生成した階層画像毎に特徴点を抽出し、階層画像毎に抽出した特徴点に基づいて原稿画像の特徴量を算出することにより、写真が含まれる原稿であっても精度良く照合を行うことができる画像処理方法、画像処理装置、該画像処理装置を備える画像読取装置及び画像形成装置並びに前記画像処理装置を実現するためのコンピュータプログラム及び該コンピュータプログラムを記録したコンピュータでの読み取りが可能な記録媒体を提供することにある。
本発明に係る画像処理方法は、複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行う画像処理方法において、複数の登録画像それぞれに対応する特徴量を予め記憶しておき、原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成し、生成した階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、前記階層画像毎に抽出した特徴点に基づいて原稿画像の特徴量を算出し、算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする。
本発明に係る画像処理方法は、原稿画像の各画素の画素値に基づいて、少なくとも文字領域又は写真領域のいずれの領域であるかを判定し、写真領域であると判定した領域に対して、複数の階層画像を生成することを特徴とする。
本発明に係る画像処理方法は、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、領域毎に抽出した特徴点に基づいて原稿画像の特徴量を算出することを特徴とする。
本発明に係る画像処理方法は、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、抽出した特徴点に基づいて特徴量を領域毎に算出し、算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、投票して得られた得票数を領域毎に加算し、加算した得票数に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする。
本発明に係る画像処理方法は、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、抽出した特徴点に基づいて特徴量を領域毎に算出し、算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、投票して得られた得票数に基づいて、領域毎に原稿画像が登録画像に類似するか否かを判定し、領域毎に判定された判定結果に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする。
本発明に係る画像処理方法は、写真領域であると判定した領域に対して、前記複数の階層画像から特徴点を抽出し、抽出した特徴点に基づいて原稿画像の特徴量を算出することを特徴とする。
本発明に係る画像処理装置は、複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行う画像処理装置において、複数の登録画像それぞれに対応する特徴量を予め記憶する記憶手段と、原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成する生成手段と、該生成手段で生成された階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出する抽出手段と、該抽出手段で階層画像毎に抽出された特徴点に基づいて原稿画像の特徴量を算出する算出手段と、該算出手段で算出された特徴量と登録画像に対応する特徴量とが一致するか否かを判定する特徴量判定手段と、該特徴量判定手段で特徴量が一致すると判定された場合、一致した特徴量毎に該特徴量に対応する登録画像に投票する投票手段と、該投票手段で投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定する類似判定手段とを備えることを特徴とする。
本発明に係る画像処理装置は、原稿画像の各画素の画素値に基づいて、少なくとも文字領域又は写真領域のいずれの領域であるかを判定する領域判定手段を備え、前記生成手段は、前記領域判定手段で写真領域であると判定された領域に対して、複数の階層画像を生成するように構成してあることを特徴とする。
本発明に係る画像処理装置は、前記抽出手段は、前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、前記算出手段は、領域毎に抽出された特徴点に基づいて原稿画像の特徴量を算出するように構成してあることを特徴とする。
本発明に係る画像処理装置は、前記抽出手段は、前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、前記算出手段、特徴量判定手段及び投票手段は、領域毎にそれぞれの処理を行うように構成してあり、前記投票手段で領域毎に投票して得られた得票数を加算する加算手段を備え、前記類似判定手段は、前記加算手段で加算された得票数に基づいて、原稿画像が登録画像に類似するか否かを判定するように構成してあることを特徴とする。
本発明に係る画像処理装置は、前記抽出手段は、前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、前記算出手段、特徴量判定手段、投票手段及び類似判定手段は、領域毎にそれぞれの処理を行うように構成してあり、前記類似判定手段で領域毎に判定された判定結果に基づいて、原稿画像が登録画像に類似するか否かを判定する総合判定手段を備えることを特徴とする。
本発明に係る画像処理装置は、前記抽出手段は、前記領域判定手段で写真領域であると判定された領域に対して、前記複数の階層画像から特徴点を抽出するように構成してあり、前記算出手段は、前記抽出手段で抽出された特徴点に基づいて原稿画像の特徴量を算出するように構成してあることを特徴とする。
本発明に係る画像読取装置は、画像を読み取る画像読取手段と、該画像読取手段で読み取った画像を処理する画像処理装置とを備える画像読取装置において、前記画像処理装置は、前述の発明のいずれか１つに係る画像処理装置であることを特徴とする。
本発明に係る画像形成装置は、前述の発明のいずれか１つに係る画像処理装置と、該画像処理装置で処理された画像の形成を行う画像形成手段とを備えることを特徴とする。
本発明に係るコンピュータプログラムは、コンピュータに、複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行わせるためのコンピュータプログラムにおいて、コンピュータを、原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成させる手段と、生成された階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出させる手段と、前記階層画像毎に抽出された特徴点に基づいて原稿画像の特徴量を算出させる手段と、算出された特徴量と登録画像に対応する特徴量とが一致するか否かを判定させる手段と、特徴量が一致すると判定された場合、一致した特徴量毎に該特徴量に対応する登録画像に投票させる手段と、投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定させる手段として機能させることを特徴とする。
本発明に係るコンピュータでの読み取りが可能な記録媒体は、前述の発明に係るコンピュータプログラムを記録してあることを特徴とする。
本発明にあっては、原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成する。例えば、原稿画像の各画素の画素値として、各画素の濃度値（輝度値、明暗の値）を採用し、原稿画像に含まれる濃度値が、例えば、０〜２５５の２５６階調で表される場合、原稿画像を濃度値の範囲が０〜６３、６４〜１２７、１２８〜１９３、１９４〜２５５の異なる４つのレイヤーに分けて表現することにより、４つの階層画像を生成する。生成した各階層画像を二値化して得られた二値化画像で連結領域（連結成分）を特定し、特定した連結領域の重心を特徴点として抽出する。各階層画像で抽出された特徴点を合算し（階層画像毎に抽出された各特徴点を原稿画像上の特徴点として集める）、合算した特徴点の中から複数の特徴点を選択して、不変量としての特徴量（例えば、ハッシュ値）を算出する。算出した特徴量と予め記憶された複数の登録画像（原稿画像が類似するか否かを照合する画像）それぞれに対応する特徴量とが一致するか否かを判定する。特徴量が一致すると判定された場合、一致した特徴量毎に該特徴量に対応する登録画像に投票する。投票で得られた得票数に基づいて、例えば、ある登録画像の得票数が所定の閾値より大きい場合、原稿画像がその登録画像に類似すると判定し、得票数が所定の閾値より小さい場合には、原稿画像は登録画像に類似しないと判定する。特徴点を求めるための連結領域を特定する場合に、原稿画像を複数の階層画像に分けることで、原稿画像が連続階調で表現されるような写真画像の場合でも、階層画像毎に階調範囲を小さくして、連結領域を一層特定しやすくなり、連結領域の境界を明確化して特徴点の抽出を精度良く行うことができ、登録画像との照合精度が向上する。
また、本発明にあっては、原稿画像の各画素の画素値に基づいて、少なくとも文字領域又は写真領域のいずれの領域であるかを判定する。領域判定の方法は、どのような方法であってもよく、例えば、原稿画像を二値化した二値化画像で黒画素を膨張する処理を行うことにより、黒画素部（ラン）を求め、求めたランを連結して１つの領域として統合する。統合された領域に外接する矩形の大きさを求め、外接矩形の大きさから各矩形領域の画像種別（例えば、文字領域、写真領域）を判定する。写真領域であると判定した領域に対して、複数の階層画像を生成する。すなわち、文字領域と写真領域とが混在した原稿画像の場合、文字領域に対しては、階層画像に分けることなく連結領域を特定して特徴点を抽出し、抽出した特徴点に基づいて特徴量を算出する。一方、写真領域に対しては、原稿画像を複数の階層画像に分け、階層画像毎に連結領域を特定して特徴点を抽出し、各階層画像で抽出された特徴点を合算する。これにより、文字領域と写真領域とが混在した原稿画像であっても、連結領域を一層特定しやすくなり、連結領域の境界を明確化して特徴点の抽出を精度良く行うことができ、登録画像との照合精度が向上する。
また、本発明にあっては、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出する。写真領域であると判定した領域に対して、階層画像毎に特徴点を抽出する。文字領域及び写真領域それぞれで抽出された特徴点を合算して１つの原稿画像全体の特徴点を求め、求めた特徴点に基づいて原稿画像の特徴量を算出する。これにより、文字領域と写真領域とが混在した原稿画像であっても、精度良く特徴点の抽出を行うことができる。
また、本発明にあっては、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出する。写真領域であると判定した領域に対して、階層画像毎に特徴点を抽出し、階層画像毎に抽出した特徴点を合算する。文字領域及び写真領域それぞれの特徴点に基づいて、領域毎に特徴量を算出し、算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定する。特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、投票して得られた得票数を領域毎に加算する。加算した得票数に基づいて、原稿画像が登録画像に類似するか否かを判定する。これにより、文字領域と写真領域とが混在した原稿画像であっても、領域毎に投票処理を行って精度良く登録画像との照合を行うことができる。また、文字領域、写真領域それぞれについて位置情報を求めることができるので、これらの情報と登録画像とを対応付けて格納しておき、領域毎に特徴量を抽出して投票を行う場合、これらの位置情報も参照して原稿画像が登録画像に類似するか否かを判定することができる。
また、本発明にあっては、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出する。写真領域であると判定した領域に対して、階層画像毎に特徴点を抽出し、階層画像毎に抽出した特徴点を合算する。文字領域及び写真領域それぞれの特徴点に基づいて、領域毎に特徴量を算出し、算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定する。特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、投票して得られた得票数に基づいて、領域毎に原稿画像が登録画像に類似するか否かを判定する。領域毎に判定された判定結果に基づいて、原稿画像が登録画像に類似するか否かを判定する。これにより、文字領域と写真領域とが混在した原稿画像であっても、領域毎に原稿画像が登録画像に類似するか否かを判定し、その判定結果に基づいて最終的に原稿画像が登録画像に類似するか否かを判定して、精度良く登録画像との照合を行うことができる。また、この場合も上記と同様に、文字領域、写真領域それぞれについて位置情報を求めることができるので、これらの情報と登録画像とを対応付けて格納しておき、領域毎に特徴量を抽出して投票を行う場合、これらの位置情報も参照して原稿画像が登録画像に類似するか否かを判定することができる。さらに、文字領域と写真領域の判定結果に対して、重みを付けて判定するようにしても良い。例えば、文字領域と写真領域が占める割合を求め、この割合を比率として用いるようにしても良い。
また、本発明にあっては、写真領域であると判定した領域に対して、複数の階層画像（レイヤー）それぞれから特徴点を抽出し、抽出した特徴点に基づいて原稿画像の特徴量を算出する。例えば、注目特徴点が存在するレイヤーのみならず、隣接するレイヤーも含めて注目特徴点に近い周辺特徴点を抽出して特徴量を算出する。これにより、同じレイヤー上では特徴量が同じであってもレイヤーが異なると特徴量が異なり得るので、原稿画像の照合精度を一層向上させることができる。
本発明にあっては、原稿画像が連続階調で表現されるような写真画像の場合でも、階層画像毎に階調範囲を小さくして、連結領域を一層特定しやすくなり、連結領域の境界を明確化して特徴点の抽出を精度良く行うことができ、登録画像との照合精度が向上する。また、文字領域と写真領域とが混在した原稿画像であっても、精度良く登録画像との照合を行うことができる。
実施の形態１
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る画像処理装置を備える画像形成装置１００の構成を示すブロック図である。画像形成装置１００（例えば、デジタルカラー複写機や複合機能、プリンタ機能、ファイリング機能、ファックス又は電子メール配信機能を備えた複合機）は、カラー画像入力装置１、カラー画像処理装置２（画像処理装置）、画像形成手段としてのカラー画像出力装置３、各種操作を行うための操作パネル４などを備える。カラー画像入力装置１で原稿を読み込む（読み取る）ことにより得られたＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号の画像データは、カラー画像処理装置２へ出力され、カラー画像処理装置２で所定の処理が行われ、ＣＭＹＫ（Ｃ：シアン、Ｍ：マゼンダ、Ｙ：イエロー、Ｋ：黒）のデジタルカラー信号としてカラー画像出力装置３へ出力される。
カラー画像入力装置１は、例えば、ＣＣＤ（Charged Coupled Device）を備えたスキャナであり、原稿画像からの反射光像をＲＧＢのアナログ信号として読み取り、読み取ったＲＧＢ信号をカラー画像処理装置２へ出力する。また、カラー画像出力装置３は、原稿画像の画像データを記録紙上に出力する電子写真方式又はインクジェット方式などのプリンタである。また、カラー画像出力装置３は、ディスプレイ等の表示装置であってもよい。
カラー画像処理装置２は、後述する各処理部を備え、ＡＳＩＣ（Application Specific Integrated Circuit）などにより構成される。
Ａ／Ｄ変換部２０は、カラー画像入力装置１から入力されたＲＧＢ信号を、例えば、１０ビットのデジタル信号に変換し、変換後のＲＧＢ信号をシェーディング補正部２１へ出力する。
シェーディング補正部２１は、入力されたＲＧＢ信号に対して、カラー画像入力装置１の照明系、結像系、撮像系などで生じた各種の歪みを取り除く補正処理を行い、補正後のＲＧＢ信号を入力階調補正部２２へ出力する。
入力階調補正部２２は、入力されたＲＧＢ信号（ＲＧＢの反射率信号）に対して、カラーバランスを整える処理を行うとともに、下地濃度の除去又はコントラストなど画質調整処理を施す。また、入力階調補正部２２は、濃度信号などカラー画像処理装置２で採用されている画像処理システムが扱い易い信号に変換する処理を行い、処理後のＲＧＢ信号を領域認識処理部２３、及び領域分離処理部２４へ出力する。
領域認識処理部２３は、二値化処理部、ラン膨張処理部、ラベリング処理部、外接矩形抽出処理部、判定部（いずれも不図示）などの各処理部を備えている。領域認識処理部２３は、入力画像データに対して二値化処理を行って二値化画像を生成する。領域認識処理部２３は、ラン膨脹処理部で二値化画像の黒画素を膨脹する処理を行って黒画素部（ラン）を求め、ラン膨張信号をラベリング処理部へ出力する。ラン膨脹処理部から出力されたラン膨脹信号は、ラベリング処理部に入力され、ラベリング処理部では、ラン膨張信号をもとに連結するランを１つの領域として統合（ラベリング）し、その統合された領域の特徴を示す信号を外接矩形処理部へ出力する。
領域認識処理部２３は、外接矩形処理部でラベリングされたそれぞれの領域に外接する矩形の大きさが求められ、その結果が判定部へ出力される。領域認識処理部２３は、判定部で、外接矩形の大きさから各矩形領域の画像種別、例えば、文字領域であるか、又は写真領域であるかの判定を行い、判定結果である領域判定信号を文書照合処理部２５などへ出力する。
なお、領域認識処理部２３は、写真領域であると判定する際に、下地領域の有無の判定を併せて行う。例えば、領域認識処理部２３は、写真領域であると判定した領域に対して、さらに、ヒストグラム情報を基に下地領域の有無の判定を行う。例えば、下地と判断される濃度値の最小値以上の濃度領域において、下地と判断される画素数の最小値以上の領域を下地領域であると判定することができる。下地領域であると判定された領域に対して、下地除去の処理を行うことができる。なお、判定結果は、領域判定信号として出力される。また、下地領域であると判断される濃度値の最小値、下地領域であると判断される画素数の最小値は、種々の画像サンプルを用いて下地領域が適切に判定される値を適宜設定することができる。
領域分離処理部２４は、入力されたＲＧＢ信号に基づき、入力された画像中の各画素が、文字領域、網点領域、写真領域の何れであるかを分離する。領域分離処理部２４は、分離結果に基づいて、各画素がどの領域に属しているかを示す領域識別信号を色補正部２６、黒生成下色除去部２７、空間フィルタ処理部２８、階調再現処理部２９へ出力する。また、領域分離処理部２４は、入力されたＲＧＢ信号をそのまま後段の文書照合処理部２５へ出力する。なお、領域分離処理部２４と領域認識処理部２３とを統合してもよく、あるいは、領域分離処理部２４に代えて領域認識処理部２３を設ける構成であってもよい。
文書照合処理部２５は、入力された画像を二値化し、二値画像に基づいて特定された連結領域の特徴点を算出し、その結果を用いて入力された画像（原稿画像）と予め登録されている登録画像（文書画像を含む）との類似度を判定する。文書照合処理部２５は、画像が類似していると判定した場合、予め設定されている類似原稿に対する処理を特定した分類信号を出力して、所定の処理を行う。例えば、類似原稿であると判定された場合、その原稿の出力をキャンセルすること、その原稿の複写を禁止すること、その原稿を所定のフォルダにファイルすることなどの処理を行う。このように、画像（文書画像を含む）の照合とともに、照合結果に応じた処理を行うことができる。また、文書照合処理部２５は、入力されたＲＧＢ信号をそのまま後段の色補正部２６へ出力する。
なお、原稿画像とは、スキャナで原稿画像を読み取って得られた原稿画像、コンピュータを用いて所定書式のデータに必要事項を書き込んで作成した電子データ形式の原稿画像、スキャナで読みとられたデータをＪＰＥＧ等の所定のファイルフォーマットに変換して作成した電子化データなどを意味している。
色補正部２６は、入力されたＲＧＢ信号をＣＭＹの色空間に変換し、カラー画像出力装置３の特性に合わせて色補正を行い、補正後のＣＭＹ信号を黒生成下色除去部２７へ出力する。具体的には、色補正部２６は、色再現の忠実化のため、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行う。
黒生成下色除去部２７は、色補正部２６から入力されたＣＭＹ信号に基づいて、Ｋ（黒）信号を生成するとともに、入力されたＣＭＹ信号からＫ信号を差し引いて新たなＣＭＹ信号を生成し、生成したＣＭＹＫ信号を空間フィルタ処理部２８へ出力する。
黒生成下色除去部２７における処理の一例を示す。例えば、スケルトンブラックによる黒生成を行う処理の場合、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）とし、入力されるデータをＣ、Ｍ、Ｙとし、出力されるデータをＣ′、Ｍ′、Ｙ′、Ｋ′とし、ＵＣＲ（Under Color Removal）率をα（０＜α＜１）とすると、黒生成下色除去処理により出力
されるデータ夫々は、Ｋ′＝ｆ｛ｍｉｎ（Ｃ、Ｍ、Ｙ）｝、Ｃ′＝Ｃ−αＫ′、Ｍ′＝Ｍ−αＫ′、Ｙ′＝Ｙ−αＫ′で表される。
空間フィルタ処理部２８は、黒生成下色除去部２７から入力されたＣＭＹＫ信号に対して、領域識別信号に基づいたデジタルフィルタによる空間フィルタ処理を行う。これにより、画像データの空間周波数特性が補正され、カラー画像出力装置３における出力画像のぼやけ、又は粒状性劣化を防止する。例えば、空間フィルタ処理部２８は、領域分離処理部２４において文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、鮮鋭強調処理を施し高周波成分を強調する。また、空間フィルタ処理部２８は、領域分離処理部２４において網点領域に分離された領域を、入力網点成分を除去するためのローパス・フィルタ処理を施す。空間フィルタ処理部２８は、処理後のＣＭＹＫ信号を階調再現処理部２９へ出力する。
階調再現処理部２９は、領域分離処理部２４から入力された領域識別信号に基づいて、空間フィルタ処理部２８から入力されたＣＭＹＫ信号に対して所定の処理を行う。例えば、階調再現処理部２９は、文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、カラー画像出力装置３における高周波成分の再現に適するように二値化処理又は多値化処理を行う。
また、階調再現処理部２９は、領域分離処理部２４において網点領域に分離された領域を、最終的に画像を画素に分離して、それぞれの階調を再現できるように階調再現処理（中間調生成）を行う。さらに、階調再現処理部２９は、領域分離処理部２４において写真領域に分離された領域を、カラー画像出力装置３における階調再現性に適するように二値化処理又は多値化処理を行う。
操作パネル４は、例えば、液晶ディスプレイ等の表示部と設定ボタン等の操作部とが一体化されたタッチパネル等により構成され、操作パネル４より入力された情報に基づいてカラー画像入力装置１、カラー画像処理装置２、カラー画像出力装置３の動作が制御される。なお、以上の各処理は、図示していないＣＰＵ（Central Processing Unit：制御手
段）により制御される。
カラー画像処理装置２は、階調再現処理部２９で処理された画像データ（ＣＭＹＫ信号）を記憶部（不図示）に一旦記憶し、画像形成をする所定のタイミングで記憶部に記憶した画像データを読み出し、読み出した画像データをカラー画像出力装置３へ出力する。これらの制御は、例えば、ＣＰＵ（不図示）により行われる。
図２は文書照合処理部２５の構成を示すブロック図である。文書照合処理部２５は、レイヤー分離部２５１、特徴点算出部２５２、特徴量算出部２５３、投票処理部２５４、類似度判定処理部２５５、メモリ２５６、前記各部を制御する制御部２５７などを備えている。
レイヤー分離部２５１は、制御部２５７へ入力される領域判定信号に基づいて行われる制御部２５７の制御のもと、入力された画像（原稿画像）のうち、文字領域と判定された領域の原稿画像を後段の特徴点算出部２５２へ出力する。また、レイヤー分離部２５１は、入力された画像（原稿画像）のうち、写真領域と判定された領域の原稿画像の各画素の濃度値（輝度値、明暗の値などでもよい）が、例えば、０〜２５５の２５６階調で表される場合、原稿画像を濃度値の範囲が０〜６３、６４〜１２７、１２８〜１９３、１９４〜２５５の異なる４つのレイヤーに分けて表現することにより、４つのレイヤー（階層画像）を生成し、生成した階層画像を特徴点算出部２５２へ出力する。なお、分離するレイヤーは４つに限定されるものではなく、他の数であってもよい。
特徴点算出部２５２は、入力された画像（例えば、文字領域と判定された画像、写真領域と判定された複数の階層画像など）に対して後述する所定の処理を行うとともに、入力された画像を二値化し、二値画像に基づいて特定された連結領域の特徴点（例えば、連結領域を構成する各画素の二値画像における座標値を累積加算し、累積加算した座標値を連結領域に含まれる画素数で除算した値）を抽出（算出）し、抽出した特徴点を特徴量算出部２５３へ出力する。なお、特徴点算出部２５２は、文字領域及び写真領域であると判定された領域に対して特徴点の抽出を行い、下地領域であると判定された領域に対しては、特徴点の抽出を行わない。
図３は特徴点算出部２５２の構成を示すブロック図である。特徴点算出部２５２は、無彩化処理部２５２０、解像度変換部２５２１、フィルタ処理部２５２２、二値化処理部２５２３、重心算出部２５２４などを備えている。
無彩化処理部２５２０は、入力された画像がカラー画像である場合、カラー画像を無彩化して、輝度信号又は明度信号に変換し、変換後の画像を解像度変換部２５２１へ出力する。例えば、輝度信号Ｙは、各画素ＲＧＢの色成分を夫々Ｒｊ、Ｇｊ、Ｂｊとし、各画素の輝度信号をＹｊとして、Ｙｊ＝０．３０×Ｒｊ＋０．５９×Ｇｊ＋０．１１×Ｂｊで表すことができる。なお、上式に限らず、ＲＧＢ信号をＣＩＥ１９７６Ｌ* ａ* ｂ* 信号に変換することもできる。
解像度変換部２５２１は、入力された画像がカラー画像入力装置１で光学的に変倍された場合であっても、所定の解像度になるように入力された画像を再度変倍し、変倍された画像をフィルタ処理部２５２２へ出力する。これにより、カラー画像入力装置１で変倍処理が行われ解像度が変化した場合であっても、その影響を受けることなく特徴点の抽出を行うことができ、精度良く画像の類似度を判定することができる。特に、縮小された文字などの場合、二値化処理を行って連結領域を特定するとき、文字が潰れているために本来離れている領域が繋がった状態で特定され、算出される重心がずれる虞を防止できる。また、解像度変換部２５２１は、カラー画像入力装置１で等倍時に読み込まれる解像度よりも小さい解像度に変換する。例えば、カラー画像入力装置１において６００ｄｐｉ（dot per inch）で読み込まれた画像を３００ｄｐｉに変換する。これにより、後段における処理量を低減することができる。
フィルタ処理部２５２２は、入力された画像が有する空間周波数特性を補正し（例えば、画像の強調化処理及び平滑化処理など）、補正後の画像を二値化処理部２５２３へ出力する。フィルタ処理部２５２２は、カラー画像入力装置１の空間周波数特性が機種ごとに異なるため、異なる空間周波数特性を所要の特性に補正する。カラー画像入力装置１が出力する画像（例えば、画像信号）には、レンズ又はミラーなどの光学系部品、ＣＣＤの受光面のアパーチャ開口度、転送効率、残像、物理的な走査による積分効果及び走査むら等に起因して画像のぼけなどの劣化が生ずる。フィルタ処理部２５２２は、境界又はエッジなどの強調処理を行うことにより、画像に生じたぼけなどの劣化を修復する。また、フィルタ処理部２５２２は、後段で処理される特徴点の抽出処理に不要な高周波成分を抑制するための平滑化処理を行う。これにより、特徴点を精度良く抽出することができ、結果として画像の類似度の判定を精度良く行うことが可能となる。
二値化処理部２５２３は、入力された画像の濃度値、輝度値（輝度信号）又は明度値（明度信号）を閾値と比較することにより画像を二値化し、二値化した二値画像を重心算出部２５２４へ出力する。
重心算出部２５２４は、二値化処理部２５２３から入力された二値画像の各画素の二値化情報（例えば、「１」、「０」で表される）に基づいて、各画素に対してラベリング（ラベル付け処理）を行い、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出し、抽出した特徴点を特徴量算出部２５３へ出力する。なお、特徴点は、二値画像における座標値（ｘ座標、ｙ座標）で表すことができる。
図４は連結領域の特徴点の例を示す説明図である。図において、特定された連結領域は、文字「Ａ」であり、同一ラベルが付された画素の集合として特定される。この文字「Ａ」の特徴点（重心）は、図中黒丸で示される位置（ｘ座標、ｙ座標）となる。
図５は文字列に対する特徴点の抽出結果の例を示す説明図である。複数の文字から構成される文字列の場合、文字の種類により夫々異なる座標を有する特徴点が複数抽出される。
図６は写真領域の特徴点の例を示す説明図である。図６（ａ）に示すように、写真領域であると判定された原稿画像は、図６（ｂ）に示すように、例えば、画像の濃度値に基づいて、濃度値の範囲が０〜６３のレイヤー１、濃度値の範囲が６４〜１２７のレイヤー２、濃度値の範囲が１２８〜１９３のレイヤー３、濃度値の範囲が１９４〜２５５のレイヤー４の４つのレイヤー（階層画像）に分けられる。図６（ｃ）に示すように、レイヤー１〜４それぞれに対して特徴点が抽出される。図６（ｄ）に示すように、各レイヤー１〜４で抽出された特徴点を合算（レイヤー毎に抽出された各特徴点を原稿画像上の特徴点として集める）して原稿画像の特徴点として抽出する。原稿画像を濃度値の範囲に応じて複数のレイヤー（階層画像）に分けることで、原稿画像が連続階調で表現されるような写真画像の場合でも、１つのレイヤー（階層画像）に含まれる濃度値の範囲（階調範囲）を小さくして、連結領域を一層特定しやすくし、連結領域の境界を明確化して特徴点の抽出を精度良く行うことができる。
なお、原稿画像をレイヤーに分ける場合に、原稿画像の濃度値を上述のとおり均等に分ける方法に限定する必要はなく、原稿画像が有する濃度ヒストグラムに応じてレイヤーをわける濃度値の範囲を適宜可変して設定することができる。
図７はレイヤーの分離方法の他の例を示す説明図である。図７は横軸が濃度値、縦軸が度数（頻度）であり、ある原稿画像の濃度ヒストグラムを示す。図に示すように、濃度値が極小になる部分（矢印）でレイヤーに分けるための濃度範囲を設定することができる。これにより、原稿画像の濃度分布にかかわらず、各レイヤーで一層精度よく連結領域を特定することができ、特徴点の抽出精度が向上する。
特徴点算出部２５２は、文字領域及び写真領域毎に抽出した特徴点を合算し、合算した特徴点を特徴量算出部２５３へ出力する。
特徴量算出部２５３は、特徴点算出部２５２から入力された特徴点（すなわち、連結領域の重心の座標値）夫々を注目特徴点とし、例えば、注目特徴点からの距離が小さい周辺の他の特徴点を４つ抽出する。
図８は注目特徴点と周辺の特徴点を示す説明図である。図に示すように、注目特徴点Ｐ１に対して、例えば、注目特徴点Ｐ１からの距離が近い順に、閉曲線Ｓ１で囲まれる４つの特徴点を抽出する（注目特徴点Ｐ１に対しては、注目特徴点Ｐ２も１つの特徴点として抽出されている）。また、注目特徴点Ｐ２に対して、例えば、上記と同様に注目特徴点Ｐ２からの距離が近い順に、閉曲線Ｓ２で囲まれる４つの特徴点を抽出する（注目特徴点Ｐ２に対しては、注目特徴点Ｐ１も１つの特徴点として抽出されている）。
特徴量算出部２５３は、抽出した４つの特徴点の中から３つの特徴点を選択して、不変量を算出する。なお、選択する特徴点は３つに限られるものではなく、４つ、５つなどの特徴点を選択することもできる。求めたい不変量の種類によって選択すべき特徴点の数が異なる。例えば、３点から求められる不変量は相似不変量となる。
図９は注目特徴点Ｐ１による不変量の算出例を示す説明図であり、図１０は注目特徴点Ｐ２による不変量の算出例を示す説明図である。図９に示すように、注目特徴点Ｐ１の周辺の４つの特徴点から３つの特徴点を選択し、３通りの不変量夫々をＨ１ｊ（ｊ＝１、２、３）とする。不変量Ｈ１ｊは、Ｈ１ｊ＝Ａ１ｊ／Ｂ１ｊで表される式で算出する。ここで、Ａ１ｊ、Ｂ１ｊ夫々は特徴点間の距離を示しており、特徴点間の距離は、各周辺特徴点の座標値に基づいて算出される。これにより、例えば、原稿が回転、移動、傾いた場合であっても、不変量Ｈ１ｊは変化せず、画像の類似度の判定を精度良く行うことができる。
同様に、図１０に示すように、注目特徴点Ｐ２の周辺の４つの特徴点から３つの特徴点を選択し、３通りの不変量夫々をＨ２ｊ（ｊ＝１、２、３）とする。不変量Ｈ２ｊは、Ｈ２ｊ＝Ａ２ｊ／Ｂ２ｊで表される式で算出する。ここで、Ａ２ｊ、Ｂ２ｊ夫々は特徴点間の距離を示しており、上記と同様に特徴点間の距離は、各周辺特徴点の座標値に基づいて算出される。以下同様に、他の注目特徴点に対して不変量を算出することができる。
特徴量算出部２５３は、夫々の注目特徴点により算出された不変量に基づいて、ハッシュ値（特徴量）Ｈｉを算出する。注目特徴点Ｐｉのハッシュ値Ｈｉは、Ｈｉ＝（Ｈｉ１×１０2 ＋Ｈｉ２×１０1 ＋Ｈｉ３×１０0 ）／Ｅで表される。ここで、Ｅは余りをどの程度設定するかにより決定される定数であり、例えば、「１０」とした場合には、余りは「０」〜「９」となり、これが算出するハッシュ値の取り得る範囲となる。また、ｉは自然数であり特徴点の数を表している。
図１１は注目特徴点Ｐ３による不変量の算出の他の例を示す説明図であり、図１２は注目特徴点Ｐ４による不変量の算出の他の例を示す説明図である。図１１に示すように、注目特徴点Ｐ３の周辺特徴点Ｐ１、Ｐ２、Ｐ４、Ｐ５の４点より４通りの組み合わせを選択し、不変量Ｈ３ｊ（ｊ＝１、２、３、４）を前述の場合と同様に、Ｈ３ｊ＝（Ａ３ｊ／Ｂ３ｊ）により算出してもよい。
また、図１２に示すように、注目特徴点Ｐ４の周辺特徴点Ｐ２、Ｐ３、Ｐ５、Ｐ６の４点より４通りの組み合わせを選択し、不変量Ｈ４ｊ（ｊ＝１、２、３、４）を前述の場合と同様に、Ｈ４ｊ＝（Ａ４ｊ／Ｂ４ｊ）により算出してもよい。図１１及び図１２の例の場合、注目特徴点Ｐｉのハッシュ値Ｈｉは、Ｈｉ＝（Ｈｉ１×１０3 ＋Ｈｉ２×１０2 ＋Ｈｉ３×１０1 ＋Ｈｉ４×１０0 ）／Ｅで算出することができる。なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。上記では、周辺の他の特徴点として４点を抽出する例を示しているが、４点に限定されるものではない。例えば、６点抽出するようにしても良い。この場合、６点の特徴点から５点を抽出し、５点を抽出する６通りそれぞれの方法について、５点から３点を抽出して不変量を求め、ハッシュ値を算出するようにしても良い。
図１３はハッシュテーブルの構造を示す説明図である。図１３（a）に示すように、ハ
ッシュテーブルの構造は、ハッシュ値及び原稿を表すインデックスの各欄により構成されている。より具体的には、原稿を示すインデックスに対応して、原稿中の位置を示すポイントインデックス、及び不変量が登録されている。画像の類似度を判定するため、予め照合する画像・文書画像などをハッシュテーブルに登録しておく。ハッシュテーブルはメモリ２５６に記憶してある。なお、図１３（ｂ）に示すように、ハッシュ値が等しい場合（Ｈ１＝Ｈ５）、ハッシュテーブルの２つのエントリを１つにまとめることもできる。
投票処理部２５４は、特徴量算出部２５３が算出したハッシュ値（特徴量）に基づいて、メモリ２５６に記憶されたハッシュテーブルを検索し、ハッシュ値に登録されている（対応する）インデックスの原稿（登録画像）について投票する。投票を累積加算した結果を類似度判定処理部２５５へ出力する。
類似度判定処理部２５５は、投票処理部２５４から入力された投票結果に基づいて、読み取られた原稿画像がいずれの登録画像（登録フォーマット）に類似するかを判定し、判定結果を出力する。より具体的には、類似度判定処理部２５５は、投票処理部２５４から入力された得票数を原稿画像の最大得票数（特徴点の数×１つの特徴点から算出されるハッシュ値の数で表される）で除算して正規化した類似度を算出する。類似度判定処理部２５５は、算出した類似度と予め定めた閾値Ｔｈ（例えば、０．８）とを比較し、類似度が閾値Ｔｈ以上である場合には、その類似度が算出された登録画像に類似すると判定し、類似度が閾値Ｔｈより小さい場合には、原稿画像に類似する登録画像はないと判定して、その判定結果を出力する。なお、投票処理部２５４から入力された得票数を予め定めた閾値と比較し、得票数が閾値以上であれば、原稿画像が予め登録された登録画像に類似すると判定し、さらに類似と判定された中で最も得票数の高い登録フォーマットが原稿画像に一致すると判定することもできる。
図１４は投票結果に基づく類似判定の一例を示す説明図である。図１４に示すように、原稿画像から算出されたハッシュ値毎にハッシュテーブルを検索して投票した結果、原稿を表すインデックスがＩＤ１、ＩＤ２、ＩＤ３で示される登録画像に対して投票されたとする。投票の結果得られたそれぞれの得票数を原稿画像の最大得票数で除算して正規化した類似度Ｎ１、Ｎ２、Ｎ３を算出する。算出した類似度が閾値Ｔｈ以上であるのは、原稿を表すインデックスがＩＤ１で示される登録フォーマットであるため、原稿画像は、原稿を表すインデックスＩＤ１の登録画像に類似すると判定される。
なお、文書照合処理部２５が出力する判定信号に基づいて、所定の処理、例えば、原稿画像が登録画像に類似すると判定された場合には、複写、ファックス送信、電子メール送信を禁止してセキュリティの向上を図ることができ、あるいは、予め指定されたフォルダに保存することで、セキュリティレベルに応じた電子ファイルシステムを構築することができる。
また、原稿画像の登録を行う場合は、例えば、画像形成装置１００の操作パネル４より原稿登録モードを選択して行う。原稿登録モードが選択されているか否かは制御部２５７により判定される。原稿登録モードが選択されていない場合は、通常の複写、ファイリング、電子メール送信動作等を行う。なお、原稿登録処理は、文書照合処理部２５などの専用のハードウエア回路で構成するだけでなく、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えたパーソナルコンピュータに、原稿登録処理の手順を定めたコンピュータプログラムをロードすることによりＣＰＵでコンピュータプログラムを実行させることにより行うこともできる。
図１５は本発明に係る画像読取装置５００の構成を示すブロック図である。図に示すように、画像読取装置５００は、カラー画像入力装置１、カラー画像処理装置２、操作パネル４などを備え、カラー画像処理装置２は、Ａ／Ｄ変換部２０、シェーディング補正部２１、入力階調補正部２２、領域認識処理部２３、領域分離処理部２４、文書照合処理部２５などを備えている。カラー画像入力装置１、Ａ／Ｄ変換部２０、シェーディング補正部２１、入力階調補正部２２、領域認識処理部２３、領域分離処理部２４、文書照合処理部２５、操作パネル４は、上述の画像形成装置１００の場合と同様であるので説明は省略する。
次にカラー画像処理装置２の動作について説明する。図１６はカラー画像処理装置２（以下、処理部という）の文書照合処理の手順を示すフローチャートである。なお、文書照合処理は、専用のハードウエア回路で構成するだけでなく、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えたパーソナルコンピュータに、文書照合処理の手順を定めたコンピュータプログラムをロードすることによりＣＰＵでコンピュータプログラムを実行させることにより行うこともできる。
処理部は、原稿の読み込みを行い（Ｓ１１）、原稿画像を取得する。なお、原稿画像は、スキャナで原稿を読み込むことにより取得することもでき、あるいは、電子データのフォーマットに、コンピュータを用いて文字、記号、図表、写真等を入力して作成される電子データとして取得することもできる。
処理部は、原稿画像の領域判定を行い（Ｓ１２）、文字領域である場合（Ｓ１２で文字領域）、原稿画像のうち文字領域であると判定された領域で特徴点を抽出する（Ｓ１３）。一方、写真領域である場合（Ｓ１２で写真領域）、処理部は、原稿画像のうち写真領域であると判定された領域をレイヤーに分離する（Ｓ１４）。
処理部は、レイヤー毎に特徴点を抽出し（Ｓ１５）、レイヤー毎に抽出された特徴点を合算する（Ｓ１６）。処理部は、文字領域の特徴点と写真領域の特徴点とを合算し（Ｓ１７）、合算した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量（ハッシュ値）を算出する（Ｓ１８）。
処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する（Ｓ１９）。処理部は、投票により得られた得票数を原稿画像の最大得票数（特徴点の数×１つの特徴点から算出されるハッシュ値の数で表される）で除算して正規化した類似度を算出する（Ｓ２０）。
処理部は、算出した類似度と予め定めた閾値Ｔｈとを比較し、類似度が閾値Ｔｈ以上である場合には、その類似度が算出された登録画像に類似すると判定し、類似度が閾値Ｔｈより小さい場合には、原稿画像に類似する登録画像はないと判定して、判定信号を出力し（Ｓ２１）、処理を終了する。なお、原稿画像が複数ある場合には、上述の処理を繰り返して行うことはいうまでもない。
実施の形態２
上述の実施の形態１では、文字領域で抽出された特徴点と写真領域で抽出された特徴点とを合算する構成であったが、これに限定されるものではない。例えば、文字領域及び写真領域それぞれで投票処理を行い、領域毎に得られた得票数を加算して原稿画像と登録画像との類似度を算出する構成とすることもできる。
図１７は実施の形態２の文書照合処理の手順を示すフローチャートである。処理部は、原稿の読み込みを行い（Ｓ３１）、原稿画像を取得する。処理部は、原稿画像の領域判定を行い（Ｓ３２）、文字領域である場合（Ｓ３２で文字領域）、原稿画像のうち文字領域であると判定された領域で特徴点を抽出する（Ｓ３３）。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量（ハッシュ値）を算出する（Ｓ３４）。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する（Ｓ３５）。
一方、写真領域である場合（Ｓ３２で写真領域）、処理部は、原稿画像のうち写真領域であると判定された領域をレイヤーに分離する（Ｓ３６）。処理部は、レイヤー毎に特徴点を抽出し（Ｓ３７）、レイヤー毎に抽出された特徴点を合算する（Ｓ３８）。
処理部は、合算した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量（ハッシュ値）を算出する（Ｓ３９）。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する（Ｓ４０）。
処理部は、文字領域の得票数と写真領域の得票数とを加算し（Ｓ４１）、加算した得票数を原稿画像の最大得票数（特徴点の数×１つの特徴点から算出されるハッシュ値の数で表される）で除算して正規化した類似度を算出する（Ｓ４２）。
処理部は、算出した類似度と予め定めた閾値Ｔｈとを比較し、類似度が閾値Ｔｈ以上である場合には、その類似度が算出された登録画像に類似すると判定し、類似度が閾値Ｔｈより小さい場合には、原稿画像に類似する登録画像はないと判定して、判定信号を出力し（Ｓ４３）、処理を終了する。
実施の形態３
上述の実施の形態２では、文字領域及び写真領域それぞれで投票処理を行い、領域毎に得られた得票数を加算して原稿画像と登録画像との類似度を算出する構成であったが、これに限定されるものではない。例えば、文字領域及び写真領域それぞれで類似度を算出し、その結果に応じて原稿画像が登録画像に類似するか否かを最終判定する構成とすることもできる。
図１８は実施の形態３の文書照合処理の手順を示すフローチャートである。処理部は、原稿の読み込みを行い（Ｓ５１）、原稿画像を取得する。処理部は、原稿画像の領域判定を行い（Ｓ５２）、文字領域である場合（Ｓ５２で文字領域）、原稿画像のうち文字領域であると判定された領域で特徴点を抽出する（Ｓ５３）。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量（ハッシュ値）を算出する（Ｓ５４）。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する（Ｓ５５）。
処理部は、投票の結果得られた得票数を原稿画像のうち文字領域の最大得票数（特徴点の数×１つの特徴点から算出されるハッシュ値の数で表される）で除算して正規化した類似度を算出する（Ｓ５６）。
一方、写真領域である場合（Ｓ５２で写真領域）、処理部は、原稿画像のうち写真領域であると判定された領域をレイヤーに分離する（Ｓ５７）。処理部は、レイヤー毎に特徴点を抽出し（Ｓ５８）、レイヤー毎に抽出された特徴点を合算する（Ｓ５９）。
処理部は、合算した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量（ハッシュ値）を算出する（Ｓ６０）。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する（Ｓ６１）。
処理部は、投票の結果得られた得票数を原稿画像のうち写真領域の最大得票数（特徴点の数×１つの特徴点から算出されるハッシュ値の数で表される）で除算して正規化した類似度を算出する（Ｓ６２）。
処理部は、文字領域で算出された類似度と写真領域で算出された類似度に応じて、原稿画像が登録画像に類似するか否かを総合判定する（Ｓ６３）。総合判定の方法は、適宜決定することが可能である。例えば、類似度の最も大きい値に対応する登録画像に類似すると判定することもでき、あるいは、文字領域と写真領域とで優先順位を設けておき、優先順位により判定することもできる。また、文字領域と写真領域とで類似度に重み付けを付与し、重み付けられた類似度に応じて判定してもよい。
処理部は、総合判定の結果に応じて判定信号を出力し（Ｓ６４）、処理を終了する。
実施の形態４
上述の実施の形態では、写真領域の特徴量を求める場合に、同じレイヤー内の特徴点を用いて不変量の算出を行っているが、これに限定されるものではなく、あるレイヤーに存在する注目特徴点に対して、隣接する他のレイヤーに存在する特徴点も含めて不変量を求めることもできる。
図１９は実施の形態４の注目特徴点と周辺の特徴点を示す説明図である。図１９に示すように、例えば、複数のレイヤーのうち、レイヤー３に存在する注目特徴点Ｐ５に対して、注目特徴点Ｐ５からの距離が近い順に、レイヤー３のみならず、隣接する他のレイヤーに存在する周辺特徴点（レイヤー４の特徴点Ｐ１、レイヤー３の特徴点Ｐ２、レイヤー２の特徴点Ｐ３、Ｐ４）を抽出する。この場合、周辺特徴点を選択する基準は、注目特徴点からの距離であるので、注目特徴点Ｐ５が存在するレイヤー３内の特徴点も抽出対象となる。図１９の例では、注目特徴点に対して４つの周辺特徴点を抽出する場合を示すが、抽出する周辺特徴点の数は４に限定されるものではない。なお、レイヤー間の距離ｄＬは、予め設定しておくことができる。
次に、レイヤー間の距離ｄＬを算出する例について説明する。図２０はレイヤー間の距離ｄＬを算出する一例を示す説明図である。図２０に示すように、各レイヤー１〜４それぞれに対して、代表的な濃度値（代表濃度値）Ｄ１〜Ｄ４を設定する。また、階調数を２５６階調（８ビット）とし、最大濃度値（２５５）に応じた最大レイヤー距離Ｌｍａｘを設定する。
レイヤー２とレイヤー１の距離ｄＬ１２は、ｄＬ１２＝│Ｄ２−Ｄ１│×Ｌｍａｘ／２５６により算出する。例えば、最大レイヤー距離Ｌｍａｘ＝３２、レイヤー１の代表濃度値Ｄ１＝３２（濃度０〜６３の中央値）、レイヤー２の代表濃度値Ｄ２＝９６（濃度６４〜１２７の中央値）とすると、レイヤー２とレイヤー１の距離ｄＬ１２は８となる。例えば、３００ｄｐｉの画像の場合、１０ポイントの文字は、約３２×３２画素であり、同一レイヤー内の特徴点の影響度とレイヤー間の影響度を同程度とするために、最大レイヤー距離Ｌｍａｘは、Ｌｍａｘ＝３２としている。上記と同様の方法により、レイヤー２とレイヤー３間の距離ｄＬ２３、レイヤー３とレイヤー４間の距離ｄＬ３４は、それぞれ８となる。なお、レイヤー間の距離の算出例は、これに限定されるものではない。
図２１、図２２、図２３及び図２４は実施の形態４の注目特徴点Ｐ５による不変量の算出例を示す説明図である。図２１〜図２４に示すように、注目特徴点Ｐ５の周辺特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の４点より４通りの組み合わせを選択し、不変量Ｈ５ｊ（ｊ＝１、２、３、４）を、Ｈ５ｊ＝（Ａ５ｊ／Ｂ５ｊ）により算出する。この場合、注目特徴点Ｐｉのハッシュ値Ｈｉは、Ｈｉ＝（Ｈｉ１×１０3 ＋Ｈｉ２×１０2 ＋Ｈｉ３×１０1 ＋Ｈｉ４×１０0 ）／Ｅで算出することができる。
二次元平面（同じレイヤー上）では特徴量が同じであっても三次元空間（レイヤーが異なる）では特徴量が異なり得るので、特徴点の空間配置も含めて特徴量（不変量）を算出することにより、原稿画像の照合精度を一層向上させることができる。
図２５は実施の形態４の文書照合処理の手順を示すフローチャートである。なお、図２５の例は、実施の形態２に対応するものである。処理部は、原稿の読み込みを行い（Ｓ７１）、原稿画像を取得する。処理部は、原稿画像の領域判定を行い（Ｓ７２）、文字領域である場合（Ｓ７２で文字領域）、原稿画像のうち文字領域であると判定された領域で特徴点を抽出する（Ｓ７３）。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量（ハッシュ値）を算出する（Ｓ７４）。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する（Ｓ７５）。処理部は後述のステップＳ８１の処理を行う。
一方、写真領域である場合（Ｓ７２で写真領域）、処理部は、原稿画像のうち写真領域であると判定された領域をレイヤーに分離する（Ｓ７６）。処理部は、レイヤー毎に特徴点を抽出し（Ｓ７７）、隣接するレイヤーの特徴点を含めて注目特徴点に近い周辺特徴点を抽出する（Ｓ７８）。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量（ハッシュ値）を算出する（Ｓ７９）。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する（Ｓ８０）。
処理部は、文字領域の得票数と写真領域の得票数とを加算し（Ｓ８１）、加算した得票数を原稿画像の最大得票数（特徴点の数×１つの特徴点から算出されるハッシュ値の数で表される）で除算して正規化した類似度を算出する（Ｓ８２）。
処理部は、算出した類似度と予め定めた閾値Ｔｈとを比較し、類似度が閾値Ｔｈ以上である場合には、その類似度が算出された登録画像に類似すると判定し、類似度が閾値Ｔｈより小さい場合には、原稿画像に類似する登録画像はないと判定して、判定信号を出力し（Ｓ８３）、処理を終了する。
図２６は実施の形態４の文書照合処理の手順を示すフローチャートである。なお、図２６の例は、実施の形態３に対応するものである。処理部は、原稿の読み込みを行い（Ｓ９１）、原稿画像を取得する。処理部は、原稿画像の領域判定を行い（Ｓ９２）、文字領域である場合（Ｓ９２で文字領域）、原稿画像のうち文字領域であると判定された領域で特徴点を抽出する（Ｓ９３）。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量（ハッシュ値）を算出する（Ｓ９４）。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する（Ｓ９５）。
処理部は、投票の結果得られた得票数を原稿画像のうち文字領域の最大得票数（特徴点の数×１つの特徴点から算出されるハッシュ値の数で表される）で除算して正規化した類似度を算出する（Ｓ９６）。処理部は後述のステップＳ１０３の処理を行う。
一方、写真領域である場合（Ｓ９２で写真領域）、処理部は、原稿画像のうち写真領域であると判定された領域をレイヤーに分離する（Ｓ９７）。処理部は、レイヤー毎に特徴点を抽出し（Ｓ９８）、隣接するレイヤーの特徴点を含めて注目特徴点に近い周辺特徴点を抽出する（Ｓ９９）。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量（ハッシュ値）を算出する（Ｓ１００）。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する（Ｓ１０１）。
処理部は、投票の結果得られた得票数を原稿画像のうち写真領域の最大得票数（特徴点の数×１つの特徴点から算出されるハッシュ値の数で表される）で除算して正規化した類似度を算出する（Ｓ１０２）。
処理部は、文字領域で算出された類似度と写真領域で算出された類似度に応じて、原稿画像が登録画像に類似するか否かを総合判定する（Ｓ１０３）。総合判定の方法は、適宜決定することが可能である。例えば、類似度の最も大きい値に対応する登録画像に類似すると判定することもでき、あるいは、文字領域と写真領域とで優先順位を設けておき、優先順位により判定することもできる。また、文字領域と写真領域とで類似度に重み付けを付与し、重み付けられた類似度に応じて判定してもよい。
処理部は、総合判定の結果に応じて判定信号を出力し（Ｓ１０４）、処理を終了する。
実施の形態５
本発明を電子データ（アプリケーションソフトウェアで作成されたデータ）又は電子化データ（例えば、スキャナで読み込まれたデータをＪＰＥＧ又はＰＤＦなど所定のファイルフォーマットに変換したデータ）に対して適用することもできる。例えば、電子データ又は電子化データの形態で提出されたデータをサーバに格納しておき、これらのデータに対して、本発明をアプリケーションソフトウェアとして適用することができる。上記データは、電子データ、ファイルフォーマット毎に格納されているのが好ましい。
電子データについては、数種類のソフトウェアが使用され得るので、例えば、ＲＩＰ（ラスター・イメージ・プロセッサー）を用いて、ＰＤＬ（ページ記述言語）を解釈し、ラスター・イメージ（ＲＧＢデータ）に変換して本発明の方法を適用すればよい。また、電子化データについては、例えば、ＪＰＥＧ又はＧＩＦなどの符号化された画像フォーマットの場合には、一旦復号処理を行い、さらに必要に応じてＹＣＣ信号をＲＧＢ信号に変換するなどの色変換処理の後に本発明の方法を適用すればよい。また、ＰＤＦフォーマットについては、画像データがＪＰＥＧなどの符号化された画像フォーマットで保存されている場合には、復号処理を実施してＲＧＢ信号に変換した上で本発明の方法を適用すればよく、フォントなどのベクタデータ部分に関しては、ＲＩＰなどを介してＲＧＢの画像データに変換した上で本発明の方法を適用すればよい。なお、ＰＤＦフォーマットの場合、オブジェクト（テキスト、図又は写真等）毎の情報をタグとして保有している。この情報を参考にしてデータの変換を行うことができる。オブジェクトの情報は、例えば、テキストの場合には、フォント、ポイント数、色又は表示位置等であり、写真の場合には、符号化の方法、サイズ又は表示位置などである。
以上説明したように、本発明にあっては、原稿画像が連続階調で表現されるような写真画像の場合でも、階層画像毎に階調範囲を小さくして、連結領域を一層特定しやすくなり、連結領域の境界を明確化して特徴点の抽出を精度良く行うことができ、登録画像との照合精度が向上する。また、文字領域と写真領域とが混在した原稿画像であっても、精度良く登録画像との照合を行うことができる。
上述の実施の形態１〜３では、領域認識処理部２３で原稿画像が文字領域であるか写真領域であるかを判定し、領域毎に処理（例えば、特徴点の抽出、投票処理、類似度の算出など）を分けて行う構成であったが、これに限定されるものではない。例えば、領域認識処理を行うことなく、原稿画像が文字領域であるか写真領域であるかにかかわらず、原稿画像全体を複数のレイヤー（階層画像）に分離して、階層画像毎に特徴点を抽出するようにすることもできる。これにより、画像処理装置に装備するハードウエア機構を少なくすることができコストを低減することができるとともに、各処理をソフトウェアで行う際の処理量を低減することで高速処理を実現することができる。
上述の実施の形態１〜３では、領域認識処理部２３で原稿画像が文字領域であるか写真領域であるかを判定し、領域毎に処理を分けて行う構成であったが、領域の判定結果に応じて、文字領域に対する処理、あるいは写真領域に対する処理のいずれかを選択し、原稿画像全体に対して選択された処理を行う構成とすることもできる。この場合、例えば、文字領域であると判定された領域と写真領域であると判定された領域の大小に応じていずれの処理を行うか決定してもよい。
上述の実施の形態では、登録フォーマット、ハッシュテーブルを予めメモリ２５６に記憶しておく構成であるが、これに限定されるものではなく、画像形成装置１００と通信回線（ネットワーク）を通じて接続されたサーバ装置の記憶部に登録フォーマットを記憶しておき、ハッシュテーブルはメモリ２５６に分散して記憶させてもよい。
本発明は、コンピュータに実行させるためのプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータで読み取り可能な記録媒体上に上述の文書照合処理を行う画像処理方法を記録することも可能である。なお、記録媒体としては、マイクロコンピュータで処理が行われるように図示しないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、外部記憶部などのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムコードはマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされ、そのプログラムコードが実行される方式であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。
前記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ（Magneto Optical）／ＭＤ（Mini disk）／ＤＶＤ（Digital Versatile Disk）等の光ディスクのディスク系、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
また、インターネットを含む通信ネットワークと接続可能なシステム構成の場合は、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、ダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。また、コンピュータシステムは、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ又は液晶ディスプレイなどの画像表示装置、及びコンピュータの処理結果を記録紙に出力するプリンタより構成される。さらには、ネットワークを介してサーバなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。
本発明に係る画像処理装置を備える画像形成装置の構成を示すブロック図で ある。 文書照合処理部の構成を示すブロック図である。 特徴点算出部の構成を示すブロック図である。 連結領域の特徴点の例を示す説明図である。 文字列に対する特徴点の抽出結果の例を示す説明図である。 写真領域の特徴点の例を示す説明図である。 レイヤーの分離方法の他の例を示す説明図である。 注目特徴点と周辺の特徴点を示す説明図である。 注目特徴点による不変量の算出例を示す説明図である。 注目特徴点による不変量の算出例を示す説明図である。 注目特徴点による不変量の算出の他の例を示す説明図である。 注目特徴点による不変量の算出の他の例を示す説明図である。 ハッシュテーブルの構造を示す説明図である。 投票結果に基づく類似判定の一例を示す説明図である。 本発明に係る画像読取装置の構成を示すブロック図である。 カラー画像処理装置の文書照合処理の手順を示すフローチャートである。 実施の形態２の文書照合処理の手順を示すフローチャートである。 実施の形態３の文書照合処理の手順を示すフローチャートである。 実施の形態４の注目特徴点と周辺の特徴点を示す説明図である。 レイヤー間の距離を算出する一例を示す説明図である。 実施の形態４の注目特徴点による不変量の算出例を示す説明図である。 実施の形態４の注目特徴点による不変量の算出例を示す説明図である。 実施の形態４の注目特徴点による不変量の算出例を示す説明図である。 実施の形態４の注目特徴点による不変量の算出例を示す説明図である。 実施の形態４の文書照合処理の手順を示すフローチャートである。 実施の形態４の文書照合処理の手順を示すフローチャートである。
符号の説明
１ カラー画像入力装置
２ カラー画像処理装置
３ カラー画像出力装置
２５ 文書照合処理部
２５１ レイヤー分離部
２５２ 特徴点算出部
２５３ 特徴量算出部
２５４ 投票処理部
２５５ 類似度判定処理部
２５６ メモリ
２５７ 制御部
２５２０ 無彩化処理部
２５２１ 解像度変換部
２５２２ フィルタ処理部
２５２３ 二値化処理部
２５２４ 重心算出部

Claims (16)

  1. 複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行う画像処理方法において、
    複数の登録画像それぞれに対応する特徴量を予め記憶しておき、
    原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成し、
    生成した階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、
    前記階層画像毎に抽出した特徴点に基づいて原稿画像の特徴量を算出し、
    算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、
    特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、
    投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする画像処理方法。
  2. 原稿画像の各画素の画素値に基づいて、少なくとも文字領域又は写真領域のいずれの領域であるかを判定し、
    写真領域であると判定した領域に対して、複数の階層画像を生成することを特徴とする請求項１に記載の画像処理方法。
  3. 文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、
    写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、
    領域毎に抽出した特徴点に基づいて原稿画像の特徴量を算出することを特徴とする請求項２に記載の画像処理方法。
  4. 文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、
    写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、
    抽出した特徴点に基づいて特徴量を領域毎に算出し、
    算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、
    特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、
    投票して得られた得票数を領域毎に加算し、
    加算した得票数に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする請求項２に記載の画像処理方法。
  5. 文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、
    写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、
    抽出した特徴点に基づいて特徴量を領域毎に算出し、
    算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、
    特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、
    投票して得られた得票数に基づいて、領域毎に原稿画像が登録画像に類似するか否かを判定し、
    領域毎に判定された判定結果に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする請求項２に記載の画像処理方法。
  6. 写真領域であると判定した領域に対して、前記複数の階層画像から特徴点を抽出し、
    抽出した特徴点に基づいて原稿画像の特徴量を算出することを特徴とする請求項２に記載の画像処理方法。
  7. 複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行う画像処理装置において、
    複数の登録画像それぞれに対応する特徴量を予め記憶する記憶手段と、
    原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成する生成手段と、
    該生成手段で生成された階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出する抽出手段と、
    該抽出手段で階層画像毎に抽出された特徴点に基づいて原稿画像の特徴量を算出する算出手段と、
    該算出手段で算出された特徴量と登録画像に対応する特徴量とが一致するか否かを判定する特徴量判定手段と、
    該特徴量判定手段で特徴量が一致すると判定された場合、一致した特徴量毎に該特徴量に対応する登録画像に投票する投票手段と、
    該投票手段で投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定する類似判定手段と
    を備えることを特徴とする画像処理装置。
  8. 原稿画像の各画素の画素値に基づいて、少なくとも文字領域又は写真領域のいずれの領域であるかを判定する領域判定手段を備え、
    前記生成手段は、
    前記領域判定手段で写真領域であると判定された領域に対して、複数の階層画像を生成するように構成してあることを特徴とする請求項７に記載の画像処理装置。
  9. 前記抽出手段は、
    前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、
    写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、
    前記算出手段は、
    領域毎に抽出された特徴点に基づいて原稿画像の特徴量を算出するように構成してあることを特徴とする請求項８に記載の画像処理装置。
  10. 前記抽出手段は、
    前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、
    写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、
    前記算出手段、特徴量判定手段及び投票手段は、
    領域毎にそれぞれの処理を行うように構成してあり、
    前記投票手段で領域毎に投票して得られた得票数を加算する加算手段を備え、
    前記類似判定手段は、
    前記加算手段で加算された得票数に基づいて、原稿画像が登録画像に類似するか否かを判定するように構成してあることを特徴とする請求項８に記載の画像処理装置。
  11. 前記抽出手段は、
    前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、
    写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、
    前記算出手段、特徴量判定手段、投票手段及び類似判定手段は、
    領域毎にそれぞれの処理を行うように構成してあり、
    前記類似判定手段で領域毎に判定された判定結果に基づいて、原稿画像が登録画像に類似するか否かを判定する総合判定手段を備えることを特徴とする請求項８に記載の画像処理装置。
  12. 前記抽出手段は、
    前記領域判定手段で写真領域であると判定された領域に対して、前記複数の階層画像から特徴点を抽出するように構成してあり、
    前記算出手段は、
    前記抽出手段で抽出された特徴点に基づいて原稿画像の特徴量を算出するように構成してあることを特徴とする請求項８に記載の画像処理装置。
  13. 画像を読み取る画像読取手段と、該画像読取手段で読み取った画像を処理する画像処理装置とを備える画像読取装置において、
    前記画像処理装置は、
    請求項７乃至請求項１２のいずれか１つに記載された画像処理装置であることを特徴とする画像読取装置。
  14. 請求項７乃至請求項１２のいずれか１つに記載された画像処理装置と、該画像処理装置で処理された画像の形成を行う画像形成手段とを備えることを特徴とする画像形成装置。
  15. コンピュータに、複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行わせるためのコンピュータプログラムにおいて、
    コンピュータを、原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成させる手段と、
    生成された階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出させる手段と、
    前記階層画像毎に抽出された特徴点に基づいて原稿画像の特徴量を算出させる手段と、
    算出された特徴量と登録画像に対応する特徴量とが一致するか否かを判定させる手段と、
    特徴量が一致すると判定された場合、一致した特徴量毎に該特徴量に対応する登録画像に投票させる手段と、
    投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定させる手段と
    して機能させることを特徴とするコンピュータプログラム。
  16. 請求項１５に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
JP2008040439A 2007-03-06 2008-02-21 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体 Expired - Fee Related JP4393556B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008040439A JP4393556B2 (ja) 2007-03-06 2008-02-21 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体
US12/042,996 US8055079B2 (en) 2007-03-06 2008-03-05 Image processing method, image processing apparatus, and image forming apparatus
CN2008100820999A CN101261684B (zh) 2007-03-06 2008-03-06 图像处理方法、图像处理装置及图像形成装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007056291 2007-03-06
JP2008040439A JP4393556B2 (ja) 2007-03-06 2008-02-21 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2008252877A JP2008252877A (ja) 2008-10-16
JP4393556B2 true JP4393556B2 (ja) 2010-01-06

Family

ID=39962133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008040439A Expired - Fee Related JP4393556B2 (ja) 2007-03-06 2008-02-21 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体

Country Status (2)

Country Link
JP (1) JP4393556B2 (ja)
CN (1) CN101261684B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554021B2 (en) * 2010-10-19 2013-10-08 Palo Alto Research Center Incorporated Finding similar content in a mixed collection of presentation and rich document content using two-dimensional visual fingerprints
JP5910867B2 (ja) 2012-03-13 2016-04-27 日本電気株式会社 文書内の図情報を利用した類似文書の検索システム及び方法
JP6056319B2 (ja) * 2012-09-21 2017-01-11 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6235414B2 (ja) * 2014-06-06 2017-11-22 株式会社デンソーアイティーラボラトリ 特徴量演算装置、特徴量演算方法、及び特徴量演算プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163557A (ja) * 1998-11-25 2000-06-16 Canon Inc 画像処理方法、画像処理装置及び記憶媒体
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム

Also Published As

Publication number Publication date
CN101261684A (zh) 2008-09-10
JP2008252877A (ja) 2008-10-16
CN101261684B (zh) 2011-05-11

Similar Documents

Publication Publication Date Title
US8055079B2 (en) Image processing method, image processing apparatus, and image forming apparatus
US8320683B2 (en) Image processing method, image processing apparatus, image reading apparatus, and image forming apparatus
US8144994B2 (en) Image processing method, image processing apparatus, image reading apparatus, image forming apparatus, and recording medium
US8351706B2 (en) Document extracting method and document extracting apparatus
US8107734B2 (en) Image processing apparatus, and method for performing document matching using extracted feature points of connected image components
US8265345B2 (en) Image processing method, image processing apparatus, image forming apparatus, and image reading apparatus
US8103108B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
US7974474B2 (en) Method for matching images, image matching device, image data output apparatus, and recording medium
JP4324628B2 (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及び記録媒体
US20090034848A1 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP4362538B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP4457140B2 (ja) 画像処理方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム及び記録媒体
JP2009031876A (ja) 画像処理装置およびそれを備えた画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
US8300944B2 (en) Image processing method, image processing apparatus, image reading apparatus, image forming apparatus, image processing system, and storage medium
US8180159B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP4362537B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
US8184912B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP4361946B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそのプログラムが格納された記録媒体
JP4393556B2 (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体
JP2009206658A (ja) 画像処理方法、画像処理装置、画像形成装置、プログラム及び記憶媒体
JP2008154216A (ja) 画像処理方法、画像処理装置、画像形成装置、原稿読取装置、コンピュータプログラム及び記録媒体
JP2008245147A (ja) 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体
JP4340714B2 (ja) 原稿抽出方法、原稿抽出装置、コンピュータプログラム及び記録媒体
JP2008123456A (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091013

R150 Certificate of patent or registration of utility model

Ref document number: 4393556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131023

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees