JP4393556B2 - 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体 - Google Patents

画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体 Download PDF

Info

Publication number
JP4393556B2
JP4393556B2 JP2008040439A JP2008040439A JP4393556B2 JP 4393556 B2 JP4393556 B2 JP 4393556B2 JP 2008040439 A JP2008040439 A JP 2008040439A JP 2008040439 A JP2008040439 A JP 2008040439A JP 4393556 B2 JP4393556 B2 JP 4393556B2
Authority
JP
Japan
Prior art keywords
image
feature
area
extracted
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008040439A
Other languages
English (en)
Other versions
JP2008252877A (ja
Inventor
淳寿 森本
雅和 大平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008040439A priority Critical patent/JP4393556B2/ja
Priority to US12/042,996 priority patent/US8055079B2/en
Priority to CN2008100820999A priority patent/CN101261684B/zh
Publication of JP2008252877A publication Critical patent/JP2008252877A/ja
Application granted granted Critical
Publication of JP4393556B2 publication Critical patent/JP4393556B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

本発明は、原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行う画像処理方法、画像処理装置、該画像処理装置を備える画像読取装置及び画像形成装置並びに前記画像処理装置を実現するためのコンピュータプログラム及び該コンピュータプログラムを記録したコンピュータでの読み取りが可能な記録媒体に関する。
スキャナで原稿を読み取り、原稿を読み取って得られた画像データを予め登録されている画像データと照合して、画像の類似度を判定する画像処理としては、例えば、OCR(Optical Character Reader)で画像からキーワードを抽出し、抽出したキーワードにより画像の類似度を判定する方法、類似度の判定を行う画像を罫線のある帳票画像に限定して、罫線の特徴を抽出して画像の類似度を判定する方法などが提案されている。
しかし、これらの判定処理において、画像の類似度を精度良く判定するためには、読み取る原稿の傾きなどを事前に補正(スキュー補正)しておく必要があり、スキュー補正を行うことができない場合には、画像の類似度を精度良く判定できないという問題があった。また、画像の類似度を判定する場合の処理が複雑であるため、ハードウエアにより実現することが困難であった。類似度の判定処理を単純なアルゴリズムで実現する場合には、ハードウエアにより実現することが容易になるものの、判定精度を向上させることができず、また、スキュー又はノイズなどの外乱に対する耐性が不十分であるという問題があった。
そこで、非特許文献1には、原稿画像が回転した場合、登録画像には無い書込があった場合でも、精度良く類似度を判定することが可能な文書画像の類似度判定方法が提案されている。この方法は、原稿画像を二値化して連結成分を算出し、連結成分の重心を特徴点として求めておき、ある特徴点に対して周辺の特徴点を抽出し、抽出した特徴点から、例えば、3つの特徴点の組を選択して特徴点の距離の比を算出し、算出された複数の比に基づいてハッシュ関数等を用いて特徴量であるハッシュ値を算出する。このハッシュ値は、予め複数の原稿フォーマット(登録原稿)毎に原稿を表すインデックスに対応付けられてテーブルに格納されており、読み込まれた(読み取られた)原稿画像より算出されたハッシュ値に一致する原稿フォーマットに投票し、得られた得票数を閾値処理することにより原稿画像の照合を行うものである。特徴点として算出される重心は、ノイズなどの影響を受けにくく、原稿の回転、平行移動等が生じた場合でも、重心同士の相対的な位置関係は変化しないので、重心(特徴点)間の距離の比に基づく特徴量を用いて照合を行うことにより外乱に影響されにくい類似判定処理を実現することできる。
中居 友弘、他3名、「複比とハッシュに基づく文書画像検索」、電子情報通信学会技術研究報告、2005年3月
しかしながら、非特許文献1の方法にあっては、原稿画像を二値化して連結成分を求めるようにしているので、原稿が文字で構成されるような文字原稿である場合には、連結成分を精度よく求めることができ、登録画像との照合を精度良く行うことができるものの、原稿画像が印刷写真又は連続階調領域よりなる印画紙写真などの写真原稿である場合には、原稿画像の濃度値が広い範囲で分布するため、原稿画像を単に二値化しただけでは連結成分の境界が不明瞭になり、精度良く連結成分を求めることができず、登録画像との照合精度が低下するという問題があった。
本発明は、斯かる事情に鑑みてなされたものであり、原稿画像の各画素の画素値に基づいて、画素値の範囲が異なる複数の階層画像を生成し、生成した階層画像毎に特徴点を抽出し、階層画像毎に抽出した特徴点に基づいて原稿画像の特徴量を算出することにより、写真が含まれる原稿であっても精度良く照合を行うことができる画像処理方法、画像処理装置、該画像処理装置を備える画像読取装置及び画像形成装置並びに前記画像処理装置を実現するためのコンピュータプログラム及び該コンピュータプログラムを記録したコンピュータでの読み取りが可能な記録媒体を提供することにある。
本発明に係る画像処理方法は、複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行う画像処理方法において、複数の登録画像それぞれに対応する特徴量を予め記憶しておき、原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成し、生成した階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、前記階層画像毎に抽出した特徴点に基づいて原稿画像の特徴量を算出し、算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする。
本発明に係る画像処理方法は、原稿画像の各画素の画素値に基づいて、少なくとも文字領域又は写真領域のいずれの領域であるかを判定し、写真領域であると判定した領域に対して、複数の階層画像を生成することを特徴とする。
本発明に係る画像処理方法は、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、領域毎に抽出した特徴点に基づいて原稿画像の特徴量を算出することを特徴とする。
本発明に係る画像処理方法は、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、抽出した特徴点に基づいて特徴量を領域毎に算出し、算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、投票して得られた得票数を領域毎に加算し、加算した得票数に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする。
本発明に係る画像処理方法は、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、抽出した特徴点に基づいて特徴量を領域毎に算出し、算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、投票して得られた得票数に基づいて、領域毎に原稿画像が登録画像に類似するか否かを判定し、領域毎に判定された判定結果に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする。
本発明に係る画像処理方法は、写真領域であると判定した領域に対して、前記複数の階層画像から特徴点を抽出し、抽出した特徴点に基づいて原稿画像の特徴量を算出することを特徴とする。
本発明に係る画像処理装置は、複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行う画像処理装置において、複数の登録画像それぞれに対応する特徴量を予め記憶する記憶手段と、原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成する生成手段と、該生成手段で生成された階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出する抽出手段と、該抽出手段で階層画像毎に抽出された特徴点に基づいて原稿画像の特徴量を算出する算出手段と、該算出手段で算出された特徴量と登録画像に対応する特徴量とが一致するか否かを判定する特徴量判定手段と、該特徴量判定手段で特徴量が一致すると判定された場合、一致した特徴量毎に該特徴量に対応する登録画像に投票する投票手段と、該投票手段で投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定する類似判定手段とを備えることを特徴とする。
本発明に係る画像処理装置は、原稿画像の各画素の画素値に基づいて、少なくとも文字領域又は写真領域のいずれの領域であるかを判定する領域判定手段を備え、前記生成手段は、前記領域判定手段で写真領域であると判定された領域に対して、複数の階層画像を生成するように構成してあることを特徴とする。
本発明に係る画像処理装置は、前記抽出手段は、前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、前記算出手段は、領域毎に抽出された特徴点に基づいて原稿画像の特徴量を算出するように構成してあることを特徴とする。
本発明に係る画像処理装置は、前記抽出手段は、前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、前記算出手段、特徴量判定手段及び投票手段は、領域毎にそれぞれの処理を行うように構成してあり、前記投票手段で領域毎に投票して得られた得票数を加算する加算手段を備え、前記類似判定手段は、前記加算手段で加算された得票数に基づいて、原稿画像が登録画像に類似するか否かを判定するように構成してあることを特徴とする。
本発明に係る画像処理装置は、前記抽出手段は、前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、前記算出手段、特徴量判定手段、投票手段及び類似判定手段は、領域毎にそれぞれの処理を行うように構成してあり、前記類似判定手段で領域毎に判定された判定結果に基づいて、原稿画像が登録画像に類似するか否かを判定する総合判定手段を備えることを特徴とする。
本発明に係る画像処理装置は、前記抽出手段は、前記領域判定手段で写真領域であると判定された領域に対して、前記複数の階層画像から特徴点を抽出するように構成してあり、前記算出手段は、前記抽出手段で抽出された特徴点に基づいて原稿画像の特徴量を算出するように構成してあることを特徴とする。
本発明に係る画像読取装置は、画像を読み取る画像読取手段と、該画像読取手段で読み取った画像を処理する画像処理装置とを備える画像読取装置において、前記画像処理装置は、前述の発明のいずれか1つに係る画像処理装置であることを特徴とする。
本発明に係る画像形成装置は、前述の発明のいずれか1つに係る画像処理装置と、該画像処理装置で処理された画像の形成を行う画像形成手段とを備えることを特徴とする。
本発明に係るコンピュータプログラムは、コンピュータに、複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行わせるためのコンピュータプログラムにおいて、コンピュータを、原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成させる手段と、生成された階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出させる手段と、前記階層画像毎に抽出された特徴点に基づいて原稿画像の特徴量を算出させる手段と、算出された特徴量と登録画像に対応する特徴量とが一致するか否かを判定させる手段と、特徴量が一致すると判定された場合、一致した特徴量毎に該特徴量に対応する登録画像に投票させる手段と、投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定させる手段として機能させることを特徴とする。
本発明に係るコンピュータでの読み取りが可能な記録媒体は、前述の発明に係るコンピュータプログラムを記録してあることを特徴とする。
本発明にあっては、原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成する。例えば、原稿画像の各画素の画素値として、各画素の濃度値(輝度値、明暗の値)を採用し、原稿画像に含まれる濃度値が、例えば、0〜255の256階調で表される場合、原稿画像を濃度値の範囲が0〜63、64〜127、128〜193、194〜255の異なる4つのレイヤーに分けて表現することにより、4つの階層画像を生成する。生成した各階層画像を二値化して得られた二値化画像で連結領域(連結成分)を特定し、特定した連結領域の重心を特徴点として抽出する。各階層画像で抽出された特徴点を合算し(階層画像毎に抽出された各特徴点を原稿画像上の特徴点として集める)、合算した特徴点の中から複数の特徴点を選択して、不変量としての特徴量(例えば、ハッシュ値)を算出する。算出した特徴量と予め記憶された複数の登録画像(原稿画像が類似するか否かを照合する画像)それぞれに対応する特徴量とが一致するか否かを判定する。特徴量が一致すると判定された場合、一致した特徴量毎に該特徴量に対応する登録画像に投票する。投票で得られた得票数に基づいて、例えば、ある登録画像の得票数が所定の閾値より大きい場合、原稿画像がその登録画像に類似すると判定し、得票数が所定の閾値より小さい場合には、原稿画像は登録画像に類似しないと判定する。特徴点を求めるための連結領域を特定する場合に、原稿画像を複数の階層画像に分けることで、原稿画像が連続階調で表現されるような写真画像の場合でも、階層画像毎に階調範囲を小さくして、連結領域を一層特定しやすくなり、連結領域の境界を明確化して特徴点の抽出を精度良く行うことができ、登録画像との照合精度が向上する。
また、本発明にあっては、原稿画像の各画素の画素値に基づいて、少なくとも文字領域又は写真領域のいずれの領域であるかを判定する。領域判定の方法は、どのような方法であってもよく、例えば、原稿画像を二値化した二値化画像で黒画素を膨張する処理を行うことにより、黒画素部(ラン)を求め、求めたランを連結して1つの領域として統合する。統合された領域に外接する矩形の大きさを求め、外接矩形の大きさから各矩形領域の画像種別(例えば、文字領域、写真領域)を判定する。写真領域であると判定した領域に対して、複数の階層画像を生成する。すなわち、文字領域と写真領域とが混在した原稿画像の場合、文字領域に対しては、階層画像に分けることなく連結領域を特定して特徴点を抽出し、抽出した特徴点に基づいて特徴量を算出する。一方、写真領域に対しては、原稿画像を複数の階層画像に分け、階層画像毎に連結領域を特定して特徴点を抽出し、各階層画像で抽出された特徴点を合算する。これにより、文字領域と写真領域とが混在した原稿画像であっても、連結領域を一層特定しやすくなり、連結領域の境界を明確化して特徴点の抽出を精度良く行うことができ、登録画像との照合精度が向上する。
また、本発明にあっては、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出する。写真領域であると判定した領域に対して、階層画像毎に特徴点を抽出する。文字領域及び写真領域それぞれで抽出された特徴点を合算して1つの原稿画像全体の特徴点を求め、求めた特徴点に基づいて原稿画像の特徴量を算出する。これにより、文字領域と写真領域とが混在した原稿画像であっても、精度良く特徴点の抽出を行うことができる。
また、本発明にあっては、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出する。写真領域であると判定した領域に対して、階層画像毎に特徴点を抽出し、階層画像毎に抽出した特徴点を合算する。文字領域及び写真領域それぞれの特徴点に基づいて、領域毎に特徴量を算出し、算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定する。特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、投票して得られた得票数を領域毎に加算する。加算した得票数に基づいて、原稿画像が登録画像に類似するか否かを判定する。これにより、文字領域と写真領域とが混在した原稿画像であっても、領域毎に投票処理を行って精度良く登録画像との照合を行うことができる。また、文字領域、写真領域それぞれについて位置情報を求めることができるので、これらの情報と登録画像とを対応付けて格納しておき、領域毎に特徴量を抽出して投票を行う場合、これらの位置情報も参照して原稿画像が登録画像に類似するか否かを判定することができる。
また、本発明にあっては、文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出する。写真領域であると判定した領域に対して、階層画像毎に特徴点を抽出し、階層画像毎に抽出した特徴点を合算する。文字領域及び写真領域それぞれの特徴点に基づいて、領域毎に特徴量を算出し、算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定する。特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、投票して得られた得票数に基づいて、領域毎に原稿画像が登録画像に類似するか否かを判定する。領域毎に判定された判定結果に基づいて、原稿画像が登録画像に類似するか否かを判定する。これにより、文字領域と写真領域とが混在した原稿画像であっても、領域毎に原稿画像が登録画像に類似するか否かを判定し、その判定結果に基づいて最終的に原稿画像が登録画像に類似するか否かを判定して、精度良く登録画像との照合を行うことができる。また、この場合も上記と同様に、文字領域、写真領域それぞれについて位置情報を求めることができるので、これらの情報と登録画像とを対応付けて格納しておき、領域毎に特徴量を抽出して投票を行う場合、これらの位置情報も参照して原稿画像が登録画像に類似するか否かを判定することができる。さらに、文字領域と写真領域の判定結果に対して、重みを付けて判定するようにしても良い。例えば、文字領域と写真領域が占める割合を求め、この割合を比率として用いるようにしても良い。
また、本発明にあっては、写真領域であると判定した領域に対して、複数の階層画像(レイヤー)それぞれから特徴点を抽出し、抽出した特徴点に基づいて原稿画像の特徴量を算出する。例えば、注目特徴点が存在するレイヤーのみならず、隣接するレイヤーも含めて注目特徴点に近い周辺特徴点を抽出して特徴量を算出する。これにより、同じレイヤー上では特徴量が同じであってもレイヤーが異なると特徴量が異なり得るので、原稿画像の照合精度を一層向上させることができる。
本発明にあっては、原稿画像が連続階調で表現されるような写真画像の場合でも、階層画像毎に階調範囲を小さくして、連結領域を一層特定しやすくなり、連結領域の境界を明確化して特徴点の抽出を精度良く行うことができ、登録画像との照合精度が向上する。また、文字領域と写真領域とが混在した原稿画像であっても、精度良く登録画像との照合を行うことができる。
実施の形態1
以下、本発明を実施の形態を示す図面に基づいて説明する。図1は本発明に係る画像処理装置を備える画像形成装置100の構成を示すブロック図である。画像形成装置100(例えば、デジタルカラー複写機や複合機能、プリンタ機能、ファイリング機能、ファックス又は電子メール配信機能を備えた複合機)は、カラー画像入力装置1、カラー画像処理装置2(画像処理装置)、画像形成手段としてのカラー画像出力装置3、各種操作を行うための操作パネル4などを備える。カラー画像入力装置1で原稿を読み込む(読み取る)ことにより得られたRGB(R:赤、G:緑、B:青)のアナログ信号の画像データは、カラー画像処理装置2へ出力され、カラー画像処理装置2で所定の処理が行われ、CMYK(C:シアン、M:マゼンダ、Y:イエロー、K:黒)のデジタルカラー信号としてカラー画像出力装置3へ出力される。
カラー画像入力装置1は、例えば、CCD(Charged Coupled Device)を備えたスキャナであり、原稿画像からの反射光像をRGBのアナログ信号として読み取り、読み取ったRGB信号をカラー画像処理装置2へ出力する。また、カラー画像出力装置3は、原稿画像の画像データを記録紙上に出力する電子写真方式又はインクジェット方式などのプリンタである。また、カラー画像出力装置3は、ディスプレイ等の表示装置であってもよい。
カラー画像処理装置2は、後述する各処理部を備え、ASIC(Application Specific Integrated Circuit)などにより構成される。
A/D変換部20は、カラー画像入力装置1から入力されたRGB信号を、例えば、10ビットのデジタル信号に変換し、変換後のRGB信号をシェーディング補正部21へ出力する。
シェーディング補正部21は、入力されたRGB信号に対して、カラー画像入力装置1の照明系、結像系、撮像系などで生じた各種の歪みを取り除く補正処理を行い、補正後のRGB信号を入力階調補正部22へ出力する。
入力階調補正部22は、入力されたRGB信号(RGBの反射率信号)に対して、カラーバランスを整える処理を行うとともに、下地濃度の除去又はコントラストなど画質調整処理を施す。また、入力階調補正部22は、濃度信号などカラー画像処理装置2で採用されている画像処理システムが扱い易い信号に変換する処理を行い、処理後のRGB信号を領域認識処理部23、及び領域分離処理部24へ出力する。
領域認識処理部23は、二値化処理部、ラン膨張処理部、ラベリング処理部、外接矩形抽出処理部、判定部(いずれも不図示)などの各処理部を備えている。領域認識処理部23は、入力画像データに対して二値化処理を行って二値化画像を生成する。領域認識処理部23は、ラン膨脹処理部で二値化画像の黒画素を膨脹する処理を行って黒画素部(ラン)を求め、ラン膨張信号をラベリング処理部へ出力する。ラン膨脹処理部から出力されたラン膨脹信号は、ラベリング処理部に入力され、ラベリング処理部では、ラン膨張信号をもとに連結するランを1つの領域として統合(ラベリング)し、その統合された領域の特徴を示す信号を外接矩形処理部へ出力する。
領域認識処理部23は、外接矩形処理部でラベリングされたそれぞれの領域に外接する矩形の大きさが求められ、その結果が判定部へ出力される。領域認識処理部23は、判定部で、外接矩形の大きさから各矩形領域の画像種別、例えば、文字領域であるか、又は写真領域であるかの判定を行い、判定結果である領域判定信号を文書照合処理部25などへ出力する。
なお、領域認識処理部23は、写真領域であると判定する際に、下地領域の有無の判定を併せて行う。例えば、領域認識処理部23は、写真領域であると判定した領域に対して、さらに、ヒストグラム情報を基に下地領域の有無の判定を行う。例えば、下地と判断される濃度値の最小値以上の濃度領域において、下地と判断される画素数の最小値以上の領域を下地領域であると判定することができる。下地領域であると判定された領域に対して、下地除去の処理を行うことができる。なお、判定結果は、領域判定信号として出力される。また、下地領域であると判断される濃度値の最小値、下地領域であると判断される画素数の最小値は、種々の画像サンプルを用いて下地領域が適切に判定される値を適宜設定することができる。
領域分離処理部24は、入力されたRGB信号に基づき、入力された画像中の各画素が、文字領域、網点領域、写真領域の何れであるかを分離する。領域分離処理部24は、分離結果に基づいて、各画素がどの領域に属しているかを示す領域識別信号を色補正部26、黒生成下色除去部27、空間フィルタ処理部28、階調再現処理部29へ出力する。また、領域分離処理部24は、入力されたRGB信号をそのまま後段の文書照合処理部25へ出力する。なお、領域分離処理部24と領域認識処理部23とを統合してもよく、あるいは、領域分離処理部24に代えて領域認識処理部23を設ける構成であってもよい。
文書照合処理部25は、入力された画像を二値化し、二値画像に基づいて特定された連結領域の特徴点を算出し、その結果を用いて入力された画像(原稿画像)と予め登録されている登録画像(文書画像を含む)との類似度を判定する。文書照合処理部25は、画像が類似していると判定した場合、予め設定されている類似原稿に対する処理を特定した分類信号を出力して、所定の処理を行う。例えば、類似原稿であると判定された場合、その原稿の出力をキャンセルすること、その原稿の複写を禁止すること、その原稿を所定のフォルダにファイルすることなどの処理を行う。このように、画像(文書画像を含む)の照合とともに、照合結果に応じた処理を行うことができる。また、文書照合処理部25は、入力されたRGB信号をそのまま後段の色補正部26へ出力する。
なお、原稿画像とは、スキャナで原稿画像を読み取って得られた原稿画像、コンピュータを用いて所定書式のデータに必要事項を書き込んで作成した電子データ形式の原稿画像、スキャナで読みとられたデータをJPEG等の所定のファイルフォーマットに変換して作成した電子化データなどを意味している。
色補正部26は、入力されたRGB信号をCMYの色空間に変換し、カラー画像出力装置3の特性に合わせて色補正を行い、補正後のCMY信号を黒生成下色除去部27へ出力する。具体的には、色補正部26は、色再現の忠実化のため、不要吸収成分を含むCMY色材の分光特性に基づいた色濁りを取り除く処理を行う。
黒生成下色除去部27は、色補正部26から入力されたCMY信号に基づいて、K(黒)信号を生成するとともに、入力されたCMY信号からK信号を差し引いて新たなCMY信号を生成し、生成したCMYK信号を空間フィルタ処理部28へ出力する。
黒生成下色除去部27における処理の一例を示す。例えば、スケルトンブラックによる黒生成を行う処理の場合、スケルトンカーブの入出力特性をy=f(x)とし、入力されるデータをC、M、Yとし、出力されるデータをC′、M′、Y′、K′とし、UCR(Under Color Removal)率をα(0<α<1)とすると、黒生成下色除去処理により出力
されるデータ夫々は、K′=f{min(C、M、Y)}、C′=C−αK′、M′=M−αK′、Y′=Y−αK′で表される。
空間フィルタ処理部28は、黒生成下色除去部27から入力されたCMYK信号に対して、領域識別信号に基づいたデジタルフィルタによる空間フィルタ処理を行う。これにより、画像データの空間周波数特性が補正され、カラー画像出力装置3における出力画像のぼやけ、又は粒状性劣化を防止する。例えば、空間フィルタ処理部28は、領域分離処理部24において文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、鮮鋭強調処理を施し高周波成分を強調する。また、空間フィルタ処理部28は、領域分離処理部24において網点領域に分離された領域を、入力網点成分を除去するためのローパス・フィルタ処理を施す。空間フィルタ処理部28は、処理後のCMYK信号を階調再現処理部29へ出力する。
階調再現処理部29は、領域分離処理部24から入力された領域識別信号に基づいて、空間フィルタ処理部28から入力されたCMYK信号に対して所定の処理を行う。例えば、階調再現処理部29は、文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、カラー画像出力装置3における高周波成分の再現に適するように二値化処理又は多値化処理を行う。
また、階調再現処理部29は、領域分離処理部24において網点領域に分離された領域を、最終的に画像を画素に分離して、それぞれの階調を再現できるように階調再現処理(中間調生成)を行う。さらに、階調再現処理部29は、領域分離処理部24において写真領域に分離された領域を、カラー画像出力装置3における階調再現性に適するように二値化処理又は多値化処理を行う。
操作パネル4は、例えば、液晶ディスプレイ等の表示部と設定ボタン等の操作部とが一体化されたタッチパネル等により構成され、操作パネル4より入力された情報に基づいてカラー画像入力装置1、カラー画像処理装置2、カラー画像出力装置3の動作が制御される。なお、以上の各処理は、図示していないCPU(Central Processing Unit:制御手
段)により制御される。
カラー画像処理装置2は、階調再現処理部29で処理された画像データ(CMYK信号)を記憶部(不図示)に一旦記憶し、画像形成をする所定のタイミングで記憶部に記憶した画像データを読み出し、読み出した画像データをカラー画像出力装置3へ出力する。これらの制御は、例えば、CPU(不図示)により行われる。
図2は文書照合処理部25の構成を示すブロック図である。文書照合処理部25は、レイヤー分離部251、特徴点算出部252、特徴量算出部253、投票処理部254、類似度判定処理部255、メモリ256、前記各部を制御する制御部257などを備えている。
レイヤー分離部251は、制御部257へ入力される領域判定信号に基づいて行われる制御部257の制御のもと、入力された画像(原稿画像)のうち、文字領域と判定された領域の原稿画像を後段の特徴点算出部252へ出力する。また、レイヤー分離部251は、入力された画像(原稿画像)のうち、写真領域と判定された領域の原稿画像の各画素の濃度値(輝度値、明暗の値などでもよい)が、例えば、0〜255の256階調で表される場合、原稿画像を濃度値の範囲が0〜63、64〜127、128〜193、194〜255の異なる4つのレイヤーに分けて表現することにより、4つのレイヤー(階層画像)を生成し、生成した階層画像を特徴点算出部252へ出力する。なお、分離するレイヤーは4つに限定されるものではなく、他の数であってもよい。
特徴点算出部252は、入力された画像(例えば、文字領域と判定された画像、写真領域と判定された複数の階層画像など)に対して後述する所定の処理を行うとともに、入力された画像を二値化し、二値画像に基づいて特定された連結領域の特徴点(例えば、連結領域を構成する各画素の二値画像における座標値を累積加算し、累積加算した座標値を連結領域に含まれる画素数で除算した値)を抽出(算出)し、抽出した特徴点を特徴量算出部253へ出力する。なお、特徴点算出部252は、文字領域及び写真領域であると判定された領域に対して特徴点の抽出を行い、下地領域であると判定された領域に対しては、特徴点の抽出を行わない。
図3は特徴点算出部252の構成を示すブロック図である。特徴点算出部252は、無彩化処理部2520、解像度変換部2521、フィルタ処理部2522、二値化処理部2523、重心算出部2524などを備えている。
無彩化処理部2520は、入力された画像がカラー画像である場合、カラー画像を無彩化して、輝度信号又は明度信号に変換し、変換後の画像を解像度変換部2521へ出力する。例えば、輝度信号Yは、各画素RGBの色成分を夫々Rj、Gj、Bjとし、各画素の輝度信号をYjとして、Yj=0.30×Rj+0.59×Gj+0.11×Bjで表すことができる。なお、上式に限らず、RGB信号をCIE1976L* a* b* 信号に変換することもできる。
解像度変換部2521は、入力された画像がカラー画像入力装置1で光学的に変倍された場合であっても、所定の解像度になるように入力された画像を再度変倍し、変倍された画像をフィルタ処理部2522へ出力する。これにより、カラー画像入力装置1で変倍処理が行われ解像度が変化した場合であっても、その影響を受けることなく特徴点の抽出を行うことができ、精度良く画像の類似度を判定することができる。特に、縮小された文字などの場合、二値化処理を行って連結領域を特定するとき、文字が潰れているために本来離れている領域が繋がった状態で特定され、算出される重心がずれる虞を防止できる。また、解像度変換部2521は、カラー画像入力装置1で等倍時に読み込まれる解像度よりも小さい解像度に変換する。例えば、カラー画像入力装置1において600dpi(dot per inch)で読み込まれた画像を300dpiに変換する。これにより、後段における処理量を低減することができる。
フィルタ処理部2522は、入力された画像が有する空間周波数特性を補正し(例えば、画像の強調化処理及び平滑化処理など)、補正後の画像を二値化処理部2523へ出力する。フィルタ処理部2522は、カラー画像入力装置1の空間周波数特性が機種ごとに異なるため、異なる空間周波数特性を所要の特性に補正する。カラー画像入力装置1が出力する画像(例えば、画像信号)には、レンズ又はミラーなどの光学系部品、CCDの受光面のアパーチャ開口度、転送効率、残像、物理的な走査による積分効果及び走査むら等に起因して画像のぼけなどの劣化が生ずる。フィルタ処理部2522は、境界又はエッジなどの強調処理を行うことにより、画像に生じたぼけなどの劣化を修復する。また、フィルタ処理部2522は、後段で処理される特徴点の抽出処理に不要な高周波成分を抑制するための平滑化処理を行う。これにより、特徴点を精度良く抽出することができ、結果として画像の類似度の判定を精度良く行うことが可能となる。
二値化処理部2523は、入力された画像の濃度値、輝度値(輝度信号)又は明度値(明度信号)を閾値と比較することにより画像を二値化し、二値化した二値画像を重心算出部2524へ出力する。
重心算出部2524は、二値化処理部2523から入力された二値画像の各画素の二値化情報(例えば、「1」、「0」で表される)に基づいて、各画素に対してラベリング(ラベル付け処理)を行い、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出し、抽出した特徴点を特徴量算出部253へ出力する。なお、特徴点は、二値画像における座標値(x座標、y座標)で表すことができる。
図4は連結領域の特徴点の例を示す説明図である。図において、特定された連結領域は、文字「A」であり、同一ラベルが付された画素の集合として特定される。この文字「A」の特徴点(重心)は、図中黒丸で示される位置(x座標、y座標)となる。
図5は文字列に対する特徴点の抽出結果の例を示す説明図である。複数の文字から構成される文字列の場合、文字の種類により夫々異なる座標を有する特徴点が複数抽出される。
図6は写真領域の特徴点の例を示す説明図である。図6(a)に示すように、写真領域であると判定された原稿画像は、図6(b)に示すように、例えば、画像の濃度値に基づいて、濃度値の範囲が0〜63のレイヤー1、濃度値の範囲が64〜127のレイヤー2、濃度値の範囲が128〜193のレイヤー3、濃度値の範囲が194〜255のレイヤー4の4つのレイヤー(階層画像)に分けられる。図6(c)に示すように、レイヤー1〜4それぞれに対して特徴点が抽出される。図6(d)に示すように、各レイヤー1〜4で抽出された特徴点を合算(レイヤー毎に抽出された各特徴点を原稿画像上の特徴点として集める)して原稿画像の特徴点として抽出する。原稿画像を濃度値の範囲に応じて複数のレイヤー(階層画像)に分けることで、原稿画像が連続階調で表現されるような写真画像の場合でも、1つのレイヤー(階層画像)に含まれる濃度値の範囲(階調範囲)を小さくして、連結領域を一層特定しやすくし、連結領域の境界を明確化して特徴点の抽出を精度良く行うことができる。
なお、原稿画像をレイヤーに分ける場合に、原稿画像の濃度値を上述のとおり均等に分ける方法に限定する必要はなく、原稿画像が有する濃度ヒストグラムに応じてレイヤーをわける濃度値の範囲を適宜可変して設定することができる。
図7はレイヤーの分離方法の他の例を示す説明図である。図7は横軸が濃度値、縦軸が度数(頻度)であり、ある原稿画像の濃度ヒストグラムを示す。図に示すように、濃度値が極小になる部分(矢印)でレイヤーに分けるための濃度範囲を設定することができる。これにより、原稿画像の濃度分布にかかわらず、各レイヤーで一層精度よく連結領域を特定することができ、特徴点の抽出精度が向上する。
特徴点算出部252は、文字領域及び写真領域毎に抽出した特徴点を合算し、合算した特徴点を特徴量算出部253へ出力する。
特徴量算出部253は、特徴点算出部252から入力された特徴点(すなわち、連結領域の重心の座標値)夫々を注目特徴点とし、例えば、注目特徴点からの距離が小さい周辺の他の特徴点を4つ抽出する。
図8は注目特徴点と周辺の特徴点を示す説明図である。図に示すように、注目特徴点P1に対して、例えば、注目特徴点P1からの距離が近い順に、閉曲線S1で囲まれる4つの特徴点を抽出する(注目特徴点P1に対しては、注目特徴点P2も1つの特徴点として抽出されている)。また、注目特徴点P2に対して、例えば、上記と同様に注目特徴点P2からの距離が近い順に、閉曲線S2で囲まれる4つの特徴点を抽出する(注目特徴点P2に対しては、注目特徴点P1も1つの特徴点として抽出されている)。
特徴量算出部253は、抽出した4つの特徴点の中から3つの特徴点を選択して、不変量を算出する。なお、選択する特徴点は3つに限られるものではなく、4つ、5つなどの特徴点を選択することもできる。求めたい不変量の種類によって選択すべき特徴点の数が異なる。例えば、3点から求められる不変量は相似不変量となる。
図9は注目特徴点P1による不変量の算出例を示す説明図であり、図10は注目特徴点P2による不変量の算出例を示す説明図である。図9に示すように、注目特徴点P1の周辺の4つの特徴点から3つの特徴点を選択し、3通りの不変量夫々をH1j(j=1、2、3)とする。不変量H1jは、H1j=A1j/B1jで表される式で算出する。ここで、A1j、B1j夫々は特徴点間の距離を示しており、特徴点間の距離は、各周辺特徴点の座標値に基づいて算出される。これにより、例えば、原稿が回転、移動、傾いた場合であっても、不変量H1jは変化せず、画像の類似度の判定を精度良く行うことができる。
同様に、図10に示すように、注目特徴点P2の周辺の4つの特徴点から3つの特徴点を選択し、3通りの不変量夫々をH2j(j=1、2、3)とする。不変量H2jは、H2j=A2j/B2jで表される式で算出する。ここで、A2j、B2j夫々は特徴点間の距離を示しており、上記と同様に特徴点間の距離は、各周辺特徴点の座標値に基づいて算出される。以下同様に、他の注目特徴点に対して不変量を算出することができる。
特徴量算出部253は、夫々の注目特徴点により算出された不変量に基づいて、ハッシュ値(特徴量)Hiを算出する。注目特徴点Piのハッシュ値Hiは、Hi=(Hi1×102 +Hi2×101 +Hi3×100 )/Eで表される。ここで、Eは余りをどの程度設定するかにより決定される定数であり、例えば、「10」とした場合には、余りは「0」〜「9」となり、これが算出するハッシュ値の取り得る範囲となる。また、iは自然数であり特徴点の数を表している。
図11は注目特徴点P3による不変量の算出の他の例を示す説明図であり、図12は注目特徴点P4による不変量の算出の他の例を示す説明図である。図11に示すように、注目特徴点P3の周辺特徴点P1、P2、P4、P5の4点より4通りの組み合わせを選択し、不変量H3j(j=1、2、3、4)を前述の場合と同様に、H3j=(A3j/B3j)により算出してもよい。
また、図12に示すように、注目特徴点P4の周辺特徴点P2、P3、P5、P6の4点より4通りの組み合わせを選択し、不変量H4j(j=1、2、3、4)を前述の場合と同様に、H4j=(A4j/B4j)により算出してもよい。図11及び図12の例の場合、注目特徴点Piのハッシュ値Hiは、Hi=(Hi1×103 +Hi2×102 +Hi3×101 +Hi4×100 )/Eで算出することができる。なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。上記では、周辺の他の特徴点として4点を抽出する例を示しているが、4点に限定されるものではない。例えば、6点抽出するようにしても良い。この場合、6点の特徴点から5点を抽出し、5点を抽出する6通りそれぞれの方法について、5点から3点を抽出して不変量を求め、ハッシュ値を算出するようにしても良い。
図13はハッシュテーブルの構造を示す説明図である。図13(a)に示すように、ハ
ッシュテーブルの構造は、ハッシュ値及び原稿を表すインデックスの各欄により構成されている。より具体的には、原稿を示すインデックスに対応して、原稿中の位置を示すポイントインデックス、及び不変量が登録されている。画像の類似度を判定するため、予め照合する画像・文書画像などをハッシュテーブルに登録しておく。ハッシュテーブルはメモリ256に記憶してある。なお、図13(b)に示すように、ハッシュ値が等しい場合(H1=H5)、ハッシュテーブルの2つのエントリを1つにまとめることもできる。
投票処理部254は、特徴量算出部253が算出したハッシュ値(特徴量)に基づいて、メモリ256に記憶されたハッシュテーブルを検索し、ハッシュ値に登録されている(対応する)インデックスの原稿(登録画像)について投票する。投票を累積加算した結果を類似度判定処理部255へ出力する。
類似度判定処理部255は、投票処理部254から入力された投票結果に基づいて、読み取られた原稿画像がいずれの登録画像(登録フォーマット)に類似するかを判定し、判定結果を出力する。より具体的には、類似度判定処理部255は、投票処理部254から入力された得票数を原稿画像の最大得票数(特徴点の数×1つの特徴点から算出されるハッシュ値の数で表される)で除算して正規化した類似度を算出する。類似度判定処理部255は、算出した類似度と予め定めた閾値Th(例えば、0.8)とを比較し、類似度が閾値Th以上である場合には、その類似度が算出された登録画像に類似すると判定し、類似度が閾値Thより小さい場合には、原稿画像に類似する登録画像はないと判定して、その判定結果を出力する。なお、投票処理部254から入力された得票数を予め定めた閾値と比較し、得票数が閾値以上であれば、原稿画像が予め登録された登録画像に類似すると判定し、さらに類似と判定された中で最も得票数の高い登録フォーマットが原稿画像に一致すると判定することもできる。
図14は投票結果に基づく類似判定の一例を示す説明図である。図14に示すように、原稿画像から算出されたハッシュ値毎にハッシュテーブルを検索して投票した結果、原稿を表すインデックスがID1、ID2、ID3で示される登録画像に対して投票されたとする。投票の結果得られたそれぞれの得票数を原稿画像の最大得票数で除算して正規化した類似度N1、N2、N3を算出する。算出した類似度が閾値Th以上であるのは、原稿を表すインデックスがID1で示される登録フォーマットであるため、原稿画像は、原稿を表すインデックスID1の登録画像に類似すると判定される。
なお、文書照合処理部25が出力する判定信号に基づいて、所定の処理、例えば、原稿画像が登録画像に類似すると判定された場合には、複写、ファックス送信、電子メール送信を禁止してセキュリティの向上を図ることができ、あるいは、予め指定されたフォルダに保存することで、セキュリティレベルに応じた電子ファイルシステムを構築することができる。
また、原稿画像の登録を行う場合は、例えば、画像形成装置100の操作パネル4より原稿登録モードを選択して行う。原稿登録モードが選択されているか否かは制御部257により判定される。原稿登録モードが選択されていない場合は、通常の複写、ファイリング、電子メール送信動作等を行う。なお、原稿登録処理は、文書照合処理部25などの専用のハードウエア回路で構成するだけでなく、CPU、RAM、ROMなどを備えたパーソナルコンピュータに、原稿登録処理の手順を定めたコンピュータプログラムをロードすることによりCPUでコンピュータプログラムを実行させることにより行うこともできる。
図15は本発明に係る画像読取装置500の構成を示すブロック図である。図に示すように、画像読取装置500は、カラー画像入力装置1、カラー画像処理装置2、操作パネル4などを備え、カラー画像処理装置2は、A/D変換部20、シェーディング補正部21、入力階調補正部22、領域認識処理部23、領域分離処理部24、文書照合処理部25などを備えている。カラー画像入力装置1、A/D変換部20、シェーディング補正部21、入力階調補正部22、領域認識処理部23、領域分離処理部24、文書照合処理部25、操作パネル4は、上述の画像形成装置100の場合と同様であるので説明は省略する。
次にカラー画像処理装置2の動作について説明する。図16はカラー画像処理装置2(以下、処理部という)の文書照合処理の手順を示すフローチャートである。なお、文書照合処理は、専用のハードウエア回路で構成するだけでなく、CPU、RAM、ROMなどを備えたパーソナルコンピュータに、文書照合処理の手順を定めたコンピュータプログラムをロードすることによりCPUでコンピュータプログラムを実行させることにより行うこともできる。
処理部は、原稿の読み込みを行い(S11)、原稿画像を取得する。なお、原稿画像は、スキャナで原稿を読み込むことにより取得することもでき、あるいは、電子データのフォーマットに、コンピュータを用いて文字、記号、図表、写真等を入力して作成される電子データとして取得することもできる。
処理部は、原稿画像の領域判定を行い(S12)、文字領域である場合(S12で文字領域)、原稿画像のうち文字領域であると判定された領域で特徴点を抽出する(S13)。一方、写真領域である場合(S12で写真領域)、処理部は、原稿画像のうち写真領域であると判定された領域をレイヤーに分離する(S14)。
処理部は、レイヤー毎に特徴点を抽出し(S15)、レイヤー毎に抽出された特徴点を合算する(S16)。処理部は、文字領域の特徴点と写真領域の特徴点とを合算し(S17)、合算した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量(ハッシュ値)を算出する(S18)。
処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する(S19)。処理部は、投票により得られた得票数を原稿画像の最大得票数(特徴点の数×1つの特徴点から算出されるハッシュ値の数で表される)で除算して正規化した類似度を算出する(S20)。
処理部は、算出した類似度と予め定めた閾値Thとを比較し、類似度が閾値Th以上である場合には、その類似度が算出された登録画像に類似すると判定し、類似度が閾値Thより小さい場合には、原稿画像に類似する登録画像はないと判定して、判定信号を出力し(S21)、処理を終了する。なお、原稿画像が複数ある場合には、上述の処理を繰り返して行うことはいうまでもない。
実施の形態2
上述の実施の形態1では、文字領域で抽出された特徴点と写真領域で抽出された特徴点とを合算する構成であったが、これに限定されるものではない。例えば、文字領域及び写真領域それぞれで投票処理を行い、領域毎に得られた得票数を加算して原稿画像と登録画像との類似度を算出する構成とすることもできる。
図17は実施の形態2の文書照合処理の手順を示すフローチャートである。処理部は、原稿の読み込みを行い(S31)、原稿画像を取得する。処理部は、原稿画像の領域判定を行い(S32)、文字領域である場合(S32で文字領域)、原稿画像のうち文字領域であると判定された領域で特徴点を抽出する(S33)。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量(ハッシュ値)を算出する(S34)。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する(S35)。
一方、写真領域である場合(S32で写真領域)、処理部は、原稿画像のうち写真領域であると判定された領域をレイヤーに分離する(S36)。処理部は、レイヤー毎に特徴点を抽出し(S37)、レイヤー毎に抽出された特徴点を合算する(S38)。
処理部は、合算した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量(ハッシュ値)を算出する(S39)。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する(S40)。
処理部は、文字領域の得票数と写真領域の得票数とを加算し(S41)、加算した得票数を原稿画像の最大得票数(特徴点の数×1つの特徴点から算出されるハッシュ値の数で表される)で除算して正規化した類似度を算出する(S42)。
処理部は、算出した類似度と予め定めた閾値Thとを比較し、類似度が閾値Th以上である場合には、その類似度が算出された登録画像に類似すると判定し、類似度が閾値Thより小さい場合には、原稿画像に類似する登録画像はないと判定して、判定信号を出力し(S43)、処理を終了する。
実施の形態3
上述の実施の形態2では、文字領域及び写真領域それぞれで投票処理を行い、領域毎に得られた得票数を加算して原稿画像と登録画像との類似度を算出する構成であったが、これに限定されるものではない。例えば、文字領域及び写真領域それぞれで類似度を算出し、その結果に応じて原稿画像が登録画像に類似するか否かを最終判定する構成とすることもできる。
図18は実施の形態3の文書照合処理の手順を示すフローチャートである。処理部は、原稿の読み込みを行い(S51)、原稿画像を取得する。処理部は、原稿画像の領域判定を行い(S52)、文字領域である場合(S52で文字領域)、原稿画像のうち文字領域であると判定された領域で特徴点を抽出する(S53)。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量(ハッシュ値)を算出する(S54)。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する(S55)。
処理部は、投票の結果得られた得票数を原稿画像のうち文字領域の最大得票数(特徴点の数×1つの特徴点から算出されるハッシュ値の数で表される)で除算して正規化した類似度を算出する(S56)。
一方、写真領域である場合(S52で写真領域)、処理部は、原稿画像のうち写真領域であると判定された領域をレイヤーに分離する(S57)。処理部は、レイヤー毎に特徴点を抽出し(S58)、レイヤー毎に抽出された特徴点を合算する(S59)。
処理部は、合算した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量(ハッシュ値)を算出する(S60)。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する(S61)。
処理部は、投票の結果得られた得票数を原稿画像のうち写真領域の最大得票数(特徴点の数×1つの特徴点から算出されるハッシュ値の数で表される)で除算して正規化した類似度を算出する(S62)。
処理部は、文字領域で算出された類似度と写真領域で算出された類似度に応じて、原稿画像が登録画像に類似するか否かを総合判定する(S63)。総合判定の方法は、適宜決定することが可能である。例えば、類似度の最も大きい値に対応する登録画像に類似すると判定することもでき、あるいは、文字領域と写真領域とで優先順位を設けておき、優先順位により判定することもできる。また、文字領域と写真領域とで類似度に重み付けを付与し、重み付けられた類似度に応じて判定してもよい。
処理部は、総合判定の結果に応じて判定信号を出力し(S64)、処理を終了する。
実施の形態4
上述の実施の形態では、写真領域の特徴量を求める場合に、同じレイヤー内の特徴点を用いて不変量の算出を行っているが、これに限定されるものではなく、あるレイヤーに存在する注目特徴点に対して、隣接する他のレイヤーに存在する特徴点も含めて不変量を求めることもできる。
図19は実施の形態4の注目特徴点と周辺の特徴点を示す説明図である。図19に示すように、例えば、複数のレイヤーのうち、レイヤー3に存在する注目特徴点P5に対して、注目特徴点P5からの距離が近い順に、レイヤー3のみならず、隣接する他のレイヤーに存在する周辺特徴点(レイヤー4の特徴点P1、レイヤー3の特徴点P2、レイヤー2の特徴点P3、P4)を抽出する。この場合、周辺特徴点を選択する基準は、注目特徴点からの距離であるので、注目特徴点P5が存在するレイヤー3内の特徴点も抽出対象となる。図19の例では、注目特徴点に対して4つの周辺特徴点を抽出する場合を示すが、抽出する周辺特徴点の数は4に限定されるものではない。なお、レイヤー間の距離dLは、予め設定しておくことができる。
次に、レイヤー間の距離dLを算出する例について説明する。図20はレイヤー間の距離dLを算出する一例を示す説明図である。図20に示すように、各レイヤー1〜4それぞれに対して、代表的な濃度値(代表濃度値)D1〜D4を設定する。また、階調数を256階調(8ビット)とし、最大濃度値(255)に応じた最大レイヤー距離Lmaxを設定する。
レイヤー2とレイヤー1の距離dL12は、dL12=│D2−D1│×Lmax/256により算出する。例えば、最大レイヤー距離Lmax=32、レイヤー1の代表濃度値D1=32(濃度0〜63の中央値)、レイヤー2の代表濃度値D2=96(濃度64〜127の中央値)とすると、レイヤー2とレイヤー1の距離dL12は8となる。例えば、300dpiの画像の場合、10ポイントの文字は、約32×32画素であり、同一レイヤー内の特徴点の影響度とレイヤー間の影響度を同程度とするために、最大レイヤー距離Lmaxは、Lmax=32としている。上記と同様の方法により、レイヤー2とレイヤー3間の距離dL23、レイヤー3とレイヤー4間の距離dL34は、それぞれ8となる。なお、レイヤー間の距離の算出例は、これに限定されるものではない。
図21、図22、図23及び図24は実施の形態4の注目特徴点P5による不変量の算出例を示す説明図である。図21〜図24に示すように、注目特徴点P5の周辺特徴点P1、P2、P3、P4の4点より4通りの組み合わせを選択し、不変量H5j(j=1、2、3、4)を、H5j=(A5j/B5j)により算出する。この場合、注目特徴点Piのハッシュ値Hiは、Hi=(Hi1×103 +Hi2×102 +Hi3×101 +Hi4×100 )/Eで算出することができる。
二次元平面(同じレイヤー上)では特徴量が同じであっても三次元空間(レイヤーが異なる)では特徴量が異なり得るので、特徴点の空間配置も含めて特徴量(不変量)を算出することにより、原稿画像の照合精度を一層向上させることができる。
図25は実施の形態4の文書照合処理の手順を示すフローチャートである。なお、図25の例は、実施の形態2に対応するものである。処理部は、原稿の読み込みを行い(S71)、原稿画像を取得する。処理部は、原稿画像の領域判定を行い(S72)、文字領域である場合(S72で文字領域)、原稿画像のうち文字領域であると判定された領域で特徴点を抽出する(S73)。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量(ハッシュ値)を算出する(S74)。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する(S75)。処理部は後述のステップS81の処理を行う。
一方、写真領域である場合(S72で写真領域)、処理部は、原稿画像のうち写真領域であると判定された領域をレイヤーに分離する(S76)。処理部は、レイヤー毎に特徴点を抽出し(S77)、隣接するレイヤーの特徴点を含めて注目特徴点に近い周辺特徴点を抽出する(S78)。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量(ハッシュ値)を算出する(S79)。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する(S80)。
処理部は、文字領域の得票数と写真領域の得票数とを加算し(S81)、加算した得票数を原稿画像の最大得票数(特徴点の数×1つの特徴点から算出されるハッシュ値の数で表される)で除算して正規化した類似度を算出する(S82)。
処理部は、算出した類似度と予め定めた閾値Thとを比較し、類似度が閾値Th以上である場合には、その類似度が算出された登録画像に類似すると判定し、類似度が閾値Thより小さい場合には、原稿画像に類似する登録画像はないと判定して、判定信号を出力し(S83)、処理を終了する。
図26は実施の形態4の文書照合処理の手順を示すフローチャートである。なお、図26の例は、実施の形態3に対応するものである。処理部は、原稿の読み込みを行い(S91)、原稿画像を取得する。処理部は、原稿画像の領域判定を行い(S92)、文字領域である場合(S92で文字領域)、原稿画像のうち文字領域であると判定された領域で特徴点を抽出する(S93)。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量(ハッシュ値)を算出する(S94)。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する(S95)。
処理部は、投票の結果得られた得票数を原稿画像のうち文字領域の最大得票数(特徴点の数×1つの特徴点から算出されるハッシュ値の数で表される)で除算して正規化した類似度を算出する(S96)。処理部は後述のステップS103の処理を行う。
一方、写真領域である場合(S92で写真領域)、処理部は、原稿画像のうち写真領域であると判定された領域をレイヤーに分離する(S97)。処理部は、レイヤー毎に特徴点を抽出し(S98)、隣接するレイヤーの特徴点を含めて注目特徴点に近い周辺特徴点を抽出する(S99)。
処理部は、抽出した特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量(ハッシュ値)を算出する(S100)。処理部は、算出した特徴量に基づいてハッシュテーブルを検索し、同一の特徴量に対応する登録画像に投票する(S101)。
処理部は、投票の結果得られた得票数を原稿画像のうち写真領域の最大得票数(特徴点の数×1つの特徴点から算出されるハッシュ値の数で表される)で除算して正規化した類似度を算出する(S102)。
処理部は、文字領域で算出された類似度と写真領域で算出された類似度に応じて、原稿画像が登録画像に類似するか否かを総合判定する(S103)。総合判定の方法は、適宜決定することが可能である。例えば、類似度の最も大きい値に対応する登録画像に類似すると判定することもでき、あるいは、文字領域と写真領域とで優先順位を設けておき、優先順位により判定することもできる。また、文字領域と写真領域とで類似度に重み付けを付与し、重み付けられた類似度に応じて判定してもよい。
処理部は、総合判定の結果に応じて判定信号を出力し(S104)、処理を終了する。
実施の形態5
本発明を電子データ(アプリケーションソフトウェアで作成されたデータ)又は電子化データ(例えば、スキャナで読み込まれたデータをJPEG又はPDFなど所定のファイルフォーマットに変換したデータ)に対して適用することもできる。例えば、電子データ又は電子化データの形態で提出されたデータをサーバに格納しておき、これらのデータに対して、本発明をアプリケーションソフトウェアとして適用することができる。上記データは、電子データ、ファイルフォーマット毎に格納されているのが好ましい。
電子データについては、数種類のソフトウェアが使用され得るので、例えば、RIP(ラスター・イメージ・プロセッサー)を用いて、PDL(ページ記述言語)を解釈し、ラスター・イメージ(RGBデータ)に変換して本発明の方法を適用すればよい。また、電子化データについては、例えば、JPEG又はGIFなどの符号化された画像フォーマットの場合には、一旦復号処理を行い、さらに必要に応じてYCC信号をRGB信号に変換するなどの色変換処理の後に本発明の方法を適用すればよい。また、PDFフォーマットについては、画像データがJPEGなどの符号化された画像フォーマットで保存されている場合には、復号処理を実施してRGB信号に変換した上で本発明の方法を適用すればよく、フォントなどのベクタデータ部分に関しては、RIPなどを介してRGBの画像データに変換した上で本発明の方法を適用すればよい。なお、PDFフォーマットの場合、オブジェクト(テキスト、図又は写真等)毎の情報をタグとして保有している。この情報を参考にしてデータの変換を行うことができる。オブジェクトの情報は、例えば、テキストの場合には、フォント、ポイント数、色又は表示位置等であり、写真の場合には、符号化の方法、サイズ又は表示位置などである。
以上説明したように、本発明にあっては、原稿画像が連続階調で表現されるような写真画像の場合でも、階層画像毎に階調範囲を小さくして、連結領域を一層特定しやすくなり、連結領域の境界を明確化して特徴点の抽出を精度良く行うことができ、登録画像との照合精度が向上する。また、文字領域と写真領域とが混在した原稿画像であっても、精度良く登録画像との照合を行うことができる。
上述の実施の形態1〜3では、領域認識処理部23で原稿画像が文字領域であるか写真領域であるかを判定し、領域毎に処理(例えば、特徴点の抽出、投票処理、類似度の算出など)を分けて行う構成であったが、これに限定されるものではない。例えば、領域認識処理を行うことなく、原稿画像が文字領域であるか写真領域であるかにかかわらず、原稿画像全体を複数のレイヤー(階層画像)に分離して、階層画像毎に特徴点を抽出するようにすることもできる。これにより、画像処理装置に装備するハードウエア機構を少なくすることができコストを低減することができるとともに、各処理をソフトウェアで行う際の処理量を低減することで高速処理を実現することができる。
上述の実施の形態1〜3では、領域認識処理部23で原稿画像が文字領域であるか写真領域であるかを判定し、領域毎に処理を分けて行う構成であったが、領域の判定結果に応じて、文字領域に対する処理、あるいは写真領域に対する処理のいずれかを選択し、原稿画像全体に対して選択された処理を行う構成とすることもできる。この場合、例えば、文字領域であると判定された領域と写真領域であると判定された領域の大小に応じていずれの処理を行うか決定してもよい。
上述の実施の形態では、登録フォーマット、ハッシュテーブルを予めメモリ256に記憶しておく構成であるが、これに限定されるものではなく、画像形成装置100と通信回線(ネットワーク)を通じて接続されたサーバ装置の記憶部に登録フォーマットを記憶しておき、ハッシュテーブルはメモリ256に分散して記憶させてもよい。
本発明は、コンピュータに実行させるためのプログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)を記録したコンピュータで読み取り可能な記録媒体上に上述の文書照合処理を行う画像処理方法を記録することも可能である。なお、記録媒体としては、マイクロコンピュータで処理が行われるように図示しないメモリ、例えばROMのようなプログラムメディアであってもよく、外部記憶部などのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムコードはマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされ、そのプログラムコードが実行される方式であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。
前記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスク並びにCD−ROM/MO(Magneto Optical)/MD(Mini disk)/DVD(Digital Versatile Disk)等の光ディスクのディスク系、IC(Integrated Circuit)カード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
また、インターネットを含む通信ネットワークと接続可能なシステム構成の場合は、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、ダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。また、コンピュータシステムは、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するCRTディスプレイ又は液晶ディスプレイなどの画像表示装置、及びコンピュータの処理結果を記録紙に出力するプリンタより構成される。さらには、ネットワークを介してサーバなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。
本発明に係る画像処理装置を備える画像形成装置の構成を示すブロック図で ある。 文書照合処理部の構成を示すブロック図である。 特徴点算出部の構成を示すブロック図である。 連結領域の特徴点の例を示す説明図である。 文字列に対する特徴点の抽出結果の例を示す説明図である。 写真領域の特徴点の例を示す説明図である。 レイヤーの分離方法の他の例を示す説明図である。 注目特徴点と周辺の特徴点を示す説明図である。 注目特徴点による不変量の算出例を示す説明図である。 注目特徴点による不変量の算出例を示す説明図である。 注目特徴点による不変量の算出の他の例を示す説明図である。 注目特徴点による不変量の算出の他の例を示す説明図である。 ハッシュテーブルの構造を示す説明図である。 投票結果に基づく類似判定の一例を示す説明図である。 本発明に係る画像読取装置の構成を示すブロック図である。 カラー画像処理装置の文書照合処理の手順を示すフローチャートである。 実施の形態2の文書照合処理の手順を示すフローチャートである。 実施の形態3の文書照合処理の手順を示すフローチャートである。 実施の形態4の注目特徴点と周辺の特徴点を示す説明図である。 レイヤー間の距離を算出する一例を示す説明図である。 実施の形態4の注目特徴点による不変量の算出例を示す説明図である。 実施の形態4の注目特徴点による不変量の算出例を示す説明図である。 実施の形態4の注目特徴点による不変量の算出例を示す説明図である。 実施の形態4の注目特徴点による不変量の算出例を示す説明図である。 実施の形態4の文書照合処理の手順を示すフローチャートである。 実施の形態4の文書照合処理の手順を示すフローチャートである。
符号の説明
1 カラー画像入力装置
2 カラー画像処理装置
3 カラー画像出力装置
25 文書照合処理部
251 レイヤー分離部
252 特徴点算出部
253 特徴量算出部
254 投票処理部
255 類似度判定処理部
256 メモリ
257 制御部
2520 無彩化処理部
2521 解像度変換部
2522 フィルタ処理部
2523 二値化処理部
2524 重心算出部

Claims (16)

  1. 複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行う画像処理方法において、
    複数の登録画像それぞれに対応する特徴量を予め記憶しておき、
    原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成し、
    生成した階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、
    前記階層画像毎に抽出した特徴点に基づいて原稿画像の特徴量を算出し、
    算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、
    特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、
    投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする画像処理方法。
  2. 原稿画像の各画素の画素値に基づいて、少なくとも文字領域又は写真領域のいずれの領域であるかを判定し、
    写真領域であると判定した領域に対して、複数の階層画像を生成することを特徴とする請求項1に記載の画像処理方法。
  3. 文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、
    写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、
    領域毎に抽出した特徴点に基づいて原稿画像の特徴量を算出することを特徴とする請求項2に記載の画像処理方法。
  4. 文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、
    写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、
    抽出した特徴点に基づいて特徴量を領域毎に算出し、
    算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、
    特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、
    投票して得られた得票数を領域毎に加算し、
    加算した得票数に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする請求項2に記載の画像処理方法。
  5. 文字領域であると判定した領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出し、
    写真領域であると判定した領域に対して、前記階層画像毎に特徴点を抽出し、
    抽出した特徴点に基づいて特徴量を領域毎に算出し、
    算出した特徴量と登録画像に対応する特徴量とが一致するか否かを判定し、
    特徴量が一致すると判定した場合、一致した特徴量毎に該特徴量に対応する登録画像に投票し、
    投票して得られた得票数に基づいて、領域毎に原稿画像が登録画像に類似するか否かを判定し、
    領域毎に判定された判定結果に基づいて、原稿画像が登録画像に類似するか否かを判定することを特徴とする請求項2に記載の画像処理方法。
  6. 写真領域であると判定した領域に対して、前記複数の階層画像から特徴点を抽出し、
    抽出した特徴点に基づいて原稿画像の特徴量を算出することを特徴とする請求項2に記載の画像処理方法。
  7. 複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行う画像処理装置において、
    複数の登録画像それぞれに対応する特徴量を予め記憶する記憶手段と、
    原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成する生成手段と、
    該生成手段で生成された階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出する抽出手段と、
    該抽出手段で階層画像毎に抽出された特徴点に基づいて原稿画像の特徴量を算出する算出手段と、
    該算出手段で算出された特徴量と登録画像に対応する特徴量とが一致するか否かを判定する特徴量判定手段と、
    該特徴量判定手段で特徴量が一致すると判定された場合、一致した特徴量毎に該特徴量に対応する登録画像に投票する投票手段と、
    該投票手段で投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定する類似判定手段と
    を備えることを特徴とする画像処理装置。
  8. 原稿画像の各画素の画素値に基づいて、少なくとも文字領域又は写真領域のいずれの領域であるかを判定する領域判定手段を備え、
    前記生成手段は、
    前記領域判定手段で写真領域であると判定された領域に対して、複数の階層画像を生成するように構成してあることを特徴とする請求項7に記載の画像処理装置。
  9. 前記抽出手段は、
    前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、
    写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、
    前記算出手段は、
    領域毎に抽出された特徴点に基づいて原稿画像の特徴量を算出するように構成してあることを特徴とする請求項8に記載の画像処理装置。
  10. 前記抽出手段は、
    前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、
    写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、
    前記算出手段、特徴量判定手段及び投票手段は、
    領域毎にそれぞれの処理を行うように構成してあり、
    前記投票手段で領域毎に投票して得られた得票数を加算する加算手段を備え、
    前記類似判定手段は、
    前記加算手段で加算された得票数に基づいて、原稿画像が登録画像に類似するか否かを判定するように構成してあることを特徴とする請求項8に記載の画像処理装置。
  11. 前記抽出手段は、
    前記領域判定手段で文字領域であると判定された領域に対して、原稿画像に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出するように構成してあり、
    写真領域であると判定された領域に対して、前記階層画像毎に特徴点を抽出するように構成してあり、
    前記算出手段、特徴量判定手段、投票手段及び類似判定手段は、
    領域毎にそれぞれの処理を行うように構成してあり、
    前記類似判定手段で領域毎に判定された判定結果に基づいて、原稿画像が登録画像に類似するか否かを判定する総合判定手段を備えることを特徴とする請求項8に記載の画像処理装置。
  12. 前記抽出手段は、
    前記領域判定手段で写真領域であると判定された領域に対して、前記複数の階層画像から特徴点を抽出するように構成してあり、
    前記算出手段は、
    前記抽出手段で抽出された特徴点に基づいて原稿画像の特徴量を算出するように構成してあることを特徴とする請求項8に記載の画像処理装置。
  13. 画像を読み取る画像読取手段と、該画像読取手段で読み取った画像を処理する画像処理装置とを備える画像読取装置において、
    前記画像処理装置は、
    請求項7乃至請求項12のいずれか1つに記載された画像処理装置であることを特徴とする画像読取装置。
  14. 請求項7乃至請求項12のいずれか1つに記載された画像処理装置と、該画像処理装置で処理された画像の形成を行う画像形成手段とを備えることを特徴とする画像形成装置。
  15. コンピュータに、複数の画素で構成される原稿画像の特徴量を抽出し、抽出した特徴量に基づいて登録画像との類似判定を行わせるためのコンピュータプログラムにおいて、
    コンピュータを、原稿画像の各画素の画素値に基づいて、画素値の範囲が重複しないように異なる複数の階層画像を生成させる手段と、
    生成された階層画像毎に二値化処理して得られた二値化画像に基づいて特定された連結領域の重心を特徴点として抽出させる手段と、
    前記階層画像毎に抽出された特徴点に基づいて原稿画像の特徴量を算出させる手段と、
    算出された特徴量と登録画像に対応する特徴量とが一致するか否かを判定させる手段と、
    特徴量が一致すると判定された場合、一致した特徴量毎に該特徴量に対応する登録画像に投票させる手段と、
    投票して得られた得票数に基づいて、原稿画像が登録画像に類似するか否かを判定させる手段と
    して機能させることを特徴とするコンピュータプログラム。
  16. 請求項15に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
JP2008040439A 2007-03-06 2008-02-21 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体 Expired - Fee Related JP4393556B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008040439A JP4393556B2 (ja) 2007-03-06 2008-02-21 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体
US12/042,996 US8055079B2 (en) 2007-03-06 2008-03-05 Image processing method, image processing apparatus, and image forming apparatus
CN2008100820999A CN101261684B (zh) 2007-03-06 2008-03-06 图像处理方法、图像处理装置及图像形成装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007056291 2007-03-06
JP2008040439A JP4393556B2 (ja) 2007-03-06 2008-02-21 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2008252877A JP2008252877A (ja) 2008-10-16
JP4393556B2 true JP4393556B2 (ja) 2010-01-06

Family

ID=39962133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008040439A Expired - Fee Related JP4393556B2 (ja) 2007-03-06 2008-02-21 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体

Country Status (2)

Country Link
JP (1) JP4393556B2 (ja)
CN (1) CN101261684B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554021B2 (en) * 2010-10-19 2013-10-08 Palo Alto Research Center Incorporated Finding similar content in a mixed collection of presentation and rich document content using two-dimensional visual fingerprints
JP5910867B2 (ja) 2012-03-13 2016-04-27 日本電気株式会社 文書内の図情報を利用した類似文書の検索システム及び方法
JP6056319B2 (ja) * 2012-09-21 2017-01-11 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6235414B2 (ja) * 2014-06-06 2017-11-22 株式会社デンソーアイティーラボラトリ 特徴量演算装置、特徴量演算方法、及び特徴量演算プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163557A (ja) * 1998-11-25 2000-06-16 Canon Inc 画像処理方法、画像処理装置及び記憶媒体
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP2008252877A (ja) 2008-10-16
CN101261684B (zh) 2011-05-11
CN101261684A (zh) 2008-09-10

Similar Documents

Publication Publication Date Title
US8055079B2 (en) Image processing method, image processing apparatus, and image forming apparatus
US8320683B2 (en) Image processing method, image processing apparatus, image reading apparatus, and image forming apparatus
US8144994B2 (en) Image processing method, image processing apparatus, image reading apparatus, image forming apparatus, and recording medium
US8351706B2 (en) Document extracting method and document extracting apparatus
US8107734B2 (en) Image processing apparatus, and method for performing document matching using extracted feature points of connected image components
US8265345B2 (en) Image processing method, image processing apparatus, image forming apparatus, and image reading apparatus
US8103108B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
US7974474B2 (en) Method for matching images, image matching device, image data output apparatus, and recording medium
JP4324628B2 (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及び記録媒体
US20090034848A1 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP4362538B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP4457140B2 (ja) 画像処理方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム及び記録媒体
JP2009031876A (ja) 画像処理装置およびそれを備えた画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
US8300944B2 (en) Image processing method, image processing apparatus, image reading apparatus, image forming apparatus, image processing system, and storage medium
US8180159B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP4362537B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
US8184912B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP4361946B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそのプログラムが格納された記録媒体
JP4393556B2 (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体
JP2009206658A (ja) 画像処理方法、画像処理装置、画像形成装置、プログラム及び記憶媒体
JP2008154216A (ja) 画像処理方法、画像処理装置、画像形成装置、原稿読取装置、コンピュータプログラム及び記録媒体
JP2008245147A (ja) 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体
JP4340714B2 (ja) 原稿抽出方法、原稿抽出装置、コンピュータプログラム及び記録媒体
JP2008123456A (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091013

R150 Certificate of patent or registration of utility model

Ref document number: 4393556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131023

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees