JP4469885B2 - 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体 - Google Patents

画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP4469885B2
JP4469885B2 JP2007233426A JP2007233426A JP4469885B2 JP 4469885 B2 JP4469885 B2 JP 4469885B2 JP 2007233426 A JP2007233426 A JP 2007233426A JP 2007233426 A JP2007233426 A JP 2007233426A JP 4469885 B2 JP4469885 B2 JP 4469885B2
Authority
JP
Japan
Prior art keywords
document
image
resolution
image data
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007233426A
Other languages
English (en)
Other versions
JP2009065571A (ja
Inventor
仁志 廣畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2007233426A priority Critical patent/JP4469885B2/ja
Priority to CN2008102122281A priority patent/CN101382770B/zh
Priority to US12/204,561 priority patent/US8050501B2/en
Publication of JP2009065571A publication Critical patent/JP2009065571A/ja
Application granted granted Critical
Publication of JP4469885B2 publication Critical patent/JP4469885B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G21/00Arrangements not provided for by groups G03G13/00 - G03G19/00, e.g. cleaning, elimination of residual charge
    • G03G21/04Preventing copies being made of an original
    • G03G21/046Preventing copies being made of an original by discriminating a special original, e.g. a bank note
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/16Image preprocessing
    • G06V30/166Normalisation of pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Description

本発明は、照合対象原稿の画像と予め登録された登録原稿の画像との類似性を判定する画像照合技術を用いた画像照合装置及び方法に関し、また、入力された照合対象原稿の画像データに対する複写処理や、送信処理、編集処理、或いはファイリング処理等の出力処理を、類似度の判定結果に基づいて制御する画像データ出力処理装置に関するものである。
従来から、スキャナ等で原稿を読み取って得られた画像データと、事前に登録されている登録原稿の画像データとを比較し、その類似性を判定するといった画像照合技術がある。
類似性の判定には、例えば、OCR(Optical Character Reader)などで画像からキーワードを抽出してキーワードによるマッチングを行う方法や、対象画像を罫線のある帳票画像に限定し、罫線の特徴によるマッチングを行う方法(特許文献1参照)、或いは、入力画像と登録画像の色味分布を基に判定する方法(特許文献2参照)などが知られている。
また、特許文献3には、入力文書の特徴からデスクリプタを生成し、このデスクリプタと、デスクリプタを記録しデスクリプタが生成された特徴を含む文書のリストを指し示すデスクリプタデータベースとを用いて、入力文書と文書データベース中の文書とのマッチングを行う技術が開示されている。デスクリプタは、文書のデジタル化により生じる歪みや、入力文書と文書データベース中の整合する文書との間の差異に対して不変となるように選ばれる。
この技術では、デスクリプタデータベースがスキャンされるときに、文書データベース中の各文書に対する投票を累積し、最高得票数の1文書または得票数がある閾値を超えた文書を整合文書とするようになっている。
さらに、特許文献4には、デジタル画像から複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定し、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点の複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を組み合わせて特徴量を計算し、計算した特徴量を有するデータベース中の文書・画像に投票することにより、上記デジタル画像に対応する文書・画像を検索する技術が開示されている。
そして、従来、複写機や、ファクシミリ装置、スキャナ装置、或いは複合機などの、入力画像データ(照合対象原稿の画像データ)に対して複写処理や、送信処理、編集処理、或いはファイリング処理等の出力処理を行う画像データ出力処理装置においては、このような画像照合技術を利用して、入力された照合対象原稿の画像が登録原稿の画像に類似する場合、その出力処理を規制するといったことが行われている。
例えば、カラー画像形成装置においては、紙幣や有価証券の偽造に対処するため、入力画像データから検出したパターンに基づいて入力画像データの画像が紙幣や有価証券等の画像であるかどうかを判断し、登録画像である場合には、出力された画像から複写を行った画像形成装置を特定できるように出力される画像に特定のパターンを付加したり、複写画像を塗りつぶしたり、複写動作を禁止したりする技術が知られている。
特開平8−255236号公報(1996年10月1日公開) 特開平5−110815号公報(1993年4月30日公開) 特開平7−282088号公報(1995年10月27日公開) 国際公開第2006/092957号パンフレット(2006年9月8日公開)
しかしながら、従来の画像照合装置においては、照合対象原稿が割付原稿や縮小原稿のものである場合に、登録原稿との類似性(類似度)を精度よく判定することができないといった問題がある。これについて詳細に説明する。
画像の特徴量を用いて画像同士を照合して類似性を判定する場合、画像同士の解像度を同じにして照合することで、最も判定精度が良くなる。これは、画像同士の解像度を揃えることで、判定の基準となる特徴量の抽出を同じ条件で行えるためである。
ところが、複数の原稿画像が割り付けられている割付原稿の場合、割付原稿中にある個々の原稿画像は、元の画像サイズよりも縮小されている。そのため、登録原稿と同じ解像度にて読み取ったとしても、実質的な解像度が違ってくる。
例えば、A4サイズの原稿を600dpiで読み取った画像データと、A4サイズの原稿2枚分の画像がA4サイズ1枚に割り付けられた割付原稿を、同じく600dpiで読み取った画像データを比較してみる。
A4サイズの原稿2枚がA4サイズ1枚に割り付けられた割付原稿の場合、割り付けられている2つの原稿画像はそれぞれ元のサイズに対して約0.7倍に縮小されている。したがって、これをそのまま縮小されていない画像と同じ解像度、つまり、ここでは600dpiで読み取った場合、個々の原稿画像の実質的な解像度は約420dpiとなる。
解像度が違うと、例えば、高解像度の画像では近接する2つの連結領域が、低解像度の画像では1つの連結領域と認識されるといった問題があり、抽出される画像の特徴量が違ってしまう。
一方、従来、画像照合装置においては、特徴量を抽出する前に、画像データの解像度を、均一のデフォルト解像度に変換する構成のものがある。これは、解像度を低下させて、特徴量を抽出する際の処理量を軽減することを目的としている。
しかしながら、これにおいても、照合対象原稿の画像が元の原稿サイズよりも縮小されている場合のことなど何ら想定しておらず、全ての入力画像データをデフォルト解像度へと変換するようになっている。したがって、このような縮小画像の実質的な解像度の違いを埋めえるものではなく、判定精度の低下を解決できるものではない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、照合対象原稿の画像が登録原稿の画像に類似しているか否かを判定する画像照合装置において、割付原稿のように、照合対象となる個々の画像が元の画像よりも縮小されている画像であっても、高い精度にて登録原稿との類似性を判定可能な画像照合装置、画像照合方法、及びこれを備えた画像データ出力処理装置を提供することにある。
本発明の第1の画像照合装置は、上記課題を解決するために、入力される画像データより画像の特徴量を抽出する特徴量抽出部を備え、登録モードでは、上記特徴量抽出部を用いて入力される登録対象の原稿である登録原稿の画像データより画像の特徴量を抽出し、抽出した特徴量を上記登録原稿の画像の特徴量として記憶部に格納して登録し、照合モードでは、上記特徴量抽出部を用いて入力される照合対象原稿の画像データより画像の特徴量を抽出し、抽出した特徴量と上記記憶部に登録されている登録原稿の画像の特徴量とを比較して類似度を求め、該類似度を予め定められている閾値と比較することで上記照合対象原稿の画像が登録原稿の画像に類似するか否かを判定する画像照合装置であって、上記特徴量抽出部は、画像における画素が連結した連結領域を抽出し、抽出した連結領域毎に、当該連結領域の重心の上記画像上の位置を表す情報である特徴点を抽出し、抽出した特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に上記特徴量を算出しており、入力される画像データより上記連結領域を抽出するよりも前に、入力される画像データの解像度をデフォルト解像度に変換して低下させる解像度変換部と、上記照合対象原稿が、複数の原稿の各画像が割り付けられた割付原稿であるか否かと、割付原稿である場合は割り付けられている画像の数である割付数をも判定する割付原稿判定部と、上記照合対象原稿の原稿サイズを検出する原稿サイズ検出部とを備え、上記解像度変換部は、上記割付原稿判定部にて、上記照合対象原稿が割付原稿であると判定された場合は、上記照合対象原稿の画像データの解像度を、上記デフォルト解像度に替えて、上記割付原稿判部及び原稿サイズ検出部にて求められた割付数と原稿サイズとに応じて定まる、割り付けられている複数の原稿の各画像の解像度が、デフォルト解像度と同じ値或いは近い値となるような解像度に変換することを特徴としている。
なお、画像照合装置に入力される画像データとしては、スキャナにて原稿を読み取り入力される画像データは当然として、これ以外に、コンピュータ(ソフトウェア)を用いて作成される電子データ、例えば、電子データのフォーマットに、コンピュータ(ソフトウェア)を用いて必要事項を入力して作成される電子データも含んでいる。
上記構成では、解像度変換部は、特徴量抽出部を用いて、入力された画像データより連結領域を抽出するよりも前に、当該画像データの解像度を予め定めるデフォルト解像度に変換して低下させる。これは、特徴量を抽出する処理の量を軽減するためのものである。
上述したように、照合対象原稿の原稿サイズが縮小されていなければ、照合対象原稿の画像データも登録原稿として登録される画像データも、解像度変換部にてデフォルト解像度へと変換されるので、デフォルト解像度にて特徴量が抽出され、該特徴量を用いた類似性の判定において、高い精度を確保できる。
しかしながら、上述したように、照合対象の画像サイズが元の画像サイズよりも縮小されている場合は、たとえ見かけ上の解像度は同じデフォルト解像度に変換しても、画像が縮小されている分、画像単位で見た実質的な解像度は異なってしまっており、登録原稿との類似性を精度よく判定することはできない。
そこで、上記構成においては、解像度変換部は、照合対象原稿が割付原稿である場合は、照合対象原稿の画像データの解像度を、デフォルト解像度ではなく、割付原稿判部及び原稿サイズ検出部にて求められた割付数と原稿サイズとに応じて定まる、割り付けられている複数の原稿の各画像の解像度が、デフォルト解像度と同じ値或いは近い値となるような解像度に変換するようになっている。
ここで、割付数と原稿サイズとに応じた解像度とは、割り付けられている複数の原稿画像を元の原稿サイズに戻す(或いは近づける)ことのできる解像度である。例えば、A4サイズの原稿2枚が縮小され、A4サイズ1枚に割り付けられた割付原稿の場合、割り付けられている2つの原稿画像はそれぞれ、元の画像サイズに対して約0.7倍に縮小されている。したがって、この場合、新たに設定される解像度は、デフォルト解像度の1/0.7倍となる。
これにより、照合対象原稿が割付原稿であって、画像のサイズが元のサイズよりも縮小されていても、実質的な解像度を、登録原稿について特徴量を抽出したときの条件と同じ解像度に、或いはこれに近づけて、登録原稿と同じ条件で特徴量を抽出することが可能となり、登録原稿との類似性の判定を精度よく実施できるようになる。
また、第1の画像照合装置においては、さらに、上記解像度変換部は、割付数と原稿サイズの組み合わせに応じて解像度が設定されている解像度変換テーブルを備えており、該テーブルを参照して割付数と原稿サイズとに応じた解像度に変換する構成とすることもできる。
このような構成とすることで、割付数と原稿サイズとに応じた解像度の設定を、演算等を伴うことなく容易に実施できる。
また、第1の画像照合装置においては、さらに、前記特徴量抽出部は、画素が繋がる連結領域を抽出し、該抽出した連結領域に基づいて特徴量を算出する構成とすることもできる。
上述したように、画素が繋がる連結領域を抽出し、該抽出した連結領域に基づいて特徴量を算出する構成においては、実質的な解像度が違うことにより、2つの連結領域が1つに認定される虞があり、抽出される特徴量が変化する。
これに対し、本発明の構成を採用することで、照合対象原稿が割付原稿であって、画像のサイズが元のサイズよりも縮小されていても、実質的な解像度を、登録原稿について特徴量を抽出したときの条件と同じ解像度に、或いはこれに近づけて、登録原稿と同じ条件で特徴量を抽出することが可能となる。
本発明の画像データ出力処理装置は、上記課題を解決するために、画像データに対して出力処理を施す画像データ出力処理装置であって、本発明の第1の画像照合装置と、上記画像照合装置の判定結果に基づいて、上記照合対象原稿の画像データに対する出力処理を制御する出力処理制御部とを備え、上記出力処理が、画像形成処理、送信処理、編集処理、或いは画像ファイリング処理であることを特徴としている。
上述したように、本発明の第1の画像照合装置は、照合対象原稿が割付原稿であって、画像が元のサイズよりも縮小されていても、高い精度でその類似性を判定できるものである。
したがって、このような画像照合装置を備えた画像データ出力処理装置は、出力処理すべき画像データの画像が、登録原稿に類似する場合には、出力処理を精度よく制御することが可能となり、信頼性が高められる。
本発明の画像照合方法は、上記課題を解決するために、特徴量抽出手段により、入力される画像データより画像の特徴量を抽出する特徴量抽出工程を含み、登録モードでは、上記特徴量抽出工程において入力される登録対象の原稿である登録原稿の画像データより画像の特徴量を抽出し、抽出した特徴量を上記登録原稿の画像の特徴量として記憶部に格納して登録し、照合モードでは、上記特徴量抽出工程において入力される照合対象原稿の画像データより画像の特徴量を抽出し、抽出した特徴量と上記記憶部に登録されている登録原稿の画像の特徴量とを比較して類似度を求め、該類似度を予め定められている閾値と比較することで上記照合対象原稿の画像が登録原稿の画像に類似するか否かを判定する画像照合方法において、上記特徴量抽出工程においては、画像における画素が連結した連結領域を抽出し、抽出した連結領域毎に、当該連結領域の重心の上記画像上の位置を表す情報である特徴点を抽出し、抽出した特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に上記特徴量を算出しており、解像度変換手段により、入力される画像データより上記連結領域を抽出するよりも前に、入力される画像データの解像度をデフォルト解像度に変換して低下させる解像度変換工程と、割付原稿判定手段により、上記照合対象原稿が、複数の原稿の各画像が割り付けられた割付原稿であるか否かと、割付原稿である場合は割り付けられている画像の数である割付数をも判定する割付原稿判定工程と、原稿サイズ検出手段により、上記照合対象原稿の原稿サイズを検出する原稿サイズ検出工程とを備え、上記解像度変換工程では、上記割付原稿判定工程にて、上記照合対象原稿が割付原稿であると判定された場合は、上記照合対象原稿の画像データの解像度を、上記デフォルト解像度に替えて、上記割付原稿判工程及び原稿サイズ検出工程にて求められた割付数と原稿サイズとに応じて定まる、割り付けられている複数の原稿の各画像の解像度が、デフォルト解像度と同じ値或いは近い値となるような解像度に変換することを特徴としている。
画像照合装置の説明において既に記載したように、このような画像照合方法においても、画像照合装置と同様に、照合対象原稿が割付原稿であって、画像が元のサイズよりも縮小されていても、実質的な解像度を、登録原稿について特徴量を抽出したときの条件と同じ解像度に、或いはこれに近づけて、登録原稿と同じ条件で特徴量を抽出することが可能となり、登録原稿との類似性の判定を精度よく実施できるようになる。
なお、上記画像照合装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像照合装置をコンピュータにて実現させる画像処理プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
本発明の第1の画像照合装置は、以上のように、特徴量抽出部は、画像における画素が連結した連結領域を抽出し、抽出した連結領域毎に、当該連結領域の重心の上記画像上の位置を表す情報である特徴点を抽出し、抽出した特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に上記特徴量を算出しており、入力される画像データより上記連結領域を抽出するよりも前に、入力される画像データの解像度をデフォルト解像度に変換して低下させる解像度変換部と、上記照合対象原稿が、複数の原稿の各画像が割り付けられた割付原稿であるか否かと、割付原稿である場合は割り付けられている画像の数である割付数をも判定する割付原稿判定部と、上記照合対象原稿の原稿サイズを検出する原稿サイズ検出部とを備え、上記解像度変換部は、上記割付原稿判定部にて、上記照合対象原稿が割付原稿であると判定された場合は、上記照合対象原稿の画像データの解像度を、上記デフォルト解像度に替えて、上記割付原稿判部及び原稿サイズ検出部にて求められた割付数と原稿サイズとに応じて定まる、割り付けられている複数の原稿の各画像の解像度が、デフォルト解像度と同じ値或いは近い値となるような解像度に変換するものである。
また、本発明の画像データ出力処理装置は、以上のように、画像データに対して出力処理を施す画像データ出力処理装置であって、本発明の第1の画像照合装置と、上記画像照合装置の判定結果に基づいて、上記照合対象原稿の画像データに対する出力処理を制御する出力処理制御部とを備え、上記出力処理が、画像形成処理、送信処理、編集処理、或いは画像ファイリング処理であるものである。
これにより、照合対象画像が割付原稿であって、画像が元のサイズよりも縮小されていても、登録原稿との類似性の判定を精度よく実施可能な画像照合装置を提供することができ、また、このような画像照合装置を具備することにて、出力処理すべき画像データが登録原稿に類似する場合には、その出力処理を精度よく制御することのできる画像データ出力処理装置を提供することができるという効果を奏する。
本発明の一実施形態について説明する。なお、本実施形態では、本発明をデジタルカラー複写機に適用する場合の一例について説明する。
図2は、本実施形態にかかるデジタルカラー複写機(画像データ出力処理装置)1の概略構成を示すブロック図である。
図2に示すように、デジタルカラー複写機1は、カラー画像入力装置2、カラー画像処理装置3、カラー画像出力装置4、及び操作パネル6を備えている。
カラー画像入力装置2は、原稿の画像を読み取って画像データを生成するものであり、例えばCCD(Charge Coupled Device )などの光学情報を電気信号に変換するデバイスを備えたスキャナ部(図示せず)より構成されている。ここでは、カラー画像入力装置2は、原稿からの反射光像を、RGB(R:赤・G:緑・B:青)のアナログ信号としてカラー画像処理装置3に出力する。
カラー画像処理装置3は、カラー画像入力装置2から入力されたアナログ信号に、種々の処理を施すと共にカラー画像出力装置4が扱える形に変換して、カラー画像出力装置へと出力するものである。
カラー画像処理装置3は、入力段にRGBのアナログ信号をデジタル信号に変換するA/D(アナログ/デジタル)変換部11を備えている。カラー画像処理装置3に入力されたアナログ信号の画像データは、このA/D変換部11にてデジタル信号に変換される。
デジタル信号に変換されRGB信号は、その後、シェーディング補正部12、原稿種別判別部13、文書照合処理部14、入力階調補正部15、編集処理部16、領域分離処理部17、色補正部18、黒生成下色除去部19、空間フィルタ処理部20、出力階調補正部21、階調再現処理部22の順で送られ、最終的にはデジタル信号のCMYK信号となる。そして、階調再現処理部22より出力されたデジタル信号のCMYK信号は、図示しないメモリに一旦格納された後、カラー画像出力装置4へと出力される。
カラー画像処理装置3を構成する上記各部の処理について説明する。シェーディング補正部12は、A/D変換部11より送られてきたデジタルのRGB信号に対して、カラー画像入力装置2の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。また、シェーディング補正部12は、カラーバランスの調整、及び濃度信号などカラー画像処理装置3に採用されている画像処理システムの扱い易い信号に変換する処理を施すものでもある。
シェーディング補正部12にて、各種の歪みが取り除かれ、カラーバランスの調整がなされたRGB信号(RGBの濃度信号)は、原稿種別判別部13へと出力される。
原稿種別判別部13は、シェーディング補正部12より送られてきたRGB信号より、入力された画像データの原稿種別を判別するものである。原稿が文字原稿であるか、印刷写真原稿であるか、あるいは、文字と印刷写真が混在した文字印刷写真原稿であるかなどの原稿種別の判別を行う。このような原稿種別の判別結果は、後段の処理に用いられる。
そして、本実施形態では、原稿種別判別部(割付原稿判定部)13は、入力画像データを読み取った元である当該原稿が割付原稿であるか否かの判別も行うと共に、割付原稿である場合は割り付けられている原稿画像の数である割付数をも求めるようになっている。
割付原稿とは、1枚の原稿に、複数の原稿画像が割り付けられた原稿のことであり、例えば、1枚の原稿にN枚分の原稿画像が集約されてなる、Nin1(N=2,4,6,8,9等)原稿などである。なお、この原稿種別判別部13における割付原稿を判別し、割付数を検出する処理の詳細については後述する。
また、原稿種別判別部13は、シェーディング補正部12より出力された入力信号をそのまま、後段の文書照合処理部14にも出力する。
文書照合処理部(類似性判定部)14は、原稿種別判別部13より送られてきたRGB信号(入力画像データ)より、当該画像データの画像の特徴量を抽出する機能を有している。
文書照合処理部14は、入力される画像データの画像(照合対象画像)の特徴量を抽出すると共に、抽出した特徴量を、予め登録されており、特徴量を抽出する機能を用いて特徴量が抽出されている登録原稿の画像の特徴量と比較して、入力された画像データの画像が登録原稿の画像(以下、登録画像とも称する)に類似しているか否かを判定する類似性判定処理を行う。
そして、文書照合処理部14は、類似性判定処理において、登録画像に類似していると判定すると、入力画像データに対する出力処理(カラー複写機では画像形成処理)を禁止したり、画質を低下させたり、あるいは、画像データのファイリングといった、出力処理を制御するための制御信号を出力する。なお、この文書照合処理部14の詳細については後述する。
また、文書照合処理部14は、原稿種別判別部13をスルーしてきた入力信号をそのまま、さらに後段の入力階調補正部15へと出力する。
入力階調補正部15は、文書照合処理部14より送られてきたRGB信号に対して、下地色(下地色の濃度成分:下地濃度)の除去やコントラストなどの画質調整処理を施すものである。
編集処理部16は、入力階調補正部15より送られてきた、下地色(下地色の濃度成分:下地濃度)の除去やコントラストなどの画質調整処理が施されたRGB信号に対して、割付原稿であって編集処理が必要な場合に、編集処理を行うものである。
例えば、割付原稿に対し、割り付けられている複数の原稿を1頁ずつ出力処理する指示が成されている場合、編集処理部16は、割付原稿を分割する位置を決定してこれに基づいて画像を分割し、分割した各部分の画像に対して回転処理、拡大処理を行って、1頁ずつの画像データに変換する編集処理を行う。
なお、入力階調補正部15より送られてきたRGB信号が、割付原稿のものでない場合、或いは、たとえ割付原稿のものであっても編集処理が不要の場合は、入力階調補正部15より送られたRGB信号は、編集処理部16をスルーし、領域分離処理部17へと送られる。
編集処理部16にて編集されたRGB信号、或いは、編集処理部16をスルーしたRGB信号は、領域分離処理部17に送られる。
領域分離処理部17は、RGB信号より、入力画像中の各画素を文字領域、網点領域、写真領域のいずれかに分離するものである。領域分離処理部17は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、色補正部18、黒生成下色除去部19、空間フィルタ処理部20、及び階調再現処理部22へと出力する。また、領域分離処理部17は、入力階調補正部15より出力された入力信号をそのまま後段の色補正部18にも出力する。
色補正部18は、色再現の忠実化実現のために、不要吸収成分を含むCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行うものである。
黒生成下色除去部19は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行うものである。これにより、CMYの3色信号はCMYKの4色信号に変換される。
空間フィルタ処理部20は、黒生成下色除去部19より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部22も、空間フィルタ処理部20と同様、CMYK信号の画像データに対して領域識別信号を基に所定の処理を施すものである。
例えば、領域分離処理部17にて文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理部20による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部22においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
また、領域分離処理部17にて網点領域に分離された領域に関しては、空間フィルタ処理部20において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部21では、濃度信号などの信号をカラー画像出力装置4の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部22で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)が施される。領域分離処理部17にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
さらに、本実施形態では、原稿種別判別の結果が、これら領域分離処理後の各処理に加味され、各処理においては、各領域が混在しないと判別された場合は上述した領域分離処理と同様である一方、複数の領域が混在すると判別された場合はそれぞれの領域処理の中間パラメータを使用し、原稿種別判別処理で判別されなかった領域処理のパラメータは使用しない。
例えば、入力画像が文字原稿であると判別された場合は、領域分離処理では、文字及び線画として領域分離されたところを有効とし、網点及び印画紙といった連続階調と判別されたところは、例えば、文字原稿であったとしても原稿の種類によっては誤判別される場合があるので、誤分離とみなして、反映させない。
そして、その領域分離処理結果に基づいて、入力階調補正処理及び階調再現処理では、ハイライトを多めに除去したり、コントラストを大きくするような補正曲線を用いる。
また、色文字に対しては、彩度を重視した色補正処理を行う一方、黒文字に対しては、黒生成/下色除去処理では黒生成量が多めに設定される。また、文字に対しては、空間フィルタ処理でエッジを強調し、平滑化処理を弱くするようにフィルタ係数を設定する等のパラメータの切り替え等が行われる。
また、入力画像が文字/印画紙写真原稿であると判別された場合は、各処理において、文字原稿処理と印画紙写真原稿処理の中間パラメータを用いた処理が行われる。領域分離処理では、文字、線画又は印画紙として領域分離されたところを有効とし、網点といった領域分離されたところは、例えば、文字・印画紙原稿であったとしても原稿の種類によっては誤判別される場合があるため、誤分離とみなして、反映させない。
文字原稿又は印画紙写真原稿のいずれを重視するかにより、入力階調補正処理及び階調再現処理では、印画紙写真原稿処理と文字原稿処理との中間のパラメータを用いてハイライトの除去やコントラストの調整を行い、また、彩度の強弱や階調性のバランスが極端にならないような色補正処理を行う。一方、黒生成/下色除去処理では、印画紙写真画像に影響が出ない程度に黒生成量の調整を行う。
上述した各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されてカラー画像出力装置4に入力される。そして、上記した文書照合処理部14による類似性判定処理にて、登録画像に類似していると判定され、入力された画像データに対する出力処理を禁止する制御信号が出力された場合は、このメモリより画像データを読み出す際に、当該照合対象画像が不可視となるように、当該画像データを消去したり黒に置き換えたりする処理が行われ、白紙あるいは黒ベタ画像として出力される。
カラー画像出力装置4は、カラー画像処理装置3から入力された画像データを記録材(例えば紙等)上に出力するものである。カラー画像出力装置4の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置を用いることができる。
操作パネル6は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され(いずれも図示せず)、デジタルカラー複写機1の主制御部(図示せず)の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル6を介して入力画像データに対する処理要求、処理枚数などを入力することができる。
上記主制御部は、例えばCPU(Central Processing Unit)等からなり、図示しないROM等に格納されたプログラムや各種データ、操作パネル6から入力される情報等に基づいて、デジタルカラー複写機1の各部の動作を制御する。
次に、上記原稿種別判別部13における割付原稿であるか否かを判定すると共に割付数を検出する方法について説明する。
原稿種別判別部13は、RGB信号(画像データ)より、当該画像の主走査方向及び副走査方向のライン毎に、画素値が0から1、1から0に変化する反転回数(または、エッジの数)の分布を求め、これに基づいて割付原稿であるか否かと、割付原稿である場合はその割付数を検出する。
図3は、用紙短手方向(原稿短手方向)でもある副走査方向に延びる文字列を有し、行間が用紙長手方向(原稿長手方向)でもある主走査方向に並ぶ画像を有する非割付原稿の、主走査方向及び副走査方向における各反転回数のヒストグラムである。
このような非割付原稿の場合、図3に示すように、主走査方向における反転回数の分布には、文章中の行間に対応して、所定の間隔毎に反転回数が現れる。一方、副走査方向における反転回数の分布は、原稿周辺部の余白部分を除いて連続した分布となる。
このような図3に示す原稿を2in1にて処理した割付原稿は、図4に示すように、割付原稿の用紙長手方向でもある主走査方向に並んで2つの画像が割り付けられ、それら各画像が、その元原稿における用紙短手方向でもある主走査方向に延びる文字列を有し、行間が用紙長手方向でもある副走査方向に並ぶこととなる。
このような割付原稿の場合、主走査方向及び副走査方向における各反転回数のヒストグラムは、図4に示すように、主走査方向における反転回数には、連続した分布が2つ形成されると共に、反転回数の分布と分布との間に、空白部分に応じた空白領域が存在する。一方、副走査方向における反転回数は、行間に対応して、所定の間隔毎に反転回数が現れる。
このようなヒストグラムを基に、主走査方向における反転回数に連続した分布が2つあり、2つの分布間に形成される、反転回数が所定値(例えば、20)以下の空白領域が、例えば、(割付原稿のレイアウトにもよるが)20mm程度(解像度が300dpiの場合、170ライン程度)存在するとき、当該照合対象画像は、2in1原稿のものであると判定する。このとき、割付数は2となる。
但し、空白領域の存在を判定する場合には、反転回数が所定値以下のラインに、最初のラインまたは最終のラインが含まれる場合は、原稿周辺部の余白領域であると判断して、これを除外する必要がある。
このように、主走査方向及び副走査方向における反転回数の分布を求め、空白領域の有無を判定することで、2in1原稿であるか否かを判別することができる。
なお、ここでは、割付数が2の2in1原稿の場合の判別基準を例示したが、割付数が4の4in1原稿の場合は、主走査方向、副走査方向ともに、原稿画像間を分ける空白部分に応じた空白領域が現れ、同様にして判別できる。
また、ここでは、主走査方向、副走査方向のライン毎に、反転回数(または、エッジの数)の分布を求めたが、ライン毎の画素値の平均値や分散値を用いても良い。
その他、このような画像データを用いて割付原稿であるか否かを判別する方法以外に、設定条件より、割付原稿であるかどうかを判別することも可能である。
例えば、操作パネル6を用いた入力操作にて、画像モードにおける分割画像出力モードが選択された場合には、これをデジタルカラー複写機1の各部の動作を制御するための主制御部(CPU)が認識することで、入力された画像データが割付原稿のものであることを判別できる。
または、カラー画像入力装置2が、コンピュータに接続されたスキャナの場合であれば、読み取り条件の設定画面(スキャナドライバの設定画面)において、原稿種別を選択するので、この選択結果を上記主制御部(CPU)が認識することで判別できる。
次に、文書照合処理部14の詳細について説明する。本実施形態にかかる文書照合処理部14は、まず、入力画像データから複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定する。次に、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点に関する複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求める。そして、求めた各不変量を組み合わせてハッシュ値を計算し、計算したハッシュ値に対応する登録画像に投票することにより、入力画像データに類似する登録画像の検索、当該登録画像に対する類似性判定処理を行う。
図5は、文書照合処理部14の概略構成を示すブロック図である。この図に示すように、文書照合処理部14は、特徴点算出部31、特徴量算出部32、投票処理部33、類似度判定処理部34、登録処理部35、制御部7、メモリ8を備えている。
制御部7は、文書照合処理部14の各部の動作を制御する。なお、制御部7は、デジタルカラー複写機1の各部の動作を制御するための主制御部に備えられていてもよく、主制御部とは別に備えられ、主制御部と協同して文書照合処理部14の動作を制御するものであってもよい。
制御部7は、文書照合処理部14による類似性判定処理の結果、類似性なし(入力された画像データの画像は登録画像の画像ではない)と判定された場合には当該画像データに対する出力処理を許可する制御信号を出力する。一方、制御部7は、類似性あり(入力された画像データの画像は登録画像である)と判定された場合には、当該画像データ(以下、入力画像データと称する)に対する出力処理を制御する制御信号を出力する。
メモリ8は、文書照合処理部14の各部の処理に用いられる各種データ、処理結果等を記憶するものである。
特徴点算出部31は、入力画像データより、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出するものである。ここで、入力画像データは、登録画像の登録処理においては、登録される画像の画像データであり、類似判定処理においては、照合対象画像の画像データ(以下、照合対象画像データと称することもある)である。
図6は、特徴点算出部31の概略構成を示すブロック図である。なお、図6に示す特徴点算出部31の構成は一例であって、これに限るものではなく、例えば従来から公知の種々の法によって特徴点を算出してもよい。
図6に示すように、特徴点算出部31は、無彩化処理部41、解像度変換部42、MTF処理部43、2値化処理部44、重心算出部45を備えている。
無彩化処理部41は、シェーディング補正部12から入力された画像データ(RGB信号)がカラー画像であった場合に、この画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。
例えば、無彩化処理部41は、下記式(1)によりRGB信号を輝度信号Yに変換する。
Yj=0.30Rj+0.59Gj+0.11Bj ・・・(1)
ここで、Yjは各画素の輝度信号であり、Rj,Gj,Bjは各画素のRGB信号における各色成分であり、添え字のjは画素毎に付与された値(jは1以上の整数)である。
あるいは、RGB信号をCIE1976L***信号(CIE:Commission International de l'Eclairage、L*:明度、a*,b*:色度)に変換してもよい。
解像度変換部42は、入力画像データに対して変倍処理を行うものである。例えば、入力画像データは、カラー画像入力装置2で光学的に変倍されている場合がある。このような場合に、解像度変換部42は、所定の解像度(以下、デフォルト解像度)になるように、入力画像データを再度変倍する。
また、解像度変換部42は、後段の各処理部における処理量を軽減するために、解像度を、カラー画像入力装置2で等倍時に読み込まれるときよりも落とすための解像度変換としても用いられる。例えば、600dpi(dot per inch)で読み込まれた画像データを、300dpiに変換するなどである。
そして、本実施形態では、解像度変換部42は、照合対象原稿を読み取った入力画像データを、照合対象原稿が割付原稿でない場合は、従来と同様、デフォルト解像度に変換するが、照合対象原稿が割付原稿である場合には、その割付数と入力画像データの原稿サイズとに応じた解像度に変換するようになっている。なお、これについては、類似性判定処理について説明した後、詳細に説明する。
MTF(modulation transfer function)処理部43は、カラー画像入力装置2の空間周波数特性が機種ごとに異なることを吸収(調整)するために用いられる。CCDの出力する画像信号には、レンズやミラー等の光学部品、CCDの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び走査むら等に起因しMTFの劣化が生じている。このMTFの劣化により、読み込まれた画像がぼやけたものとなっている。
MTF処理部43は、適切なフィルタ処理(強調処理)を施すことにより、MTFの劣化により生じるぼやけを修復する処理を行う。また、後段の重心算出部45における特徴点抽出処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタ(図示せず)を用いて強調及び平滑化処理を行う。なお、図8、この混合フィルタにおけるフィルタ係数の一例を示している。
2値化処理部44は、無彩化された画像データ(輝度値(輝度信号)または明度値(明度信号))と、予め設定された閾値とを比較することにより画像データを二値化する。
重心算出部45は、2値化処理部44で2値化された画像データ(例えば、「1」、「0」で表される)に基づいて、各画素に対してラベリング(ラベル付け処理)を行う。そして、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出する。さらに、抽出した特徴点を特徴量算出部32へ出力する。なお、上記特徴点は、二値画像における座標値(x座標、y座標)で表すことができる。
図9は、入力画像データから抽出された連結領域及びこの連結領域の重心の一例を示す説明図であり、「A」という文字列に対応する連結領域及び重心を示している。また、図10は、入力画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。
再び、文書照合処理部14の概略構成を示すブロックである図5に戻り、特徴量算出部32は、特徴点算出部31で算出された特徴点を用いて、原稿画像の回転、平行移動、拡大、縮小等の幾何学的変形に対して不変な量である特徴量(ハッシュ値及び/または不変量)を算出するものである。
図7は、特徴量算出部32の概略構成を示すブロック図である。この図に示すように、特徴量算出部32は、特徴点抽出部32a、不変量算出部32b、ハッシュ値算出部32cを備えている。
特徴点抽出部32aは、図11に示すように、1つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数(ここでは4点)だけ周辺特徴点として抽出する。図11の例では、特徴点aを注目特徴点とした場合には特徴点b,c,d,eの4点が周辺特徴点として抽出され、特徴点bを注目特徴点とした場合には特徴点a,c,e,fの4点が周辺特徴点として抽出される。
また、特徴点抽出部32aは、上記のように抽出した周辺特徴点4点の中から選択し得る3点の組み合わせを抽出する。例えば、図12(a)〜図12(d)に示すように、図11に示した特徴点aを注目特徴点とした場合、周辺特徴点b,c,d,eのうちの3点の組み合わせ、すなわち、周辺特徴点b,c,d、周辺特徴点b,c,e、周辺特徴点b,d,e、周辺特徴点c,d,eの各組み合わせが抽出される。
次に、不変量算出部32bは、抽出した各組み合わせについて、幾何学的変形に対する不変量(特徴量の1つ)Hijを算出する。
ここで、iは注目特徴点を示す数(iは1以上の整数)であり、jは周辺特徴点3点の組み合わせを示す数(jは1以上の整数)である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの2つの比を不変量Hijとする。
上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図12(a)の例では、特徴点bと特徴点cとを結ぶ線分の長さをA11、特徴点bと特徴点dとを結ぶ線分の長さをB11とすると、不変量H11はH11=A11/B11である。
また、図12(b)の例では、特徴点bと特徴点cとを結ぶ線分の長さをA12、特徴点bと特徴点eとを結ぶ線分の長さをB12とすると、不変量H12はH12=A12/B12である。また、図12(c)の例では、特徴点bと特徴点dとを結ぶ線分の長さをA13、特徴点bと特徴点eとを結ぶ線分の長さをB13とすると、不変量H13はH13=A13/B13である。また、図12(d)に示した例では、特徴点cと特徴点dとを結ぶ線分の長さをA14、特徴点cと特徴点eとを結ぶ線分の長さをB14とすると、不変量H14はH14=A14/B14である。このようにして、図12(a)〜図12(d)の例では、不変量H11,H12,H13,H14が算出される。
なお、上記の例では、注目特徴点に最も近い周辺特徴点と2番目に近い周辺特徴点とを結ぶ線分をAij、注目特徴点に最も近い周辺特徴点と3番目に近い周辺特徴点とを結ぶ線分をBijとしたが、これに限らず、不変量Hijの算出に用いる線分は任意の方法で選定すればよい。
次に、ハッシュ値算出部32cは、次式
Hi=(Hi1×10+Hi2×10+Hi3×10+Hi4×10)/D
における余りの値をハッシュ値(特徴量の1つ)Hiとして算出し、メモリ8に記憶させる。なお、上記Dは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。
なお、不変量Hijの算出方法は特に限定されるものではなく、例えば、注目特徴点の近傍5点の複比、近傍n点(nはn≧5の整数)から抽出した5点の複比、近傍n点から抽出したm点(mはm<nm≧5の整数)の配置及びm点から抽出した5点の複比に基づいて算出される値などを注目特徴点についての上記不変量Hijとしてもよい。なお、複比とは、直線上の4点または平面上の5点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。
また、ハッシュ値Hiの算出するための式についても上記式(2)に限るものではなく、他のハッシュ関数(例えば特許文献4に記載されているハッシュ関数のうちのいずれか)を用いてもよい。
また、特徴量算出部32の各部は、1つの注目特徴点に対する周辺特徴点の抽出及びハッシュ値Hiの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出及びハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。
図11の例では、特徴点aを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出が終わると、次に特徴点bを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出を行う。図11の例では、特徴点bを注目特徴点とした場合、特徴点a,c,e,fの4点が周辺特徴点として抽出される。
そして、図13(a)〜図13(d)に示すように、これら周辺特徴点a,c,e,fの中から選択される3点の組み合わせ(周辺特徴点a,e,f、周辺特徴点a,e,c、周辺特徴点a,f,c、周辺特徴点e,f,c)を抽出し、各組み合わせについてハッシュ値Hiを算出し、メモリ8に記憶させる。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ8に記憶させる。
なお、特徴量算出部32は、入力画像データを登録画像として登録する登録処理を行う場合には、上記のように算出した入力画像データの各特徴点についてのハッシュ値(特徴量)を、図5に示す登録処理部35に送る。
登録処理部35は、特徴量算出部32が算出した各特徴点についてのハッシュ値と、当該入力画像データの原稿を表すインデックス(原稿ID)とをメモリ8に設けられた図示しないハッシュテーブルに順次登録していく(図14(a)参照)。ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて原稿IDを登録する。原稿IDは重複することなく順次番号が割り当てられる。
なお、ハッシュテーブルに登録されている原稿の数が所定値(例えば、登録可能な原稿の数の80%)より多くなった場合、古い原稿IDを検索して順次消去するようにしてもよい。また、消去された原稿IDは、新たな入力画像データの原稿IDとして再度使用できるようにしてもよい。また、算出されたハッシュ値が同値である場合(図14(b)の例ではH1=H5)、これらを1つにまとめてハッシュテーブルに登録してもよい。
また、特徴量算出部32は、入力画像データの画像が既に登録されている登録画像の画像であるかどうかの判定処理を行う場合には、上記のように算出した入力画像データの各特徴点についてのハッシュ値を投票処理部33に送る。
投票処理部33は、入力画像データから算出した各特徴点のハッシュ値をハッシュテーブルに登録されているハッシュ値と比較し、同じハッシュ値を有する登録画像に投票する(図15参照)図15は、登録画像ID1,ID2,ID3に対する投票数の一例を示すグラフである。言い換えれば、投票処理部33は、登録画像毎に、登録画像が有するハッシュ値と同じハッシュ値が入力画像データから算出された回数をカウントし、カウント値をメモリ8に記憶させる。
また、図14(b)の例では、H1=H5であり、これらをH1の1つにまとめてハッシュテーブルに登録されているが、このようなテーブル値において、入力画像データから算出した入力原稿の有するハッシュ値にH1があった場合は、原稿ID1には、2票投票される。
類似度判定処理部34は、メモリ8から投票処理部33の投票処理結果である各登録画像のインデックス及び各登録画像に対する投票数を読み出し、最大得票数を得た登録画像のインデックスと、その得票数である最大得票数を抽出する。
そして、抽出された最大得票数を類似の度合いを示す類似度として扱い、予め定められている閾値THと比較して類似性(入力画像データが登録画像の画像データであるかどうか)を判定する。つまり、最大得票数が予め定められた閾値TH以上である場合には「類似性あり」と判定し、閾値未満である場合には「類似性なし」と判定する。
この判定結果を示す判定信号は制御部7に送られ、制御部7は、類似性ありの場合は、当該入力原稿の画像データに対する出力処理(カラー複写機では画像形成処理)を禁止したり、画質を低下させたりといった、出力処理を制御するための制御信号を出力する。
また、類似度判定処理部34が、各登録画像に対する得票数を投票総数(入力画像データから抽出された特徴点の総数)で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値TH(例えば投票総数の80%)との比較を行うことによって類似性を判定してもよい。
また、類似度判定処理部34が、各登録画像に対する得票数を、ハッシュ値の登録数が最も多い登録画像についてのハッシュ値の登録数(最大登録数)で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値TH(例えば投票総数の80%)との比較を行うことによって類似性を判定してもよい。
つまり、算出した類似度が閾値TH以上である場合には「類似性あり」と判定し、閾値TH未満である場合には「類似性なし」と判定すればよい。なお、この場合、入力画像データから抽出されるハッシュ値の総数は上記最大登録数よりも大きくなる場合があるため(特に原稿及び/または登録画像の少なくとも一部に手書き部分がある場合など)、類似度の算出値は100%を超える場合も有り得る。
また、類似性を判定する際の閾値THは、各登録画像について一定に設定されていても、或いは、各登録画像の重要度等に応じて登録画像毎に設定されていてもよい。登録画像の重要度は、例えば、紙幣、有価証券、極秘書類、社外秘の書類等については重要度を最大にし、秘密書類については重要度を紙幣等よりも低くするといったように、登録画像に応じて段階的に設定してもよい。
この場合、メモリ8に、登録画像の重要度に応じた重み付け係数を当該登録画像のインデックスと関連付けて記憶させておき、類似度判定処理部34が、最大得票数を得た登録画像に対応する閾値THを用いて類似性を判定するようにすればよい。
また、類似性を判定する際、閾値THは一定にする一方、各登録画像に対する投票数(各登録画像の得票数)に各登録画像の重み係数を掛けて類似性を判定するようにしてもよい。
この場合、メモリ8に、各登録画像の重要度に応じた重み付け係数を各登録画像のインデックスと関連付けて記憶させておき、類似度判定処理部34が、各登録画像の得票数に当該登録画像の重み付け係数を掛けた補正得票数を算出し、この補正得票数に基づいて類似性を判定するようにすればよい。
例えば、最大補正得票数と閾値THとを比較してもよく、最大補正得票数を投票総数で正規化したものを閾値THと比較してもよく、最大補正得票数を最大登録数で正規化したものを閾値THと比較してもよい。また、この場合、重み係数は、例えば、1より大きい値であって、かつ登録画像の重要度が高くなるにつれて大きい値になるように設定すればよい。
また、本実施形態では、1つの特徴点(注目特徴点)に対して1つのハッシュ値を算出するものとしているが、これに限らず、1つの特徴点(注目特徴点)に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として6点を抽出し、この6点から5点を抽出した6通りの組み合わせそれぞれについて、5点から3点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、1つの特徴点に対して6個のハッシュ値が算出されることになる。
次に、上記した特徴点算出部31に備えられる解像度変換部42について詳細に説明する。
入力画像データの画像と登録画像との類似性を、上述したように、画像の特徴量を比較することで判定するとき、画像データ同士の解像度を同じとした場合に、判定の精度をあげることができる。
これは、類似性を判定する特徴量の算出、より詳細には、特徴量に用いられる特徴点の抽出を、同じ条件で行うことができるためである。但し、先にも述べたように、これは、入力画像データの画像が縮小されていないことを条件とする。
Nin1原稿などの割付原稿では、たとえ原稿サイズは、登録画像の原稿サイズと同じであっても、割り付けられている個々の原稿画像は縮小されている。そのため、見かけ上の解像度は、登録画像の解像度と同じ解像度であっても、各原稿画像単位でみた実質的な解像度は登録画像の解像度よりも低くなり、登録原稿の画像データ(登録画像データ)では離れている連結領域同士が、割付原稿の画像データにおいてはくっ付いて1つの連結領域になるといったことも生じる。このようなことが生じると、抽出される特徴点が変わってしまい、判定精度も低下する。
そこで、本実施形態では、上述したように、解像度変換部42が、照合対象画像データである入力画像データが、割付原稿のものである場合(照合対象原稿が割付原稿である場合)には、その割付数と入力画像データの原稿サイズ(照合対象原稿の原稿サイズ)とに応じた解像度に変換するようになっている。なお、割付原稿でない場合は、従来と同様、デフォルト解像度に解像度変換する。
図1は、解像度変換部42の概略構成を示すブロック図である。解像度変換部42は、デフォルト設定部42a、第1設定部42b、第2設定部42c、解像度変換テーブル42d、変倍処理部42eを備えている。
変倍処理部42eは、無彩化処理部41から出力された輝度信号Yに対し、デフォルト設定部42a、或いは第2設定部42cの何れかにて設定された解像度となるように変倍処理するものである。
デフォルト設定部42aは、原稿種別判別の結果より、割付原稿であると判別された場合を除いて、変倍処理部42eに設定する解像度をデフォルト解像度とする。本実施形態では、登録画像が原稿サイズA4で解像度300dpiに設定されているので、デフォルト設定部42aは、変倍処理部42eの解像度を300dpiに設定する。
一方、第2設定部42cは、原稿種別判別の結果より、割付原稿であると判別された場合は、解像度変換テーブル42dを参照して、割付原稿の原稿サイズと割付数とに応じた解像度に、変倍処理部42eの解像度を設定する。
上記デフォルト設定部42a、第1設定部42b、第2設定部42cは、原稿種別判別部13より、割付原稿であるか否かと、割付数とが入力され、まら、原稿サイズ検出部40より原稿サイズが入力される。
原稿サイズ検出部40としては、例えば、カラー画像入力装置2内に配置されたフォトトランジスタなどの光電変換素子により、原稿台に載置された、主走査方向、副走査方向の原稿サイズを検知する方法や、操作パネル6より、ユーザにて選択された原稿サイズを制御部にて検知する方法などを用いることができる。
図16に、登録画像が、原稿サイズA4で解像度300dpiに設定されている場合の解像度変換テーブル42dの内容例を示す。図16に示すように、解像度は、割付原稿の原稿サイズと割付数とに応じて設定されている。
ここで、割付数と原稿サイズとに応じた解像度とは、割り付けられている複数の原稿画像を元の原稿サイズに戻す(或いは近づける)ことのできる解像度である。
例えば、入力画像データの原稿サイズがA4で、割付数が2(2in1原稿)であれば、割り付けられている2つの原稿画像はそれぞれ、元の画像サイズに対して約0.7倍に縮小されている。したがって、この場合、解像度は、デフォルト解像度の1/0.7倍となる。
そこで、図16に示すように、原稿サイズがA4で、割付数が2(2in1原稿)の場合、解像度変換部42は、変倍処理部42eの解像度を400dpi(≒300/0.7)に設定する。このように解像度を切り換えることで、縮小されている各原稿画像それぞれを、縮小されていない元の画像サイズ或いはそれに近いサイズの画像データとできる。換言すれば、画像のサイズが元のサイズよりも縮小されていても、実質的な解像度を、登録原稿について特徴量を抽出したときの条件と同じ解像度に、或いはこれに近づけることができる。
また、入力された画像データの原稿サイズがA3で、割付数が2(2in1原稿)の場合は、変倍処理部42eの解像度を300dpiに設定する。A3サイズの2in1原稿の場合、割り付けられている2つの原稿の大きさは、元の原稿サイズであるA4サイズに等しい。したがって、この場合は、デフォルト解像度と同じ300dpiに設定すればよい。
その他、例えば、入力された画像データの原稿サイズがA3で、割付数が8(8in1原稿)の場合であれば、変倍処理部42eの解像度を600dpiに設定する。A3サイズの8in1原稿の場合、割り付けられている8つの原稿は、元の原稿サイズであるA4の50%に縮小されている。したがって、600dpiとなるように変倍処理することで、割り付けられている各原稿画像の画像データは、元の原稿サイズであるA4サイズに近い画像データとなる。
また、第1設定部42bは、原稿種別判別の結果より、割付原稿であると判別された場合に、変倍処理部42eに対し、解像度変換を行うことなく、無彩化処理部41より出力された輝度信号Yをスルーさせるように、設定するものである。
つまり、第1設定部42bは、後段の各処理部における処理量を軽減するための解像度変換を行うことなく、読み込み時の解像度をそのまま用いて特徴点を抽出させるものである。600dpi等の高い解像度のままで特徴点を抽出すると、画像に含まれる孤立点などのノイズ成分が除去されない可能性はあるが、高い解像度のまま特徴点を抽出することで、本来、離れている部分がくっ付いてしまったりするといった不具合を、処理の軽減を図りながら、簡単に回避することができる。
また、割付原稿でない場合でも、照合対象原稿の原稿サイズが登録原稿の原稿サイズよりも小さく、原稿画像が縮小されていると考えられる場合には、第1設定部42b或いは第2設定部42cが、MTF処理部43へと出力される画像データの解像度をデフォルトの解像度よりも高くなるように、変倍処理部42eを制御してもよい。
例えば、登録画像が、A4サイズで解像度300dpiである場合に、入力された画像データの原稿サイズがA5であれば、2in1原稿と同様に70%に縮小されていると想定して、第2設定部42cが解像度を400dpiに設定したり、第1設定部42bが、読み取り条件として設定されている解像度のまま、MTF処理部43へと出力するようにしてもよい。
なお、割付原稿である場合或いは縮小原稿である場合に、第1設定部或いは第2設定部のいずれを用いて解像度を設定させるかは、任意に設定可能となっている。
また、このような解像度変換部42における解像度変換を行う方法としては、例えば、プレスキャンを行った後、本スキャンを行う構成の場合、副走査方向については、走査速度を変更し、主走査方向については補間演算を用いればよい。また、電子ズームを行う構成の場合には、主走査方向、副走査方向とも補間演算を用いればよい。
補間演算の方法としては、ニアレストネイバー法、バイリニア法、或いはバイキュービック法などがある。ニアレストネイバーとは、補間する画素に一番近い、あるいは、補間する画素に対して所定の位置関係にある既存画素の値をその補間画素の値とするものである。バイリニア法では、補間する画素を囲む周囲4点の既存画素の距離に比例した形で重み付けした値の平均を求め、その値をその補間画素とする。さらに、バイキュービック法では、補間する画素を囲む4点に加え、更にそれらを囲む12点を加えた計16点の画素の値を用いて、補間演算を行う。
次に、デジタルカラー複写機1における類似性判定処理について、図17に示すフロー図を参照しながら説明する。
制御部7は、操作パネル6を介してユーザからの指示入力を受け付けると、登録モードが選択されているか否かを判定する(S1)。ここで、登録モードが選択されている場合は、入力画像データを登録処理する。
まず、制御部7は、文書照合処理部14の各部を制御して、入力画像データの解像度をデフォルト解像度に変換し(S2)、デフォルト解像度の画像データに対して、特徴点算出処理(S3)、特徴量算出処理(S4)、原稿IDの登録処理(S5)を行わせる。
一方、S1において、登録モードではない、つまり照合モードであると判定すると、割付原稿であるかどうかを判定し(S6)、割付原稿でなければ、入力画像データの解像度をデフォルト解像度に変換し(S13)、デフォルト解像度の画像データに対して、特徴点算出処理(S8)、特徴量算出処理(S9)、投票処理(S10)、類似性判定処理(S11)を行わせる。そして、S11にて、類似する判定されると、類似すると判定された登録原稿に応じた制限に基づいて、当該入力画像データが出力処理されるように、制御信号を出力する(S12)。
一方、S6において、割付原稿であると判定すると、第2設定部42cが選択されている場合は、原稿サイズと割付数を基に設定された解像度に入力画像データの解像度を変換し(S7)。そして、このように、原稿サイズと割付数を基に設定された解像度に変換された画像データに対して、特徴点算出処理(S8)、特徴量算出処理(S9)、投票処理(S10)、類似性判定処理(S11)を行わせる。そして、S11にて、類似する判定されると、類似すると判定された登録原稿に応じた制限に基づいて、当該入力画像データが出力処理されるように、制御信号を出力する(S12)。
以上のように、本実施形態のデジタルカラー複写機1においては、解像度変換部42は、第2設定部が選択されている場合、照合モードにおいて、入力画像データが割付原稿のものであれば、特徴量を抽出するために用いる画像データの解像度を、通常のデフォルト解像度ではなく、割付原稿の原稿サイズと割付数に応じた解像度へと変換するようになっている。
したがって、特徴点算出、続く特徴量算出が、登録原稿において、これらを算出したときの画像データと実質的に同じ解像度にて処理して、特徴量を抽出することができるので、たとえ、Nin1等の割付原稿であっても、登録原稿との類似性の判定を精度よく実施可能となる。
また、本実施形態のデジタルカラー複写機1においては、解像度変換部42は、第1設定部が選択されている場合、照合モードにおいて、入力画像データが割付原稿のものであれば、特徴量を抽出するために用いる画像データの解像度を、デフォルト解像度に変換することなく、そのまま出力するようになっている。
したがって、特徴点算出、続く特徴量算出が、登録原稿において、これらを算出したときの画像データと実質的に同じ解像度とはならないものの、処理量を低減するための解像度の低下処理が実施されなくなるので、解像度は高い状態で保持され、処理を行わないといった簡単な対応でありながら、登録原稿との判定精度を上げることができる。
なお、このような構成では、登録原稿の画像データの解像度よりも高い解像度にて特徴量が抽出される場合も含まれるが、その場合、登録原稿の画像データでは除去されている孤立点などのノイズ成分が除去されない可能性はあるものの、特徴量を抽出する画像データの実質的な解像度が低い場合よりも判定に与える影響は小さく、判定精度を上げることができる。
また、本実施形態では、本発明をデジタルカラー複写機1に適用する場合について説明したが、本発明の適用対象はこれに限るものではなく、例えば、図18に示すように、デジタルカラー複合機(MFP:Multi-Function Printer)100に適用してもよい。このデジタルカラー複合機100は、コピー機能、プリンタ機能、ファクシミリ機能、スキャナ機能、scan to e-mail機能等を有している。
なお、図18においては、デジタルカラー複写機1において説明したものと同等の機能を有する部材には、同じ記号を付しており、それらの説明については省略する。
ここで、送信装置5は、例えばモデムやネットワークカードより構成される。送信装置5は、ネットワークカード、LANケーブル等を介して、ネットワークに接続された他の装置(例えば、パーソナルコンピュータ、サーバー装置、他のデジタル複合機、ファクシミリ装置等)とデータ通信を行う。
送信装置5は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データ(スキャナで読み込まれた画像データ)をメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。
また、送信装置5は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信してカラー画像処理装置3に入力する。受信した画像データは、カラー画像処理装置3で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、カラー画像出力装置4によって出力される。なお、受信した画像データを記憶装置(図示せず)に保存し、カラー画像処理装置3が必要に応じて読み出して上記所定の処理を施すようにしてもよい。
また、デジタルカラー複合機100では、操作パネル6を用いて、ユーザの入力画像データに対する処理要求(例えば処理モード(複写、印刷、送信、編集など)、処理枚数(複写枚数、印刷枚数)、入力画像データの送信先など)を入力することができ、文書照合処理部14に制御部7は、類似ありと判定された場合に、複写処理だけでなく、印刷、送信、編集などの出力処理について制御する。
例えば、ファクシミリを送信するモードが選択され、文書照合処理部14において、出力禁止であると判定された場合、メモリに格納されている画像データの消去を行い、ファックスの送信を行わないようにする。あるいは、登録原稿ではあっても、ファックス送信が許可されている場合(原稿IDと送信先を対応付けて、予め格納しておく)は、送信先のデータを参照して送信するようにしても良い。
図19を用いて、上記したデジタルカラー複合機100におけるファックス処理について説明する。なお、図19では、処理がスルーとなる処理部を点線で表している。ここでは使用するが、ファックス処理においては、領域分離処理部17は必須ではない。また、ファックス送信の場合、階調再現処理部22の後、解像度変換部、圧縮/伸張処理部で処理が行われる。
送信においては、カラー画像入力装置2より読み込まれた、例えば8ビットの入力画像データはカラー画像処理装置3において上記の各処理が施され、入力階調補正部15で、例えば、マトリクス演算等によりRGB信号を輝度信号(図19ではK信号)に変換する。輝度信号に変換された画像データは、領域分離処理部17、空間フィルタ処理部20で所定の処理がなされ、階調再現処理部22において、例えば、誤差拡散処理により2値化される。2値化された画像データは、必要に応じて回転処理がなされ、圧縮/伸張処理部にて、所定の形式で圧縮されて、不図示のメモリに格納される。
送信装置(例えば、モデム)5にて相手先との送信手続きを行い送信可能な状態が確保されると、画像データは所定の形式で圧縮された状態で上記メモリから読み出され、圧縮形式の変更など必要な処理が施され、相手先に通信回線を介して順次送信される。
一方、受信においては、相手先から通信回線を介して画像が送信されてくると、制御部は、通信手続きを行いながら相手先から送信されてくる画像を受信すると共に、所定の形式に圧縮された状態の受信画像データは、カラー画像処理装置3に入力される。
カラー画像処理装置3に入力された受信画像データは、圧縮/伸張処理部での処理により伸張されページ画像として送信されてきた原稿画像が再現される。再現された原稿画像は、カラー画像出力装置の能力に応じて、回転処理がなされ解像度変換部にて解像度変換処理が行なわれる。ページ単位の画像として再現された画像データは、カラー画像出力装置より出力される。
なお、以上では、モノクロの画像データを処理する場合を例として示したが、例えば、領域分離処理部17と空間フィルタ処理部20との間に、カラー画像入力装置2より読み込まれたRGB信号に対し、色再現の忠実化実現のために不要吸収成分を含む、トナーやインクのCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行う色補正部18、および、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する黒生成下色除去部を備えたカラー画像処理装置を用いても構わない。
さらに、前述したデジタルカラー複写機1の場合、入力画像データは、スキャナにて原稿を読み取って入力される画像データであったが、デジタルカラー複合機100においては、上記入力画像データとして、スキャナにて原稿を読み取り入力される画像データと、コンピュータ(ソフトウェア)を用いて作成される電子データ、例えば、電子データのフォーマットに、コンピュータ(ソフトウェア)を用いて必要事項を入力して作成される電子データとがある。実使用を考えた場合、紙ベースのデータを電子化したものと、電子データで直接作成したもの(電子申請など)との2通りが考えられる。
また、割付原稿に関する電子データには、アプリケーション・ソフトウェアで割付原稿の設定を行う場合と、プリンタドライバの設定画面において割付して印刷するように設定する場合とがある。何れの場合においても、画像データは、PDL(ページ記述言語)に変換され、デジタルカラー複合機100に送られた時点で、ビットマップデータに展開されるので、このビットマップデータについて、スキャナより入力された画像データと同様の手法で、割付原稿かどうかの判定を行うことができる。
また、図18の構成では、類似性判定処理をデジタルカラー複合機100に備えられた文書照合処理部14において行っているが、これに限るものではない。例えば、制御部7及び文書照合処理部14が有する機能の一部または全部を、デジタルカラー複合機100に通信可能に接続された外部装置において実行するようにしてもよい。
その他、本発明を、例えば、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体のファクシミリ通信装置、複写機、画像読取装置などに適用してもよい。
例えば、図20は、本発明をフラットベッドスキャナ101に適用した場合の構成例を示すブロック図である。
この図に示すように、フラットベッドスキャナ101は、カラー画像入力装置2とカラー画像処理装置3’とを備えている。カラー画像処理装置3’は、A/D変換部11、シェーディング補正部12、文書照合処理部14、制御部7(図20では図示せず)、メモリ8(図20では図示せず)から構成されており、これに、カラー画像入力装置2が接続され、全体として画像データ出力処理装置を構成している。なお、カラー画像入力装置(画像読取手段)2におけるA/D変換部11、シェーディング補正部12、文書照合処理部14、制御部7、メモリ8の機能は、上述したデジタルカラー複写機1と略同様であるのでここでは説明を省略する。
また、上記各実施形態において、デジタルカラー複写機1、デジタルカラー複合機100、フラットベッドスキャナ101に備えられる文書照合処理部及び制御部を構成する各部(各ブロック)は、CPU等のプロセッサを用いてソフトウェアによって実現される。すなわち、デジタルカラー複写機は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複写機の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複写機に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、デジタルカラー複写機を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
また、デジタルカラー複写機の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
本発明のコンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記類似度算出処理や類似性判定処理など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するCRTディスプレイ・液晶ディスプレイなどの画像表示装置、及びコンピュータの処理結果を紙などに出力するプリンタ等の画像形成訴追により構成されてもよい。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられていてもよい。
本発明の第2の画像照合装置は、上記課題を解決するために、入力される画像データより画像の特徴量を抽出する特徴量抽出部を備え、該特徴量抽出部を用いて入力される照合対象原稿の画像データより画像の特徴量を抽出する一方、算出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記照合対象原稿の画像が登録原稿の画像に類似するか否かを判定する画像照合装置において、入力される画像データより画像の特徴量を抽出するよりも前に、入力される画像データの解像度をデフォルト解像度に変換して低下させる解像度変換部と、上記照合対象原稿が、複数の原稿画像が割り付けられた割付原稿であるか否かを判定する割付原稿判定部とを備え、上記解像度変換部は、上記割付原稿判定部にて、上記照合対象原稿が割付原稿であると判定された場合は、上記照合対象原稿の画像データの解像度を、上記デフォルト解像度に変換することなくそのままとすることを特徴としている。
上記構成によれば、解像度変換部は、照合対象原稿が割付原稿である場合には、解像度をデフォルト解像度に変換して低くすることなくそのままとするので、高い解像度にて、特徴量が抽出されることとなる。
したがって、実質的な解像度を、登録原稿について特徴量を抽出したときの条件と同じ解像度に、或いはこれに近づけて、登録原稿と同じ条件で特徴量を抽出することが可能な第1の画像照合装置ほどではないものの、特徴量が抽出される際の解像度を高く保持できるので、処理を行わないといった簡単な対応でありながら、判定精度を上げることができる。
なお、このような構成では、登録原稿の画像データの解像度よりも高い解像度にて特徴量が抽出される場合も含まれるが、その場合、登録原稿の画像データでは除去されている孤立点などのノイズ成分が除去されない可能性はあるものの、特徴量を抽出する画像データの実質的な解像度が低い場合よりも判定に与える影響は小さく、判定精度を上げることができる。
本発明の第3の画像照合装置は、上記課題を解決するために、入力される画像データより画像の特徴量を抽出する特徴量抽出部を備え、該特徴量抽出部を用いて入力される照合対象原稿の画像データより画像の特徴量を抽出する一方、算出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記照合対象原稿の画像が登録原稿の画像に類似するか否かを判定する画像照合装置において、入力される画像データより画像の特徴量を抽出するよりも前に、入力される画像データの解像度をデフォルト解像度に変換して低下させる解像度変換部と、上記照合対象原稿の原稿サイズを検出する原稿サイズ検出部とを備え、上記解像度変換部は、上記原稿サイズ検出部にて検出された原稿サイズが、登録原稿の原稿サイズよりも小さい場合には、上記照合対象原稿の画像データの解像度を、上記デフォルト解像度に変換することなくそのままとすることを特徴としている。
上記構成によれば、割付原稿ではなく、1つの原稿画像よりなるものであっても、照合対象原稿の原稿サイズが登録原稿の原稿サイズよりも小さく、画像が縮小されている可能性のあるものに対しては、特徴量を抽出する照合対象原稿の画像データの解像度が高く保持されるので、判定精度を上げることができる。
また、この場合も、登録原稿の画像データでは除去されている孤立点などのノイズ成分が、照合対象原稿の画像データでは除去されない可能性があるものの、特徴量を抽出する画像データの実質的な解像度が低い場合よりも判定に与える影響は小さく、判定精度を上げることができる。
本発明の第2、第3の画像データ出力処理装置は、上記課題を解決するために、画像データに対して出力処理を施す画像データ出力処理装置であって、本発明の第2、第3の画像照合装置と、上記画像照合装置の判定結果に基づいて、上記照合対象原稿の画像データに対する出力処理を制御する出力処理制御部とを備えることを特徴としている。
上述したように、本発明の第2、第3の画像照合装置は、照合対象原稿において、照合対象の画像が登録原稿の画像よりも縮小されている場合にも、高い精度でその類似性を判定できるものである。
したがって、このような画像照合装置を備えた画像データ出力処理装置は、出力処理すべき画像データが、登録原稿に類似する場合には、出力処理を精度よく制御することが可能となり、信頼性が高められる。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明の一実施形態にかかるデジタルカラー複写機をなす画像データ出力処理装置に備えられる文書照合処理部の解像度変換部の概略構成を示すブロック図である。 本発明の一実施形態にかかるデジタルカラー複写機をなす画像データ出力処理装置の概略構成を示すブロック図である。 図2に示した画像データ出力処理装置に備えられる原稿種別判別部における割付原稿であるか否かと割付数とを判定する処理を示す説明図である。 図2に示した画像データ出力処理装置に備えられる原稿種別判別部における割付原稿であるか否かと割付数とを判定する処理を示す説明図である。 図2に示した画像データ出力処理装置に備えられる文書照合処理部の概略構成を示すブロック図である。 図2に示した画像データ出力処理装置に備えられる特徴点算出部の概略構成を示すブロック図である。 図2に示した画像データ出力処理装置に備えられる特徴量算出部の概略構成を示すブロック図である。 図2に示した画像データ出力処理装置のMTF処理部に備えられる混合フィルタのフィルタ係数の一例を示す説明図である。 図2に示した画像データ出力処理装置の特徴点算出部によって入力画像データから抽出される連結領域及びこの連結領域の重心の一例を示す説明図である。 図2に示した画像データ出力処理装置の特徴点算出部によって入力画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。 図2に示した画像データ出力処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点及び周辺特徴点の一例を示す説明図である。 (a)〜(d)は、図2に示した画像データ出力処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点及び周辺特徴点の組み合わせの一例を示す説明図である。 (a)〜(d)は、図2に示した画像データ出力処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点及び周辺特徴点の組み合わせの一例を示す説明図である。 (a)及び(b)は、図2に示した画像データ出力処理装置において、ハッシュテーブルに登録される各特徴点についてのハッシュ値及び入力画像データを表すインデックスの一例を示す説明図である。 図2に示した画像データ出力処理装置の投票処理部における、各登録画像に対する投票数の一例を示すグラフである。 図2に示しT画像データ出力処理装置に解像度変換部における第2設定部に備えられた解像度変換テーブルの内容を示す説明図である。 図2に示した画像データ出力処理装置における類似性判定処理の流れを示すフロー図である。 本発明の他の実施形態にかかるデジタルカラー複合機をなす画像データ出力処理装置の概略構成を示すブロック図である。 図18に示した画像データ出力処理装置における、ファクス処理時の画像データの流れを示す説明図である。 本発明のその他の実施形態にかかる画像データ出力処理装置の概略構成を示すブロック図である。
1 デジタルカラー複写機(画像データ出力処理装置)
2 カラー画像入力装置(入力データ取得部、画像入力装置)
3,3’ カラー画像処理装置
4 カラー画像出力装置
5 送信装置
6 操作パネル
7 制御部
8 メモリ(記憶部)
13 原稿種別判別部(割付原稿判部、割付原稿判定手段
14 文書照合処理部(画像照合装置)
31 特徴点算出部(特徴量抽出部、特徴量抽出手段)
32 特徴量算出部(特徴量抽出部、特徴量抽出手段)
32a 特徴点抽出部
32b 不変量算出部
32c ハッシュ値算出部
33 投票処理部(類似度算出部)
34 類似度判定処理部
35 登録処理部
40 原稿サイズ検出部(原稿サイズ検出手段)
42 解像度変換部(解像度変換手段)
100 デジタルカラー複合機(画像データ出力処理装置)
101 フラットベッドスキャナ(画像データ出力処理装置)

Claims (6)

  1. 入力される画像データより画像の特徴量を抽出する特徴量抽出部を備え、
    登録モードでは、上記特徴量抽出部を用いて入力される登録対象の原稿である登録原稿の画像データより画像の特徴量を抽出し、抽出した特徴量を上記登録原稿の画像の特徴量として記憶部に格納して登録し、
    照合モードでは、上記特徴量抽出部を用いて入力される照合対象原稿の画像データより画像の特徴量を抽出し、抽出した特徴量と上記記憶部に登録されている登録原稿の画像の特徴量とを比較して類似度を求め、該類似度を予め定められている閾値と比較することで上記照合対象原稿の画像が登録原稿の画像に類似するか否かを判定する画像照合装置であって、
    上記特徴量抽出部は、画像における画素が連結した連結領域を抽出し、抽出した連結領域毎に、当該連結領域の重心の上記画像上の位置を表す情報である特徴点を抽出し、抽出した特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に上記特徴量を算出しており、
    入力される画像データより上記連結領域を抽出するよりも前に、入力される画像データの解像度をデフォルト解像度に変換して低下させる解像度変換部と、
    上記照合対象原稿が、複数の原稿の各画像が割り付けられた割付原稿であるか否かと、割付原稿である場合は割り付けられている画像の数である割付数をも判定する割付原稿判定部と、
    上記照合対象原稿の原稿サイズを検出する原稿サイズ検出部とを備え、
    上記解像度変換部は、上記割付原稿判定部にて、上記照合対象原稿が割付原稿であると判定された場合は、上記照合対象原稿の画像データの解像度を、上記デフォルト解像度に替えて、上記割付原稿判部及び原稿サイズ検出部にて求められた割付数と原稿サイズとに応じて定まる、割り付けられている複数の原稿の各画像の解像度が、デフォルト解像度と同じ値或いは近い値となるような解像度に変換することを特徴とする画像照合装置。
  2. 上記解像度変換部は、割付数と原稿サイズの組み合わせに応じて解像度が設定されている解像度変換テーブルを備えており、該テーブルを参照して割付数と原稿サイズとに応じて定まる、割り付けられている複数の原稿の各画像の解像度が、デフォルト解像度と同じ値或いは近い値となるような解像度に変換することを特徴とする請求項1に記載の画像照合装置。
  3. 画像データに対して出力処理を施す画像データ出力処理装置であって、
    請求項1又は2に記載の画像照合装置と、
    上記画像照合装置の判定結果に基づいて、上記照合対象原稿の画像データに対する出力処理を制御する出力処理制御部とを備え、
    上記出力処理が、画像形成処理、送信処理、編集処理、或いは画像ファイリング処理であることを特徴とする画像データ出力処理装置。
  4. 特徴量抽出手段により、入力される画像データより画像の特徴量を抽出する特徴量抽出工程を含み、
    登録モードでは、上記特徴量抽出工程において入力される登録対象の原稿である登録原稿の画像データより画像の特徴量を抽出し、抽出した特徴量を上記登録原稿の画像の特徴量として記憶部に格納して登録し、
    照合モードでは、上記特徴量抽出工程において入力される照合対象原稿の画像データより画像の特徴量を抽出し、抽出した特徴量と上記記憶部に登録されている登録原稿の画像の特徴量とを比較して類似度を求め、該類似度を予め定められている閾値と比較することで上記照合対象原稿の画像が登録原稿の画像に類似するか否かを判定する画像照合方法において、
    上記特徴量抽出工程においては、画像における画素が連結した連結領域を抽出し、抽出した連結領域毎に、当該連結領域の重心の上記画像上の位置を表す情報である特徴点を抽出し、抽出した特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に上記特徴量を算出しており、
    解像度変換手段により、入力される画像データより上記連結領域を抽出するよりも前に、入力される画像データの解像度をデフォルト解像度に変換して低下させる解像度変換工程と、
    割付原稿判定手段により、上記照合対象原稿が、複数の原稿の各画像が割り付けられた割付原稿であるか否かと、割付原稿である場合は割り付けられている画像の数である割付数をも判定する割付原稿判定工程と、
    原稿サイズ検出手段により、上記照合対象原稿の原稿サイズを検出する原稿サイズ検出工程とを備え、
    上記解像度変換工程では、上記割付原稿判定工程にて、上記照合対象原稿が割付原稿であると判定された場合は、上記照合対象原稿の画像データの解像度を、上記デフォルト解像度に替えて、上記割付原稿判工程及び原稿サイズ検出工程にて求められた割付数と原稿サイズとに応じて定まる、割り付けられている複数の原稿の各画像の解像度が、デフォルト解像度と同じ値或いは近い値となるような解像度に変換することを特徴とする画像照合方法。
  5. 請求項1又は2に記載の画像照合装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
  6. 請求項5に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007233426A 2007-09-07 2007-09-07 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体 Expired - Fee Related JP4469885B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007233426A JP4469885B2 (ja) 2007-09-07 2007-09-07 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体
CN2008102122281A CN101382770B (zh) 2007-09-07 2008-09-04 图像比对装置、图像比对方法和图像数据输出处理装置
US12/204,561 US8050501B2 (en) 2007-09-07 2008-09-04 Image matching apparatus, image matching method, and image data output processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007233426A JP4469885B2 (ja) 2007-09-07 2007-09-07 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2009065571A JP2009065571A (ja) 2009-03-26
JP4469885B2 true JP4469885B2 (ja) 2010-06-02

Family

ID=40431881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007233426A Expired - Fee Related JP4469885B2 (ja) 2007-09-07 2007-09-07 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体

Country Status (3)

Country Link
US (1) US8050501B2 (ja)
JP (1) JP4469885B2 (ja)
CN (1) CN101382770B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162035B1 (en) 2000-05-24 2007-01-09 Tracer Detection Technology Corp. Authentication method and system
US8171567B1 (en) 2002-09-04 2012-05-01 Tracer Detection Technology Corp. Authentication method and system
US7995196B1 (en) 2008-04-23 2011-08-09 Tracer Detection Technology Corp. Authentication method and system
JP4940270B2 (ja) * 2009-07-06 2012-05-30 シャープ株式会社 画像形成装置
EP2529333A4 (en) 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
US8378872B2 (en) 2011-03-31 2013-02-19 Rosemount Inc. Dynamically adjusted A/D resolution
WO2013109290A1 (en) * 2012-01-20 2013-07-25 Hewlett-Packard Development Company, L.P. Feature resolution sensitivity for counterfeit determinations
US10386993B2 (en) * 2013-12-03 2019-08-20 Autodesk, Inc. Technique for searching and viewing video material
US9978113B2 (en) 2014-03-26 2018-05-22 Hewlett-Packard Development Company, L.P. Feature resolutions sensitivity for counterfeit determinations
US9544473B2 (en) * 2014-10-20 2017-01-10 Ricoh Company, Ltd. Information processing system and information processing method
US9524445B2 (en) * 2015-02-27 2016-12-20 Sharp Laboratories Of America, Inc. Methods and systems for suppressing non-document-boundary contours in an image
JP6452577B2 (ja) * 2015-08-27 2019-01-16 株式会社沖データ 画像形成装置
EP3430572B1 (en) * 2016-03-15 2022-02-23 Sightec (Israel) Ltd Image comparison system and method
JP6979694B2 (ja) * 2018-03-22 2021-12-15 株式会社マーストーケンソリューション 隠蔽画像又は隠蔽情報を認証する認証システム、認証方法及び認証用プログラム
US11146699B2 (en) 2020-03-10 2021-10-12 Xerox Corporation Providing user control of resolution and file size for n-up scanned files
CN112784835B (zh) * 2021-01-21 2024-04-12 恒安嘉新(北京)科技股份公司 圆形印章的真实性识别方法、装置、电子设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3337700B2 (ja) 1991-10-21 2002-10-21 キヤノン株式会社 画像処理装置およびその方法
JPH0760308B2 (ja) 1993-01-08 1995-06-28 日本電気株式会社 画像表示倍率設定装置
US5465353A (en) 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
JP3469345B2 (ja) 1995-03-16 2003-11-25 株式会社東芝 画像のファイリング装置及びファイリング方法
JPH1125215A (ja) 1997-05-09 1999-01-29 Ricoh Co Ltd 帳票種識別方法、装置および記録媒体
US6463432B1 (en) 1998-08-03 2002-10-08 Minolta Co., Ltd. Apparatus for and method of retrieving images
JP2000076458A (ja) * 1998-08-31 2000-03-14 Fuji Xerox Co Ltd カラー画像認識装置、カラー画像認識方法、および記録媒体
JP2000175031A (ja) * 1998-12-07 2000-06-23 Fuji Xerox Co Ltd 画像処理装置、画像処理方法および画像入力装置
JP2000333004A (ja) * 1999-05-20 2000-11-30 Matsushita Electric Ind Co Ltd 画像複写システム
JP3767667B2 (ja) 1999-08-18 2006-04-19 富士ゼロックス株式会社 画像処理装置
JP3893829B2 (ja) * 2000-01-14 2007-03-14 富士ゼロックス株式会社 画像処理装置および画像処理方法ならびに画像形成装置
JP2004265237A (ja) 2003-03-03 2004-09-24 Olympus Corp 画像合成方法、画像合成装置、顕微鏡撮影システム、及び画像合成プログラム
JP4405831B2 (ja) 2003-05-20 2010-01-27 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP4371965B2 (ja) 2004-09-14 2009-11-25 キヤノン株式会社 画像処理装置、画像処理方法
US8036497B2 (en) 2005-03-01 2011-10-11 Osaka Prefecture University Public Corporation Method, program and apparatus for storing document and/or image using invariant values calculated from feature points and method, program and apparatus for retrieving document based on stored document and/or image
JP4332556B2 (ja) 2005-03-01 2009-09-16 公立大学法人大阪府立大学 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置
CN100512367C (zh) 2005-03-10 2009-07-08 富士施乐株式会社 图像处理装置
JP4720529B2 (ja) 2005-03-10 2011-07-13 富士ゼロックス株式会社 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP2006333248A (ja) * 2005-05-27 2006-12-07 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2007299210A (ja) 2006-04-28 2007-11-15 Sharp Corp 画像処理装置、画像形成装置、画像読取装置及び画像処理方法

Also Published As

Publication number Publication date
US8050501B2 (en) 2011-11-01
CN101382770B (zh) 2011-03-16
JP2009065571A (ja) 2009-03-26
CN101382770A (zh) 2009-03-11
US20090067724A1 (en) 2009-03-12

Similar Documents

Publication Publication Date Title
JP4469885B2 (ja) 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体
JP4362528B2 (ja) 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体
JP4538507B2 (ja) 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
US8260061B2 (en) Image data output processing apparatus and image data output processing method
US8131083B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method having storage section, divided into a plurality of regions, for storing identification information for identifying reference image
JP4486987B2 (ja) 画像データ出力処理装置、画像データ出力処理方法、プログラム及び記録媒体
US8103108B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
US8208163B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP4362538B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP4378413B2 (ja) 画像処理装置、画像形成装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP4913094B2 (ja) 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
US8050505B2 (en) Image processing apparatus, image processing system, image processing method, and image forming apparatus
US8180159B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP4362537B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP4336729B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理プログラムおよびその記録媒体
US7991189B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
US8184912B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP4486995B2 (ja) 画像処理システム
JP4487000B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理システム、画像処理プログラムおよびその記録媒体
US7986839B2 (en) Image processing method, image processing apparatus, image forming apparatus, and storage medium
JP4487003B2 (ja) 画像データ出力処理装置、画像データ出力処理方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100301

R150 Certificate of patent or registration of utility model

Ref document number: 4469885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140305

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees