JP4213112B2 - 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体 - Google Patents

画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体 Download PDF

Info

Publication number
JP4213112B2
JP4213112B2 JP2004325556A JP2004325556A JP4213112B2 JP 4213112 B2 JP4213112 B2 JP 4213112B2 JP 2004325556 A JP2004325556 A JP 2004325556A JP 2004325556 A JP2004325556 A JP 2004325556A JP 4213112 B2 JP4213112 B2 JP 4213112B2
Authority
JP
Japan
Prior art keywords
image information
image
document
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004325556A
Other languages
English (en)
Other versions
JP2006134255A (ja
Inventor
陽介 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2004325556A priority Critical patent/JP4213112B2/ja
Priority to US11/268,475 priority patent/US7602999B2/en
Priority to CNB200510120282XA priority patent/CN100403309C/zh
Publication of JP2006134255A publication Critical patent/JP2006134255A/ja
Application granted granted Critical
Publication of JP4213112B2 publication Critical patent/JP4213112B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00007Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to particular apparatus or devices
    • H04N1/00018Scanning arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00092Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to the original or to the reproducing medium, e.g. imperfections or dirt

Description

本発明は、画像読取装置で読取られた読取画像情報と対応する画像情報を検索するための画像検索装置、画像形成装置、画像検索方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体に関するものである。
一般に、コピー機等の複写装置では、原稿台に載置された原稿画像に対して光源から光を照射し、上記原稿画像からの反射光を光センサによって読取画像情報に変換し、この読取画像情報に対して種々の画像補正を行うことにより出力している。しかしながら、上記複写装置では、原稿画像に照射した光の反射ムラがあるため、当該原稿画像と全く同じ読取画像情報を得ることは困難である。また、原稿画像の読取りのための解像度には限界があり、例えば、小さな文字等は潰れた状態で読取られる場合がある。
ところで、原稿台に載置される原稿画像は、コンピュータ上で作成された原稿画像情報をプリンタ等で出力したものが多い。従って、原稿画像情報が存在する場合には、原稿画像を複写装置で光学的に読取らせて出力したものと比べて、上記原稿画像情報そのものを出力したものの方がきれいな出力部物を得ることができる。
そして、原稿画像を読取らせて、その読取画像情報と対応する画像情報がある場合には、当該画像情報に基づいて出力を行う画像形成装置が、例えば、特許文献1〜3に提案されている。
具体的には、特許文献1には、読取画像情報の特徴量を検出し、この特徴量と対応する画像情報を記憶手段から探し出し、探し出した画像情報を画像形成することが提案されている。また、特許文献2では、入力画像より抽出された特徴量を現すデスクリプタと、同じデスクリプタを持つデータベースに保存されている文書ファイルに対して投票し、この投票をカウントすることによって、マッチングを行うことが提案されている。また、特許文献3には、ユーザによるキーワード入力により、文書ファイルの絞り込みを行った後、さらに検索を行うことが提案されている。なお、特許文献3では、絞り込みを行うためのキーワード(フレーズ)をユーザが入力する必要があり、キーワードの指定によっては、うまく文書ファイルの絞り込みができない可能性がある。
特開2001−16379公報(公開日;2001年1月19日) 特開平7−282088号公報(公開日;1995年10月27日) 特開平9−237282号公報(公開日;1997年9月9日)
しかしながら、特許文献1、特許文献2では、特徴量やデスクリプタの数が少ない時は、精度が問題となると考えられ、多い場合は、検索に時間がかかってしまうと考えられる。
また、上記特徴量やデスクリプタは、原稿画像の特徴を示すものではあるが、原稿画像そのものではない。従って、例えば、類似した特徴量やデスクリプタを有する画像情報が多数存在する場合には、上記構成では、所望の画像情報を検索することができない場合がある。
また、例えば、原稿画像そのものを用いて読取画像情報と対応する原稿画像を検索した場合には、原稿画像の量が多くなればなるほど多大な時間がかかってしまうという問題点がある。
つまり、上記従来の構成では、画像情報の検索精度の向上と検索時間の向上との両方を満足することはできない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、従来と比べて、検索精度および処理速度の向上を両立した画像検索装置を提供することである。
本発明に係る画像検索装置は、上記課題を解決するために、原稿画像情報に基づいて記録材に画像形成された原稿画像を光学的に読取る画像読取装置にて得られた読取画像情報を受信するとともに、当該読取画像情報を特定するための特徴点を抽出する特徴点生成手段と、複数の画像情報が記憶されている記憶装置から、上記特徴点に基づいて、上記読取画像情報と対応する原稿画像情報を決定するための候補となる原稿候補画像情報を取得する取得手段と、上記原稿候補画像情報と上記読取画像情報とを、画素単位で比較する比較手段と、上記比較手段の比較結果に基づいて、上記読取画像情報と対応する原稿画像情報を決定する決定手段とを備えていることを特徴としている。
上記の構成によれば、まず、記憶装置に記憶されている複数の画像情報から、読取画像情報の特徴点に基づいて原稿候補画像情報を取得し、その後、原稿候補画像情報と上記読取画像情報とを画素単位で比較して、原稿画像を作成する元となった原稿画像情報を決定している。
これにより、原稿候補画像情報と読取画像情報とを画素単位で比較しているので、例えば、従来のように読取画像情報の特徴点のみによって原稿画像情報を決定する構成と比べて、より正確に原稿画像情報を決定することができる。また、上記の構成とすることにより、例えば、記憶装置に記憶されている複数の画像情報全部と上記読取画像情報とを画素単位で比較する構成と比べて、迅速に原稿画像情報を決定することができる。
従って、上記の構成とすることにより、従来と比べて迅速かつ正確に、原稿画像を作成する元となった原稿画像情報を決定することができる。
なお、上記読取画像情報は、例えば、画像読取装置から送信されたものを取得しても良く、また、画像読取装置にて読取られたものをサーバ等の外部装置を介して取得してもよい。
また、本発明にかかる画像検索装置は、上記決定手段が、上記比較手段の比較結果に基づいて、上記読取画像情報との差が所定の閾値よりも小さい上記原稿候補画像情報の中で、最も差が小さい原稿候補画像情報を上記原稿画像情報に決定する構成がより好ましい。
上記の構成によれば、比較手段で原稿候補画像情報と読取画像情報とを比較した結果、両者の差が所定の閾値よりも小さく、かつ、最も小さい原稿候補画像情報を原稿画像情報としている。そして、つまり、両者の差が所定の閾値以上である場合には、原稿画像情報とみなさない。そして、両者の差が所定の閾値よりも小さい原稿候補画像情報がある場合には、その中で最も差が小さい原稿候補画像情報を原稿画像としているので、読取画像情報と対応していない原稿画像情報を選択することをより少なくすることができる。
また、本発明にかかる画像検索装置は、上記特徴点生成手段が、読取画像情報を複数の領域に分割して当該分割領域の画像種別を判断するとともに、読取画像情報全体に対する上記判断された画像種別の割合、および/または、読取画像情報における各画像種別の配置を上記特徴点として抽出する構成がより好ましい。
「読取画像情報を複数の領域に分割する」とは、読取画像情報が示す画像を複数の領域に分割したものと対応するように読取画像情報を複数に分割することを示している。具体的には、複数の画素で読取られた領域を1つのまとまりとして1つの領域を形成することであり、例えば、8×8ドットの矩形を1つの領域として、当該領域の画像種別を判断している。
上記の構成によれば、読取画像情報を複数の領域に分割して、その分割領域の画像種別を判断し、読取画像情報全体に対する上記判断された画像種別の割合、および/または、読取画像情報における各画像種別の配置を上記特徴点として、原稿候補画像情報を取得している。
これにより、画素単位で比較する前に、記録装置に記憶されている画像情報を簡単に篩い分けできるので、記録装置に記憶されている画像情報全部を画素単位で比較する必要がない。従って、より高速に原稿画像情報を決定することができる。
また、本発明にかかる画像検索装置は、上記特徴点生成手段が、読取画像情報を複数の領域に分割して当該分割領域を文字領域、網点領域、写真領域の何れかの領域に分離するとともに、当該分離された各領域の割合を上記特徴点として抽出する構成がより好ましい。
「読取画像情報を複数の領域に分割する」とは、読取画像情報が示す画像を複数の領域に分割したものと対応するように読取画像情報を複数に分割することを示している。
上記の構成によれば、複数の領域に分割した後、これらの領域が文字領域、網点領域、写真領域の何れかの領域に相当するか分離し、この分離された各領域の割合を特徴点として、原稿候補画像情報を取得している。これにより、画素単位で比較する場合と比べて処理量の少ない処理で、記憶装置に記憶されている画像情報を篩い分けし(原稿候補画像情報を取得し、)その後で取得された原稿候補画像情報を画素単位で比較するので、読取画像情報と対応する原稿画像情報を決定するまでの時間をより短くすることができる。
また、本発明にかかる画像検索装置は、上記特徴点生成手段は、読取画像情報を複数の領域に分割して当該分割領域を文字領域、網点領域、写真領域の何れかの領域に分離するとともに、分離された各領域のいずれかの割合を上記特徴点として抽出するものであり、さらに、上記割合に応じて、特徴点として使用する領域を異ならせるものである構成がより好ましい。
上記の構成によれば、複数の領域に分割した後、これらの領域が文字領域、網点領域、写真領域の何れかの領域に相当するか分離し、読取画像情報全体に対する分離された各領域のいずれかの割合に基づいて、特徴点を抽出している。これにより、簡単な処理で、記憶装置に記憶されている画像情報を篩い分けできるので、読取画像情報と対応する原稿画像情報を決定するまでの時間をより短くすることができる。また、上記分離された領域の割合に応じて特徴点として抽出する領域を異ならせている。具体的には、特徴点として使用する領域の全体に対する割合がかなり小さい場合には、誤差を多く含むことになり、特徴点として適切でない場合があるため、全体に対する割合が大きい領域を特徴点として用いることで、より適切な特徴点を抽出することができる。つまり、各領域の割合に応じて特徴点として使用する領域を異ならせることにより、より適切な原稿候補画像情報を取得することができる。
また、本発明にかかる画像検索装置は、上記記憶装置には、ユーザ情報と画像情報とが対応付けられて記憶されており、ユーザ情報を入力する入力手段を備え、入力されたユーザ情報に基づいて、上記取得手段が取得可能な原稿候補画像情報を制限する制限手段を備える構成がより好ましい。
上記の構成によれば、画像情報とユーザ情報とが対応付けられており、画像検索装置に入力されたユーザ情報に基づいて、取得可能な原稿候補画像情報を制限している。これにより、例えば、特定のユーザのみにしか原稿画像情報を提供したくない場合等のような、ユーザによる制限を行うことができる。
また、本発明にかかる画像検索装置は、上記記憶装置には、ユーザ情報と画像情報とが対応付けられて記憶されており、特徴点生成手段は、画像読取装置から、読取画像情報と当該読取画像情報と対応付けられたユーザ情報を取得するものであり、入力されたユーザ情報に基づいて、上記取得手段が取得可能な原稿候補画像情報を制限する制限手段を備える構成がより好ましい。
上記の構成によれば、画像情報とユーザ情報とが対応付けられており、読取画像情報と対応付けられているユーザ情報に基づいて、取得可能な原稿候補画像情報を制限している。これにより、例えば、特定のユーザのみにしか原稿画像情報を提供したくない場合等のような、ユーザによる制限を行うことができる。
また、本発明にかかる画像検索装置は、上記記憶装置には、ユーザ情報と画像情報とが対応付けられて記憶されており、特徴点生成手段は、画像読取装置から、読取画像情報と当該読取画像情報と対応付けられたユーザ情報を取得するものであり、上記取得手段は、記憶装置から、読取画像情報と対応付けられたユーザ情報と関連性がある上記原稿候補画像情報を取得するものである構成がより好ましい。
上記の構成によれば、画像読取装置から受信するユーザ情報と、記憶装置に記憶されたユーザ情報とを用いて原稿候補画像情報を取得している。具体的には、上記取得手段は、読取画像情報と対応付けられたユーザ情報と同じユーザ情報をもつ原稿候補画像情報を上記記憶装置から取得する。そして、決定手段は、取得された原稿候補画像情報から原稿画像情報を決定する。これにより、より効率よく原稿画像情報を取得することができる。
また、本発明にかかる画像検索装置は、上記原稿画像を光学的に読取り、読取画像情報を得る画像読取手段を備え、上記特徴点生成手段は、画像読取手段から取得した上記読取画像情報と当該特徴点生成手段が抽出した上記特徴点とを対応付けて、上記記憶装置に記憶させる構成がより好ましい。
上記の構成によれば、読取画像情報を取得する際に、上記画像読取手段にて読取られた読取画像情報と上記特徴点とを対応付けて記憶部に記憶させている。これにより、画像読取手段が原稿画像を読取った読取画像情報を記憶部に記憶させるので、自動的に記憶部に読取画像情報と特徴点とが対応付けられたものを増やすことができる。
また、本発明にかかる画像検索装置は、上記記憶装置に記憶されている複数の画像情報のそれぞれから上記特徴点を抽出する画像情報側特徴点生成手段を備える構成がより好ましい。
上記の構成によれば、記憶装置に記憶されている画像情報から特徴点を抽出することができるので、上記取得手段は、両者(読取画像情報と画像情報)の特徴点を比較することで、原稿候補画像情報を取得することができる。
本発明にかかる画像形成装置は、上記の課題を解決するために、上記画像検索装置と、上記読取画像情報または上記画像検索装置によって決定された原稿画像情報を画像形成する画像形成手段とを備えることを特徴としている。
上記の構成によれば、上記画像検索装置と当該画像検索装置によって決定された原稿画像情報を画像形成することができるので、原稿画像情報がある場合には、当該原稿画像情報に基づいて画像形成を行うことができる。
また、本発明にかかる画像形成装置は、上記読取画像情報を画像形成する際に、当該読取画像情報に対して補正を施す補正手段を備え、上記補正手段が読取画像情報に対して補正を施すための補正情報の少なくとも一部と、上記特徴点生成手段が抽出する特徴点とが同じものである構成がより好ましい。
上記の構成によれば、読取画像情報に対して例えば、画像形成手段の特性に応じた補正を施すときに用いる補正情報の少なくとも一部と、特徴点生成手段が抽出する特徴点とを同じものを使用している。従って、新たに、特徴点生成部を設けなくても補正手段によって使用される補正情報を使用することで特徴点を抽出することができるので、新たな構成を追加することなく原稿候補画像情報を取得することができる。
また、本発明にかかる画像検索方法は、上記の課題を解決するために、原稿画像情報に基づいて記録材に画像形成された原稿画像を光学的に読取る画像読取装置にて得られた読取画像情報から、当該読取画像情報を特定するための特徴点を抽出する特徴点生成工程と、複数の画像情報が記憶されている記憶装置から、上記特徴点に基づいて、上記読取画像情報と対応する原稿画像情報を決定するための候補となる原稿候補画像情報を取得する取得工程と、上記原稿候補画像情報と上記読取画像情報とを、画素単位で比較する比較工程と、上記比較工程における比較結果に基づいて、上記読取画像情報と対応する原稿画像情報を決定する決定工程とを備えていることを特徴としている。
上記の構成によれば、まず、記憶装置に記憶されている複数の画像情報から、読取画像情報の特徴点に基づいて原稿候補画像情報を取得し、その後、原稿候補画像情報と上記読取画像情報とを画素単位で比較して、原稿画像を作成する元となった原稿画像情報を決定している。
従って、上記の構成とすることにより、従来と比べて、迅速かつ正確に、原稿画像を作成する元となった原稿画像情報を決定することができる。
なお、上記画像形成装置および画像検索装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像形成装置および画像検索装置をコンピュータにて実現させる画像形成装置および画像検索装置の画像形成プログラム、画像検索プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
本発明に係る画像検索装置は、原稿画像情報に基づいて記録材に画像形成された原稿画像を光学的に読取る画像読取装置にて得られた読取画像情報を受信するとともに、当該読取画像情報を特定するための特徴点を抽出する特徴点生成手段と、複数の画像情報が記憶されている記憶装置から、上記特徴点に基づいて、上記読取画像情報と対応する原稿画像情報を決定するための候補となる原稿候補画像情報を取得する取得手段と、上記原稿候補画像情報と上記読取画像情報とを、画素単位で比較する比較手段と、上記比較手段の比較結果に基づいて、上記読取画像情報と対応する原稿画像情報を決定する決定手段とを備えている構成である。
これにより、原稿候補画像情報と読取画像情報とを画素単位で比較しているので、例えば、従来のように読取画像情報の特徴点のみによって原稿画像情報を決定する構成と比べて、より正確に原稿画像情報を決定することができる。また、上記の構成とすることにより、例えば、記憶装置に記憶されている複数の画像情報全部と上記読取画像情報とを画素単位で比較する構成と比べて、迅速に原稿画像情報を決定することができる。
従って、上記の構成とすることにより、従来と比べて迅速かつ正確に、原稿画像を作成する元となった原稿画像情報を決定することができる。
本発明にかかる画像形成装置は、上記画像検索装置と、上記読取画像情報または上記画像検索装置によって決定された原稿画像情報を画像形成する画像形成手段とを備える構成である。
それゆえ、上記画像検索装置と当該画像検索装置によって決定された原稿画像情報を画像形成することができるので、原稿画像情報がある場合には、当該原稿画像情報に基づいて画像形成を行うことができる。
〔実施の形態1〕
本発明の実施の一形態について説明すれば、以下の通りである。
本実施の形態にかかる画像検索装置2は、原稿画像を原稿読取装置にて光学的に読取ることにより得た読取画像情報の特徴点(特徴量)を検出し、その特徴点より記憶装置から候補となる原稿候補画像情報を複数抽出し、その複数の原稿候補画像情報と読取画像情報とを用いて詳細なマッチング処理を行うという、段階的なマッチング処理を行うことにより、正確かつ高速に原稿画像と対応する原稿画像情報の特定を行う構成である。
以下に、本実施の形態にかかる画像検索装置2を備えた画像形成装置1について説明する。なお、以下の説明では、画像形成装置1が、画像読取部3を備える構成について説明するが、必ずしも必要ではなく、本実施の形態にかかる画像形成装置1としては、上記画像検索装置2と画像形成部8とを備える構成であればよい。
なお、以下の説明において、「原稿画像」とは、原稿画像情報が記録されたものであり、より具体的には、紙等の記録材に原稿画像情報が記録されたものである。そして、「読取画像情報」とは、上記原稿画像を画像読取装置で光学的に読取られて得られたものである。従って、上記原稿画像情報と読取画像情報とは、内容については同じであるが、読取画像情報は原稿画像を光学的に読み取ることにより得たものであるため、若干、情報が異なっている。また、「画像情報」とは、上記原稿画像情報、読取画像情報および後述する記憶部6に記憶されている記憶画像情報を含む、画像に関する情報または画像そのものある。
図1は、本実施の形態にかかる画像形成装置1の概略の構成を示すブロック図である。上記画像形成装置1は、画像読取部3、画像検索装置2、調停部7、画像形成部8、記憶部6、画像データ特徴点生成部5および通信部4を備えている。
上記画像読取部3は、上記画像形成装置1の原稿載置台(図示せず)に載置された原稿画像を、例えば、撮像素子等を用いて光学的に読取り、読取画像情報を得るものである。上記画像読取部3としては、例えば、スキャナ等が挙げられる。
上記通信部4は、上記画像形成装置1とネットワークを介して接続されている各種装置に対して種々の情報を送受信するものである。そして、上記通信部4を介して外部の装置から取得する情報としては例えば、画像情報がある。つまり、上記通信部4は、外部から画像情報を受信するものである。
画像データ特徴点生成部5は、上記通信部4にて受信した画像情報から特徴点を抽出するものである。なお、上記画像データ特徴点生成部5における特徴点の抽出方法については、後述する特徴点生成部10と同じであり、ここでは詳細な説明は省略する。
上記記憶部6は、少なくとも画像情報を記憶するものである(以下の説明では、記憶部6に刻されている画像情報を記憶画像情報として説明する)。そして、本実施の形態においては、上記記憶部6は、記憶画像情報と当該記憶画像情報の特徴点とを対応付けて記憶している。
上記画像形成部8は、画像読取部3によって得られた読取画像情報および後述する画像検索装置2にて決定された原稿画像情報を画像形成するものである。また、上記画像形成部8は、補正部16を備えている。上記補正部16は、画像形成する画像情報(原稿画像情報、読取画像情報)に対して、画像形成部8の特性に応じて補正を施すものである。つまり、上記画像形成部8では、読取画像情報および原稿画像情報に対して階調補正等の補正が行われた画像情報が出力される。なお、画像形成部8に送信される読取画像情報および原稿画像情報が、例えば、既に、画像形成部8の特性に応じた補正が施されている場合には、上記補正部16における補正は行われず、そのまま画像形成されることとなる。
上記画像検索装置2は、上記記憶部6に記憶されている記憶画像情報の中から、画像読取部3によって読取られた読取画像情報と同じ内容のものがあるか否かを判断し、或る場合には、記憶部6から上記読取画像情報と同じ原稿画像情報を取得するものである。なお、上記画像検索装置2の詳細については後述する。
上記調停部7は、画像検索装置2にて決定された原稿画像情報と読取画像情報とのいずれの画像形成を行うか調停するものである。具体的には、上記調停部7は、上記画像検索装置2にて上記読取画像情報と対応する原稿画像情報が決定された場合には、画像形成部8を動作させて当該原稿画像情報を画像形成させる。その一方で、上記調停部7は、上記画像検索装置2にて上記読取画像情報と対応する原稿画像情報が決定されない、つまり、上記読取画像情報と対応する原稿画像情報がない場合には、画像形成部8を動作させて当該読取画像情報を画像形成させる。
ここで、上記画像検索装置2の構成について説明する。
上記画像検索装置2は、特徴点生成部10、取得部11および決定部12を備えている。
上記特徴点生成部10は、画像読取部3にて得られた読取画像情報から当該読取画像情報の特徴点を抽出するものである。上記特徴点とは、上記読取画像情報を特定することができる情報である。上記特徴点としては、例えば、上記読取画像情報に含まれている画像の種類、上記画像の配置等の領域分離データが挙げられる。具体的には、上記特徴点生成部10は、上記読取画像情報が示す画像を例えば1つ1つが矩形の複数のブロック(領域)に分割したものと対応するように読取画像情報が分割された複数の情報を、例えば、文字領域、網点領域、写真領域の何れかの領域に該当するかを分類する。そして、特徴点生成部10は、上記分類された各領域の割合を特徴点とする。なお、上記特徴点はあくまで一例であり、読取画像情報を特定することができるものであれば、他のもの、例えば、読取画像情報が示す画像全体に対して、分類された各画像領域(例えば、文字領域、網点領域、写真領域)の配置状態等を特徴点とすることも可能である。このようにして、特徴点生成部10は、読取画像情報の特徴点を抽出する。なお、上記画像データ特徴点生成部5において、画像情報から特徴点を抽出方法についても、上記特徴点生成部10と同じである。
取得部11は、上記特徴点生成部10によって生成された読取画像情報の特徴点に基づいて、記憶部6に記憶されている記憶画像情報の中から、当該読取画像情報に類似した記憶画像情報(原稿候補画像情報)を取得するものである。つまり、上記取得部11は、複数の画像情報が記憶されている記憶部6から、上記読取画像情報の特徴点に基づいて、上記読取画像情報と対応する原稿画像情報を決定するための候補となる原稿候補画像情報を取得するものである。具体的には、上記取得部11は、読取画像情報の特徴点と、記憶部6に記憶されている記憶画像情報の特徴点とを比較し、その差が所定の閾値よりも小さいものを原稿候補画像情報として取得する。
そして、上記取得部11は、特徴点比較部13を備えている。上記特徴点比較部13は、読取画像情報の特徴点と記憶画像情報の特徴点とを比較するものである。具体的には、例えば、特徴点が、画像情報(読取画像情報および記憶画像情報)に含まれる特定の画像領域(例えば、文字領域、網点領域、写真領域)の割合である場合には、上記特徴点比較部13は、読取画像情報と記憶画像情報との特定の画像領域の割合を互いに比較し、両者の差を求める。そして、上記特徴点比較部13は、記憶部6に記憶されている全ての記憶画像情報に対して、上記操作を繰り返す。そして、上記取得部11は、上記特徴点比較部13による比較結果に基づいて、上記差が所定の閾値よりも小さい記憶画像情報に関する原稿候補画像情報一覧を取得する。つまり、上記取得部11は、複数の記憶画像情報の中から、上記読取画像情報と対応している可能性の高い原稿候補画像情報が記録されている原稿候補画像情報一覧を作成する。そして、上記取得部11は、作成した原稿候補画像情報一覧を決定部12に送信する。なお、ここでは、上記取得部11は、原稿候補画像情報一覧を取得しているが、原稿候補画像情報そのものを取得してもよい。
上記決定部12は、上記取得部11から取得した原稿候補画像情報一覧に基づいて、記憶部6に記憶されている記憶画像情報から、当該原稿候補画像情報を取得し、当該原稿候補画像情報と読取画像情報とを画素単位で比較するものである。上記決定部12は、比較部14を備えている。そして、上記決定部12は、上記原稿候補画像情報と読取画像情報とを画素単位で比較するものである。さらに、上記決定部12は、原稿候補画像情報と読取画像情報とを画素単位で比較し、画素単位で比較した比較結果を求める。
そして、上記決定部12は、上記比較結果に基づいて、(1)原稿候補画像情報と上記読取画像情報との差が所定の閾値より小さいか否かを判断し、(2)当該差が所定の閾値よりも小さい原稿候補画像情報が複数存在する場合には、その中で最も差が小さいものを原稿画像情報に決定する。このようにして、画像検索装置2は、画像読取部3で読取られた読取画像情報と対応する画像情報を記憶部6から検索する。
ここで、図1を参照して、本実施の形態における各機能ブロック間でやり取りされる情報について説明する。
上記画像読取部3にて作成された読取画像情報は、特徴点生成部10と調停部7とに送信される。そして、上記特徴点生成部10は、画像読取部3から受信した読取画像情報に基づいて上記特徴点を生成する。そして、上記特徴点生成部10は、上記特徴点を取得部11へ、読取画像情報と特徴点とを記憶部6へ、読取画像情報を決定部12へそれぞれ送信する。なお、上記特徴点生成部10は、読取画像情報と特徴点とを記憶部6へ送信するタイミングとしては、当該読取画像情報の画像形成が終了した時点である。つまり、上記取得部11は、特徴点生成部10が今回作成した読取画像情報およびその特徴点を選択しないようになっている。
次に、上記取得部11は、特徴点生成部10から受信した特徴点と記憶部6に記憶されている画像情報の特徴点とを比較して、原稿候補画像情報一覧を作成して、決定部12へ当該原稿候補画像情報一覧を送信する。
上記決定部12は、上記取得部11から取得した原稿候補画像情報一覧に基づいて、記憶部6に記憶されている画像情報を原稿候補画像情報として取得する。そして、比較部14は、当該原稿候補画像情報と特徴点生成部10から受信した読取画像情報とを画素単位で比較する。そして、上記決定部12は、上記比較部14における比較結果より、原稿候補画像情報の中から、読取画像情報と対応するものが存在するか否かを決定し、存在する場合には、読取画像情報と対応する原稿候補画像情報を原稿画像情報として調停部7に送信する。
上記調停部7では、画像検索装置2から上記読取画像情報と対応する原稿画像情報を受信した場合には、当該原稿画像情報を画像形成部8に送信する一方、上記画像検索装置2から上記読取画像情報と対応する原稿画像情報が送信されてこなかった場合には、画像読取装部から受信した読取画像情報を画像形成部8に送信する。なお、調停部7は、画像検索装置2から、読取画像情報と対応する原稿画像情報が送信されたか否かを判断する方法としては、例えば、画像読取部3から読取画像情報を受信した時点から、画像検索装置2から所定時間内に原稿画像情報が送信されてきたか否かによって判断してもよく、また、例えば、読取画像情報と対応する原稿画像情報がない場合には、画像検索装置2から調停部7に対して、該当する画像情報がない旨の情報を送信するようにしてもよい。
図2は、上記画像形成装置1における画像形成にかかる処理を説明するフローチャートである。以下に、図2を参照して、本実施の形態における画像形成処理について説明する。
まず、操作者によって、原稿画像が、画像形成装置1の原稿載置台に載置された後、画像形成命令が出されると、画像読取部3は、原稿画像を光学的に読取画像情報を作成する(S10)。次に、画像読取装置は、作成した読取画像情報を特徴点生成部10に送信する。そして、特徴点生成部10は、上記読取画像情報の特徴点を生成する特徴点生成処理を行う(S11)。そして、特徴点生成部10は、生成した特徴点を取得部11に送信する。その後、取得部11は、特徴点比較部13を動作させて、取得した特徴点と記憶部6に記憶されている画像情報の特徴点とを比較する特徴点比較処理を行う(S12)。そして、この特徴点比較部13における比較の結果、上記読取画像情報と類似している原稿候補画像情報に関する情報である原稿候補画像情報一覧が生成される。そして、上記原稿候補画像情報一覧が、取得部11から決定部12に送信される。次に、原稿候補画像情報一覧を受信した決定部12は、記憶部6から原稿候補画像情報一覧に基づいて、原稿候補画像情報である画像情報を取得する。そして、上記決定部12は、比較部14を動作させて、読取画像情報と原稿候補画像情報とを比較し、その結果より原稿画像情報を決定する原稿画像情報決定処理を行う(S13)。
次に、調停部7は、画像検索装置2から原稿画像情報を受信したか否かを判断する(S14)。換言すると、上記調停部7は、上記読取画像情報と対応する原稿画像情報があるか否かを判断する。そして、上記ステップS14にて、読取画像情報と対応する原稿画像情報があると判断すると、調停部7は、当該原稿画像情報を画像形成部8に送信し、当該画像形成部8に画像形成を行わせる(S15)。一方、上記ステップS14にて、読取画像情報と対応する原稿画像情報がないと判断すると、調停部7は、当該読取画像情報を画像形成部8に送信し、当該画像形成部8に画像形成を行わせる(S16)。このようにして、画像形成装置1は、画像形成を行う。次に、上記各処理について説明する。
図3は、特徴点生成処理を説明するフローチャートである。以下に、特徴点生成部10における特徴点を生成する方法について説明する。
まず、画像読取部3は、原稿画像を光学的に読取って読取画像情報を作成する(S21)。そして、特徴点生成部10は、上記読取画像情報を取得する。
次に、上記特徴点生成部10は、取得した読取画像情報(ここでは、600dpiの解像度のものとする)を、まず、8×8ドットの矩形に区分けする。そして、上記特徴点生成部10は、区分けされた各領域を、テキストエリア(文字領域)、背景エリア(背景領域)、その他エリア(網点・写真領域)に分類する。このとき、各エリアマップは1bit、75dpiとなる。このようにして、特徴点生成部10は、読取画像情報からエリアマップ(領域分離データ)を作成する(S22)。
次に、特徴点生成部10は、作成したエリアマップを用いて、分類された各エリアの面積を算出し、エリア面積情報を作成する(S23)。このとき、作成された各エリア面積情報は、それぞれ21bitとなる。
そして、特徴点生成部10は、作成したエリア面積情報に基づいて特徴点を算出する(S24)。具体的には、例えば、特徴点生成部10は、各エリア面積情報の相対比を特徴点とする。なお、例えば、読取画像情報が示す画像全体に対する各エリア面積(またはいずれかエリアのエリア面積)の割合を特徴点としてもよい。このとき、特徴点は63bitである。このようにして、特徴点生成部10は、特徴点を生成する。
図4は、特徴点比較処理を説明するフローチャートである。以下に、取得部11が原稿候補画像一覧を作成する方法について説明する。
上記取得部11は、特徴点生成部10にて生成された読取画像情報の特徴点(以下、読取画像特徴点と称する)を取得する(S31)。また、上記取得部11は、記憶部6に記憶されている画像情報の特徴点(以下、記憶画像特徴点と称する)も取得する。
次に、特徴点比較部13は、読取画像特徴点と記憶画像特徴点とのうち、それぞれから0〜20bitを取り出して、両者を比較する(S32)。具体的には、特徴点比較部13は、読取画像特徴点と記憶画像特徴点とを21bitのデータとして、同じであるか否かを判断する。
そして、特徴点比較部13は、読取画像特徴点と記憶画像特徴点とを0〜20bit間で比較した結果、その差が所定の閾値よりも小さいか否かを判断する(S33)。
次に、上記ステップS33にて、上記差が所定の閾値よりも小さいと判断された場合、上記特徴点比較部13は、読取画像特徴点と記憶画像特徴点とのうち、それぞれから21〜41bitを取り出して、両者を比較する(S34)。
そして、特徴点比較部13は、読取画像特徴点と記憶画像特徴点とを21〜41bit間で比較した結果、その差が所定の閾値よりも小さいか否かを判断する(S35)。
次に、上記ステップS35にて、上記差が所定の閾値よりも小さいと判断された場合、上記特徴点比較部13は、読取画像特徴点と記憶画像特徴点とのうち、それぞれから42〜62bitを取り出して、両者を比較する(S36)。
そして、特徴点比較部13は、読取画像特徴点と記憶画像特徴点とを42〜62bit間で比較した結果、その差が所定の閾値よりも小さいか否かを判断する(S37)。
そして、上記ステップS37にて、上記差が所定の閾値よりも小さいと判断された場合には、原稿候補画像情報一覧に、上記比較した画像情報を原稿候補画像情報として追加する(S38)。つまり、上記特徴点比較部13による比較によって読取画像特徴点と記憶画像特徴点との差が所定の閾値よりも小さい場合には、当該画像情報を原稿候補画像情報として、原稿候補画像情報一覧に追加する。
次に、上記取得部11は、記憶部6に記憶されている画像情報の特徴点のうち、未だ読取画像特徴点と比較していない記憶画像特徴点(または、対応する画像情報)があるか否かを判断する(S39)。つまり、上記取得部11は、未だ比較していない画像情報の特徴点があるか否かを判断する。そして、上記ステップS39にて、もう比較する画像情報の特徴点(記憶画像特徴点)がないと判断すると、上記特徴点比較処理を終了する。一方、まだ、比較する画像情報の特徴点(記憶画像特徴点)があると判断すると、処理は上記ステップS31に戻る。
また、上記ステップS33、S35、S37にて、上記差が所定の閾値よりも大きいと判断された場合には、特徴点比較部13は比較している記憶画像特徴点と対応している画像情報処理は読取画像情報とは異なると判断する。そして、処理は上記ステップS39に進む。
図5は、原稿画像情報決定処理を説明するフローチャートである。以下に、上記決定部12によって、原稿候補画像情報一覧に記憶されている情報と読取画像情報とから、当該読取画像情報と対応する原稿画像情報を決定する処理について説明する。
まず、上記決定部12は、上記取得部11によって作成された原稿候補画像情報一覧を取得する。また、上記決定部12は、画像読取部3から読取画像情報を取得する。
そして、上記決定部12は、原稿候補画像情報一覧を参照して、当該原稿候補画像情報一覧に原稿候補画像情報が記録されているか否かを判断する(S41)。
そして、上記ステップS41にて、原稿候補画像情報が記録されていると判断した場合には、上記決定部12は、記憶部6から当該原稿候補画像情報一覧に記録されている原稿候補画像情報(画像情報)を取得する(S42)。
次に、比較部14は、上記読取画像情報と原稿候補画像情報とを画素単位で比較する(S43)。そして、上記比較部14は、上記画素単位で両者を比較し、当該両者の差を求める。
次に、上記比較部14は、上記ステップS43による比較の結果、上記差が所定の閾値よりも小さいか否かを判断する(S44)。
そして、上記差が所定の閾値よりも小さいと判断した場合には、上記比較部14は、上記比較部14した原稿候補画像情報と上記ステップS43にて求めた差の情報(差異情報とする)とを原稿画像情報一覧に追加する(S45)。
その後、上記決定部12は、原稿候補画像情報一覧に記載されている原稿候補画像情報のうち、未だ読取画像情報と比較していない原稿候補画像情報があるか否かを判断する(S46)。そして、上記ステップS46にて、原稿候補画像情報一覧中に読取画像情報と比較していない原稿候補画像情報がないと判断した場合、上記決定部12は、原稿画像情報一覧に原稿候補画像情報が存在するか否かを判断する(S47)。
そして、上記ステップS47にて、原稿画像情報一覧に原稿候補画像情報が存在すると判断した場合、上記決定部12は、原稿画像情報一覧に記載されている差異情報を参照して、読取画像情報との差が最も小さい原稿候補画像情報を原稿画像情報に決定する(S48)。このようにして、原稿候補画像情報一覧の中から、読取画像情報と対応する原稿画像情報を決定する。そして、上記決定部12は、決定した原稿画像情報を調停部7に送信する。
なお、上記ステップS46にて、原稿候補画像情報一覧に記録されている原稿候補画像情報のうち、未だ読取画像情報と比較していない原稿候補画像情報があると判断した場合には、処理は、ステップS42に戻る。
また、上記ステップ41にて、原稿候補画像情報一覧に原稿候補画像情報が存在しないと判断した場合、および、上記ステップS47にて、原稿画像情報一覧に原稿候補画像情報が存在しないと判断した場合には、上記決定部12は、読取画像情報と対応する原稿画像情報なしと判断し、該当する画像情報がない旨の情報を上記調停部7に送信する。
以上のように、本発明に係る画像検索装置2は、原稿画像情報に基づいて記録材に画像形成された原稿画像を光学的に読取る画像読取部3にて得られた読取画像情報を受信するとともに、当該読取画像情報を特定するための特徴点を抽出する特徴点生成部10と、複数の画像情報が記憶されている記憶部6から、上記特徴点に基づいて、上記読取画像情報と対応する原稿画像情報を決定するための候補となる原稿候補画像情報を取得する取得部11と、上記原稿候補画像情報と上記読取画像情報とを、画素単位で比較する特徴点比較部13と、上記特徴点比較部13の比較結果に基づいて、上記読取画像情報と対応する原稿画像情報を決定する決定部12とを備えている構成である。
上記の構成によれば、まず、記憶部6に記憶されている複数の画像情報から、読取画像情報の特徴点に基づいて原稿候補画像情報を取得し、その後、原稿候補画像情報と上記読取画像情報とを画素単位で比較して、原稿画像を作成する元となった原稿画像情報を決定している。
これにより、原稿候補画像情報と読取画像情報とを画素単位で比較しているので、例えば、従来のように読取画像情報の特徴点のみによって原稿画像情報を決定する構成と比べて、より正確に原稿画像情報を決定することができる。また、上記の構成とすることにより、例えば、記憶部6に記憶されている複数の画像情報全部と上記読取画像情報とを画素単位で比較する構成と比べて、迅速に原稿画像情報を決定することができる。
従って、上記の構成とすることにより、従来と比べて迅速かつ正確に、原稿画像を作成する元となった原稿画像情報を決定することができる。
なお、上記読取画像情報は、例えば、画像読取部3から送信されたものを取得しても良く、また、画像読取部3にて読取られたものをサーバ等の外部装置を介して取得してもよい。
また、本発明にかかる画像検索装置2は、上記決定部12が、上記特徴点比較部13の比較結果に基づいて、上記読取画像情報との差が所定の閾値よりも小さい上記原稿候補画像情報の中で、最も差が小さい原稿候補画像情報を上記原稿画像情報とする構成がより好ましい。
上記の構成によれば、特徴点比較部13で原稿候補画像情報と読取画像情報とを比較した結果、両者の差が所定の閾値よりも小さく、かつ、最も小さい原稿候補画像情報を原稿画像情報としている。そして、つまり、両者の差が所定の閾値以上である場合には、原稿画像情報とみなさない。そして、両者の差が所定の閾値よりも小さい原稿候補画像情報がある場合には、その中で最も差が小さい原稿候補画像情報を原稿画像としているので、読取画像情報と対応していない原稿画像情報を選択することをより少なくすることができる。
また、本発明にかかる画像検索装置2は、上記特徴点生成部10が、読取画像情報を複数の領域に分割するとともに、当該分割領域の画像種別を判断する画像種別判定手段を備え、
上記取得部11は、読取画像情報全体に対する上記判断された画像種別の割合、および/または、読取画像情報における各画像種別の配置を上記特徴点として、上記原稿候補画像を取得する構成がより好ましい。
「読取画像情報を複数の領域に分割する」とは、読取画像情報が示す画像を複数の領域に分割したものと対応するように読取画像情報を複数に分割することを示している。
上記の構成によれば、読取画像情報を複数の領域に分割して、その分割領域の画像種別に基づいて原稿候補画像情報を取得している。上記「読取画像情報を複数の領域に分割する」とは、例えば、複数の画素で読取られた領域を1つのまとまりとして1つの領域を形成することであり、具体的には、8×8ドットの矩形を1つの領域として、当該領域の画像種別を判断している。





そして、上記取得部11は、上記読取画像情報全体に対する画像種別の割合、および/または、読取画像情報における各画像種別の配置に基づいて原稿候補画像を取得する。これにより、画素単位で比較する前に、記憶部6に記憶されている画像情報を簡単に篩い分けできるので、記憶部6に記憶されている画像情報全部を画素単位で比較する必要がない。従って、より高速に原稿画像情報を決定することができる。
また、本発明にかかる画像検索装置2は、上記特徴点生成部10が、読取画像情報を複数の領域に分割するとともに、当該分割領域を文字領域、網点・写真領域、背景領域の何れかの領域に分離する領域分離処理部34を備え、上記取得部11は、分離された各領域の割合を上記特徴点として上記原稿候補画像情報を取得する構成がより好ましい。
「読取画像情報を複数の領域に分割する」とは、読取画像情報が示す画像を複数の領域に分割したものと対応するように読取画像情報を複数に分割することを示している。
上記の構成によれば、複数の領域に分割した後、これらの領域が文字領域、網点領域、写真領域の何れかの領域に相当するか分離し、この分離された各領域の割合に基づいて、原稿候補画像を取得している。これにより、簡単な処理で、記憶部6に記憶されている画像情報を篩い分けできるので、読取画像情報と対応する原稿画像情報を決定するまでの時間をより短くすることができる。
また、本発明にかかる画像検索装置2は、上記特徴点生成部10が、読取画像情報を複数の領域に分割するとともに、当該分割領域を文字領域、網点・写真領域、背景領域の何れかの領域に分離する領域分離処理部34を備え、上記取得部11は、読取画像情報全体に対する分離された各領域のいずれかの割合を上記特徴点として上記原稿候補画像情報を取得するとともに、各領域の上記割合に応じて、使用する領域を異ならせる構成がより好ましい。
上記の構成によれば、複数の領域に分割した後、これらの領域が文字領域、網点・写真領域、背景領域の何れかの領域に相当するか分離し、読取画像情報全体に対する分離された各領域のいずれかの割合に基づいて、原稿候補画像を取得している。これにより、簡単な処理で、記憶部6に記憶されている画像情報を篩い分けできるので、読取画像情報と対応する原稿画像情報を決定するまでの時間をより短くすることができる。また、上記分離された領域の割合に応じて原稿候補画像情報を取得するための用いる領域を異ならせている。具体的には、原稿候補画像情報を取得するために用いる領域の全体に対する割合がかなり小さい場合、誤差を多く含むことになり、適切な原稿候補画像情報を取得できない場合があるため、全体に対する割合が大きい領域を用いることで、誤差を少なくすることができる。つまり、各領域の割合に応じて使用する領域を異ならせることにより、より適切な原稿候補画像情報を取得することができる。
また、本発明にかかる画像検索装置2は、上記記憶部6には、ユーザ情報と画像情報とが対応付けられて記憶されており、ユーザ情報を入力する入力手段を備え、入力されたユーザ情報に基づいて、上記取得部11が取得可能な原稿候補画像情報を制限する制限部20を備える構成がより好ましい。
上記の構成によれば、画像情報とユーザ情報とが対応付けられており、画像検索装置2に入力されたユーザ情報に基づいて、取得可能な原稿候補画像情報を制限している。これにより、例えば、特定のユーザのみにしか原稿画像情報を提供したくない場合等のような、ユーザによる制限を行うことができる。
また、本発明にかかる画像検索装置2は、上記記憶部6には、ユーザ情報と画像情報とが対応付けられて記憶されており、特徴点生成部10は、画像読取部3から、読取画像情報と当該読取画像情報と対応付けられたユーザ情報を取得するものであり、入力されたユーザ情報に基づいて、上記取得部11が取得可能な原稿候補画像情報を制限する制限部20を備える構成がより好ましい。
上記の構成によれば、画像情報とユーザ情報とが対応付けられており、読取画像情報と対応付けられているユーザ情報に基づいて、取得可能な原稿候補画像情報を制限している。これにより、例えば、特定のユーザのみにしか原稿画像情報を提供したくない場合等のような、ユーザによる制限を行うことができる。
また、本発明にかかる画像検索装置2は、上記記憶部6には、ユーザ情報と画像情報とが対応付けられて記憶されており、特徴点生成部10は、画像読取部3から、読取画像情報と当該読取画像情報と対応付けられたユーザ情報を取得するものであり、上記取得部11は、読取画像情報と対応付けられたユーザ情報に基づいて、上記原稿候補画像情報を取得するものである構成がより好ましい。
上記の構成によれば、画像読取部3から受信するユーザ情報と、記憶部6に記憶されたユーザ情報とを用いて原稿候補画像情報を取得している。具体的には、上記取得部11は、読取画像情報と対応付けられたユーザ情報と同じユーザ情報をもつ原稿候補画像情報を上記記憶部6から取得する。そして、決定部12は、取得された原稿候補画像情報から原稿画像情報を決定する。これにより、より効率よく原稿画像情報を取得することができる。
また、本発明にかかる画像検索装置2は、上記原稿画像を光学的に読取り、読取画像情報を得る画像読取部3を備え、特徴点生成部10は、上記読取画像情報と上記特徴点とを対応付けて、上記記憶部6に記憶させるものである構成がより好ましい。
上記の構成によれば、読取画像情報を取得する際に、上記画像読取部3にて読みとられた読取画像情報と上記特徴点とを対応付けて記憶部6に記憶させている。これにより、画像読取手段が原稿画像を読取った読取画像情報を記憶部6に記憶させるので、自動的に記憶部6に読取画像情報と特徴点とが対応付けられたものを増やすことができる。
また、本発明にかかる画像検索装置2は、上記記憶部6に記憶されている複数の画像情報のそれぞれから上記特徴点を抽出する画像データ特徴点生成部5を備える構成がより好ましい。
上記の構成によれば、記憶部6に記憶されている画像情報から特徴点を抽出することができるので、上記取得部11は、両者(読取画像情報と画像情報)の特徴点を比較することで、原稿候補画像情報を取得することができる。また、例えば、外部から画像情報のみが送信されてきた場合でも、当該画像情報特徴点を作成することができる。
本発明にかかる画像形成装置1は、上記画像検索装置2と、上記読取画像情報または上記画像検索装置2によって決定された原稿画像情報を画像形成する画像形成部8とを備える構成である。
上記の構成によれば、上記画像検索装置2と当該画像検索装置2によって決定された原稿画像情報を画像形成することができるので、原稿画像情報がある場合には、当該原稿画像情報に基づいて画像形成を行うことができる。
また、本発明にかかる画像形成装置1は、上記読取画像情報を画像形成する際に、当該読取画像情報に対して補正を施す補正部16を備え、上記補正手段が読取画像情報に対して補正を施すための補正情報と、上記領域分離処理部34にて分離された領域に関する情報とは同じものである構成がより好ましい。
上記の構成によれば、画像形成する際に読取画像情報に対して補正を施すときに、領域分離処理手段にて分離された領域に関する情報を用いて補正を施している。換言すると、上記の構成とすることにより、補正手段にて補正を行う際に用いる情報と、領域分離処理手段にて分離された領域に関する情報とを同じものとすることができる。従って、新たに、領域分離処理手段を設けなくても補正手段によって使用される情報を使用することができるので、新たな構成を追加することなく原稿候補画像情報を取得することができる。
また、本発明にかかる画像検索方法は、原稿画像情報に基づいて記録材に画像形成された原稿画像を光学的に読取る画像読取部3にて得られた読取画像情報から、当該読取画像情報を特定するための特徴点を抽出する特徴点生成工程と、複数の画像情報が記憶されている記憶部6から、上記特徴点に基づいて、上記読取画像情報と対応する原稿画像情報を決定するための候補となる原稿候補画像情報を取得する取得工程と、上記原稿候補画像情報と上記読取画像情報とを、画素単位で比較する比較工程と、上記比較工程における比較結果に基づいて、上記読取画像情報と対応する原稿画像情報を決定する決定工程とを備えている構成である。
上記の構成によれば、まず、記憶部6に記憶されている複数の画像情報から、読取画像情報の特徴点に基づいて原稿候補画像情報を取得し、その後、原稿候補画像情報と上記読取画像情報とを画素単位で比較して、原稿画像を作成する元となった原稿画像情報を決定している。
従って、上記の構成とすることにより、従来と比べて、迅速かつ正確に、原稿画像を作成する元となった原稿画像情報を決定することができる。
なお、上記の説明では、画像形成装置1が、記憶部6を備えている例について説明している。しかしながら、例えば、記憶部6は、別の装置上に存在してもよい。具体的には、上記画像形成装置1がネットワークに接続されている場合には、例えば、サーバ上に上記記憶部6を設け、複数の画像形成装置1から上記記憶部6に対してアクセス可能としてもよい。
また、上記の説明では、画像読取部3によって読取画像情報を取得しているが、例えば、外部から送信されてくる読取画像情報を取得しても良い。
また、上記の説明では、画像データ特徴点生成部5が、通信部4を介して受信した画像情報から特徴点を抽出している。しかし、上記画像データ特徴点生成部5における特徴点の抽出方法と特徴点生成部10における特徴点抽出方法は同じであるため、例えば、通信部4を介して受信した画像情報を特徴点生成部10にて特徴点を抽出してもよい。そして、この場合でも、記憶部6に画像情報と当該画像情報と対応した特徴点とが記憶される。
また、上記の構成によれば、記憶部6には、画像情報と当該画像情報と対応付けられた特徴点との組み合わせが記憶されている。しかしながら、記憶部6に画像情報のみを記憶させておき、例えば、画像検索装置2の取得部11にて読取画像情報の特徴点と画像情報の特徴点とを比較する際、記憶部6に記憶させている画像情報から特徴点を随時抽出する構成とする場合には、必ずしも記憶部6に特徴点を記憶させておく必要はない。なお、画像検索装置2の検索速度を高速にする場合には、記憶部6に画像情報と当該画像情報と対応付けられた特徴点との組み合わせを記憶させておくことが好ましいことはいうまでもない。従って、上記取得部11による読取画像情報の特徴点と画像情報の特徴点とを比較する前に、予め記憶部6に記憶されている画像情報の特徴点を抽出していることがより好ましい。
また、上記の説明では、調停部7が、画像読取部3にて読取られた読取画像情報と原稿画像情報とのいずれかを画像形成部8に画像形成させる構成について説明しているが、以下に説明する構成とした場合には調停部7を設けなくてもよい。すなわち、上記決定部12から、読取画像情報と原稿画像情報とのいずれかを画像形成部8に送信するようにすればよい。これについて以下に説明する。
上記説明では画像読取部3によって作成された読取画像情報が調停部7に送信されているが、画像読取部3は、上記読取画像情報を特徴点生成部10のみ送信する。そして、上記決定部12において、原稿画像情報を決定する際に、上記決定部12が、上記読取画像情報と対応する原稿画像情報がないと判断した場合には、読取画像情報そのものを画像形成部8に送信する。これにより、決定部12は、読取画像情報と対応する原稿画像情報を決定した場合には原稿画像情報を出力する一方、読取画像情報と対応する原稿画像情報がないと判断した場合には読取画像情報を出力することで、調停部7をなくすことができる。
本実施の形態にかかる画像形成システムは、画像読取装置と画像検索装置2と画像形成装置1とを備える構成である。
また、本実施の形態にかかる画像形成装置1では、画像形成部8の補正部16にて読取画像情報を階調補正する際に領域分離する処理と特徴点生成部10にて特徴点を生成する際に領域分離する処理とを同じものを用いてもよい。具体的には、特徴点生成部10と補正部16とが同じものであってもよい。これについて以下に説明する。まず、補正部16について説明する。
図6は、上記補正部16の構成を示すブロック図である。図6に示すように、補正部16は、A/D変換部30、シェーディング補正部31、原稿種別自動判別部32、入力階調補正部33、領域分離処理部34、色補正部35、拡大・縮小処理部36、黒生成下色除去部37、空間フィルタ処理部38、出力階調補正部39、及び階調再現処理部40とから構成されている。そして、調停部7から読取画像情報が上記補正部16に入力され、当該補正部16により階調補正等の補正が行われた後出力部にて画像形成が行われる。
上記調停部7を介して画像読取部3から入力されたアナログ信号は、補正部16内を、A/D変換部30、シェーディング補正部31、入力階調補正部33、領域分離処理部34、色補正部35、黒生成下色除去部37、空間フィルタ処理部38、拡大・縮小処理部36、出力階調補正部39、及び階調再現処理部40の順で送られ、CMYKのデジタルカラー信号として、画像形成部8が備える出力部へ出力される。
A/D(アナログ/デジタル)変換部30は、RGBのアナログ信号をデジタル信号に変換するもので、シェーディング補正部31は、A/D変換部30より送られてきたデジタルのRGB信号に対して、画像読取部3の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。
原稿種別自動判別部32では、シェーディング補正部31にて各種の歪みが取り除かれたRGB信号(RGBの反射率信号)に対して、濃度信号など補正部16に採用されている画像処理システムの扱い易い信号に変換すると共に、入力された原稿画像が、文字原稿であるか、写真原稿(印刷写真・印画紙写真)であるか、あるいはそれらを組み合わせた文字/写真原稿であるか自動で判別が行われる。
入力階調補正部33は、カラーバランスを整えると同時に、上記原稿種別自動判別部32の判定結果を基に下地濃度の除去やコントラストなどの画質調整処理を施すものである。
領域分離処理部34は、RGB信号より、入力画像中の各画素を文字領域、網点領域、写真領域、背景領域の何れかに分離するものである。領域分離処理部34は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、黒生成下色除去部37、空間フィルタ処理部38、及び階調再現処理部40へと出力すると共に、入力階調補正部33より出力された入力信号をそのまま後段の色補正部35に出力する。
色補正部35は、色再現の忠実化実現のために、不要吸収成分を含むCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行うものである。
黒生成下色除去部37は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行うものであって、CMYの3色信号はCMYKの4色信号に変換される。
黒生成処理の一例として、スケルトンブラックによる黒生成を行なう方法(一般的方法)がある。
拡大・縮小処理部36は、画像形成を行う倍率に応じて色補正部35より出力される画像データの変倍処理を行うものである。拡大処理は、倍率に応じて所定の画素を挿入する。また、縮小処理は、倍率に応じて所定の画素を間引くことにより実現される。
空間フィルタ処理部38は、黒生成下色除去部37より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒状性劣化を防ぐように処理するものであって、階調再現処理部40も、空間フィルタ処理部38と同様に、CMYK信号の画像データに対して、領域識別信号を基に所定の処理を施すものである。
例えば、領域分離処理部34にて文字に分離された領域は、特に黒文字或いは色文字の再現性を高めるために、空間フィルタ処理部38による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部40においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
また、領域分離処理部34にて網点に分離された領域に関しては、空間フィルタ処理部38において、入力網点成分を除去するためのローパス・フィルタ処理が施される。
そして、出力階調補正部39では、濃度信号などの信号を出力部の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部40で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)が施される。領域分離処理部34にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
そして、上記階調再現処理部40にて生成されたCMYK信号は出力部に送られ、画像形成が行われる。
このような構成において、本実施の形態では、上記特徴点生成部10は、上記補正部16のA/D変換部30、シェーディング補正部31、入力階調補正部33、領域分離処理部34に相当する。つまり、上記A/D変換部30、シェーディング補正部31、入力階調補正部33、領域分離処理部34を上記特徴点生成部10と補正部16とで共有している。換言すると、本実施の形態では、補正部16が読取画像情報に対して補正を施すための補正情報と、上記特徴点生成部10にて作成した特徴点(領域分離処理手段にて分離された領域に関する情報)とを同じものとしている。
また、本実施の形態にかかる画像形成装置1は、画像入力装置(画像読取部3)より読み込まれた画像データのオリジナル原稿を画像データ格納装置(記憶部6)から読み出し、印字する画像形成装置1において、画像データ格納装置内のオリジナル原稿候補画像を抽出するために使用される特徴量を生成する特徴量生成部と、生成された特徴量からオリジナル原稿候補画像を抽出する候補画像検索処理部(取得部11)と、画像データを用いてオリジナル原稿候補画像からオリジナル原稿を特定する画像マッチング処理部(決定部12)と、オリジナル原稿を印字する印字処理部(画像形成部8)を備えている構成であってもよい。つまり上記画像形成装置1は、特徴量でオリジナル原稿候補画像を抽出し、抽出されたオリジナル原稿候補画像に対して、マッチング処理を行い、オリジナル原稿を特定するという段階的な画像検索方法を行う。これにより、特徴量でオリジナル原稿候補画像を抽出し、抽出された候補画像に対してのみ、詳細なマッチング処理を行うことによって、高速かつ正確なオリジナル原稿の特定が可能になる。
また、本実施の形態にかかる画像形成装置1は、上記画像形成装置1において、特徴点生成部10は、特徴量生成に使用したエリアマップのような、オリジナル原稿よりも情報量が少ないデータをマッチング画像とするマッチング画像生成処理部を有し、そのマッチング画像を用いてマッチング処理を行う構成であってもよい。これにより、ある程度の画像情報を持ったデータでマッチング処理を行うことによって、オリジナル原稿を絞り込むことができ、オリジナル原稿のみを使用するよりも高速にマッチング処理を行うことが可能になる。
また、本実施の形態にかかる画像形成装置1は、上記画像形成装置1において、マッチング処理に使用されるエリアマップは、後段の印字処理部での画像処理において使用されるデータである構成であってもよい。これにより、マッチング処理に使用されるマッチング画像として、後段の印字処理部でも使用可能なエリアマップを使用するので、画像データ格納装置内に、マッチング画像用のエリアを別に用意する必要がない。
また、本実施の形態にかかる画像形成装置1は、入力原稿とのマッチング差異が所定閾値よりも小さい原稿をオリジナル原稿として選択する構成であってもよい。これにより、オリジナル原稿として選択される画像は、必ず入力原稿とのマッチング差異が所定閾値以下であるため、誤った原稿をオリジナル原稿とする確率を小さくすることが可能になる。
また、本実施の形態にかかる画像形成装置1は、エリアマップの面積を特徴量として使用する構成であってもよい。これにより、簡単な処理で、入力原稿を分別する特徴量を生成することが可能になる。
また、本実施の形態にかかる画像形成装置1は、マッチング画像としてマッチング処理に使用されるエリアマップを、面積によって切り替える構成であってもよい。これにより、面積によって使用するエリアマップを切り替えることによって、よりマッチング処理を行いやすいデータを使用することが可能になる。
また、本実施の形態にかかる画像形成装置1は、通常印字処理時にも特徴量及び、マッチング画像を生成し、画像データと共に画像データ格納装置に保存する構成であってもよい。これにより、マッチングに使用される情報は、通常印字時に自動的に作成されるため、ユーザが特別な設定を行う必要がない。
また、本実施の形態にかかる画像形成装置1は、上記画像形成装置1において、ユーザ制限情報(ユーザ情報)も記憶部6に保存することによって、検索印字時に、印字可能なオリジナル原稿を制限する構成であってもよい。これにより、画像データ格納装置内のオリジナル原稿の検索印字において、セキュリティ性の高い画像印字装置を実現可能になる。
また、本実施の形態にかかる画像形成装置1は、ユーザ制限情報をオリジナル候補画像の抽出に使用する構成であってもよい。これにより、ユーザ制限情報により、より効率的な検索が実現可能になる。
また、本実施の形態にかかる画像形成装置1は、上記記憶部6には、ユーザ情報と画像情報とが対応付けられて記憶されており、ユーザ情報を入力するユーザ情報入力部を備え、上記取得部11は、入力されたユーザ情報に基づいて、上記原稿候補画像情報を取得する構成であってもよい。上記の構成によれば、画像読取部3から受信するユーザ情報と、入力されたユーザ情報とを用いて原稿候補画像情報を取得している。これにより、より効率よく、原稿画像情報を取得することができる。
最後に、画像形成装置1、および画像検索装置2の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像形成装置1、および画像検索装置2は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像形成装置1、および画像検索装置2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記画像形成装置1、および画像検索装置2に供給し、そのコンピュータ(またはCPU52やMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、画像形成装置1、および画像検索装置2を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も包含する。さらに、一つの手段の機能が、二つ以上の物理的手段により実現されても、もしくは、二つ以上の手段の機能が、一つの物理的手段により実現されてもよい。
〔実施の形態2〕
本発明の他の実施の形態について説明すれば、以下の通りである。なお、説明の便宜上、前記実施の形態1にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、その説明を省略する。
本実施の形態では、読取画像情報と対応する原稿画像情報を決定するために、まず、上記特徴点を用いて候補となる画像情報を絞った後、さらにマッチング画像情報を用いて候補となる画像情報を絞り、最後に読取画像情報と画素単位で比較することにより、原稿画像情報を決定する構成について説明する。つまり、本実施の形態では、3段階の工程により原稿画像情報を決定している。
具体的には、本実施の形態では、上記特徴点生成処理において、マッチング画像情報を作成し、原稿画像情報決定処理にて、マッチング画像情報を用いて原稿候補画像情報一覧を作成している。
また、本実施の形態では、ユーザ情報入力部を用いて入力されたユーザ情報に基づいて、読取画像情報と対応している原稿画像情報を決定するために用いる上記画像情報を制限する構成である。以下、これらについて説明する。
図7は、本実施の形態にかかる画像形成装置1の概略の構成を示すブロック図である。
上記画像形成装置1は、画像読取部3、ユーザ情報入力部、調停部7、画像形成部8、画像検索装置2、通信部4、画像データ特徴点生成部5を備えている。
また、画像検索装置2は、特徴点生成部40、取得部11および決定部12を備えている。そして、上記取得部11は、特徴点比較部13と制限部20とを備えている。また、上記決定部12は、比較部14を備えており、上記比較部14は、マッチング画像比較部21と画素単位比較部22とを備えている。
本実施の形態にかかる特徴点生成部40は、上記画像読取部3から受信した読取画像情報に基づいて、上記特徴点に加えてマッチング画像情報とを生成するものである。上記マッチング画像情報とは、読取画像情報が示す画像全体に対する、分類された各画像領域(例えば、文字領域、網点・写真領域、背景領域)のうちの少なくとも1つの画像領域の配置を示す画像情報である。具体的には、マッチング画像情報は、例えば、読取画像情報が示す画像全体に対して、テキストエリア(文字領域)がどの位置に配置されているかを示すものであり、レイアウト画像またはプレビュー画像に相当するものであればよい。また、本実施の形態において、特徴点としては、読取画像情報が示す画像を例えば1つ1つが矩形の複数のブロック(領域)に分割したものを、例えば、文字領域、網点・写真領域、背景領域の何れかの領域に分類し、これら各領域の割合が挙げられる。
上記ユーザ情報入力部は、外部からユーザ情報を入力するものである。
上記取得部11が備える制限部20は、記憶部6から、上記ユーザ情報に基づいて、記憶部6から特徴点を取得するものである。より具体的には、上記取得部11は、記憶部6に記憶されている画像情報と対応している特徴点のうち、受信したユーザ情報と同じユーザ情報と対応付けられた特徴点のみを取得するものである。また、上記制限部20は、記憶部6に記憶されている複数の特徴点のうち、ユーザ情報によって許可された特徴点のみを取得するものである。換言すると、上記制限部20は、ユーザ情報を解析して、解析した内容に基づいて、記憶部6に記憶されている特徴点の取得を制限するものである。
上記比較部14が備えるマッチング画像比較部21は、上記特徴点生成部40によって生成されたマッチング画像情報と、記憶部6に記憶されている画像情報と対応するマッチング画像情報とを比較するものである。なお、マッチング画像情報は、読取画像情報または画像情報そのものと比べて情報量が少ない。
上記画素単位比較部22は、読取画像情報と原稿候補画像情報である画像情報とを画素単位で比較するものである。
上記通信部4は、外部から画像情報とユーザ情報とを受信するものである。また、上記画像データ特徴点生成部5は、通信部4を介して受信した画像情報から、当該画像情報の特徴点とマッチング画像情報とを生成するものである。なお、上記画像データ特徴点生成部5と特徴点生成部40とは、同じアルゴリズム(プログラム)で特徴点およびマッチング画像情報を生成するものであり、両者は同じものであってもよい。
そして、上記記憶部6は、画像情報と特徴点とユーザ情報とマッチング画像情報とをそれぞれ対応付けて記憶するものである。
ここで、図7を参照して、画像読取部3にて作成された原稿画像が画像形成されるまでの処理について説明する。なお、以下の説明では、ユーザ情報に基づいて記憶部6に記憶されている画像情報のうち、検索に利用できる画像情報(特徴点)が制限されている例について説明する。
まず、画像読取部3にて作成された読取画像情報は、画像検索装置2の特徴点生成部40と調停部7に送信される。また、画像形成を行うユーザは、ユーザ情報入力部を用いてユーザ情報を入力する。そして、入力されたユーザ情報は特徴点生成部40に送信される。
上記読取画像情報を受信した特徴点生成部40は、当該読取画像情報から特徴点とマッチング画像情報とを作成する。そして、上記特徴点生成部40は、上記特徴点とユーザ情報とを取得部11に送信する。また、特徴点生成部40は、生成したマッチング画像情報をマッチング画像比較部21に送信するとともに、読取画像情報を画素単位比較部22に送信する。
特徴点とユーザ情報とを受信した取得部11は、制限部20を動作させて、当該ユーザ情報の内容に基づいて、このユーザ情報で許可されている特徴点を上記記憶部6から取得する。そして、上記特徴点比較部13は、読取画像情報の特徴点と制限部20が取得した特徴点とを比較して、両者の差が所定の閾値よりも小さい特徴点と対応する画像情報を記録したマッチング画像情報一覧を作成する。そして、上記取得部11は、特徴点比較部13によって作成されたマッチング画像情報一覧を決定部12に送信する。
上記マッチング画像情報一覧を受信した決定部12は、当該マッチング画像情報一覧を参照して、記憶部6に記憶されているマッチング画像を取得して、比較部14のマッチング画像比較部21に送信する。
上記比較部14のマッチング画像比較部21は、特徴点生成部40から受信した読取画像情報と対応しているマッチング画像情報と記憶部6から取得した画像情報と対応するマッチング画像情報とを比較し、両者の差が所定の閾値よりも小さいマッチング画像情報と対応する画像情報を原稿候補画像として記録した原稿候補画像情報一覧を作成する。そして、マッチング画像比較部21は、作成した原稿候補画像情報一覧を画素単位比較部22に送信する。
上記画素単位比較部22は、上記マッチング画像比較部21から取得した原稿候補画像情報一覧に基づいて、記憶部6に記憶されている画像情報を原稿候補画像情報として取得するとともに、当該原稿候補画像情報と特徴点生成部40から受信した読取画像情報とを画素単位で比較する。そして、上記決定部12は、画素単位比較部22における比較結果より、原稿候補画像情報の中から、読取画像情報と対応するものが存在するか否かを決定し、存在する場合には、読取画像情報と対応する原稿候補画像情報を原稿画像情報として調停部7に送信する。このようにして、上記画像検索装置2は、読取画像情報と対応する原稿画像情報を検索する。
図8は、本実施の形態における特徴点生成処理を説明するフローチャートである。以下に、特徴点生成部40における特徴点およびマッチング画像情報を生成する方法について説明する。
上記ステップS23にて、各エリアの面積を算出した後、上記特徴点生成部40は、作成したエリア面積情報に基づいて特徴点を算出する(S24)。また、上記特徴点生成部40は、上記特徴点の生成と平行して、テキストエリアの読取画像情報が示す画像全体に対する割合が所定の閾値よりも大きいか否かを判断する(S25)。
そして、上記ステップS25にて、テキストエリアの読取画像情報が示す画像全体に対する割合が所定の閾値よりも大きいと判断した場合には、上記特徴点生成部40は、上記テキストエリアを用いてマッチング画像情報を作成する(S26)。ここで、テキストエリアを用いて作成したマッチング画像情報は、1bit、75dpiである。
一方、そして、上記ステップS25にて、テキストエリアの読取画像情報が示す画像全体に対する割合が所定の閾値以下であると判断した場合には、上記特徴点生成部40は、上記その他エリアを用いてマッチング画像情報を作成する(S27)。ここで、その他エリアを用いて作成したマッチング画像情報は、1bit、75dpiである。つまり、上記ステップS25にて、読取画像情報が示す画像全体に対する割合がより大きいエリアに基づいて、マッチング画像情報を作成することで、より読取画像情報の特性に近いマッチング画像情報を作成することができる。このようにして、特徴点生成部40は、マッチング画像情報を作成している。
また、前記実施の形態1では、特徴点比較処理において原稿候補画像情報一覧と作成しているが、本実施の形態では、原稿候補画像情報の代わりにマッチング画像情報一覧を作成している。詳細な処理については、実施の形態1と同様であり省略する。
図9は、本実施の形態における原稿画像情報決定処理を説明するフローチャートである。以下に、決定部12における原稿画像情報を決定する方法について説明する。
まず、上記決定部12は、上記特徴点生成部40から読取画像情報と対応するマッチング画像情報を取得する。そして、上記取得部11からマッチング画像情報一覧を取得する。そして、上記決定部12は、マッチング画像情報一覧の中に、マッチング画像情報が記録されているか否かを判断する(S51)。
上記ステップS51にて、マッチング画像情報一覧の中にマッチング画像情報が記録されていると判断すると、上記決定部12は、マッチング画像情報一覧の中に記録されているマッチング画像情報を記録部から取得する。そして、上記決定部12は、比較部14のマッチング画像比較部21を動作させて、読取画像情報と対応するマッチング画像情報と、記憶部6から取得したマッチング画像情報との比較を行わせる。
換言すると、上記マッチング画像比較部21は、読取画像情報と対応するマッチング画像情報と、記憶部6から取得したマッチング画像情報とを比較し、両者の差を求める(S53)。
その後、上記決定部12は、マッチング画像比較部21による比較の結果、上記両者の差が所定の閾値よりも小さいか否かを判断する(S54)。
そして、上記ステップS54にて、マッチング画像比較部21による比較の結果、上記両者の差が所定の閾値よりも小さいと判断すると、当該記憶部6から取得したマッチング画像情報と対応している画像情報を原稿候補画像として原稿候補画像情報一覧に追加する(S55)。
次に、上記決定部12は、上記マッチング画像情報一覧に他の未だ比較していないマッチング画像情報が存在するか否かを判断する(S56)。
そして、上記ステップS56にて、マッチング画像情報一覧に他の未だ比較していないマッチング画像情報が存在しないと判断すると処理は、ステップS41に進む。一方、上記ステップS56にて、マッチング画像情報一覧に他の未だ比較していないマッチング画像情報が存在すると判断した場合には、処理は、S51に進む、
また、上記ステップS54において、上記両者の差が所定の閾値以上であると判断すると、処理はステップS56に進む。
また、上記ステップS51にて、マッチング画像情報一覧にマッチング画像情報が記録されていないと判断すると、上記決定部12は、原稿候補画像情報一覧に原稿候補画像情報が記録されていないと判断し、処理はステップS41に進む。
このようにして、本実施の形態では、読取画像情報と記憶部6に記憶されている画像情報とを、まず特徴点を用いて類似しているか否かを判断し、次にマッチング画像情報を用いて類似しているか否かを判断し、最後に読取画像情報と原稿候補画像情報である画像情報とを画素単位で比較している。これにより、従来と比べて、より精度の高い画像検索が可能になるとともに、短時間で画像検索が可能になる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明にかかる画像検索装置は、例えば、光学的に読み取った原稿画像を画像形成する際に、読取った読取画像情報と対応する、当該原稿画像を作成する元となった原稿画像情報を検索する用途に好適に適用できる。
本実施の形態にかかる画像形成装置の概略の構成を示すブロック図である。 上記画像形成装置における画像形成にかかる処理を説明するフローチャートである。 特徴点生成処理を説明するフローチャートである。 特徴点比較処理を説明するフローチャートである。 原稿画像情報決定処理を説明するフローチャートである。 上記補正部の構成を示すブロック図である。 本実施の他の形態にかかる画像形成装置の概略の構成を示すブロック図である。 特徴点生成処理の他の例を説明するフローチャートである。 原稿画像情報決定処理の他の例を説明するフローチャートである。
符号の説明
1 画像形成装置
2 画像検索装置
3 画像読取部(画像読取装置、画像読取手段)
4 通信部
5 画像データ特徴点生成部(画像情報側特徴点生成手段)
6 記憶部(記憶装置)
7 調停部
8 画像形成部(画像形成手段)
10 特徴点生成部(特徴点生成手段)
11 取得部
12 決定部(決定手段)
13 特徴点比較部
14 比較部(比較手段)
16 補正部(補正手段)
20 制限部(制限手段)
21 マッチング画像比較部
22 画素単位比較部

Claims (14)

  1. 原稿画像情報に基づいて記録材に画像形成された原稿画像を光学的に読取る画像読取装置にて得られた読取画像情報を受信するとともに、当該読取画像情報を特定するための特徴点を抽出する特徴点生成手段と、
    複数の画像情報が記憶されている記憶装置から、上記特徴点に基づいて、上記読取画像情報と対応する原稿画像情報を決定するための候補となる原稿候補画像情報を取得する取得手段と、
    上記原稿候補画像情報と上記読取画像情報とを、画素単位で比較する比較手段と、
    上記比較手段の比較結果に基づいて、上記読取画像情報と対応する原稿画像情報を決定する決定手段とを備え
    上記特徴点生成手段は、読取画像情報を複数の領域に分割して当該分割領域を文字領域、網点・写真領域、背景領域の何れかの領域に分離するとともに、当該分離された各領域の割合を上記特徴点として抽出するものであることを特徴とする画像検索装置。
  2. 原稿画像情報に基づいて記録材に画像形成された原稿画像を光学的に読取る画像読取装置にて得られた読取画像情報を受信するとともに、当該読取画像情報を特定するための特徴点を抽出する特徴点生成手段と、
    複数の画像情報が記憶されている記憶装置から、上記特徴点に基づいて、上記読取画像情報と対応する原稿画像情報を決定するための候補となる原稿候補画像情報を取得する取得手段と、
    上記原稿候補画像情報と上記読取画像情報とを、画素単位で比較する比較手段と、
    上記比較手段の比較結果に基づいて、上記読取画像情報と対応する原稿画像情報を決定する決定手段とを備え
    上記特徴点生成手段は、読取画像情報を複数の領域に分割して当該分割領域を文字領域、網点・写真領域、背景領域の何れかの領域に分離するとともに、分離された各領域のいずれかの割合を上記特徴点として抽出するものであり、
    上記取得手段は、上記割合に応じて、上記特徴点として使用する領域を異ならせるものであることを特徴とする画像検索装置。
  3. 上記決定手段は、上記比較手段の比較結果に基づいて、上記読取画像情報との差が所定の閾値よりも小さい上記原稿候補画像情報の中で、最も差が小さい原稿候補画像情報を上記原稿画像情報に決定するものであることを特徴とする請求項1または2に記載の画像検索装置。
  4. 上記記憶装置には、ユーザ情報と画像情報とが対応付けられて記憶されており、
    ユーザ情報を入力する入力手段を備え、
    入力されたユーザ情報に基づいて、上記取得手段が取得可能な原稿候補画像情報を制限する制限手段を備えることを特徴とする請求項1または2に記載の画像検索装置。
  5. 上記記憶装置には、ユーザ情報と画像情報とが対応付けられて記憶されており、
    特徴点生成手段は、画像読取装置から、読取画像情報と当該読取画像情報対応付けられたユーザ情報を取得するものであり、
    入力されたユーザ情報に基づいて、上記取得手段が取得可能な原稿候補画像情報を制限する制限手段を備えることを特徴とする請求項1または2に記載の画像検索装置。
  6. 上記記憶装置には、ユーザ情報と画像情報とが対応付けられて記憶されており、
    特徴点生成手段は、画像読取装置から、読取画像情報と当該読取画像情報対応付けられたユーザ情報を取得するものであり、
    上記取得手段は、記憶装置から、読取画像情報対応付けられたユーザ情報と同じユーザ情報を持つ画像情報を上記原稿候補画像情報として取得するものであることを特徴とする請求項1または2に記載の画像検索装置。
  7. 上記画像読取装置を備え、
    上記特徴点生成手段は、上記画像読取装置から取得した上記読取画像情報と当該特徴点生成手段が抽出した上記特徴点とを対応付けて、上記記憶装置に記憶させるものであることを特徴とする請求項1または2に記載の画像検索装置。
  8. 上記記憶装置に記憶されている複数の画像情報のそれぞれから上記特徴点を抽出する画像情報側特徴点生成手段を備えていることを特徴とする請求項1または2に記載の画像検索装置。
  9. 請求項1から8のいずれか1項に記載の画像検索装置と、
    上記読取画像情報または上記画像検索装置によって決定された原稿画像情報を画像形成する画像形成手段とを備えることを特徴とする画像形成装置。
  10. 上記読取画像情報を画像形成する際に、当該読取画像情報に対して補正を施す補正手段を備え、
    上記補正手段が読取画像情報に対して補正を施すための補正情報の少なくとも一部と、上記特徴点生成手段が抽出する特徴点とが同じものであることを特徴とする請求項9に記載の画像形成装置。
  11. 画像検索装置の制御方法であって、
    上記画像検索装置の特徴点生成手段が、原稿画像情報に基づいて記録材に画像形成された原稿画像を光学的に読取る画像読取装置にて得られた読取画像情報を受信するとともに、当該読取画像情報を特定するための特徴点を抽出し、
    上記画像検索装置の取得手段が、複数の画像情報が記憶されている記憶装置から、上記特徴点に基づいて、上記読取画像情報と対応する原稿画像情報を決定するための候補となる原稿候補画像情報を取得し、
    上記画像検索装置の比較手段が、上記原稿候補画像情報と上記読取画像情報とを、画素単位で比較し、
    上記画像検索装置の決定手段が、上記比較手段の比較結果に基づいて、上記読取画像情報と対応する原稿画像情報を決定し、
    上記特徴点生成手段が、読取画像情報を複数の領域に分割して当該分割領域を文字領域、網点・写真領域、背景領域の何れかの領域に分離するとともに、当該分離された各領域の割合を上記特徴点として抽出することを特徴とする画像検索装置の制御方法。
  12. 画像検索装置の制御方法であって、
    上記画像検索装置の特徴点生成手段が、原稿画像情報に基づいて記録材に画像形成された原稿画像を光学的に読取る画像読取装置にて得られた読取画像情報を受信するとともに、当該読取画像情報を特定するための特徴点を抽出し、
    上記画像検索装置の取得手段が、複数の画像情報が記憶されている記憶装置から、上記特徴点に基づいて、上記読取画像情報と対応する原稿画像情報を決定するための候補となる原稿候補画像情報を取得し、
    上記画像検索装置の比較手段が、上記原稿候補画像情報と上記読取画像情報とを、画素単位で比較し、
    上記画像検索装置の決定手段が、上記比較手段の比較結果に基づいて、上記読取画像情報と対応する原稿画像情報を決定し、
    上記特徴点生成手段は、読取画像情報を複数の領域に分割して当該分割領域を文字領域、網点・写真領域、背景領域の何れかの領域に分離するとともに、分離された各領域のいずれかの割合を上記特徴点として抽出し、
    上記取得手段は、上記割合に応じて、上記特徴点として使用する領域を異ならせることを特徴とする画像検索装置の制御方法。
  13. 請求項1から8のいずれか1項に記載の画像検索装置を動作させる画像検索プログラムであって、コンピュータを上記の各手段として機能させるための画像検索プログラム。
  14. 請求項13に記載の画像検索プログラムを記録した、コンピュータ読取り可能な記録媒体。
JP2004325556A 2004-11-09 2004-11-09 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体 Expired - Fee Related JP4213112B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004325556A JP4213112B2 (ja) 2004-11-09 2004-11-09 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体
US11/268,475 US7602999B2 (en) 2004-11-09 2005-11-08 Image searching device, image forming device, image searching method, image searching program, and computer-readable storage medium
CNB200510120282XA CN100403309C (zh) 2004-11-09 2005-11-09 图像检索装置、图像形成装置及图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004325556A JP4213112B2 (ja) 2004-11-09 2004-11-09 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2006134255A JP2006134255A (ja) 2006-05-25
JP4213112B2 true JP4213112B2 (ja) 2009-01-21

Family

ID=36315977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004325556A Expired - Fee Related JP4213112B2 (ja) 2004-11-09 2004-11-09 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体

Country Status (3)

Country Link
US (1) US7602999B2 (ja)
JP (1) JP4213112B2 (ja)
CN (1) CN100403309C (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4921202B2 (ja) * 2006-03-15 2012-04-25 キヤノン株式会社 ジョブ履歴管理システム、その制御方法、プログラム及び記憶媒体
JP4631792B2 (ja) * 2006-05-10 2011-02-16 富士ゼロックス株式会社 印刷記録管理装置、プログラム及び方法
JP5239367B2 (ja) * 2007-03-19 2013-07-17 富士通株式会社 情報提供システム、情報提供プログラムおよび情報提供方法
JP4970301B2 (ja) * 2008-02-08 2012-07-04 シャープ株式会社 画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体
WO2012046270A1 (en) 2010-10-05 2012-04-12 Empire Technology Development Llc Generation of depth data based on spatial light pattern
CN103329166A (zh) * 2011-01-25 2013-09-25 三菱电机株式会社 图像检索装置和方法、图像处理装置和方法
JP6104955B2 (ja) * 2015-01-30 2017-03-29 京セラドキュメントソリューションズ株式会社 画像処理システム及び画像処理方法
US10372981B1 (en) * 2015-09-23 2019-08-06 Evernote Corporation Fast identification of text intensive pages from photographs
US10114592B2 (en) 2016-02-09 2018-10-30 Kabushiki Kaisha Toshiba Image forming system and image forming apparatus
US11429662B2 (en) 2019-12-20 2022-08-30 SWATCHBOOK, Inc. Material search system for visual, structural, and semantic search using machine learning

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991466A (en) 1991-07-31 1999-11-23 Canon Kabushiki Kaisha Image retrieving apparatus
JP3142902B2 (ja) 1991-07-31 2001-03-07 キヤノン株式会社 画像記憶装置および画像検索方法
JP3017851B2 (ja) 1991-07-31 2000-03-13 キヤノン株式会社 画像記憶装置
US5285504A (en) * 1991-09-27 1994-02-08 Research Foundation Of The State University Of New York Page segmentation with tilt compensation
US5465353A (en) 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
JPH07288679A (ja) * 1994-04-15 1995-10-31 Minolta Co Ltd 画像処理装置
US5933823A (en) 1996-03-01 1999-08-03 Ricoh Company Limited Image database browsing and query using texture analysis
JPH10143638A (ja) 1996-11-15 1998-05-29 Fuji Xerox Co Ltd 画像処理装置
JP4132238B2 (ja) * 1998-06-11 2008-08-13 株式会社リコー 画像入力装置付き画像蓄積サーバ
EP0990997A1 (en) 1998-09-29 2000-04-05 Eastman Kodak Company A method for controlling and managing redundancy in an image database by elimination of automatically detected exact duplicate and near duplicate images
JP2000276474A (ja) * 1999-03-24 2000-10-06 Fuji Photo Film Co Ltd データベース検索装置および方法
JP4454789B2 (ja) * 1999-05-13 2010-04-21 キヤノン株式会社 帳票分類方法及び装置
US6445822B1 (en) * 1999-06-04 2002-09-03 Look Dynamics, Inc. Search method and apparatus for locating digitally stored content, such as visual images, music and sounds, text, or software, in storage devices on a computer network
JP2001016379A (ja) * 1999-06-25 2001-01-19 Tokyo Denshi Sekkei Kk 複写装置及び画像形成方法及び画像形成システム
JP2002007432A (ja) * 2000-06-23 2002-01-11 Ntt Docomo Inc 情報検索システム
JP3733310B2 (ja) * 2000-10-31 2006-01-11 キヤノン株式会社 文書書式識別装置および識別方法
JP2002262005A (ja) * 2001-03-06 2002-09-13 Konica Corp 画像形成装置、画像データ検索装置、画像復元方法、画像データ検索システム及び画像形成システム
JP2003157787A (ja) * 2001-11-20 2003-05-30 Shimadzu Corp 表面分析装置
JP3702268B2 (ja) * 2002-11-29 2005-10-05 株式会社東芝 情報検索システム、情報検索方法およびプログラム
JP2004192307A (ja) * 2002-12-11 2004-07-08 Seiko Epson Corp 類似画像抽出装置、類似画像抽出方法および類似画像抽出プログラム
JP2004301916A (ja) * 2003-03-28 2004-10-28 Seiko Epson Corp 情報管理装置およびこれに用いられるプログラム並びに情報管理方法、課金管理装置およびこれに用いられるプログラム並びに課金管理方法
JP4266695B2 (ja) * 2003-04-30 2009-05-20 キヤノン株式会社 画像処理装置及び画像処理方法
US7412602B2 (en) * 2003-09-30 2008-08-12 Toshiba Corporation Method and system for storing document images in a network file system
JP2005149323A (ja) 2003-11-18 2005-06-09 Canon Inc 画像処理システム及び画像処理装置並びに画像処理方法

Also Published As

Publication number Publication date
US7602999B2 (en) 2009-10-13
JP2006134255A (ja) 2006-05-25
CN100403309C (zh) 2008-07-16
CN1773501A (zh) 2006-05-17
US20060098231A1 (en) 2006-05-11

Similar Documents

Publication Publication Date Title
JP4565015B2 (ja) 画像処理装置、画像形成装置、画像処理システム、画像処理プログラムおよびその記録媒体
US8131083B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method having storage section, divided into a plurality of regions, for storing identification information for identifying reference image
US7653217B2 (en) Image data processing apparatus and method using attribute information
JP4604100B2 (ja) 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記憶媒体
JP5280425B2 (ja) 画像処理装置、画像読取装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体
JP4362528B2 (ja) 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体
US8351706B2 (en) Document extracting method and document extracting apparatus
US7602999B2 (en) Image searching device, image forming device, image searching method, image searching program, and computer-readable storage medium
JP4310356B2 (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及び記録媒体
JP5164368B2 (ja) 画像処理装置、画像処理方法
US20090028436A1 (en) Image processing apparatus, image forming apparatus and image reading apparatus including the same, and image processing method
US20090067724A1 (en) Image matching apparatus, image matching method, and image data output processing apparatus
US8050505B2 (en) Image processing apparatus, image processing system, image processing method, and image forming apparatus
US8300944B2 (en) Image processing method, image processing apparatus, image reading apparatus, image forming apparatus, image processing system, and storage medium
US8107728B2 (en) Image processing apparatus, image forming apparatus, image processing system, computer program and recording medium
JP2009015820A (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP2017146745A (ja) 情報処理装置、制御方法、情報処理システム、およびプログラム
US7986838B2 (en) Image processing apparatus and image processing method
JP2009055584A (ja) 画像処理装置、情報記憶装置、画像処理システム、画像処理方法、画像形成装置、画像送信装置、画像読取装置、プログラムおよびその記録媒体
JP3899872B2 (ja) 画像処理装置、画像処理方法ならびに画像処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
JP4487003B2 (ja) 画像データ出力処理装置、画像データ出力処理方法、プログラム及び記録媒体
JP4710672B2 (ja) 文字色判別装置、文字色判別方法、およびコンピュータプログラム
JP4043982B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、並びにそれを記録したコンピュータ読み取り可能な記録媒体
US8810827B2 (en) Image processing apparatus, image processing method, and storage medium
JP2006094104A (ja) 色再現特性取得方法及びシステム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4213112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131107

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees