JP4047222B2 - 画像処理装置及びその制御方法、プログラム - Google Patents
画像処理装置及びその制御方法、プログラム Download PDFInfo
- Publication number
- JP4047222B2 JP4047222B2 JP2003143493A JP2003143493A JP4047222B2 JP 4047222 B2 JP4047222 B2 JP 4047222B2 JP 2003143493 A JP2003143493 A JP 2003143493A JP 2003143493 A JP2003143493 A JP 2003143493A JP 4047222 B2 JP4047222 B2 JP 4047222B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- image
- image data
- page
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimiles In General (AREA)
Description
【発明の属する技術分野】
本発明は、複写機などの画像入力装置で、読み取った紙文書から対応するオリジナルの電子データを検索し、オリジナルの電子データを印刷、配信、蓄積、編集などに活用することを可能とする画像処理技術に関するものである。
【0002】
【従来の技術】
近年、オフィスのペーパレス化が唱えられているが、紙文書には、目が疲れにくい、全体を概観しやすい、書き込める等、電子文書にはないメリットがあり、現状のオフィスでは、電子文書と紙文書のそれぞれのメリットを生かし、電子文書と紙文書が併用されている状況にある。このような状況では、紙文書と電子文書との扱いの差異を軽減するために、電子文書から紙文書へ、紙文書から電子文書への相互の移行が容易にできるような環境が求められている。
【0003】
電子文書から紙文書への移行は、電子文書をプリンタによって印刷することで容易に達成できる。それに対して、紙文書から電子文書への移行は、紙文書をスキャナから読み取り、画像データとして電子化する方法が一般的に行なわれている。
【0004】
しかしながら、紙文書に対するオリジナルの電子文書が既に存在している場合は、紙文書を改めて電子文書に移行するよりも、紙文書に対するオリジナルの電子文書を用いて紙文書を電子文書に移行するほうが望ましい。
【0005】
これを実現する方法として、例えば、特許文献1では、電子文書をラスタ画像に変換して電子文書と対応付けて保存しておき、紙文書をスキャンして得られたラスタ画像データと、電子文書に対するラスタ画像データとを、その特徴量の類似性を比較することにより、紙文書のラスタ画像データからオリジナルの電子文書を検索することを可能にしている。
【0006】
これにより、例えば、会議で発表する時に用いた資料が、紙文書として出席者に配布されることは一般的に行なわれているが、配布された紙文書から、オリジナルの電子文書を取り出すことが可能になる。そのため、会議の出席者は、紙文書を利用して、対応するオリジナルの電子文書を編集したり、会議に出席していない人にその電子文書から得られる紙文書を配布したりすることが可能になる。
【0007】
また、特許文献2では、オリジナル文書が紙文書である場合に、その紙文書をスキャンして得られたラスタ画像データをオリジナルのラスタ画像データとして記憶しておき、配布された紙文書をスキャンして得られたラスタ画像データと、オリジナルのラスタ画像データそのものを比較することにより、オリジナル文書を検索する方法が示されている。
【0008】
現状では、製品のパンフレットのように、社外から紙文書でオリジナルを入手する場合も多くあり、このような場合、オリジナルの紙文書にコピーが何世代にも渡って行なわれると、画質が劣化するので、このようにして、オリジナル文書のラスタ画像データを保持しておき、オリジナルのラスタ画像データを検索することは意味がある。
【0009】
【特許文献1】
特開2001−256256号
【特許文献2】
特開平5−37748号
【0010】
【発明が解決しようとする課題】
しかしながら、一般的に、1枚の紙文書には、1ページのみで構成される文書よりも、複数ページから構成される文書が多い。これに対し、特許文献1では、全ページ分のラスタ画像の特徴量を比較条件とするために、スキャンした紙文書のラスタ画像を一時的に記憶保持しておくメモリが、全ページ分必要になり、メモリ容量が増加するという課題があった。
【0011】
加えて、全ページ分のラスタ画像の特徴量を比較条件としないで、オリジナルの電子文書を特定することが可能であるとしても、比較先画像となるオリジナル文書それぞれの全ページ分のラスタ画像を比較する必要があり、処理時間が増加するという課題があった。
【0012】
また、特許文献2では、先頭ページ等、特定ページのみを比較条件することによって、使用するメモリを低減する方法が示されているが、オフィスで使用される文書には、類似する文書も多く、先頭ページ等、特定ページのみを比較条件とするだけでは、オリジナルの文書を特定できない場合があり、オリジナル文書の検索を精度よくできないという課題があった。
【0013】
本発明は上記の課題を解決するためになされたものであり、印刷物からオリジナルの電子文書を検索する場合に、その印刷物が複数のページから構成される文書であっても、処理に必要とするメモリ容量を増加させずに、オリジナルの電子文書を精度良く検索することができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【0014】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
複数の画像データを記憶する記憶手段と、
複数ページからなる文書をページ単位で電子的に読み取る読取手段と、
前記読取手段で読み取ったページ単位で、前記文書と類似する画像データを前記記憶手段から検索する検索手段と、
前記検索手段で検索にヒットした画像データと前記文書とのページ単位の類似度に基づいて、前記読取手段で読み取った前記文書の更に別ページと類似する画像データを前記検索にヒットした画像データから前記検索手段によって検索する制御手段と
を備える。
【0015】
また、好ましくは、前記制御手段は、前記検索手段による検索結果として、前記印刷物の電子データに対応する画像データが一意に特定された場合、該印刷物の次ページ以降の印刷物の前記読取手段による読取を終了する。
【0016】
また、好ましくは、前記検索手段は、前記読取手段で読み取った印刷物の電子データと比較する候補画像データ群を管理する候補リストに従って、候補画像データ群を前記記憶手段より取得する取得手段と、
前記取得手段で取得した候補画像データ群と前記印刷物の電子データを比較する比較手段とを備え、
前記比較手段の比較結果に基づいて、前記印刷物の電子データに対応する画像データを前記候補画像データ群から検索する。
【0017】
また、好ましくは、前記制御手段は、前記検索手段による検索結果に基づいて、前記候補リストの内容を更新し、前記印刷物の次ページの印刷物を前記読取手段で読み取り、その次ページの印刷物の電子データに対応する画像データを前記更新された候補リストから前記検索手段によって検索する。
【0018】
また、好ましくは、前記印刷物の電子データに含まれるページ画像のページ数を指定する指定手段を更に備え、
前記比較手段は、前記指定手段で指定されたページ数に基づいて決定される処理対象領域の部分電子データと、前記取得手段で取得した候補画像データ群と比較する。
【0019】
また、好ましくは、前記比較手段は、前記印刷物の電子データの特徴量を抽出する抽出手段を備え、
前記抽出手段で抽出した特徴量を用いて、前記印刷物の電子データと、前記取得手段で取得した候補画像データ群と比較する。
【0020】
また、好ましくは、前記抽出手段は、前記印刷物の電子データの画像特徴量及び文字特徴量のいずれかまたは両方を抽出する。
【0021】
上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
複数ページからなる文書をページ単位で電子的に読み取る読取工程と、
前記読取工程で読み取ったページ単位で、前記文書と類似する画像データを記憶媒体に記憶されている複数の画像データから検索する検索工程と、
前記検索工程で検索にヒットした画像データと前記文書とのページ単位の類似度に基づいて、前記読取工程で読み取った前記文書の更に別ページと類似する画像データを前記検索にヒットした画像データから前記検索工程によって検索する制御工程と
を備える。
【0022】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
複数ページからなる文書をページ単位で電子的に読み取る読取工程と、
前記読取工程で読み取ったページ単位で、前記文書と類似する画像データを記憶媒体に記憶されている複数の画像データから検索する検索工程と、
前記検索工程で検索にヒットした画像データと前記文書とのページ単位の類似度に基づいて、前記読取工程で読み取った前記文書の更に別ページと類似する画像データを前記検索にヒットした画像データから前記検索工程によって検索する制御工程と
をコンピュータに実行させることを特徴とする。
【0023】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【0024】
<<実施形態1>>
図1は本発明の実施形態1の画像処理システムの構成を示すブロック図である。
【0025】
この画像処理システムは、オフィス10とオフィス20とをインターネット等のネットワーク104で接続された環境で実現する。
【0026】
オフィス10内に構築されたLAN107には、複数種類の機能を実現する複合機であるMFP(Multi Function Peripheral)100、MFP100を制御するマネージメントPC101、クライアントPC102、文書管理サーバ106及びそのデータベース105、及びプロキシサーバ103が接続されている。
【0027】
オフィス10内のLAN107及びオフィス20内のLAN108は、双方のオフィスのプロキシサーバ103を介してネットワーク104に接続されている。
【0028】
MFP100は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はLAN109を介してマネージメントPC101に送信することができる。
【0029】
マネージメントPC101は、通常のPCであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はMFP100に一体化して構成されている。
【0030】
尚、ネットワーク104は、典型的にはインターネットやLANやWANや電話回線、専用デジタル回線、ATMやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【0031】
また、マネージメントPC101、クライアントPC102、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素(例えば、CPU、RAM、ROM、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等)を有している。
【0032】
次に、MFP100の詳細構成について、図2を用いて説明する。
【0033】
図2は本発明の実施形態1のMFPの詳細構成を示すブロック図である。
【0034】
図2において、原稿台とオートドキュメントフィーダ(ADF)を含む画像読取部110は、束状のあるいは1枚の原稿画像を光源(不図示)で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度(例えば、600DPI)のラスタ画像として得る。
【0035】
尚、本実施形態では、画像読取部110で読み取る印刷物として、紙文書を例に挙げて説明するが、紙以外の記録媒体(例えば、OHPシート、フィルム等の透過原稿、や布)からなる印刷物を、画像読取部110の読取対象としても良い。
【0036】
また、MFP100は、画像読取信号に対応する画像を印刷部112で記録媒体に印刷する複写機能を有し、原稿画像を1つ複写する場合には、この画像読取信号をデータ処理部115で画像処理して記録信号を生成し、これを印刷部112によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部111に一旦一つ分の記録信号を記憶保持させた後、これを印刷部112に順次出力して記録媒体上に印刷させる。
【0037】
一方、クライアントPC102から出力される記録信号は、LAN107及びネットワークIF114を介してデータ処理部115が受信し、データ処理部115は、その記録信号を印刷部112で記録可能なラスタデータに変換した後、印刷部112によって記録媒体上に印刷させる。
【0038】
MFP100への操作者の指示は、MFP100に装備されたキー操作部とマネージメントPC101に接続されたキーボード及びマウスからなる入力部113から行われ、これら一連の動作はデータ処理部115内の制御部(不図示)で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部116で行われる。
【0039】
記憶部111は、マネージメントPC101からも制御され、MFP100とマネージメントPC101とのデータの送受信及び制御は、ネットワークIF117及びLAN109を介して行われる。
【0040】
データベース118は、画像読取部110で読み取った紙文書の文書画像、及びその文書画像に関する情報、及びクライアントPC102内のハードディスク内、あるいはオフィス10や20内の文書管理サーバ106内のデータベース105内の電子文書の画像画像に関する情報を登録、管理する。
【0041】
尚、MFP100では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部116及び入力部113によって実現している。
【0042】
本発明による画像処理システムで実行する処理としては、大きく分けて画像データを登録する登録処理と、所望の画像データを検索する検索処理の2つがある。
【0043】
尚、実施形態1では、画像処理システム全体の処理効率を向上するために、以下に説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、1つの端末(例えば、MFP100)上で実行するようにしても構わない。
【0044】
まず、登録処理について説明する。
【0045】
[登録処理の概要]
登録対象の画像データの登録方法としては、文書作成アプリケーション等で作成された電子ファイルをオリジナル文書として登録する場合と、紙文書をオリジナル文書として登録する場合とがある。
【0046】
(A)電子文書の登録処理の概要
まず、マネージメントPC101の制御のもとに、電子文書をオリジナル文書としてMFP100内のデータベース118に登録する登録処理の概要について図3Aを用いて説明する。
【0047】
図3Aは本発明の実施形態1の電子文書の登録処理を示すフローチャートである。
【0048】
尚、登録対象の電子文書は、クライアントPC102内のハードディスク内、あるいはオフィス10や20内の文書管理サーバ106内のデータベース105内のいずれかに格納されている。
【0049】
そこで、ステップS3010で、マネージメントPC101は、これらの格納元から定められた順序に従い、電子文書を一つずつ取得し、ネットワークIF114を介して記憶部111に格納する。
【0050】
次に、ステップS3011で、全ての電子文書の取得が終了したか否かを判定する。新たな電子文書を取得しない場合(ステップS3011でYES)、処理を終了する。一方、電子文書の取得が終了していない場合(ステップS3011でNO)、ステップS3012に進む。
【0051】
ステップS3012で、取得した電子文書に固有の文書IDを発行し、その電子文書(電子ファイル)の格納場所を示すアドレスと対応付けて、データベース118内のアドレス情報として登録する。
【0052】
ここで、文書IDとは、データベース118内に格納される電子文書を識別するためのIDであり、電子文書を一つ登録するごとに、使用されていないIDが発行される。また、アドレスとは、URLや、サーバ名、ホスト名、共有名、ディレクトリ、ファイル名からなる電子文書の格納先を示すフルパス情報である。そして、この文書IDとアドレスからなるアドレス情報の一例を示すと、図4のようになる。
【0053】
次に、ステップS3010で、取得した電子文書を、データ処理部115で1ページずつ、ラスタ画像に変換して記憶部111に格納する。ステップS3014で、電子文書の各ページのラスタ画像への変換が終了したか否かを判定する。変換が終了した場合(ステップS3014でYES)、ステップS3010に戻り、次の電子文書を取得する。一方、変換が終了していない場合(ステップS3014でNO)、ステップS3015に進む。
【0054】
次に、ステップS3015で、記憶部111に格納されている1ページ分のラスタ画像に対して、ブロックセレクション(BS)処理を行う。この処理は、マネージメントPC101の制御によって実行する。
【0055】
具体的には、マネージメントPC101のCPUは、記憶部111に格納された処理対象のラスタ画像を、まず、文字/線画部分とハーフトーン画像部分とに領域分割し、文字/線画部分は更に段落で塊として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分割する。
【0056】
一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。
【0057】
次に、ステップS3016で、ブロックセレクション処理の処理対象のページ画像のページ番号、そのページ中の各ブロックを特定するブロックIDを発行し、各ブロックの属性(画像、文字等)、サイズやオリジナル文書内の位置(ページ内の座標)と各ブロックを関連付けてデータベース118にブロック情報として記憶する。このブロック情報の一例を示すと、図5のようになる。
【0058】
次に、ステップS3017で、データ処理部115において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。
【0059】
特に、文字ブロックについては、OCR処理を施して文字コードを抽出し、これを文字特徴量とする。また、画像ブロックについては、色に関する画像特徴量を抽出する。
【0060】
次に、ステップS3018で、それぞれのブロックに対応する特徴量をページ単位にまとめ、文書ID、ページ番号、ブロックIDに関連付けてデータベース118に特徴量情報として記憶する。この特徴量情報の一例を示すと、図6及び図7のようになる。
【0061】
その後、ステップS3013に戻り、次のページの処理を行なう。
【0062】
(B)紙文書の登録処理の概要
次に、マネージメントPC101の制御のもとに、紙文書をオリジナル文書としてMFP100内のデータベース118に登録する登録処理の概要について、図3Bを用いて説明する。
【0063】
図3Bは本発明の実施形態1の紙文書の登録処理を示すフローチャートである。
【0064】
尚、この処理は、画像読取部110のADFに、登録対象の紙文書がセットされ、入力部113の登録ボタンが操作された時点で開始される。
【0065】
ステップS3210で、入力部113から紙文書からのオリジナル文書の登録処理がオペレターから指示されると、マネージメントPC101は、新たに文書IDを発行し、データベース118内の紙文書の電子データの格納場所を決定し、文書IDと紙文書の電子データの格納場所を示すアドレスと対応付けて、データベース118内のアドレス情報として登録する。
【0066】
尚、紙文書の電子データの格納場所は、複数ページに対応するために、新たにディレクトリが作成され、アドレス情報には、このディレクトリを指し示すアドレス格納される。
【0067】
次に、ステップS3211で、マネージメントPC101の指示に従い、MFP100の画像読取部110を動作させ、1ページずつ、紙文書をラスタ状に走査してラスタ画像を記憶部111に読み込む。そして、ステップS3210で作成したディレクトリに、1ページ分のラスタ画像を順次電子ファイルとして格納する。
【0068】
尚、電子ファイルのファイル名は、ページ番号を含むものとし、そのファイル名を参照するだけで、そのファイルのページが識別できるように構成されている。
【0069】
また、オリジナル文書が紙文書である場合の電子データのファイル形式は、例えば、BMP形式とするが、これに限定されるものではなく、色情報を保存しておくことが可能なファイル形式(例えば、GIF、JPEG)であればどのようなものでも良い。一方、オリジナル文書が電子データである場合のその電子データのファイル形式は、その電子データを作成したアプリケーション(例えば、マイクロソフト(登録商標)社のMS−Wordや、アドビシステム(登録商標)のアクロバット等)で作成されたファイル形式(*.docや*.pdf)となる。
【0070】
次に、ステップS3212で、画像読取部110から全てのページの読込が終了したか否かを判定する。読込が終了した場合(ステップS3212でYES)、処理を終了する。一方、読込が終了していない場合(ステップS3212でNO)、ステップS3213に進む。
【0071】
次に、ステップS3213で、記憶部111に格納されている1ページ分のラスタ画像に対して、ブロックセレクション(BS)処理を行う。この処理は、ステップS3015の処理と同様であるので詳細な説明は省略する。
【0072】
次に、ステップS3214で、ブロックセレクション処理の処理対象のページ画像中の各ブロックに基づいて、ブロック情報を生成して、データベース118に記憶する。この処理は、ステップS3016の処理と同様であるので詳細な説明は省略する。
【0073】
次に、ステップS3215で、データ処理部115において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。この処理は、ステップS3017の処理と同じ処理である。
【0074】
次に、ステップS3216で、それぞれのブロックに対応する特徴量をページ単位にまとめ、文書ID、ページ番号、ブロックIDに関連付けてデータベース118に特徴量情報として記憶する。この処理は、ステップS3018と同じ処理である。
【0075】
その後、ステップS3211に戻り、次のページの処理を行なう。
【0076】
(C)検索処理の概要
紙文書から対応するオリジナルの電子ファイル、もしくは、画像データを検索し、印刷等を行う検索処理の概要について図3Cを用いて説明する。
【0077】
図3Cは本発明の実施形態1の検索処理を示すフローチャートである。
【0078】
まず、ステップS3105で、入力部113からオリジナル文書(電子ファイルもしくは画像データ)の検索がオペレータから指示されると、マネージメントPC101の制御に従い、文書候補リストの初期化を行なう。
【0079】
尚、文書候補リストは、検索処理によって検索されたオリジナル文書の候補を管理するリストであり、候補となるオリジナル文書の文書IDと、その文書と画像読取部110から読み込む紙文書との各ページの類似度の合計を対応させて、記憶部111に格納される。ここで、文書候補リストの構成例を図8に示す。
【0080】
そして、文書候補リストの初期化では、データベース118に格納されている電子文書の文書IDを全て文書候補リストに格納し、その類似度合計の値に0を設定する。
【0081】
次に、ステップS3110で、MFP100の画像読取部110を動作させ、1ページ分の紙文書をラスタ状に走査してラスタ画像を記憶部111に読み込む。
【0082】
次に、ステップS3120で、画像読取部110から全てのページの読込が終了したか否かを判定する。読込が終了した場合(ステップS3120でYES)、ステップS3170に進む。一方、読込が終了していない場合(ステップS3120でNO)、ステップS3130に進む。
【0083】
次に、ステップS3130で、記憶部111に格納されている1ページ分のラスタ画像に対して、ブロックセレクション(BS)処理を行う。この処理は、ステップS3015と同じ処理である。但し、このブロックセレクション処理によって生成する各ブロックの属性、サイズ、位置は一時保存するだけであり、その紙文書に対するブロック情報は記憶部111に保存しておく必要はない。
【0084】
次に、ステップS3140で、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。この処理は、ステップS3017の処理と同様であるので説明は省略する。但し、この処理によって生成する各ブロックの特徴量は一時保存するだけであり、その紙文書に対する特徴量情報を記憶部111に保存しておく必要はない。
【0085】
次に、ステップS3150で、入力した紙文書のページ画像(比較元画像)に対する特徴量情報と、文書候補リストに登録されている文書IDに対応するオリジナル文書(比較先画像)の対応したページに対する特徴量情報を比較する。例えば、比較元画像が3ページ目のページ画像である場合には、比較先画像は3ページ目のオリジナル文書となる。
【0086】
続いて、比較結果からその類似度を算出し、文書候補リストの類似度合計に累積加算する。そして、類似度合計から、1ページあたりの平均類似度を算出し、平均値が第1閾値よりも小さい電子文書は、文書候補リストから削除する。その後、第1閾値よりも大きい電子文書群からなる文書候補リストに対し、類似度合計値によって、降順にソーティングする。
【0087】
次に、ステップS3160で、ステップS3150の比較処理の比較結果に基づいて、入力した紙文書に対するオリジナル文書(電子ファイルまたは画像データ)が特定されたか否かを判定する。
【0088】
この判定は、文書候補リストの先頭に登録されている電子文書の類似度合計から1ページあたりの平均類似度を算出し、その平均類似度が第2閾値よりも高く、かつ文書候補リストの2番目に登録されている電子文書の平均類似度との差が、所定値以上である場合に、オリジナル文書が特定されたと判定する。
【0089】
この判定によって、オリジナル文書が特定された場合(ステップS3160でYES)、ステップS3180に進む。一方、オリジナル文書が特定されなかった場合(ステップS3160でNO)、ステップS3110に戻り、次のページの紙文書を読み取る。
【0090】
そして、ステップS3120で、画像読取部110から全てのページの紙文書の読込が終了した場合(ステップS3120でYES)、ステップS3170に進み、文書候補リストに登録されている文書のサムネイル画像を含むユーザインタフェースを表示部116・入力部113で実現し、このユーザインタフェースによって、オリジナル文書候補の表示/選択を行う。
【0091】
特に、この選択は、オリジナル文書候補のサムネイル画像を表示部116に表示し、複数のオリジナル文書候補の中からユーザが所望のオリジナル文書候補のサムネイル画像を選択させることで実現する。そして、このユーザインタフェースによって、オリジナル文書が選択されると、そのオリジナル文書の文書IDを特定する。尚、このユーザインタフェースの構成の詳細については後述する。
【0092】
ステップS3180で、特定されたオリジナル文書の文書IDに対して、データベース118内のアドレス情報の文書IDに対応したアドレスを参照して、記憶部111に、オリジナル文書(電子ファイルもしくは画像データ)を読み込み、オペレータの指示に基づいて、そのオリジナル文書の印刷、配信、蓄積、編集のいずれかの処理を実行する。
【0093】
以上説明した処理は、複数ページからなる紙文書を1ページずつ読み込む毎に、そのページ文書と比較先文書との比較処理を行い、検索結果とするオリジナル文書が一意に特定できた時点で、それ以降の紙文書の読込、比較処理を終了する。これにより、処理対象となるページ文書を記憶するためのメモリ容量を増大せずに、効率的なメモリ使用を実現することが可能となる。
【0094】
また、比較処理を行う毎に得られる比較処理結果に基づいて、比較対象とする比較先文書の絞り込みを行い、以降の比較処理では、その絞り込まれた比較先文書を比較対象として比較処理を行うので、処理負荷を軽減し、かつ精度良く検索を実行することができる。
【0095】
[各処理の詳細]
以下、各処理の詳細について説明する。
【0096】
まず、ステップS3015、ステップS3213及びステップS3130のブロックセレクション処理の詳細について説明する。
【0097】
ブロックセレクション処理とは、例えば、図9(a)のラスタ画像を、図9(b)のように、意味のあるブロック毎の塊として認識し、該ブロック各々の属性(文字(TEXT)/図画(PICTURE)/写真(PHOTO)/線(LINE)/表(TABLE)等)を判定し、異なる属性を持つブロックに分割する処理である。
【0098】
ブロックセレクション処理の実施形態を以下に説明する。
【0099】
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【0100】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が1に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。
【0101】
次に、ステップS3017、ステップS3215及びステップS3140の特徴量情報抽出処理の詳細について説明する。
【0102】
尚、特徴量情報抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるので、それぞれ別に説明する。
【0103】
ここで、画像ブロックは、図9(b)の例の場合、写真ブロックと図画ブロックとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。
【0104】
まず、画像ブロックに対する特徴量情報抽出処理について説明する。
【0105】
尚、1文書に複数の画像ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【0106】
実施形態1では、一例として、画像の色に関する色特徴量を抽出する色特徴量情報抽出処理を行う。
【0107】
この色特徴量情報抽出処理の詳細について、図10を用いて説明する。
【0108】
図10は本発明の実施形態1の色特徴量情報抽出処理の詳細を示すフローチャートである。
【0109】
尚、この処理では、処理対象画像を複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。
【0110】
まず、ステップS1020で、画像を複数のメッシュブロックに分割する。実施形態1では、図11に示すように、画像を縦横をそれぞれ9メッシュブロックに分割する。特に、実施形態1では、表記の都合上9×9=81メッシュブロックに分割している例を示しているが、実際には、15×15=225メッシュブロック程度であることが好ましい。
【0111】
次に、ステップS1030で、処理対象となる着目メッシュブロックを左上端のブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、図12に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。実施形態1では、左上端から右へ走査し、その行を終えると次の行の左端から右へスキャンする走査例を示している。
【0112】
ステップS1040で、未処理の着目メッシュブロックの有無を判定する。未処理の着目メッシュブロックがない場合(ステップS1040でNO)、処理を終了する。一方、未処理の着目メッシュブロックがある場合(ステップS1040でYES)、ステップS1050に進む。
【0113】
ステップS1050で、着目メッシュブロックの全画素の各濃度値を、図13の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。
【0114】
尚、実施形態1では、図13に示すように、RGB色空間を3×3×3=27に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、実際には、RGB色空間を6×6×6=216に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。
【0115】
ステップS1060で、色ヒストグラムの最頻色ビンの色ビンIDをその着目メッシュブロックの代表色と決定し、その着目メッシュブロックとその位置に対応づけて記憶部111に記憶する。
【0116】
ステップS1070で、図12の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップS1040に戻り、未処理の着目メッシュブロックがなくなるまで、ステップS1040〜ステップS1070の処理を繰り返す。
【0117】
以上の処理によって、処理対象画像(画像ブロック)のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴量情報として抽出することができる。
【0118】
次に、文字ブロックに対する特徴量情報抽出処理について説明する。
【0119】
尚、1文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【0120】
文字ブロックに対する文字特徴量情報は、その文字ブロックにOCR(文字認識)処理を施して得られる文字コードとする。
【0121】
OCR(文字認識)処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを取得する。
【0122】
この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。
【0123】
特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【0124】
ブロックセレクション処理(ステップS3015、ステップS3213あるいはステップS3130)で抽出された文字ブロックに対して文字認識を行う場合は、まず、該当文字ブロックに対し横書き/縦書きの判定を行い、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。
【0125】
横書き/縦書きの判定は、該当文字ブロック内で画素値に対する水平/垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。
【0126】
次に、ステップS3150の比較処理の詳細について、図14を用いて説明する。
【0127】
図14は本発明の実施形態1の比較処理の詳細を示すフローチャートである。
【0128】
まず、ステップS1510で、比較先文書を管理する文書候補リストの先頭から文書IDを順番に取得する。
【0129】
次に、ステップS1520で、全ての文書IDを取得したか否かを判定する。全ての文書IDを取得した場合(ステップS1520でNO)、ステップS1580に進む。一方、全ての文書IDを取得していない場合(ステップS1520でYES)、ステップS1530に進む。
【0130】
次に、ステップS1530で、レイアウトの比較を行う。ここで、レイアウトとは、ブロック情報にあるブロックの属性、サイズ、位置のことである。具体的には、各ブロックの属性、サイズ、位置と、ステップS1510で取得した文書ID及び現在処理中のページ番号に対応したブロック情報中の各ブロックの属性、サイズ、位置を比較し、レイアウトが同じであるかどうかを判定する。
【0131】
比較元画像(紙文書)と比較先画像(オリジナル文書)のレイアウトが同じである場合(ステップS1530でYES)、ステップS1540に進む。一方、比較元画像と比較先画像のレイアウトが同じでない場合(ステップS1530でNO)、ステップS1555に進む。
【0132】
次に、ステップS1540で、比較元画像(紙文書)と比較先画像(オリジナル文書)のページ同士の比較を行うページ比較処理を実行する。この比較は、ブロックの属性に合わせ、文字、画像それぞれに応じた特徴量を用いて、複合的に比較を行い、類似度を算出する。この処理の詳細については後述する。
【0133】
次に、ステップS1550で、算出された類似度が第3閾値以上であるか否かを判定する。第3閾値未満である場合(ステップS1550でNO)、ステップS1555に進む。一方、第3閾値以上である場合(ステップS1550でYES)、ステップS1560に進む。
【0134】
次に、ステップS1555で、現在処理中の文書IDに対応した文書候補リストの類似度合計とステップS1540で算出された類似度から1ページあたりの平均類似度を求め、平均類似度が第1閾値以上であるか否かを判定する。第1閾値未満である場合(ステップS1555でNO)、ステップS1570に進む。一方、第1閾値以上である場合(ステップS1555でYES)、ステップS1560に進む。
【0135】
次に、ステップS1560で、現在処理中の文書IDに対応した文書候補リストの類似度合計に、ステップS1540で算出された類似度を累積加算する。その後、ステップS1510へ戻り、比較先文書となる次の文書IDを文書候補リストから取得する。
【0136】
一方、ステップS1570で、文書候補リストから、現在処理中の文書IDに対応した項目(文書ID及び類似度合計)を削除し、ステップS1510へ戻り、比較先文書となる次の文書IDを文書候補リストから取得する。
【0137】
ステップS1520において、全ての文書IDを取得した場合(ステップS1520でNO)、ステップS1580に進み、文書候補リストに登録されている文書IDを対応する類似度合計の値によって降順にソートし、比較処理を終了する。
【0138】
次に、ステップS1540のページ比較処理の詳細について、図15を用いて説明する。
【0139】
図15は本発明の実施形態1のページ比較処理の詳細を示すフローチャートである。
【0140】
まず、ステップS1610で、ブロック情報を参照し、処理対象となる文書ID、ページ番号に対応する電子データ中で、未比較のブロックの有無を判定する。未比較のブロックがない場合(ステップS1610でNO)、ステップS1670に進む。一方、未比較のブロックがある場合(ステップS1610でYES)、ステップS1620に進む。
【0141】
次に、ステップS1620で、比較対象のブロックの属性を判定する。属性が画像ブロックである場合、ステップS1640へ進む。一方、属性が文字ブロックである場合、ステップS1660へ進む。
【0142】
属性が画像ブロックである場合、ステップS1640で、色に関する特徴量情報で比較先ブロックとの類似比較である色特徴量情報比較処理を行う。この処理の詳細については後述する。これによって得られる類似度は、比較先の文書ID、ページ番号、ブロックIDに対応させて記憶部111に一時記憶する。
【0143】
一方、属性が文字ブロックである場合、ステップS1660で、文字の特徴量情報での比較元ブロックと比較先ブロックとの類似比較である文字特徴量情報比較処理を行う。この処理の詳細については後述する。また、これによって得られる類似度は、比較先の文書ID、ページ番号、ブロックIDに対応させて記憶部111に一時記憶する。
【0144】
次に、ステップS1610において、全てのブロックとの比較が終了した場合(ステップS1610でNO)、ステップS1670に進み、ステップS1640及びステップS1660の処理によって記憶部111に記憶されている、比較先文書(オリジナル文書)のページに含まれる全てのブロックの類似度を統合し、検索条件である紙文書とオリジナル文書中のページとの類似度を算出する統合処理を行う。
【0145】
次に、ステップS1640の色特徴量情報比較処理の詳細について、図16を用いて説明する。
【0146】
図16は本発明の実施形態1の色特徴量情報比較処理の詳細を示すフローチャートである。
【0147】
まず、ステップS1710で、比較元画像と比較先画像の色特徴量を色特徴量情報から読み出す。
【0148】
次に、ステップS1720で、処理対象とする画像中の着目メッシュブロックを先頭に設定する。ステップS1730で、比較元画像の色特徴量と、比較対象の色特徴量の類似度を示す類似距離を0にリセットする。
【0149】
ステップS1740で、未比較の着目メッシュブロックの有無を判定する。未比較の着目メッシュブロックがない場合(ステップS1740でNO)、ステップS1780に進む。一方、未比較の着目メッシュブロックがある場合(ステップS1740でYES)、ステップS1750に進む。
【0150】
ステップS1750で、比較元画像と比較先画像のそれぞれの色特徴量から、それぞれの着目メッシュブロックの色ビンIDを取得する。
【0151】
ステップS1760で、図17の色ビンペナルティマトリックスを参照して、取得した色ビンID間に対応する着目メッシュブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離は記憶部111に記憶する。
【0152】
ここで、色ビンペナルティマトリックスについて、図17を用いて説明する。
【0153】
図17は本発明の実施形態1の色ビンペナルティマトリックスの構成を示す図である。
【0154】
色ビンペナルティマトリックスは、色ビンID同士の局所的類似距離を管理するマトリックスである。図17によれば、色ビンペナルティマトリックスは、同一色ビンIDではその類似距離は0となり、色ビンID同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンIDの対角位置は全て、その類似距離は0で、それを境に対象性を持っている。
【0155】
このように、実施形態1では、色ビンペナルティマトリックスを参照するだけで、色ビンID同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【0156】
そして、ステップS1770で、図12の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップS1740に戻る。
【0157】
そして、ステップS1740で、未比較の着目メッシュブロックがない場合(ステップS1740でNO)、ステップS1780に進み、記憶部111に記憶されている類似距離を類似度に変換し、ブロックIDと対にして出力する。
【0158】
尚、類似度への変換は、例えば、類似距離が最小値のときを類似度100%、類似距離が最大値のときを類似度0%として、その範囲内の類似距離に対する類似度は、最小値あるいは最大値に対する差に基づいて算出するようにすれば良い。
【0159】
次に、ステップS1660の文字特徴量情報比較処理の詳細について説明する。
【0160】
この処理では、比較元画像と比較先画像中のそれぞれの文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。
【0161】
尚、検索条件とする紙文書とオリジナル文書との比較である場合、類似度は100%となるのが理想的であるが、実際には、検索条件となる紙文書中の文字ブロックに対するOCR処理では誤認識が発生する場合があるので、オリジナル文書との比較であっても、類似度は100%にならないことはあるが、かなり100%に近い値となる。
【0162】
次に、ステップS1670の統合処理の詳細について説明する。
【0163】
この統合処理では、比較先画像であるオリジナル文書内で占めている割合の大きいブロックの類似度が、オリジナル文書全体の類似度としてより大きく反映されるような、算出されたブロック毎の類似度の統合を行う。
【0164】
例えば、オリジナル文書中のブロックB1〜B6に対し、ブロック毎の類似率がn1〜n6と算出されたとする。このときオリジナル文書全体の総合類似率Nは、以下の式で表現される。
【0165】
N=w1*n1+w2*n2+w3*n3+ ・・・ +w6*n6 (1)
ここで、w1〜W6は、各ブロックの類似率を評価する重み係数である。重み係数w1〜w6は、ブロックのオリジナル文書内占有率により算出する。例えば、ブロック1〜6のサイズをS1〜S6とすると、ブロック1の占有率w1は、
w1=S1/(S1+S2+・・・+S6) (2)
として算出することができる。
【0166】
このような占有率を用いた重み付け処理により、オリジナル文書内で大きな領域を占めるブロックの類似度がより、オリジナル文書全体の類似度に反映することができる。
【0167】
次に、ステップS3170の候補表示/選択処理時のユーザインタフェースの一例について、図18を用いて説明する。
【0168】
図18は本発明の実施形態1のユーザインタフェースの一例を示す図である。
【0169】
1917は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。
【0170】
1919〜1928は、検索結果として出力するオリジナル文書(電子ファイルもしくは画像データ)候補の所定ページのサムネイル画像群である。このサムネイル画像の表示は、1919から番号順に類似度の高い順で表示されている。
【0171】
この例では、最大10のサムネイル画像が表示され、オリジナル文書候補が10以上である場合には、上位10までのサムネイル画像が表示される。そして、このサムネイル画像群1919〜1928から、所望するサムネイル画像を選択することで、所望のオリジナル文書を選択することが可能であり、その選択したオリジナル文書に対する各種処理を実行することが可能となる。
【0172】
1929は文書中の何ページ目の候補が表示されているかを示すものである。また、これを選択することで、他のページの候補を切り替えて表示させることができる。
【0173】
以上説明したように、実施形態1によれば、複数ページからなる紙文書から対応するオリジナル文書を検索する場合には、その紙文書を1ページずつ読み込んでページ単位の比較処理を行って、オリジナル文書を検索する。これにより、処理に必要とするメモリ容量を小さくすることができ、コストの低減を図ることができる。
【0174】
また、1ページ単位で比較処理を行い、検索結果を一意に特定できた時点で、以降の未処理のページの比較処理を実行することなく、処理を終了するので、検索条件となる複数ページの紙文書のすべてのページに対する比較処理を行う必要が無くなり、オリジナル文書の検索の精度を落とすことなく、処理速度を向上することができる。
【0175】
また、複数ページの紙文書の先頭から各ページの比較処理を行う毎に、その比較処理結果に基づいて、検索対象となる比較先文書をより検索条件に合致すると想定される比較先文書に絞り込むことにより、処理速度を向上しながら、検索精度を向上することができる。
【0176】
<<実施形態2>>
実施形態1では、1枚の紙文書に1ページ分の文書が構成されている、複数ページからなる紙文書(比較元文書)をページ単位で比較処理を行う構成としているが、実施形態2では、1枚の紙文書に複数ページ分の文書が構成されている紙文書(比較元文書)から、その文書内のページ画像を取得して、そのページ画像単位で比較処理を行う構成について説明する。
【0177】
以下、実施形態2の検索処理について、図19を用いて説明する。
【0178】
図19は本発明の実施形態2の検索処理を示すフローチャートである。
【0179】
尚、図19において、実施形態1の図3Cの検索処理と同一の処理ステップには、同一のステップ番号を付加し、その詳細については省略する。
【0180】
ステップS3105の文書候補リストの初期化後、ステップS2015で、MFP100の画像読取部110を動作させ、1ページ分の紙文書をラスタ状に走査してラスタ画像を記憶部111に読み込む。
【0181】
次に、ステップS2020で、ステップS2015で読み込んだラスタ画像を含むユーザインタフェースを表示部116に表示し、オペレータからのユーザインタフェースを介する、ラスタ画像内のページ画像領域のレイアウト(ラスタ画像に含まれるオリジナル文書のページ数、ページの配置及び並び順)の指定を受け付ける。この指定は、例えば、1枚の紙文書に2ページ分、4ページ分等の複数ページ分の文書がレイアウトされている紙文書を検索条件とすることを想定している。
【0182】
次に、ステップS2025で、ステップS2020で指定されたラスタ画像内のページ画像領域のレイアウトに従って、ラスタ画像内のページ画像領域の各ページ画像を一つずつ取得する。
【0183】
ステップS2030で、ラスタ画像内の全てのページ画像の取得が終了したか否かを判定する。取得が終了した場合(ステップS2030でYES)、ステップS3170に進む。一方、取得が終了していない場合(ステップS2030でNO)、ステップS2035に進む。
【0184】
ステップS2035で、取得したラスタ画像内のページ画像に対して、ブロックセレクション(BS)処理を行なう。尚、ブロックセレクション処理自体は、実施形態1の図3CのステップS3130と同じ処理内容であるが、実施形態1のステップS3130がラスタ画像全体に対してブロックセレクション処理を行うのに対し、実施形態2のステップS2035では、ラスタ画像内のページ画像に対してブロックセレクション処理を行なう点が異なる。
【0185】
そのため、実施形態2では、ブロックセレクション処理によって得られるブロック情報の位置は、そのページ画像の位置がラスタ画像全体の位置に対する位置となるように補正を加える。
【0186】
そして、以降、ブロックセレクション処理によって得られるブロック情報に基づいて、実施形態1と同様に、特徴量情報抽出処理、比較処理を行って、比較元画像に対応するオリジナル文書を特定する。
【0187】
次に、ステップS2020の画像内ページ数指定時のユーザインタフェースの一例について、図20を用いて説明する。
【0188】
図20は本発明の実施形態2のユーザインタフェースの一例を示す図である。
【0189】
尚、画像内ページ数指定とは、ラスタ画像内に含まれるページ画像領域のレイアウト(オリジナル文書のページ数とページの配置と並び順)をオペレータが指定するものである。
【0190】
1411は表示・操作パネルである。1412〜1415は各種機能ボタンであり、それぞれの機能ボタン1412〜1415は、処理対象の画像の印刷指示、配信指示、蓄積指示及び編集指示を行うためのものである。
【0191】
1416はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。1425はテンキーであり、印刷時の枚数の指定や、1枚の紙に含まれるページ(ページ画像領域)数(レイアウト)の指定を行うことが可能である。
【0192】
1417は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。1418は紙文書確認用領域であり、画像読取部110で読み取った紙文書画像を、領域内に収まるサイズに縮小して表示する。ユーザは紙文書画像の状態を、この領域1418で確認することが可能となる。
【0193】
1419は入力原稿の種類を確認する領域であり、読み取った紙文書のページレイアウト(1枚に含まれる元のオリジナル文書のページの配置)を確認することができる。
【0194】
この領域1419内において、1420は読み取った紙文書1枚に含まれるページ数を指定する指定領域である。特に、指定がない場合は、指定領域1420には、1が設定される。1424は1枚の紙文書中でのオリジナル文書のページの配置(位置と順番)を指定する指定領域である。特に、順番は、指定領域1424中で数字で表示される。また、ページの位置の変更は、指定領域1424の該当するページ領域を触れることで変更できるが、指定領域1420で指定されたページ数の配置の組み合わせの中で変更することもできる。
【0195】
尚、図20の例では、領域1418に示されるように、紙文書1枚あたりに4ページの文書が配置された紙文書が読み込まれた状態であり、かつページのレイアウトの指定で、ページ数は4ページで、左から右、上から下の順番にページが配置されていることを指定した状態を示している。
【0196】
このようなユーザインタフェースを構成することで、読み取った紙文書中のページレイアウトを指定することができる。
【0197】
以上説明したように、実施形態2によれば、実施形態1で説明した効果に加えて、1枚の紙文書に複数ページの文書が構成されている場合にも、効率良くオリジナル文書の検索を実行することができる。
【0198】
尚、図10の色特徴量情報抽出処理では、処理対象画像の最頻色を色特徴情報として抽出する例を説明したが、これに限定されるものではなく、例えば、平均色を色特徴情報として抽出するようにしても良い。
【0199】
また、画像特徴量として色特徴量を用いたが、これに限定されるものではなく、例えば、最頻輝度、平均輝度等の輝度特徴量、共起行列、コントラスト、エントロピ、Gabor変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量等の複数種類の画像特徴量を1つ、或いは、任意に組み合わせた画像特徴量を用いても良い。
【0200】
また、ブロックセレクション処理を行い、処理対象の文書を文字ブロックと画像ブロックに分割し、これらの各ブロックの特徴量を複合的に用いて検索を行ったが、文書全体を1つの画像とみなし、オリジナル文書の検索を行うようにしても構わない。また、精度が許容される範囲ならば、文書中の画像ブロックのみを利用して、オリジナル文書の検索を行うようにしても構わない。
【0201】
また、電子文書を、一旦、ラスタ画像に変換したが、電子文書から直接、文字コードや画像を抜き出して比較してももちろん構わない。
【0202】
また、文字特徴量としては文字コードを採用したが、例えば、単語辞書とのマッチングを予め行って単語の品詞を抽出しておき、名詞である単語を文字特徴量としても良い。
【0203】
また、図3Cあるいは図20のステップ3150の比較処理では、画像もしくは文字の特徴量を用いて比較処理を実行していたが、画像データ同士を直接比較する構成として良い。
【0204】
実施形態1や2では、画像読取部110(スキャナ)と印刷部112(プリンタ)が一体に構成されているMFP100を例に挙げて説明したが、画像読取部110と印刷部112をそれぞれ個別の機器として、LAN107、もしくはクライアントPC102等に接続して構成するようにしても良い。この場合、MFP100のそれ以外の構成要素は、マネージメントPC101に含まれることになり、画像読取部110(スキャナ)と印刷部112(プリンタ)との接続は、ネットワークI/F114を介して、LAN107経由で接続されることになる。
【0205】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0206】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【0207】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0208】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【0209】
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
【0210】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0211】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0212】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【0213】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【0214】
【発明の効果】
以上説明したように、本発明によれば、印刷物からオリジナルの電子文書を検索する場合に、その印刷物が複数のページから構成される文書であっても、処理に必要とするメモリ容量を増加させずに、オリジナルの電子文書を精度良く検索することができる画像処理装置及びその制御方法、プログラムを提供できる。
【図面の簡単な説明】
【図1】本発明の実施形態1の画像処理システムの構成を示すブロック図である。
【図2】本発明の実施形態1のMFPの詳細構成を示すブロック図である。
【図3A】本発明の実施形態1の電子文書の登録処理を示すフローチャートである。
【図3B】本発明の実施形態1の紙文書の登録処理を示すフローチャートである。
【図3C】本発明の実施形態1の検索処理を示すフローチャートである。
【図4】本発明の実施形態1のアドレス情報の一例を示す図である。
【図5】本発明の実施形態1のブロック情報の一例を示す図である。
【図6】本発明の実施形態1の特徴量情報の一例を示す図である。
【図7】本発明の実施形態1の特徴量情報の一例を示す図である。
【図8】本発明の実施形態1の文書候補リストの例を示す図である。
【図9】本発明の実施形態1の画像ブロック抽出の一例を示す図である。
【図10】本発明の実施形態1の色特徴量情報抽出処理の詳細を示すフローチャートである。
【図11】本発明の実施形態1の画像メッシュブロック分割の一例を示す図である。
【図12】本発明の実施形態1の順序決定テーブルの一例を示す図である。
【図13】本発明の実施形態1の色空間上の色ビンの構成の一例を示す図である。
【図14】本発明の実施形態1の比較処理の詳細を示すフローチャートである。
【図15】本発明の実施形態1のページ比較処理の詳細を示すフローチャートである。
【図16】本発明の実施形態1の色特徴量情報比較処理の詳細を示すフローチャートである。
【図17】本発明の実施形態1の色ビンペナルティマトリックスの構成の一例を示す図である。
【図18】本発明の実施形態1のユーザインタフェースの一例を示す図である。
【図19】本発明の実施形態2の検索処理を示すフローチャートである。
【図20】本発明の実施形態2のユーザインタフェースの一例を示す図である。
【符号の説明】
100 MFP
101 マネージメントPC
102 クライアントPC
103 プロキシサーバ
104 ネットワーク
105 データベース
106 文書管理サーバ
107 LAN
110 画像読取部
111 記憶部
112 印刷部
113 入力部
114、117 ネットワークI/F
115 データ処理部
116 表示部
118 データベース
Claims (9)
- 複数の画像データを記憶する記憶手段と、
複数ページからなる文書をページ単位で電子的に読み取る読取手段と、
前記読取手段で読み取ったページ単位で、前記文書と類似する画像データを前記記憶手段から検索する検索手段と、
前記検索手段で検索にヒットした画像データと前記文書とのページ単位の類似度に基づいて、前記読取手段で読み取った前記文書の更に別ページと類似する画像データを前記検索にヒットした画像データから前記検索手段によって検索する制御手段と
を備えることを特徴とする画像処理装置。 - 前記制御手段は、前記検索手段による検索結果として、前記文書の電子データに対応する画像データが一意に特定された場合、該文書の次ページ以降の文書の前記読取手段による読取を終了する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記検索手段は、前記読取手段で読み取った文書の電子データと比較する候補画像データ群を管理する候補リストに従って、候補画像データ群を前記記憶手段より取得する取得手段と、
前記取得手段で取得した候補画像データ群と前記文書の電子データを比較する比較手段とを備え、
前記比較手段の比較結果に基づいて、前記文書の電子データに対応する画像データを前記候補画像データ群から検索する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記制御手段は、前記検索手段による検索結果に基づいて、前記候補リストの内容を更新し、前記文書の次ページの文書を前記読取手段で読み取り、その次ページの文書の電子データに対応する画像データを前記更新された候補リストから前記検索手段によって検索する
ことを特徴とする請求項3に記載の画像処理装置。 - 前記文書の電子データに含まれるページ画像のページ数を指定する指定手段を更に備え、
前記比較手段は、前記指定手段で指定されたページ数に基づいて決定される処理対象領域の部分電子データと、前記取得手段で取得した候補画像データ群と比較する
ことを特徴とする請求項3に記載の画像処理装置。 - 前記比較手段は、前記文書の電子データの特徴量を抽出する抽出手段を備え、
前記抽出手段で抽出した特徴量を用いて、前記文書の電子データと、前記取得手段で取得した候補画像データ群と比較する
ことを特徴とする請求項3に記載の画像処理装置。 - 前記抽出手段は、前記文書の電子データの画像特徴量及び文字特徴量のいずれかまたは両方を抽出する
ことを特徴とする請求項6に記載の画像処理装置。 - 複数ページからなる文書をページ単位で電子的に読み取る読取工程と、
前記読取工程で読み取ったページ単位で、前記文書と類似する画像データを記憶媒体に記憶されている複数の画像データから検索する検索工程と、
前記検索工程で検索にヒットした画像データと前記文書とのページ単位の類似度に基づいて、前記読取工程で読み取った前記文書の更に別ページと類似する画像データを前記検索にヒットした画像データから前記検索工程によって検索する制御工程と
を備えることを特徴とする画像処理装置の制御方法。 - 複数ページからなる文書をページ単位で電子的に読み取る読取工程と、
前記読取工程で読み取ったページ単位で、前記文書と類似する画像データを記憶媒体に記憶されている複数の画像データから検索する検索工程と、
前記検索工程で検索にヒットした画像データと前記文書とのページ単位の類似度に基づいて、前記読取工程で読み取った前記文書の更に別ページと類似する画像データを前記検索にヒットした画像データから前記検索工程によって検索する制御工程と
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003143493A JP4047222B2 (ja) | 2003-05-21 | 2003-05-21 | 画像処理装置及びその制御方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003143493A JP4047222B2 (ja) | 2003-05-21 | 2003-05-21 | 画像処理装置及びその制御方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004349940A JP2004349940A (ja) | 2004-12-09 |
JP2004349940A5 JP2004349940A5 (ja) | 2006-02-09 |
JP4047222B2 true JP4047222B2 (ja) | 2008-02-13 |
Family
ID=33531271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003143493A Expired - Fee Related JP4047222B2 (ja) | 2003-05-21 | 2003-05-21 | 画像処理装置及びその制御方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4047222B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4717565B2 (ja) * | 2005-09-12 | 2011-07-06 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
JP4829768B2 (ja) * | 2006-12-19 | 2011-12-07 | キヤノン株式会社 | 画像形成装置、画像形成装置の制御方法、画像形成装置を管理する管理装置、及び画像形成装置を管理する管理装置の制御方法 |
JP5812769B2 (ja) * | 2011-08-31 | 2015-11-17 | キヤノン株式会社 | 文書管理システム、文書管理方法、プログラム |
KR20220050356A (ko) * | 2020-10-16 | 2022-04-25 | 삼성에스디에스 주식회사 | 문서 인식 장치 및 방법 |
-
2003
- 2003-05-21 JP JP2003143493A patent/JP4047222B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004349940A (ja) | 2004-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4405831B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
JP4371965B2 (ja) | 画像処理装置、画像処理方法 | |
JP4266695B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4920928B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
JP4181892B2 (ja) | 画像処理方法 | |
US8326090B2 (en) | Search apparatus and search method | |
US7593961B2 (en) | Information processing apparatus for retrieving image data similar to an entered image | |
US7746507B2 (en) | Image processing apparatus for image retrieval and control method therefor | |
JP5063422B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
US8144988B2 (en) | Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program | |
US8818110B2 (en) | Image processing apparatus that groups object images based on object attribute, and method for controlling the same | |
JP2004334337A (ja) | 画像処理装置 | |
JP4047222B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
US8194982B2 (en) | Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program | |
JP2006333248A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
JP2004348467A (ja) | 画像検索装置及びその制御方法、プログラム | |
JP5298997B2 (ja) | 文書画像編集装置、文書画像編集方法、文書画像編集プログラム、及びその方法をコンピュータに実行させるプログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
JP2005149323A (ja) | 画像処理システム及び画像処理装置並びに画像処理方法 | |
JP4405861B2 (ja) | 画像処理装置、情報処理装置及びそれらの制御方法、プログラム | |
JP2006023946A (ja) | 画像処理装置及びその制御方法、プログラム | |
JP2008107901A (ja) | 画像処理装置及びその制御方法、プログラム | |
JP2005352783A (ja) | 画像処理システム、方法、プログラム及び記憶媒体 | |
JP5420032B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070813 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071121 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4047222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |