JP4741290B2

JP4741290B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体

Info

Publication number: JP4741290B2
Application number: JP2005154260A
Authority: JP
Inventors: 忍山本; 学平劉; 敏文山合; 慶久大黒; 利夫宮澤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2005-05-26
Filing date: 2005-05-26
Publication date: 2011-08-03
Anticipated expiration: 2025-05-26
Also published as: JP2006331111A

Description

本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に係り、特に画像データを用いて所望のファイルを抽出する画像処理装置、画像処理方法、プログラム及び記録媒体に関する。

近年、デジタル複合機等の画像処理装置は、ＬＡＮやインターネット等のネットワークへの接続機能が搭載されるようになった。このような画像処理装置は、ネットワーク経由で接続されている文書管理システムへの画像データの送信、又は文書管理システムからの画像データの受信が可能である。また、画像処理装置はハードディスク装置（以下、ＨＤＤという）等の補助記憶装置が搭載されており、画像データの保存が可能である。

画像処理装置は、画像データを紙等の媒体に出力画像として出力し、又は電子データを出力画像として出力する。ところで、画像処理装置から出力された出力画像は複写等や書き込み等により劣化していく。

従って、劣化していない出力画像を得る為には、文書管理システム又は画像処理装置のＨＤＤに保存されているオリジナルデータ（例えば画像データや画像データを作成する為のファイルなど）を利用して操作パネル等の表示装置に画像を表示させ、出力画像のオリジナルデータを探す必要があった。

特許文献１には、出力画像からオリジナルデータを自動的に抽出する画像処理方法および装置が開示されている。特許文献１は画像データを出力するときに、出力画像の一部にオリジナルデータに関する情報を付加しておき、出力画像をスキャンしたときにオリジナルデータに関する情報からオリジナルデータを抽出するものである。

特許文献２には、出力画像からオリジナルデータを自動的に抽出する画像処理装置、文書管理システム、画像処理装置の制御方法、及び制御プログラムが開示されている。特許文献２は、出力画像からテキストデータを抽出し、その文字認識結果によってオリジナルデータを抽出するものである。
特開平６−１８９０９０号公報特開２００４−１１８２９６号公報

特許文献１に開示されている技術では、出力画像の一部にオリジナルデータに関する情報を付加情報として予め付加しておく必要がある。つまり、特許文献１に開示されている技術では出力画像の出力時に特殊な処理が必要であった。また、特許文献１に開示されている技術では付加情報の部分が汚損したり、複写されて劣化したりすると、付加情報を正しく読み取れず、正しい結果が得られないことがある。

特許文献２に開示されている技術では、出力画像にテキスト画像が必要であり、テキスト画像の存在しない出力画像に適用できない。また、特許文献２に開示されている技術では、スキャン時の条件を揃えないと文字認識結果が変化し、正しい結果が得られないことがある。さらに、文字認識処理は負荷が大きいという問題もあった。

出力画像からオリジナルデータを自動的に抽出できない従来の画像処理装置では、操作パネル等の表示装置に表示された画像を参考にして出力画像のオリジナルデータを操作者自身が探す必要があり、操作者にとって負担であった。

本発明は、上記の点に鑑みなされたもので、出力画像のオリジナルデータを迅速かつ容易に抽出可能な画像処理装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。

上記課題を解決するため、本発明の画像処理装置は、入力された第１の画像データと、ファイルに関連付けられている第２の画像データとに対して少なくとも縮小正規化を含む前処理を行なう前処理部と、前記第１及び第２の画像データの前処理後に、前記第１及び第２の画像データの類似度を前記第１及び第２の画像データの各画素の値の差に基づき求める画像照合部と、前記第１の画像データと複数の前記第２の画像データとを前記画像照合部に順次照合させて、照合結果である類似度に従って前記第２の画像データを並び替える制御部と、前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の少なくとも一方を出力する画像情報出力部とを有し、前記画像情報出力部は、前記前処理により前記第１及び第２の画像データを縮小した度合いが大きくなるほど、前記出力する前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の数が多くなるように調整する。

また、本発明のプログラムは、画像処理装置を、入力された第１の画像データと、ファイルに関連付けられている第２の画像データとに対して少なくとも縮小正規化を含む前処理を行なう前処理部と、前記第１及び第２の画像データの前処理後に、前記第１及び第２の画像データの類似度を前記第１及び第２の画像データの各画素の値の差に基づき求める画像照合部と、前記第１の画像データと複数の前記第２の画像データとを前記画像照合部に順次照合させて、照合結果である類似度に従って前記第２の画像データを並び替える制御部と、前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の少なくとも一方を出力する画像情報出力部として機能させ、前記画像情報出力部は、前記前処理により前記第１及び第２の画像データを縮小した度合いが大きくなるほど、前記出力する前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の数が多くなるように調整するように機能させることを特徴とする。

また、本発明のプログラムを記録したコンピュータ読み取り可能な記録媒体はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク（ＭＯ）等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、又はＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体である。
また、本発明の情報処理方法は、画像処理装置によって実行される画像処理方法であって、入力された第１の画像データと、ファイルに関連付けられている第２の画像データとに対して少なくとも縮小正規化を含む前処理を行なう前処理ステップと、前記第１及び第２の画像データの前処理後に、前記第１及び第２の画像データの類似度を前記第１及び第２の画像データの各画素の値の差に基づき求める画像照合ステップと、前記第１の画像データと複数の前記第２の画像データとの照合結果である類似度に従って前記第２の画像データを並び替える並び替えステップと、前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の少なくとも一方を出力する画像情報出力ステップとを有し、前記画像情報出力ステップは、前記前処理により前記第１及び第２の画像データを縮小した度合いが大きくなるほど、前記出力する前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の数が多くなるように調整する。

本発明では、入力された第１の画像データと、ファイルに関連付けられている第２の画像データとの類似度を各画素の値の差に基づき求め、第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられているファイルの情報の少なくとも一方を出力することにより、付加情報やテキストデータを利用することなく、第１及び第２の画像データの各画素値の差に基づいて出力画像のオリジナルデータを迅速かつ容易に抽出することができる。

本発明によれば、出力画像のオリジナルデータを迅速かつ容易に抽出可能な画像処理装置、画像処理方法、プログラム及び記録媒体を提供可能である。

次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。なお、以下の実施例では、本発明を実現する為の各種処理部を画像処理装置に設けた例を説明するが、少なくとも一部を文書管理システムに設けてもよい。また、以下の実施例では後述する入力画像データのオリジナルデータが後述する参照画像データとして画像処理装置又は文書管理システムに保存されていることを前提としている。

図１は、本発明の画像処理装置１を含むシステムの第１実施例の構成図である。図１のシステムは、画像処理装置１と文書管理システム２とが、例えばＬＡＮやインターネット等のネットワーク経由で接続されている。

画像処理装置１は、スキャナーや複合機等の画像を扱う装置である。文書管理システム２は、各種アプリケーション用のファイルや画像データを保存して管理する。また、文書管理システム２はファイル（例えば画像ファイル）から作成される画像データ（例えばサムネイル）を、そのファイルに関連付けて管理している。

画像処理装置１は、制御部１０，画像入力部１１，画像情報出力部１２，ネットワーク接続部１３，画像照合部１４，メモリ１５を含む構成である。画像入力部１１は、スキャナ等の画像入力装置である。また、画像入力部１１は紙等の媒体（原稿）上に出力されている画像を読み取って、その画像の画像データに変換する。

画像情報出力部１２は、例えば操作パネルやモニタ等の表示装置、プリンタ等の印刷装置等である。画像情報出力部１２は、画像データ，ファイルの情報等を出力する。ネットワーク接続部１３は、ＬＡＮやインターネット等のネットワークへの接続機能を有するネットワーク接続装置である。

画像照合部１４は２つの画像データを照合し、２つの画像データの類似度を各画素の値の差に基づいて求める。メモリ１５は、画像処理装置１に掛かる各種処理を実行する為の各種データ、例えば画像データ，ファイルを保存する。また、制御部１０は画像処理装置１に掛かる各種処理フローを制御する。画像処理装置１は、例えば画像データを紙等の媒体に出力画像として出力するときに、その画像データをメモリ１５又は文書管理システム２に保存する。なお、図１の画像処理装置１の各処理部は、プログラムに従って処理を実行する。

図１６は、本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。図１６の画像処理装置１は、それぞれバスBで相互に接続されているドライブ装置２００と、補助記憶装置２０２と、メモリ装置２０３と、演算処理装置２０４と、表示装置２０５と、入力装置２０６と等を有するように構成される。

画像処理装置１１での処理を実現するプログラムは、CD―ROM等の記録媒体２０１によって提供される。プログラムを記録した記録媒体２０１がドライブ装置２００にセットされると、プログラムが記録媒体２０１からドライブ装置２００を介して補助記憶装置２０２にインストールされる。補助記憶装置２０２は、インストールされたプログラムを格納すると共に、処理対象とする画像データ等を格納する。

メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムを読み出して格納する。演算処理装置２０４は、メモリ装置２０３に格納されたプログラムに従って画像処理装置１に係る機能を実行する。表示装置２０５はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置２０６はキーボード及びマウス等で構成され、様々な操作指示を入力するために用いられる。

画像処理装置１１をネットワークに接続することにより、他の端末からリモートで操作を行ってもよい。この場合、ドライブ装置２００、表示装置２０５及び入力装置２０６等は当該他の端末が有していればよく、画像処理装置１が必ずしも備えている必要はない。

なお、画像処理装置１は、ＰＣ（Personal Computer）等の汎用的なコンピュータを用いて実現してもよい。また、プリンタ機能やスキャナ機能等、複数の機能を一台の筐体によって実現する複合機又は融合機と呼ばれる画像処理装置によって実現してもよい。

図２は、画像処理装置１が行なう処理の第１実施例のフローチャートである。ステップＳ１０に進み、画像処理装置１は画像入力部１１から画像データ（以下、入力画像データという）が入力される。制御部１０は、入力画像データをメモリ１５に保存する。

ステップＳ１１に進み、制御部１０はネットワーク接続部１３を操作してネットワークに接続し、文書管理システム２から画像データ（以下、参照画像データという）を１つ呼び出す。制御部１０は、文書管理システム２から全ての参照画像データを一度に読み出してメモリ１５に格納しておき、メモリ１５から１つずつ参照画像データを読み出すようにしてもよい。ステップＳ１２に進み、制御部１０は入力画像データと参照画像データとを画像照合部１４に照合させて、入力画像データ及び参照画像データの類似度を次のように求める。

図３は、画像照合の一例のイメージ図である。画像照合部１４は、入力画像データと参照画像データとを重ね合わせ、対応する位置にある各画素の値の差を取り、差の絶対値の総和を求める。対応する位置にある各画素の値の差は、１色（例えばＧ）の明度成分から求めてもよい。１色の明度成分から各画素の値の差を求めた場合は、例えば複写などで変化した色の差を吸収できる。

求めた差の絶対値の総和は、入力画像と参照画像とが似ていればゼロに近づき、入力画像と参照画像とが似ていなければ大きな値となる。即ち、求めた差の絶対値の総和は、入力画像と参照画像とが似ているか似ていないかを表している。従って、入力画像と参照画像との類似度は、求めた差の絶対値の総和で表される。なお、入力画像と参照画像との類似度は、求めた差の絶対値の総和を変換して用いてもよい。

例えば求めた差の絶対値の総和は、入力画像と参照画像との類似度が大きいときにゼロに近づき、類似度が小さいときに大きな値となるため、（−１）を掛けるような式で変換することにより、入力画像と参照画像との類似度が大きいときに大きな値、類似度が小さいときに小さな値とすることができる。制御部１０は、求めた類似度を参照画像データと対応付けて例えばメモリ１５に保存する。

ステップＳ１３に進み、制御部１０は入力画像データを全ての参照画像データと照合させたか否かを判定する。制御部１０は、入力画像データを全ての参照画像データと照合させていないと判定すると（Ｓ１３においてＮＯ）、ステップＳ１１に戻る。即ち、制御部１０は入力画像データを全ての参照画像データと照合させるまで、画像照合部１４に順次照合を行わせる。

一方、制御部１０は、入力画像データを全ての参照画像データと照合させたと判定すると（Ｓ１３においてＹＥＳ）、ステップＳ１４に進み、照合結果である類似度に従って参照画像データをソートする。この結果、参照画像データは入力画像データとの類似度が大きい順番に並び替えられる。

ステップＳ１５に進み、画像情報出力部１２は入力画像データとの類似度が大きい参照画像データ、その画像データの情報（例えば、画像データのファイル名，保存されているサーバ名，フォルダ名など）、その画像データと関連付けられているファイルの情報を出力できる。

画像処理装置１は、入力画像データとの類似度が大きい参照画像データが、入力画像のオリジナルデータである可能性が高いことに着目し、入力画像データとの類似度が大きい順番に並び替えた参照画像データを操作者に呈示する。したがって、操作者は呈示された参照画像データから容易にオリジナルデータを抽出できる。なお、画像処理装置１は入力画像データとの類似度が最も大きい参照画像データをオリジナルデータとして抽出するようにしてもよい。

また、画像処理装置１は、類似度の近い画像データが複数あり、スキャナなどの入力条件の違いによってオリジナルデータの順位が下がることがあるが、似ている順番に所定数の参照画像データを操作者に呈示する。したがって、操作者は呈示された参照画像データから容易にオリジナルデータを抽出できる。

画像処理装置１は、入力画像データと参照画像データとを前述した簡単な方法で照合することにより、入力画像データに類似している参照画像データを迅速に抽出することができる。また、画像処理装置１は入力画像データとの類似度が大きい順番に並び替えた所定数の参照画像データをオリジナルデータの候補として呈示することで、スキャナなどの入力条件の違いによって第一位の画像データがオリジナルデータでなくても、第二位以下の画像データから容易にオリジナルデータを抽出できる。

本発明の画像処理装置１を含むシステムの第２実施例の構成は、図１の構成と同様であるので、説明を省略する。また、画像処理装置１が行なう処理のフローチャートは、一部を除いて図２のフローチャートと同様であるので、同一部分の説明を省略する。

図４は、画像処理装置１が行なう処理の第２実施例のフローチャートである。ステップＳ２０及びＳ２１は、図２のステップＳ１０及びＳ１１と同様である。ステップＳ２２に進み、制御部１０は入力画像データと参照画像データとの照合を、画像照合部１４に指示する。画像照合部１４は、入力画像データ及び参照画像データを重ね合わせる際、次のように入力画像データ又は参照画像データを予め定められている範囲内で平行移動させてから重ね合わる。そして、ステップＳ２３に進み、画像照合部１４は平行移動量に対する入力画像データと参照画像データとの類似度を次のように求める。

図５は、平行移動及び画像照合の一例のイメージ図である。画像照合部１４は、入力画像データ及び参照画像データを重ね合わせる際、入力画像データ又は参照画像データを平行移動量（ｉ，ｊ）だけ平行移動させてから重ね合わる。平行移動量は、画像入力部１１の精度を考慮して決めれば良いが、例えば±５画素などである。

図５では、平行移動量（０，０）及び平行移動量（２，１）の入力画像データ及び参照画像データを表している。画像照合部１４は、重ね合わされた入力画像データ及び参照画像データの対応する位置にある各画素の値の差を取り、平行移動量（ｉ，ｊ）に対する差の絶対値の総和を求める。

ステップＳ２４に進み、画像照合部１４は平行移動量（ｉ，ｊ）に対する差の絶対値の総和を全て求めたかを判定する。言い換えれば、ステップＳ２４では予め定められている全ての範囲内で入力画像データ及び参照画像データの平行移動および照合を行ったか否かを判定している。入力画像データ及び参照画像データの平行移動は、入力画像データ及び参照画像データの何れか一方を固定し、他方を予め定められている全ての範囲内（例えばｉ＝−５〜＋５、ｊ＝−５〜＋５）で平行移動させることで行なう。

予め定められている全ての範囲内で入力画像データ及び参照画像データの平行移動および照合を行っていなければ（Ｓ２４においてＮＯ）、画像照合部１４はステップＳ２２に戻る。即ち、画像照合部１４は平行移動量（ｉ，ｊ）に対する差の絶対値の総和を全て求めるまで、順次平行移動及び照合を行なう。

一方、予め定められている全ての範囲内で入力画像データ及び参照画像データの平行移動および照合を行っていれば（Ｓ２４においてＹＥＳ）、制御部１０はステップＳ２５に進み、平行移動量（ｉ，ｊ）に対する差の絶対値の総和から平行移動量（ｉ，ｊ）に対する類似度を求める。

図６は、平行移動量（ｉ，ｊ）に対する差の絶対値の総和および類似度を表した一例のテーブルである。図６のテーブルは、例えばメモリ１５に保存される。制御部１０は、図６のようなテーブルから最も大きな類似度を、参照画像データの類似度とする。制御部１０は、求めた類似度を参照画像データと対応付けて例えばメモリ１５に保存する。

例えば±５画素の範囲内で入力画像データ又は参照画像データを平行移動させて類似度を求める場合は、１１×１１＝１２１回の入力画像データ及び参照画像データの照合が実施される。制御部１０は、１２１回の照合により求められた類似度の内、最も大きな類似度を、参照画像データの類似度とする。ステップＳ２６〜Ｓ２８の処理は、図２のステップＳ１３〜Ｓ１５と同様である。

画像処理装置１は、入力画像データ又は参照画像データを予め定められている範囲内で平行移動させながら複数の類似度を求め、最も大きな類似度を利用することにより、例えばスキャナなどの画像入力部１１から入力した入力画像データに位置ずれ等が生じていたとしても、より高い精度の照合結果が得られる。

図７は、本発明の画像処理装置１を含むシステムの第３実施例の構成図である。図７のシステムは、画像処理装置１の構成が図１のシステムと異なっている。図７の画像処理装置１は図１の画像処理装置１の構成に前処理部１６が追加された構成である。前処理部１６は、入力画像データ又は参照画像データに前処理を行なう。前処理は、画像の回転方向のずれを補正する傾き補正，画像の天地方向の補正，画像の縮小正規化の少なくとも１つ以上から成る。

傾き補正は、例えばスキャナ等でスキャンしたときに生じる回転方向のずれを検出して補正する処理である。傾き補正は、例えば特開平１０−７４２３９号公報に記載されている方法を用いればよい。傾き補正を行なうことで、画像処理装置１は一致する画像データとの類似度が小さくなることを防いでいる。

天地方向の補正は、例えば天地方向で逆向きにセットされた原稿から読み取った画像を補正する処理である。天地方向の補正は、例えば特開平５−２３３８７５号公報に記載されている方法を用いればよい。天地方向の補正を行なうことで、画像処理装置１は一致する画像データとの類似度が小さくなることを防いでいる。

縮小正規化は、入力画像データ又は参照画像データに対し、一般的に知られているサンプリング又はバイキュービック法などを用いて、予め定められた倍率で縮小又は予め定められた大きさに縮小する処理である。例えば４００ｄｐｉでＡ４サイズの画像は、約１５００万個以上の画素から成る。したがって、対応する位置にある各画素の値の差を取るという簡単な方法であったとしても、照合は入力画像データ又は参照画像データのサイズが大きくなるほど処理時間が掛かるようになる。

そこで、画像処理装置１は縮小した画像データで照合することにより、処理時間を短くする。しかし、縮小した画像データでは、照合結果の精度の低下が生じる。そこで、画像処理装置１は、オリジナルデータの候補して呈示する参照画像データの数と、画像データを縮小する程度とを予め調整しておく。

例えば画像データを大幅に縮小すると照合結果の精度も低下する為、画像処理装置１はオリジナルデータの候補して呈示する参照画像データの数を多めに調整する。一方、画像データを大幅に縮小しなければ照合結果の精度も低下しない為、画像処理装置１はオリジナルデータの候補して呈示する参照画像データの数を少なめに調整する。

図８は、画像処理装置１が行なう処理の第３実施例のフローチャートである。なお、画像処理装置１が行なう処理のフローチャートは、一部を除いて図４のフローチャートと同様であるので、同一部分の説明を省略する。ステップＳ３１及びＳ３２は、図４のステップＳ２０及びＳ２１と同様である。

ステップＳ３２に進み、制御部１０は入力画像データ及び参照画像データへの前処理を前処理部１６に指示する。前処理部１６は、入力画像データ及び参照画像データに前述したような前処理を行なう。即ち、前処理は入力画像データ及び参照画像データの照合前に行われる。なお、ステップＳ３３〜Ｓ３９の処理は、入力画像データ及び参照画像データが前処理されていること以外、図４のステップＳ２２〜Ｓ２８の処理と同様である。

画像処理装置１は、入力画像データ及び参照画像データの照合前に前処理を行なうことにより、照合の処理時間を短縮できる。また、画像処理装置１はオリジナルデータの候補として呈示する参照画像データの数と画像データを縮小する程度とを調整しておくことにより、処理時間と照合結果の精度とのバランスを調整できる。

本発明の画像処理装置１を含むシステムの第４実施例の構成は、図７の構成と同様であるので、説明を省略する。また、画像処理装置１が行なう処理のフローチャートは、一部を除いて図８のフローチャートと同様であるので、同一部分の説明を省略する。

図９は、画像処理装置１が行なう第４実施例のフローチャートである。なお、第４実施例のシステムでは、予め前処理を行った参照画像データが画像処理装置１又は文書管理システム２に保存されていることを前提としている。予め前処理を行った参照画像データは例えばサムネイルを利用できる。

ステップＳ４０は、図８のステップＳ３０と同様である。ステップＳ４１に進み、制御部１０は入力画像データへの前処理を前処理部１６に指示する。前処理部１６は、入力画像データに前述したような前処理を行なう。ステップＳ４２に進み、制御部１０は予め前処理を行った参照画像データを１つ呼び出す。なお、ステップＳ４３〜Ｓ４９の処理は図８のステップＳ３３〜Ｓ３９の処理と同様である。

画像処理装置１は、自機又は文書管理システム２に予め保存してある前処理を行った参照画像データを利用する。つまり、ステップＳ４１の前処理では参照画像データに対して前処理を行なう必要が無く、入力画像データに対して前処理を行えばよい。画像処理装置１は、前処理を行った参照画像データを利用することにより、ステップＳ４１で行なう前処理の回数を減らすことができ、前処理の処理時間を短縮できる。

なお、予め前処理を行った参照画像データを自機又は文書管理システム２に保存しておく場合、縮小正規化は予め定められた大きさに縮小することが望ましい。縮小した参照画像データが予め定められた大きさに縮小されていれば、画像処理装置１は参照画像データの縮小後の大きさを調べることなく、入力画像データに対して前処理を行なうことができる。

図１０は、本発明の画像処理装置１を含むシステムの第５実施例の構成図である。図１０のシステムは、画像処理装置１の構成が図１のシステムと異なっている。図１０の画像処理装置１は図７の画像処理装置１の構成に特徴抽出部１７及び大分類部１８が追加された構成である。画像処理装置１は、照合を行なう参照画像データの数を減らして、照合の処理時間を短縮する。

特徴抽出部１７は、入力画像データ又は参照画像データから特徴量を抽出する。大分類部１８は、入力画像データの特徴量と参照画像データの特徴量とを比較することで、入力画像データと大きく異なる参照画像データを排除する。特徴量は、入力画像データと大きく異なる参照画像データを排除できれば良いので、計算量が少なく、且つ単純なものを使用することが望ましい。

ここでは、図１１に示す画像データの水平方向および垂直方向の周辺分布を求め、それぞれの周辺分布の統計量、例えば標準偏差などの値を特徴量として使用する。図１１は画像データの水平方向および垂直方向の周辺分布を表したイメージ図である。第５実施例のシステムでは、参照画像データの特徴量を予め求めておき、その特徴量が画像処理装置１又は文書管理システム２に保存されていることを前提としている。このように、第５実施例のシステムでは参照画像データの特徴量を予め求めておくことにより、入力画像データの特徴量を抽出すればよく、特徴量を抽出する処理時間を短縮できる。

図１２は画像処理装置１が行なう処理の第５実施例のフローチャートである。なお、画像処理装置１が行なう処理のフローチャートは、一部を除いて図９のフローチャートと同様であるので、同一部分の説明を省略する。

ステップＳ５０及びＳ５１は、図９のステップＳ４０及びＳ４１と同様である。ステップＳ５２に進み、制御部１０は入力画像データから特徴量を抽出するように特徴抽出部１７へ指示する。特徴抽出部１７は、入力画像データから水平方向の周辺分布の標準偏差ｄｘ及び垂直方向の周辺分布の標準偏差ｄｙを特徴量として抽出する。

ステップＳ５３に進み、制御部１０は参照画像データ及びその参照画像データの特徴量を読み出す。ステップＳ５４に進み、制御部１０は入力画像データ及びステップＳ５３で読み出したｋ番目の参照画像データの特徴量の比較を大分類部１８へ指示する。

大分類部１８は、入力画像データの水平方向の周辺分布の標準偏差ｄｘと、ｋ番目の参照画像データの水平方向の周辺分布の標準偏差ｄｘｋとの差（絶対値）を、水平方向の特徴量の差Ｃｘｋとして出力する。

また、大分類部１８は、入力画像データの垂直方向の周辺分布の標準偏差ｄｙと、ｋ番目の参照画像データの垂直方向の周辺分布の標準偏差ｄｙｋとの差（絶対値）を、垂直方向の特徴量の差Ｃｙｋとして出力する。出力した水平方向の特徴量の差Ｃｘｋおよび垂直方向の特徴量の差Ｃｙｋは、例えばｋ番目の参照画像データと関連付けてメモリ１５に保存する。

ステップＳ５５に進み、制御部１０は入力画像データの特徴量を全ての参照画像データの特徴量と比較させたか否かを判定する。制御部１０は、入力画像データの特徴量を全ての参照画像データの特徴量と比較させていないと判定すると（Ｓ５５においてＮＯ）、ステップＳ５３に戻る。即ち、制御部１０は入力画像データの特徴量を全ての参照画像データの特徴量と比較させるまで、大分類部１８にステップＳ５３及びＳ５４の処理を順次行わせる。

制御部１０は、入力画像データの特徴量を全ての参照画像データの特徴量と比較させたと判定すると（Ｓ５５においてＹＥＳ）、ステップＳ５６に進み、入力画像データと大きく異なる参照画像データを排除する大分類を次のように行なう。

図１３は、水平方向の特徴量による大分類の一例のイメージ図である。また、図１４は垂直方向の特徴量による大分類の一例のイメージ図である。入力画像データの特徴量を全ての参照画像データの特徴量と比較すると、例えばメモリ１５にテーブル１００が作成される。

大分類部１８は、制御部１０から大分類の指示を受けると、テーブル１００に含まれるレコードを水平方向の特徴量の差Ｃｘｋが小さい順番に並び替え、テーブル１０１を作成する。大分類部１８は、テーブル１０１に含まれるレコードのうち、所定の範囲（例えば８０％）内のレコードを残すように足切りを行い、テーブル１０２を作成する。

さらに、大分類部１８はテーブル１０２に含まれるレコードを垂直方向の特徴量の差Ｃｙｋが小さい順番に並び替え、テーブル１０３を作成する。大分類部１８は、テーブル１０３に含まれるレコードのうち、所定の範囲（例えば８０％）内のレコードを残すように足切りを行なう。

図１３及び図１４のイメージ図では、垂直方向および水平方向の並び替えで、それぞれ８０％内のレコードを残すように足きりを行っているため、レコードの数が全体の６４％まで減少する。ステップＳ５７〜Ｓ６４の処理は、大分類により残った参照画像データが読み出されること以外、図９のステップＳ４２〜Ｓ４９の処理と同様である。画像処理装置１は、大分類を行ない、照合を行なう参照画像データの数を減らすことにより、照合の処理時間を短縮できる。

本発明の画像処理装置１を含むシステムの第６実施例の構成は、図１０の構成と同様であるので、説明を省略する。また、画像処理装置１が行なう処理のフローチャートは、一部を除いて図１２のフローチャートと同様であるので、同一部分の説明を省略する。

図１５は、画像処理装置１が行なう第６実施例のフローチャートである。なお、ステップＳ７０〜Ｓ７７は、図１２のステップＳ５０〜Ｓ５７と同様である。ステップＳ７８に進み、制御部１０は入力画像データと参照画像データとの照合を、画像照合部１４に指示する。画像照合部１４は、入力画像データ及び参照画像データを重ね合わせる際、入力画像データ又は参照画像データを予め定められている範囲内で横方向に平行移動させてから重ね合わる。そして、ステップＳ７９に進み、画像照合部１４は横方向の平行移動量に対する入力画像データと参照画像データとの類似度を求める。

ステップＳ８０に進み、画像照合部１４は予め定められている全ての範囲内で入力画像データ及び参照画像データの横方向の平行移動および照合を行ったか否かを判定する。予め定められている全ての範囲内で入力画像データ及び参照画像データの横方向の平行移動および照合を行っていなければ（Ｓ８０においてＮＯ）、画像照合部１４はステップＳ７８に戻る。即ち、画像照合部１４は予め定められている範囲内で、横方向の平行移動量に対する入力画像データと参照画像データとの類似度を全て求めるまで、横方向の平行移動および照合を繰り返し行なう。

一方、予め定められている全ての範囲内で入力画像データ及び参照画像データの横方向の平行移動および照合を行っていれば（Ｓ８０においてＹＥＳ）、画像照合部１４はステップＳ８１に進む。

ステップＳ８１に進み、制御部１０は入力画像データと参照画像データとの照合を、画像照合部１４に指示する。画像照合部１４は類似度が最も大きい横方向の平行移動量を求めて、類似度が最も大きくなるように横方向の平行移動量を固定する。その後、画像照合部１４は、入力画像データ又は参照画像データを予め定められている範囲内で縦方向に平行移動させてから重ね合わる。そして、ステップＳ８２に進み、画像照合部１４は縦方向の平行移動量に対する入力画像データと参照画像データとの類似度を求める。

ステップＳ８３に進み、画像照合部１４は予め定められている全ての範囲内で入力画像データ及び参照画像データの縦方向の平行移動および照合を行ったか否かを判定する。予め定められている全ての範囲内で入力画像データ及び参照画像データの縦方向の平行移動および照合を行っていなければ（Ｓ８３においてＮＯ）、画像照合部１４はステップＳ８１に戻る。即ち、画像照合部１４は予め定められている範囲内で、縦方向の平行移動量に対する入力画像データと参照画像データとの類似度を全て求めるまで、縦方向の平行移動および照合を繰り返し行なう。

一方、予め定められている全ての範囲内で入力画像データ及び参照画像データの縦方向の平行移動および照合を行っていれば（Ｓ８３においてＹＥＳ）、画像照合部１４はステップＳ８４に進む。ステップＳ８４〜Ｓ８７の処理は、図１２のステップＳ６１〜Ｓ６４の処理と同様である。

例えば±５画素の範囲内で入力画像データ又は参照画像データを平行移動させて類似度を求める場合は、１１×１１＝１２１回の入力画像データ及び参照画像データの照合が必要であった。

実施例６の画像処理装置１は、類似度が最も大きい横方向の平行移動量を求めて、類似度が最も大きくなるように横方向の平行移動量を固定し、続いて縦方向の平行移動量に対する類似度が最も大きくなるように縦方向の平行移動量を求めることで、１１＋１０＝２１回まで入力画像データ及び参照画像データの照合の回数を減らすことができる。画像処理装置１は照合の回数を減らすことにより、照合の処理時間を短縮できる。
（その他の実施例）
前述した実施例１〜６の画像処理装置１は、入力画像データと参照画像データとを前述した簡単な方法で照合することにより、オリジナルデータ又はオリジナルデータの候補を抽出しているが、前述した特許文献１及び特許文献２に記載されている内容を組み合わせてオリジナルデータを抽出するようにしてもよい。

例えば、画像処理装置１は特許文献１に記載されているように、入力画像をスキャンしたときにオリジナルデータに関する情報（例えば、ＩＤなど）が付加されていれば、そのオリジナルデータに関する情報からオリジナルデータを抽出する。

もし、入力画像をスキャンしたときにオリジナルデータに関する情報が付加されていなければ、画像処理装置１は特許文献２に記載されているように、テキストデータからオリジナルデータを抽出する。

そして、テキストデータからオリジナルデータを抽出できなければ、画像処理装置１は入力画像データと参照画像データとを前述した簡単な方法で照合することにより、オリジナルデータ又はオリジナルデータの候補を抽出する。

このような画像処理装置１では、オリジナルデータに関する情報やテキストデータが含まれる入力画像であれば、オリジナルデータに関する情報やテキストデータを利用して迅速にオリジナルデータを抽出し、オリジナルデータに関する情報やテキストデータが含まれていない入力画像であれば、入力画像データと参照画像データとの類似度からオリジナルデータを抽出できる。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば画像処理装置１が利用する縮小した画像データは、サムネイルを利用できる。サムネイルは、例えば画像データを紙等の媒体に出力画像として出力するときに作成し、メモリ１５や文書管理システム２に保存しておくことが望ましい。

サムネイルは、予め定められた大きさで作成しておくことにより、縮小又は拡大印刷された出力画像であっても照合が容易となる。画像処理装置１の操作者は、例えば操作パネルに表示されたオリジナルデータの候補としての複数のサムネイルから１つのサムネイルを選択することで、そのサムネイルに対応付けられているオリジナルデータを容易に探し出すことができる。

本発明の画像処理装置を含むシステムの第１実施例の構成図である。画像処理装置が行なう処理の第１実施例のフローチャートである。画像照合の一例のイメージ図である。画像処理装置が行なう処理の第２実施例のフローチャートである。平行移動及び画像照合の一例のイメージ図である。平行移動量（ｉ，ｊ）に対する差の絶対値の総和および類似度を表した一例のテーブルである。本発明の画像処理装置を含むシステムの第３実施例の構成図である。画像処理装置が行なう処理の第３実施例のフローチャートである。画像処理装置が行なう第４実施例のフローチャートである。本発明の画像処理装置を含むシステムの第５実施例の構成図である。画像データの水平方向および垂直方向の周辺分布を表したイメージ図である。画像処理装置が行なう処理の第５実施例のフローチャートである。水平方向の特徴量による大分類の一例のイメージ図である。垂直方向の特徴量による大分類の一例のイメージ図である。画像処理装置が行なう第６実施例のフローチャートである。本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。

符号の説明

１画像処理装置
２文書管理システム
１０制御部
１１画像入力部
１２画像情報出力部
１３ネットワーク接続部
１４画像照合部
１５メモリ
１６前処理部
１７特徴抽出部
１８大分類部

Claims

入力された第１の画像データと、ファイルに関連付けられている第２の画像データとに対して少なくとも縮小正規化を含む前処理を行なう前処理部と、
前記第１及び第２の画像データの前処理後に、前記第１及び第２の画像データの類似度を前記第１及び第２の画像データの各画素の値の差に基づき求める画像照合部と、
前記第１の画像データと複数の前記第２の画像データとを前記画像照合部に順次照合させて、照合結果である類似度に従って前記第２の画像データを並び替える制御部と、
前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の少なくとも一方を出力する画像情報出力部と
を有し、
前記画像情報出力部は、前記前処理により前記第１及び第２の画像データを縮小した度合いが大きくなるほど、前記出力する前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の数が多くなるように調整する画像処理装置。
前記第１及び第２の画像データの照合前に、前記第１及び第２の画像データから特徴量を抽出する特徴抽出部と、
前記第１及び第２の画像データの特徴量を比較して、前記第１の画像データの特徴量との差が小さい所定の範囲内の第２の画像データを取り出す大分類部とを更に有し、
前記制御部は、前記大分類部が取り出した所定の範囲の前記第２の画像データと前記第１の画像データとを前記画像照合部に順次照合させて、照合結果である類似度に従って前記大分類部が取り出した所定の範囲の前記第２の画像データを並び替える
ことを特徴とする請求項１記載の画像処理装置。
前記特徴抽出部は、前記第１及び第２の画像データの水平方向および垂直方向の周辺分布を求め、それぞれの周辺分布の標準偏差の値を特徴量として抽出する請求項２記載の画像処理装置。
前記前処理部は、前記前処理を実行済みの前記第２の画像データに前処理を行わず、前記第１の画像データに対して前記前処理を行う請求項１乃至３何れか一項記載の画像処理装置。
前記画像照合部は、前記第１及び第２の画像データの一方を所定の範囲内で一の方向に並行移動させながら前記類似度を求め、最も大きい前記類似度となった移動量を前記一の方向の移動量として固定し、
前記第１及び第２の画像データの一方を所定の範囲内で前記一の方向と垂直な他の方向に並行移動させながら前記類似度を求め、その類似度のうち最も大きい前記類似度を前記第２の画像データの類似度とすることを特徴とする請求項１乃至４何れか一項記載の画像処理装置。
前記画像照合部が順次照合する前記第１及び第２の画像データは、元の画像を縮小表示する為の縮小画像データであることを特徴とする請求項１乃至５何れか一項記載の画像処理装置。
画像処理装置を、
入力された第１の画像データと、ファイルに関連付けられている第２の画像データとに対して少なくとも縮小正規化を含む前処理を行なう前処理部と、
前記第１及び第２の画像データの前処理後に、前記第１及び第２の画像データの類似度を前記第１及び第２の画像データの各画素の値の差に基づき求める画像照合部と、
前記第１の画像データと複数の前記第２の画像データとを前記画像照合部に順次照合させて、照合結果である類似度に従って前記第２の画像データを並び替える制御部と、
前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の少なくとも一方を出力する画像情報出力部と
して機能させ、
前記画像情報出力部は、前記前処理により前記第１及び第２の画像データを縮小した度合いが大きくなるほど、前記出力する前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の数が多くなるように調整する
ように機能させる為のプログラム。
前記画像処理装置を、
前記第１及び第２の画像データの照合前に、前記第１及び第２の画像データから特徴量を抽出する特徴抽出部と、
前記第１及び第２の画像データの特徴量を比較して、前記第１の画像データの特徴量との差が小さい所定の範囲内の第２の画像データを取り出す大分類部として更に機能させ、
前記制御部は、前記大分類部が取り出した所定の範囲の前記第２の画像データと前記第１の画像データとを前記画像照合部に順次照合させて、照合結果である類似度に従って前記大分類部が取り出した所定の範囲の前記第２の画像データを並び替える
ように機能させる為の請求項７記載のプログラム。
前記特徴抽出部は、前記第１及び第２の画像データの水平方向および垂直方向の周辺分布を求め、それぞれの周辺分布の標準偏差の値を特徴量として抽出することを特徴とする請求項８記載のプログラム。
前記前処理部は、前記前処理を実行済みの前記第２の画像データに前処理を行わず、前記第１の画像データに対して前記前処理を行う請求項７乃至９何れか一項記載のプログラム。
前記画像照合部は、前記第１及び第２の画像データの一方を所定の範囲内で一の方向に並行移動させながら前記類似度を求め、最も大きい前記類似度となった移動量を前記一の方向の移動量として固定し、
前記第１及び第２の画像データの一方を所定の範囲内で前記一の方向と垂直な他の方向に並行移動させながら前記類似度を求め、その類似度のうち最も大きい前記類似度を前記第２の画像データの類似度とすることを特徴とする請求項７乃至１０何れか一項記載のプログラム。
前記画像照合部が順次照合する前記第１及び第２の画像データは、元の画像を縮小表示する為の縮小画像データであることを特徴とする請求項７乃至１１何れか一項記載のプログラム。
請求項７乃至１２何れか一項記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
画像処理装置によって実行される画像処理方法であって、
入力された第１の画像データと、ファイルに関連付けられている第２の画像データとに対して少なくとも縮小正規化を含む前処理を行なう前処理ステップと、
前記第１及び第２の画像データの前処理後に、前記第１及び第２の画像データの類似度を前記第１及び第２の画像データの各画素の値の差に基づき求める画像照合ステップと、
前記第１の画像データと複数の前記第２の画像データとの照合結果である類似度に従って前記第２の画像データを並び替える並び替えステップと、
前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の少なくとも一方を出力する画像情報出力ステップと
を有し、
前記画像情報出力ステップは、前記前処理により前記第１及び第２の画像データを縮小した度合いが大きくなるほど、前記出力する前記第１の画像データとの類似度が大きい所定数の第２の画像データ，その第２の画像データに関連付けられている前記ファイルの情報の数が多くなるように調整する画像処理方法。
前記第１及び第２の画像データの照合前に、前記第１及び第２の画像データから特徴量を抽出する特徴抽出ステップと、
前記第１及び第２の画像データの特徴量を比較して、前記第１の画像データの特徴量との差が小さい所定の範囲内の第２の画像データを取り出す大分類ステップと
を更に有し、
前記並び替えステップは、前記大分類ステップで取り出した所定の範囲の前記第２の画像データと前記第１の画像データとの照合結果である類似度に従って前記大分類ステップで取り出した所定の範囲の前記第２の画像データを並び替える
ことを特徴とする請求項１４記載の画像処理方法。
前記特徴抽出ステップは、前記第１及び第２の画像データの水平方向および垂直方向の周辺分布を求め、それぞれの周辺分布の標準偏差の値を特徴量として抽出する請求項１５記載の画像処理方法。
前記前処理ステップは、前記前処理を実行済みの前記第２の画像データに前処理を行わず、前記第１の画像データに対して前記前処理を行う請求項１４乃至１６何れか一項記載の画像処理方法。
前記画像照合ステップは、前記第１及び第２の画像データの一方を所定の範囲内で一の方向に並行移動させながら前記類似度を求め、最も大きい前記類似度となった移動量を前記一の方向の移動量として固定し、
前記第１及び第２の画像データの一方を所定の範囲内で前記一の方向と垂直な他の方向に並行移動させながら前記類似度を求め、その類似度のうち最も大きい前記類似度を前記第２の画像データの類似度とすることを特徴とする請求項１４乃至１７何れか一項記載の画像処理方法。
前記画像照合ステップで順次照合する前記第１及び第２の画像データは、元の画像を縮小表示する為の縮小画像データであることを特徴とする請求項１４乃至１８何れか一項記載の画像処理方法。