JP4952567B2 - 画像検索システム、画像検索装置、プログラム - Google Patents

Description

本発明は、複数の登録画像（蓄積画像）の中から目的とする画像を検索する画像検索システム、画像検索装置、およびプログラムに関する。

ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭやメモリカードなどの可搬型の記憶媒体やハードディスク装置や光ディスク装置などの大容量対応の記憶媒体に保存されている複数の画像の中から目的とする画像（たとえば指定したキー画像と同一または類似した画像）を検索する仕組みが種々の分野で使用されている（特許文献１〜３を参照）。

特開２００７−１７２２３３号公報 特開２００２−２６２００５号公報 特開平１１−２１２９９３号公報 特開平０９−０３５０５８号公報 特開２００１−３１９２３２号公報

たとえば、特許文献１には、画像を読み取りその電子データを取得する画像取得機能を備えたスキャナを代表例とする装置や、複写機やデジタル複合機を始めとする画像を複写する機能を備えた装置やプリンタなどの画像を紙媒体などに出力する印刷装置などの画像処理装置（イメージング機器などとも称される）を使用する場合において、処理された文書画像を、処理されたときの状況と一緒に処理履歴（ログとも称される）として記録・保存・管理・検索することにより、特定の文書画像の処理日時や処理指示者などを追跡可能とするイメージログ管理などと称される仕組みが提案されている。

特に特許文献１には、コピーやプリント時に画像を蓄積しておき、紙からスキャンしたキー画像から元画像を検索する場合に、検索結果として表示される文書群において、見た目の同じ文書が重複して表示されることを避けるため、文書の派生関係によってグルーピングを行ない、グループを代表する文書の画像を提示することで、検索時の利便性を向上する仕組みが開示されている。

また、特許文献２には、複写された文書や写真から更に複写を行なうと言ったいわゆる世代間複製が行なわれる場合に、世代コピーの品質を向上するための仕組みが提案されている。特に、特許文献２には、劣化した原稿から元の原稿の画像を再生するべく、記憶手段に記憶されている画像データから、読取手段が読み取った画像の原世代原稿の画像データを検索し、検索された画像データに基づいて、読み取られた画像と実質的に同一の画像を記録材に形成することで、原世代原稿の画像を復元することを可能にする仕組みが開示されている。

また、特許文献３〜５には、画像検索のための画像照合時に、画像ごとに特徴量を抽出して、その特徴量に基づき画像の同一性や類似性を判定する仕組みが開示されている。

本発明は、世代間複製が行なわれた画像など元画像に対して画像劣化のある画像を検索キーにする場合において、画像劣化のあるキー画像そのものと登録画像とを照合して目的の画像を検索する場合と比べて、精度のよい検索処理を行なうことのできる仕組みを提供することを第１の目的とする。

また本発明は、出力後から所定期間経過した画像を検索キーにする場合において、登録画像の全てとキー画像とを照合して目的の画像を検索する場合と比べて、より短時間で検索処理を行なうことのできる仕組みを提供することを第２の目的とする。

請求項１に記載の発明は、複数の画像を蓄積可能な記憶部と、検索用のキー画像の劣化の状況を特定する劣化状況特定部と、劣化状況特定部が特定した前記キー画像の劣化状況を参照して、前記キー画像と前記記憶部に記憶されている画像とを照合することで、前記記憶部に記憶されている全画像から前記キー画像に対応する目的とする画像を検索する検索処理部とを備えたことを特徴とする画像検索システムである。

請求項２に記載の発明は、検索用のキー画像の劣化の状況を特定する劣化状況特定部と、前記劣化状況特定部が特定した前記キー画像の劣化状況を参照して、前記キー画像と複数の画像を蓄積可能な記憶部に記憶されている画像とを照合することで、前記記憶部に記憶されている全画像から前記キー画像に対応する目的とする画像を検索する検索処理部とを備えたことを特徴とする画像検索装置である。

請求項３に記載の発明は、請求項２に記載の発明においてさらに、前記キー画像が出力媒体に出力されてからの経過状況を特定する経過状況特定部を備え、前記検索処理部は、前記経過状況特定部が特定した経過状況を参照して、前記記憶部に記憶されている全画像の中から照合対象となる画像を絞り込むことを特徴とする。

請求項４に記載の発明は、請求項２に記載の発明においてさらに、前記劣化状況特定部が特定した前記キー画像の劣化状況に基づき、前記キー画像の劣化を補正することで、劣化の改善された画像を復元する劣化復元部を備え、前記検索処理部は、前記劣化復元部が復元した前記キー画像の復元画像と前記記憶部に記憶されている画像とを照合することを特徴とする。

請求項５に記載の発明は、請求項２に記載の発明においてさらに、前記検索処理部は、前記劣化状況特定部が特定した前記キー画像の劣化状況を参照して、前記キー画像そのものと前記記憶部に記憶されている画像とを照合することを特徴とする。

請求項６に記載の発明は、請求項２に記載の発明においてさらに、前記劣化状況特定部が特定した前記キー画像の劣化状況に基づき、前記記憶部に記憶されている照合対象の画像を、その画像品質が前記キー画像の品質に近づくように劣化させる劣化部を備え、前記検索処理部は、前記劣化部が劣化させた後の前記登録画像の劣化画像と前記キー画像とを照合することを特徴とする。

請求項７に記載の発明は、請求項２に記載の発明においてさらに、前記劣化状況特定部が特定した前記キー画像の劣化状況に基づき、前記キー画像の劣化を補正することで、劣化の改善された画像を復元する第１の劣化復元部と、前記記憶部に記憶されている照合対象の画像の劣化状況に基づき、当該照合対象の画像の劣化を補正することで、劣化の改善された画像を復元する第２の劣化復元部とを備え、前記検索処理部は、前記第１の劣化復元部が復元した前記キー画像の復元画像と、前記第２の劣化復元部が復元した前記照合対象の画像の復元画像とを照合することを特徴とする。

請求項８に記載の発明は、請求項２に記載の発明においてさらに、前記劣化状況特定部は、前記キー画像をデータ解析することにより、当該キー画像の劣化状況を推定する劣化状況推定部を有することを特徴とする。

請求項９に記載の発明は、請求項２に記載の発明においてさらに、前記キー画像が出力媒体に出力されてからの経過状況のユーザ指定を受け付ける経過状況受付部を備え、前記劣化状況特定部は、前記経過状況受付部が受け付けた前記キー画像の経過状況に基づいて、当該キー画像の劣化状況を推定する劣化状況推定部を有することを特徴とする。

請求項１０に記載の発明は、請求項２に記載の発明においてさらに、前記劣化状況特定部は、前記キー画像の劣化の箇所、劣化の種類、および劣化の程度の内の少なくとも１つのユーザ指定を受け付ける受付部と、前記キー画像の劣化の箇所、劣化の種類、および劣化の程度の内の前記ユーザ指定されていないものについて所定の方法により推定する推定部とを有することを特徴とする。

請求項１１に記載の発明は、請求項３に記載の発明においてさらに、前記経過状況特定部は、前記キー画像をデータ解析することにより、当該キー画像の経過状況を推定する経過状況推定部を有することを特徴とする。

請求項１２に記載の発明は、請求項３に記載の発明においてさらに、前記経過状況特定部は、前記キー画像が出力媒体に出力されてからの経過状況のユーザ指定を受け付ける経過状況受付部を有することを特徴とする。

請求項１３に記載の発明は、複数の画像を蓄積可能な記憶部と、検索用のキー画像が出力媒体に出力されてからの経過状況を特定する経過状況特定部と、前記経過状況特定部が特定した経過状況を参照して、前記記憶部に記憶されている全画像の中から照合対象となる画像を絞り込み、この絞り込んだ画像と前記キー画像とを照合することで、前記記憶部に記憶されている全画像から前記キー画像に対応する目的とする画像を検索する検索処理部とを備えたことを特徴とする画像検索システムである。

請求項１４に記載の発明は、検索用のキー画像が出力媒体に出力されてからの経過状況を特定する経過状況特定部と、前記経過状況特定部が特定した経過状況を参照して、複数の画像を蓄積可能な記憶部に記憶されている全画像の中から照合対象となる画像を絞り込み、この絞り込んだ画像と前記キー画像とを照合することで、前記記憶部に記憶されている全画像から前記キー画像に対応する目的とする画像を検索する検索処理部とを備えたことを特徴とする画像検索装置である。

請求項１５に記載の発明は、複数の画像を記憶可能な記憶部に記憶されている画像の中から目的とする画像を検索する検索処理を電子計算機を用いて行なうためのプログラムであって、前記電子計算機に備えられる中央演算制御部を、検索用のキー画像の指定を受け付けるキー画像受付部と、前記キー画像受付部が受け付けた検索用のキー画像の劣化の状況を特定する劣化状況特定部と、前記劣化状況特定部が特定した前記キー画像の劣化状況を参照して、前記記憶部に記憶されている画像とを照合することで、前記記憶部に記憶されている全画像から前記キー画像に対応する目的とする画像を検索する検索処理部として機能させることを特徴とする。

請求項１６に記載の発明は、複数の画像を記憶可能な記憶部に記憶されている画像の中から目的とする画像を検索する検索処理を電子計算機を用いて行なうためのプログラムであって、前記電子計算機に備えられる中央演算制御部を、検索用のキー画像の指定を受け付けるキー画像受付部と、前記キー画像受付部が受け付けた検索用のキー画像が出力媒体に出力されてからの経過状況を特定する経過状況特定部と、前記経過状況特定部が特定した経過状況を参照して、複数の画像を蓄積可能な記憶部に記憶されている全画像の中から照合対象となる画像を絞り込み、この絞り込んだ画像と前記キー画像とを照合することで、前記記憶部に記憶されている全画像から前記キー画像に対応する目的とする画像を検索する検索処理部として機能させることを特徴とする。

請求項１に記載の発明によれば、検索用のキー画像に画像劣化がある場合、画像劣化のあるキー画像そのものと登録画像とを照合して目的の画像を検索する場合と比べて、検索精度を高めることができる画像検索システムを実現できる。

請求項２に記載の発明によれば、検索用のキー画像に画像劣化がある場合、画像劣化のあるキー画像そのものと登録画像とを照合して目的の画像を検索する場合と比べて、検索精度を高めることができる画像検索装置を実現できる。

請求項３に記載の発明によれば、さらに、出力後から所定期間経過した画像を検索キーにする場合、経過状況に応じて照合対象となる画像を絞り込むことができ、検索処理時間を短縮できる。

請求項４に記載の発明によれば、さらに、キー画像の劣化状況に応じてキー画像の劣化を補正することにより、キー画像を精度よく復元できる。加えて、復元したキー画像と登録画像との照合ができるので、検索精度をさらに高めることができる。

請求項５に記載の発明によれば、キー画像や登録画像を補正しなくても、画像劣化を考慮した照合を行なうことで、キー画像そのものと登録画像とを照合して目的の画像を検索する場合と比べて、検索精度を高めることができる。

請求項６に記載の発明によれば、キー画像側を補正しなくても、入力画像の劣化を考慮して照合対象の登録画像側を補正する（劣化させる）ことで、キー画像そのものと登録画像とを照合して目的の画像を検索する場合と比べて、検索精度を高めることができる。

請求項７に記載の発明によれば、キー画像の劣化状況に応じてキー画像の劣化を補正することによりキー画像を精度よく復元でき、さらに、照合対象の登録画像側についてもその劣化状況に応じて登録画像の劣化を補正することにより照合対象画像を精度よく復元でき、それぞれ復元したキー画像と登録画像との照合ができる。その結果、検索用のキー画像に画像劣化があり、かつ登録画像にも画像劣化がある場合、画像劣化のあるキー画像そのものと画像劣化のある登録画像とを照合して目的の画像を検索する場合と比べて、検索精度を高めることができる。

請求項８に記載の発明によれば、キー画像の劣化状況が明確でない場合でも、キー画像をデータ解析することにより、キー画像の劣化状況を推定することができる。

請求項９に記載の発明によれば、キー画像の劣化状況が明確でない場合でも、キー画像をデータ解析することでキー画像の劣化状況を推定する場合に比べて、キー画像の劣化状況を精度よく推定することができる。

請求項１０に記載の発明によれば、キー画像の劣化状況を示す劣化の箇所、劣化の種類、および劣化の程度の内、ユーザ指定された要素に関しては、キー画像を精度よく復元でき、復元された画像を用いた照合を行なうことで検索精度を高めることができる。また、明確でない要素がある場合でも、その不明な要素については推定することができる。

請求項１１に記載の発明によれば、キー画像の経過状況が明確でない場合でも、キー画像をデータ解析することにより、キー画像の経過状況を推定することができる。

請求項１２に記載の発明によれば、ユーザ指定された経過状況に基づき、照合対象となる画像を精度よく絞り込むことができる。

請求項１３に記載の発明によれば、出力後から所定期間経過した画像を検索キーにする場合、経過状況に応じて照合対象となる画像を絞り込むことができ、検索処理時間を短縮できる画像検索システムを実現できる。

請求項１４に記載の発明によれば、出力後から所定期間経過した画像を検索キーにする場合、経過状況に応じて照合対象となる画像を絞り込むことができ、検索処理時間を短縮できる画像検索装置を実現できる。

請求項１５に記載の発明によれば、検索用のキー画像に画像劣化がある場合、画像劣化のあるキー画像そのものと登録画像とを照合して目的の画像を検索する場合と比べて、検索精度を高める仕組みを、電子計算機を用いて実現できる。

請求項１６に記載の発明によれば、出力後から所定期間経過した画像を検索キーにする場合、経過状況に応じて照合対象となる画像を絞り込み、検索処理時間を短縮する仕組みを、電子計算機を用いて実現できる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜システム構成：第１実施形態＞
図１は、本発明の一実施形態を適用した画像検索システムを一部に備える文書処理履歴管理システムの一構成例を示す図である。図示のように、本実施形態の文書処理履歴管理システム１は、紙などの出力媒体に画像を出力する画像出力機能や出力媒体上の画像を読み取りその電子データを取得する画像取得機能を持つ各種のイメージング機器３（３Ａ〜３Ｅ）と、各種のイメージング機器３に対して画像取得処理や画像出力処理を指令するパーソナルコンピュータなどの処理指示装置４と、処理された文書画像を各種のイメージング機器３で画像取得処理や画像出力処理がなされたときの状況と一緒に処理履歴（ログとも称される）として記録・保存・管理・検索するサーバ機能を持った文書処理履歴管理装置６とが通信手段の一例であるネットワーク９により接続されて構成されている。

文書処理履歴管理システム１は、第１実施形態の画像検索システム２を包含し、この画像検索システム２に加えて、文書に対する各種の処理操作があったときに、その処理対象となった文書に対応した画像と操作状況を示す情報とを纏めて操作履歴として所定の記憶媒体に記憶する機能部分とで構成されるようになっている。

イメージング機器３としては、たとえば、画像取得機能および画像出力機能（合わせて複写機能と称する）を持つ複写機３Ａ、プリンタと称される単機能（画像出力機能の一例である印刷機能のみ）の印刷装置３Ｂ、スキャナと称される画像取得機能（特にスキャナ機能と称する）を持つ画像読取装置３Ｃ、印刷機能や複写機能やスキャナ機能を持つ複合機３Ｄ、およびファクシミリ３Ｅがあり、これらは、ネットワーク９を介してあるいは所定の接続インタフェースを介して文書処理履歴管理装置６と接続されている。図では、イメージング機器３を、各種１台ずつで示しているが、その数は任意でよく、また、何れかが存在しない場合であってもよい。

たとえば、複写機３Ａは、ネットワーク９を介して文書処理履歴管理装置６に接続されており、利用者がその複写機３Ａの操作パネル（図示せず）を操作して複写指示を行なったときに、複写指示に従って読み取った画像（詳しくはその電子データである画像データ：以下同様）を文書処理履歴管理装置６へ送信する。このとき、複写機３Ａは、複写指示を行なった利用者を、利用者名やパスワードを入力させることで認証し、この認証によって得られた利用者を特定する利用者名などの情報を、画像とともに文書処理履歴管理装置６へ送信してもよい。

さらに、複写機３Ａは、読み取った画像をそのまま用紙に形成処理せず、文書処理履歴管理装置６から形成処理の対象となる画像を受信して、受信した画像に基づき用紙に対応する画像を形成する。つまり、複写機３Ａは、複写する原稿を読み取って得た画像を一旦文書処理履歴管理装置６へ送信し、文書処理履歴管理装置６から受信した画像に基づいて処理を継続するようにする。

印刷装置３Ｂは、シリアルバスインタフェースなどを介して文書処理履歴管理装置６に接続されており、文書処理履歴管理装置６から入力される画像に基づき用紙などの出力媒体に画像を形成する。

画像読取装置３Ｃは、ネットワーク９を介して文書処理履歴管理装置６に接続されており、利用者がその画像読取装置３Ｃの操作パネル（図示せず）もしくは処理指示装置４を操作して読取り指示を行なったときに、その読取り指示に従って読み取った画像を文書処理履歴管理装置６へ送信する。このとき、画像読取装置３Ｃは、読取り指示を行なった利用者を、利用者名やパスワードを入力させることで認証し、この認証によって得られた利用者を特定する利用者名などの情報を、画像とともに文書処理履歴管理装置６へ送信してもよい。

複合機３Ｄは、ネットワーク９を介して文書処理履歴管理装置６に接続されており、複写機３Ａ、印刷装置３Ｂ、画像読取装置３Ｃ、ファクシミリ３Ｅの各機能を実行する。

ファクシミリ３Ｅは、シリアルバスインタフェースなどを介して文書処理履歴管理装置６に接続されており、読み取った画像をＦＡＸ送信し、あるいは受信した画像に基づき用紙などの出力媒体にＦＡＸ画像を出力するととともに、送受信時の処理画像を文書処理履歴管理装置６に出力する。

処理指示装置４は、ネットワーク９を介して文書処理履歴管理装置６に接続されており、印刷装置３Ｂや画像読取装置３Ｃなどに処理させる文書の画像と、処理指示を行なう利用者名などの付帯情報とを文書処理履歴管理装置６に送信する。

文書処理履歴管理装置６は、サーバ機能を備え、クライアント・システムである処理指示装置４側からの要求によってイメージング機器３における画像取得処理や画像出力処理のための制御を行なうとともに、処理画像とその処理の際の関連情報を処理履歴として保管するため、文書画像の特徴を所定の記憶装置に記録・保存し、また保存されている情報の中から目的となる情報を検索して検索結果の情報をユーザに提示する。処理履歴の取得や保存や検索の基本的な手法に関しては、公知の各種の仕組みと同様のものでよい。

文書処理履歴管理装置６（包含される画像検索装置７も）は、制御部１２と、処理画像および処理履歴を対応付けて記憶するハードディスク装置や光ディスク装置などを記憶装置として有する画像データベース（画像ＤＢ）としての機能を持つデータ保持部１４とを有する。制御部１２のハードウェア構成としては、たとえば、制御処理や演算処理を行なう中枢を司るＣＰＵ（中央演算制御部）や処理データやプログラムデータを記憶するＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリ装置などで構成される一般的な電子計算機と同様の仕組みとすることができる。そのハードウェア構成例については、所定の処理用のソフトウェアを実行するマイクロプロセッサなどから構築される、パーソナルコンピュータを始めとする電子計算機の構成として周知であるので図示を割愛する。

つまり、本実施形態において、文書の画像や操作履歴の情報をデータ保持部１４に保存して管理する処理やデータ保持部１４に保存されている情報の中から目的とする情報（たとえば検索キーとなる画像と同一もしくは類似の画像およびその操作情報）を見つけ出す処理を行なう中心的な機能をなす制御部１２の仕組みは、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機（コンピュータ）を用いてソフトウェア的に実現することも可能である。

よって、本発明に係る画像検索を行なう仕組みを、電子計算機（コンピュータ）を用いてソフトウェアで実現するために好適なプログラムあるいはこのプログラムを格納したコンピュータ読取可能な記憶媒体を発明として抽出することもできる。ソフトウェアにより実行させる仕組みとすることで、ハードウェアの変更を伴うことなく、処理手順などを容易に変更できる利点が享受される。

電子計算機に、文書画像やその操作履歴の情報を保存・管理・検索する機能をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ（組込マイコンなど）、あるいは、ＣＰＵ、論理回路、記憶装置などの機能を１つのチップ上に搭載して所望のシステムを実現するＳＯＣ（System On a Chip：システムオンチップ）、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

記録媒体は、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気などのエネルギの状態変化を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。たとえば、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクＦＤを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＤＶＤ（Digital Versatile Disc）、光磁気ディスク（ＭＯ（Magneto Optical Disk））を含む）、または半導体メモリなどよりなるパッケージメディア（可搬型の記憶媒体）により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭやハードディスクなどで構成されてもよい。また、ソフトウェアを構成するプログラムは、記録媒体を介して提供されることに限らず、有線あるいは無線などの通信網を介して提供されてもよい。

制御部１２は、複写機３Ａや印刷装置３Ｂなどのイメージング機器３から処理の対象となる画像や、画像の処理を要求した利用者や処理日時や処理条件などの処理操作の情報を特定する情報などの付帯情報（処理操作の状況を特定する画像以外の情報）を受信して、文書の画像と付帯情報（たとえば文書ＩＤ、バージョン、属性など）を纏めて処理履歴情報としてデータ保持部１４に格納する。また、処理の対象として受信した画像を複写機３Ａや印刷装置３Ｂやファクシミリ３Ｅなどのイメージング機器３に送信出力して、画像処理を実行させる。さらに、制御部１２は、処理履歴情報の検索指示を受けて、データ保持部１４に格納した処理履歴情報を検索し、検索の結果を提示する検索処理を実行する。

この検索処理のため、画像をイメージング機器３で処理する際、画像を一意に特定する情報（識別子ＩＤ）とバージョンＶＯを出力媒体（紙媒体などへの出力や電子データでのファイル保存の何れでもよい）に、バーコードやＩＤタグや電子透かしなどの手段によって埋め込んでおく。処理された画像が再度、イメージング機器３で処理される際には、画像のＩＤとバージョンを読み取る。そして、読み取った情報から特定されるデータ保持部１４に保存済みの文書画像Ｇ１と、出力媒体から読み取った文書画像Ｇ２を比較（照合）する。

ここで、検索処理に関する画像比較における本実施形態の制御部１２の第１の観点からの仕組みは、詳細は後述するが、検索処理のキー画像となる入力画像ＩINの劣化状況を参照して、データ保持部１４に記憶されている全画像からキー画像（入力画像ＩIN）に対応する目的とする画像を検索することで、画像劣化のある入力画像ＩINそのものと登録画像ＩREC とを照合して目的の画像を検索する場合よりも精度のよい検索処理を行なう点が主要部分である。元の文書画像に対しての文書画像Ｇ２の入力画像ＩINの劣化状況を考慮して、元の文書画像をキー画像として照合を行なった場合と同等の精度で検索処理を行なうのである。

また、本実施形態の制御部１２の第２の観点からの仕組みは、詳細は後述するが、検索処理のキー画像となる入力画像ＩINの経過状況を参照して照合対象の画像を絞り込むことで、登録画像の全てと入力画像ＩINとを照合して目的の画像を検索する場合と比べて、短時間で検索処理を行なう点が主要部分である。

これは、読み取った文書画像Ｇ２が複製（複写）を繰り返した世代間コピーのものである場合や出力媒体への出力（印刷）後に相当の期間（たとえば数年）が経過していると、コピーの繰返しや汚れ付着や用紙の黄ばみなどで画像が劣化していることが予想され、このような劣化している画像を検索キーにして検索すると、検索精度が低下することや、検索に時間が掛ることが懸念されることを考慮したものである。

なお、検索処理のキー画像となる入力画像ＩINの劣化状況を参照して検索処理を行なう第１の観点からの仕組みと、検索処理のキー画像となる入力画像ＩINの経過状況を参照して照合対象の画像を絞り込んで検索処理を行なう第２の観点からの仕組みは、それぞれ別の観点からなされているものであり、両方を同時に実行するものであることは必須ではなく、何れか一方の仕組みのみを実行するものであってもよい。もちろん、両者を併用する仕組みとする方が好ましい。

＜文書処理履歴管理装置：第１構成例＞
図２は、文書処理履歴管理装置６の第１構成例を示す図である。第１構成例の文書処理履歴管理装置６は、第１構成例の画像検索装置７を包含し、この第１構成例の画像検索装置７に加えて、文書に対する各種の処理操作があったときに、その処理対象となった文書に対応した画像と操作状況を示す情報とを纏めて操作履歴としてデータ保持部１４に記憶する機能部分とで構成されるようになっている。

制御部１２は、前述のような処理を行なうための仕組みとして、詳しくは、機能ブロックとして、たとえば複写機３Ａや画像読取装置３Ｃや複合機３Ｄなどに搭載されている原稿読取部９２から処理された画像を受け取る文書画像受付部２２を有する。文書画像受付部２２は、イメージログ管理を行なうための保存用の画像を取得する機能部と、検索処理用のキー画像の指定を受け付ける機能をなすキー画像受付部を備える。

なお、ユーザは、原稿画像Ｐ１を原稿読取部９２の所定位置にセットする（置く）とともに、イメージング機器３に搭載の操作パネルなどの操作部９４（あるいは処理指示装置４）を通じて、コピー、ファックス送信、スキャン、シュレッダーでの削除などの操作入力Ｏ１を行なう。原稿読取部においては、原稿画像Ｐ１から、文書（原稿）の画像（特に入力画像と称する）ＩINと、文書を一意に特定する文書識別情報（ＩＤ）Ｄ１、およびバージョンを特定するバージョン情報Ｖ１を読み取る。

制御部１２はまた、イメージング機器３に搭載の操作パネルなどの操作手段から文書に対する処理操作の情報を受け付ける処理操作情報受付部２４と、文書画像受付部２２が受け取った画像もしくは当該画像と対応する保存用の画像（以下纏めて登録画像ＩREC と称する）と処理操作状況を特定する付帯情報を操作履歴としてデータ保持部１４に保存する操作履歴記録部２６を有する。保存処理時には、登録画像ＩREC と付帯情報（たとえば文書ＩＤ、バージョン、属性など）を対応付けて保存する。処理操作情報受付部２４と操作履歴記録部２６は、文書に対する各種の処理操作があったときに、その処理対象となった文書に対応した登録画像ＩREC と処理操作状況を示す情報とを纏めて操作履歴としてデータ保持部１４に記憶する機能部分である。

制御部１２はまた、検索処理用の制御機能に関わる機能部分として、検索用のキー画像として入力された入力画像ＩINの劣化状況を考慮（参照）した検索処理を行なう検索処理部３０と、検索処理部３０が取得した検索結果に基づく各種の情報の提示をユーザに行なう処理結果情報提示部４０を備える。

本実施形態の検索処理部３０は、検索用のキー画像として入力された入力画像ＩINの劣化状況を考慮した検索処理を行なう手法（検索方式）として、たとえば以下の（１）〜（４）の４通りの何れかを採用することができ、第１構成例では、その内の第１の手法（１）を採用する。

（１）画像劣化を考慮して入力画像ＩIN側を復元し、復元画像ＲINと登録画像ＩREC で照合する
（２）入力画像ＩINおよび登録画像ＩREC ともに加工せず、照合時に画像劣化を考慮したマッチングを行なう
（３）画像劣化を考慮して登録画像ＩREC 側を入力画像ＩINに近くなるように劣化させて、劣化画像ＤREC と入力画像ＩINで照合する
（４）登録画像ＩREC 側も劣化している場合に、入力画像ＩIN側と登録画像ＩREC 側の両方を画像劣化を考慮して修正（復元）し、各復元画像（復元画像ＲINと復元画像ＲREC ）同士で照合する

第１構成例の検索処理部３０は、第１の検索方式（１）を採用するものであり、文書画像Ｇ２そのものを検索キーの画像として文書画像Ｇ１と比較するのではなく、元の文書画像に対しての文書画像Ｇ２の劣化状況を考慮して、元の文書画像にできるだけ近い状態の画像を復元し、この復元した画像（以下復元画像ＲINとも称する）を検索キーの画像とする点が第１の主要部分である。つまり、入力された画像が劣化している場合に、できるだけ元画像に近い復元画像ＲINを生成して検索キーにするのである。

好ましくは、劣化状況を考慮した画像復元時には、出力（印刷）後の経過状況を参照して劣化状況を特定（推定）するのがよい。また、画像検索時には、出力（印刷）後の経過状況を参照して検索対象範囲を絞り込む点に第２の主要部分がある。

このため、検索処理部３０は、入力画像ＩINの劣化状況を特定し（推定するかまたはユーザ指定を受け付け）、劣化状況に従って画像を復元する点に特徴があるとともに、出力媒体へ出力してからの経過状況を特定し（推定するかまたはユーザ指定を受け付け）、経過状況を使って検索対象を絞り込み、復元画像ＲINと登録画像ＩREC との照合を行なうべく、次のような機能部分を備える。

たとえば、制御部１２の検索処理部３０は、入力画像ＩINの劣化状況や経過状況を特定する劣化・経過状況特定部３１（劣化状況特定部と経過状況特定部を兼用するもの）を有する。第１構成例の劣化・経過状況特定部３１は、入力画像ＩINの劣化状況と経過状況を何れも推定する点に特徴があり、また、入力画像ＩINの劣化状況から経過状況を推定する点にも特徴がある。つまり、劣化状況推定部と経過状況推定部とが１つの機能要素で兼用する構成を採用している。

なお、劣化していると画像出力後から所定期間経過していると考えることができ、逆に、画像出力後から所定期間経過していると画像が劣化している考えることができる。劣化状況と経過状況との間には一定の相対関係があり、その変化の程度（度合い）が環境条件によって異なると考えることができる。よって、劣化状況は事実上経過状況を示していると考えることもでき、逆に、経過状況は事実上劣化状況を示していると考えることもでき、実質的には、経過状況特定部を割愛して劣化状況特定部のみを備えた形態として構成することもできるし、逆に、実質的には、劣化状況特定部を割愛して経過状況特定部のみを備えた形態として構成することもできる。

具体的には、劣化・経過状況特定部３１は、文書画像受付部２２が受け付けた入力画像ＩINの劣化状況を推定し、推定した劣化状況に基づいて経過状況（たとえば用紙へ出力してからの経過年数）を推定する劣化・経過状況推定部３２（劣化状況推定部と経過状況推定部を兼用するもの）と、劣化・経過状況推定部３２が推定した劣化状況に基づき、画像劣化が補正され元の画像にできるだけ近くなった復元画像ＲINを生成する（劣化の改善された画像を復元する）劣化復元部３４を有する。

劣化・経過状況推定部３２は、入力画像ＩINをデータ解析してその劣化状況を推定し、さらに入力画像ＩINについて経過年数を推定し、推定経過年数を出力する。劣化状況や経過状況の推定方法としては、余白や裏面の白紙部分の黄ばみ状態やインクの退色具合（たとえば、余白や裏面に基準色情報を印刷しておき、現状と比較する）などに基づき特定される劣化状況から経過状況を推定するなど、写真処理などの分野において一般的に用いられている手法を用いることができる。

劣化復元部３４はたとえば、劣化・経過状況推定部３２が推定した劣化状況や経過状況に従って画像を復元し、復元画像ＲINを出力する。復元画像ＲINの生成手法としては、劣化・経過状況推定部３２が推定した劣化状況や経過年数を参照して、輝度や色彩が劣化した入力画像ＩINに対して、劣化していない元の画像に近づくように、輝度や色彩を補正して画質改善を図るなど、画像補正として一般的に用いられている手法（たとえば特開２００５−３１６７４３号公報を参照）を用いることができる。

制御部１２の検索処理部３０はまた、データ保持部１４に保存されている情報の中から劣化復元部３４が生成した復元画像ＲINをキー画像として同一または類似の画像およびその画像の処理操作情報を検索する照合部３５を有する。照合部３５は、データ保持部１４に保存されている情報の中から登録画像ＩREC などを読み出す読出部３６と、劣化復元部３４が生成した復元画像ＲINと読出部３６が読み出した登録画像ＩREC を比較し、画像間の差分情報Diff（Ｇ３，ＩREC ）を算出する画像比較部３９を有する。

画像照合の手法としては、たとえば特開平１１−２１２９９３号公報、特開平０９−０３５０５８号公報、あるいは特開２００１−３１９２３２号公報などに記載のように、画像ごとに特徴量を比較する仕組みを適用すればよい。

画像比較部３９は、画像照合を行なって、検索結果のスコアを付ける。ここで、検索結果のスコアとは、照合対象となる２つの画像（本例では復元画像ＲINと登録画像ＩREC ）とが同一であるか否かの程度（度合い）を示す指標である。

ここで、照合部３５（特に画像比較部３９）は、検索処理時間を短縮するべく、データ保持部１４に登録されている全ての画像を検索対象とするのではなく、画像ＤＢの機能を持つデータ保持部１４に登録された各画像の中で入力画像ＩINの経過年数を満足する画像を絞り込んで照合を行ない、文書ＩＤと差分情報Diffの一例であるスコアのリストを出力する。画像ＤＢに登録された各画像について、経過年数を使って検索対象を絞り込み、経過年数を満足する登録画像ＩREC と復元画像ＲINとの照合を行なうのである。経過年数前後の一定範囲内にある画像を検索対象として絞り込んでもよいし、経過年数の近くの画像の重みを大きくし、離れるほど重みを小さくするなどして経過年数をスコアの重み付けに用いてトータルスコアが一定値以下のものを切り捨てることで検索対象を絞り込んでもよい。

制御部１２はまた、入力画像ＩINに対応する復元画像ＲINおよび文書識別情報Ｄ１に基づき、検索結果や検索された画像の操作履歴の情報（纏めて出力情報とも称する）を生成する情報生成部４４と、情報生成部４４で生成された出力情報を、たとえば、紙、電子メール、電子ファイル、あるいはファクシミリ回線などの出力先に出力する出力部４６とを有する。情報生成部４４と出力部４６により、検索指示を受け付けたことを条件として検索結果の情報や検索対象の文書やその文書と関係のある各文書の操作履歴の情報を生成して提示する処理結果情報提示部４０（検索結果提示部や操作履歴提示部の機能を持つ）が構成される。

情報生成部４４で生成される出力情報としては、たとえば、入力画像ＩINに対応する出力する画像ＩOUT 、文書を特定する文書識別情報Ｄ１に対応する文字情報、バージョン情報に対応する文字情報などである。たとえば、処理結果情報提示部４０は、文書ＩＤとスコアのペアのリストを画像比較部３９から受け取り、スコアの降順にソートして検索結果として出力する。

つまり、第１構成例の画像検索装置７は、劣化・経過状況推定部３２で検索用のキー画像として指定された入力画像ＩINの経過年数を推定し、劣化復元部３４で経過年数に従って画像を復元し、検索処理部３０の画像比較部３９で入力画像ＩINについてデータ保持部１４に登録された各登録画像ＩREC の中で経過年数を満足する検索対象画像と照合を行ない文書ＩＤとスコアのリストを出力し、処理結果情報提示部４０でスコアの降順にソートして検索結果として出力する。

なお、図示する第１構成例や後述する第２構成例〜第４構成例に対しては、たとえば以下の（ａ）〜（ｃ）の３通りの何れかの付加機能を設ける変形を加えることができる（詳細は第５構成例〜第８構成例で説明する）。付加機能を設ける場合、その付加機能の実行に対応した機能部分を新たに設ける。このとき、第１構成例〜第４構成例に備えられている一部の機能部分を取り外す場合もある。

（ａ）劣化・経過状況推定部３２を取り外して、ユーザが入力した経過状況（たとえば経過年数）を劣化復元部３４と照合部３５で用いる
（ｂ）ユーザから劣化が著しい部分や欠落した部分の情報（劣化箇所情報と称する）の入力を受け付け、画像をブロックに分割してブロックごとにマッチングを行なう照合方式を採用する
（ｃ）ユーザから劣化の状況（種類や程度）の入力を受け付け、ユーザが入力した劣化の種類や程度の情報を画像の修正処理（復元処理や劣化処理）や照合処理に利用する

＜文書処理履歴管理装置：第２構成例＞
図２Ａは、文書処理履歴管理装置６の第２構成例を示す図である。第２構成例の文書処理履歴管理装置６は、第２構成例の画像検索装置７を包含しており、第１構成例の文書処理履歴管理装置６との対比としては画像検索装置７の構成が異なる。

第２構成例の画像検索装置７は、検索用のキー画像として入力された入力画像ＩINの劣化状況を考慮した検索処理を行なう手法（検索方式）として、第２の検索方式（２）「入力画像ＩINおよび登録画像ＩREC ともに加工せず、照合時に画像劣化を考慮したマッチングを行なう」を採用する点に特徴がある。第１構成との相違は、端的に言えば、先ず、入力画像ＩINおよび登録画像ＩREC ともに加工しないのであるから、劣化復元部３４を取り外す点にある。

また、照合部３５（特に画像比較部３９）は、入力画像ＩINと登録画像ＩREC とを照合する際に、画像劣化を考慮して検索結果のスコアを付ける。画像劣化は、劣化・経過状況推定部３２で推定された経過状況（たとえば経過年数）を参照して特定する。第２構成例での検索結果のスコアとは、入力画像ＩINと登録画像ＩREC とが同一であるか否かの程度（度合い）を示す指標である。

＜文書処理履歴管理装置：第３構成例＞
図２Ｂは、文書処理履歴管理装置６の第３構成例を示す図である。第３構成例の文書処理履歴管理装置６は、第３構成例の画像検索装置７を包含しており、第１構成例の文書処理履歴管理装置６との対比としては画像検索装置７の構成が異なる。

第３構成例の画像検索装置７は、検索用のキー画像として入力された入力画像ＩINの劣化状況を考慮した検索処理を行なう手法（検索方式）として、第３の検索方式（３）「画像劣化を考慮して登録画像ＩREC 側を入力画像ＩINに近くなるように劣化させて、劣化画像ＤREC と入力画像ＩINで照合する」を採用する点に特徴がある。第１構成との相違は、端的に言えば、先ず、入力画像ＩINを加工しないのであるから、劣化復元部３４を取り外す点にある。加えて、画像劣化を考慮して登録画像ＩREC 側を劣化させるのであるから、照合部３５は、読出部３６がデータ保持部１４から読み出した登録画像ＩREC を、劣化・経過状況推定部３２が推定した経過状況に基づき、登録画像ＩREC の画像品質が入力画像ＩINの画像品質にできるだけ近くなった劣化画像ＤREC を生成して画像比較部３９に渡す劣化部３７を有する。

劣化部３７はたとえば、劣化・経過状況推定部３２が推定した経過年数に従って画像を意図的に入力画像ＩINに近づくように修正し、劣化画像ＤREC を出力する。劣化画像ＤREC の生成手法としては、劣化・経過状況推定部３２が推定した経過年数を参照して、輝度や色彩が劣化していない登録画像ＩREC に対して、輝度や色彩が劣化している入力画像ＩINに近づくように、意図的に輝度や色彩が劣化するように画像補正を加える。補正の方向が劣化復元部３４と逆になるが、基本的な補正の仕組み自体は同様と考えることができる。

照合部３５（特に画像比較部３９）は、入力画像ＩINと登録画像ＩREC の劣化画像ＤREC とを照合し、検索結果のスコアを付ける。第３構成例での検索結果のスコアとは、入力画像ＩINと劣化画像ＤREC とが同一であるか否かの程度（度合い）を示す指標である。

＜文書処理履歴管理装置：第４構成例＞
図２Ｃは、文書処理履歴管理装置６の第４構成例を示す図である。第４構成例の文書処理履歴管理装置６は、第４構成例の画像検索装置７を包含しており、第１構成例の文書処理履歴管理装置６との対比としては画像検索装置７の構成が異なる。

第４構成例の画像検索装置７は、検索用のキー画像として入力された入力画像ＩINの劣化状況を考慮した検索処理を行なう手法（検索方式）として、第４の検索方式（４）「登録画像ＩREC 側も劣化している場合に、入力画像ＩIN側と登録画像ＩREC 側の両方を画像劣化を考慮して修正（復元）し、各復元画像（復元画像ＲINと復元画像ＲREC ）同士で照合する」を採用する点に特徴がある。第１構成との相違は、端的に言えば、登録画像ＩREC 側も劣化している場合に、登録画像ＩREC 側についても、入力画像ＩINに対して設けられている劣化復元部３４と同様に、登録画像ＩREC の劣化状況に基づき画像劣化が補正され元の画像にできるだけ近くなった復元画像ＲRECを生成する（劣化の改善された画像を復元する）劣化復元部３８を第２の劣化復元部として有する。因みに、この第４構成例の場合、入力画像ＩINについての劣化復元部３４は第１の劣化復元部である。

登録画像ＩREC の劣化状況については、登録画像ＩREC について経過年数を推定し、劣化状況として利用する。経過年数の推定方法としては、たとえば入力画像ＩINについての劣化・経過状況推定部３２と同様に、登録画像ＩREC の余白部分の黄ばみ状態やインクの退色具合（たとえば、余白に基準色情報を印刷しておき現状と比較する）など、写真処理などの分野において一般的に用いられている手法を用いることができる。このように、登録画像ＩREC についても画像劣化を考慮した復元を行なうのは、登録画像ＩREC そのものが、劣化している画像を読み取ったものである場合に対処するためである。

照合部３５（特に画像比較部３９）は、入力画像ＩINの復元画像ＲINと登録画像ＩREC の復元画像ＲREC とを照合し、検索結果のスコアを付ける。第４構成例での検索結果のスコアとは、復元画像ＲINと復元画像ＲREC とが同一であるか否かの程度（度合い）を示す指標である。

＜検索方式の比較＞
図２Ｄは、第１構成例〜第４構成例の文書処理履歴管理装置６（特に画像検索装置７）の検索処理部３０で採用している各検索方式の相違を説明する図である。一例として、入力画像ＩINのある画素位置のＲ（赤），Ｇ（緑），Ｂ（青）の各信号レベルが１００であり、その元画像（世代間コピーをしていないオリジナルの画像）の同一画素位置のＲ（赤），Ｇ（緑），Ｂ（青）の各信号レベルが１２０である場合で説明する。

図２Ｄ（１）は、第１構成例の検索処理部３０の照合処理における画像修正を説明する図である。第１構成例では、画像劣化を考慮して、入力画像ＩINのＲ値，Ｇ値，Ｂ値を、元画像のＲ値，Ｇ値，Ｂ値に近くなるように、たとえば、Ｒ＝１１８，Ｇ＝１１８，Ｂ＝１１８と修正する。そして、入力画像ＩINに対してＲ値，Ｇ値，Ｂ値が修正された復元画像ＲINと登録画像ＩREC との間で照合する。

図２Ｄ（２）は、第２構成例の検索処理部３０の照合処理における画像修正を説明する図である。ここでは、読出部３６が読み出した登録画像ＩREC の照合部分の画素位置（以下照合位置と称する）のＲ（赤），Ｇ（緑），Ｂ（青）の各信号レベルがＲ＝１２０，Ｇ＝１２０，Ｂ＝１２０である場合で説明する。

第２構成例では、入力画像ＩINおよび登録画像ＩREC ともに加工せず、照合時に画像劣化を考慮したマッチングを行なう。たとえば、入力画像ＩINの照合位置のＲ＝１００，Ｇ＝１００，Ｂ＝１００と読出部３６が読み出した登録画像ＩREC の対応する画素位置のＲ＝１２０，Ｇ＝１２０，Ｂ＝１２０との間で、入力画像ＩINは劣化しているので本当はＲ値，Ｇ値、Ｂ値はもう少し大きいものと考えて照合を行なう。あるいは、読出部３６が読み出した登録画像ＩREC のＲ＝１２０，Ｇ＝１２０，Ｂ＝１２０を少し小さくした方が入力画像ＩINとの照合に適すると考えて照合を行なう。この両者を組み合わせて照合してもよい。

図２Ｄ（３）は、第３構成例の検索処理部３０の照合処理における画像修正を説明する図である。ここでは、読出部３６が読み出した登録画像ＩREC の照合位置のＲ（赤），Ｇ（緑），Ｂ（青）の各信号レベルがＲ＝１２０，Ｇ＝１２０，Ｂ＝１２０である場合で説明する。第３構成例では、画像劣化を考慮して、読出部３６が読み出した登録画像ＩREC のＲ値，Ｇ値，Ｂ値を、意図的に入力画像ＩINのＲ値，Ｇ値，Ｂ値に近くなるように、たとえば、Ｒ＝１０２，Ｇ＝１０２，Ｂ＝１０２と修正する。そして、登録画像ＩREC に対してＲ値，Ｇ値，Ｂ値が修正された劣化画像ＤREC と入力画像ＩINとの間で照合する。

図２Ｄ（４）は、第４構成例の検索処理部３０の照合処理における画像修正を説明する図である。ここでは、読出部３６が読み出した登録画像ＩREC の照合位置のＲ（赤），Ｇ（緑），Ｂ（青）の各信号レベルがＲ＝１１０，Ｇ＝１１０，Ｂ＝１１０であり、その元画像（世代間コピーをしていないオリジナルの画像）のＲ（赤），Ｇ（緑），Ｂ（青）の同一位置の各信号レベルがＲ＝１２０，Ｇ＝１２０，Ｂ＝１２０である場合で説明する。第４構成例では、登録画像ＩREC 側も劣化している場合に、登録画像ＩREC 側についても画像劣化を考慮して、登録画像ＩREC のＲ値，Ｇ値，Ｂ値を、元画像のＲ値，Ｇ値，Ｂ値に近くなるように、たとえば、Ｒ＝１１９，Ｇ＝１１９，Ｂ＝１１９と修正する。そして、入力画像ＩINに対してＲ値，Ｇ値，Ｂ値が修正された復元画像ＲINと、登録画像ＩREC に対してＲ値，Ｇ値，Ｂ値が修正された復元画像ＲREC との間で照合する。

＜文書処理履歴管理装置：第５構成例＞
図３は、文書処理履歴管理装置６の第５構成例を示す図である。第５構成例の文書処理履歴管理装置６は、第５構成例の画像検索装置７を包含している。第５構成例や後述する第６〜第８構成例は、前述の第１構成例〜第４構成例に対して、第１構成例の最後に説明した付加機能（（ａ）〜（ｃ）の何れか１つあるいは任意の複数の組合せ）を設ける点に特徴があり、第５構成例では、少なくともその内の第１の付加機能（ａ）を採用する点に特徴がある。図示した例では、第１構成例に対して第１の付加機能（ａ）のみを追加する形態で示す。

図３に示すように、第５構成例の文書処理履歴管理装置６（特に画像検索装置７）は、先ず、検索処理部３０から、劣化・経過状況推定部３２を取り外している。その代わりに、画像検索装置７は、ユーザが設定する経過状況（たとえば経過年数）を受け付ける経過状況受付部５２を経過状況特定部の一例として有する。経過状況受付部５２が受け付けた経過状況を示す情報は劣化復元部３４と照合部３５で用いる。これは、たとえば、ユーザが過去にプリンタで印刷し劣化した画像からオリジナル画像を検索して再印刷するような場面に好適な事例である。たとえば、ユーザは、経過年数（および出力デバイス）を知っているので、その情報を経過状況受付部５２を介して指定する。

経過状況を示す情報を劣化復元部３４で利用するに当たっては、経過状況受付部５２が受け付けた経過状況を示す情報に基づき入力画像ＩINの劣化状況を推定する劣化状況推定部３２ａを劣化状況特定部の一例として設け、劣化状況推定部３２ａが推定した劣化状況に従って劣化復元部３４は画像を復元する。なお、劣化状況推定部３２ａの機能を劣化復元部３４に持たせることも可能である。また、経過状況は事実上劣化状況そのものを示していると考えることもでき、実質的には、劣化状況推定部３２ａを割愛した形態として構成することもできる。

ユーザ指定の経過状況に基づく劣化状況の推定方法としては、たとえば、経過年数と画像劣化具合とを対応付けておき、指定された経過年数から画像劣化の具合（たとえばインクの退色具合）を推定するなど、写真処理などの分野において一般的に用いられている手法を用いることができる。

劣化復元部３４や画像比較部３９は、第１構成例のように劣化・経過状況推定部３２により推定される経過状況（推定経過年数）ではなく、ユーザが知っている経過状況（指定経過年数）に基づき処理を行なうことになる。よって、推定経過年数ではなく指定経過年数を参照した復元や照合を行なうので、第１構成例よりも、キー画像の復元精度は向上する。加えて、画像比較部３９は、現実に即した指定経過年数で検索対象を絞り込める。

なお、図示した構成例は第１構成例との組合せの場合であるが、経過状況受付部５２が受け付けた経過状況を示す情報は、第３構成例との組合せにおいては劣化部３７で、第４構成例との組合せにおいては劣化復元部３８で用いることが可能である。各構成例よりも、画像の修正精度は向上する。

＜文書処理履歴管理装置：第６構成例＞
図３Ａは、文書処理履歴管理装置６の第６構成例を示す図である。第６構成例の文書処理履歴管理装置６は、第６構成例の画像検索装置７を包含している。第６構成例は、前述の第１構成例〜第４構成例に対して、第１構成例の最後に説明した付加機能（（ａ）〜（ｃ）の何れか１つあるいは任意の組合せ）を設ける点に特徴があり、特に、少なくともその内の第２の付加機能（ｂ）を採用する点に特徴がある。図示した例では、第２構成例に対して第２の付加機能（ｂ）のみを追加する形態で示す。

図３Ａに示すように、第５構成例の文書処理履歴管理装置６（特に画像検索装置７）は、ユーザから劣化が著しい部分や欠落した部分の情報（劣化箇所情報と称する）の入力を受け付ける劣化箇所受付部５４を有する。劣化箇所受付部５４が受け付けた劣化箇所情報は照合部３５で用いる。これは、たとえば、劣化箇所情報の入力を受け付け、画像をブロックに分割してブロックごとにマッチングを行なう照合方式を採用する場面に好適な事例である。

第５構成例の場合、劣化状況特定部は、劣化・経過状況推定部３２における劣化状況推定部の機能部分と劣化箇所受付部５４とで構成される。なお、入力画像ＩINの劣化状況の内、劣化箇所の情報は劣化箇所受付部５４によりユーザ指定されるので、劣化・経過状況推定部３２における劣化状況推定部の機能としては、劣化箇所を除く劣化の種類や程度を推定することになる。

たとえば、画像比較部３９は、ユーザが入力した劣化が著しい部分や欠落した部分の情報（劣化箇所情報）に該当するブロックのスコア計算を省略（スキップ）する。これにより、第２構成例よりも、検索精度は向上するし、検索処理時間は短くなる。

なお、図示した構成例は第２構成例との組合せの場合であるが、劣化箇所受付部５４が受け付けた劣化箇所情報は、第１構成例との組合せにおいては劣化復元部３４でも、第３構成例との組合せにおいては劣化部３７でも、第４構成例との組合せにおいては劣化復元部３８でも用いることが可能である。各構成例よりも、画像の修正精度は向上する。

たとえば、第１構成例との組合せの場合、劣化復元部３４は、ブロック別に補正の度合いを調整するように構成しておき、ユーザが入力した劣化が著しい部分や欠落した部分の情報（劣化箇所情報）に該当するブロックについては補正の度合いを他の部分よりも強くする。その他の構成例の場合でも、ブロック別に補正の度合いを調整するように構成しておき、劣化箇所情報で指定されたブロックについては補正の度合いを他の部分と異なるようにする。

＜文書処理履歴管理装置：第７構成例＞
図３Ｂは、文書処理履歴管理装置６の第７構成例を示す図である。第７構成例の文書処理履歴管理装置６は、第７構成例の画像検索装置７を包含している。第７構成例は、前述の第１構成例〜第４構成例に対して、第１構成例の最後に説明した付加機能（（ａ）〜（ｃ）の何れか１つあるいは任意の組合せ）を設ける点に特徴があり、特に、少なくともその内の第３の手法（ｃ）を採用する点に特徴がある。図示した例では、第１構成例に対して第３の付加機能（ｃ）のみを追加する形態で示す。

図３Ｂに示すように、第７構成例の文書処理履歴管理装置６（特に画像検索装置７）は、ユーザから劣化の状況（特に種類や程度）の入力を受け付ける劣化種・程度受付部５６を有する。劣化種・程度受付部５６が受け付けた劣化の種類や程度の情報は劣化復元部３４と照合部３５で用いる。これは、ユーザが入力した劣化の種類や程度の情報を画像の修正（第１構成例との組合せにおいては復元）や照合に利用する場面に好適な事例である。

第６構成例の場合、劣化状況特定部は、劣化・経過状況推定部３２における劣化状況推定部の機能部分と劣化種・程度受付部５６とで構成される。なお、入力画像ＩINの劣化状況の内、劣化の種類や程度の情報は劣化種・程度受付部５６によりユーザ指定されるので、劣化・経過状況推定部３２における劣化状況推定部の機能としては、ユーザ指定された劣化の種類や程度を除く劣化箇所を推定することになる。

たとえば、劣化復元部３４は、ユーザが入力した劣化の種類情報（色の劣化、色の欠落、エッジの劣化、ノイズなどの汚れなど）や程度情報を画像の復元に利用する。これにより、第１構成例よりも、キー画像の復元精度は向上する。

画像比較部３９は、ユーザが入力した劣化の種類情報（色の劣化、色の欠落、エッジの劣化、ノイズなどの汚れなど）や程度情報を画像照合に利用する。これにより、第１構成例よりも、検索精度は向上するし、検索処理時間は短くなる。

なお、図示した構成例は第１構成例との組合せの場合であるが、劣化種・程度受付部５６が受け付けた劣化状況情報は、第３構成例との組合せにおいては劣化部３７でも、第４構成例との組合せにおいては劣化復元部３８でも用いることが可能である。各構成例よりも、画像の修正精度は向上する。

＜文書処理履歴管理装置：第８構成例＞
図３Ｃは、文書処理履歴管理装置６の第８構成例を示す図である。第８構成例の文書処理履歴管理装置６は、第８構成例の画像検索装置７を包含している。第８構成例は、前述の第１構成例〜第４構成例に対して、第１構成例の最後に説明した付加機能（（ａ）〜（ｃ）の全てを設ける点に特徴がある。図示した例では、第２構成例に対して第１〜第３の全付加機能（ａ）〜（ｃ）を追加する形態で示す。図からも分るように、第２構成例に、第５構成例、第６構成例、および第７構成例を組み合わせた状態となっている。第８構成例の場合、経過状況受付部５２が経過状況特定部の一例として機能し、また、劣化箇所受付部５４と劣化種・程度受付部５６で劣化状況特定部が構成される。

＜検索方式と付加機能の組合せ例＞
図３Ｄは、第１構成例〜第４構成例で説明した４種類の検索方式（１）〜（４）と、第５構成例〜第７構成例で説明した３種類の付加機能（ａ）〜（ｃ）の組合せ例を説明する図である。図３Ｃに示した第８構成例では、第１構成例に対して第１〜第３の全付加機能（ａ）〜（ｃ）を組み合わせる例で示したが、その組合せ方は任意であり、図３Ｄに示すように、種々の形態を採り得る。

図３Ｄ中で、“○”で示しているものは組み合わせることが特に有効な場合であり、“△”で示しているものは、“○”で示しているもの程は組み合わせることが有効ではないが、組合せ自体は可能な場合である。

＜検索処理の動作例＞
図４は、本実施形態の文書処理履歴管理装置６（特に画像検索装置７）における検索処理の特徴を説明する図である。ここで、図４（１）は、本実施形態に対する比較例における検索処理の動作例を示す図である。図４（２）は、本実施形態の第１構成例の画像検索装置７における検索処理の動作例を示す図である。

比較例の検索処理の場合、図４（１）に示すように、入力画像ＩINと登録画像ＩREC との間で照合を行なう。このとき、入力画像ＩINが、複製（複写）を繰り返した世代間コピーの画像を読み取ったものである場合や出力媒体への出力（印刷）後に相当の期間（たとえば数年）が経過しているものである場合、コピーの繰返しや汚れ付着や用紙の黄ばみなどで画像が劣化していることがある。

劣化したままの入力画像ＩINと登録画像ＩREC との間での照合を行なうと、検索精度が低くなる。また、登録画像全体と照合を行なうと、つまり、データ保持部１４に登録されている全ての登録画像ＩREC を検索対象画像にして、入力画像ＩINとの照合を行なうと、検索に時間が掛る。

一方、本実施形態の検索処理の場合、図４（２）に示すように、劣化・経過状況推定部３２は検索キー画像である劣化した入力画像ＩINから経過年数を推定し、劣化復元部３４は推定された経過年数を参照して画像を復元し、照合部３５は復元画像ＲINで照合を行なう。劣化を補正した復元画像ＲINで照合を行なうことになるので、劣化したままの入力画像ＩINと登録画像ＩREC との間で照合を行なう比較例の場合よりも検索精度は向上する。

加えて、照合部３５は、劣化・経過状況推定部３２により得られた経過年数を参照して検索対象画像を絞り込み復元画像ＲINと照合する。検索対象画像は、データ保持部１４に登録されている登録画像ＩREC の全体よりも少なくなるので、登録画像全体と照合を行なう比較例の場合より検索処理時間は短くなる。

＜システム構成：第２実施形態＞
図５は、本発明の一実施形態を適用した画像検索システムの構成例を示す図である。図示のように、文書処理履歴管理とは切り離された第２実施形態の画像検索システム２は、専ら、画像検索を主に処理するシステムへの適用に好適な事例である。たとえば、スタンドアロンのコンピュータ８を画像検索装置７として使用し、そのコンピュータ８が取り扱うことのできる複数の登録画像の中から目的とする画像を検索する場合である。

第２実施形態の画像検索装置７の機能構成としては、前述の第１実施形態における第１構成例〜第８構成例や図３Ｃに示した他の組合せ例を採用することができる。

検索対象となる登録画像としては、たとえば、コンピュータ８に内蔵の図示しない記憶装置に保存されている画像や、フレキシブルディスクＦＤやＣＤ−ＲＯＭやＤＶＤ−ＲＯＭあるいは各種仕様の半導体メモリ（図では方式の異なる４種類の半導体メモリ１〜４）などの可搬型の記憶媒体８２に記録されている画像、あるいは、コンピュータと所定の接続方式（たとえばＵＳＢ（Universal Serial Bus）で接続されている他の電子機器８４（たとえば外部記憶装置８４ａやデジタルカメラ８４ｂに装着されている半導体メモリ）に保存されている画像が想定される。

画像検索システム２を構成する画像検索装置７は、第１実施形態で説明したのと同様に、制御部１２を有する。制御部１２のハードウェア構成としては、たとえば、制御処理や演算処理を行なう中枢を司るＣＰＵや処理データやプログラムデータを記憶するＲＡＭやＲＯＭなどのメモリ装置などで構成される一般的な電子計算機と同様の仕組みとすることができる。そのハードウェア構成例については、所定の処理用のソフトウェアを実行するマイクロプロセッサなどから構築される、パーソナルコンピュータを始めとする電子計算機の構成として周知であるので図示を割愛する。

つまり、第２実施形態において、所定の記憶媒体に保存されている画像情報の中から目的とする画像（たとえば検索キーとなる画像と同一もしくは類似の画像）を見つけ出す検索処理を行なう中心的な機能をなす制御部１２の仕組みは、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機（コンピュータ）を用いてソフトウェア的に実現することも可能である。

第１実施形態の画像検索システムを一部に備える文書処理履歴管理システムの一構成例を示す図である。 文書処理履歴管理装置の第１構成例を示す図である。 文書処理履歴管理装置の第２構成例を示す図である。 文書処理履歴管理装置の第３構成例を示す図である。 文書処理履歴管理装置の第４構成例を示す図である。 第１構成例〜第４構成例の画像検索装置の検索処理部で採用している各検索方式の相違を説明する図である。 文書処理履歴管理装置の第５構成例を示す図である。 文書処理履歴管理装置の第６構成例を示す図である。 文書処理履歴管理装置の第７構成例を示す図である。 文書処理履歴管理装置の第８構成例を示す図である。 各検索方式（１）〜（４）と各付加機能（ａ）〜（ｃ）の組合せ例を説明する図である。 本実施形態の文書処理履歴管理装置６（特に画像検索装置７）における検索処理の特徴を説明する図である。 第２実施形態の画像検索システムの構成例を示す図である。

符号の説明

１…文書処理履歴管理システム１、１２…制御部、１４…データ保持部、２…画像検索システム、２２…文書画像受付部、２４…処理操作情報受付部、２６…操作履歴記録部、３…イメージング機器、３０…検索処理部、３１…劣化・経過状況特定部、３２…劣化・経過状況推定部、３２ａ…劣化状況推定部、３４…劣化復元部、３５…照合部、３６…読出部、３７…劣化部、３８…劣化復元部、３９…画像比較部、３Ａ…複写機、３Ｂ…印刷装置、３Ｃ…画像読取装置、３Ｄ…複合機、３Ｅ…ファクシミリ、４…処理指示装置、４０…処理結果情報提示部、４４…情報生成部、４６…出力部、５２…経過状況受付部、５４…劣化箇所受付部、５６…劣化種・程度受付部、６…文書処理履歴管理装置、７…画像検索装置、８…コンピュータ、８２…可搬型の記憶媒体、８４…電子機器、８４ａ…外部記憶装置、８４ｂ…デジタルカメラ、９…ネットワーク、９２…原稿読取部、９４…操作部

Claims (9)

1. 複数の画像を蓄積可能な記憶部と、
   検索用のキー画像の劣化の状況を特定する劣化状況特定部と、
   前記劣化状況特定部が特定した前記キー画像の劣化状況を参照して、前記キー画像と前記記憶部に記憶されている画像とを照合することで、前記記憶部に記憶されている全画像から前記キー画像に対応する目的とする画像を検索する検索処理部と、
   前記劣化状況特定部が特定した前記キー画像の劣化状況に基づき、前記キー画像の劣化を補正することで、劣化の改善された画像を復元する第１の劣化復元部と、
   前記記憶部に記憶されている照合対象の画像の劣化状況に基づき、当該照合対象の画像の劣化を補正することで、劣化の改善された画像を復元する第２の劣化復元部と
   を備え、
   前記検索処理部は、前記第１の劣化復元部が復元した前記キー画像の復元画像と、前記第２の劣化復元部が復元した前記照合対象の画像の復元画像とを照合する
   ことを特徴とする画像検索システム。
2. 検索用のキー画像の劣化の状況を特定する劣化状況特定部と、
   前記劣化状況特定部が特定した前記キー画像の劣化状況を参照して、前記キー画像と複数の画像を蓄積可能な記憶部に記憶されている画像とを照合することで、前記記憶部に記憶されている全画像から前記キー画像に対応する目的とする画像を検索する検索処理部と、
   前記劣化状況特定部が特定した前記キー画像の劣化状況に基づき、前記キー画像の劣化を補正することで、劣化の改善された画像を復元する第１の劣化復元部と、
   前記記憶部に記憶されている照合対象の画像の劣化状況に基づき、当該照合対象の画像の劣化を補正することで、劣化の改善された画像を復元する第２の劣化復元部と
   を備え、
   前記検索処理部は、前記第１の劣化復元部が復元した前記キー画像の復元画像と、前記第２の劣化復元部が復元した前記照合対象の画像の復元画像とを照合する
   ことを特徴とする画像検索装置。
3. 前記キー画像が出力媒体に出力されてからの経過状況を特定する経過状況特定部を備え、
   前記検索処理部は、前記経過状況特定部が特定した経過状況を参照して、前記記憶部に記憶されている全画像の中から照合対象となる画像を絞り込む
   ことを特徴とする請求項２に記載の画像検索装置。
4. 前記劣化状況特定部は、前記キー画像をデータ解析することにより、当該キー画像の劣化状況を推定する劣化状況推定部を有する
   ことを特徴とする請求項２に記載の画像検索装置。
5. 前記キー画像が出力媒体に出力されてからの経過状況のユーザ指定を受け付ける経過状況受付部を備え、
   前記劣化状況特定部は、前記経過状況受付部が受け付けた前記キー画像の経過状況に基づいて、当該キー画像の劣化状況を推定する劣化状況推定部を有する
   ことを特徴とする請求項２に記載の画像検索装置。
6. 前記劣化状況特定部は、前記キー画像の劣化の箇所、劣化の種類、および劣化の程度の内の少なくとも１つのユーザ指定を受け付ける受付部と、前記キー画像の劣化の箇所、劣化の種類、および劣化の程度の内の前記ユーザ指定されていないものについて所定の方法により推定する推定部と
   を有することを特徴とする請求項２に記載の画像検索装置。
7. 前記経過状況特定部は、前記キー画像をデータ解析することにより、当該キー画像の経過状況を推定する経過状況推定部を有する
   ことを特徴とする請求項３に記載の画像検索装置。
8. 前記経過状況特定部は、前記キー画像が出力媒体に出力されてからの経過状況のユーザ指定を受け付ける経過状況受付部を有する
   ことを特徴とする請求項３に記載の画像検索装置。
9. 複数の画像を記憶可能な記憶部に記憶されている画像の中から目的とする画像を検索する検索処理を電子計算機を用いて行なうためのプログラムであって、
   前記電子計算機に備えられる中央演算制御部を、
   検索用のキー画像の指定を受け付けるキー画像受付部と、
   前記キー画像受付部が受け付けた検索用のキー画像の劣化の状況を特定する劣化状況特定部と、
   前記劣化状況特定部が特定した前記キー画像の劣化状況を参照して、前記記憶部に記憶されている画像とを照合することで、前記記憶部に記憶されている全画像から前記キー画像に対応する目的とする画像を検索する検索処理部と、
   前記劣化状況特定部が特定した前記キー画像の劣化状況に基づき、前記キー画像の劣化を補正することで、劣化の改善された画像を復元する第１の劣化復元部と、
   前記記憶部に記憶されている照合対象の画像の劣化状況に基づき、当該照合対象の画像の劣化を補正することで、劣化の改善された画像を復元する第２の劣化復元部と
   して機能させ、
   前記検索処理部は、前記第１の劣化復元部が復元した前記キー画像の復元画像と、前記第２の劣化復元部が復元した前記照合対象の画像の復元画像とを照合する
   ことを特徴とするプログラム。
   

Images