JP4518212B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、追記がなされた文書の原本を探索するための技術に関する。

文書には、各種のコメントや、校正ないし修正の指示などが記されたり、或いは、その文書の内容を承認したことを示すための承認者のサインや印影などが付されることがある。このような各種の追記がなされた文書（以下、追記文書という）をスキャナで読み込んで、追記された内容（以下、追記部分という）と、その追記前の文書原本の内容とを対応付けて保存しておけば、これを様々な利用シーンで活用することができる。例えば、或る承認者のコメントだけを一斉に検索するといったように、追記部分のみを対象とした検索作業を行うことが可能となる。また、文書原本のみを表示した画面と、文書原本に追記部分を重ね合わせて表示した画面とを、ユーザの操作に応じて切り替えて表示する、といった使い方も可能である。

そこで、従来から、このような追記部分だけを抽出するための技術が提案されている。例えば特許文献１には、文書原本と、その原本に追記がなされた追記文書を比較照合することにより、追記部分のみを抽出するという技術が記載されている。特許文献２には、ある文書がすでにデータベースに登録済みの文書Ａの追記文書Ｂであった場合には、その追記文書Ｂと文書Ａとを比較して追記部分の画像データを抽出し、抽出した画像データを文書Ａに対応付けるという仕組みが提案されている。そして、特許文献３には、特許文献２に記載されているように追記文書Ｂと文書Ａとを比較して追記部分の画像データを抽出したうえで、その追記部分の画像データに関する情報（例えばキーワードや更新日時）をユーザが入力し、これらの入力情報を追記部分の画像データと共に記憶しておくことが記載されている。これにより、保存後の検索作業において、例えばキーワード検索を行って所望の文書を抽出することが可能となる。

特許文献１〜３に記載されているように、追記前の文書と追記後の文書とを比較し、その差分を追記部分として特定するという方法を用いた場合、追記部分のみを確実に抽出することができる。ただし、実際の利用シーンを想定すると、追記後の文書に対し、その追記がなされる前の文書をどのようにして見つけだすかという作業は、それほど容易ではない。例えば特許文献１−３においては、ユーザが追記前の文書をファイル名で指定するようになっているが、この方法では、膨大な数の全ての文書についてファイル名を覚えておかなければならず、非常に使い勝手が悪い。

特開昭６１−６７１７７号公報 特開平８−３１７１５５号公報 特開２０００−１４８７９０号公報

本発明は、このような背景に鑑みてなされたものであり、その目的は、複数の原本画像データの中から、特定の追記文書の原本に相当する原本画像データを速やかに見つけだすことが可能な仕組みを提供することにある。

請求項１に係る発明は、複数の原本画像データを記憶する記憶手段と、画像データが入力される入力手段と、前記記憶手段によって記憶されている複数の原本画像データと、前記入力手段に入力された入力画像データとの差分画像をそれぞれ抽出する抽出手段と、前記抽出手段によって抽出された各々の前記差分画像に基づいて各々の前記差分画像の画素の分布を求め、前記記憶手段によって記憶されている複数の原本画像データの中から、求めた画素分布が他の原本画像データよりも特定の領域に偏っている原本画像データを、前記入力画像データの原本に相当する原本画像データとして特定する特定手段と、前記特定手段によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御手段とを備える画像処理装置である。

請求項２に係る発明は、複数の原本画像データを記憶する記憶手段と、画像データが入力される入力手段と、前記記憶手段によって記憶されている複数の原本画像データと、前記入力手段に入力された入力画像データとの差分画像をそれぞれ抽出する抽出手段と、前記抽出手段によって抽出された各々の前記差分画像に対してレイアウト解析を行い、これによって得られたレイアウト単位領域のサイズまたは位置に基づいて、前記記憶手段によって記憶されている複数の原本画像データの中から、前記入力画像データの原本に相当する原本画像データを特定する特定手段と、前記特定手段によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御手段とを備える画像処理装置である。

請求項３に係る発明は、請求項１または２に記載の構成において、前記記憶制御手段は、前記追記画像データが複数ある場合には、前記入力画像データが表す画像において互いに近傍にある追記画像を表す追記画像データどうしをグルーピングし、これら追記画像データをグループ単位で前記記憶手段に記憶させることを特徴とする画像処理装置である。

請求項４に係る発明は、請求項３に記載の構成において、前記記憶制御手段は、前記入力画像データが表す画像における追記画像の位置を含む電子付箋データとして、前記追記画像データを前記記憶手段に記憶させることを特徴とする画像処理装置である。

請求項５に係る発明は、コンピュータに、記憶手段によって記憶されている複数の原本画像データと、入力された入力画像データとを比較し、両者の差分画像をそれぞれ抽出する抽出機能と、前記抽出機能によって抽出された各々の前記差分画像に基づいて各々の前記差分画像の画素の分布を求め、前記記憶手段によって記憶されている複数の原本画像データの中から、求めた画素分布が他の原本画像データよりも特定の領域に偏っている原本画像データを、前記入力画像データの原本に相当する原本画像データとして特定する特定機能と、前記特定機能によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御機能とを実現させるためのプログラムである。

請求項６に係る発明は、コンピュータに、記憶手段によって記憶されている各々の原本画像データと、入力された入力画像データとを比較し、両者の差分画像をそれぞれ抽出する抽出機能と、前記抽出機能によって抽出された各々の前記差分画像に対してレイアウト解析を行い、これによって得られたレイアウト単位領域のサイズまたは位置に基づいて、前記記憶手段によって記憶されている複数の原本画像データの中から、前記入力画像データの原本に相当する原本画像データとして特定する特定機能と、前記特定機能によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御機能とを実現させるためのプログラムである。

本発明の第１実施形態に係る画像処理装置の構成を示したブロック図である。 同実施形態に係る画像処理装置が実行する手順を示すフローチャートである。 同実施形態における追記文書の内容を例示した図である。 同実施形態における文書原本の内容を例示した図である。 同実施形態に係る画像処理装置が原本画像データを特定する原理を説明する図である。 同実施形態に係る画像処理装置が原本画像データを特定する原理を説明する図である。 同実施形態に係る画像処理装置が原本画像データを特定する原理を説明する図である。 同実施形態に係る画像処理装置が原本画像データを特定する原理を説明する図である。 本発明の第２実施形態に係る画像処理装置が実行する手順を示すフローチャートである。同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。 同実施形態に係る画像処理装置が原本画像データを特定する原理を説明する図である。 同実施形態に係る画像処理装置が入力画像データと原本画像データとの差分を抽出する様子を例示した図である。

まず、本発明の実施形態で用いる主要な用語を定義しておく。
「文書原本」とは、プリンタ等の画像形成装置によって画像が形成されてから追記者による追記が一切なされていない文書を意味している。「原本画像データ」とは、この文書原本の内容を表した画像データである。なお、ここでいう「原本画像データ」という用語の意味には、文書の内容が画像として表現された画像データの他にも、例えば、文書作成アプリケーションプログラムによって固有のコード情報を用いて表現された文書データも含むものとする。なぜならこのような文書データを画像データに適宜変換することは容易であるし、また、特に本発明では、画像データであろうが文書データであろうが、文書原本の内容を解析してその特徴を抽出するために用いることができるという点では、これらのデータは共通するからである。
これに対し、「追記文書」とは、文書原本に対して追記がなされた状態の文書を意味している。また、「追記画像」とは、追記部分の画像を意味している。例えば或る文字列についてペンでアンダーラインが施されている場合には、そのアンダーラインそのものが追記画像である。「追記画像データ」とは、追記画像の内容を表した画像データである。

（１）第１実施形態
図１は、第１実施形態に係る画像処理装置１の構成を示したブロック図である。画像処理装置１は、例えばパーソナルコンピュータであり、制御部１１と、不揮発性記憶部１２と、入力部１３と、表示部１４と、操作部１５とを備えている。入力部１３には通信ケーブルを介してスキャナ等の画像読取装置２が接続されている。

制御部１１は、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２及びＲＡＭ（Random Access Memory）１１３を備えており、画像読取装置２か
ら入力部１３を介して入力された画像データに対し、各種の画像処理を実行する。不揮発性記憶部１２は例えばハードディスクであり、制御部１１が実行する画像処理の手順が記述された画像処理プログラムＰＲＧを記憶している。また、不揮発性記憶部１２は、追記がなされる前の文書原本の原本画像データを複数記憶している。操作部１５は、例えばキーボードやマウスを備えており、ユーザによる入力操作を受け付けて、その操作に応じた信号を制御部１１に供給する。表示部１４は例えば液晶ディスプレイ装置であり、制御部１１による制御の下で各種画像を表示する。

図２は、画像処理プログラムＰＲＧに記述された手順を示すフローチャートである。
追記者は文書原本に追記を行う。追記がなされた追記文書は画像読取装置２によって読み取られる。画像読取装置２は、読み取った画像を表す画像データを画像処理装置１の入力部１３に入力する。

入力部１３に画像データが入力されると（ステップＳ１）、制御部１１は、入力された画像データ（以下、入力画像データという）が表す画像の内容を、予め決められたアルゴリズムに従って解析し、その画像の特徴を抽出する（ステップＳ２）。画像の特徴を抽出するための具体的なアルゴリズムについては後で詳述する。次いで、制御部１１は、不揮発性記憶部１２に記憶されている原本画像データの中から、ステップＳ２で抽出した特徴にほぼ一致するような特徴を有する原本画像データを探索する（ステップＳ３）。ここでは、両者の特徴が完全に一致する必要はなく、不揮発性記憶部１２に記憶されている原本画像データのうち、ステップＳ２で抽出した特徴に最も近い特徴を有する原本画像データであればよい。なお、ここで、不揮発性記憶部１２に記憶されている原本画像データがいわゆる「画像データ」でなく、冒頭で説明したような文書データであった場合は、必要に応じて、この文書データをラスタライズして画像に展開すればよい。もちろん、これはその必要がある場合に変換すればよく、後述するように文字列を特徴として使う場合には、文書データを敢えて画像に展開する必要は無い。

次に、制御部１１は、ステップＳ３の探索により得られた原本画像データと、ステップＳ１で得られた入力画像データとを比較し（ステップＳ４）、両者の差分を追記画像データとして抽出する（ステップＳ５）。そして、制御部１１は、抽出した追記画像データを、ステップＳ３の探索により得られた原本画像データに対応付けて不揮発性記憶部１２に記憶させる（ステップＳ６）。

ステップＳ６において、制御部１１は、追記画像データが複数ある場合には、入力画像データが表す画像において互いに近傍にある追記画像を表す追記画像データどうしをグルーピングし、これら追記画像データをグループ単位で不揮発性記憶部１２に記憶させるようにしてもよい。望ましくは、制御部１１は、この追記画像データを電子付箋データとして不揮発性記憶部１２に記憶させる。ここでいう電子付箋データとは、入力画像データが表す画像中で追記画像がどこに配置されているかということを示す位置情報を含むデータである。
以上が、制御部１１の基本動作である。

次に、前述のステップＳ２で画像の特徴を抽出するための方法について説明する。具体的な方法を列挙すると次のようになる。
（１−１）可視または不可視のコード画像を特徴として抽出する方法
（１−２）レイアウト解析処理によって得られた各々のレイアウト単位領域の位置、形状及びサイズを特徴として抽出する方法
（１−３）文字認識処理によって得られた文字列を特徴として抽出する方法
（１−４）レイアウト解析処理によって得られたレイアウト単位領域のうち、特定のレイアウト単位領域に対して文字認識処理を行って得られた文字列を特徴として抽出する方法（１−５）画像を複数の領域に分割し、各々の領域に対して周波数解析を行って得られた周波数分布を特徴として抽出する方法
（１−６）画像の投影分布を特徴として抽出する方法

以下、これらの方法について順番に説明する。
（１−１）可視または不可視のコード画像を特徴として抽出する方法
図３は追記文書の一例を示す図である。追記文書Ｄにおいては、図４に示すような文書原本Ｄoに対し、「総務部田中宛」という文字列のうち「田中」の部分を「中村」に修正
するような指示が追記者によって追記されている。これらの文書原本Ｄo及び追記文書Ｄ
の所定箇所（図３，４では右上隅）には、それぞれの原本文書に対して一意に割り当てられた識別情報であるバーコードＣ（コード画像）が形成されている。このバーコードＣは、文書原本の画像が形成されるべき記録紙に予め印刷されたものであってもよいし、プリンタ等の画像形成装置が記録紙に文書原本の画像を形成する際に同時に形成したものであってもよい。

従って、図２において、制御部１１は、追記文書の画像データの所定箇所に形成されているバーコードを解析して識別情報を抽出することにより、追記文書の特徴を抽出する（ステップＳ２）。次に、制御部１１は、抽出した識別情報と一致するような識別情報を表すバーコードが形成された原本画像データを不揮発性記憶部１２で探索すればよい（ステップＳ３）。

なお、コード画像は、バーコードに限らず、図形または文字の組み合わせによって表されたものであればよい。例えばバーコードに代えて、ＱＲコード等の２次元コードなどのコード画像を用いてもよいし、文字コードであってもよい。。また、このコード画像は可視画像である必要はなく、画像読取装置２が不可視トナーで形成された不可視画像を読み取るセンサを備えている場合には、コード画像は不可視であってもよい。

（１−２）レイアウト解析処理によって得られた各々のレイアウト単位領域の位置、形状及びサイズを特徴として抽出する方法
図５は、レイアウト解析によって原本画像データを探索する仕組みを説明する図である。図５に示すレイアウト構造Ｒ１は、追記文書（入力画像データ）に対してレイアウト解析を行い、文字領域とか写真領域等のレイアウト単位領域ａ１〜ａ７に分割された例を示している。画像処理装置の制御部１１は、図２のステップＳ２において、このようなレイアウト解析によって得られた各々のレイアウト単位領域ａ１〜ａ７の位置、形状及びサイズを特徴として抽出する。一方、制御部１１は、処理の開始以前に、原本画像データの各々について上記のようなレイアウト解析を行い、各々のレイアウト単位領域ａ１〜ａ７の位置、形状及びサイズを不揮発性記憶部１２に記憶している。

そして、制御部１１は、ステップＳ３において、抽出したレイアウト単位領域ａ１〜ａ７の位置、形状及びサイズと一致するようなレイアウト単位領域を有する原本画像データを探索する。例えば、図３のレイアウト構造Ｒ１と、レイアウト構造Ｒ２やレイアウト構造Ｒ３とは、その構造が一致していないが、レイアウト構造Ｒ１とレイアウト構造Ｒ１’とはその構造がほぼ一致する。ここで、レイアウト構造Ｒ１とレイアウト構造Ｒ１’が完全に一致していない理由は、追記文書のレイアウト構造Ｒ１には、追記画像そのものも１つのレイアウト単位領域として取り扱われているからである。図５に示す例では、レイアウト構造Ｒ１のレイアウト単位領域ａ７が追記画像に対応するレイアウト単位領域であるが、追記前の文書原本のレイアウト構造Ｒ１’には、当然、このレイアウト単位領域ａ７は存在していない。よって、制御部１１は、不揮発性記憶部１２に記憶されている原本画像データのうち、ステップＳ２で抽出したレイアウト構造の特徴に最も近い特徴を有する原本画像データを探索すればよい。

（１−３）文字認識処理によって得られた文字列を特徴として抽出する方法
図６は、文字認識処理によって得られた結果に基づいて原本画像データを探索する仕組みを説明する図である。画像処理装置の制御部１１は、図２のステップＳ２において、図６のような内容の追記文書Ｄ１（入力画像データ）の文字認識を行い、その結果を入力画像データの特徴として抽出する。一方、図２の処理開始以前に、制御部１１は、原本画像データの各々について予め文字認識を行っており、その結果を不揮発性記憶部１２に記憶しているものとする。

そして、制御部１１は、ステップＳ３において、ステップＳ２で得た文字認識の結果と一致するような文字認識結果の原本画像データを探索する。例えば、図６に示す追記文書Ｄ１の文字認識結果と、文書原本Ｄ１’の文字認識結果とでは、追記文書Ｄ１の「中村に修正」という文字列が文書原本Ｄ１’（領域Ｔ）に含まれていないという点を除けば、両者はほぼ一致している。つまり、両者の違いは、追記文書Ｄ１の文字認識結果には追記部分の文字列が含まれているという点のみである。これに対し、追記文書Ｄ１の文字認識結果と文書原本Ｄ２の文字認識結果とでは、追記文書Ｄ１の「中村に修正」という文字列が文書原本Ｄ２の文字認識結果（領域Ｔ）に含まれていないという点以外にも、文字列ｔ１〜ｔ５の内容が相違している。このように、制御部１１は、追記文書（入力画像データ）の文字認識結果と、原本画像データの文字認識結果とを比較し、不揮発性記憶部１２に記憶されている原本画像データのうち、ステップＳ２で抽出した文字認識結果に最も近い原本画像データを探索すればよい。

（１−４）レイアウト解析処理によって得られたレイアウト単位領域のうち、特定のレイアウト単位領域に対して文字認識を行って得られた文字列を特徴として抽出する方法
上述した（１−３）の方法のように文字認識処理を行う場合、その処理対象が全て文字領域であれば問題はないが、例えば写真領域や図形領域等が含まれている場合には、それらの領域に対しては文字認識ができないので、文字認識結果が一致する原本画像データを探索しようとしても、より正確な探索が困難な場合がある。特に追記部分は手書きであることが多いが、手書き文字の文字認識精度は活字に比べて著しく低下する。

そこで、制御部１１は、図２のステップＳ２において、図７に示すように追記文書に対してレイアウト解析を行い、それぞれのレイアウト単位領域を文字領域とそれ以外の領域とに分類する。具体的には、制御部１１は、文字認識処理を試みて精度よくその処理を実行できた領域を文字領域とみなすようにすればよい。そして、制御部１１は、文字領域とみなした領域に対する文字認識結果を入力画像データの特徴として抽出する。そして、制御部１１は、ステップＳ３において、ステップＳ２で得た文字認識の結果と一致するような文字認識結果の原本画像データを探索すればよい。

（１−５）画像を複数の領域に分割し、各々の領域に対して周波数解析を行って得られた周波数分布を特徴として抽出する方法
画像処理装置１の制御部１１は、図２のステップＳ２において、入力画像データが表す画像を複数の領域に分割し、各々の領域に対して周波数解析を行う。そして、制御部１１は、各々領域から得られた周波数を用いて画像全体の周波数分布を特徴として抽出する。また、制御部１１は、原本画像データの各々について上記のような周波数分布を算出しておき、これを不揮発性記憶部１２に記憶しておく。そして、制御部１１は、ステップＳ３において、ステップＳ２で得た周波数分布とほぼ一致するような原本画像データを探索する。

（１−６）画像の投影分布を特徴として抽出する方法
画像処理装置１の制御部１１は、図２のステップＳ２において、追記文書（入力画像データ）の画像を所定の方向に投影し、その投影分布を追記文書の特徴として抽出する。例えば、図８に示す追記文書Ｄ３をｘ方向（図面右方）に投影し、その方向に向かって画素の数をカウントすると、その投影分布は図示のとおりになる。一方、制御部１１は、原本画像データの各々についても予め投影分布を算出し、その結果を不揮発性記憶部１２に記憶しておく。そして、制御部１１は、図２のステップＳ３において、ステップＳ２で得た投影分布の結果とほぼ一致するような投影分布の原本画像データを探索する。ただし、追記画像の部分については投影分布が異なることになるので、制御部１１は、不揮発性記憶部１２に記憶されている原本画像データのうち、ステップＳ２で抽出した投影分布に最も近い投影分布を持つ原本画像データを探索すればよい。

この第１実施形態によれば、制御部１１は、入力画像データが表す画像の内容を解析し、その画像の特徴を抽出する。次いで、制御部１１は、不揮発性記憶部１２に記憶されている原本画像データの中から、抽出した特徴にほぼ一致するような特徴を有する原本画像データを探索する。次に、制御部１１は、探索により得られた原本画像データと、入力画像データとを比較し、両者の差分を追記画像データとして抽出する。そして、制御部１１は、抽出した追記画像データを、探索により得られた原本画像データに対応付けて不揮発性記憶部１２に記憶させる。このようにすれば、画像処理装置１の操作者が原本画像をわざわざ指定するような手間が不要であり、使い勝手がよい。

なお、上述した（１−１）〜（１−６）の方法は、それぞれ単独で用いなくても、幾つかの方法を組み合わせてもよい。このようにすれば、原本画像データをより正確に見つけだすことができる。また、画像処理装置１は原本画像データの特徴を予め算出しておき、これを不揮発性記憶部に記憶しておいたが、必ずしもこれに限らず、原本画像データを探索しようとする度に、入力画像データと原本画像データのそれぞれの特徴を算出するようにしてもよい。

また、画像処理装置１はパーソナルコンピュータによって実現してもよいし、この画像処理装置１の機能を備えた複合機によって実現してもよい。また、画像処理装置１の機能の一部を画像読取装置２によって実現してもよい。また、画像処理装置１の制御部１１は、抽出した被追記画像データを画像処理装置１に内蔵された不揮発性記憶部１２に記憶するのではなく、フロッピー（登録商標）ディスクやその他の記録媒体に記憶するようにしてもよい。なお、画像処理プログラムＰＲＧは、磁気ディスク、フロッピー（登録商標）ディスク、ＣＤ（Compact Disk），ＤＶＤ（Digital Versatile Disk），ＲＡＭ等の種々の記録媒体に記録した状態で提供することが可能である。

（２）第２実施形態
前述した第１実施形態では、原本画像データと入力画像データの特徴どうしを比較して入力画像データ（追記文書）の原本を探索する、という手順で処理を実行していた。以下に述べる第２実施形態では、原本画像データと入力画像データについてそれぞれ特徴を算出するのではなく、まず、原本画像データと入力画像データとを画素レベルで比較して両者の差分を抽出し、その差分に基づいて入力画像データ（追記文書）の原本を探索するという手順で処理を行う。この第２実施形態に係る画像処理装置１の構成は、画像処理プログラムＰＲＧに記述された手順の一部を除いて同じであるから、詳細な説明は省略する。

図９は、第２実施形態に係る画像処理プログラムＰＲＧに記述された手順を示すフローチャートである。
図９において、追記がなされた追記文書が画像読取装置２によって読み取られると、画像読取装置２は、読み取った画像を表す画像データを画像処理装置１の入力部１３に入力する（ステップＳ１１）。制御部１１は、その入力画像データと、不揮発性記憶部１２に記憶されている各々の原本画像データとを比較していき、その差分である差分画像を抽出していく（ステップＳ１２）。そして、制御部１１は、抽出した差分画像に基づいて、入力画像データの原本に相当する原本画像データを特定する（ステップＳ１３）。制御部１１は、ステップＳ１２で抽出した差分画像をステップＳ１３で特定した原本画像データの追記画像として、これらを対応付けて不揮発性記憶部１２に記憶させる（ステップＳ１４）。

ここで、差分を抽出し、その差分に基づいて原本を特定するための具体的なアルゴリズムについて説明する。
（２−１）入力画像データが表す前景画像の画素数に対する差分画像の画素数の比率に基づいて原本画像データを特定する方法
追記画像データが表す前景画像（背景画像の上に形成された画像）は、例えば図１０の追記文書Ｄ１に示すような画像である。この場合、追記文書Ｄ１と図６に示す文書原本Ｄ１’との差分は差分画像ｄ１’のようになり、追記文書Ｄ１と図６に示す文書原本Ｄ２との差分は差分画像ｄ２のようになる。図１０では簡単に図示しているが、更に詳細に説明すると、差分画像とは比較対象の画像どうしの差分の絶対値である。従って、例えば、原本文書Ｄ２の「５月３０日」という画像と、追記文書Ｄ１の「３月２９日」という画像との差分を抽出した場合、図１１に示すように、まず、「５」と「３」の差分の絶対値は斜線部分ｍのような形状になる。同様に、「３」と「２」との差分、「０」と「９」との差分の絶対値も斜線部分ｍのような形状になる。なお、「月」や「日」という文字画像は、原本文書Ｄ２と追記文書Ｄ１とで、画像の形状や位置まで含めて完全に一致するから、差分画像として抽出されることはない。この図１１に示したように、図１０に示した差分画像ｄ２−１〜ｄ２−４も、実際には、文字として識別できるような画像ではなく、図１１のように判読不可能な差分画像として表現されることになる。

制御部１１は、このような差分画像を不揮発性記憶部１２に記憶されている全ての原本画像データについて抽出する。そして、制御部１１は、入力画像データが表す前景画像の画素数に対するそれぞれの差分画像の画素数の比率を算出し、算出した比率が最も小さい差分画像に対応する原本画像データを特定する。図１０の例では、追記文書Ｄ１と文書原本Ｄ１’との差分画像は「中村に変更」という画像だけであるが、追記文書Ｄ１と文書原本Ｄ２との差分画像は、差分画像ｄ２−１〜ｄ２−４のようになる。よって、入力画像データが表す前景画像の画素数に対する差分画像の画素数の比率が小さい方の原本画像データ、すなわち、図６の文書原本Ｄ１’が特定されることになる。

（２−２）入力画像データが表す前景画像の画素数に対する差分画像の画素の分布に基づいて原本画像データを特定する方法
上述した方法（２−１）は、差分画像の画素数の比率を用いたものであったが、以下の方法では、差分画像の画素の分布を用いるものである。
図１０に示したように、追記文書Ｄ１と文書原本Ｄ１’との差分画像ｄ１’と、追記文書Ｄ１と文書原本Ｄ２との差分画像ｄ２とでは、差分画像の画素分布が異なる。すなわち、差分画像ｄ１’は追記画像に等しいので、その画素が特定の領域に偏る傾向がある。これに対し、差分画像ｄ２は、その画素が特定の領域に偏ることはなく、画像全体に均等に分散する傾向がある。特に差分画像ｄ２は、図６に示した追記文書Ｄ１と非常によく似た文書原本との差分であるから、差分画像の画素の分布は画像全体に均等に分散している、とまでは言えないが、追記文書Ｄ１と比較対象の文書原本とが全く異なる文書である場合には、差分画像の画素分布は画像全体に満遍なく分散するはずである。制御部１１は、このような差分画像の画素分布を不揮発性記憶部１２に記憶されている全ての原本画像データについて算出し、算出した画素分布が特定の領域に偏っている傾向が最も強い差分画像に対応する原本画像データを特定する。

（２−３）入力画像データと原本画像データとの差分画像のレイアウト構造に基づいて原本画像データを特定する方法
制御部１１が追記画像データと原本画像データとの差分画像についてレイアウト解析を行い、レイアウト単位領域に分類すると、例えば図１０に示したような差分画像ｄ１’が存在するレイアウト単位領域と、差分画像ｄ２−１〜ｄ２−４がそれぞれ存在するレイアウト単位領域のようになる。制御部１１は、レイアウト解析を行って得られたレイアウト単位領域のサイズ及び位置に基づいて入力画像データの原本に相当する原本画像データを特定する。具体的には、追記部分は比較的小さかったり或いは文書のページ端などの特定の領域に偏る傾向にあるので、制御部１１は、差分画像の各レイアウト領域のサイズが小さいとか特定の領域に偏っている傾向が強いといったような差分画像に対応する原本画像データを特定すればよい。
なお、以上の第２実施形態においても、上述した第１実施形態と同様の変形が可能である。

１…画像処理装置、２…画像読取装置、１１…制御部、１１１…ＣＰＵ，１１２…ＲＯＭ，１１３…ＲＡＭ，１２…不揮発性記憶部，１３…入力部，１４…表示部、１５・・・操作部、ＰＲＧ・・・画像処理プログラム。

Claims (6)

1. 複数の原本画像データを記憶する記憶手段と、
   画像データが入力される入力手段と、
   前記記憶手段によって記憶されている複数の原本画像データと、前記入力手段に入力された入力画像データとの差分画像をそれぞれ抽出する抽出手段と、
   前記抽出手段によって抽出された各々の前記差分画像に基づいて各々の前記差分画像の画素の分布を求め、前記記憶手段によって記憶されている複数の原本画像データの中から、求めた画素分布が他の原本画像データよりも特定の領域に偏っている原本画像データを、前記入力画像データの原本に相当する原本画像データとして特定する特定手段と、
   前記特定手段によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御手段と
   を備える画像処理装置。
2. 複数の原本画像データを記憶する記憶手段と、
   画像データが入力される入力手段と、
   前記記憶手段によって記憶されている複数の原本画像データと、前記入力手段に入力された入力画像データとの差分画像をそれぞれ抽出する抽出手段と、
   前記抽出手段によって抽出された各々の前記差分画像に対してレイアウト解析を行い、これによって得られたレイアウト単位領域のサイズまたは位置に基づいて、前記記憶手段によって記憶されている複数の原本画像データの中から、前記入力画像データの原本に相当する原本画像データを特定する特定手段と、
   前記特定手段によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御手段と
   を備える画像処理装置。
3. 前記記憶制御手段は、前記追記画像データが複数ある場合には、前記入力画像データが表す画像において互いに近傍にある追記画像を表す追記画像データどうしをグルーピングし、これら追記画像データをグループ単位で前記記憶手段に記憶させる請求項１または２に記載の画像処理装置。
4. 前記記憶制御手段は、前記入力画像データが表す画像における追記画像の位置を含む電子付箋データとして、前記追記画像データを前記記憶手段に記憶させる請求項３に記載の画像処理装置。
5. コンピュータに、
   記憶手段によって記憶されている複数の原本画像データと、入力された入力画像データとを比較し、両者の差分画像をそれぞれ抽出する抽出機能と、
   前記抽出機能によって抽出された各々の前記差分画像に基づいて各々の前記差分画像の画素の分布を求め、前記記憶手段によって記憶されている複数の原本画像データの中から、求めた画素分布が他の原本画像データよりも特定の領域に偏っている原本画像データを、前記入力画像データの原本に相当する原本画像データとして特定する特定機能と、
   前記特定機能によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御機能と
   を実現させるためのプログラム。
6. コンピュータに、
   記憶手段によって記憶されている各々の原本画像データと、入力された入力画像データとを比較し、両者の差分画像をそれぞれ抽出する抽出機能と、
   前記抽出機能によって抽出された各々の前記差分画像に対してレイアウト解析を行い、これによって得られたレイアウト単位領域のサイズまたは位置に基づいて、前記記憶手段によって記憶されている複数の原本画像データの中から、前記入力画像データの原本に相当する原本画像データとして特定する特定機能と、
   前記特定機能によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御機能と
   を実現させるためのプログラム。

Images