JP4623377B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関し、特に原本ドキュメントと追記ドキュメントとの差分処理によって追記部分（追記情報）を抽出する画像処理装置および画像処理プログラムに関する。

画像処理の分野において、例えばプリンタやＦＡＸ（ファクシミリ装置）などから出力したドキュメントに、ユーザがペンや鉛筆、スタンプなどで追記した部分を抽出したり、セキュリティ文書が改竄されていないかどうかを検証したりする処理について、様々な研究、開発が行われている。

一般的に、このような追記抽出、改竄検証などの処理には、オリジナルのドキュメントデータと、追記等の可能性がある出力ドキュメントとを比較する処理が行われる。すなわち、追記抽出の対象となる紙ドキュメントをスキャナなどの画像読取装置でスキャンして得たスキャン画像データと、ＰＣ（パーソナルコンピュータ）やプリンタなどのサーバに蓄積されている原本画像データとの差分をとることによって追記画像データを抽出するというものである。

従来は、電子原稿を原本画像として画像化し、原本画像とスキャン画像を単色化・二値化して、両者の対応する位置を求めて両画像の位置合わせした後、一方の画像を対応位置から四方八方にわずかにずらしながら、２枚の画像間での差分処理を繰り返し、どの位置でも追記部分として検出される画像を追記画像として抽出していた（例えば、特許文献１参照）。

また、電子原稿を原本画像として画像化し、原本画像とスキャン画像を単色化・二値化して、両者の対応する位置を求めて両画像の位置合わせした後、原本画像の黒画素に対して膨張処理を施し、この膨張処理後の黒画素とスキャン画像の画素とを画素単位で一致判別する(差分をとる)ことによって追記画像を抽出するようにもしていた（例えば、特許文献２参照）。

特開２００４−２１３２３０号公報 特開２００４−３４１９１４号公報

ところで、原本画像は電子原稿を直接画像化するために、原本画像には位置ずれ・ひずみ・色ずれは全く発生しない。これに対して、スキャン画像は、電子原稿を一度プリントまたは印刷して得た紙ドキュメントに追記がなされた後スキャナ等の画像読取装置で読み取られるために、当該スキャン画像には位置ずれ・ひずみ・色ずれが多く発生することになる。

位置ずれ・ひずみ・色ずれのうち、位置ずれに関しては、原本画像とスキャン画像との間で文字や絵柄が重なるように補正することによってキャンセルすることができる。しかし、ひずみ・色ずれに関しては、プリンタ・印刷機・スキャナなどの光学系の倍率誤差、紙送りの速度誤差（速度変動）、色再現誤差に起因して発生するものであるために、両画像間でキャンセルすることはできなく、上記特許文献１，２記載の手法を適用しても、追記部分を確実に抽出することは難しい。

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、プリンタ・印刷機・スキャナなどの光学系の倍率誤差、紙送りの速度誤差、色再現誤差に起因して発生する位置ずれ・ひずみ・色ずれの影響を受けることなく、簡単な差分処理で追記部分を確実に抽出することが可能な画像処理装置および画像処理プログラムを提供することにある。

上記目的を達成するために、本発明では次のような構成を採っている。すなわち、本発明にかかる画像処理装置は、自動原稿送り装置を備えた画像読取装置により連続して読み取られた原本ドキュメントと当該原本ドキュメントに対して追記処理のなされた追記ドキュメントとを含む複数枚の紙ドキュメントを一連の画像データとして入力する画像入力手段と、前記画像入力手段により入力された一連の画像データから予め定められた順位にある画像データを原本画像データとして特定する原本画像特定手段と、前記原本画像特定手段によって特定された原本画像データと、該原本画像データとは異なる順位にある画像データとの差分を抽出する差分抽出手段と、前記差分抽出手段により抽出された差分を出力する出力手段とを備える。

原本ドキュメントと追記ドキュメントとの差分処理によって当該追記ドキュメントから追記情報を抽出する画像処理において、原本ドキュメントと追記ドキュメントとを共通の読取装置で読み取ることで、プリンタ・印刷機・スキャナなどの光学系の倍率誤差、紙送りの速度誤差、色再現誤差に起因する位置ずれ・ひずみ・色ずれの影響が原本ドキュメントと追記ドキュメントの双方の画像に同じように発生する。したがって、一連の画像データから原本ドキュメントの画像データを特定し、追記ドキュメントの画像データの画素値から原本画像データの画素値を差し引く（減算する）処理を行うことで、これら位置ずれ・ひずみ・色ずれの影響を受けることなく、追記情報を抽出できる。

本発明によれば、追記ドキュメントの画像データの画素値から原本ドキュメントの画像データの画素値を差し引く簡単な差分処理で、プリンタ・印刷機・スキャナなどの光学系の倍率誤差、紙送りの速度誤差、色再現誤差に起因して発生する位置ずれ・ひずみ・色ずれの影響を受けることなく、追記部分を確実に抽出することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明による画像処理装置の構成例を示すブロック図である。図１に示すように、本発明による画像処理装置は、画像データ入力部１０、画像処理部２０および画像データ出力部３０を有し、例えば、原本ドキュメントと、当該原本ドキュメントに対してコメントやアンダーライン、記号などの様々なメモ書きを含む情報（追記情報）が記入された追記ドキュメントとから、両ドキュメント上の画像の差分をとって追記情報を抽出する処理を行う。

ここでは、一例として、アンケート用紙や答案用紙などを原本ドキュメントとし、回答者によって○×△などの記号が記入（追記）された回答済みのアンケート用紙や回答済みの答案用紙などを追記ドキュメントとし、当該追記ドキュメントから○×△などの記号を追記情報として抽出する場合を例に挙げて説明するものとする。

図１において、画像データ入力部１０は、例えば、自動原稿送り装置を備えたスキャナ等の画像読取装置からなり、原本ドキュメントと当該原本ドキュメントに対して追記処理のなされた追記ドキュメントとを含む複数枚の紙ドキュメントが自動原稿送り装置にセットされることで、複数枚の紙ドキュメントの各画像を読み取って一連の画像データとして画像処理部２０に入力する。

なお、画像データ入力部１０は必ずしもスキャナ等の画像読取装置そのものである必要はなく、原本ドキュメントと追記ドキュメントとを含む複数枚の紙ドキュメントの各画像をスキャナ等の画像読取装置で読み取って得られる一連の画像データを記憶装置に記憶保持し、必要に応じて当該記憶装置から読み出して画像処理部２０に入力するＰＣ（パーソナルコンピュータ）などのサーバであっても良い。

画像データ入力部１０が上記のいずれの場合であっても、画像処理部２０に入力される一連の画像データが、原本ドキュメントと追記ドキュメントとを含む複数枚の紙ドキュメントの各画像を共通の画像読取装置によって読み取れた画像データであることに変わりはない。

画像処理部２０は、画像データ入力部１０から入力される一連の画像データに含まれる原本ドキュメントの画像データを特定し、この特定した原本ドキュメントの画像データと他の追記ドキュメントの画像データとを比較する（差分をとる）ことで、追記ドキュメントの各々から追記情報を抽出する画像処理を行う。

具体的には、画像処理部２０は、ＣＰＵ(Central Processing Unit:中央演算装置)２１、Ｉ／Ｏ回路２２、ＲＯＭ２３、ＲＡＭ２４およびＨＤＤ（ハードディスクドライブ）装置２５などを有し、これら構成要素がバスライン２６を介して相互に通信可能に接続された構成となっている。

ＣＰＵ２１は、演算処理を含む本画像処理部２０全体の処理の制御を行う。Ｉ／Ｏ回路２２は、画像データ入力部１０および画像データ出力部３０を含む周辺機器との入出力を管理する。ＲＯＭ２３は、ＣＰＵ２１による制御の下に実行される各種の処理の処理プログラムを格納する。ＲＡＭ２４は、当該各種処理の実行時に使用される一次記憶装置である。ＨＤＤ２５は、ＣＰＵ２１による制御の下に処理された画像データや、外部から取り込んだ画像データなどを記憶する。

画像データ出力部３０は、プリンタやディスプレイ等の出力装置とその制御手段によって構成され、画像処理部２０での処理によって追記ドキュメントから抽出された追記情報を印刷（記録）紙（紙ドキュメント）に印刷出力したり、あるいは、表示画面上に表示出力したりする。

あるいは、回答済みのアンケート用紙や回答済みの答案用紙などの追記ドキュメントから○×△などの追記情報を抽出し、この抽出した追記情報を基にアンケート集計や自動採点などの処理を行うシステムにあっては、画像データ出力部３０は、抽出した追記情報を基にアンケート集計や自動採点などの処理を行う後処理装置に対して、画像処理部２０で抽出された追記情報を伝送出力する伝送手段として機能する。

上記構成の画像処理装置において、本発明では、原本ドキュメントと追記ドキュメントとを含む複数枚の紙ドキュメントの各画像を共通の（同じ）読取装置で読み取ることと、当該読取装置で読み取ることによって得られた一連の画像データから原本ドキュメントの画像データを特定し、当該原本ドキュメントの画像データ以外の画像データ、即ち追記ドキュメントの画像データの画素値から原本ドキュメントの画像データの画素値を差し引くことで、追記ドキュメントの各々から追記情報を抽出する処理を画像処理部２０で行うことを特徴としている。

ここで、「一連の画像データ」とは、同一の読み取り手段で、概ね同一設定で、一度に連続して読み取られた複数の画像データを指す。こうすることで、原本ドキュメントと追記ドキュメントに発生する位置ずれ・ひずみ・色ずれの影響が、双方の画像に同じように発生するようになる。ひいては、追記ドキュメントの画像データの画素値から原本画像データの画素値を差し引く（減算する）処理を行うことで、これら位置ずれ・ひずみ・色ずれの影響を受けることなく、追記情報を抽出できるようになる。具体的には、同一の読み取り装置を利用することで、読取装置の光学系の倍率誤差や紙送りの速度誤差（または、読み取りセンサ移動速度誤差）、色再現誤差が読み取り装置一台一台異なると言う「個体差」をキャンセルすることができる。

また、概ね同一の設定で読み取ることにより、設定が違うことで発生する色再現性の差をキャンセルすることができる。例えば、読み取り装置は、明るさ、コントラスト、先鋭度などを調整できるようになっていることが一般的だが、これらの設定を同一にして読み取ることで色再現性の差をキャンセルすることができる。また裏写り除去など色再現の特性に変化を加えるような設定項目は全て同一にして読み取ることが望ましい。一方、解像度などは、たとえ異なっていても、一方を他方の解像度に揃えてから（解像度変換）画素値を差し引く処理を実施すれば良く、全ての設定を同一にする必要はない。ただし、解像度を変えたことで読み取り速度が変化する仕組みの読取装置もあり、この場合は、読み取り速度が変化することで位置ずれ・ひずみの発生状況も変化するので、同一の設定にしておく必要がある。

更にまた、一度に連続して読み取ることにより、読み取り装置の経時変化や温度変化による、読取装置の光学系の倍率誤差や紙送りの速度誤差（または、読み取りセンサ移動速度誤差）、色再現誤差の発生状況変化をキャンセルする。
更にまた、自動原稿送り装置を利用して、一度に連続して読み取ることで、上記の条件を満たすことができる。

以下に、画像処理部２０が持つ各種の処理機能のうちの一つの機能である、追記ドキュメントの各々から追記情報を抽出する機能の具体的な実施例について説明する。

（実施例１）
図２は、本発明の実施例１に係る画像処理部２０Ａの機能構成例を示すブロック図である。図２に示すように、本実施例１に係る画像処理部２０Ａは、原本画像特定部２０１、原本画像保持部２０２、追加画像保持部２０３および画素値減算部２０４を有する構成となっている。

画像処理部２０Ａには、原本ドキュメントと追記ドキュメントとを含む複数枚の紙ドキュメントの各画像を読み取ることによって得られる一連の画像データが画像データ入力部１０から入力される。

ここで、画像データ入力部１０から画像処理部２０Ａに入力される一連の画像データについては、当該画像処理部２０Ａにおいて、追記情報を抽出するに当たって、原本ドキュメントと追記ドキュメントとの各画像の差分をとる処理を行う関係から、一連の画像データに含まれる原本ドキュメントの画像データを特定する必要がある。

原本特定部２０１は、一連の画像データに含まれる原本ドキュメントの画像データを特定するために設けられたものである。原本ドキュメントの画像データを特定するに当たっては、通常、複数枚の紙ドキュメントの最初または最後の１枚を原本ドキュメントとすることが考えられる。この前提を基に、原本特定部２０１は、一連の画像データのうち、最初または最後の紙ドキュメントの画像データを原本ドキュメントの画像データを特定することができる。

また、原本ドキュメントの画像データを特定するに当たって、複数枚の紙ドキュメントのうち、原本ドキュメントとすべき１枚にのみ、原本であることを示す識別情報を付与する手法を採ることも可能である。この手法を採る場合は、原本特定部２１は、一連の画像データ中から識別情報を検出することで、当該識別情報含む画像データを原本ドキュメントの画像データを特定することができる。

原本画像保持部２０２は、原本特定部２０１で一連の画像データ中から特定された原本ドキュメントの画像データ（第１の原本画像データ）を記憶保持する。一方、追記画像保持部２０３は、原本特定部２０１で特定された原本ドキュメントの画像データ以外の画像データ、即ち複数枚の追記ドキュメントの画像データを順に記憶保持する。

画素値減算部２０４は、追記画像保持部２０３から所定のサイクルで順に読み出される追記ドキュメントの画像データの画素値から、原本画像保持部２０２に記憶保持されている原本ドキュメントの画像データの画素値を差し引く処理（原本ドキュメントと追記ドキュメントとの差分処理）を行うことにより、追記ドキュメントの各々から追記情報を抽出する。

上述した実施例１に係る画像処理部２０Ａによれば、原本ドキュメントと追記ドキュメントとを共通の読取装置で読み取ることで、更にまた、概ね同一設定で、同一時期に連続して読み取ることで、プリンタ・印刷機・スキャナなどの光学系の倍率誤差、紙送りの速度誤差、色再現誤差に起因する位置ずれ・ひずみ・色ずれの影響が原本ドキュメントと追記ドキュメントの双方の画像に同じように発生するために、これら位置ずれ・ひずみ・色ずれの影響を受けることなく、追記ドキュメントの画像データの画素値から原本ドキュメントの画像データの画素値を差し引く簡単な差分処理で追記情報を確実に抽出することができる。

原本ドキュメントと追記ドキュメントとを共通の読取装置で読み取ることで、原本ドキュメントと追記ドキュメントの双方の位置ずれやひずみを、別々の読取装置で読み取る場合に比べて確実に小さくできるが、より高精度に追記情報の抽出処理を行うためには、画素値減算部２４での引き算処理を行う前に、原本ドキュメントと追記ドキュメントの間で両画像がぴったり重なるように、位置ずれやひずみの補正を行うようにしても良い。

なお、画像の位置ずれには、平行移動・回転ずれ・倍率ずれの３種類がある。そして、例えば、紙ドキュメントの幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を位置合わせの補正係数（パラメータ）とするアフィン変換を用いた周知の画像変換の手法を用いて一方の画像に対して画像変換を行うことで、２つの画像間の位置ずれを補正することができる。

（実施例２）
図３は、本発明の実施例２に係る画像処理部２０Ｂの機能構成例を示すブロック図であり、図中、図２と同等部分には同一符号を付して示している。

図３に示すように、本実施例２に係る画像処理部２０Ｂは、実施例１に係る画像処理部２０Ａの構成要素、即ち原本画像特定部２０１、原本画像保持部２０２、追加画像保持部２０３および画素値減算部２０４に加えて、画素値減算部２０４の後段に抽出部２０５を有する構成となっている。

原本画像特定部２０１、原本画像保持部２０２、追加画像保持部２０３および画素値減算部２０４の各機能は、実施例１に係る画像処理部２０Ａの場合と同じであり、その説明については重複するので省略する。抽出部２０５は、画素値減算部２０４での画素値の差し引き処理（差分処理）によって得られた画像データに基づく差分画像から所定の濃度範囲または色範囲の画素を抽出することで、追記ドキュメントから追記情報を抽出する。

具体的には、追記ドキュメントにおいて、例えば、赤ペンで追記情報が記入されている場合には、赤に相当する色範囲を指定し、当該色範囲に属する画素を抽出する。また、黒鉛筆で追記情報が記入されている場合には、濃い黒に相当する濃度範囲を指定し、当該濃度範囲に属する画素を抽出する。

なお、画素値減算部２０４において、追記ドキュメントの画像データの画素値から原本ドキュメントの画像データの画素値を差し引く処理を行うことにより、元々原本ドキュメントに存在していた赤の部分や黒文字部は、淡いピンクや淡いグレーの文字になる。したがって、抽出部２０５での抽出処理に当たっては、淡いピンクや淡いグレーを含まないように濃度範囲や色範囲を設定する必要がある。

上述した実施例２に係る画像処理部２０Ｂによれば、実施例１に係る画像処理部２０Ａの作用効果に加えて、画素値減算部２０４での画素値の差し引き処理によって得られた画像データに基づく差分画像から所定の濃度範囲または色範囲の画素を抽出して追記情報とすることで、元々原本ドキュメントに存在していた赤の部分や黒文字部などを追記情報の抽出対象から外すことができるために、所定の濃度範囲または色範囲の画素を抽出するだけの簡単な処理で追記情報をより確実に抽出することができる。

（実施例３）
図４は、本発明の実施例３に係る画像処理部２０Ｃの機能構成例を示すブロック図であり、図中、図３と同等部分には同一符号を付して示している。

図４に示すように、本実施例３に係る画像処理部２０Ｃは、実施例２に係る画像処理部２０Ｂの構成要素、即ち原本画像特定部２０１、原本画像保持部２０２、追加画像保持部２０３、画素値減算部２０４および抽出部２０５に加えて、原本画像特定部２０１の前段に、画素値減算部２０４での減算処理の前処理として、位置合わせ処理を行う位置合わせ部２０６を有する構成となっている。

本実施例３に係る画像処理部２０Ｃを用いる画像処理装置では、一連の画像データを入力する画像データ入力部（第１の画像データ入力部）１０の他に、第２の画像データ入力部４０を備える構成を採ることになる。この第２の画像データ入力部４０は、例えばＰＣの記憶装置等からなるサーバであり、原本ドキュメントに対応する電子原本から作成された電子原本の画像データ（第２の原本画像データ）を画像処理部２０Ｃに入力する。

なお、ここでは、第２の画像データ入力部４０を画像処理部２０Ｃの外部装置として設けるとしたが、これに限られるものではなく、画像処理部２０Ｃ内の記憶装置（図１のＨＤＤ２５に相当）を第２の画像データ入力部４０として利用し、当該記憶装置にあらかじめ記憶してある電子原本の画像データを用いるようにしても良い。すなわち、電子原本の画像データを提供する手段は問わない。

位置合わせ部２０６は、第１の画像データ入力部１０から入力される一連の画像データと、第２の画像データ入力部４０から入力される電子原本の画像データとを基に、原本ドキュメントおよび追記ドキュメントの各画像の文字や絵柄が電子原本の画像に対して重なるように位置合わせを行う。この位置合わせ部２０６での位置合わせの手法としては、例えば、紙ドキュメントの幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を位置合わせの補正係数（パラメータ）とするアフィン変換を用いた周知の画像変換の手法を用いることができる。

ところで、アンケート用紙の集計や、答案用紙の自動採点などのように、抽出部２０５が抽出した追記画像（追記情報）に対して、当該追記画像を集計や自動採点の対象として採用するエリアを指定して後処理を施す場合、通常、電子原稿を基準にして指定エリアの座標値を決めることから、当該エリア座標値と抽出部２０５が抽出した追記画像との間に次の理由によって位置ずれが生じる。

すなわち、原本ドキュメントおよび追記ドキュメントの各画像データがスキャナなどの読取装置で読み取られて得られた画像データである。そして、読取装置による読み取りの際に、当該読取装置の光学系の倍率誤差や紙送りの速度誤差などに起因して位置ずれが生じるからである。

位置合わせ部２０６は、第１の画像データ入力部１０から入力される一連の画像データと、第２の画像データ入力部４０から入力される電子原本の画像データとを基に、電子原本の画像に対してスキャン画像（原本ドキュメントおよび追記ドキュメントの各画像）の位置合わせを行うことで、例えばエリア座標値と抽出部２０５が抽出した追記画像との間に生じる位置ずれをキャンセルする。

上述した実施例３に係る画像処理部２０Ｃによれば、実施例１に係る画像処理部２０Ａの作用効果に加えて、位置合わせ部２０６が電子原本の画像に対してスキャン画像（原本ドキュメントおよび追記ドキュメントの各画像）の位置合わせを行うことで、抽出部２０５が抽出した追記画像に生ずる、読取装置の光学系の倍率誤差や紙送りの速度誤差などに起因する位置ずれを補正できるために、例えば、電子原稿を基に座標値を決めてエリアを指定して後処理を施す用途に適用する場合に、当該指定エリア内の追記画像を確実に抽出することができる。

なお、実施例３では、実施例２に係る画像処理部２０Ｂの構成要素に加えて、原本画像特定部２０１の前段に位置合わせ部２０６を有する構成の画像処理部２０Ｃを例に挙げて説明したが、抽出部２０５を持たない実施例１に係る画像処理部２０Ａに対して原本画像特定部２０１の前段に位置合わせ部２０６を配する構成を採ることも可能である。この場合にも、実施例２による作用効果を得ることができないものの、実施例３による作用効果を得ることができる。

［他の画像処理装置］
ここで、アンケート用紙の集計や、答案用紙の自動採点などのように、抽出部２０５が抽出した追記画像（追記情報）に対して、当該追記画像を集計や自動採点の対象として採用するエリアを指定して後処理を施す本発明による他の画像処理装置の構成例について説明する。

図５は、本発明による他の画像処理装置の構成例を示すブロック図であり、図中、図３と同等部分には同一符号を付して示している。図５に示すように、本発明による他の画像処理装置は、第１，第２の画像データ入力部１０，４０、画像処理部２０Ｃおよび画像データ出力部３０に加えて、デコーダ５０および後処理部６０を有する構成となっている。

この他の画像処理装置では、例えば図６の上段に示すように、アンケート用紙を原本ドキュメントとし、回答済みのアンケート用紙を追記ドキュメント１〜ｎとして、これら追記ドキュメント１〜ｎから○×△等の追記画像（追記情報）を抽出し、それを集計する画像処理を行う。図６の下段左図に示すように、原本ドキュメントにはあらかじめ、○×△等の追記画像を抽出するエリアの座標位置を指定する情報などを含む処理内容を指示するコード情報１０１が、ＱＲコード（登録商標）やバーコードなどによってドキュメントの周縁領域に記されている。

デコーダ５０は、原本画像保持部２０２に保持されている原本画像データに含まれる上記コード情報Ｃをデコードし、そのデコード結果を後処理部６０に与える。後処理部６０は、画像処理部２０Ｃで抽出され、画像データ出力部３０から伝送される追記画像に対して、処理内容を指示するデコード結果に応じた所定の処理を施す。具体的には、コード情報１０１に含まれる位置情報、即ち追記画像を抽出するエリアの座標位置を指定する情報に基づいて、追記画像を抽出する指定領域１０２を設定し、当該指定領域１０２の追記情報を有効な追記情報とする。

上記構成の他の画像処理装置において、原本ドキュメントとなるアンケート用紙と、回答済みのアンケート用紙とを重ねてスキャンすると、原本ドキュメントのコード情報１０１から追記画像（○×△）を数えるべき指定領域１０２がデコーダ５０でデコードされて後処理部６０に送られるとともに、回答済みの追記ドキュメント１〜ｎからは追記された○×△が追記情報として画像処理部２０Ｃで抽出されて後処理部６０に出力される。

すると、後処理部６０は、画像処理部２０Ｃで抽出された追記情報のうち、指定領域１０２に入っている○×△を有効としてそれらの数を数え、
アンケート結果１→○：２個、△：１個、×：１個
アンケート結果２→○：１個、△：１個、×：２個
といった処理結果を出力する。

この他の画像処理装置には、実施例３に係る画像処理部２０Ｃのみならず、先述した実施例１，２に係る画像処理部２０Ａ，２０Ｂ、さらには後述する実施例４，５に係る画像処理部２０Ｄ，２０Ｅについても同様に適用することができる。

（実施例４）
図７は、本発明の実施例４に係る画像処理部２０Ｄの機能構成例を示すブロック図であり、図中、図３と同等部分には同一符号を付して示している。

図７に示すように、本実施例４に係る画像処理部２０Ｄは、実施例２に係る画像処理部２０Ｂの構成要素、即ち原本画像特定部２０１、原本画像保持部２０２、追加画像保持部２０３、画素値減算部２０４および抽出部２０５に加えて、画素値減算部２０４の前段に、当該画素値減算部２０４での減算処理の前処理として位置合わせ処理を行う第１,第２の位置合わせ部２０７，２０８を有する構成となっている。

すなわち、実施例３に係る画像処理部２０Ｃは、原本画像特定部２０１の前段に位置合わせ部２０６を配した構成を採っているのに対して、本実施例４に係る画像処理部２０Ｄは、画素値減算部２０４の前段に位置合わせ部２０７，２０８を配した構成を採っている点で相違している。

当然のことながら、本実施例４に係る画像処理部２０Ｄを用いる画像処理装置においても、一連の画像データを入力する画像データ入力部（第１の画像データ入力部）１０の他に、第２の画像データ入力部４０を備える構成を採ることになる。

位置合わせ部２０７は、原本画像保持部２０２に記憶保持されている原本画像データと第２の画像データ入力部４０から入力される電子原本の画像データとを基に、原本ドキュメントの画像の文字や絵柄が電子原本の画像に対して重なるように位置合わせを行う。位置合わせ部２０８は、追記画像保持部２０３から順次読み出される追記画像データと第２の画像データ入力部４０から入力される電子原本の画像データとを基に、追記ドキュメントの画像の文字や絵柄が電子原本の画像に対して重なるように位置合わせを行う。

位置合わせ部２０７，２０８での位置合わせの手法としては、実施例３に係る画像処理部２０Ｃの位置合わせ部２０６と同様の手法、具体的には、紙ドキュメントの幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を位置合わせの補正係数（パラメータ）とするアフィン変換を用いた周知の画像変換の手法を用いることができる。

実施例３に係る画像処理部２０Ｃでは、原本特定部２０１によって原本画像データを特定する前の段階において、原本画像データおよび追記画像データに対して共通の位置合わせ処理によって位置ずれ補正を行っているのに対して、本実施例４に係る画像処理部２０Ｄでは、原本特定部２０１によって原本画像データを特定した後の段階において、原本画像データおよび追記画像データに対して別々の位置合わせ処理によって位置ずれ補正を行っている点で相違しているのみであり、得られる作用効果は、基本的に、実施例３に係る画像処理部２０Ｃの場合と同じである。

（実施例５）
図８は、本発明の実施例５に係る画像処理部２０Ｅの機能構成例を示すブロック図であり、図中、図７と同等部分には同一符号を付して示している。

図８に示すように、本実施例５に係る画像処理部２０Ｅは、実施例４に係る画像処理部２０Ｄと同じ構成要素、即ち原本画像特定部２０１、原本画像保持部２０２、追加画像保持部２０３、画素値減算部２０４、抽出部２０５および位置合わせ部２０７，２０８を有する構成となっている。

実施例４に係る画像処理部２０Ｄと異なるのは、当該画像処理部２０Ｄでは、位置合わせ部２０７によって電子原本の画像と原本ドキュメントの画像との位置合わせを行い、位置合わせ部２０８によって電子原本の画像と追記ドキュメントの画像との位置合わせを行っているのに対して、本実施例５に係る画像処理部２０Ｅでは、位置合わせ部２０７によって電子原本の画像と原本ドキュメントの画像との位置合わせを行い、位置合わせ部２０８によって位置合わせ部２０７で位置合わせした後の原本ドキュメントの画像と追記ドキュメントの画像との位置合わせを行うようにしている点である。

すなわち、画素値減算部２０４での減算処理の対象となる原本ドキュメントおよび追記ドキュメントの各画像間の位置合わせを、実施例４に係る画像処理部２０Ｄでは、位置合わせ部２０７，２０８での電子原本の画像に対する位置合わせによって間接的に行っているのに対して、本実施例５に係る画像処理部２０Ｅでは、電子原本の画像に対して位置合わせした後の原本ドキュメントの画像と追記ドキュメントの画像との位置合わせによって直接的に行うようにしている。

上述した実施例５に係る画像処理部２０Ｅによれば、画素値減算部２０４での減算処理の対象となる原本ドキュメントおよび追記ドキュメントの各画像間の位置合わせを直接的に行うことで、読取装置の光学系の倍率誤差や紙送りの速度誤差などに起因して原本ドキュメントおよび追記ドキュメントの両画像に発生する位置ずれをより確実に補正できるために、例えば、電子原稿を基に座標値を決めてエリアを指定して後処理を施す用途に適用する場合に、当該指定エリア内の追記画像をより確実に抽出することができる。

なお、実施例４，５では、実施例２に係る画像処理部２０Ｂの構成要素に加えて、画素値減算部２０４での減算処理の前処理として位置合わせ処理を行う第１，第２の位置合わせ部２０７，２０８を有する構成の画像処理部２０Ｄ，２０Ｅを例に挙げて説明したが、抽出部２０５を持たない実施例１に係る画像処理部２０Ａに対して第１，第２の位置合わせ部２０７，２０８を配する構成を採ることも可能である。この場合にも、実施例２による作用効果を得ることができないものの、実施例４，５による作用効果を得ることができる。

以上説明した実施例１〜５に係る画像処理部２０Ａ〜２０Ｅの各構成要素、即ち原本画像特定部２０１、原本画像保持部２０２、追加画像保持部２０３および画素値減算部２０４、さらには抽出部２０５および位置合わせ部２０６〜２０８については、パーソナルコンピュータ（ＰＣ）のように、所定プログラムを実行することによって情報記憶処理、画像処理、演算処理等の各機能を実行するコンピュータ機器を利用してソフトウェア構成によって実現することが考えられる。ただし、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成、あるいはハードウェアとソフトウェアの複合構成によって実現することも可能である。

ソフトウェア構成によって実現する場合、原本画像特定部２０１、原本画像保持部２０２、追加画像保持部２０３および画素値減算部２０４、さらには抽出部２０５および位置合わせ部２０６〜２０８としてコンピュータを機能させるプログラムが本発明による画像処理プログラムとなる。

また、以下に説明する画像処理シーケンスにおける各ステップの処理を実行するプログラムが、本発明による画像処理プログラムであるとも言える。そして、これらの画像処理プログラムについては、あらかじめコンピュータ内にインストールしておくことが考えられる。ただし、あらかじめインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても良く、または有線若しくは無線による通信手段を介して配信されるものであっても良い。

［追記画像の抽出処理］
次に、実施例５に係る画像処理部２０Ｅの場合を例に採って、ＣＰＵ２１（図１参照）による制御の下に実行する、追記ドキュメントから追記画像（追記情報）を抽出する画像処理の処理シーケンスの手順の一例について、図９のフローチャートにしたがって説明する。

ここでは、一例として、図５に示したアンケート用紙の集計処理を行う画像処理装置において、画像処理部２０Ｅによって追記ドキュメントから追記情報を抽出し、後処理部６０で集計処理を行う場合を例に挙げて説明するものとする。

先ず、原本ドキュメントと追記ドキュメントとを含む複数枚の紙ドキュメントの各画像を読み取る（スキャンする）ことによって得られる一連の画像データを取り込み（ステップＳ１１）、次いで一連の画像データに含まれる原本ドキュメントの画像データ（原本画像データ）を特定する（ステップＳ１２）。このステップＳ１２の原本特定処理は、図８の原本画像特定部２０１の処理に相当する。

次に、原本ドキュメントの画像が電子原本の画像に重なるように位置合わせする（ステップＳ１３）。このステップＳ１３の位置合わせ処理は、図８の第１の位置合わせ部２０７の処理に相当する。続いて、紙ドキュメントの枚数ｉをｉ＝１にし（ステップＳ１４）、次いで原本ドキュメント以外の追記ドキュメントの画像データ数ｎを設定する（ステップＳ１５）。ここでは、複数枚の紙ドキュメントのうち、１枚目が原本ドキュメントであるとする。

次に、ｉ＋１枚目の紙ドキュメント、即ち１枚目の追記ドキュメントの画像を、ステップＳ１３で位置合わせした後の原本ドキュメントの画像に重なるように位置合わせする（ステップＳ１６）。このステップＳ１６の位置合わせ処理は、図８の第２の位置合わせ部２０８の処理に相当する。

次に、ステップＳ１３で位置合わせした後の原本画像データの画素値と、ステップＳ１６で位置合わせした後の追記画像データの画素値との差分をとる（ステップＳ１７）。このステップＳ１７の差分処理は、図８の画素値減算部２０４の処理に相当する。次いで、所定の濃度（色）範囲内の画素を抽出して追記画像とする（ステップＳ１８）。このステップＳ１８の画素抽出処理は、図８の抽出部２０５の処理に相当する。

次に、抽出された追記画像一つひとつに対して、○×△の認識と指定領域の位置情報を求め（ステップＳ１９）、次いで当該位置情報で指定された領域（図６の下段左図の指定領域１０２に相当）に入る○×△の数を数え（ステップＳ２０）、次いでその集計結果を保存する（ステップＳ２１）。このステップＳ１９〜Ｓ２１の各処理は、図５の後処理部６０の処理に相当する。

次に、紙ドキュメントの枚数ｉをインクリメントし（ステップＳ２２）、次いで、紙ドキュメントの枚数ｉが追記ドキュメントの画像データ数ｎ以下であるか否かを判断し（ステップＳ２３）、ｉ≦ｎであれば、ステップＳ１６に戻ってステップＳ１６からステップＳ２２までの各処理をｉ＞ｎになるまで繰り返して実行する。

上述した一連の処理により、プリンタ・印刷機・スキャナなどの光学系の倍率誤差、紙送りの速度誤差、色再現誤差に起因する位置ずれ・ひずみ・色ずれの影響を受けることなく、追記ドキュメントの画像データの画素値から原本ドキュメントの画像データの画素値を差し引く簡単な差分処理で、指定領域の追記情報を確実に抽出することができる。

なお、上述した処理手順では、追記ドキュメント一枚一枚について、位置合わせ後の原本ドキュメントとの画像の位置合わせを行い、しかる後追記ドキュメントと原本ドキュメントの各画像データの画素値の差分をとることによって追記情報を抽出し、その抽出結果に対して順に後処理を行うとしたが、追記ドキュメント一枚一枚についての追記情報の抽出結果を後処理部６０（図５参照）内の記憶装置に保持しておき、追記ドキュメントの全ての抽出結果に対して一括して後処理を施すようにすることも可能である。

本発明による画像処理装置の構成例を示すブロック図である。 本発明の実施例１に係る画像処理部の機能構成例を示すブロック図である。 本発明の実施例２に係る画像処理部の機能構成例を示すブロック図である。 本発明の実施例３に係る画像処理部の機能構成例を示すブロック図である。 本発明による他の画像処理装置の構成例を示すブロック図である。 他の画像処理装置における処理例の説明図である。 本発明の実施例４に係る画像処理部の機能構成例を示すブロック図である。 本発明の実施例５に係る画像処理部の機能構成例を示すブロック図である。 追記ドキュメントから追記画像を抽出する画像処理の処理シーケンスの一例を示すフローチャートである。

符号の説明

１０…画像データ入力部（第１の画像データ入力部）、２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ…画像処理部、３０…画像出力部、４０…第２の画像データ入力部、５０…デコーダ、６０…後処理部、２０１…原本画像特定部、２０２…原本画像保持部、２０３…追記画像保持部、２０４…画素値減算部、２０５…抽出部、２０６〜２０８…位置合わせ部

Claims (6)

1. 自動原稿送り装置を備えた画像読取装置により連続して読み取られた原本ドキュメントと当該原本ドキュメントに対して追記処理のなされた追記ドキュメントとを含む複数枚の紙ドキュメントを一連の画像データとして入力する画像入力手段と、
   前記画像入力手段により入力された一連の画像データから予め定められた順位にある画像データを原本画像データとして特定する原本画像特定手段と、
   前記原本画像特定手段によって特定された原本画像データと、該原本画像データとは異なる順位にある画像データとの差分を抽出する差分抽出手段と、
   前記差分抽出手段により抽出された差分を出力する出力手段と、
   を備えることを特徴とする画像処理装置。
2. 前記差分抽出手段により抽出された差分から所定の濃度範囲または色範囲の画素を抽出する濃度色範囲抽出手段をさらに備えることを特徴とする請求項１記載の画像処理装置。
3. 前記差分抽出手段での差分処理の前処理として、原本ドキュメントに対応する電子原稿から作成された電子原本画像データの画像と前記画像入力手段により入力された一連の画像データの各画像とを位置合わせする位置合わせ手段をさらに備える
   ことを特徴とする請求項１または２記載の画像処理装置。
4. 前記差分抽出手段での差分処理の前処理として、前記原本ドキュメントに対応する電子原稿から作成された電子原本画像データの画像と前記原本画像データの画像とを位置合わせする第１の位置合わせ手段と、
   前記差分抽出手段での差分処理の前処理として、前記原本ドキュメントに対応する電子原稿から作成された電子原本画像データの画像と前記原本画像データとは異なる順位にある画像データの各画像とを位置合わせする第２の位置合わせ手段とをさらに備える
   ことを特徴とする請求項１または２記載の画像処理装置。
5. 前記位置あわせ手段、または、前記第２の位置合わせ手段は、追記画像を抽出するエリアの座標位置が前記電子原稿について定められている場合、位置合わせがなされた各画像データに対する該座標位置を位置合わせにともない修正する
   ことを特徴とする請求項３または４記載の画像処理装置。
6. 自動原稿送り装置を備えた画像読取装置により連続して読み取られた原本ドキュメントと当該原本ドキュメントに対して追記処理のなされた追記ドキュメントとを含む複数枚の紙ドキュメントを一連の画像データとして入力する画像入力ステップと、
   前記画像入力ステップにより入力された一連の画像データから予め定められた順位にある画像データを原本画像データとして特定する原本画像特定ステップと、
   前記原本画像特定ステップによって特定された原本画像データと、該原本画像データとは異なる順位にある画像データとの差分を抽出する差分抽出ステップと、
   前記差分抽出ステップにより抽出された差分を出力する出力ステップと、
   の各処理をコンピュータに実行させることを特徴とする画像処理プログラム。

Images