JP4910635B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

従来、帳票等の予め定められた原稿に対する追記箇所を特定するための技術として、特許文献１及び特許文献２には、追記前画像と追記後画像の位置合わせを行った後、追記前画像データと追記後画像データの単色化・二値化を行い、これによって得られた追記後画像データと追記前画像データとの間で所定演算を行うことにより追記箇所を抽出する技術が開示されている。

また、特許文献３には、追記前後の画像を所定個数に分割し、各分割領域毎に画像の位置合わせを行った後、追記前画像を膨張させて、追記前画像データと追記後画像データの各画素単位で排他的論理和を算出することにより追記箇所を抽出する技術が開示されている。

更に、特許文献４には、追記前文書の画像と追記後文書の画像とを取得し、両画像の位置合わせを行い、両画像を格子状の小領域に分割して各分割領域毎に黒字率、画像濃度の総和、及び色毎の濃度の総和を比較し、これによって追記がある分割領域を特定して、当該追記がある分割領域毎に両画像の再位置合わせ（微調整）を行い、当該微調整後の分割領域において、追記後画像から追記前画像を差し引くことにより追記画像を抽出する技術が開示されている。
特開２００４−８０６０１号公報 特開２００４−２４０５９８号公報 特開２００４−３４１９１４号公報 特開２００４−２１３２３０号公報

本発明は、以上のような技術背景においてなされたものであり、高精度で追記を検出することができる画像処理装置及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の画像処理装置は、追記が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び追記が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得手段と、２値化された前記第１画像情報及び前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒画素を連結した予め定められた範囲内の大きさの連結領域又は白画素を連結した予め定められた範囲内の大きさの連結領域である特徴領域を抽出する抽出手段と、２値化された前記第１画像情報及び前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の重心位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出手段と、前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の重心位置と前記第２原稿の画像から抽出された特徴領域の重心位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定手段と、前記抽出手段によって抽出された特徴領域のうち、前記特定手段によって特定された特徴領域に含まれない特徴領域を前記追記が行われた可能性のある領域である追記領域として選択する選択手段と、前記選択手段によって選択された追記領域を対象として前記第１画像情報及び前記第２画像情報の少なくとも一方に対して画像の位置合わせ処理を実行する位置合わせ手段と、前記位置合わせ処理が実行された前記第１画像情報及び前記第２画像情報に基づいて、前記追記領域を対象として、画像膨張処理後の前記第１画像情報を、対応する前記第２画像情報から、対応する画素毎に減算することにより得られた画像情報を前記追記として検出する検出手段と、を備えている。

また、請求項２に記載の発明は、請求項１に記載の発明において、前記選択手段が、前記抽出手段によって前記第２原稿の画像から抽出された特徴領域のうち、前記特定手段によって特定された特徴領域に含まれない特徴領域を前記追記領域として選択するものである。

また、請求項３に記載の発明は、請求項１又は請求項２記載の発明において、前記位置合わせ手段による位置合わせ処理に先立ち、前記第１画像情報及び前記第２画像情報の少なくとも一方に対して前記第１原稿の画像と前記第２原稿の画像の画像全体における位置合わせ処理を実行する事前位置合わせ手段を更に備えたものである。

更に、請求項４に記載の発明は、請求項３に記載の発明において、前記第１原稿の画像と前記第２原稿の画像における対応する前記追記領域のずれ量に基づいて補正係数を算出する算出手段を更に備え、前記事前位置合わせ手段が、前記位置合わせ処理として前記補正係数を用いた前記第１画像情報及び前記第２画像情報の少なくとも一方に対する補正処理を実行するものである。

一方、上記目的を達成するために、請求項５に記載の画像処理プログラムは、追記が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び追記が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得ステップと、２値化された前記第１画像情報及び前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒画素を連結した予め定められた範囲内の大きさの連結領域又は白画素を連結した予め定められた範囲内の大きさの連結領域である特徴領域を抽出する抽出ステップと、２値化された前記第１画像情報及び前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の重心位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出ステップと、前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の重心位置と前記第２原稿の画像から抽出された特徴領域の重心位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定ステップと、前記抽出ステップによって抽出された特徴領域のうち、前記特定ステップによって特定された特徴領域に含まれない特徴領域を前記追記が行われた可能性のある領域である追記領域として選択する選択ステップと、前記選択ステップによって選択された追記領域を対象として前記第１画像情報及び前記第２画像情報の少なくとも一方に対して画像の位置合わせ処理を実行する位置合わせステップと、前記位置合わせ処理が実行された前記第１画像情報及び前記第２画像情報に基づいて、前記追記領域を対象として、画像膨張処理後の前記第１画像情報を、対応する前記第２画像情報から、対応する画素毎に減算することにより得られた画像情報を前記追記として検出する検出ステップと、をコンピュータに実行させるものである。

請求項１及び請求項５記載の発明によれば、高精度で追記を検出することができる、という効果が得られる。

また、請求項２記載の発明によれば、原稿の余白以外の部分に対する追記の箇所に加え、原稿の余白部分に対する追記の箇所も検出することができる結果、本発明を適用しない場合に比較して、より高精度で追記を検出することができる、という効果が得られる。

また、請求項３記載の発明によれば、本発明を適用しない場合に比較して、より高精度で追記を検出することができる、という効果が得られる。

更に、請求項４記載の発明によれば、本発明を適用しない場合に比較して、より高速かつ高精度で追記を検出することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１には、本発明が適用された画像処理システム１０の構成例が示されている。同図に示されるように、本実施の形態に係る画像処理システム１０は、パーソナル・コンピュータ等の画像処理装置２０と、スキャナ等の画像読取装置３０とを備えている。画像処理装置２０と画像読取装置３０は電気的に接続されており、画像処理装置２０は画像読取装置３０による読み取りによって得られた画像データを画像読取装置３０から取得することができる。

本実施の形態に係る画像処理システム１０は、手書きによる追記や押印等による追記が行われる前の原稿（以下、「追記前原稿」という。）と、当該追記が行われた後の原稿（以下、「追記後原稿」という。）を画像読取装置３０によって読み取り、これによって得られた２つの画像データに基づき、画像処理装置２０により、追記が行われた箇所を特定し、特定した箇所から追記された画像部分を検出する処理を行うものである。なお、以下では、追記前原稿の読み取りによって得られた画像データを「追記前画像データ」といい、追記後原稿の読み取りによって得られた画像データを「追記後画像データ」という。

本実施の形態に係る画像読取装置３０は、読み取りによって得る画像データを、各画素値（画素情報）が複数ビット（本実施の形態では、８ビット）で構成されるものとして取得するものとされている。また、本実施の形態に係る画像処理システム１０では、画像読取装置３０として、読み取り対象とする原稿の画像をＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色に分解して読み取るカラー・スキャナを適用している。なお、画像読取装置３０としては、このような複数ビット構成のカラー・スキャナに限らず、複数ビット構成のモノクロ・スキャナ（所謂グレイスケール・モノクロ・スキャナ）、１ビット（２値）構成のカラー・スキャナ、１ビット構成のモノクロ・スキャナ等を適用することもできる。

次に、図２を参照して、画像処理システム１０において特に重要な役割を有する画像処理装置２０の電気系の要部構成を説明する。

同図に示すように、本実施の形態に係る画像処理装置２０は、画像処理装置２０全体の動作を司るＣＰＵ（中央処理装置）２０Ａと、ＣＰＵ２０Ａによる各種処理プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２０Ｂと、各種制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）２０Ｃと、各種情報を記憶するために用いられる記憶手段であるハードディスク２０Ｄと、各種情報を入力するために用いられるキーボード２０Ｅと、各種情報を表示するために用いられるディスプレイ２０Ｆと、外部装置との各種情報の授受を司る入出力インタフェース（Ｉ／Ｆ）２０Ｇと、が備えられており、これら各部はシステムバスＢＵＳにより電気的に相互に接続されている。ここで、入出力インタフェース２０Ｇには、前述した画像読取装置３０が接続されている。

従って、ＣＰＵ２０Ａは、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、及びハードディスク２０Ｄに対するアクセス、キーボード２０Ｅを介した各種入力情報の取得、ディスプレイ２０Ｆに対する各種情報の表示、及び入出力インタフェース２０Ｇを介した画像読取装置３０との各種情報の授受を、各々行うことができる。

図３は、本実施の形態に係る画像処理装置２０の機能的な構成を示す機能ブロック図である。

同図に示されるように、本実施の形態に係る画像処理装置２０は、第１位置合わせ部２２と、第２位置合わせ部２４と、追記検出部２６と、記憶部２８と、追記領域選択部２９とを備えている。

なお、上記第１位置合わせ部２２は、追記前画像データ及び追記後画像データの少なくとも一方に対して、追記前画像データにより示される追記前画像と、追記後画像データにより示される追記後画像との間で、画像読取装置３０において読み取る際の追記前原稿と追記後原稿の傾斜角の違いや、読み取り環境の違い等に起因して画像全体に対して発生する、対応する画素の位置のずれを補正する位置合わせ処理を実行する。なお、本実施の形態に係る第１位置合わせ部２２では、追記前画像データ及び追記後画像データに基づいて、追記前画像及び追記後画像における予め定められた特徴（本実施の形態では、２値化画像データにおける黒画素の連結画像及び白画素の連結画像）を有する特徴領域を抽出し、追記前画像及び追記後画像の対応する特徴領域同士が重なり合うように、追記前画像データ及び追記後画像データの少なくとも一方を変換する。

ここで、本実施の形態に係る第１位置合わせ部２２では、当該変換として、追記前画像データ及び追記後画像データの何れか一方に対してアフィン変換を行うことによる変換を適用しているが、これに限らず、追記前画像データ及び追記後画像データの何れか一方に対する共一次変換、一次等角変換、二次等角変換、射影変換、拡大・縮小、回転、平行移動等の他の従来既知の変換手法を適用する形態とすることもできる。

ところで、第１位置合わせ部２２による画像の位置合わせでは、画像読取装置３０による画像読み取り時においてスキャン速度のむらや、光学系のひずみ等に起因して発生する追記前画像及び追記後画像の局所的なひずみまで補正（位置合わせ）することは困難である。

そこで、上記第２位置合わせ部２４は、後述する追記領域選択部２９により、第１位置合わせ部２２によって抽出された特徴領域から選択された追記領域のみを対象として、追記前画像データ及び追記後画像データの少なくとも一方に対し、追記前画像及び追記後画像との間で対応する画素の位置のずれを補正する位置合わせ処理を実行する。

なお、本実施の形態に係る第２位置合わせ部２４では、パターン・マッチング処理により、対応する画素の位置ずれを極力なくすように、追記前画像データ及び追記後画像データの少なくとも一方を変換する。

ここで、本実施の形態に係る第２位置合わせ部２４では、当該変換として、追記前画像データ及び追記後画像データの対応する追記領域間の相関係数を算出し、当該相関係数が最も高くなるように追記前画像及び追記後画像の少なくとも一方を平行移動する変換を適用しているが、これに限らず、追記前画像データ及び追記後画像データの何れか一方に対するアフィン変換、共一次変換、一次等角変換、二次等角変換、射影変換、拡大・縮小、回転、平行移動等の他の従来既知の変換手法を適用する形態とすることもできる。

一方、上記追記検出部２６は、第２位置合わせ部２４によって追記領域に対する位置合わせ処理が実行された、当該追記領域に対応する追記前画像データ及び追記後画像データに基づいて、追記の画像を検出する。

なお、本実施の形態に係る追記検出部２６では、上記追記の画像の検出を、追記領域に対応する追記前画像データに対して、当該追記前画像データにより示される画像に対する予め定められたドット数（一例として、１ドット）の画像膨張処理を施した後、当該追記前画像データを、追記後画像データから、対応する画素毎で、かつＲ，Ｇ，Ｂの各々別に減算することにより行っているが、これに限らず、例えば、上記画像膨張処理を行わずに当該減算を行うことにより行う形態や、当該減算として、追記領域に対応する追記前画像データから追記後画像データを、対応する画素毎で、かつＲ，Ｇ，Ｂの各々別に減算する処理を適用する形態、二値化された追記前画像データ及び追記後画像データの対応する画素毎の差分を算出することにより行う形態等の、他の従来既知の追記検出処理を適用する形態とすることもできる。

そして、上記追記領域選択部２９は、第１位置合わせ部２２によって抽出された特徴領域のうち、追記が行われた特徴領域である追記領域を選択し、選択した追記領域を示す追記領域情報を第２位置合わせ部２４及び追記検出部２６に出力する。

次に、図４を参照して、本実施の形態に係る第１位置合わせ部２２の構成について説明する。

同図に示されるように、本実施の形態に係る第１位置合わせ部２２は、一対の特徴領域抽出部２２Ａ，２２Ｂと、対応付部２２Ｃと、補正パラメータ算出部２２Ｄと、画像変換部２２Ｅとを備えている。

なお、上記特徴領域抽出部２２Ａは追記前画像データが、上記特徴領域抽出部２２Ｂは追記後画像データが、各々入力されるものであり、特徴領域抽出部２２Ａ，２２Ｂは、入力された画像データに基づいて、追記前画像及び追記後画像における前述した予め定められた特徴（本実施の形態では、２値化画像データにおける黒画素の連結画像及び白画素の連結画像）を有する特徴領域を抽出した後、当該特徴領域から予め定められた特徴量（本実施の形態では、後述する大きさ、画素数、筆跡長（図８も参照。））を、入力された画像データに基づいて導出し、特徴領域情報として出力する。

また、上記対応付部２２Ｃは、追記前画像及び追記後画像の間で、特徴領域抽出部２２Ａ，２２Ｂから出力された特徴領域情報により示される特徴量の類似度が所定度合以上である特徴領域の対を特定し、特定した特徴領域の対を対応付ける特定特徴領域情報を作成して出力する。

また、上記補正パラメータ算出部２２Ｄは、対応付部２２Ｃから出力された特定特徴領域情報により示される、対応する特徴領域のずれ量に基づいて、追記前画像及び追記後画像の全体的なずれをなくするための補正係数を算出する。そして、上記画像変換部２２Ｅは、補正パラメータ算出部２２Ｄによって算出された補正係数を用いて、追記前画像データ又は追記後画像データ（ここでは、追記後画像データ）に対し、追記前画像及び追記後画像の全体的な位置合わせを行うための画像変換（ここでは、アフィン変換）を実行する。

なお、アフィン変換に適用する補正係数は、幅方向移動量、縦方向移動量、回転角、及び倍率である。補正係数は、一方の画像（ここでは、追記後画像）に対して補正係数に基づく変換を実行した場合に、追記前画像及び追記後画像の対応する特徴領域の重心位置の誤差が最も小さくなる値として算出される。具体的には、例えば、最小二乗法を適用して、追記前画像及び追記後画像の対応する特徴領域の重心位置の誤差の総和が最も小さくなる補正係数として幅方向移動量、縦方向移動量、回転角、及び倍率の各値を求める。なお、最小二乗法を適用した補正係数の算出手法については、一例として特開平９−９３４３１号公報に記載されている。

本実施の形態に係る追記領域選択部２９では、特徴領域抽出部２２Ａから出力された追記前画像に対応する特徴領域情報、特徴領域抽出部２２Ｂから出力された追記後画像に対応する特徴領域情報、及び対応付部２２Ｃから出力された特定特徴領域情報に基づいて、特徴領域抽出部２２Ａ，２２Ｂによって抽出された特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない特徴領域を追記が行われた領域である追記領域として選択し、選択した追記領域を示す追記領域情報を作成して第２位置合わせ部２４及び追記検出部２６に出力する。

なお、本実施の形態に係る追記領域選択部２９では、上記追記領域の選択を、特徴領域抽出部２２Ｂによって抽出された追記後画像における特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない特徴領域を追記領域として選択することにより行っているが、これに限らず、特徴領域抽出部２２Ａによって抽出された追記前画像における特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない特徴領域を追記領域として選択することにより行う形態とすることもできる。

次に、図５を参照して、本実施の形態に係る特徴領域抽出部２２Ａ，２２Ｂの構成について説明する。なお、特徴領域抽出部２２Ａ及び特徴領域抽出部２２Ｂは入力される画像データが異なるのみで同一の構成とされているため、ここでは、特徴領域抽出部２２Ａの構成について説明する。

同図に示されるように、本実施の形態に係る特徴領域抽出部２２Ａは、前処理部４０と、連結領域抽出部４２と、重心算出部４４と、特徴量算出部４６とを備えている。

なお、上記前処理部４０は、入力された追記前画像データに対して、単色化処理及び二値化処理を実行する。ここで、上記単色化処理は、追記前画像データを輝度情報のみの画素データとする処理である。また、上記二値化処理は、単色化処理によって得られた単色画像を所定の閾値レベルで１（黒）又は０（白）の何れかの値に変換する処理である。なお、入力画像がモノクロ画像である場合は、上記単色化処理を省略することができる。

また、上記連結領域抽出部４２は、前処理部４０によって二値化処理が施された追記前画像データに対して、前記特徴領域として連結領域を抽出する連結領域抽出処理を実行する。なお、上記連結領域抽出処理は、一例として特開平１２−２９５４３８号公報に記載されている手法等を適用して実行することができる。ここで、連結領域（特徴領域）は二値化画像における黒画素の連続領域（黒ラン）、或いは黒画素ではない白画素の連続領域（白ラン）として抽出される。上記連結領域抽出処理は、例えば、予め抽出条件として、所定の大きさ（面積又は画素数）の範囲（最小、最大）を設定し、その範囲にある連続する同一画素値の領域等、予め定められた設定条件に基づいて実行される。

ここで、図６を参照して、上記連結領域抽出処理によって抽出される連結領域の具体例について説明する。

同図には、二値化処理が施された追記前画像８０と追記後画像９０とが示されている。これらの画像から、一定条件の下に黒画素の連続領域（黒ラン）を有する画像データや白画素の連続領域（白ラン）を有する画像データを連結領域として抽出する。同図に示す例では、追記前画像８０から黒文字画像である‘Ａ’、‘Ｂ’と白抜き文字画像である‘Ａ’が、連結領域８１〜８３として抽出され、追記後画像９０から黒文字画像である‘Ａ’、‘Ｂ’と白抜き文字画像である‘Ａ’が、連結領域９１〜９３として抽出された例が示されている。なお、実際の処理において抽出される連結領域のデータ数は、設計条件にもよるが、数百〜数千個単位のデータの抽出が行われる。

更に、上記重心算出部４４は、連結領域抽出部４２によって抽出された連結領域（特徴領域）の重心を算出し、上記特徴量算出部４６は、各連結領域の特徴量（ここでは、大きさ、画素数、筆跡長）を算出する。なお、本実施の形態では、重心算出部４４と特徴量算出部４６とを区別しているが、重心も連結領域の１つの特徴量として、特徴量算出部４６において算出する構成としてもよいことは言うまでもない。

次に、図７及び図８を参照して、連結領域から求められる重心及び特徴量について説明する。図７に示す文字‘Ａ’が、例えば追記前画像８０から抽出された１つの連結領域７０である。図８は、追記前画像８０と追記後画像９０とから抽出された連結領域についての重心と特徴量の各情報からなるテーブルを示している。

まず、図７を参照して、連結領域７０の重心及び特徴量の詳細について説明する。

重心７２は、連結領域としての文字Ａ７０の重心位置を示す情報であり、例えば、追記前画像８０をＸＹ座標面とした場合の座標データ（ｘ，ｙ）として算出する（図８も参照。）。

また、大きさは、図７に示される連結領域７０を外接するように囲む外接矩形７４の幅Ｌ及び高さＨにより‘Ｌ，Ｈ’として求める。また、画素数は、連結領域７０自体の構成全画素数として算出する。更に、筆跡長は、図７に示すように、連結領域７０を細線化して、幅が１画素の線として変換した連結領域細線化データ７６における構成画素数として算出する。

重心算出部４４及び特徴量算出部４６は、比較対象となる追記前画像８０と追記後画像９０から、連結領域抽出部４２によって抽出された連結領域（特徴領域）の各々について、重心位置と、上記大きさ、画素数、筆跡長等が含まれた特徴量情報とを算出し、一例として図８に示されるように、追記前画像８０に対応する特徴領域情報５０Ａと、追記後画像９０に対応する特徴領域情報５０Ｂとして整理する。同図に示されるように、追記前画像８０と追記後画像９０の各々から抽出された各連結領域について唯一無二のＩＤ（Identification）が付与され、当該ＩＤによって対応付けられるように、各連結領域の重心位置と、特徴量、すなわち、大きさ、画素数、筆跡長の各情報が特徴領域情報としてハードディスク２０Ｄ等の記憶手段により記録される。

ところで、本実施の形態に係る対応付部２２Ｃ（図４参照。）は、前述したように、追記前画像及び追記後画像の間で、特徴領域抽出部２２Ａ，２２Ｂから出力された特徴領域情報により示される特徴量の類似度が所定度合以上である特徴領域の対を特定し、特定した特徴領域の対を対応付ける特定特徴領域情報を作成する。

ここで、対応付部２２Ｃでは、一例として、特徴領域抽出部２２Ａによって記録された特徴領域情報５０Ａと特徴領域抽出部２２Ｂによって記録された特徴領域情報５０Ｂを入力し、両特徴領域情報に記録された情報に基づくパターン・マッチング処理を行い、この結果に基づいて特定特徴領域情報を作成する。

なお、本実施の形態に係る対応付部２２Ｃでは、追記前画像及び追記後画像の何れか一方の画像から抽出した特徴領域の重心位置から予め定められた距離内に重心位置が位置する他方の画像の特徴領域を、各特徴領域情報における重心位置に基づいて特定することにより、類似度が所定度合以上である特徴領域の候補となる特徴領域を絞り込み、絞り込んだ特徴領域のみを対象として、各特徴領域情報における特徴量（大きさ、画素数、筆跡長）の少なくとも１つの情報の類似度を算出し、当該類似度が所定度合以上となる特徴領域の対を示す情報を特定特徴領域情報として作成する。なお、本実施の形態では、上記類似度として、適用した特徴量間の距離（一例として、ユークリッド距離）の逆数を適用しているが、これに限らず、追記前画像及び追記後画像の各特徴領域情報により示される特徴量の類似の度合を示すものであれば如何なるものも適用できることは言うまでもない。

図９には、本実施の形態に係る特定特徴領域情報のデータ構造の一例が模式的に示されている。同図に示されるように、本実施の形態に係る対応付部２２Ｃでは、類似度が所定度合以上となった追記前画像及び追記後画像の各特徴領域に付与されたＩＤが対応付けられたものとして特定特徴領域情報を作成する。

なお、以上のように構成された画像処理装置２０の各構成要素（第１位置合わせ部２２、第２位置合わせ部２４、追記検出部２６、追記領域選択部２９）による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現することができる。この場合、当該プログラムに本発明の画像処理プログラムが含まれることになる。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現することもできることは言うまでもない。

以下では、本実施の形態に係る画像処理システム１０が、上記プログラム（以下、「画像処理プログラム」という。）を実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。この場合、当該画像処理プログラムを画像処理装置２０に予めインストールしておく形態や、コンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用することができる。

次に、図１０を参照して、本実施の形態に係る画像処理システム１０の作用を説明する。なお、図１０は、画像処理装置２０のＣＰＵ２０Ａにより実行される画像処理プログラムの処理の流れを示すフローチャートである。また、ここでは、錯綜を回避するために、処理対象とする追記前画像データ及び追記後画像データが同一サイズの原稿画像を示すものとして画像読取装置３０から入力され、ハードディスク２０Ｄの所定領域に予め記憶されている場合について説明する。

同図のステップ１００では、処理対象とする追記前画像データ及び追記後画像データをハードディスク２０Ｄから読み出すことにより取得し、次のステップ１０２では、前述した特徴領域抽出部２２Ａ，２２Ｂによる処理と同様の処理によって追記前画像及び追記後画像に対応する特徴領域情報（図８も参照。）を導出し、記録する。例えば、追記前画像８０及び追記後画像９０が図１１（Ａ）に示されるものである場合、本ステップ１０２の処理では、図１１（Ｂ）に示される特徴領域（本実施の形態では、連結領域）に関する特徴領域情報が追記前画像と追記後画像の各画像別に導出されることになる。

次のステップ１０４では、導出した特徴領域情報に基づいて、前述した対応付部２２Ｃによる処理と同様の処理により特定特徴領域情報を作成する。本ステップ１０４の処理により、一例として図１１（Ｃ）に示される特徴領域が対応付けられた特定特徴領域情報（図９も参照。）が作成されることになる。

次のステップ１０６では、作成した特定特徴領域情報に基づいて、前述した補正パラメータ算出部２２Ｄによる処理と同様の処理により、追記前画像及び追記後画像の全体的なずれをなくすための補正係数を算出し、次のステップ１０８では、算出した補正係数を用いて、前述した画像変換部２２Ｅによる処理と同様の処理により追記前画像及び追記後画像の全体的な位置合わせを行うための画像変換処理（本実施の形態では、アフィン変換処理）を実行し、更に、次のステップ１１０では、前述した追記領域選択部２９による処理と同様の処理により、上記ステップ１０２による特徴領域情報の導出過程において抽出された特徴領域のうち、追記が行われた特徴領域である追記領域を選択し、選択した特徴領域（追記領域）を示す追記領域情報を作成する。

本ステップ１１０の処理において、当該追記領域の選択を、特徴領域抽出部２２Ｂによって抽出された追記後画像の特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない領域を追記領域として選択することにより行う場合には、一例として図１１（Ｄ）に示される特徴領域を示す追記領域情報が作成され、上記追記領域の選択を、特徴領域抽出部２２Ａによって抽出された追記前画像の特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない領域を追記領域として選択することにより行う場合には、一例として図１１（Ｅ）に示される特徴領域を示す追記領域情報が作成されることになる。

次のステップ１１２では、追記前画像の幅（ここでは、当該画像の水平方向の画素数）で、かつ追記前画像の高さ（ここでは、当該画像の垂直方向の画素数）の白色画像を示す画像データ（以下、「白色画像データ」という。）を作成し、次のステップ１１４では、変数ｉに０を代入する。

次のステップ１１６では、一例として次に示すように、上記ステップ１１０の処理によって作成した追記領域情報により示される追記領域のうちの何れか１つの追記領域（以下、「処理対象追記領域」という。）の範囲を示す座標（以下、「追記領域座標」という。）を導出する。

まず、処理対象追記領域に対応する重心位置及び大きさの各情報を、上記ステップ１０２の処理によって導出した、上記ステップ１０８の処理によって画像変換処理の対象とされなかった画像（ここでは、追記前画像）の特徴領域情報から取得する。

次に、取得した重心位置情報により示される重心位置を中心とする、取得した大きさ情報により示される幅Ｌ及び高さＨを有する矩形領域の角点（本実施の形態では、左上角点及び右下角点）の位置座標を上記追記領域座標として算出する。

次のステップ１１８では、追記前画像データ及び追記後画像データ（上記ステップ１０８の処理によって画像変換処理が実行されたもの）における、上記ステップ１１６の処理により導出した追記領域座標により示される追記領域を対象として、追記前画像と追記後画像の位置合わせを行う画像変換処理を、前述した第２位置合わせ部２４による処理と同様に実行する。

次のステップ１２０では、上記ステップ１１８の処理によって画像変換処理が実行された後の追記領域に対応する追記前画像及び追記後画像の各画像データに基づいて、前述した追記検出部２６による処理と同様の処理により追記の画像を検出し、これによって得られた画像データ（ここでは、画像膨張処理後の追記前画像データを、対応する追記後画像データから、対応する画素毎に減算することにより得られる画像データ）を、上記ステップ１１２の処理によって作成した白色画像データに対して重畳（上書き）する。

次のステップ１２４では、変数ｉの値を１だけインクリメントし、次のステップ１２６にて、変数ｉの値が、上記ステップ１１０の処理によって選択された追記領域の数Ｎ以下であるか否かを判定し、肯定判定となった場合は上記ステップ１１６に戻り、当該ステップ１１６以降の処理を再び実行する一方、否定判定となった場合にはステップ１２８に移行する。なお、上記ステップ１１６〜ステップ１２４の処理を繰り返し実行する際には、それまでに処理対象としなかった追記領域を処理対象追記領域として適用するようにする。

ステップ１２８では、以上の処理によって追記画像が重畳された白色画像データを用いて追記画像を出力し、その後に本画像処理プログラムを終了する。なお、本実施の形態に係る画像処理プログラムでは、上記ステップ１２８による追記画像を出力する処理として、ディスプレイ２０Ｆによる表示による出力、及び図示しないプリンタ（所謂画像形成装置）による印刷による出力の双方を適用しているが、これに限定されるものではなく、これらの何れか一方の出力を行う形態や、音声合成装置により音声によって出力する形態等、他の出力形態を適用することができることは言うまでもない。また、本実施の形態に係る画像処理プログラムでは、白色画像データに対して追記画像を重畳することにより、検出した追記画像を記録する場合について説明したが、これに限定されるものではなく、検出した追記画像の位置を示す座標を記録する形態等、追記画像を特定することのできる情報を記録する他の形態とすることができることも言うまでもない。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合せにより種々の発明を抽出できる。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

例えば、上記実施の形態では、画像処理をソフトウェア構成によって実現した場合について説明したが、本発明はこれに限定されるものではなく、例えば、当該画像処理をハードウェア構成により実現する形態とすることもできる。この場合の形態例としては、例えば、図３に示した画像処理装置２０の各構成要素（第１位置合わせ部２２、第２位置合わせ部２４、追記検出部２６、追記領域選択部２９）と同一の処理を実行する機能デバイスを作成して用いる形態が例示できる。この場合は、上記実施の形態に比較して、画像処理の高速化が期待できる。

その他、上記実施の形態で説明した画像処理システム１０や画像処理装置２０の構成（図１〜図５参照。）は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりすることができることは言うまでもない。

また、上記実施の形態で説明した各種情報のデータ構造（図８，図９参照。）も一例であり、本発明の主旨を逸脱しない範囲内において変更を加えることができることは言うまでもない。

更に、上記実施の形態で説明した画像処理プログラムの処理の流れ（図１０参照。）も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりすることができることは言うまでもない。

実施の形態に係る画像処理システムの構成を示すブロック図である。 実施の形態に係る画像処理装置の電気系の要部構成を示すブロック図である。 実施の形態に係る画像処理装置の機能的な構成を示す機能ブロック図である。 実施の形態に係る画像処理装置の機能的な構成のうち、第１位置合わせ部の構成を示すブロック図である。 実施の形態に係る画像処理装置の機能的な構成のうち、特徴領域抽出部の構成を示すブロック図である。 実施の形態に係る連結領域（特徴領域）の説明に供する図である。 実施の形態に係る連結領域から求められる重心及び特徴量の各情報の説明に供する図である。 実施の形態に係る特徴領域情報のデータ構造を示す模式図である。 実施の形態に係る特定特徴領域情報のデータ構造を示す模式図である。 実施の形態に係る画像処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係る画像処理プログラムの処理内容の説明に供する図である。

符号の説明

１０ 画像処理システム
２０ 画像処理装置
２０Ａ ＣＰＵ
２０Ｄ ハードディスク
２０Ｆ ディスプレイ
２２ 第１位置合わせ部
２２Ａ 特徴領域抽出部
２２Ｂ 特徴領域抽出部
２２Ｃ 対応付部（特定手段）
２２Ｄ 補正パラメータ算出部（算出手段）
２２Ｅ 画像変換部（事前位置合わせ手段）
２４ 第２位置合わせ部（位置合わせ手段）
２６ 追記検出部（検出手段）
２８ 記憶部
２９ 追記領域選択部（選択手段）
３０ 画像読取装置（取得手段）
４０ 前処理部
４２ 連結領域抽出部（抽出手段）
４４ 重心算出部（導出手段）
４６ 特徴量算出部（導出手段）

Claims (5)

1. 追記が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び追記が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得手段と、
   ２値化された前記第１画像情報及び前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒画素を連結した予め定められた範囲内の大きさの連結領域又は白画素を連結した予め定められた範囲内の大きさの連結領域である特徴領域を抽出する抽出手段と、
   ２値化された前記第１画像情報及び前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の重心位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出手段と、
   前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の重心位置と前記第２原稿の画像から抽出された特徴領域の重心位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定手段と、
   前記抽出手段によって抽出された特徴領域のうち、前記特定手段によって特定された特徴領域に含まれない特徴領域を前記追記が行われた可能性のある領域である追記領域として選択する選択手段と、
   前記選択手段によって選択された追記領域を対象として前記第１画像情報及び前記第２画像情報の少なくとも一方に対して画像の位置合わせ処理を実行する位置合わせ手段と、
   前記位置合わせ処理が実行された前記第１画像情報及び前記第２画像情報に基づいて、前記追記領域を対象として、画像膨張処理後の前記第１画像情報を、対応する前記第２画像情報から、対応する画素毎に減算することにより得られた画像情報を前記追記として検出する検出手段と、
   を備えた画像処理装置。
2. 前記選択手段は、前記抽出手段によって前記第２原稿の画像から抽出された特徴領域のうち、前記特定手段によって特定された特徴領域に含まれない特徴領域を前記追記領域として選択する
   請求項１記載の画像処理装置。
3. 前記位置合わせ手段による位置合わせ処理に先立ち、前記第１画像情報及び前記第２画像情報の少なくとも一方に対して前記第１原稿の画像と前記第２原稿の画像の画像全体における位置合わせ処理を実行する事前位置合わせ手段
   を更に備えた請求項１又は請求項２記載の画像処理装置。
4. 前記第１原稿の画像と前記第２原稿の画像における対応する前記追記領域のずれ量に基づいて補正係数を算出する算出手段を更に備え、
   前記事前位置合わせ手段は、前記位置合わせ処理として前記補正係数を用いた前記第１画像情報及び前記第２画像情報の少なくとも一方に対する補正処理を実行する
   請求項３記載の画像処理装置。
5. 追記が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び追記が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得ステップと、
   ２値化された前記第１画像情報及び前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒画素を連結した予め定められた範囲内の大きさの連結領域又は白画素を連結した予め定められた範囲内の大きさの連結領域である特徴領域を抽出する抽出ステップと、
   ２値化された前記第１画像情報及び前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の重心位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出ステップと、
   前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の重心位置と前記第２原稿の画像から抽出された特徴領域の重心位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定ステップと、
   前記抽出ステップによって抽出された特徴領域のうち、前記特定ステップによって特定された特徴領域に含まれない特徴領域を前記追記が行われた可能性のある領域である追記領域として選択する選択ステップと、
   前記選択ステップによって選択された追記領域を対象として前記第１画像情報及び前記第２画像情報の少なくとも一方に対して画像の位置合わせ処理を実行する位置合わせステップと、
   前記位置合わせ処理が実行された前記第１画像情報及び前記第２画像情報に基づいて、前記追記領域を対象として、画像膨張処理後の前記第１画像情報を、対応する前記第２画像情報から、対応する画素毎に減算することにより得られた画像情報を前記追記として検出する検出ステップと、
   をコンピュータに実行させる画像処理プログラム。

Images