JP4803001B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

従来、帳票等の予め定められた原稿に対する追記箇所を特定するための技術として、特許文献１及び特許文献２には、追記前画像と追記後画像の位置合わせを行った後、追記前画像データと追記後画像データの単色化・二値化を行い、これによって得られた追記前画像データと追記後画像データとの間で所定演算を行うことにより追記箇所を抽出する技術が開示されている。

また、特許文献３には、追記前後の画像を所定個数に分割し、各分割領域毎に画像の位置合わせを行った後、追記前画像を膨張させて、追記前画像データと追記後画像データの各画素単位で排他的論理和を算出することにより追記箇所を抽出する技術が開示されている。

更に、特許文献４には、追記前文書の画像と追記後文書の画像とを取得し、両画像の位置合わせを行い、両画像を格子状の小領域に分割して各分割領域毎に黒字率、画像濃度の総和、及び色毎の濃度の総和を比較し、これによって追記がある分割領域を特定して、当該追記がある分割領域毎に両画像の再位置合わせ（微調整）を行い、当該微調整後の分割領域において、追記後画像から追記前画像を差し引くことにより追記画像を抽出する技術が開示されている。
特開２００４−８０６０１号公報 特開２００４−２４０５９８号公報 特開２００４−３４１９１４号公報 特開２００４−２１３２３０号公報

本発明は、以上のような技術背景においてなされたものであり、原稿の修正が行われた領域の画像を高速に検出することのできる画像処理装置及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の画像処理装置は、修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得手段と、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出手段と、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出手段と、前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定手段と、前記抽出手段によって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出手段によって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択手段と、前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域と前記第２特徴領域とで互いに重なる領域を重なり領域として、前記第１特徴領域における重なり領域内の画像の黒画素数が前記第２特徴領域における重なり領域内の画像の黒画素数に比較して少ない場合に、当該重なり領域が前記第１原稿に予め存在した画像に対して重ねて追記された重なりあり追記領域であると判断する判断手段と、前記判断手段によって前記重なりあり追記領域であると判断された領域を対象として前記第２画像情報から前記第１画像情報の減算を画素毎に行うことにより前記追記された画像を検出する検出手段と、を備えている。

また、上記目的を達成するために、請求項２に記載の画像処理装置は、修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得手段と、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出手段と、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出手段と、前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定手段と、前記抽出手段によって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出手段によって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択手段と、前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域と前記第２特徴領域とで互いに重なる領域を重なり領域として、前記第１特徴領域における重なり領域内の画像の黒画素数が前記第２特徴領域における重なり領域内の画像の黒画素数に比較して多い場合に、当該重なり領域が前記第１原稿に予め存在した画像の一部が消去された一部消去領域であると判断する判断手段と、前記判断手段によって前記一部消去領域であると判断された領域を対象として前記第１画像情報から前記第２画像情報の減算を画素毎に行うことにより前記一部が消去された画像を検出する検出手段と、を備えている。

また、上記目的を達成するために、請求項３に記載の画像処理装置は、修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得手段と、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出手段と、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出手段と、前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定手段と、前記抽出手段によって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出手段によって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択手段と、前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域に含まれ、かつ互いに重なる領域が前記第２特徴領域に存在しない領域を、前記第１原稿に予め存在した画像が消去された消去領域であると判断する判断手段と、前記判断手段によって前記消去領域であると判断された領域内の情報を前記第１画像情報から抽出することにより前記消去された画像を検出する検出手段と、を備えている。

また、上記目的を達成するために、請求項４に記載の画像処理装置は、修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得手段と、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出手段と、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出手段と、前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定手段と、前記抽出手段によって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出手段によって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択手段と、前記第１特徴領域及び前記第２特徴領域に基づいて、前記第２特徴領域に含まれ、かつ互いに重なる領域が前記第１特徴領域に存在しない領域を、前記第１原稿において画像が存在せず、かつ追記された重なりなし追記領域であると判断する判断手段と、前記判断手段によって前記重なりなし追記領域であると判断された領域内の情報を前記第２画像情報から抽出することにより前記追記された画像を検出する検出手段と、を備えている。

また、請求項５に記載の発明は、請求項１乃至請求項４の何れか１項記載の発明において、前記第１特徴領域と前記第２特徴領域とで互いに重なる領域のみを対象として前記第１画像情報及び前記第２画像情報の少なくとも一方に対して画像の位置合わせ処理を実行する位置合わせ手段を更に備えたものである。

また、請求項６に記載の発明は、請求項５に記載の発明において、前記位置合わせ手段による位置合わせ処理に先立ち、前記第１画像情報及び前記第２画像情報の少なくとも一方に対して前記第１原稿の画像と前記第２原稿の画像の画像全体における位置合わせ処理を実行する事前位置合わせ手段を更に備えたものである。

更に、請求項７に記載の発明は、請求項６に記載の発明において、前記第１原稿の画像と前記第２原稿の画像における対応する前記特徴領域のずれ量に基づいて補正係数を算出する算出手段を更に備え、前記事前位置合わせ手段が、前記位置合わせ処理として前記補正係数を用いた前記第１画像情報及び前記第２画像情報の少なくとも一方に対する補正処理を実行するものである。

一方、上記目的を達成するために、請求項８に記載の画像処理プログラムは、修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得ステップと、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出ステップと、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出ステップと、前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定ステップと、前記抽出ステップによって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出ステップによって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択ステップと、前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域と前記第２特徴領域とで互いに重なる領域を重なり領域として、前記第１特徴領域における重なり領域内の画像の黒画素数が前記第２特徴領域における重なり領域内の画像の黒画素数に比較して少ない場合に、当該重なり領域が前記第１原稿に予め存在した画像に対して重ねて追記された重なりあり追記領域であると判断する判断ステップと、前記判断ステップによって前記重なりあり追記領域であると判断された領域を対象として前記第２画像情報から前記第１画像情報の減算を画素毎に行うことにより前記追記された画像を検出する検出ステップと、をコンピュータに実行させるものである。
また、上記目的を達成するために、請求項９に記載の画像処理プログラムは、修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得ステップと、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出ステップと、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出ステップと、前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定ステップと、前記抽出ステップによって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出ステップによって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択ステップと、前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域と前記第２特徴領域とで互いに重なる領域を重なり領域として、前記第１特徴領域における重なり領域内の画像の黒画素数が前記第２特徴領域における重なり領域内の画像の黒画素数に比較して多い場合に、当該重なり領域が前記第１原稿に予め存在した画像の一部が消去された一部消去領域であると判断する判断ステップと、前記判断ステップによって前記一部消去領域であると判断された領域を対象として前記第１画像情報から前記第２画像情報の減算を画素毎に行うことにより前記一部が消去された画像を検出する検出ステップと、をコンピュータに実行させるものである。
また、上記目的を達成するために、請求項１０に記載の画像処理プログラムは、修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得ステップと、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出ステップと、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出ステップと、前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定ステップと、前記抽出ステップによって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出ステップによって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択ステップと、前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域に含まれ、かつ互いに重なる領域が前記第２特徴領域に存在しない領域を、前記第１原稿に予め存在した画像が消去された消去領域であると判断する判断ステップと、前記判断ステップによって前記消去領域であると判断された領域内の情報を前記第１画像情報から抽出することにより前記消去された画像を検出する検出ステップと、をコンピュータに実行させるものである。
さらに、上記目的を達成するために、請求項１１に記載の画像処理プログラムは、修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得ステップと、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出ステップと、２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出ステップと、前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定ステップと、前記抽出ステップによって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出ステップによって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択ステップと、前記第１特徴領域及び前記第２特徴領域に基づいて、前記第２特徴領域に含まれ、かつ互いに重なる領域が前記第１特徴領域に存在しない領域を、前記第１原稿において画像が存在せず、かつ追記された重なりなし追記領域であると判断する判断ステップと、前記判断ステップによって前記重なりなし追記領域であると判断された領域内の情報を前記第２画像情報から抽出することにより前記追記された画像を検出する検出ステップと、をコンピュータに実行させるものである。

請求項１から請求項４、及び請求項８から請求項１１記載の発明によれば、原稿の修正が行われた領域の画像を高速に検出することができる、という効果が得られる。

また、請求項５記載の発明によれば、本発明を適用しない場合に比較して、より高精度で修正が行われた領域の画像を検出することができる、という効果が得られる。

また、請求項６記載の発明によれば、本発明を適用しない場合に比較して、より高精度で修正が行われた領域の画像を検出することができる、という効果が得られる。

更に、請求項７記載の発明によれば、本発明を適用しない場合に比較して、より高速かつ高精度で修正が行われた領域の画像を検出することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１には、本発明が適用された画像処理システム１０の構成例が示されている。同図に示されるように、本実施の形態に係る画像処理システム１０は、パーソナル・コンピュータ等の画像処理装置２０と、スキャナ等の画像読取装置３０とを備えている。画像処理装置２０と画像読取装置３０は電気的に接続されており、画像処理装置２０は画像読取装置３０による読み取りによって得られた画像データを画像読取装置３０から取得することができる。

本実施の形態に係る画像処理システム１０は、手書き、押印等による追記による修正や、消しゴム、修正液等による消去による修正が行われる前の原稿（以下、「修正前原稿」という。）と、当該修正が行われた後の原稿（以下、「修正後原稿」という。）を画像読取装置３０によって読み取り、これによって得られた２つの画像データに基づき、画像処理装置２０により、修正が行われた箇所を特定し、特定した箇所から修正された画像部分を検出（抽出）する処理を行うものである。なお、以下では、修正前原稿の読み取りによって得られた画像データを「修正前画像データ」といい、修正後原稿の読み取りによって得られた画像データを「修正後画像データ」という。

本実施の形態に係る画像読取装置３０は、読み取りによって得る画像データを、各画素値（画素情報）が複数ビット（本実施の形態では、８ビット）で構成されるものとして取得するものとされている。また、本実施の形態に係る画像処理システム１０では、画像読取装置３０として、読み取り対象とする原稿の画像をＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色に分解して読み取るカラー・スキャナを適用している。なお、画像読取装置３０としては、このような複数ビット構成のカラー・スキャナに限らず、複数ビット構成のモノクロ・スキャナ（所謂グレイスケール・モノクロ・スキャナ）、１ビット（２値）構成のカラー・スキャナ、１ビット構成のモノクロ・スキャナ等を適用することもできる。

次に、図２を参照して、画像処理システム１０において特に重要な役割を有する画像処理装置２０の電気系の要部構成を説明する。

同図に示すように、本実施の形態に係る画像処理装置２０は、画像処理装置２０全体の動作を司るＣＰＵ（中央処理装置）２０Ａと、ＣＰＵ２０Ａによる各種処理プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２０Ｂと、各種制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）２０Ｃと、各種情報を記憶するために用いられる記憶手段であるハードディスク２０Ｄと、各種情報を入力するために用いられるキーボード２０Ｅと、各種情報を表示するために用いられるディスプレイ２０Ｆと、外部装置との各種情報の授受を司る入出力インタフェース（Ｉ／Ｆ）２０Ｇと、が備えられており、これら各部はシステムバスＢＵＳにより電気的に相互に接続されている。ここで、入出力インタフェース２０Ｇには、前述した画像読取装置３０が接続されている。

従って、ＣＰＵ２０Ａは、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、及びハードディスク２０Ｄに対するアクセス、キーボード２０Ｅを介した各種入力情報の取得、ディスプレイ２０Ｆに対する各種情報の表示、及び入出力インタフェース２０Ｇを介した画像読取装置３０との各種情報の授受を、各々行うことができる。

図３は、本実施の形態に係る画像処理装置２０の機能的な構成を示す機能ブロック図である。

同図に示されるように、本実施の形態に係る画像処理装置２０は、第１位置合わせ部２２と、修正領域判断部２４Ａ及び第２位置合わせ部２４Ｂを有する修正検出部２４と、記憶部２８と、修正領域選択部２９とを備えている。

なお、上記第１位置合わせ部２２は、修正前画像データ及び修正後画像データの少なくとも一方に対して、修正前画像データにより示される修正前画像と、修正後画像データにより示される修正後画像との間で、画像読取装置３０において読み取る際の修正前原稿と修正後原稿の傾斜角の違いや、読み取り環境の違い等に起因して画像全体に対して発生する、対応する画素の位置のずれを補正する位置合わせ処理を実行する。なお、本実施の形態に係る第１位置合わせ部２２では、修正前画像データ及び修正後画像データに基づいて、修正前画像及び修正後画像における予め定められた特徴（本実施の形態では、２値化画像データにおける黒画素の連結画像及び白画素の連結画像）を有する特徴領域を抽出し、修正前画像及び修正後画像の対応する特徴領域同士が重なり合うように、修正前画像データ及び修正後画像データの少なくとも一方を変換する。

ここで、本実施の形態に係る第１位置合わせ部２２では、当該変換として、修正前画像データ及び修正後画像データの何れか一方に対してアフィン変換を行うことによる変換を適用しているが、これに限らず、修正前画像データ及び修正後画像データの何れか一方に対する共一次変換、一次等角変換、二次等角変換、射影変換、拡大・縮小、回転、平行移動等の他の従来既知の変換手法を適用する形態とすることもできる。

一方、上記修正検出部２４は、修正領域判断部２４Ａにより、後述する修正領域選択部２９によって第１位置合わせ部２２により抽出された特徴領域から選択された修正領域に基づいて原稿に対する修正状態を判断し、当該判断結果に応じて修正画像を検出する。

ところで、第１位置合わせ部２２による画像の位置合わせでは、画像読取装置３０による画像読み取り時においてスキャン速度のむらや、光学系のひずみ等に起因して発生する修正前画像及び修正後画像の局所的なひずみまで補正（位置合わせ）することは困難である。

そこで、修正検出部２４に備えられた上記第２位置合わせ部２４Ｂは、上記修正領域の少なくとも一部のみを対象として、修正前画像データ及び修正後画像データの少なくとも一方に対し、修正前画像及び修正後画像との間で対応する画素の位置のずれを補正する位置合わせ処理を実行する。

なお、本実施の形態に係る第２位置合わせ部２４Ｂでは、パターン・マッチング処理により、対応する画素の位置ずれを極力なくすように、修正前画像データ及び修正後画像データの少なくとも一方を変換する。

ここで、本実施の形態に係る第２位置合わせ部２４Ｂでは、当該変換として、修正前画像データ及び修正後画像データの対応する修正領域間の相関係数を算出し、当該相関係数が最も高くなるように修正前画像及び修正後画像の少なくとも一方を平行移動する変換を適用しているが、これに限らず、修正前画像データ及び修正後画像データの何れか一方に対するアフィン変換、共一次変換、一次等角変換、二次等角変換、射影変換、拡大・縮小、回転、平行移動等の他の従来既知の変換手法を適用する形態とすることもできる。

そして、上記修正領域選択部２９は、第１位置合わせ部２２によって抽出された特徴領域のうち、修正が行われた特徴領域である修正領域を選択し、選択した修正領域を示す修正領域情報を修正検出部２４に出力する。

次に、図４を参照して、本実施の形態に係る第１位置合わせ部２２の構成について説明する。

同図に示されるように、本実施の形態に係る第１位置合わせ部２２は、一対の特徴領域抽出部２２Ａ，２２Ｂと、対応付部２２Ｃと、補正パラメータ算出部２２Ｄと、画像変換部２２Ｅとを備えている。

なお、上記特徴領域抽出部２２Ａは修正前画像データが、上記特徴領域抽出部２２Ｂは修正後画像データが、各々入力されるものであり、特徴領域抽出部２２Ａ，２２Ｂは、入力された画像データに基づいて、修正前画像及び修正後画像における前述した予め定められた特徴（本実施の形態では、２値化画像データにおける黒画素の連結画像及び白画素の連結画像）を有する特徴領域を抽出した後、当該特徴領域から予め定められた特徴量（本実施の形態では、後述する大きさ、画素数、筆跡長（図８も参照。））を、入力された画像データに基づいて導出し、特徴領域情報として出力する。

また、上記対応付部２２Ｃは、修正前画像及び修正後画像の間で、特徴領域抽出部２２Ａ，２２Ｂから出力された特徴領域情報により示される特徴量の類似度が所定度合以上である特徴領域の対を特定し、特定した特徴領域の対を対応付ける特定特徴領域情報を作成して出力する。

また、上記補正パラメータ算出部２２Ｄは、対応付部２２Ｃから出力された特定特徴領域情報により示される、対応する特徴領域のずれ量に基づいて、修正前画像及び修正後画像の全体的なずれをなくするための補正係数を算出する。そして、上記画像変換部２２Ｅは、補正パラメータ算出部２２Ｄによって算出された補正係数を用いて、修正前画像データ又は修正後画像データ（ここでは、修正後画像データ）に対し、修正前画像及び修正後画像の全体的な位置合わせを行うための画像変換（ここでは、アフィン変換）を実行する。

なお、アフィン変換に適用する補正係数は、幅方向移動量、縦方向移動量、回転角、及び倍率である。補正係数は、一方の画像（ここでは、修正後画像）に対して補正係数に基づく変換を実行した場合に、修正前画像及び修正後画像の対応する特徴領域の重心位置の誤差が最も小さくなる値として算出される。具体的には、例えば、最小二乗法を適用して、修正前画像及び修正後画像の対応する特徴領域の重心位置の誤差の総和が最も小さくなる補正係数として幅方向移動量、縦方向移動量、回転角、及び倍率の各値を求める。なお、最小二乗法を適用した補正係数の算出手法については、一例として特開平９−９３４３１号公報に記載されている。

本実施の形態に係る修正領域選択部２９では、特徴領域抽出部２２Ａから出力された修正前画像に対応する特徴領域情報、特徴領域抽出部２２Ｂから出力された修正後画像に対応する特徴領域情報、及び対応付部２２Ｃから出力された特定特徴領域情報に基づいて、特徴領域抽出部２２Ａ，２２Ｂによって抽出された特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない特徴領域を修正が行われた領域である修正領域として選択し、選択した修正領域を示す修正領域情報を作成して修正検出部２４に出力する。

なお、本実施の形態に係る修正領域選択部２９では、上記修正領域の選択を、特徴領域抽出部２２Ａによって抽出された修正前画像における特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない特徴領域を修正領域ａとして選択し、特徴領域抽出部２２Ｂによって抽出された修正後画像における特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない特徴領域を修正領域ｂとして選択することにより行っている。

次に、図５を参照して、本実施の形態に係る特徴領域抽出部２２Ａ，２２Ｂの構成について説明する。なお、特徴領域抽出部２２Ａ及び特徴領域抽出部２２Ｂは入力される画像データが異なるのみで同一の構成とされているため、ここでは、特徴領域抽出部２２Ａの構成について説明する。

同図に示されるように、本実施の形態に係る特徴領域抽出部２２Ａは、前処理部４０と、連結領域抽出部４２と、重心算出部４４と、特徴量算出部４６とを備えている。

なお、上記前処理部４０は、入力された修正前画像データに対して、単色化処理及び二値化処理を実行する。ここで、上記単色化処理は、修正前画像データを輝度情報のみの画素データとする処理である。また、上記二値化処理は、単色化処理によって得られた単色画像を所定の閾値レベルで１（黒）又は０（白）の何れかの値に変換する処理である。なお、入力画像がモノクロ画像である場合は、上記単色化処理を省略することができる。

また、上記連結領域抽出部４２は、前処理部４０によって二値化処理が施された修正前画像データに対して、前記特徴領域として連結領域を抽出する連結領域抽出処理を実行する。なお、上記連結領域抽出処理は、一例として特開平１２−２９５４３８号公報に記載されている手法等を適用して実行することができる。ここで、連結領域（特徴領域）は二値化画像における黒画素の連続領域（黒ラン）、或いは黒画素ではない白画素の連続領域（白ラン）として抽出される。上記連結領域抽出処理は、例えば、予め抽出条件として、所定の大きさ（面積又は画素数）の範囲（最小、最大）を設定し、その範囲にある連続する同一画素値の領域等、予め定められた設定条件に基づいて実行される。

ここで、図６を参照して、上記連結領域抽出処理によって抽出される連結領域の具体例について説明する。

同図には、二値化処理が施された修正前画像８０と修正後画像９０とが示されている。これらの画像から、一定条件の下に黒画素の連続領域（黒ラン）を有する画像データや白画素の連続領域（白ラン）を有する画像データを連結領域として抽出する。同図に示す例では、修正前画像８０から黒文字画像である‘Ａ’、‘Ｂ’と白抜き文字画像である‘Ａ’が、連結領域８１〜８３として抽出され、修正後画像９０から黒文字画像である‘Ａ’、‘Ｂ’と白抜き文字画像である‘Ａ’が、連結領域９１〜９３として抽出された例が示されている。なお、実際の処理において抽出される連結領域のデータ数は、設計条件にもよるが、数百〜数千個単位のデータの抽出が行われる。

更に、上記重心算出部４４は、連結領域抽出部４２によって抽出された連結領域（特徴領域）の重心を算出し、上記特徴量算出部４６は、各連結領域の特徴量（ここでは、大きさ、画素数、筆跡長）を算出する。なお、本実施の形態では、重心算出部４４と特徴量算出部４６とを区別しているが、重心も連結領域の１つの特徴量として、特徴量算出部４６において算出する構成としてもよいことは言うまでもない。

次に、図７及び図８を参照して、連結領域から求められる重心及び特徴量について説明する。図７に示す文字‘Ａ’が、例えば修正前画像８０から抽出された１つの連結領域７０である。図８は、修正前画像８０と修正後画像９０とから抽出された連結領域についての重心と特徴量の各情報からなるテーブルを示している。

まず、図７を参照して、連結領域７０の重心及び特徴量の詳細について説明する。

重心７２は、連結領域としての文字Ａ７０の重心位置を示す情報であり、例えば、修正前画像８０をＸＹ座標面とした場合の座標データ（ｘ，ｙ）として算出する（図８も参照。）。

また、大きさは、図７に示される連結領域７０を外接するように囲む外接矩形７４の幅Ｌ及び高さＨにより‘Ｌ，Ｈ’として求める。また、画素数は、連結領域７０自体の構成全画素数として算出する。更に、筆跡長は、図７に示すように、連結領域７０を細線化して、幅が１画素の線として変換した連結領域細線化データ７６における構成画素数として算出する。

重心算出部４４及び特徴量算出部４６は、比較対象となる修正前画像８０と修正後画像９０から、連結領域抽出部４２によって抽出された連結領域（特徴領域）の各々について、重心位置と、上記大きさ、画素数、筆跡長等が含まれた特徴量情報とを算出し、一例として図８に示されるように、修正前画像８０に対応する特徴領域情報５０Ａと、修正後画像９０に対応する特徴領域情報５０Ｂとして整理する。同図に示されるように、修正前画像８０と修正後画像９０の各々から抽出された各連結領域について唯一無二のＩＤ（Identification）が付与され、当該ＩＤによって対応付けられるように、各連結領域の重心位置と、特徴量、すなわち、大きさ、画素数、筆跡長の各情報が特徴領域情報としてハードディスク２０Ｄ等の記憶手段により記録される。

ところで、本実施の形態に係る対応付部２２Ｃ（図４参照。）は、前述したように、修正前画像及び修正後画像の間で、特徴領域抽出部２２Ａ，２２Ｂから出力された特徴領域情報により示される特徴量の類似度が所定度合以上である特徴領域の対を特定し、特定した特徴領域の対を対応付ける特定特徴領域情報を作成する。

ここで、対応付部２２Ｃでは、一例として、特徴領域抽出部２２Ａによって記録された特徴領域情報５０Ａと特徴領域抽出部２２Ｂによって記録された特徴領域情報５０Ｂを入力し、両特徴領域情報に記録された情報に基づくパターン・マッチング処理を行い、この結果に基づいて特定特徴領域情報を作成する。

なお、本実施の形態に係る対応付部２２Ｃでは、修正前画像及び修正後画像の何れか一方の画像から抽出した特徴領域の重心位置から予め定められた距離内に重心位置が位置する他方の画像の特徴領域を、各特徴領域情報における重心位置に基づいて特定することにより、類似度が所定度合以上である特徴領域の候補となる特徴領域を絞り込み、絞り込んだ特徴領域のみを対象として、各特徴領域情報における特徴量（大きさ、画素数、筆跡長）の少なくとも１つの情報の類似度を算出し、当該類似度が所定度合以上となる特徴領域の対を示す情報を特定特徴領域情報として作成する。なお、本実施の形態では、上記類似度として、適用した特徴量間の距離（一例として、ユークリッド距離）の逆数を適用しているが、これに限らず、修正前画像及び修正後画像の各特徴領域情報により示される特徴量の類似の度合を示すものであれば如何なるものも適用できることは言うまでもない。

図９には、本実施の形態に係る特定特徴領域情報のデータ構造の一例が模式的に示されている。同図に示されるように、本実施の形態に係る対応付部２２Ｃでは、類似度が所定度合以上となった修正前画像及び修正後画像の各特徴領域に付与されたＩＤが対応付けられたものとして特定特徴領域情報を作成する。

なお、以上のように構成された画像処理装置２０の各構成要素（第１位置合わせ部２２、修正検出部２４、修正領域選択部２９）による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現することができる。この場合、当該プログラムに本発明の画像処理プログラムが含まれることになる。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現することもできることは言うまでもない。

以下では、本実施の形態に係る画像処理システム１０が、上記プログラム（以下、「画像処理プログラム」という。）を実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。この場合、当該画像処理プログラムを画像処理装置２０に予めインストールしておく形態や、コンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用することができる。

次に、図１０を参照して、本実施の形態に係る画像処理システム１０の作用を説明する。なお、図１０は、画像処理装置２０のＣＰＵ２０Ａにより実行される画像処理プログラムの処理の流れを示すフローチャートである。また、ここでは、錯綜を回避するために、処理対象とする修正前画像データ及び修正後画像データが同一サイズの原稿画像を示すものとして画像読取装置３０から入力され、ハードディスク２０Ｄの所定領域に予め記憶されている場合について説明する。

同図のステップ１００では、処理対象とする修正前画像データ及び修正後画像データをハードディスク２０Ｄから読み出すことにより取得し、次のステップ１０２では、前述した特徴領域抽出部２２Ａ，２２Ｂによる処理と同様の処理によって修正前画像及び修正後画像に対応する特徴領域情報（図８も参照。）を導出し、記録する。例えば、修正前画像８０及び修正後画像９０が図１２に示されるものである場合、本ステップ１０２の処理では、図１３（Ａ）に示される特徴領域（本実施の形態では、連結領域）に関する特徴領域情報が修正前画像と修正後画像の各画像別に導出されることになる。

次のステップ１０４では、導出した特徴領域情報に基づいて、前述した対応付部２２Ｃによる処理と同様の処理により特定特徴領域情報を作成する。本ステップ１０４の処理により、一例として図１３（Ｂ）に示される特徴領域が対応付けられた特定特徴領域情報（図９も参照。）が作成されることになる。

次のステップ１０６では、作成した特定特徴領域情報に基づいて、前述した補正パラメータ算出部２２Ｄによる処理と同様の処理により、修正前画像及び修正後画像の全体的なずれをなくすための補正係数を算出し、次のステップ１０８では、算出した補正係数を用いて、前述した画像変換部２２Ｅによる処理と同様の処理により修正前画像及び修正後画像の全体的な位置合わせを行うための画像変換処理（本実施の形態では、アフィン変換処理）を実行し、更に、次のステップ１１０では、前述した修正領域選択部２９による処理と同様の処理により、上記ステップ１０２による特徴領域情報の導出過程において抽出された特徴領域のうち、修正が行われた特徴領域である修正領域を選択し、選択した特徴領域（修正領域）を示す修正領域情報を作成する。なお、上記ステップ１０８では、画像変換処理を実行した画像データ（ここでは、修正後画像データ）に対応する特徴領域情報を、当該画像変換処理後の画像に応じた値に変換する処理も実行することが好ましい。

本ステップ１１０の処理において、当該修正領域の選択を、特徴領域抽出部２２Ａによって抽出された修正前画像の特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない領域を修正領域（修正領域ａ）として選択することにより行う際には、一例として図１３（Ｃ）に示される特徴領域を示す修正領域情報が作成され、上記修正領域の選択を、特徴領域抽出部２２Ｂによって抽出された修正後画像の特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない領域を修正領域（修正領域ｂ）として選択することにより行う際には、一例として図１３（Ｄ）に示される特徴領域を示す修正領域情報が作成されることになる。

次のステップ１１２では、修正前画像の幅（ここでは、当該画像の水平方向の画素数）で、かつ修正前画像の高さ（ここでは、当該画像の垂直方向の画素数）の白色画像を示す画像データ（以下、「白色画像データ」という。）を作成し、次のステップ１１４では、修正検出部２４の処理として、上記修正領域情報により示される修正領域に対応する修正前画像データ及び修正後画像データに基づいて、修正画像を検出する修正画像検出処理ルーチン・プログラムを実行する。

以下、図１１を参照して、修正画像検出処理ルーチン・プログラムについて説明する。

同図のステップ２００では、一例として次に示すように、上記ステップ１１０の処理によって作成した修正領域情報により示される修正領域ａ及び修正領域ｂの全ての領域の範囲を示す座標（以下、「修正領域座標」という。）を導出する。

まず、各修正領域に対応する重心位置及び大きさの各情報を特徴領域情報から取得する。

次に、取得した重心位置情報により示される重心位置を中心とする、取得した大きさ情報により示される幅Ｌ及び高さＨを有する矩形領域の角点（本実施の形態では、左上角点及び右下角点）の位置座標を上記修正領域座標として各修正領域毎に算出する。

次のステップ２０２では、上記ステップ２００の処理によって導出した修正領域毎の修正領域座標に基づいて、修正領域ａに含まれる修正領域と修正領域ｂに含まれる修正領域とで重なり合う領域が存在するか否かを判定し、否定判定となった場合は後述するステップ２２０に移行する一方、肯定判定となった場合にはステップ２０４に移行する。

ステップ２０４では、修正前画像データ及び修正後画像データ（上記ステップ１０８の処理によって画像変換処理が実行されたもの）における、上記ステップ２０２の処理によって重なり合う領域であるものと判定された修正領域のうちの何れか１組の領域（以下、「処理対象領域」という。）を対象として、修正前画像と修正後画像の位置合わせを行う画像変換処理を、前述した第２位置合わせ部２４Ｂによる処理と同様に実行する。

なお、ここで処理対象領域とされている１組の修正領域のサイズが必ずしも一致するとは限らない。例えば、修正領域ａが図１３（Ｃ）に示されるものであり、修正領域ｂが図１３（Ｄ）に示されるものである場合、修正領域ａに含まれる修正領域である「さ」と、修正領域ｂに含まれる修正領域である、バツ（‘×’）が追記された「さしすせ」とでは、各修正領域のサイズは異なる。この場合、本実施の形態に係る修正画像検出処理ルーチン・プログラムでは、サイズが小さい方の修正領域の外接矩形内の領域のみを対象として上記画像変換処理を行うようにする。

次のステップ２０６では、処理対象領域とされている１組の修正領域で、かつ上記ステップ２０４の処理によって画像変換処理が実行された領域に対応する修正前画像データ及び修正後画像データに対して、前述した前処理部４０と同様に単色化処理及び二値化処理を実行し、次のステップ２０８にて、二値化処理が施された修正前画像データの黒画素数（以下、「修正前黒画素数」という。）が、二値化処理が施された修正後画像データの黒画素数（以下、「修正後黒画素数」という。）より少ないか否かを判定し、肯定判定となった場合は、処理対象領域が修正前原稿に予め存在した画像に対して重ねて追記された領域である「重なりあり追記領域」であるものと見なしてステップ２１０に移行する。

ステップ２１０では、上記ステップ２０４の処理によって画像変換処理が施された修正前画像及び修正後画像の各画像データを用いて、重なりあり追記領域に対応して予め定められた第１修正画像検出処理を実行し、その後にステップ２１６に移行する。

なお、本実施の形態に係る修正画像検出処理ルーチン・プログラムでは、上記第１修正画像検出処理として、上記ステップ２０４の処理によって画像変換処理が施された領域に対応する修正前画像データに対して、当該修正前画像データにより示される画像に対する予め定められたドット数（一例として、１ドット）の画像膨張処理を施した後、当該修正後画像データから、上記ステップ２０４の処理によって画像変換処理が施された領域に対応する修正前画像データを、対応する画素毎で、かつＲ，Ｇ，Ｂの各々別に減算する処理を適用しているが、これに限らず、例えば、上記画像膨張処理を行わずに当該減算を行う処理を適用する形態や、上記ステップ２０６の処理によって二値化された修正後画像データから修正前画像データを、対応する画素毎で、かつＲ，Ｇ，Ｂの各々別に減算する処理を適用する形態等の、他の従来既知の追記画像検出処理を適用する形態とすることもできる。

一方、上記ステップ２０８において否定判定となった場合はステップ２１２に移行し、修正前黒画素数が、修正後黒画素数より多いか否かを判定して、否定判定となった場合は後述するステップ２１８に移行する一方、肯定判定となった場合は、処理対象領域が修正前原稿に予め存在した画像の一部が消去された領域である「一部消去領域」であるものと見なしてステップ２１４に移行する。

ステップ２１４では、上記ステップ２０４の処理によって画像変換処理が施された修正前画像及び修正後画像の各画像データを用いて、一部消去領域に対応して予め定められた第２修正画像検出処理を実行し、その後にステップ２１６に移行する。

なお、本実施の形態に係る修正画像検出処理ルーチン・プログラムでは、上記第２修正画像検出処理として、上記ステップ２０４の処理によって画像変換処理が施された領域に対応する修正後画像データに対して、当該修正後画像データにより示される画像に対する予め定められたドット数（一例として、１ドット）の画像膨張処理を施した後、当該修正前画像データから、上記ステップ２０４の処理によって画像変換処理が施された領域に対応する修正後画像データを、対応する画素毎で、かつＲ，Ｇ，Ｂの各々別に減算する処理を適用しているが、これに限らず、例えば、上記画像膨張処理を行わずに当該減算を行う処理を適用する形態や、上記ステップ２０６の処理によって二値化された修正前画像データから修正後画像データを、対応する画素毎で、かつＲ，Ｇ，Ｂの各々別に減算する処理を適用する形態等の、他の従来既知の消去画像検出処理を適用する形態とすることもできる。

ステップ２１６では、上記ステップ２１０又はステップ２１４の処理によって得られた画像データを、上記ステップ１１２の処理によって作成した白色画像データに対して重畳（上書き）することにより、検出した修正画像又は消去画像を合成し、次のステップ２１８では、上記ステップ２０２の処理によって重なり合う領域であるものと判定された全ての修正領域について上記ステップ２０４〜ステップ２１６の処理が終了したか否かを判定し、否定判定となった場合は上記ステップ２０４に戻り、当該ステップ２０４以降の処理を再び実行する一方、肯定判定となった場合にはステップ２２０に移行する。なお、上記ステップ２０４〜ステップ２１８の処理を繰り返し実行する際には、それまでに処理対象としなかった重なり合う修正領域を処理対象領域として適用するようにする。

ステップ２２０では、上記ステップ２００の処理によって導出した修正領域毎の修正領域座標に基づいて、修正領域ａに含まれる修正領域で、修正領域ｂに含まれる何れの修正領域にも重ならない領域が存在するか否かを判定し、肯定判定となった場合は、処理対象領域が修正前原稿に予め存在した画像が消去された領域である「消去領域」であるものと見なしてステップ２２２に移行し、修正前画像データを用いて、消去領域に対応して予め定められた第３修正画像検出処理を実行し、その後にステップ２２４に移行する。なお、本実施の形態に係る修正画像検出処理ルーチン・プログラムでは、上記第３修正画像検出処理として、修正前画像データから上記消去領域に対応する画像データを抽出する処理を適用している。

ステップ２２４では、上記ステップ２２２の処理によって得られた画像データを、上記白色画像データに対して重畳（上書き）することにより、検出した修正画像（消去された画像）を合成し、その後にステップ２２６に移行する。なお、上記ステップ２２０において否定判定となった場合には、上記ステップ２２２及びステップ２２４の処理を実行することなくステップ２２６に移行する。

ステップ２２６では、上記ステップ２００の処理によって導出した修正領域毎の修正領域座標に基づいて、修正領域ｂに含まれる修正領域で、修正領域ａに含まれる何れの修正領域にも重ならない領域が存在するか否かを判定し、肯定判定となった場合は、処理対象領域が修正前原稿において画像が存在せず、かつ追記された領域である「重なりなし追記領域」であるものと見なしてステップ２２８に移行し、修正後画像データを用いて、重なりなし追記領域に対応して予め定められた第４修正画像検出処理を実行し、その後にステップ２３０に移行する。なお、本実施の形態に係る修正画像検出処理ルーチン・プログラムでは、上記第４修正画像検出処理として、修正後画像データから上記重なりなし追記領域に対応する画像データを抽出する処理を適用している。

ステップ２３０では、上記ステップ２２８の処理によって得られた画像データを、上記白色画像データに対して重畳（上書き）することにより、検出した修正画像（追記された画像）を合成し、その後に本修正画像検出処理ルーチン・プログラムを終了する。なお、上記ステップ２２６において否定判定となった場合には、上記ステップ２２８及びステップ２３０の処理を実行することなく本修正画像検出処理ルーチン・プログラムを終了する。図１３（Ｅ）には、重なりあり追記領域、一部消去領域、消去領域、及び重なりなし追記領域の条件及び画像例が、図１３（Ｆ）には、上記第１〜第４修正画像検出処理による修正画像の検出手法が、各々纏めて記されている。

修正画像検出処理ルーチン・プログラムが終了すると、画像処理プログラム（図１０参照。）のステップ１１６に移行し、以上の処理によって修正画像が重畳された白色画像データを用いて修正画像を出力し、その後に本画像処理プログラムを終了する。なお、本実施の形態に係る画像処理プログラムでは、上記ステップ１１６による修正画像を出力する処理として、ディスプレイ２０Ｆによる表示による出力、及び図示しないプリンタ（所謂画像形成装置）による印刷による出力の双方を適用しているが、これに限定されるものではなく、これらの何れか一方の出力を行う形態や、音声合成装置により音声によって出力する形態等、他の出力形態を適用することができることは言うまでもない。また、本実施の形態に係る画像処理プログラムでは、白色画像データに対して修正画像を重畳することにより、検出した修正画像を記録する場合について説明したが、これに限定されるものではなく、検出した修正画像の位置を示す座標を記録する形態等、修正画像を特定することのできる情報を記録する他の形態とすることができることも言うまでもない。更に、追記画像と消去画像とで色を変える等、追記画像と消去画像が区別できる状態で出力する形態とすることもできる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合せにより種々の発明を抽出できる。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

例えば、上記実施の形態では、画像処理をソフトウェア構成によって実現した場合について説明したが、本発明はこれに限定されるものではなく、例えば、当該画像処理をハードウェア構成により実現する形態とすることもできる。この場合の形態例としては、例えば、図３に示した画像処理装置２０の各構成要素（第１位置合わせ部２２、修正検出部２４、修正領域選択部２９）と同一の処理を実行する機能デバイスを作成して用いる形態が例示できる。この場合は、上記実施の形態に比較して、画像処理の高速化が期待できる。

また、上記実施の形態では、修正画像検出処理ルーチン・プログラムのステップ２０４〜ステップ２１８の繰り返し処理において修正領域ａ及び修正領域ｂの互いに重なり合う修正領域を１組ずつ処理する場合について説明したが、本発明はこれに限定されるものではなく、例えば、修正領域ａに含まれる複数の修正領域が修正領域ｂに含まれる修正領域の何れか１つに重なる場合や、修正領域ｂに含まれる複数の修正領域が修正領域ａに含まれる修正領域の何れか１つに重なる場合には、当該複数の修正領域を纏めて１つの修正領域として上記ステップ２０４〜ステップ２１８の処理を実行する形態とすることもできる。この場合も、上記実施の形態に比較して、画像処理の高速化が期待できる。

その他、上記実施の形態で説明した画像処理システム１０や画像処理装置２０の構成（図１〜図５参照。）は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりすることができることは言うまでもない。

また、上記実施の形態で説明した各種情報のデータ構造（図８，図９参照。）も一例であり、本発明の主旨を逸脱しない範囲内において変更を加えることができることは言うまでもない。

更に、上記実施の形態で説明した画像処理プログラム及び修正画像検出処理ルーチン・プログラムの処理の流れ（図１０，図１１参照。）も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりすることができることは言うまでもない。

実施の形態に係る画像処理システムの構成を示すブロック図である。 実施の形態に係る画像処理装置の電気系の要部構成を示すブロック図である。 実施の形態に係る画像処理装置の機能的な構成を示す機能ブロック図である。 実施の形態に係る画像処理装置の機能的な構成のうち、第１位置合わせ部の構成を示すブロック図である。 実施の形態に係る画像処理装置の機能的な構成のうち、特徴領域抽出部の構成を示すブロック図である。 実施の形態に係る連結領域（特徴領域）の説明に供する図である。 実施の形態に係る連結領域から求められる重心及び特徴量の各情報の説明に供する図である。 実施の形態に係る特徴領域情報のデータ構造を示す模式図である。 実施の形態に係る特定特徴領域情報のデータ構造を示す模式図である。 実施の形態に係る画像処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係る修正画像検出処理ルーチン・プログラムの処理の流れを示すフローチャートである。 実施の形態に係る画像処理プログラム及び修正画像検出処理ルーチン・プログラムの処理内容の説明に供する図であり、修正前画像及び修正後画像の一例を示す正面図である。 実施の形態に係る画像処理プログラム及び修正画像検出処理ルーチン・プログラムの処理内容の説明に供する他の図である。

符号の説明

１０ 画像処理システム
２０ 画像処理装置
２０Ａ ＣＰＵ
２０Ｄ ハードディスク
２０Ｆ ディスプレイ
２２ 第１位置合わせ部
２２Ａ 特徴領域抽出部
２２Ｂ 特徴領域抽出部
２２Ｃ 対応付部（特定手段）
２２Ｄ 補正パラメータ算出部（算出手段）
２２Ｅ 画像変換部（事前位置合わせ手段）
２４ 修正検出部（検出手段）
２４Ａ 修正領域判断部（判断手段）
２４Ｂ 第２位置合わせ部（位置合わせ手段）
２８ 記憶部
２９ 修正領域選択部（選択手段）
３０ 画像読取装置（取得手段）
４０ 前処理部
４２ 連結領域抽出部（抽出手段）
４４ 重心算出部（導出手段）
４６ 特徴量算出部（導出手段）

Claims (11)

1. 修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得手段と、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出手段と、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出手段と、
   前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定手段と、
   前記抽出手段によって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出手段によって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択手段と、
   前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域と前記第２特徴領域とで互いに重なる領域を重なり領域として、前記第１特徴領域における重なり領域内の画像の黒画素数が前記第２特徴領域における重なり領域内の画像の黒画素数に比較して少ない場合に、当該重なり領域が前記第１原稿に予め存在した画像に対して重ねて追記された重なりあり追記領域であると判断する判断手段と、
   前記判断手段によって前記重なりあり追記領域であると判断された領域を対象として前記第２画像情報から前記第１画像情報の減算を画素毎に行うことにより前記追記された画像を検出する検出手段と、
   を備えた画像処理装置。
2. 修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得手段と、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出手段と、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出手段と、
   前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定手段と、
   前記抽出手段によって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出手段によって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択手段と、
   前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域と前記第２特徴領域とで互いに重なる領域を重なり領域として、前記第１特徴領域における重なり領域内の画像の黒画素数が前記第２特徴領域における重なり領域内の画像の黒画素数に比較して多い場合に、当該重なり領域が前記第１原稿に予め存在した画像の一部が消去された一部消去領域であると判断する判断手段と、
   前記判断手段によって前記一部消去領域であると判断された領域を対象として前記第１画像情報から前記第２画像情報の減算を画素毎に行うことにより前記一部が消去された画像を検出する検出手段と、
   を備えた画像処理装置。
3. 修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得手段と、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出手段と、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出手段と、
   前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定手段と、
   前記抽出手段によって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出手段によって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択手段と、
   前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域に含まれ、かつ互いに重なる領域が前記第２特徴領域に存在しない領域を、前記第１原稿に予め存在した画像が消去された消去領域であると判断する判断手段と、
   前記判断手段によって前記消去領域であると判断された領域内の情報を前記第１画像情報から抽出することにより前記消去された画像を検出する検出手段と、
   を備えた画像処理装置。
4. 修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得手段と、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出手段と、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出手段と、
   前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定手段と、
   前記抽出手段によって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出手段によって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定手段によって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択手段と、
   前記第１特徴領域及び前記第２特徴領域に基づいて、前記第２特徴領域に含まれ、かつ互いに重なる領域が前記第１特徴領域に存在しない領域を、前記第１原稿において画像が存在せず、かつ追記された重なりなし追記領域であると判断する判断手段と、
   前記判断手段によって前記重なりなし追記領域であると判断された領域内の情報を前記第２画像情報から抽出することにより前記追記された画像を検出する検出手段と、
   を備えた画像処理装置。
5. 前記第１特徴領域と前記第２特徴領域とで互いに重なる領域のみを対象として前記第１画像情報及び前記第２画像情報の少なくとも一方に対して画像の位置合わせ処理を実行する位置合わせ手段
   を更に備えた請求項１乃至請求項４の何れか１項記載の画像処理装置。
6. 前記位置合わせ手段による位置合わせ処理に先立ち、前記第１画像情報及び前記第２画像情報の少なくとも一方に対して前記第１原稿の画像と前記第２原稿の画像の画像全体における位置合わせ処理を実行する事前位置合わせ手段
   を更に備えた請求項５記載の画像処理装置。
7. 前記第１原稿の画像と前記第２原稿の画像における対応する前記特徴領域のずれ量に基づいて補正係数を算出する算出手段を更に備え、
   前記事前位置合わせ手段は、前記位置合わせ処理として前記補正係数を用いた前記第１画像情報及び前記第２画像情報の少なくとも一方に対する補正処理を実行する
   請求項６記載の画像処理装置。
8. 修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得ステップと、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出ステップと、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出ステップと、
   前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定ステップと、
   前記抽出ステップによって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出ステップによって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択ステップと、
   前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域と前記第２特徴領域とで互いに重なる領域を重なり領域として、前記第１特徴領域における重なり領域内の画像の黒画素数が前記第２特徴領域における重なり領域内の画像の黒画素数に比較して少ない場合に、当該重なり領域が前記第１原稿に予め存在した画像に対して重ねて追記された重なりあり追記領域であると判断する判断ステップと、
   前記判断ステップによって前記重なりあり追記領域であると判断された領域を対象として前記第２画像情報から前記第１画像情報の減算を画素毎に行うことにより前記追記された画像を検出する検出ステップと、
   をコンピュータに実行させる画像処理プログラム。
9. 修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得ステップと、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出ステップと、
   ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出ステップと、
   前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定ステップと、
   前記抽出ステップによって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出ステップによって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択ステップと、
   前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域と前記第２特徴領域とで互いに重なる領域を重なり領域として、前記第１特徴領域における重なり領域内の画像の黒画素数が前記第２特徴領域における重なり領域内の画像の黒画素数に比較して多い場合に、当該重なり領域が前記第１原稿に予め存在した画像の一部が消去された一部消去領域であると判断する判断ステップと、
   前記判断ステップによって前記一部消去領域であると判断された領域を対象として前記第１画像情報から前記第２画像情報の減算を画素毎に行うことにより前記一部が消去された画像を検出する検出ステップと、
   をコンピュータに実行させる画像処理プログラム。
10. 修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得ステップと、
    ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出ステップと、
    ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出ステップと、
    前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定ステップと、
    前記抽出ステップによって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出ステップによって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択ステップと、
    前記第１特徴領域及び前記第２特徴領域に基づいて、前記第１特徴領域に含まれ、かつ互いに重なる領域が前記第２特徴領域に存在しない領域を、前記第１原稿に予め存在した画像が消去された消去領域であると判断する判断ステップと、
    前記判断ステップによって前記消去領域であると判断された領域内の情報を前記第１画像情報から抽出することにより前記消去された画像を検出する検出ステップと、
    をコンピュータに実行させる画像処理プログラム。
11. 修正が行われる前の原稿である第１原稿の画像を示す第１画像情報、及び修正が行われた後の前記原稿である第２原稿の画像を示す第２画像情報を取得する取得ステップと、
    ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における黒又は白の連結画像の領域である特徴領域を抽出する抽出ステップと、
    ２値化された前記第１画像情報及び２値化された前記第２画像情報に基づいて、前記第１原稿の画像及び前記第２原稿の画像における前記特徴領域から当該特徴領域の位置を示す位置情報を導出すると共に、当該特徴領域の大きさ、画素数、および筆跡長の少なくとも１つの特徴量を導出する導出ステップと、
    前記位置情報によって示される、前記第１原稿の画像から抽出された特徴領域の位置と前記第２原稿の画像から抽出された特徴領域の位置との間の距離が所定距離以内である特徴領域を対象として、前記第１原稿の画像及び前記第２原稿の画像の間で前記特徴量の類似度が所定度合以上である前記特徴領域を特定する特定ステップと、
    前記抽出ステップによって前記第１原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第１特徴領域、及び前記抽出ステップによって前記第２原稿の画像から抽出された特徴領域で、かつ前記特定ステップによって特定された特徴領域に含まれない特徴領域である第２特徴領域を前記修正が行われた領域である修正領域として選択する選択ステップと、
    前記第１特徴領域及び前記第２特徴領域に基づいて、前記第２特徴領域に含まれ、かつ互いに重なる領域が前記第１特徴領域に存在しない領域を、前記第１原稿において画像が存在せず、かつ追記された重なりなし追記領域であると判断する判断ステップと、
    前記判断ステップによって前記重なりなし追記領域であると判断された領域内の情報を前記第２画像情報から抽出することにより前記追記された画像を検出する検出ステップと、
    をコンピュータに実行させる画像処理プログラム。

Images