JP5298831B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

図面等の画像が更新されると、旧版の画像と新版の画像とを比較して画像の差分を抽出することがある。例えば、下記の特許文献１には、旧版画像と新版画像のそれぞれのベクタ情報を比較して差分を抽出する技術が記載されている。

ただし比較対象の２つの画像の画像情報を単純に比較すると、両者間で単にレイアウトの変更のみがあったに過ぎなくとも、レイアウトの変更ではなく画像内容の差分として認識されてしまう。
特開平５−８９１９０号公報

本発明の目的の一つは、比較する画像同士の差分をレイアウトの変更を考慮して抽出できる画像処理装置及びプログラムを提供することにある。

上記目的を達成するために、請求項１に記載の画像処理装置の発明は、第１の画像と第２の画像を取得する取得手段と、前記第１の画像に含まれる１又は複数の画像領域を特定する特定手段と、前記特定手段により特定された画像領域毎に前記第２の画像の中から対応する画像領域を検索する検索手段と、前記特定手段により特定された画像領域毎に前記検索手段により検索された画像領域との差分を抽出する差分抽出手段と、を含むことを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記特定手段により特定される画像領域毎の特徴情報を生成する生成手段をさらに含み、前記特定手段は、前記第２の画像に含まれる１又は複数の画像領域をさらに特定し、前記検索手段は、前記第１の画像に含まれる画像領域毎に、当該画像領域と特徴情報が類似する画像領域を前記第２の画像に含まれる１又は複数の画像領域の中から検索することを特徴とする。

また、請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記検索手段は、前記第１の画像に含まれる画像領域毎に、当該画像領域と特徴情報が類似する画像領域を前記第２の画像に含まれる１又は複数の画像領域の中から検索する第１検索手段と、前記第１の画像に含まれる画像領域毎に、当該画像領域のパターンと類似する画像領域を前記第２の画像の中から検索する第２検索手段と、を含み、前記第１の画像に含まれる画像領域毎に、当該画像領域の特徴情報に基づいて、前記第１検索手段と前記第２検索手段とのいずれにより検索するかを選択する選択手段をさらに含むことを特徴とする。

また、請求項４に記載の発明は、請求項１に記載の画像処理装置において、前記検索手段は、前記第１の画像に含まれる画像領域毎に、当該画像領域のパターンと類似する画像領域を前記第２の画像の中から検索することを特徴とする。

また、請求項５に記載の発明は、請求項１乃至４のいずれかに記載の画像処理装置において、前記差分抽出手段は、前記第１の画像に含まれる画像領域毎に、当該画像領域の前記第１の画像における位置情報と、当該画像領域について前記検索手段により検索された画像領域の前記第２の画像における位置情報との差分をさらに抽出することを特徴とする。

また、請求項６に記載の発明は、請求項１乃至５のいずれかに記載の画像処理装置において、前記差分抽出手段は、前記検索手段により対応する画像領域が検索されなかった画像領域を差分として抽出することを特徴とする。

また、請求項７に記載の発明は、請求項１乃至６のいずれかに記載の画像処理装置において、前記差分抽出手段により抽出された差分を表示する差分表示画像を生成する手段をさらに含むことを特徴とする。

また、請求項８に記載の発明は、請求項１乃至７のいずれかに記載の画像処理装置において、前記特定手段は、前記第１の画像を二値化した画像に含まれる連結画素に基づいて、前記第１の画像に含まれる１又は複数の画像領域を特定することを特徴とする。

また、請求項９に記載のプログラムの発明は、第１の画像と第２の画像を取得する取得手段と、前記第１の画像に含まれる１又は複数の画像領域を特定する特定手段と、前記特定手段により特定された画像領域毎に前記第２の画像の中から対応する画像領域を検索する検索手段と、前記特定手段により特定された画像領域毎に前記検索手段により検索された画像領域との差分を抽出する差分抽出手段としてコンピュータを機能させることを特徴とする。

請求項１及び９に記載の発明によれば、比較する画像同士の差分をレイアウトの変更を考慮して抽出できる。

請求項２に記載の発明によれば、画像領域毎に生成した特徴情報を用いて第１の画像の画像領域に対応する第２の画像の画像領域を検索できる。

請求項３に記載の発明によれば、画像領域の特徴に応じて特徴情報を用いる手法とパターン照合を用いる手法とを切り替えて検索精度を向上できる。

請求項４に記載の発明によれば、パターンマッチングにより第１の画像の画像領域と対応する第２の画像の画像領域を検索できる。

請求項５に記載の発明によれば、第１の画像と第２の画像との差分を画像内容の変更とレイアウトの変更とを区別して抽出できる。

請求項６に記載の発明によれば、対応付けられる画像領域が検索されなかった画像領域を差分として抽出できる。

請求項７に記載の発明によれば、第１画像と第２画像との差分を利用者に分かり易く提示できる。

請求項８に記載の発明によれば、ビットマップ形式の画像に対しても比較する画像同士の差分をレイアウトの変更を考慮して抽出できる。

以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。

図１には、本実施形態に係る画像処理装置１０の機能ブロック図を示す。図１に示されるように、画像処理装置１０は、記憶部１２、画像取得部１４、画像領域特定部１６、特徴ベクトル生成部１８、画像領域検索部２０、処理選択部２２、差分抽出部２４、及び差分表示画像生成部２６を含む。上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によってコンピュータたる画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信ネットワークを介して供給されることとしてもよい。

記憶部１２は、メモリや磁気ディスク装置等の記憶装置を含み構成され、データやプログラムを記憶する他、後述する各部における処理の作業用メモリとしても用いられる。

画像取得部１４は、比較対象の複数の画像を取得するものであり、画像取得部１４は、紙文書をスキャンして画像を取得してもよいし、外部の装置（スキャナやデジタルカメラ等）からデータ入力を受けて画像を取得することとしてもよい。テキストファイルやアプリケーションソフトにより作成された電子文書を受けて、ビットマップ形式あるいはビットマップ形式に変換可能な形式に変換して画像を取得してもよい。なお、比較対象の画像がスキャナにより取得された画像やデジタルカメラにより取得された画像である場合には、画像取得部１４は各画像についての傾きや位置を合わせる補正処理を行うこととしてよい。

本実施形態では、比較対象の画像はテキストや図形や写真等のイメージを含む文書画像とし、画像取得部１４は、文書画像について改版前の旧版画像と改版後の新版画像の各々の画像データを取得することとする。

図２Ａには、旧版画像の一例を示し、図２Ｂには、新版画像の一例を示す。図２Ａ及び図２Ｂに示されるように、新版画像では旧版画像に対して画像領域ｄが追加されていると共に、画像領域ａについてはレイアウトの位置が変更されている。本実施形態に係る画像処理装置１０では、比較対象の画像間の差分がレイアウトの変更であるか否かを判断し、その判断結果を踏まえた上で両画像間の差分情報を生成して利用者に提示する処理を行う。以下、上記処理を行うために画像処理装置１０に備えられた具体的構成について説明する。

画像領域特定部１６は、画像取得部１４により取得された画像に含まれるテキストや図形等の画像要素毎に画像領域を特定するものである。具体的には、画像領域特定部１６は、画像取得部１４により取得された処理対象の画像を二値化し、二値化により得た二値化画像における連結画素毎の外接矩形領域を、当該処理対象の画像に含まれる各画像要素の画像領域として特定する。画像領域特定部１６は、画像取得部１４により取得された画像情報の形式がビットマップでない場合には、画像をビットマップの形式に変換してから上記の処理を行うこととしてよい。そして、画像領域特定部１６は、上記特定した各画像領域を処理対象の画像における座標情報と関連づけて記憶部１２に記憶する。

特徴ベクトル生成部１８は、画像領域特定部１６により特定された各画像領域についての特徴ベクトルを生成するものである。本実施形態では、特徴ベクトル生成部１８は、特定された画像領域から複数の特徴量を抽出すると共に、当該抽出した各特徴量を要素として特徴ベクトルを生成する。画像領域から抽出する特徴量としては、例えば画像領域の中心（又は重心）の座標、画像領域の縦及び横のサイズ、画像領域に含まれる黒画素数、画像領域に含まれる線の長さ等を用いることとしてよい。特徴ベクトル生成部１８は、画像取得部１４により取得した旧版画像と新版画像のそれぞれについて特定された画像領域について特徴ベクトルを生成し、生成した特徴ベクトルを各画像領域に関連づけて記憶部１２に記憶する。

画像領域検索部２０は、比較対象とする２つの画像のうち一方（例えば新版画像）の画像領域に対応する他方（例えば旧版画像）の画像領域を検索するものである。例えば、画像領域検索部２０は、新版画像に含まれる画像領域のうち１つを選択し、当該選択した画像領域と同一又は類似の画像内容を有する画像領域を旧版画像の中から検索する。画像領域検索部２０は、上記検索により対応する画像領域が検索された場合には両者を関連づけて記憶部１２に記憶し、対応する画像領域が検索されなかった場合には該当する画像領域無しとして記憶部１２に記憶する。本実施形態では、画像領域検索部２０は、第１画像領域検索部２０Ａと第２画像領域検索部２０Ｂを含むこととし、第１画像領域検索部２０Ａと第２画像領域検索部２０Ｂのうち画像領域の特徴に応じて後述する処理選択部２２により選択された方を用いて画像領域を検索する。以下、第１画像領域検索部２０Ａと第２画像領域検索部２０Ｂの詳細について説明する。

第１画像領域検索部２０Ａは、画像領域の特徴ベクトルを用いて、対象とする画像領域に対応する画像領域を検索するものである。具体的には、第１画像領域検索部２０Ａは、新版画像に含まれる対象の画像領域の特徴ベクトルと、旧版画像に含まれる各画像領域の特徴ベクトルとのベクトル間距離をそれぞれ算出し、当該算出したベクトル間距離のうち最小のものに該当する画像領域を対応する画像領域として検索する。ただし、第１画像領域検索部２０Ａは、算出された最小のベクトル間距離が予め定められた閾値を上回る場合には、対応する画像領域無しと判断することとしてよい。

第２画像領域検索部２０Ｂは、パターンマッチングにより、対象とする画像領域に対応する画像領域を検索するものである。具体的には、第２画像領域検索部２０Ｂは、新版画像に含まれる対象の画像領域の画像データを抽出し、当該抽出した画像データと、上記画像領域と同じサイズの画像領域を旧版画像から位置を移動させながら順次切り出して得た画像データとを比較して、対象とする画像領域と最も類似する画像領域を特定する。ただし、第２画像領域検索部２０Ｂは、対象とする画像領域と上記特定した画像領域との類似度が予め定められた閾値を下回る場合、あるいは対象とする画像領域と上記特定した画像領域の特定の特徴量、例えば画像領域の中心（又は重心）の座標が予め定められた範囲から外れていた場合には、対応する画像領域無しと判断することとしてよい。

処理選択部２２は、対象とする画像領域の特徴に基づいて、当該対象とする画像領域と対応する画像領域を、第１画像領域検索部２０Ａにより検索するか、それとも第２画像領域検索部２０Ｂにより検索するかを選択するものである。具体的には、処理選択部２２は、対象とする画像領域の縦及び横のサイズを取得し、当該取得したサイズが予め定められた範囲内にあれば対象とする画像領域は文字を表していると判定して第１画像領域検索部２０Ａにより画像領域を検索することとし、上記予め定められた範囲よりも大きければ図形を表していると判定して第２画像領域検索部２０Ｂにより画像領域を検索することとする。なお、対象とする画像領域が上記予め定められた範囲よりも小さければノイズを表していると判定して、画像領域検索部２０による処理を行わないこととしてもよい。

上述したように、処理選択部２２により対象とする画像領域が図形と判定した場合に特徴ベクトルを用いた検索を選択するのは、図形であれば特徴ベクトルに画像領域の特徴が十分に反映されるため一意に特定しやすく高い検索精度が得られること、そして、特徴ベクトルを用いた検索の方がパターンマッチングを用いた検索よりも処理速度が高速なためである。一方で、処理選択部２２により対象とする画像領域が文字であると判定した場合にパターンマッチングを用いた検索を選択するのは、文字の画像特徴は類似することが多く特徴ベクトルに画像領域の特徴が十分反映されないことがある、あるいは類似した特徴ベクトルを持つ画像領域が狭い範囲に多数出現するので検索精度が低下することがあるためである。

差分抽出部２４は、画像取得部１４により取得された比較対象の画像（旧版画像と新版画像）の差分を抽出するものである。本実施形態では、差分抽出部２４は、新版画像に含まれる画像領域毎に、画像領域検索部２０により検索された画像領域があればその画像領域との差分を抽出し、検索された画像領域がなければその対応が検索されなかった画像領域を差分として抽出することとする。差分抽出部２４は、画像領域同士の差分を抽出する際に、画像領域の画像内容を比較して画像の差分データを抽出すると共に、各画像領域のそれぞれの画像における位置情報（レイアウト情報）を比較して位置情報の差分データを抽出する。差分抽出部２４は、抽出された差分データを画像領域に関連づけて記憶部１２に記憶することとしてよい。

差分表示画像生成部２６は、差分抽出部２４により抽出された差分データに基づいて、比較した画像の差分を表示する差分表示画像を生成するものである。以下、差分表示画像生成部２６により生成される、旧版画像に対する新版画像の差分として表示する差分表示画像の一例を示す。

図３Ａに示した差分表示画像の一例では、レイアウトの変更は差分として表示せずに各画像領域の画像内容が変更された点のみを差分として表示したものである。具体的には、画像領域ａについては旧版画像と新版画像とでレイアウトの変更があるがこの点は差分として表示せずに、新たに追加された画像領域ｄについてのみ差分として表示することとしている。なお、差分表示画像生成部２６は、上記内容の差分表示画像を生成する場合には、差分抽出部２４により抽出された画像の差分データに基づいて差分表示画像を生成することとしてよい。

図３Ｂに示した差分表示画像の一例では、レイアウトの変更と各画像領域の画像内容の変更とを共に差分として表示したものである。図３Ｂに示された差分表示画像では、画像領域ａについてのレイアウトの変更も差分として示されており、例えばレイアウトが変更された各画像領域を互いに異なる色で形成することによりレイアウトの変更を表示することとしてよい。なお、差分表示画像生成部２６は、上記内容の差分表示画像を生成する場合には、差分抽出部２４により抽出された画像の差分データと位置情報の差分データとに基づいて差分表示画像を生成することとしてよい。また、差分表示画像生成部２６は、比較する画像間で対応する画像領域同士の位置が予め定められた距離よりも離れた場合に、レイアウトの変更を差分として表示することとしても構わない。

次に、図４及び図５を参照しながら、画像処理装置１０により行われる処理の流れを説明する。

図４には、画像処理装置１０により行われる事前処理のフローチャートを示す。図４に示されるように、画像処理装置１０は、画像取得部１４により取得した比較対象とする旧版画像と新版画像のうち一方（例えば旧版画像）を事前処理の対象に設定し（Ｓ１０１）、当該事前処理の対象に設定した画像に含まれる１又は複数の画像領域を特定する（Ｓ１０２）。画像処理装置１０は、特定した各画像領域について、予め定められた１又は複数の特徴量を要素とする特徴ベクトルを生成し（Ｓ１０３）、画像領域毎に生成した特徴ベクトルを関連づけて記憶する（Ｓ１０４）。以上が画像処理装置１０により行われる事前処理である。

図５には、画像処理装置１０により行われる差分画像生成処理のフローチャートを示す。図５に示されるように、画像処理装置１０は、画像取得部１４により取得した旧版画像と新版画像のうち事前処理の対象ではない方（例えば新版画像）を処理対象に設定し（Ｓ２０１）、当該処理対象に設定した画像に含まれる１又は複数の画像領域を特定する（Ｓ２０２）。画像処理装置１０は、特定した画像領域の中から未処理の画像領域を選択し（Ｓ２０３）、当該選択した画像領域（以下選択画像領域とする）のサイズ等の特徴に基づいて選択画像領域が図形であるか否かを判断する（Ｓ２０４）。

画像処理装置１０は、選択画像領域が図形であると判断する場合には（Ｓ２０４：Ｙ）、選択画像領域について予め定められた１又は複数の特徴量を要素とする特徴ベクトルを生成し（Ｓ２０５）、生成した特徴ベクトルと、事前処理により予め生成しておいた特徴ベクトルの各々とのベクトル間距離に基づいて、検索対象の画像（例えば旧版画像）の中から選択画像領域に対応する画像領域を検索する（Ｓ２０６）。一方で、画像処理装置１０は、選択画像領域が図形でない、すなわち文字であると判断する場合には（Ｓ２０４：Ｎ）、選択画像領域を検索対象の画像の各部とパターンマッチングして、検索対象の画像の中から選択画像領域に対応する画像領域を検索する（Ｓ２０７）。

画像処理装置１０は、上記処理により選択画像領域に対応する画像領域が検索された場合には（Ｓ２０８：Ｙ）、両者の差分を抽出する（Ｓ２０９）。一方で、上記処理により選択画像領域に対応する画像領域が検索されなかった場合には（Ｓ２０８：Ｎ）、選択画像領域を差分として抽出する（Ｓ２１０）。次に画像処理装置１０は、未処理の画像領域があるか否かを判断し（Ｓ２１１）、あると判断する場合には（Ｓ２１１：Ｙ）Ｓ２０３に戻ってそれ以降の処理を繰り返し、ないと判断する場合には（Ｓ２１１：Ｎ）、それまでに抽出された差分情報に基づいて差分表示画像を生成して出力する（Ｓ２１２）。画像の出力はディスプレイへの表示としてもよいし、印刷出力としてもよい。

なお、本発明は上記の実施形態に限定されるものではない。例えば、上記の実施形態では、差分表示画像の生成処理時に、特定した画像領域毎に第１画像領域検索部２０Ａにより検索するのか、それとも第２画像領域検索部２０Ｂにより検索するのかを選択して切り替えているが、予め定めた一方により検索処理を行っても構わない。

また、上記の実施形態では、旧版画像を事前処理の対象とし、新版画像を差分画像生成処理の対象としているがこれを逆にしても構わないし、その場合に画像領域検索部２０により検索された画像領域を新版画像から引くことにより差分表示画像を生成することとしてもよい。

本実施形態に係る画像処理装置の機能ブロック図である。 旧版画像の一例を示す図である。 新版画像の一例を示す図である。 差分表示画像の一例を示す図である。 差分表示画像の一例を示す図である。 事前処理のフローチャートである。 差分画像生成処理のフローチャートである。

符号の説明

１０ 画像処理装置、１２ 記憶部、１４ 画像取得部、１６ 画像領域特定部、１８ 特徴ベクトル生成部、２０ 画像領域検索部、２２ 処理選択部、２４ 差分抽出部、２６ 差分表示画像生成部。

Claims (8)

1. 第１の画像と第２の画像を取得する取得手段と、
   前記第１の画像に含まれる１又は複数の画像領域を特定する特定手段と、
   前記特定手段により特定された画像領域毎に前記第２の画像に含まれる１又は複数の画像領域の中から対応する画像領域を検索する検索手段と、
   前記特定手段により特定された画像領域に対して前記検索手段により検索された画像領域のレイアウトの位置が変更されている場合にはレイアウトの位置が変更された各画像領域を互いに異なる色で形成する処理により差分表示画像を生成し、画像内容が変更されている場合には前記処理とは異なる処理により差分表示画像を生成する差分表示画像生成手段と、を含む
   ことを特徴とする画像処理装置。
2. 前記特定手段により特定される画像領域毎の特徴情報を生成する生成手段をさらに含み、
   前記特定手段は、前記第２の画像に含まれる１又は複数の画像領域をさらに特定し、
   前記検索手段は、前記第１の画像に含まれる画像領域毎に、当該画像領域と特徴情報が類似する画像領域を前記第２の画像に含まれる１又は複数の画像領域の中から検索する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記検索手段は、
   前記第１の画像に含まれる画像領域毎に、当該画像領域と特徴情報が類似する画像領域を前記第２の画像に含まれる１又は複数の画像領域の中から検索する第１検索手段と、
   前記第１の画像に含まれる画像領域毎に、当該画像領域のパターンと類似する画像領域を前記第２の画像の中から検索する第２検索手段と、を含み、
   前記第１の画像に含まれる画像領域毎に、当該画像領域の特徴情報に基づいて、前記第１検索手段と前記第２検索手段とのいずれにより検索するかを選択する選択手段をさらに含む
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記検索手段は、前記第１の画像に含まれる画像領域毎に、当該画像領域のパターンと類似する画像領域を前記第２の画像の中から検索する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の画像に含まれる画像領域毎に、当該画像領域の前記第１の画像における位置情報と、当該画像領域について前記検索手段により検索された画像領域の前記第２の画像における位置情報とに基づいてレイアウトの変更を判断する
   ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記差分表示画像生成手段は、前記検索手段により対応する画像領域が検索されなかった画像領域を差分表示画像とする
   ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記特定手段は、前記第１の画像を二値化した画像に含まれる連結画素に基づいて、前記第１の画像に含まれる１又は複数の画像領域を特定する
   ことを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 第１の画像と第２の画像を取得する取得手段と、
   前記第１の画像に含まれる１又は複数の画像領域を特定する特定手段と、
   前記特定手段により特定された画像領域毎に前記第２の画像に含まれる１又は複数の画像領域の中から対応する画像領域を検索する検索手段と、
   前記特定手段により特定された画像領域に対して前記検索手段により検索された画像領域のレイアウトの位置が変更されている場合にはレイアウトの位置が変更された各画像領域を互いに異なる色で形成する処理により差分表示画像を生成し、画像内容が変更されている場合には前記処理とは異なる処理により差分表示画像を生成する差分表示画像生成手段としてコンピュータを機能させるためのプログラム。

Images