JP6634466B2

JP6634466B2 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP6634466B2
Application number: JP2018074707A
Authority: JP
Inventors: 奈津美小口
Original assignee: 株式会社トヨタシステムズ
Priority date: 2018-04-09
Filing date: 2018-04-09
Publication date: 2020-01-22
Anticipated expiration: 2038-04-09
Also published as: JP2019185344A

Description

本発明は、時間の経過に応じて変化する変化要因を有する２つの画像を比較する場合に、適正な画像の差分を取得することができる画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、２つの画像の差分を差分画像として出力する技術が知られている。例えば、「ＯｐｅｎＣＶ（登録商標）」と呼ばれるオープンソースのコンピュータ・ビジョン・ライブラリの画像比較メソッドでは、画像サイズが同一である２つの画像間の比較を行うことにより、２つの画像間の差分となる画素に所定の画素値を付与した差分画像が出力される。

特開２００５−３２１８８０号公報

しかしながら、上記ＯｐｅｎＣＶの画像比較メソッドを用いて、アプリ画面等を異なるタイミングでキャプチャーした複数の画像を比較する場合に、実際に比較したい領域から外れた場所（例えば、ファイルパスやＵＲＬ等）で差分が抽出されてしまうという問題が生ずる。ファイルパスやＵＲＬ等は、時間の経過に応じて変化する場合があるためである。なお、かかるキャプチャーとは、ディスプレイ等の表示部に表示されている画像又は動画像を画像データとしてファイルに保存する周知技術である。加えて、複数の画像が若干ずれている場合に、差分が全体的に現れてしまい、比較結果としての意味を持たなくなるという問題もある。

このため、特許文献１を用いて、実際に比較したい領域から外れた場所を除外するように画像から所定領域を抽出し、これをテンプレート画像とマッチング処理して、相関値が最大となる領域を比較対象として特定し、特定した領域とテンプレート画像とを比較する方策が考えられる。しかし、この特許文献１のものは、画像から抽出された所定領域内に時間の経過に応じて変化する変化要因が含まれている場合に、思わぬ領域が比較対象として特定されてしまう可能性がある。ファイルパス、ＵＲＬ、広告、お勧めコンテンツ等の時間の経過に応じて変化する変化要因が実際に比較したい領域に含まれている場合には、本来の比較対象となるべき領域の相関値が低下してしまうためである。

このため、時間の経過に応じて変化する変化要因が画像に含まれている場合に、いかにして適正な画像の差分を取得するかが重要な課題となっている。

本発明は、上記の課題を解決するためになされたものであって、時間の経過に応じて変化する変化要因を有する複数の画像を比較する場合に、適正な画像の差分を取得することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記の課題を解決するため、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置であって、前記第１の画像に対して第１の領域を設定する設定手段と、前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段と、前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手段とを備え、前記領域特定手段は、前記マスク処理手段によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、前記差分画像生成手段は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する。

また、本発明は、上記の発明において、前記差分画像生成手段により抽出された差分画像と前記第１の画像内の前記第１の領域の部分画像とを重畳した重畳画像を生成する重畳画像生成手段をさらに備える。

また、本発明は、上記の発明において、前記第１の画像は、第１の時点で取得された画像であり、前記第２の画像は、前記第１の時点と異なる第２の時点で取得された前記第１の画像の比較対象となる画像である。

また、本発明は、上記の発明において、前記相関値は、前記第１の画像内の前記第１の領域の部分画像と、前記第１の領域がテンプレートとして適用された前記第２の画像内の部分画像との相互相関係数を０〜１の範囲に正規化された正規化相互相関係数である。

また、本発明は、上記の発明において、前記領域特定手段は、前記閾値を所定の値だけ下げつつ前記相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を繰り返し、前記閾値が所定の下限閾値に達した場合に処理を終了する。

また、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理システムであって、前記第１の画像に対して第１の領域を設定する設定手段と、前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段と、前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手段とを備え、前記領域特定手段は、前記マスク処理手段によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、前記差分画像生成手段は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する。

また、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置における画像処理方法であって、前記第１の画像に対して第１の領域を設定する設定工程と、前記設定工程により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定工程と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成工程と、前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理工程とを含み、前記領域特定工程は、前記マスク処理工程によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、前記差分画像生成工程は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する。

また、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置において実行する画像処理プログラムであって、前記第１の画像に対して第１の領域を設定する設定手順と、前記設定手順により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手順と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手順と、前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手順とを含み、前記領域特定手順は、前記マスク処理手順によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、前記差分画像生成手順は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する処理をコンピュータに実行させる。

本発明によれば、時間の経過に応じて変化する変化要因を有する複数の画像を比較する場合に、適正な画像の差分を出力することが可能となる。特に、複数の画像の比較したい領域以外に差分がある場合や複数の画像にずれが存在する場合であっても、適正な画像の差分を出力することができる。

図１は、本実施の形態１に係る画像処理装置の概念を説明するための説明図である。図２は、従来技術の問題点を説明するための説明図（１）である。図３は、従来技術の問題点を説明するための説明図（２）である。図４は、本実施の形態１に係る画像処理装置１０の構成を示す機能ブロック図である。図５は、画像からの指定領域の抽出の一例を示す図である。図６は、差分画像及び重畳画像の一例を示す図である。図７は、図４に示した画像処理装置の処理手順を示すフローチャートである。図８は、本実施の形態２に係る画像処理装置の概念を説明するための説明図である。図９は、本実施の形態２に係る画像処理装置の構成を示す機能ブロック図である。図１０は、マスク処理の一例を示す図である。図１１は、図９に示した画像処理装置の処理手順を示すフローチャートである。図１２は、変形例に係る画像処理装置の概念を説明するための説明図である。図１３は、変形例に係る画像処理装置の処理手順を示すフローチャートである。図１４は、ハードウエア構成の一例を示す図である。

以下、添付図面を参照して、本実施の形態に係る画像処理装置、画像処理方法及び画像処理プログラムについて説明する。以下に示す実施の形態では、テストツールによって画面をキャプチャーした２つの画像Ａ及び画像Ｂを比較する場合を示している。なお、インターネット上のウエブページの情報を画面上に表示するための閲覧ソフトであるブラウザを用いて表示されたウエブページをキャプチャーした画像を対象とする場合を示すこととする。

［実施の形態１］
＜画像処理装置１０の概念＞
まず、本実施の形態１に係る画像処理装置１０の概念について説明する。図１は、本実施の形態１に係る画像処理装置１０の概念を説明するための説明図である。ここでは、あらかじめコンピュータにテストツールをインストールし、このテストツールによってテストを行う度に画面をキャプチャーして画像を取得する場合を示している。

かかるコンピュータが本実施の形態１に係る画像処理装置１０であっても良いし、これらの画像をコンピュータから受信した装置が本実施の形態１に係る画像処理装置１０であっても良い。なお、図１では、テストツールがｎ回目のテスト（第１の時点でのテスト）を実行中にキャプチャーした画像Ａと、ｎ＋１回目のテスト（第２の時点でのテスト）を実行中にキャプチャーした画像Ｂとを比較する状況を示している。

ここで、従来技術を用いて２つの画像を比較する場合の問題点について説明する。図２は、従来技術を用いて２つの画像を比較する場合の第１の問題点を説明するための説明図である。同図に示すように、例えばウエブページの画面をキャプチャーした２つの画像Ａ及び画像Ｂを比較する場合に、領域Ｂ１として図示したように、画像Ｂに含まれるＵＲＬ（https://XYZ…）が画像Ａに含まれるＵＲＬ（https://ABC…）と異なる場合がある。また、領域Ｂ２として図示したように、画像Ｂでは画像Ａに存在しない新たなタブが存在する場合もある。このように、画像Ａと画像Ｂが相違する場合に、該画像Ａと画像Ｂの差分を示す差分画像Ｃを生成したならば、図２の差分画像Ｃに示した差分が生ずる。ここで、画像Ａと画像Ｂを比較する本来の目的は、かかるブラウザに起因する差違ではないため、上記の領域Ｂ１及びＢ２の差分はノイズとなる。

また、図３は、従来技術を用いて２つの画像を比較する場合の第２の問題点を説明するための説明図である。同図に示すように、画像Ａをキャプチャーする場合と画像Ｂをキャプチャーする場合とで、画像が位置ずれを起こす場合がある。何らかの事情で、画像Ｂの画面がスクロールアップされたような場合が該当する。このような場合に、２つの画像Ａと画像Ｂの単なる差分画像を抽出すると、全体的にずれが顕在化した差分が得られてしまい、意味をなさなくなる。

このため、本実施の形態１に係る画像処理装置１０では、図２又は図３に示したような画像Ａ及び画像Ｂが取得された場合であっても、本来意図しない部分の差分を抽出せず、また画像の位置ずれにも対応することができ、もって両画像の適正な差分を抽出できるようにしている。

図１に示すように、まず画像Ｂにおいて指定領域を設定し（Ｓ１１）、該領域の部分画像Ｂ’を抽出する（Ｓ１２）。かかる指定領域の設定については、ユーザ操作により指定領域を設定する場合と、自動的に指定領域を設定する場合とがある。ユーザ操作による指定領域の設定の一例としては、ユーザにより画像Ｂの２つの位置が指定されたことを条件として、この２つの位置を左上部及び右下部とする矩形領域の部分画像Ｂ’を抽出する場合が該当する。また、指定領域の自動設定の一例としては、あらかじめブラウザの領域（表示枠が含まれない領域）をテンプレートとして登録しておき、テンプレートマッチングを用いて画像Ｂからテンプレートに対応する領域を特定し、特定した領域の部分画像Ｂ’を自動抽出する場合が該当する。かかる部分画像Ｂ’を抽出することにより、ブラウザの表示枠の表示内容（ＵＲＬ、タブ等）を除外することができる。

このようにして、部分画像Ｂ’が抽出されたならば、この部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行い（Ｓ１３）、相関値が閾値Ｔ以上であるものが存在したならば、該相関値を有する画像Ａの領域を部分画像Ｂ’に対応する領域として特定する（Ｓ１４）。ただし、本実施の形態１では、かかる閾値を１．０から０．０１刻みで順次下げながらテンプレートマッチングを行う。このように、本実施の形態１では、相関値の比較の対象となる閾値を１．０から順次下げつつテンプレートマッチングを行っている。

具体的には、まず部分画像Ｂ’を画像Ａの左上部に位置付けた状態で正規化相互相関係数などの相関値を求め、この相関値が所定の閾値以上であるか否かを判定する。そして、相関値が所定の閾値以上でない場合には、画像Ａ上で一画素だけ部分画像Ｂ’をずらして相関値を求め、この相関値が所定の閾値以上であるか否かを判定する。このように、画像Ａ上で部分画像Ｂ’をずらしながら相関値を求め、相関値が所定の閾値以上であるものが存在したならば、該相関値を有する画像Ａの領域を部分画像Ｂ’に対応する領域として特定する。これに対して、相関値が閾値以上とならない場合には、閾値を所定値下げて同様の処理を行う。例えば、前回の閾値が「０．９８」である場合には、次回の閾値を「０．９８」として同様の処理を繰り返す。なお、閾値の下げ幅は任意に設定することができる。かかる一連の処理を行うことで、画像Ａのある領域における相関値が閾値を上回る場合には、この領域に対応する部分画像Ａ’が抽出される（Ｓ１５）。なお、閾値が「０．８０」以上となるものが存在するまで繰り返し、相関値が閾値０．８０を超えない場合には「該当なし」と出力する。

本実施の形態１に係る画像処理装置１０が、閾値を変動させながらテンプレートマッチングを行う理由は、画像処理装置１０が多数の画像比較を行わねばならない場合に、閾値を用いた優先順位付けを可能にするためである。つまり、閾値を用いて多数の画像をソートして、閾値の低い画像から順次ユーザが目視による確認を行うことにより、より差分が顕著に表れている画像に優先的に対応することができる。

その後、部分画像Ｂ’と部分画像Ａ’の差分画像を生成する（Ｓ１６）。例えば、画像Ａと画像Ｂが白黒２値画像である場合には、部分画像Ｂ’を形成する各画素の画素値と、部分画像Ａ’の対応する画素の画素値との差の絶対値を取れば良い。また、画像Ａと画像Ｂが白黒濃淡画像（例えば２５６階調）である場合には、部分画像Ｂ’を形成する各画素の画素値と、部分画像Ａ’の対応する画素の画素値との差の絶対値を取り、この差の絶対値が所定の値以上である画素に所定の画素値を付与すれば良い。また、画像Ａと画像Ｂがカラー画像（例えばＲＧＢそれぞれが２５６階調）である場合には、部分画像Ｂ’を形成するＲプレーン、Ｇプレーン、Ｂプレーンの各画素の画素値と、部分画像Ａ’の対応するプレーンの画素の画素値との差の絶対値を取り、その２乗和平方根の値を差分画像Ｃの各画素値とすることができる。なお、ＲＧＢ表色系をＸＹＺ表色系、Ｌ^*ａ^*ｂ^*表色系、Ｌ^*ｕ^*ｖ^*表色系、マンセル表色系等に座標変換し、各プレーンの差分画像Ｃを取得することもできる。なお、かかる差分画像Ｃを生成する場合に、画像内のオブジェクト単位で変更箇所を表示するよう構成することもできる。

その後、差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成する（Ｓ１７）。例えば、部分画像Ｂ’がカラー画像である場合には、差分画像Ｃの画素値をＲプレーンの画素値として重畳する。これにより、ユーザは、かかる重畳画像Ｄの赤色部分を視認することにより、画像Ｂのどの領域が画像Ａから変化しているのかを把握することができる。また、テンプレートマッチングにより部分画像Ｂ’に対応する部分画像Ａ’を抽出しているため、画像Ｂが画像Ａとの間で位置ずれを起こしている場合にも、適正に差分を抽出することができる。

＜画像処理装置１０の構成＞
次に、本実施の形態１に係る画像処理装置１０の構成について説明する。図４は、本実施の形態１に係る画像処理装置１０の構成を示す機能ブロック図である。同図に示すように、この画像処理装置１０は、入力部１１と、表示部１２と、通信Ｉ／Ｆ部１３と、記憶部１４と、制御部１５とを有する。

入力部１１は、キーボードやマウス等の入力デバイスであり、表示部１２は、液晶パネルやディスプレイ装置等の表示デバイスである。通信Ｉ／Ｆ部１３は、上位装置との通信等を行う通信インターフェース部である。

記憶部１４は、ハードディスク装置又は不揮発性メモリ等の２次記憶媒体であり、画像Ａ、画像Ｂ、部分画像Ｂ’、部分画像Ａ’、差分画像Ｃ及び重畳画像Ｄ等を記憶する。画像Ａは、テストツールがｎ回目のテスト（第１の時点でのテスト）を実行中にキャプチャーした画像であり、画像Ｂは、テストツールがｎ＋１回目のテスト（第２の時点でのテスト）を実行中にキャプチャーした画像である。部分画像Ｂ’は、画像Ｂから抽出された指定領域の部分画像であり、部分画像Ａ’は、部分画像Ｂ’に対応する画像Ａの領域の部分画像である。差分画像Ｃは、部分画像Ａ’と部分画像Ｂ’の差分を示す画像であり、重畳画像Ｄは、差分画像Ｃを部分画像Ｂ’に重畳した画像である。なお、ここでは説明の便宜上、画像Ａ及び画像Ｂに関わる画像を記憶する場合を示したが、多数の画像が存在する場合には、それぞれの画像に対応する部分画像、差分画像及び重畳画像が記憶される。また、テンプレートマッチングを行う際の閾値を重畳画像に対応付けて記憶する。

制御部１５は、画像処理装置１０の全体制御を行う制御部であり、設定部１５ａと、領域特定部１５ｂと、差分抽出部１５ｃと、重畳画像生成部１５ｄと、出力部１５ｅとを有する。設定部１５ａは、画像Ｂに対して指定領域を設定する設定部である。あらかじめ指定領域に関する条件が指定された場合に、この指定領域をテンプレートとするテンプレートマッチングを行うことで、画像Ｂに対して指定領域を自動的に設定することができる。また、ユーザによる操作によって矩形領域の指定を受け付け、受け付けた矩形領域を指定領域として設定することもできる。

そして、この設定部１５ａにより指定領域が設定されたならば、画像Ｂから指定領域に対応する部分画像Ｂ’が抽出され、抽出された部分画像Ｂ’が記憶部１４に格納される。例えば、図５に示した画像Ｂに指定領域が設定されたならば、この指定領域を画像Ｂから切り出して部分画像Ｂ’を抽出する。

領域特定部１５ｂは、指定領域の部分画像Ｂ’をテンプレートとして画像Ａ内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる画像Ａの領域を特定する処理（テンプレートマッチング処理）を、閾値を変化させつつ繰り返す処理部である。かかる相関値としては、例えば相関値を０〜１の範囲に正規化する正規化相互相関係数を用いることができる。ＯｐｅｎＣＶによるテンプレートマッチングを行う場合には、CV_TM_CCOEFF_NORMED（正規化相関係数）を用いることができる。

例えば、図６に示す部分画像Ｂ'が抽出されたならば、この部分画像Ｂ'をテンプレートとして画像Ａとの間でテンプレートマッチングを行う。当初は、閾値を高く設定し（例えば、１．０）、徐々に閾値を低下させつつ同様の処理を行って、相関値が閾値以上となる画像Ａの領域を特定する。その後、画像Ａから該当する領域の部分画像Ａ'が抽出される。

差分抽出部１５ｃは、画像Ｂ内の部分画像Ｂ’と、該部分画像Ｂ’に対応する画像Ａ内の領域の部分画像Ａ’との差分画像Ｃを抽出する処理部である。かかる差分を抽出する場合に、オブジェクト単位で差分を抽出することもできる。例えば、図６においては、図中に斜線で示した「車両のＣＭ部分」が差分として抽出された状況を示している。なお、この差分画像Ｃに差分を示す画素が存在する場合には、該差分画像Ｃが記憶部１４に格納される。

重畳画像生成部１５ｄは、差分画像Ｃと部分画像Ｂ’とを重畳した重畳画像Ｄを生成する処理部である。例えば、図６においては、図中に斜線で示した「車両のＣＭ部分」が部分画像Ｂ’に重畳された状況を示している。また、この重畳画像Ｄは、テンプレートマッチング時の閾値が対応付けられた状態で記憶部１４に格納される。なお、記憶部１４内に差分画像Ｃが存在しない場合には、重畳画像Ｄを生成しない。

出力部１５ｅは、画像Ａ及び画像Ｂの比較結果を出力する処理部である。例えば、表示部１２に重畳画像Ｄ及び閾値を表示出力する。また、多数の画像が存在する場合には、各重畳画像Ｄを閾値でソートして、閾値の低い順に表示出力することもできる。さらに、上位装置に対して、画像Ａ、画像Ｂ、重畳画像Ｄ（閾値を含む）を送信出力することもできる。

＜画像処理装置１０の処理手順＞
次に、図４に示した画像処理装置１０の処理手順について説明する。図７は、図４に示した画像処理装置１０の処理手順を示すフローチャートである。ここでは、画像Ａ及び画像Ｂがあらかじめ取得されているものとする。

図４に示すように、画像処理装置１０は、画像Ｂから指定領域の部分画像Ｂ’を抽出し（ステップＳ１０１）、閾値Ｔを「１．０」に初期設定する（ステップＳ１０２）。その後、部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行って相関値を抽出し（ステップＳ１０３）、該相関値が閾値Ｔ以上であるか否かを判定する（ステップＳ１０４）。具体的には、画像Ａの左上部の位置に部分画像Ｂ’を位置付けた状態で相関値を求め、この相関値が閾値Ｔ以上であるか否かを判定する。そして、相関値が閾値Ｔ以上でない場合には、画像Ａ上で一画素だけ部分画像Ｂ’をずらして相関値を求め、この相関値が閾値Ｔ以上であるか否かを判定する。同様にして画像Ａ上で部分画像Ｂ’をずらしながら相関値を求める。このように、画像Ａ上で部分画像Ｂ’をずらしながら相関値を求め、相関値が閾値Ｔ以上である領域が存在するか否かを判定する。

そして、画像Ａ上に相関値が閾値Ｔ以上となる領域が存在しない場合には（ステップＳ１０４；ＮＯ）、閾値Ｔから「０．０１」を減算し（ステップＳ１０５）、閾値Ｔが０．８以上であるならば（ステップＳ１０６；ＮＯ）、ステップＳ１０３に移行して同様の処理を繰り返す。一方、閾値Ｔが０．８未満であるならば（ステップＳ１０６；ＹＥＳ）、部分画像Ｂ’に対応する領域が存在しないものとして処理を終了する。

これに対して、上記のステップＳ１０４において、相関値が閾値Ｔ以上となる領域が存在したならば（ステップＳ１０４；ＹＥＳ）、画像Ａから該領域の部分画像Ａ’を抽出し（ステップＳ１０７）、抽出した部分画像Ａ’と部分画像Ｂ’の差分画像Ｃを生成する（ステップＳ１０８）。

そして、差分画像Ｃが存在するならば（ステップＳ１０９；ＹＥＳ）、差分画像Ｃと部分画像Ｂ’とを重ねた重畳画像Ｄを生成して（ステップＳ１１０）、上記一連の処理を終了する。なお、ここでは説明の便宜上その説明を省略したが、部分画像Ｂ’、部分画像Ａ’、差分画像Ｃ及び重畳画像Ｄは記憶部１４に格納される。

なお、ここでは部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行う際に、相関値が閾値Ｔ以上となる画像Ａ内の領域が一つ存在すると判定された場合に、差分画像Ｃの生成を行うこととしたが、相関値が閾値Ｔ以上となる画像Ａ内の領域が複数存在する可能性がある。このため、相関値が閾値Ｔ以上となる画像Ａ内の領域の部分画像Ａ’を全て抽出し、それぞれの差分画像Ｃ及び重畳画像Ｄを生成するよう処理することもできる。

上述してきたように、本実施の形態１では、画像Ｂに対して指定領域を設定し、設定された指定領域を画像Ｂから抽出した部分画像Ｂ’をテンプレートとして画像Ａ内で移動させつつ相関値を求め、該相関値が閾値Ｔ以上となる画像Ａ内の領域を特定する処理を、閾値Ｔを変化させつつ繰り返し、部分画像Ｂ’と部分画像Ａ’との差分画像Ｃを生成した後、該差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成して表示部１２等に出力するよう構成したので、時間の経過に応じて変化する変化要因を有する複数の画像を比較する場合に、適正な画像の差分を取得することができる。特に、本来の比較対象ではない部分が画像に含まれる場合や画像の位置ずれが存在する場合であっても、適正に画像を比較することができる。

また、部分画像Ｂ’と画像Ａのテンプレートマッチングにより部分画像Ｂ’に対応する画像Ａの領域を特定した際の閾値Ｔを出力することにより、多数の画像が存在する場合に、この閾値Ｔに基づいて画像をソートし、より変化が大きい画像から順次画像比較を行うことができるという効果が得られる。

［実施の形態２］
ところで、上記実施の形態１では、２つの画像Ａ及び画像Ｂに存在するブラウザ上のＵＲＬ、タブ、表示倍率等の比較すべき領域外の差違を除去する場合を示したが、本来、比較すべき領域内に広告等のノイズが存在する場合もある。このため、以下に示す実施の形態２では、比較すべき領域内に広告等のノイズをマスク処理しつつ画像比較を行う場合を示すこととする。

＜画像処理装置２０の概念＞
まず、本実施の形態２に係る画像処理装置２０の概念について説明する。図８は、本実施の形態２に係る画像処理装置２０の概念を説明するための説明図である。なお、実施の形態１と同様の部分については、その詳細な説明を省略する。

図８に示すように、この画像処理装置２０は、まず画像Ｂに対する指定領域を設定した後（Ｓ２１）、この指定領域の一部をなすマスク領域Ｍを設定する（Ｓ２２）。指定領域内に含まれている比較対象とすべきではない広告内容などの事項を除外するためである。

その後、マスク領域Ｍを含む指定領域の部分画像Ｂ’を抽出する（Ｓ２３）。ここで、かかるマスク領域Ｍの各画素には所定の画素値（例えば２５６階調の「０」又は「２５５」）を設定する。このようにすることにより、指定領域内に含まれるノイズを除外することができる。なお、かかるマスク領域Ｍは、指定領域内に含まれている比較対象とすべきではない広告内容などが含まれ、相関値の算出対象外とすべき領域である。

部分画像Ｂ’が抽出されたならば、この部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行い（Ｓ２４）、相関値が所定の閾値以上であるものが存在したならば、該相関値を有する画像Ａの領域を部分画像Ｂ’に対応する領域として特定する（Ｓ２５）。ただし、マスク領域Ｍを形成する各画素については、相関値の対象外とする。

そして、画像Ａのある領域における相関値が閾値を上回る場合には、この領域に対応する部分画像Ａ’を抽出する（Ｓ２６）。なお、閾値が「０．８０」以上となるものが存在するまで繰り返し、相関値が閾値０．８０を超えない場合には「該当なし」と出力する。

その後、部分画像Ｂ’と部分画像Ａ’の差分画像Ｃを生成する（Ｓ２７）。ただし、マスク領域Ｍについては、差分を算出しない。その後、差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成する（Ｓ２８）。この際、部分画像Ｂ’にはマスク領域Ｍが含まれるため、重畳画像Ｄにおいてもマスク領域Ｍが含まれる。

このように、画像Ｂにおいて指定領域を設定した際に、この指定領域に比較対象外の広告内容等が含まれている場合には、かかる広告内容等にマスク領域Ｍを設定することにより、画像の相関値を算出する際の広告内容等の影響を除外することができるため、適正に差分を抽出することができる。

＜画像処理装置２０の構成＞
次に、本実施の形態２に係る画像処理装置２０の構成について説明する。図９は、本実施の形態２に係る画像処理装置２０の構成を示す機能ブロック図である。同図に示すように、この画像処理装置２０は、入力部１１と、表示部１２と、通信Ｉ／Ｆ部１３と、記憶部１４と、制御部２１とを有する。

制御部２１は、画像処理装置２０の全体制御を行う制御部であり、設定部２１ａと、領域特定部２１ｂと、差分抽出部２１ｃと、重畳画像生成部２１ｄと、出力部２１ｅとを有する。設定部２１ａは、画像Ｂに対して指定領域を設定するとともに、指定領域内の除外対象となるマスク領域Ｍを設定する設定部である。かかるマスク領域Ｍは、あらかじめマスク領域Ｍに関する条件が指定された場合に、このマスク領域Ｍをテンプレートとするテンプレートマッチングを行うことで、画像Ｂに対してマスク領域を自動的に設定することができる。また、ユーザによる操作によって領域の指定を受け付け、受け付けた領域をマスク領域Ｍとして設定することもできる。

そして、この設定部２１ａにより指定領域及びマスク領域Ｍが設定されたならば、画像Ｂから指定領域に対応する部分画像Ｂ’が抽出され、この部分画像Ｂ’のマスク領域Ｍに対応する画素に所定の画素値が設定され、記憶部１４に格納される。例えば、図１０に示す画像Ｂにおいて、指定領域及びマスク領域Ｍが設定されたならば、マスク領域Ｍの画素の画素値が所定の画素値に置き換えられた部分画像Ｂ’が抽出される。

領域特定部２１ｂは、指定領域の部分画像Ｂ’をテンプレートとして画像Ａ内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる画像Ａの領域を特定する処理（テンプレートマッチング処理）を、閾値を変化させつつ繰り返す処理部である。なお、相関値を算出する際に、マスク領域Ｍの画素値は考慮されない。

差分抽出部２１ｃは、画像Ｂ内の部分画像Ｂ’と、該部分画像Ｂ’に対応する画像Ａ内の領域の部分画像Ａ’との差分画像Ｃを抽出する処理部である。かかる差分を抽出する場合に、マスク領域Ｍは対象外となる。

重畳画像生成部２１ｄは、差分画像Ｃと部分画像Ｂ’とを重畳した重畳画像Ｄを生成する処理部である。なお、マスク領域Ｍについても重畳画像Ｄに含まれる。出力部２１ｅは、画像Ａ及び画像Ｂの比較結果を出力する処理部である。

＜画像処理装置２０の処理手順＞
次に、図８に示した画像処理装置２０の処理手順について説明する。図１１は、図８に示した画像処理装置２０の処理手順を示すフローチャートである。

図１１に示すように、画像処理装置１０は、画像Ｂから指定領域の部分画像Ｂ’を抽出した後（ステップＳ２０１）、マスク領域Ｍを形成する画素の画素値を所定の値に置換し（ステップＳ２０２）、閾値Ｔを「１．０」に初期設定する（ステップＳ２０３）。その後、部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行って相関値を抽出し（ステップＳ２０４）、該相関値が閾値Ｔ以上であるか否かを判定する（ステップＳ２０５）。ただし、マスク領域Ｍについては相関値の対象外とする。

そして、画像Ａ上に相関値が閾値Ｔ以上となる領域が存在しない場合には（ステップＳ２０５；ＮＯ）、閾値Ｔから「０．０１」を減算し（ステップＳ２０６）、閾値Ｔが０．８以上であるならば（ステップＳ２０７；ＮＯ）、ステップＳ２０４に移行して同様の処理を繰り返す。一方、閾値Ｔが０．８未満であるならば（ステップＳ２０７；ＹＥＳ）、部分画像Ｂ’に対応する領域が存在しないものとして処理を終了する。

これに対して、上記のステップＳ２０５において、相関値が閾値Ｔ以上となる領域が存在したならば（ステップＳ２０５；ＹＥＳ）、画像Ａから該領域の部分画像Ａ’を抽出し（ステップＳ２０８）、抽出した部分画像Ａ’と部分画像Ｂ’の差分画像Ｃを生成する（ステップＳ２０９）。この差分画像Ｃにはマスク領域Ｍが含まれる。

そして、差分画像Ｃが存在するならば（ステップＳ２１０；ＹＥＳ）、差分画像Ｃと部分画像Ｂ’とを重ねた重畳画像Ｄを生成して（ステップＳ２１１）、上記一連の処理を終了する。なお、ここでは説明の便宜上その説明を省略したが、部分画像Ｂ’、部分画像Ａ’、差分画像Ｃ及び重畳画像Ｄは記憶部１４に格納される。

上述してきたように、本実施の形態２では、画像Ｂに対して指定領域を設定し、設定された指定領域内の広告内容等のノイズをマスク処理し、画像Ｂから抽出した部分画像Ｂ’をテンプレートとして画像Ａ内で移動させつつ相関値を求め、該相関値が閾値Ｔ以上となる画像Ａ内の領域を特定する処理を、閾値Ｔを変化させつつ繰り返し、部分画像Ｂ’と部分画像Ａ’との差分画像Ｃを生成した後、該差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成して表示部１２等に出力するよう構成したので、時間の経過に応じて変化する変化要因を有する複数の画像を比較する場合に、適正な画像の差分を取得することができる。特に、指定領域内に比較対象とされない変化部分が含まれている場合であっても、適正に画像を比較することができる。

＜変形例＞
ところで、上記の実施の形態２では、マスク領域Ｍを除外してテンプレートマッチングを行う場合を示したが、マスク領域Ｍを含めてテンプレートマッチングを行い、差分画像のマスク領域Ｍの画素値を所定の画素値に置換するよう構成することもできる。このため、本実施の形態２の変形例では、かかる処理を行う場合について説明する。なお、画像処理装置の構成は実施の形態２の画像処理装置２０と同様になるため、差分を中心に説明することとして、ここでは画像処理装置のその詳細な説明を省略する。

具体的には、この変形例では、マスク領域Ｍの指定を受け付けた後に、マッチングから差分画像Ｃを生成する処理までは実施の形態１と同様に行い、その後にマスク領域Ｍの画素値を所定の画素値（例えば、２５６階調の「２５５（白）」）に置換する。そして、重畳画像Ｄを生成する際に、対象外であることが分かるようにマスク領域Ｍの外縁部を矩形で強調表示することとしている。

まず、本変形例に係る画像処理装置の概念について説明する。図１２は、本変形例に係る画像処理装置の概念を説明するための説明図である。なお、実施の形態２と同様の部分については、その詳細な説明を省略する。

図１２に示すように、この画像処理装置２０は、まず画像Ｂに対する指定領域を設定した後（Ｓ３１）、この指定領域の一部をなすマスク領域Ｍの指定を受け付けマスク領域Ｍを設定する（Ｓ３２）。指定領域内に含まれている比較対象とすべきではない広告内容などの事項を除外するためである。

その後、指定領域の部分画像Ｂ’を抽出する（Ｓ３３）。なお、実施の形態２のようなマスク領域Ｍの画素値の置換は行わない。部分画像Ｂ’が抽出されたならば、この部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行い（Ｓ３４）、相関値が所定の閾値以上であるものが存在したならば、該相関値を有する画像Ａの領域を部分画像Ｂ’に対応する領域として特定する（Ｓ３５）。ただし、マスク領域Ｍを形成する各画素については、相関値の対象外とする。

そして、画像Ａのある領域における相関値が閾値を上回る場合には、この領域に対応する部分画像Ａ’を抽出する（Ｓ３６）。なお、閾値が「０．８０」以上となるものが存在するまで繰り返し、相関値が閾値０．８０を超えない場合には「該当なし」と出力する。

その後、部分画像Ｂ’と部分画像Ａ’の差分画像Ｃを生成する（Ｓ３７）。そして、この差分画像Ｃのマスク領域Ｍを形成する画素の画素値を所定の画素値に置換する（Ｓ３８）。例えば、２５６階調の白画素（２５５）となるように、ＲＧＢプレーンのそれぞれの画素値を置き換える。その後、差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成する（Ｓ３９）。そして、重畳画像Ｄに対してマスク領域Ｍの枠部分を重畳する（Ｓ４０）。マスク領域Ｍが存在することを明示するためである。

次に、変形例に係る画像処理装置の処理手順について説明する。図１３は、変形例に係る画像処理装置の処理手順を示すフローチャートである。同図に示すように、画像Ｂから指定領域の部分画像Ｂ’を抽出した後（ステップＳ３０１）、マスク領域Ｍの指定を受け付け（ステップＳ３０２）、閾値Ｔを「１．０」に初期設定する（ステップＳ３０３）。その後、部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行って相関値を抽出し（ステップＳ３０４）、該相関値が閾値Ｔ以上であるか否かを判定する（ステップＳ３０５）。

そして、画像Ａ上に相関値が閾値Ｔ以上となる領域が存在しない場合には（ステップＳ３０５；ＮＯ）、閾値Ｔから「０．０１」を減算し（ステップＳ３０６）、閾値Ｔが０．８以上であるならば（ステップＳ３０７；ＮＯ）、ステップＳ３０４に移行して同様の処理を繰り返す。一方、閾値Ｔが０．８未満であるならば（ステップＳ３０７；ＹＥＳ）、部分画像Ｂ’に対応する領域が存在しないものとして処理を終了する。

これに対して、上記のステップＳ３０５において、相関値が閾値Ｔ以上となる領域が存在したならば（ステップＳ３０５；ＹＥＳ）、画像Ａから該領域の部分画像Ａ’を抽出し（ステップＳ３０８）、抽出した部分画像Ａ’と部分画像Ｂ’の差分画像Ｃを生成する（ステップＳ３０９）。その後、差分画像Ｃに含まれるマスク領域Ｍを形成する画素の画素値を所定の画素値（例えば、２５６階調の「２５５」）に置換する（ステップＳ３１０）。

そして、差分画像Ｃが存在するならば（ステップＳ３１１；ＹＥＳ）、差分画像Ｃと部分画像Ｂ’とを重ねた重畳画像Ｄを生成し（ステップＳ３１２）、生成した重畳画像Ｄにマスク領域Ｍの枠部分を重ねる（ステップＳ３１３）。具体的には、重畳画像Ｄのマスク領域Ｍの枠部分を形成する画素の画素値を所定の画素値に置き換える。なお、ここでは説明の便宜上その説明を省略したが、部分画像Ｂ’、部分画像Ａ’、差分画像Ｃ及び重畳画像Ｄは記憶部１４に格納される。

上述してきたように、本変形例では、マスク領域Ｍの指定を受け付けた後に、マッチングから差分画像Ｃを生成する処理までは実施の形態１と同様に行い、その後にマスク領域Ｍの画素値を所定の画素値（例えば、２５６階調の「２５５（白）」）に置換する。そして、重畳画像Ｄを生成する際に、対象外であることが分かるようにマスク領域Ｍの外縁部を矩形で強調表示することとしている。

＜ハードウエアとの関係＞
次に、実施の形態１に係る画像処理装置１０又は実施の形態２に係る画像処理装置２０と、コンピュータの主たるハードウエア構成の対応関係について説明する。図１４は、ハードウエア構成の一例を示す図である。

一般的なコンピュータは、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３及び不揮発性メモリ３４などがバスにより接続された構成となる。不揮発性メモリ３４の代わりにハードディスク装置が設けられていても良い。説明の便宜上、基本的なハードウエア構成のみを示している。

ここで、ＲＯＭ３２又は不揮発性メモリ３４には、オペレーティングシステム（以下、単に「ＯＳ」と言う）の起動に必要となるプログラム等が記憶されており、ＣＰＵ３１は、電源投入時にＲＯＭ３２又は不揮発性メモリ３４からＯＳのプログラムをリードして実行する。

一方、ＯＳ上で実行される各種のアプリケーションプログラムは、不揮発性メモリ３４に記憶されており、ＣＰＵ３１がＲＡＭ３３を主メモリとして利用しつつアプリケーションプログラムを実行することにより、アプリケーションに対応するプロセスが実行される。

そして、実施の形態１に係る画像処理装置１０又は実施の形態２に係る画像処理装置２０の画像処理プログラムについても、他のアプリケーションプログラムと同様に不揮発性メモリ３４等に記憶され、ＣＰＵ３１が、かかる画像処理プログラムをロードして実行することになる。実施の形態１に係る画像処理装置１０の場合には、図４に示した設定部１５ａ、領域特定部１５ｂ、差分抽出部１５ｃ、重畳画像生成部１５ｄ、出力部１５ｅに対応するルーチンを含む画像処理プログラムが不揮発性メモリ３４等に記憶される。ＣＰＵ３１により画像処理プログラムがロード実行されることにより、設定部１５ａ、領域特定部１５ｂ、差分抽出部１５ｃ、重畳画像生成部１５ｄ、出力部１５ｅに対応するプロセスが生成される。同様に、実施の形態２に係る画像処理装置２０の場合には、図９に示した設定部２１ａ、領域特定部２１ｂ、差分抽出部２１ｃ、重畳画像生成部２１ｄ、出力部２１ｅに対応するルーチンを含む画像処理プログラムが不揮発性メモリ３４等に記憶される。ＣＰＵ３１により画像処理プログラムがロード実行されることにより、設定部２１ａ、領域特定部２１ｂ、差分抽出部２１ｃ、重畳画像生成部２１ｄ、出力部２１ｅに対応するプロセスが生成される。なお、閾値に関するデータについては、あらかじめ不揮発性メモリ３４に格納しても良いし、ユーザに入力させても良い。

なお、上記の実施の形態１及び２では、スタンドアロンとしての端末装置上で動作実行する場合を示したが、本発明はこれに限定されるものではなく、端末装置とサーバ装置とで連動して処理する場合に適用することもできる。例えば、ＷＥＢアプリケーションはサーバ装置にデプロイさせておき、端末装置のブラウザでアプリを表示するとともに、テストエビデンスとなる画像を端末装置のハードディスク装置や不揮発性メモリなどの記憶部に保存するよう構成することもできる。また、例えば、端末装置からサーバ装置に画像を送信し、サーバ装置上で本発明に係る処理を実行して、その結果を端末装置に送信して端末装置の表示部に表示するよう構成することもできる。

なお、上記の実施の形態１及び２では、コンピュータに導入されたテストツールによって画面がキャプチャーされた２つの画像を比較する場合を示したが、本発明はこれに限定されるものではなく、ユーザにより特定された任意の２つの画像を比較する場合に適用することができる。また、上記の実施の形態１及び２では、表示部に画面表示されたウエブページをキャプチャーした画像を対象とする場合を示したが、本発明はこれに限定されるものではなく、ダンプリスト等の画像であっても良い。

また、上記の実施の形態１及び２では、テンプレートマッチングを行う際に正規化相互相関係数を用いる場合を示したが、本発明はこれに限定されるものではなく、他の相関値を用いることもできる。ただし、相関値は所定の範囲に正規化されることが望ましい。この所定の範囲に応じて閾値を変動させるためである。なお、ここでは閾値を順次減少させる場合を示したが、本発明はこれに限定されるものではなく、閾値を順次増加させることもできる。

なお、上記の実施の形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

本発明の画像処理装置、画像処理方法及び画像処理プログラムは、時間の経過に応じて変化する変化要因を含む複数の画像を比較して適正な画像の差分を取得する場合に有用である。

Ａ，Ｂ画像
Ａ’，Ｂ’ 部分画像
Ｃ差分画像
Ｄ重畳画像
Ｍマスク領域
１０，２０画像処理装置
１１入力部
１２表示部
１３通信Ｉ／Ｆ部
１４記憶部
１５，２１制御部
１５ａ，２１ａ設定部
１５ｂ，２１ｂ領域特定部
１５ｃ，２１ｃ差分抽出部
１５ｄ，２１ｄ重畳画像生成部
１５ｅ，２１ｅ出力部

Claims

第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置であって、
前記第１の画像に対して第１の領域を設定する設定手段と、
前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段と、
前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手段と
を備え、
前記領域特定手段は、前記マスク処理手段によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、
前記差分画像生成手段は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する
画像処理装置。
前記差分画像生成手段により生成された差分画像と前記第１の画像内の前記第１の領域の部分画像とを重畳した重畳画像を生成する重畳画像生成手段をさらに備える請求項１に記載の画像処理装置。
前記第１の画像は、第１の時点で取得された画像であり、前記第２の画像は、前記第１の時点と異なる第２の時点で取得された前記第１の画像の比較対象となる画像である請求項１又は２に記載の画像処理装置。
前記相関値は、前記第１の画像内の前記第１の領域の部分画像と、前記第１の領域がテンプレートとして適用された前記第２の画像内の部分画像との相互相関係数を０〜１の範囲に正規化された正規化相互相関係数である請求項１乃至３のいずれか一つに記載の画像処理装置。
前記領域特定手段は、前記閾値を所定の値だけ下げつつ前記相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を繰り返し、前記閾値が所定の下限閾値に達した場合に処理を終了する請求項４に記載の画像処理装置。
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理システムであって、
前記第１の画像に対して第１の領域を設定する設定手段と、
前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段と、
前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手段と
を備え、
前記領域特定手段は、前記マスク処理手段によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、
前記差分画像生成手段は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する
画像処理システム。
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置における画像処理方法であって、
前記第１の画像に対して第１の領域を設定する設定工程と、
前記設定工程により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定工程と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成工程と、
前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理工程と
を含み、
前記領域特定工程は、前記マスク処理工程によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、
前記差分画像生成工程は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する
画像処理方法。
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置において実行する画像処理プログラムであって、
前記第１の画像に対して第１の領域を設定する設定手順と、
前記設定手順により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手順と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手順と、
前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手順と
を含み、
前記領域特定手順は、前記マスク処理手順によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、
前記差分画像生成手順は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する
処理をコンピュータに実行させる画像処理プログラム。