JP4914762B2 - 被写体監視方法、被写体監視装置、および被写体監視プログラム - Google Patents

Description

本発明は、被写体を撮影して得た画像に基づいて被写体の変化の有無を監視する被写体監視方法および被写体監視装置、並びに、演算処理装置を被写体監視装置として動作させる被写体監視プログラムに関する。

近年、計算機の処理能力の向上に伴い、それまでそのデータ量の多さ、複雑さから実用化になかなか達しなかった画像を使った計測・監視等のシステムが期待されるようになってきている。特に、監視システムについてはそれまで監視カメラからの映像を人の目で確認することが多いため、その確認作業の自動化が期待されている。

そのような自動化が期待されている分野の一つに、製鉄所のコークス炉からガスが漏れだしているシーンがある。このガス漏れは炉蓋から発生することが多く、その原因は高温による炉蓋の反りや、接触面の腐食、石炭、コークス、タールといった異物の噛み込みなどに起因するものと考えられている。近年、ガス漏れしにくい構造の炉蓋も開発されてきているが、長期間にわたってガス漏れを全く起こさない炉蓋は現在のところ存在しておらず、操業継続により発生するガス漏れは作業者によって閉止処理がなされている。ガス漏れ箇所は随時補修されるが、該当箇所の検出は現在、作業者によってのみ行われており、２４時間連続操業を常とするコークス炉にあっては炉蓋のガス漏れを自動で検出できる装置が期待されている。このガス漏れの画像を人間が見れば一目でガスが漏れているとわかる。画像情報から知るためには、基本的には、基準時刻に撮影して得た基準画像と基準時刻とは異なる監視時刻に撮影して得た比較画像との差分画像を求めればよく、その差分画像はガス洩れ部分に画像情報を有する画像となる。

しかしながら、単純に上記の方法を採用したのでは、例えばガス洩れとは無関係なゴミや埃の進入や、カメラ視野外から視野内へのガスの進入など、監視対象のガス洩れとは無関係な外乱もガス洩れと判定されてしまい、ガス洩れ検出の信頼性に欠けるという問題がある。

また、ガス漏れを正しく検出した場合、どの程度のガス洩れが生じているのかを知ることも重要である。

尚、ここでは、ガス洩れを例に挙げて説明したが、ガス洩れ以外の変化を監視対象とする場合も同様である。

本発明は、上記事情に鑑み、被写体の変化の有無を高精度に判定することのできる被写体監視方法および被写体監視装置、並びに演算装置を、そのような高精度の判定が可能な被写体監視装置として動作させる被写体監視プログラムを提供することを目的とする。

上記目的を達成する本発明の被写体監視方法は、被写体を撮影して得た基準画像と、該被写体を撮影して得た比較画像とを比較することにより、被写体の変化の有無を監視する被写体監視方法であって、
基準時刻に被写体を撮影して基準画像を得た基準時刻とは異なる複数の時刻に該被写体を撮影して得た複数の比較画像それぞれについて、基準画像と比較画像との間で変化がある第１の領域の各画素に第１の画素値を割り当てるとともに変化が無い第２の領域の各画素に第２の画素値を割り当てる二値化演算を行なうことにより、複数の二値画像を求める二値化演算ステップと、
複数の二値画像の、互いに対応する画素どうしの画素値を足し合わせることにより足合せ画像を求める足合せ演算ステップと、
足合せ画像に基づいて被写体の変化の有無を判定する変化判定ステップとを有することを特徴とする。

本発明の被写体監視方法は、異なる複数の時刻に撮影した複数の比較画像それぞれについて上記の二値画像を求め、複数の二値画像から足合せ画像を求めるものであり、その足合せ画像を閾値処理すること等により被写体の変化の有無を高精度に判定することができる。

ここで、上記本発明の被写体監視方法において、二値化演算ステップが、上記第１の領域内の各画素に画素値１を割り当てるとともに上記第２の領域内の各画素に画素値０を割り当てるステップであり、
変化判定ステップが、足合せ画像に被写体の変化の有無を判定するための閾値以上の画素値を有する画素からなる領域が存在する場合に被写体に変化が有ったものと判定するステップであることが好ましい。

典型的には、画素値１，０を割り当てることで演算が容易となる。

また、本発明の被写体監視方法において、上記変化判定ステップで変化が有ると判定された場合に、複数の比較画像のうちの少なくとも１つの対象比較画像について、その対象比較画像上の、上記第１の領域に対応する領域を構成する複数の画素について各画素値の出現頻度を表わす画素値ヒストグラムを求めるヒストグラム算出ステップと、
画素値と画素値の出現頻度との双方を変数とする演算式に画素値と画素値ヒストグラムにあらわれた各画素値の出現頻度とを代入することにより、その対象比較画像の、基準画像からの変化の程度を表わす指標である評価値を求める評価値算出ステップとをさらに有することが好ましい。

この場合、上記評価値算出ステップは、例えば、評価値をＵ、画素値をＸ、画素値として取り得る値の最小値および最大値をそれぞれＸｍｉｎおよびＸｍａｘ、出現頻度をＹ、ＡおよびＢを各定数としたとき、
上記演算式として、

を採用して、評価値Ｕを求めるステップであってもよい。

画素値と画素値の出現頻度との双方を変数とすることにより、被写体上の変化が生じた領域の面積と変化のその領域内の変化の強さとの双方に基づいて、変化の程度を高精度に反映させた評価値を求めることができる。

また、本発明の被写体監視方法において、上記評価値を求めるにあたっては、上記ヒストグラム算出ステップが、対象比較画像に代えて、基準画像とその対象比較画像との間の、互いに対応する画素の画素値どうしの差分からなる差分画像について、画素値ヒストグラムを求めるステップであってもよい。

さらに、本発明の被写体監視方法において、上記複数の比較画像それぞれについて、比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素の画素値の平均および分散を、前記基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときのそれら複数の小領域それぞれを上記第１の小領域として実行する画素値補正ステップをさらに有し、
上記差分演算ステップが、基準画像と、画素値補正ステップで画素値が補正された複数の比較画像それぞれとの、互いに対応する画素どうしの画素値の差分を演算することにより複数の差分画像を求めるステップであることが好ましい。

なお、画素値補正においては基準画像、比較画像の両画像の画素値を、それらとは独立に与える第三の平均と分散に一致させるものでもよい。

このように、上記の画素値補正ステップを有し、局所領域ごとに平均と分散を一致させるように画素値を補正すると、照明条件が高精度に補正され、基準画像と比較画像との間の変化の有無を高精度に判定することができる。

また、この場合に、上記画素値補正ステップは、比較画像を構成する各１画素をそれぞれを上記第１の小領域として上記演算を実行するステップであることが好ましい。

各１画素を上記第１の小領域として上記演算を実行することにより、一層高精度な補正を行なうことができる。ただし、複数の画素の集合を第１の小領域としてもよく、その場合、高速な演算が可能となる。

また、上記画素値補正ステップは、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ_１およびＳ_１ ^２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ_０およびＳ_０ ^２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ_１（ｘ，ｙ）を式

に従って補正後の画素値ｇ（ｘ，ｙ）に補正するステップであってもよい。

具体的には、例えば上記（２）式に従って画素値を補正することができる。

さらに、上記画素値補正ステップは、上記第２の小領域内にエッジが含まれているか否かを判定し、上記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ_１およびＳ_１ ^２とし、基準画像上の、上記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ_０およびＳ_０ ^２とし、

とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ_１（ｘ，ｙ）を式

に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するステップであってもよい。

基準画像を得たときの被写体の照明方向と比較画像を得たときの被写体の照明方向の違いによっては、エッジを境にした２つの領域の明るさが反転する場合もある。このような場合であっても、上記（３）式に従って画素値を補正することにより高精度な補正が可能となる。

ここで、上記第２の小領域にエッジが含まれているか否かの判定方法は、限定されるものではないが、例えば、上記第２の小領域内の画素値の分散が所定の閾値を超える場合に、その第２の小領域にエッジが含まれていると判定することができる。

また、本発明の被写体監視方法において、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正ステップは、少なくとも１つの色について上記演算を行なうステップであり、その後の各ステップでもその１つの色について処理を行ってもよい。

カラー画像であっても、変化の有無が特定の色に表われることが分かっているときは、その色についてのみ、演算を行なって変化の有無を判定すればよい。

あるいは、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正ステップは、それら複数色それぞれについて上記演算を行なうステップであり、上記二値化演算ステップは、基準画像と、上記画素値補正ステップを経ることにより得られた補正後の比較画像との間の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、その距離に基づいて被写体の各画素あるいは各領域への変化の有無を判定し、第１の画素値又は第２の画素値を割り当てるステップであってもよい。

このように、カラー画像の場合、複数色を総合してもよい。

さらに、上記画素値補正ステップの実行に先立って実行される、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正ステップを有することが好ましい。

被写体の照明条件のみでなく、カメラの位置ずれ等が発生するおそれがあるときは、上記のずれ校正ステップを置くことにより、高精度な変化の判定を行なうことができる。

また、上記目的を達成する本発明の被写体監視装置は、被写体を撮影して得た基準画像と、該被写体を撮影して得た比較画像とを比較することにより、被写体の変化の有無を監視する被写体監視装置であって、
基準時刻に被写体を撮影して基準画像を得た基準時刻とは異なる複数の時刻に該被写体を撮影して得た複数の比較画像それぞれについて、基準画像と比較画像との間で変化がある第１の領域の各画素に第１の画素値を割り当てるとともに変化が無い第２の領域の各画素に第２の画素値を割り当てる二値化演算を行なうことにより、複数の二値画像を求める二値化演算部と、
複数の二値画像の、互いに対応する画素どうしの画素値を足し合わせることにより足合せ画像を求める足合せ演算部と、
足合せ画像に基づいて被写体の変化の有無を判定する変化判定部とを有することを特徴とする。

ここで、本発明の被写体監視装置において、上記二値化演算部が、上記第１の領域内の各画素に画素値１を割り当てるとともに上記第２の領域内の各画素に画素値０を割り当てるものであり、
変化判定部が、足合せ画像に被写体の変化の有無を判定するための閾値以上の画素値を有する画素からなる領域が存在する場合に被写体に変化が有ったものと判定するものであることが好ましい。

また、本発明の被写体監視装置について、上記変化判定部で変化が有ると判定された場合に、複数の比較画像のうちの少なくとも１つの対象比較画像について、その対象比較画像上の、上記第１の領域に対応する領域を構成する複数の画素について各画素値の出現頻度を表わす画素値ヒストグラムを求めるヒストグラム算出部と、
画素値と画素値の出現頻度との双方を変数とする演算式に画素値と画素値ヒストグラムにあらわれた各画素値の出現頻度とを代入することにより、その対象比較画像の、基準画像からの変化の程度を表わす指標である評価値を求める評価値算出部とをさらに備えることが好ましい。

この場合に、前記評価値算出部は、例えば、評価値をＵ、画素値をＸ、画素値として取り得る値の最小値および最大値をそれぞれＸｍｉｎおよびＸｍａｘ、出現頻度をＹ、ＡおよびＢを各定数としたとき、
上記演算式として、

を採用して、評価値Ｕを求めるものであってもよい。

また、本発明の被写体監視装置について、上記評価値を求めるにあたっては、上記ヒストグラム算出部が、対象比較画像に代えて、基準画像とその対象比較画像との間の、互いに対応する画素の画素値どうしの差分からなる差分画像について、画素値ヒストグラムを求めるものであってもよい。

さらに、本発明の被写体監視装置において、上記複数の比較画像それぞれについて、比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素の画素値の平均および分散を、前記基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときのそれら複数の小領域それぞれを上記第１の小領域として実行する画素値補正部をさらに備え、
上記差分演算部が、基準画像と、画素値補正部で画素値が補正された複数の比較画像それぞれとの、互いに対応する画素どうしの画素値の差分を演算することにより複数の差分画像を求めるものであることがが好ましい。

また、上記画素値補正部は、比較画像を構成する各１画素をそれぞれを上記第１の小領域として上記演算を実行するものであることが好ましい。

また、上記画素値補正部は、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその該第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ_１おびＳ_１ ^２とし、基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ_０およびＳ_０ ^２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ_１（ｘ，ｙ）を式

に従って補正後の画素値ｇ（ｘ，ｙ）に補正するものであってもよい。

あるいは、本発明の被写体監視装置において、上記画素値補正部は、上記第２の小領域内にエッジが含まれているか否かを判定し、上記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ_１およびＳ_１ ^２とし、基準画像上の、上記第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ_０およびＳ_０ ^２とし、

とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ_１（ｘ，ｙ）を式

に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するものであることも好ましい態様である。

この場合に、上記画素値補正部は、上記第２の小領域内の画素値の分散が所定の閾値を超える場合に、その第２の小領域にエッジが含まれていると判定するものであってもよい。

また、本発明の被写体監視装置において、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、少なくとも１つの色について上記演算を行なうものであり、その後の演算もその１つの色について処理を行なってもよい。

あるいは、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、それら複数色それぞれについて上記演算を行なうものであり、上記二値化演算部は、基準画像と、上記画素値補正部における演算処理により得られた補正後の比較画素との間の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、その距離に基づいて被写体の各画素あるいは各領域の変化の有無を判定し、第１の画素値又は第２の画素値を割り当てることも好ましい形態である。

また、本発明の被写体監視装置において、上記画素値補正部の前段に、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正部を有することが好ましい。

また、上記目的を達成する本発明の被写体監視プログラムは、プログラムを実行する演算処理装置内で実行され、その演算処理装置を、被写体を撮影して得た基準画像と、該被写体を撮影して得た比較画像とを比較することにより、該被写体の変化の有無を監視する被写体監視装置として動作させる被写体監視プログラムであって、
上記演算処理装置を、
基準時刻に被写体を撮影して基準画像を得た基準時刻とは異なる複数の時刻に該被写体を撮影して得た複数の比較画像それぞれについて、基準画像と複数の比較画像それぞれとの間で変化がある第１の領域の各画素に第１の画素値を割り当てるとともに変化が無い第２の領域の各画素に第２の画素値を割り当てる二値化演算を行なうことにより、複数の二値画像を求める二値化演算部と、
複数の二値画像の、互いに対応する画素どうしの画素値を足し合わせることにより足合せ画像を求める足合せ演算部と、
足合せ画像に基づいて被写体の変化の有無を判定する変化判定部とを備えた被写体監視装置として動作させることを特徴とする。

ここで、本発明の被写体監視プログラムにおいても、上記二値化演算部が、上記第１の領域内の各画素に画素値１を割り当てるとともに上記第２の領域内の各画素に画素値０を割り当てるものであり、
変化判定部が、前記足合せ画像に被写体の変化の有無を判定するための閾値以上の画素値を有する画素からなる領域が存在する場合に被写体に変化が有ったものと判定するものであることが好ましい。

また、本発明の被写体監視プログラムについて、上記演算処理装置を、
上記変化判定部で変化が有ると判定された場合に、複数の比較画像のうちの少なくとも１つの対象比較画像について、該対象比較画像上の、上記第１の領域に対応する領域を構成する複数の画素について各画素値の出現頻度を表わす画素値ヒストグラムを求めるヒストグラム算出部と、
画素値と画素値の出現頻度との双方を変数とする演算式に画素値と前記画素値ヒストグラムにあらわれた各画素値の出現頻度とを代入することにより、その対象比較画像の、基準画像からの変化の程度を表わす指標である評価値を求める評価値算出部とをさらに備えた被写体監視装置として動作させることが好ましい。

この場合に、上記評価値算出部は、例えば、評価値をＵ、画素値をＸ、画素値として取り得る値の最小値および最大値をそれぞれＸｍｉｎおよびＸｍａｘ、出現頻度をＹ、ＡおよびＢを各定数としたとき、
上記演算式として、

を採用して、評価値Ｕを求めるものであってもよい。

また、本発明の被写体監視プログラムについて、上記評価値を求めるにあたっては、上記ヒストグラム算出部が、対象比較画像に代えて、基準画像とその対象比較画像との間の、互いに対応する画素の画素値どうしの差分からなる差分画像について、画素値ヒストグラムを求めるものであってもよい。

さらに、本発明の被写体監視プログラムにおいて、上記演算処理装置を、
上記複数の比較画像それぞれについて、比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素の画素値の平均および分散を、前記基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときのそれら複数の小領域それぞれを上記第１の小領域として実行する画素値補正部をさらに備え、
上記差分演算部が、基準画像と、画素値補正部で画素値が補正された複数の比較画像それぞれとの、互いに対応する画素どうしの画素値の差分を演算することにより複数の差分画像を求めるものである被写体監視装置として動作させることが好ましい。

また、本発明の被写体監視プログラムにおいて、上記画素値補正部は、比較画像を構成する各１画素をそれぞれを上記第１の小領域として上記演算を実行するものであることが好ましい。

また、本発明の被写体監視プログラムにおいて、上記画素値補正部は、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ_１およびＳ_１ ^２とし、基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ_０およびＳ_０ ^２としたとき、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ_１（ｘ，ｙ）を式

に従って補正後の画素値ｇ（ｘ，ｙ）に補正するものであってもよい。

あるいは、本発明の被写体監視プログラムにおいて、上記画素値補正部は、その記第２の小領域内にエッジが含まれているか否かを判定し、上記第２の小領域内にエッジが含まれている場合には、比較画像上の位置（ｘ，ｙ）にある１画素、あるいは該ｘ，ｙを変数としたときの位置（ｘ，ｙ）にある複数画素の集合を上記第１の小領域としたときのその第１の小領域を包含する第２の小領域内の画素値の平均および分散を、それぞれＥ_１およびＳ_１ ^２とし、基準画像上の、第２の小領域に対応する小領域内の画素値の平均および分散を、それぞれＥ_０およびＳ_０ ^２とし、

とした時、比較画像上の位置（ｘ，ｙ）にある画素の画素値ｆ_１（ｘ，ｙ）を式

に従って、補正後の画素値ｇ（ｘ，ｙ）に補正するものであることも好ましい態様である。この場合に、上記画素値補正部は、上記第２の小領域内の画素値の分散が所定の閾値を超える場合に、その第２の小領域にエッジが含まれていると判定するものであってもよい。

また、本発明の被写体監視プログラムにおいて、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、少なくとも１つの色について上記演算を行なうものであり、その後の演算についても、その１つの色について処理を行なわさせるものであってもよい。

あるいは、本発明の被写体監視プログラムにおいて、上記基準画像および上記比較画像が、各画素に複数色の画素値が対応づけられたカラー画像である場合に、上記画素値補正部は、上記複数色それぞれについて上記演算を行なうものであり、上記二値化演算部は、基準画像と、上記画素値補正部における画素値補正処理により得られた補正後の比較画像との間の、上記複数色についての複数の差分画像の、互いに対応する画素どうしあるいは領域どうしの色空間上の距離を求めて、その距離に基づいて被写体の各画素あるいは各領域の変化の有無を判定しその判定結果に応じて第１の画素値又は第２の画素値を割り当てることも好ましい態様である。

さらに、本発明の被写体監視プログラムは、上記演算処理装置を上記画素値補正部の前段に、基準画像と比較画像の位置ずれ、及び／又は、回転ずれを校正するずれ校正部をさらに有する被写体監視装置として動作させるものであることが好ましい。

以上のように、本発明によれば、被写体の変化の有無を高精度に判定することができる。

以下、本発明の実施形態について説明する。

以下において説明する実施形態は、本発明の一実施形態としての被写体監視方法を実現するための被写体監視プログラムがコンピュータ内で実行されることにより、そのコンピュータと被写体監視プログラムとによりそのコンピュータ内に被写体監視装置を実現する実施形態である。

そこで、以下では、コンピュータのハードウェアについて説明し、次いでそのコンピュータ内で実行されるプログラムについて説明する。

図１は、ノート型パーソナルコンピュータ（以下、「ノートパソコン」と略記する）と、そのノートパソコンに接続されたカメラの外観図である。

このノートパソコン１０は、本体部２０と、その本体部２０に対し開閉自在な表示部３０とで構成されている。本体部２０には、その上面に、ユーザによりキー操作されるキーボード２１や、表示画面上の任意の点を指定するためのトラックパッド２２が備えられており、側面には、この図１に示されているものとして、ＭＯが装填されるＭＯ装填口２３１やＣＤ−ＲやＣＤ−ＲＷが装填されるＣＤ−Ｒ／ＲＷ装填口２４１が備えられている。また、この本体部２０にはマウス２５が接続されており、トラックパッド２２よりも操作性が向上されている。さらにこの本体部２２には、カメラ４０が接続されている。このカメラ４０は監視対象の被写体を撮影範囲内に捉えており、例えば３０秒おき等、定期的に撮影を行なって、その撮影により得られた画像データをノートパソコン本体２０に送るものである。尚、本実施形能では、カメラ４０は、撮影によりＲ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの色に対応するカラー画像データを生成してノートパソコン本体２０に送るものとする。

またノートパソコン１０の表示部３０には、その中央の広い領域に表示画面３１が広がっている。この表示部３０は、図１に示すように開かれて使用され、また使用後は、表示画面３１を内側にして、本体部２０の、キーボード２１等が配置された上面に重なるように折り畳まれる。

図２は、図１に外観を示すノートパソコンのハードウェア構成図である。

図２のハードウェア構成図には、ＣＰＵ１１１、ＲＡＭ１１２、ハードディスクコントローラ１１３、ＭＯドライブ１１４、ＣＤ−Ｒ／ＲＷドライブ１１５、ＵＳＢインタフェース１１６、キーボードコントローラ１１７、ディスプレイコントローラ１１８、トラックパッドコントローラ１１９、カメラコントローラ１２０、および画像受信部１２１が示されており、それらはバス１１０で相互に接続されている。

ＭＯドライブ１１４およびＣＤ−Ｒ／ＲＷドライブ１１５は、それぞれ、図１を参照して説明したＭＯ装填口２３１およびＣＤ−Ｒ／ＲＷ装填口２４１から装填されたＭＯ２３２、ＣＤ−Ｒ（又はＣＤ−ＲＷ）２４２をアクセスするものである。

また、この図２には、ハードディスクコントローラ１１３によりアクセスされるハードディスク１２２が示されており、さらに、この図２には、図１にも示す、マウス２５、キーボード２１、表示画面３１およびトラックパッド２２も示されている。ハードディスクコントローラ１１３、ＵＳＢインターフェース１１６、キーボードコントローラ１１７、ディスプレイコントローラ１１８およびトラックパッドコントローラ１１９は、それぞれ、ハードディスク１２２、接続されているＵＳＢ規格に準拠した機器（ここではマウス２５）、キーボード２１、表示画面３１およびトラックパッド２２をコントロールするためのものである。

さらに、カメラコントローラ１２０は、図１に示すカメラ４０に接続されており、そのカメラ４０に定期的（例えば３０秒ごと）に撮影指示を与えるものである。

さらに、画像受信部１２１も、図１に示すカメラ４０に接続されており、そのカメラ４０での撮影で得られてそのカメラ４０から送信されてきた画像データを受信するものである。

図３は、図１、図２に示すノートパソコン内で実行される被写体監視プログラムのフローチャートである。

この被写体監視プログラムは、カメラブレ補正ステップ（ａ），画素値補正ステップ（ｂ），二値化演算ステップ（ｃ），足合せ演算ステップ（ｄ），変化判定ステップ（ｅ），ヒストグラム算出ステップ（ｆ），および評価値算出ステップ（ｇ）で構成されている。

ここでは、カメラ４０であらかじめ撮影しておいた基準画像と、そのカメラ４０での３０秒間隔での撮影により得られた比較画像との比較を行ない、基準画像の撮影時刻である基準時刻を基準としての比較画像の撮影時点で被写体の変化の有無が検出される。

図４は、図３に示す被写体監視プログラムのうちの、カメラブレ補正ステップ（ステップａ）の詳細フローチャートである。

このカメラブレ補正ステップは、カメラ４０（図１参照）の撮影画面が、基準画像を得たときと比較画像を得るときとでずれている可能性があるときに必要となるステップである。

ここでは、線成分抽出（ステップａ１）、細線化（ステップａ２）、ハフ変換による直線検出（ステップａ３）、および回転・平行移動（ステップａ４）の各処理が行なわれる。以下、これらの各処理について順次説明する。
（線成分抽出処理（ステップａ１））
ここでは、基準画像および比較画像の線成分を、プリヴィット（Ｐｒｅｗｉｔｔ）フィルタにより水平成分、垂直成分別々に検出する。

プリヴィットフィルタは、境界線の形状のテンプレートを走査しつつ該テンプレートと対象画像との相関値を求める特徴抽出フィルタである。その構成は次のΔＸ、ΔＹという２つのフィルタからなる。

このフィルタにおいてΔＸにより垂直エッジ成分のみ、ΔＹにより水平のエッジ成分のみが抽出される。式（４）は３×３のプリヴィットフィルタであるが、特に長い水平エッジまたは垂直エッジを正確に抽出する方法としては、３×５などの矩形フィルタが使われている。

基準画像および比較画像のそれぞれに対しこのプリヴィットフィルタを作用させることにより各画像内の線成分が抽出された２値画像が得られる。

図５は、プリヴィットフィルタを施す前の原画像（基準画像又は比較画像）を示す図、図６は、図５に示す原画像にカメラプリヴィットフィルタを施した結果得られた２値画像を示す図である。

尚、ここではプリヴィットフィルタを採用したが、このプリヴィットフィルタに代わり、ラプラシアンフィルタ等、他の線成分抽出フィルタを採用してもよい。
（細線化処理（ステップａ２））
ラプラシアンフィルタやプリヴィットフィルタで得られた２値画像は普通数ピクセルの太さをもっている。理想的には物体の輪郭線は１ピクセルであることが望ましい。線画像から線幅１ピクセルの画像を求める処理を細線化（ｔｈｉｎｎｉｎｇ）という。

細線化を行う２値画像の画素記号を、図７に示すように、中心画素をｐ_０、その近傍画素をｐ_ｋで表すことにする。中心画素が消去可能かどうかは、近傍画素との連結性を考えると、画像の左下から右上へ探索する場合では、近傍画素が図８の３パターンのどれかに当てはまるかどうかで判断できる。つまり、左下から右上へ探索する場合、黒画素を１、白画素を０とした場合に、

の内どれかを満たすときその画素は消去可能となる。左下から右上への探索が終わったら消去可能と判断した画素を消去し、探索開始点を右上、探索方向を左下として、近傍画素のパターンを図８と反転させたものに変え、再度探索をし、画素を消去する。探索開始点が左上、右下の場合も同様な手順で画素を消去する、という手順を消去可能と判断できる画素がなくなるまで繰り返すことにより、線画像の線幅は１ピクセルとなり、得られる線画像は太さをもっていたときの中心線となる。

図９に、図６を細線化した結果を示す。
（ハフ変換による直線検出処理（ステップａ３））
画像のフィルタリングによって得られた線画像から線成分の有無や位置を求めることは輪郭をとらえる上で重要なことであり、この直線を抽出する代表的な方式がハフ（Ｈｏｕｇｈ）変換である。

ハフ変換は、直線のみならず、円、楕円などのパラメトリックな図形のためのパターン抽出法として有力な手法である。

直線検出のためのハフ変換は、（傾きｍ）―（切片ｃ）座標系を用いるのが基本手法であるが、検出精度を上げるためｍ−ｃ座標系に代わるθ―ρ正規表現の座標系がある。また、各種の曲線パターンや任意形状の図形の検出への拡張が試みられている。

ｍ−ｃパラメータ平面上によるハフ変換は下記式（６）で与えられる。“点―線変換”を行う操作である。対象画像が２値画像の場合は、２値画像内の黒画素（ｎ個）だけに対して、式（５）で示す変換を施す。
ｓ_ｉ：ｃ＝−Ｘ_ｉ・ｍ＋Ｙ_ｉ（ｉ＝１，２，・・・，ｎ） ……（６）
すなわち、図１０（ａ）に示す図形上の黒画素の各点ｐ_ｉ（Ｘ_ｉ，Ｙ_ｉ）に対して、式（６）で表される、ｍ−ｃパラメータ平面上の軌跡を描くと、図１０（ｂ）に示すように、それぞれ１つの直線ｓ_ｉになる。

図１１に、図９より直線を検出した結果を示す。

そこで、Ｘ−Ｙ平面の各黒画素に対して、ｍ―ｃパラメータ平面上の軌跡を描きながら、パラメータ平面上の各点の累積度数を求める。すなわち、Ｘ―Ｙ平面上の各黒画素に対応する直線に相当するパラメータ平面上の各点の累積度数に１を加えていくと、図１０（ｂ）に示すａ点やｂ点のようにＸ―Ｙ平面上で直線に対応する点の累積度数が大きい値を持つようになる。すなわち、累積度数の比較的大きな値を与える（ｍ，ｃ）の値によって、２値画像に存在する直線の傾きと切片の値を知ることができる
（回転・平行移動処理（ステップａ４））
画像を回転・平行移動する方法は、画像中の各画素の位置ベクトルの回転・平行移動によってなされる。図１２のように、画像を点（ｘ_０，ｙ_０） を中心にθ回転し、ｘ方向へΔｘ，ｙ方向へΔｙ平行移動したとき、画像中の位置（ｘ，ｙ） の画素は式（７）により位置（ｘ_１，ｙ_１）へ移動する。

しかし、画素の位置は離散的であるので、丸め誤差により移動後の画像は穴が開いたものとなる。すなわち、移動後に位置（ｘ_１，ｙ_１）に入るべき原画像中の位置（ｘ，ｙ）を求め、原画像のデータ補間により濃度値を得ればよい。式（７）を（ｘ，ｙ）について解くと、

となる。式（８）を用いて図５を左下を中心に１０°回転し、右に１０ピクセル、下に２０ピクセル平行移動した画像を図１３に示す。

以上の処理により、抽出した直線が最も良く一致するように、基準画像に対し比較画像を平行・回転移動させることにより、２つの画像を高精度に位置合わせすることができる。

図１４は、図３に示す被写体監視プログラムのうちの、画素値補正ステップ（ステップｂ）の詳細フローチャートである。

ここでは、小領域内の平均・分散取得処理（ステップｂ１）および濃度値の線形変換処理（ステップｂ２）が、画像全体にわたって行なわれ（ステップｂ３）、基準画像の撮影時点と比較画像との撮影時点とでの照明の変化等による画像への濃度値の変化が補正される。
（小領域内の平均・分散取得処理（ステップｂ１））
ここでは、まず、基準画像、比較画像の同じ位置からｎ×ｎの小領域が取り出され、その小領域内での濃度値の平均・分散が求められる。

図１５は、画像（基準画像および比較画像）の一部からなる小領域Ｒを示す図である。この少領域Ｒは、本発明にいう第２の少領域の一例に相当する。ここでは、この小領域Ｒは、一例として、画素Ｐ_０を中心とした７×７画素から構成されている。ここでは、基準画像と比較画像のそれぞれについて、その小領域Ｒ内の平均と分散が求められる。

ここでは、基準画像について求めた平均、分散を、それぞれＥ_０，Ｓ_０ ^２とし、比較画像について求めた平均、分散を、それぞれＥ_１，Ｓ_１ ^２とする。また、比較画像における、その小領域Ｒの中心画素Ｐ_０の座標を（ｘ，ｙ）とし、その画素Ｐ_０の濃度値をｆ_１（ｘ，ｙ）とする。
（濃度値の線形変換処理（ステップｂ２））
上記のようにして、基準画像を比較画像のそれぞれについて平均、分散を求めた後、ここでは、式（２）に従って、比較画像上の小領域Ｒの中央の画素Ｐ_０の濃度値ｆ_１（ｘ，ｙ）が補正後の濃度値ｇ（ｘ，ｙ）に線形変換される。

ここでは、画像上の各画素Ｐ_０を中心とした小領域Ｒを順次移動しながら、以上の２つのステップｂ１，ｂ２の処理が繰り返され、各画素の濃度値が線形変換された比較画像が求められる。
次に、照明の変化によってエッジ前後の濃度値の大小関係が反転している場合の濃度値の補正処理について照明する。この場合、上記の濃度値の平均・分散だけで補正するとエッジ前後の濃度値の大小関係は補正されず、よい結果は得られない。これを補正するために比較画像側の小領域Ｒ内にエッジが含まれていると判断できるときに、図１６のように各画素の濃度値が小領域Ｒ内の平均より大きいか小さいかの情報を１、−１で取得しておき、式（３）で示すように比較画像側での位置ｘ，ｙの濃度ｆ_１（ｘ，ｙ）を濃度ｇ（ｘ，ｙ）に補正すれば基準値に合うようになる（図１７）。

すなわち、ここでは、基準画像上の小領域内の各画素（座標（ｘ，ｙ）：ｘ，ｙは変数）の濃度値をｆ_０（ｘ，ｙ）としたとき、

とし、

により、補正後の濃度値ｇ（ｘ，ｙ）が求められる。

図１８は、濃度値の線形補正の変形例の説明図である。

ここでは、小領域Ｒ内の平均、分散に基づいて、その小領域Ｒの中央部分のもう１つの小領域Ｄ内の各画素Ｐ_０〜Ｐ_８の濃度値が補正される。このときは、領域Ｄ内の画素の座標（ｘ，ｙ）を変数と考えることにより、上記の式（２）あるいは式（３）をそのまま適用することができる。

小領域Ｒの平均・分散に基づいて中央の１つの画素Ｐ_０の濃度値のみを補正すると、高精度の補正が可能となり、小領域Ｒの平均・分散に基づいて、中央の複数の画素からなる小領域Ｄ内の各画素の濃度値を補正すると、高速演算が可能となる。

以上のような画像補正演算（ステップｂ）の次に、二値化演算（ステップｃ）が行なわれる。

図１９は、二値化演算処理（ステップｄ）の詳細フローチャートである。

ここでは、先ず、基準画像と、上記のようにして濃度値が補正された比較画像との差分画像を得ることにより、それらの画像の変化が抽出された画像を得る（ステップｃ１）。
次に、この差分画像の各画素に対して周辺ｎピクセルのＲＧＢ空間内での平均距離を算出し差分画像全体の平均距離分布を作成する（ステップｃ２）。
得られた平均距離分布の平均値Ｅ、標準偏差σから式（９）によって閾値Ｔを決定する。
Ｔ＝Ｅ＋３σ ……（９）
この閾値Ｔよりも平均距離が大きい部分が変化した部分として検出される（ステップｃ３）。尚、ここでは閾値Ｔとして上記式（９）を採用しているが、Ｔの幅（式（９）では３σの３）は適切に調整される。

図２０に、基準画像と比較画像との間での変化が大きい部分（差分画像上で強調されている部分）の特徴を示す。平均距離が大きいほど変化が大きい（強調されている）ことを表わしている。

また図２１に平均距離の画像全体の分布を示す。

平均距離が閾値よりも大きい領域が検出されると、その領域は比較画像が、その比較画像上では、基準画像から変化した（すなわち被写体に、変化が先に生じた）領域であり、ここでは、その領域内の各画素に画素値１を割り当て、また、その領域外の各画素１には、画素値０を割り当てる（ステップｃ４）、これにより二値画像が求められる。

ただし、以上のようにしてある比較画像について画素値を割り当てた領域が存在しても、この領域は、たまたまゴミやほこりが浮遊していてカメラに写ったこともあり得るため、本実施形態では、さらに以下のようにして外乱除去処理が行なわれる。

図２２は、図３のステップｄにおける足合せ演算処理の模式図である。

ここでは、外乱除去処理を行なうために、一例として、３０秒ごとに撮影して得た１０枚の比較画像１〜１０が用いられる。

図２２（Ａ）に示す１０枚の比較画像１〜１０上に描いた丸印は、基準画像から変化した領域を示している。

１０枚の比較画像１〜１０のそれぞれについて図３のステップａ〜ステップｃの演算が行なわれ１０枚の二値画像１〜１０が作成される（図２２（Ｂ））。

各二値画像１〜１０では、丸印内の領域内の各画素には、画素値１が割り当てられており、その領域外の各画素１には、画素値０が割り当てられている。

図３のステップｄでは、これら１０枚の二値画像１〜１０の、互いに対立する画素どうしの画素値が足し合わされて、足合せ画像が求められる（図２２（Ｃ））。

また、図３の変化判定ステップでは、ここに示す例では足合せ画像上に閾値８以上の画素値を有する領域が存在する場合に、被写体に変化があったものと判定される。

図２３は、以上の処理により外乱が除去され、変化があった領域のみが高精度に抽出されていることを示す図である。

ここでは、図２３（Ｃ）に示す足合せ画像の中で８以上の画素値を有する画素の座標を比較画像１〜１０に当てはめ、丸印で示す変化のあった領域内にその８以上の画素値を有する画素の座標が含まれるときに、その丸印で示す領域全域が変化のあった領域であると判定される（図２３（Ｂ））。こうすることにより、図２３（Ａ）に示すように、外乱として入り込んできた、破線で示す領域は、変化があった領域からは除外され、真に変化があった領域のみが高精度に抽出される。

次に、図２４は、製鉄所のコークス炉の炉蓋の一部を示す基準画像である。

ここでは、太線で図示された領域内のガス洩れが監視される。

図２５は、比較画像の１つを示しており、その比較画像上に、図３に示す二値化演算ステップｃまで実行した段階で求められた、被写体に変化がある領域を示している。

さらに、図２６は、図２５に示す比較画像と同一の比較画像であって、外乱を除去した後（図３のステップｅまで変化した段階）で残っている被写体に変化がある領域を示している。

図２４〜図２６は、実際に処理を行なって得た実証結果であり、外乱が有効に除去されていることが分かる。

以上の処理により、基準画像を得た基準時刻と比べ被写体に変化があったか否かが判定される。すなわち、外乱除去後の比較画像のどれかに被写体の変化がある領域が示されている場合に(図２６参照)、当該コークス炉の炉蓋の一部におけるガス漏れが検出されることができる。
さらに、本実施形態では、以下のようにしてその変化の程度を表わす指標であるＵ値が求められる。

ここでは先ず、１０枚の比較画像１〜１０のいずれか１枚（または複数枚）の比較画像について、上記のようにして抽出された真に変化があった領域（図２６の実線で示す領域）内の複数の画素について各画素値出現頻度を表わす画素値ヒストグラムが求められる（図３のステップｆ）
図２７は、画素値ヒストグラムの一例を示す図である。

図２７（Ａ）は、外乱を除去した後の、被写体の変化があった領域を示す、比較画像上の部分画像を示している。

ここでは単純化しており、画素値１００の画像が１８画素、画素値１５０の画像が１０画素、画素値２００の画像が６画素存在する。尚、ここでは、画素値０は画像上の黒、画素値２５６が画像上の白を表わしている。ここでは、Ｒ，Ｇ，Ｂの各画像から明度だけの白／黒の画像に変換した後の画素値を示しているが、この他にも、例えばＧ色の画像で代表させてもよい。

図２７（Ｂ）は、各画素値と各画素値の出現頻度を示した画素値ヒストグラムである。各画素値１００，１５０，２００の各出現頻度がそれぞれ１８，１０，６であり、他の画素値の出現頻度は０である。

図３のステップｇでは、以下の式（１）に基づいて変化の頻度を表わす評価値Ｕ値が求められる。

ここで、
Ｘ：画素値
Ｘｍｉｎ：画素値として取り得る値の最小値（ここでは０）
Ｘｍａｘ：画素値として取り得る値の最大値（ここでは２５６）
Ｙ（Ｘ）：画素値Ｘの出現頻度
Ａ，Ｂ：定数
である。

定数Ａ，Ｂの選択によりＸ，Ｙ（Ｘ）の重視の度合いが変化する。これらの定数Ａ，Ｂは、監視対象に応じてあらかじめ実験等により適切に定められる。

尚、製鉄所のコークス炉のガス洩れを監視対象とする場合、濃い漏洩ガスは白っぽく、薄い漏洩ガスは黒っぽく見えるため、値の大きな画素値（白＝２５６に近い画素値）ほどＵ値に大きく影響し、かつ出現頻度（面積）が大きいほどＵ値に大きく影響する。

本実施形態では、上記のようにして、被写体の変化の有無に加え、さらにその変化の頻度を示すＵ値が求められる。

ここで例として、コークス炉のガス漏れを監視対象とした比較画像のうち任意の一つを選択したものが図２５〜図２７にかかるものであるとして、そのＵ値について以下に述べる。

式（１）において、Ａ＝１．０，Ｂ＝０としてＵ値を求めると、この画像のＵ値は
Ｕ＝(１００*１８＋１５０＊１０＋２００＊６)＝４，５００ となる。

この画像のＵ値が比較画像全体の中で最大であった場合に、このＵ値および所定複数の設定値を用いて、ガス漏洩の程度を大中小などの多段階的に提示することが可能である。

あるいは、別途設定値と比較することで、その設定値を超えたときにはガス漏れ発生、その設定値に満たないときはガス漏れには至っていない、などの状況判断に資することも可能である。

また、比較画像のうち最大のＵ値を持つものを代表として用いて上記状況判断に使用することのみならず、他の比較画像をも用いて同様に外乱処理した後に其々のＵ値を求めて、それら複数のＵ値の平均を求めてさらにノイズを除去してガス漏れを判断することもできる。

尚、被写体に変化が生じたことは、図１に示すノートパソコン１０の表示画面３１に表示される。また、ブザーやランプ等で注意喚起するようにしてもよい。

また、上記の実施形態は、図３に示すステップａ〜ｃのうちのステップａ，ｂで、Ｒ，Ｇ，Ｂの各画像データそれぞれについて処理が行なわれ、ステップｃでは、差分画像を求める点についてはＲ，Ｇ，Ｂの各画像データそれぞれについて行なわれるが、その後はＲ，Ｇ，Ｂの各データを総合して上記の平均距離が求められ、その平均距離に基づいて被写体の変化の有無が判定されたが、例えば、被写体の変化がＧの色について強くあらわれることが分かっている場合には図３の全てのステップはいずれもＧの画像データについてのみ処理を行なえばよい。この場合には、差分画像上のＧの濃度値のみについて被写体の変化の有無が判定される。

また、ここでは差分画像を求めてその差分画像に基づいて被写体の変化の有無が判定されたが、ここでは、基準画像と補正後の比較画像との「相違」を表わす演算が行なわれればよく、狭義の「差分」に限定されるものではない。

さらに、図３のステップａは、カメラがしっかりと固定されており、被写体との位置関係が不動のときは省略してもよい。

また、上記式（１）の評価値（Ｕ値）の算出式は一例であり、画素値と画素値の出現頻度の双方に基づいて変化の程度が大きいときに現われる画素値ほど評価値に大きく反映され、かつ出現頻度が高いほど評価値に大きく反映されるように、監視対象に応じて適応的に定義した演算式を採用すればよい。

尚、ここでは、図１に示す、ノートパソコンとそのノートパソコンに接続されたカメラとからなる形態の装置を採用したが、本発明はこの形態の装置に限られるものではなく、デスクトップ型のパーソナルコンピュータを採用した形態や、カメラと一体的に構成された装置等を採用してもよい。

また、図２に示す装置の内部構成も、この図２の構成に限られるものではなく、例えばＭＯを使用しないなど、他の構成のものであってもよい。

ノートパソコンと、そのノートパソコンに接続されたカメラの外観図である。 図１に外観を示すノートパソコンのハードウェア構成図である。 図１、図２に示すノートパソコン内で実行される被写体監視プログラムのフローチャートである。 図３に示す被写体監視プログラムのうちの、カメラのブレ補正のステップ（ステップａ）の詳細フローチャートである。 プリヴィットフィルタを施す前の原画像（基準画像又は比較画像）を示す図である。 図５に示す原画像にカメラプリヴィットフィルタを施した結果得られた２値画像を示す図である。 ２値画像の画素記号を示す図である。 細線化処理の説明図である。 図６を細線化した結果を示す図である。 ハフ変換処理の説明図である。 図９より直線を検出した結果を示す図である。 回転・平行移動処理の説明図である。 図５を回転・平行移動した結果を示す図である。 図３に示す被写体監視プログラムのうちの、照明の変化の補正ステップ（ステップｂ）の詳細フローチャートである。 画像（基準画像および比較画像）の一部の小領域Ｒを示す図である。 小領域Ｒ内の各画素に、１又は−１の値を割り当てた領域を示す図である。 エッジを含む小領域の濃度値の補正処理の説明図である。 濃度値の線形補正の変形例の説明図である。 図３に示す被写体監視プログラムのうちの、照明・変化の検出ステップ（ステップｃ）の詳細フローチャートである。 基準画像と比較画像との間での変化が大きい部分（差分画像上で強調されている部分）の特徴を示す図である。 平均距離の画像全体の分布を示す図である。 足合せ演算処理の模式図である。 外乱が除去され、変化があった領域のみが高精度に抽出されていることを示す図である。 製鉄所のコークス炉の炉蓋の一部の基準画像を示す図である。 製鉄所のコークス炉の炉蓋の一部の比較画像を示す図である。 製鉄所のコークス炉の炉蓋の一部の、外乱を除去した後の比較画像を示す図である。 画素値ヒストグラムの一例を示す図である。

符号の説明

１０ ノートパソコン
２０ 本体部
３０ 表示部
４０ カメラ
１１１ ＣＰＵ
１２０ カメラコントローラ
１２１ 画像受信部

Claims (9)

1. 被写体を撮影して得た基準画像と、該被写体を撮影して得た比較画像とを比較することにより、該被写体の変化の有無を監視する被写体監視方法において、
   被写体を撮影して基準画像を得た基準時刻とは異なる複数の時刻に該被写体を撮影して得た複数の比較画像それぞれについて、前記基準画像と前記比較画像との間で変化がある第１の領域の各画素に第１の画素値を割り当てるとともに変化が無い第２の領域の各画素に第２の画素値を割り当てる二値化演算を行なうことにより、複数の二値画像を求める二値化演算ステップと、
   前記複数の二値画像の、互いに対応する画素どうしの画素値を足し合わせることにより足合せ画像を求める足合せ演算ステップと、
   前記足合せ画像に基づいて被写体の変化の有無を判定する変化判定ステップと、
   前記変化判定ステップで変化が有ると判定された場合に、前記複数の比較画像のうちの少なくとも１つの対象比較画像について、該対象比較画像上の、前記第１の領域に対応する領域を構成する複数の画素について各画素値の出現頻度を表わす画素値ヒストグラムを求めるヒストグラム算出ステップと、
   画素値と画素値の出現頻度との双方を変数とする演算式に画素値と前記画素値ヒストグラムにあらわれた各画素値の出現頻度とを代入することにより、前記対象比較画像の、前記基準画像からの変化の程度を表わす指標である評価値を求める評価値算出ステップとを有し、
   前記評価値算出ステップが、前記評価値をＵ、前記画素値をＸ、該画素値として取り得る値の最小値および最大値をそれぞれＸｍｉｎおよびＸｍａｘ、前記出現頻度をＹ、ＡおよびＢを各定数としたとき、
   前記演算式として、
   を採用して、評価値Ｕを求めるステップであることを特徴とする被写体監視方法。
2. 前記ヒストグラム算出ステップが、前記対象比較画像に代えて、前記基準画像と該対象比較画像との間の、互いに対応する画素どうしの画素値の差分からなる差分画像について、画素値ヒストグラムを求めるステップであることを特徴とする請求項１記載の被写体監視方法。
3. 前記複数の比較画像それぞれについて、比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素の画素値の平均および分散を、前記基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該複数の小領域それぞれを前記第１の小領域として実行する画素値補正ステップをさらに有し、
   前記差分演算ステップが、前記基準画像と、前記画素値補正ステップで画素値が補正された複数の比較画像それぞれとの、互いに対応する画素どうしの画素値の差分を演算することにより複数の差分画像を求めるステップであることを特徴とする請求項１記載の被写体監視方法。
4. 被写体を撮影して得た基準画像と、該被写体を撮影して得た比較画像とを比較することにより、該被写体の変化の有無を監視する被写体監視装置において、
   基準時刻に被写体を撮影して基準画像を得た基準時刻とは異なる複数の時刻に該被写体を撮影して得た複数の比較画像それぞれについて、前記基準画像と前記比較画像との間で変化がある第１の領域の各画素に第１の画素値を割り当てるとともに変化が無い第２の領域の各画素に第２の画素値を割り当てる二値化演算を行なうことにより、複数の二値画像を求める二値化演算部と、
   前記複数の二値画像の、互いに対応する画素どうしの画素値を足し合わせることにより足合せ画像を求める足合せ演算部と、
   前記足合せ画像に基づいて被写体の変化の有無を判定する変化判定部と、
   前記変化判定部で変化が有ると判定された場合に、前記複数の比較画像のうちの少なくとも１つの対象比較画像について、該対象比較画像上の、前記第１の領域に対応する領域を構成する複数の画素について各画素値の出現頻度を表わす画素値ヒストグラムを求めるヒストグラム算出部と、
   画素値と画素値の出現頻度との双方を変数とする演算式に画素値と前記画素値ヒストグラムにあらわれた各画素値の出現頻度とを代入することにより、前記対象比較画像の、前記基準画像からの変化の程度を表わす指標である評価値を求める評価値算出部とを備え、
   前記評価値算出部が、前記評価値をＵ、前記画素値をＸ、該画素値として取り得る値の最小値および最大値をそれぞれＸｍｉｎおよびＸｍａｘ、前記出現頻度をＹ、ＡおよびＢを各定数としたとき、
   前記演算式として、
   を採用して、評価値Ｕを求めるものであることを特徴とする被写体監視装置。
5. 前記ヒストグラム算出部が、前記対象比較画像に代えて、前記基準画像と該対象比較画像との間の、互いに対応する画素どうしの画素値の差分からなる差分画像について、画素値ヒストグラムを求めるものであることを特徴とする請求項４記載の被写体監視装置。
6. 前記複数の比較画像それぞれについて、比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素の画素値の平均および分散を、前記基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該複数の小領域それぞれを前記第１の小領域として実行する画素値補正部をさらに備え、
   前記差分演算部が、前記基準画像と、前記画素値補正部で画素値が補正された複数の比較画像それぞれとの、互いに対応する画素どうしの画素値の差分を演算することにより複数の差分画像を求めるものであることを特徴とする請求項４記載の被写体監視装置。
7. プログラムを実行する演算処理装置内で実行され、該演算処理装置を、被写体を撮影して得た基準画像と、該被写体を撮影して得た比較画像とを比較することにより、該被写体の変化の有無を監視する被写体監視装置として動作させる被写体監視プログラムであって、
   前記演算処理装置を、
   被写体を撮影して基準画像を得た基準時刻とは異なる複数の時刻に該被写体を撮影して得た複数の比較画像それぞれについて、前記基準画像と前記比較画像との間で変化がある第１の領域の各画素に第１の画素値を割り当てるとともに変化が無い第２の領域の各画素に第２の画素値を割り当てる二値化演算を行なうことにより、複数の二値画像を求める二値化演算部と、
   前記複数の二値画像の、互いに対応する画素どうしの画素値を足し合わせることにより足合せ画像を求める足合せ演算部と、
   前記足合せ画像に基づいて被写体の変化の有無を判定する変化判定部と、
   前記変化判定部で変化が有ると判定された場合に、前記複数の比較画像のうちの少なくとも１つの対象比較画像について、該対象比較画像上の、前記第１の領域に対応する領域を構成する複数の画素について各画素値の出現頻度を表わす画素値ヒストグラムを求めるヒストグラム算出部と、
   画素値と画素値の出現頻度との双方を変数とする演算式に画素値と前記画素値ヒストグラムにあらわれた各画素値の出現頻度とを代入することにより、前記対象比較画像の、前記基準画像からの変化の程度を表わす指標である評価値を求める評価値算出部とを備えた被写体監視装置として動作させ、
   前記評価値算出部が、前記評価値をＵ、前記画素値をＸ、該画素値として取り得る値の最小値および最大値をそれぞれＸｍｉｎおよびＸｍａｘ、前記出現頻度をＹ、ＡおよびＢを各定数としたとき、
   前記演算式として、
   を採用して、評価値Ｕを求めるものであることを特徴とする被写体監視プログラム。
8. 前記ヒストグラム算出部が、前記対象比較画像に代えて、前記基準画像と該対象比較画像との間の、互いに対応する画素どうしの画素値の差分からなる差分画像について、画素値ヒストグラムを求めるものであることを特徴とする請求項７記載の被写体監視プログラム。
9. 前記演算処理装置を、
   前記複数の比較画像それぞれについて、比較画像上の、１画素のみからなることを含む第１の小領域を包含する第２の小領域内の画素の画素値の平均および分散を、前記基準画像上の、前記第２の小領域に対応する小領域内の画素値の平均および分散に一致させることにより、比較画像上の前記第１の小領域内の各画素の画素値を補正する演算を、比較画像をそれぞれが１画素のみからなることを含む複数の小領域に分割したときの該複数の小領域それぞれを前記第１の小領域として実行する画素値補正部をさらに備え、
   前記差分演算部が、前記基準画像と、前記画素値補正部で画素値が補正された複数の比較画像それぞれとの、互いに対応する画素どうしの画素値の差分を演算することにより複数の差分画像を求めるものである被写体監視装置として動作させることを特徴とする請求項７記載の被写体監視プログラム。