JP4817318B2

JP4817318B2 - ２次元濃度ヒストグラムを用いた変化抽出方法、システム、及びプログラム

Info

Publication number: JP4817318B2
Application number: JP2006317423A
Authority: JP
Inventors: 泰代喜多
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2006-02-24
Filing date: 2006-11-24
Publication date: 2011-11-16
Anticipated expiration: 2026-11-24
Also published as: JP2007257610A

Description

本発明は、同一物体の濃淡値の変化ではなく、新しい物体の出現、もしくは存在した物体の消失を検出する２次元濃度ヒストグラムを用いた変化抽出方法、システム、及びプログラムに関する。

異なる時間に撮影された同一シーンの画像間の変化抽出は、監視画像からのイベント検出、医用、マシンビジョンにおける異常検出、航空・衛星画像からの変化抽出など、様々な応用において重要性を増している（非特許文献１）。もし、比較する２画像が異なる視点から撮影された場合には、まず、両画像を位置あわせする処理が必要である（非特許文献２）が、本発明は、観測画像が同一視点から撮影、もしくは、既に位置あわせ前処理が行われていることを前提とし、変化抽出処理に集中する。

もし、入力画像がフレームレートのような非常に短い時間間隔で撮影されている場合には、前後何枚かの時系列画像を用いた適用背景差分（非特許文献３，４）のアプローチが効果的である。しかし、実応用においては、変化を抽出したい画像間がもっと大きな時間空いて撮影されている場合も多く、この場合には、新しい物体の出現など真に抽出したい変化を撮影時の照明条件の違いによる同一物体の濃度変化から識別して抽出することが難しくなる。とりわけ、天候により太陽光の影響が大きく異なる屋外シーンの場合に特に大きな問題となる。

特許文献１〜３は、欠陥や異物などの変化を抽出する技術を開示するが、しかし、これら特許文献に記載の技術はいずれも、撮影時間や天候により太陽光の影響が大きく異なる屋外において用いることを想定しておらず、それ故に、真に検出すべき変化なのか、或いは単なる環境光の変動による濃度値変化なのかを識別することができない。

特開２００４−２９６５９２号公報特開２００４−３０１７４８号公報特開２００２−３４５８０７号公報 R.J. Radke, S. Andra, O. Al-Kofahi and B. Roysam:" Image change detection algorithms: a systematic survey", IEEE Trans. on Image Processing, Vol. 14, No.3, pp. 294-307, 2005. B. Zitov´a and J. Flusser:" Image registration methods: a survey ", Image and Vison Computing, Vol.21, No.11, pp.977-1000, 2003. K. Toyama, J. Krumm, B. Brumit, and B. Meyers: " Wallflower: principles and practice of background maintenance ", In Proc. of International Conference on Computer Vision, pp. 255-261, 1999. M. Pic, L. Berthouze, and T. Kurita B:"Adaptive background estimation: computing a pixel-wise learning rate from local confidence and global correlation values", IEICE Trans. on Information and System, Vol. E87-D, No.1, pp.50-57, 2004. F. Maes, A. Collignon, D. Vandermeulen, G. Marchal, and P. Suetens: " Multimodality Image Registration by Maximization of Mutual Information", IEEE Trans. on Medical Imaging, Vol. 16, No. 2, pp. 187-198, 1997. http://model.job.affrc.go.jp/FieldServer/FieldServerEn/default.htm: T. Fukatsu and M. Hirafuji:" Field Monitoring Using Sensor-Nodes with a Web Server", Journal of Robotics and Mechatronics, Vol. 17, No.2, pp. 164-172, 2005. P.A. Bromiley, N.A. Thacker, and P. Courtney: "Non-parametric Image Subtraction using Grey Level Scattergrams", Image and Vison Computing, Vol. 20, pp. 609-617, 2002.

本発明は、同一物体の濃淡値の変化ではなく、新しい物体の出現、もしくは存在した物体の消失を検出する。図２，図３は異なる時間に撮影された同一シーンの２枚の画像の変化が、単純な明るさ変化だけですまない一例である。これらはセンサネットワークの１ノードであるフィールドモニタリングサーバ( Field Monitoring Server,以下FMSと略記）（非特許文献６，７参照）のカメラによって、同一位置で両画像それぞれ、朝7時６分、昼１１時５９分に撮影された画像である。図４は、２枚の画像それぞれの平均明るさを考慮した絶対値差分画像で、具体的には、｜I1(x)−aI2(x)｜である。ただし、
で、Ｉk,xとnは、それぞれ、ｋ画像の濃度値(0〜255)、座標値と総画素数である。図５の白い領域は、この差分画像において３０以上の値を持つ画素を変化画素として抽出したものである。今、新規物体の表出と既存物体の消失が課題であるとすると、実際には、手前にある道路上に新しく１台設置されたFMSのカメラのみ(図中グレイの丸で囲む)が抽出すべき領域であるが、この２値化の結果からこの領域変化を検出するのは非常に難しい。

そこで、本発明は、係る問題を解決して、異なる時間に撮影された同一シーンの画像間の変化を抽出する際に、屋外シーンから新しい物体が出現したり、それまであった物体がなくなるような変化を、環境光の変動による濃度値変化とは区別して検出することを目的としている。

本発明の２次元濃度ヒストグラムを用いた変化抽出方法、システム、及びプログラムは、２枚の画像の２次元濃度ヒストグラムを元にして変化抽出を行う。本発明は、濃度値(I1,I2)を２軸として両画像の同じ座標値ｘにおける濃度値のペア(I1(x),I2(x))の頻度分布を表す２次元濃度ヒストグラムを作成し、この濃度ヒストグラム上に形成される頻度分布クラスタがカバーする濃度値(I1,I2)の組み合わせを、そのクラスタの特性により「重要でない」変化と、残りの「重要な」変化に分け、これを記した２次元テーブルSig(I1,I2)を作成し、座標値xにおける各画素の濃度値(I1(x),I2(x))をこのテーブルと参照して重要と重要でない画素に分けることにより、変化領域を抽出することを特徴としている。

本発明によれば、医用画像処理において、差分前に片方の画像を適切に変換する式を決定する目的に２次元ヒストグラム(散布図）を用いるような従来手法に対比すれば、２次元ヒストグラムのもっと多くの情報を利用し、直接的に(I1,I2)のペアを重要か重要でない濃度値変化に分類することができる。本発明は、(I1,I2)のペアを自由に重要/非重要に切り分けられる柔軟性と、比較画像ペアごとへの適応性により、屋外シーンの難しい変化検出において、良好な性能を示した。

以下、例示に基づき本発明を説明する。図１は、本発明の概略構成を示す図である。本発明は、２枚の画像の２次元濃度ヒストグラムを元に、画像間の濃度変化の組み合わせのうち、抽出したい「重要な」変化とそうでない変化を推定することにより、変化抽出を行う手法を提案する。
まず、図中のステップＳ１において、２枚の画像の２次元濃度ヒストグラムを作成する。２次元濃度ヒストグラムとは、両画像の濃度値(I1,I2)を２軸とする座標値ｘにおける濃度値のペア(I1(x),I2(x))の頻度分布である。ここで、Ik は、座標値xにおける画像k の濃度値(0〜255)とする。２次元濃度ヒストグラムは、２枚の画像の位置あわせの際によく使われる（特許文献１，非特許文献５参照）。

ステップＳ２において、２次元濃度ヒストグラム上の各クラスタの尾根線の性質から背景クラスタを選択する。画像間で同一物体が存在する背景領域が大半を占める場合、背景領域に含まれる画素は、I2＝ I1の近傍に大きなクラスタを構成する。このことを利用して、２次元ヒストグラム上の尾根線を調べることにより、背景領域に対応するクラスタを推定することが可能である。具体的には、ピークの連なる尾根線の(I1, I2)平面への投影がI2=I1とそれに近いクラスタだけを選択する。
ステップＳ３において、選択した背景クラスタがカバーする濃度値(I1,I2)の組み合わせを「重要でない」変化、残りを「重要な」変化とし、これを記した２次元テーブル, Sig(I1,I2)を作成する。

ステップＳ４において、座標値xにおける各画素の濃度値(I1(x),I2(x))をこのテーブルと参照し、重要な変化画素を抽出する。

ステップＳ５において、抽出された画素の連結領域から、変化抽出の対象とするサイズを満たす領域を変化候補領域とし、その領域における、２画像間のグラディエント相関を算出し相関値の低い領域を変化領域と最終決定する。この際、風による枝のゆれなど、２画像間でわずかに場所を変化させる領域も抽出して取り除く。このような場所では、ぴったりと対応した位置ではないが、その近傍に同様なグラディエント画像が存在する。従って、対応する領域間で片方を近傍でずらしながら各位置で類似度、Se を算出し、最大値をその領域間の類似性の指標とすることにより、このような領域を抽出したい変化から識別することができる。以下、本発明についてさらに詳細に説明する。

（２次元濃度ヒストグラム内のクラスタ）
図６は、図２及び図３に示す画像の２次元濃淡ヒストグラムで、頻度を明るさで表している。この２次元濃度ヒストグラムは、両画像の濃度値(I1,I2)を２軸とする座標値ｘにおける濃度値のペア(I1(x),I2(x))の頻度分布である。ここで、I1(x),I2(x)は、座標値xにおける各画像の濃度値(0〜255)とする。所定値以上の頻度を有する高い頻度部分の集まりを「クラスタ」と称している。また、このクラスタ内の頻度ピークの形成する線を尾根線と称している。両画像に変化が無ければ、２枚の画像の同じ座標値に位置する濃度値Ｉ1と、濃度値Ｉ2は等しくなるので、原点を通る対角線上のみに頻度分布することになる。

［０００６］で述べた絶対値差分はこの２次元濃淡ヒストグラムを用いて次のように考えることができる。もし、I1(x)が、(aI2(x)−30)以上で、(aI2(x)＋30)以下であれば、重要でない変化と捉える。すなわち、図７にグレイで記した対角線領域に含まれる(I1,I2)のペアは重要でない変化と捉える。これは、別の捉え方をすれば、(I1,I2)のペアを図８のような２次元テーブルを使って重要と重要でない変化に分けたと考えることができる。ここで、(I1,I2)のペアを重要と重要でない変化に分けるこのテーブルをSig(I1, I2)とし、Sig(I1, I2)=1、Sig(I1, I2)=0がそれぞれ重要と重要でない変化と定義する。その上で、入力画像の２次元濃淡ヒストグラムの頻度分布を利用し、より適応的にこのテーブルを決定する。

図６の２次元ヒストグラムからわかるように、いくつかのクラスタが存在する。もし、２枚の画像間で全く濃度変化がなければ、すべての画素は、I2=I1上に並ぶ。全体的な画像の明るさ変化がある場合、大半の画素がそれぞれの位置から同様な平行移動を生じる。したがって、もしそうした全体的な明るさ変化だけを受ける画素が大半であれば、こうした画素は、I2=I1の近傍で、その尾根線の(I1, I2)平面への投影が、I2=I1と同様な傾きを持つクラスタを構成する。反対に、それと異なるクラスタは、全体的な明るさ変化とは異なる種類の濃度値変化をもつ画素に対応する。例えば、図２，図３の例では、濡れた路面の鏡面反射、木の幹の湿り具合、新しいカメラ(FMS)の出現などの要因である。

図９，図１０は、標準偏差σ =3.0の２次元ガウス関数によって平滑化した２次元ヒストグラムとその断面図である。図９上に示した点線位置の断面図を、図１０に示している。図１０に示す断面図において、クラスタのピークを矢印で、そのピークを持つクラスタの境界を求めた結果を点線で示す。ここで、境界は、隣のクラスタとの谷、もしくは、値が初めて1.0以下になる位置である。同様な処理をI2=−I1＋b(b =0〜512)のすべての断面において繰り返して得られたピークとその境界を、図９にそれぞれ濃いグレイと薄いグレイで付加している。

もし、ピークの連なる尾根線の(I1, I2)平面への投影がI2=I1と近いクラスタだけを選択し、そのクラスタがカバーする(I1, I2)のペアだけを重要でない変化とすると、図１１にグレイで示した領域がSig(I1, I2)=0(insignificant)となる。この領域だけを0としたテーブルSig(I1, I2)を用いて変化領域を抽出した結果が図１２の白い領域である。図から読み取れるように、全体的な明るさ変化による濃度値変化以外を示す領域はほぼすべて得られている。どのような変化を「重要」と捉えるかは目的によって変化する。しかし、多くの応用課題において、この例における路面や木の幹の変化など同一物体の濃淡値変化は無視したいことが一般的である。そこで、次に、このような変化に対応するクラスタを選択する一手法を示す。

（変化抽出手法Ｉ）
屋外シーンでは、影や正反射の影響が、しばしば同一物体の大きな濃度値変化を生じ、抽出したい変化との識別が難しいが、この識別は、こうした原因によるクラスタの抽出で実現できる。影や正反射による影響が非常に強力である場合を除くと、これらの影響により画素の濃度値が変化した後でも、変化する前の濃度分布をある程度保った形で(I1, I2)平面を平行移動する。ただし、こうした影響を受けない画素とは異なる成分の平行移動となる。もし、同様な影や正反射の影響を受けた領域がある程度の濃度分布を持った広い領域であれば、その領域の画素はある程度のクラスタを構成する。また、その尾根線の(I1, I2)平面への投影の傾きは、I2=I1と大きくかけ離れない傾きとなる。（以後、このような２次元ヒストグラム上のクラスタの尾根線の(I1, I2)平面への投影線の傾きを、「尾根線の傾き」と略して呼ぶ。）これらの特性を考慮して、次のようなアルゴリズムで「重要でない」変化を示す画素を取り除く。

（１）２次元濃度ヒストグラムのピーク検出を、比較する２枚の入力画像の２次元ヒストグラム上から、上述した手法でピークとそのピークに属するクラスタの境界の(I1, I2)平面上での位置を求める。連結ピーク点からなる尾根線を抽出し、もっとも長い尾根線の平均傾き、D0を算出する。
（２）クラスタの選出閾値L1より長い尾根線を持つクラスタを抽出する。これらのクラスタから尾根線の平均傾きがD0に近い、具体的にはD0から±D1のクラスタだけ選択する。ただし、濃度値0,255近傍における濃度値飽和の影響を考慮するため、(0, 0),(255, 255)近傍で、水平、垂直な尾根線を持つクラスタも選択する。
（３）濃度値ペア(I1, I2)を重要/非重要変化に分類するテーブルSig(I1, I2)を、次のように作成する。
Sig(I1, I2)=0 if (I1, I2)is included in selected clusters.
{
Sig(I1, I2)=1 else

入力画像上の各画素の(I1(x), I2(x))の値をこの表と照会し、重要変化を示す画素を抽出する。
以上で用いる３つのパラメータσ,L1、D1は、各応用における、目的と入力画像画質に応じて調整すべきである。しかし、本明細書で扱った３つの異なる屋外シーンの実験を通じ、これらパラメータを細かく調整する必要性は感じられなかったため、この実験ではすべてに同じパラメータ、3.0, 20(pixels) and 15(deg)を用いている。

このアルゴリズムにしたがって、図１３にグレイで示される領域が背景クラスタと選択され、これがSig(I1, I2)=0の領域となる。図１４に、この表に従って抽出された変化画素を白く示す。ほとんどの望ましくない濃度変化は無視され、除かれている。結果として、新しく加わったFMSカメラは他領域から独立して抽出されている。

（変化抽出手法II）
屋外シーンでは、影や鏡面反射の影響が、しばしば同一物体の大きな濃度値変化を引き起こし、抽出したい変化との識別が難しい。影や鏡面反射が非常に強力である場合を除くと、これらの影響もI2＝ N(C,σ)I1の形で近似できると考える。ただし、ここで、N(C,σ)は、Cを平均値、σを分散とするガウス関数を表す。また、先の例では、雨により木肌表面の色合いが大きく暗くなった部分が、I2＝ 0.6I1上にピークを持つクラスタを構成している。以上のように、同一要因により画素の濃度値が変化した場合、要因、物体の特質によりその係数Cは異なるが、図２０に示すように、I2＝ CI1(C > 0)に尾根線を持ち、その垂直方向に広がりを持つクラスタを形成する確率が高いと考えられる。

一方、２画像間で物体の消失、出現があった場合の濃度値ペアの分布を次のように考えてみる。２画像の順序を入れ換えれば消失は出現となるので、出現のみを考える。問題を単純化して、
（１）単一輝度値背景に単一輝度値の新規物体、
（２）単一輝度値背景に複数輝度値の新規物体、
（３）複数輝度値背景に単一輝度値の新規物体、
（４）複数輝度値背景に複数輝度値の新規物体
の４つの場合に分類すると、各場合の濃度値ペアの分布模式図は図２１に示すようになる。図２０、図２１の観測から、（１）は背景クラスタと離れた位置にあれば分離可能、（２）、（３）はクラスタの尾根線の傾きより分離可能、（４）は、大部分が背景クラスタと離れた位置にあれば分離可能、と考えられる。そこで、この考察に基づき、背景クラスタ推定を基本とする、次のような変化画素抽出アルゴリズムを提案する。

I）２次元濃度ヒストグラム上からクラスタとその尾根線を算出する。
II) 尾根線に基づき背景クラスタを推定する。
III）背景クラスタが覆う(I1, I2)ペアを「重要でない変化」、それ以外のペアを「重要な変化」とするテーブルを作成し、それに基づき、各画素を判定、「重要な変化」を示す画素を抽出する。

以下、上記アルゴリズムを実現する実装例を示す。
ｉ)２次元濃度ヒストグラムのクラスタ検出
まず、２次元ヒストグラムを２次元ガウス関数によって平滑化する。図２２は、σ =3.0の２次元ガウス関数によって平滑化した図２，図３の入力画像の２次元ヒストグラムの(I1, I2)平面への投影図である。図２０に示したI2=CI1上の尾根線を鋭敏に抽出するため、I1I2平面を極座標(r, θ)で表し、r一定でθ :0〜 90度に走査した断面形状からピークを検出する。図２２にr =240の走査線の位置をグレイの線で、図２３にその断面図を示す。後者の図中、矢印と点線は、それぞれ抽出されたピークとその境界の位置を示す。ここで、境界位置は、隣のピークとの谷、もしくは、1.0未満となる所として抽出しているが、ピーク近傍分布をガウス関数で近似して分散値を求め、その分散幅に基づいて決定する方法も考えられる。同様な処理をr =1〜 256√2のすべての断面で繰り返して得られたピークとその境界の(I1, I2)平面上での位置を、図２２にそれぞれ示す。(I1, I2)平面上での、ラベリング処理など２次元画像処理を適用し、隣接するピーク群を抽出し、ピークが連続する尾根線を求める。同じ尾根線に属するピーク内の画素を一つのクラスタとし、クラスタの境界は、属するピークの境界点列で表す。

ii)クラスタの選出
閾値L1より長い尾根線を持つクラスタに対して、原点からクラスタ重心までのベクトルとその尾根線の平均傾きの角度差を算出し、これが閾値D1以下のクラスタを背景クラスタとする。ただし、濃度値0,255における濃度値飽和の影響を考慮するため、(0, 0),(255, 255)近傍では、水平、垂直な尾根線を持つクラスタも選択する。

iii)重要な変化を示す画素の抽出
(I1, I2)のペアを重要と重要でない変化に分けるテーブルSig(I1, I2)を次のように作成する。
Sig(I1, I2)=0 if (I1, I2)is included in selected clusters.
{
Sig(I1, I2)=1 else

入力画像上の各画素の(I1(x), I2(x))の値をこの表と照会し、重要変化を示す画素を抽出する。以上の処理で用いる３つのパラメータσ,L1、D1は、各応用における目的と入力画像画質に応じて調整が必要である。しかし、本明細書で扱った３つの異なる屋外シーンの実験において、これらパラメータを調整する必要はなく、本明細書の実験ではすべてに同じパラメータを用いた。このアルゴリズムにしたがって、図２４に示される領域が背景クラスタと選択され、これがSig(I₁, I₂)=0の領域となる。図２５に、このテーブルに従って抽出された変化画素を白く示す。ほとんどの望ましくない濃度変化は無視され、除かれている。結果として、新しく出現した全方位カメラが背景領域から切り出されて抽出できている。

（グラディエント相関による識別）
上述の処理では、小さな領域でおきている重要でない濃度変化は除かれない。しかし、いったん、図９〜図１４に示すようにして、変化候補領域が大半を占める背景から分離されれば、真に抽出したい変化をその他のものから識別することは、候補領域ごとの識別処理により実現可能である。本発明者はグラディエント相関を用いる例を図１５〜図１９を用いて説明する。この識別処理は、抽出された画素の連結領域から、変化抽出の対象とするサイズを満たす領域を変化候補領域とし、その領域における、２画像間のグラディエント相関を算出し、相関値の低い領域を変化領域と最終決定する。以下、さらに例示に基づき説明する。

変化画素として抽出された２値画像に領域ラベリング処理を適用し、面積N 1画素以上の連結領域を候補領域とする。この実験では、N 1=300とした。図１５の例では、グレイで囲まれた領域が候補領域である。ソーベルオペレータを用いて、これらの領域におけるｘ、ｙ両方向のグラディエント画像を算出する。図１６は１枚目の画像のｘ方向のグラディエントの大きさを濃度で示したものである。

図１７は２枚目の画像のｘ方向のグラディエントの大きさを濃度で示したものである。ここで、グラディエントの類似性を
と定義する。ただし、μi,k とσi,k は、それぞれ、各候補領域におけるi 画像のk 方向のグラディエント画像の平均と標準偏差である。各候補領域は、その領域のSe に従って、「重要な変化」(0.0<Se < 0.1),「重要な変化かもしれない」(0.1< Se < 0.3),「重要な変化ではない」 (0.3< Se < 1.0)の３つに分類される。図１８、図１９は、それぞれの入力画像に、「重要な変化」「重要な変化かもしれない」「重要な変化ではない」領域をそれぞれ、太線、中線、細線で囲んだものである。

風による枝のゆれなど、２画像間でわずかに場所を変化させる領域が存在し、かつこれを変化と数え上げたくない場合がしばしば存在する。このような場所では、ぴったりと対応した位置ではないが、その近傍に同様なグラディエント画像が存在する。従って、対応する領域間で片方を近傍でずらしながら各位置で上記類似度、Se を算出し、最大値をその領域間の類似性の指標とすることにより、このような領域を抽出したい変化から識別することができる。ずれの許容量(T 1)は、無視したい部分移動の状況に応じて決定すべきであるが、本実験では、T 1を５画素とした。

FMSによって撮影された３つのシーンの１００枚以上の時系列画像を用いて、本発明手法の性能実験を行った。時系列画像間の撮影間隔は２分から３０分である。

（大きな影に対する頑健性）
図２６，図２７は５分間隔で撮影された画像で、急激な環境光の変化が変化抽出を難しくする例である。図２８は、図５と同様に絶対値差分後、30の閾値で２値化した結果である。大きな影の部分が変化として抽出され、抽出したい人物の出入りなどの変化を見わけにくくしている。図２９は、これらの画像の２次元ヒストグラムからピークとそれに対応する境界を選んだ結果であるが、影や正反射による濃度値変化によりいくつかの大きなクラスタが観測される。図３０のグレイの領域は提案手法により選択されたクラスタで、図３１がここに含まれる(I1, I2 )のペアだけを0とした重要/非重要テーブル、Sig(I1, I2)に基づき、抽出された変化画素を示す。大きな影領域が背景として排除されることにより、抽出したい人の退出を含む少ない候補領域だけが残り、各候補領域のグラディエント画像類似度を調べることにより人の変化だけを変化(太線）、変化の可能性あり（中線）として抽出できている。

（部分平行移動に対する頑健性）
図３２，図３３は１４時３２分と１４時４２分に撮影された連続フレームである。両画像間では、太陽の位置の変化により影も移動している。これによる影領域の変化は、検出したい異常事象の想定面積と同程度であるため、２次元ヒストグラム上で大きなクラスタとはならず、重要変化画素として抽出される。もし、部分ずれを許容しない、すなわち、T1=0とすると影を含む候補領域がすべて変化領域として抽出されてしまうが、部分ずれを許すことによって影による変化を取り除くことができ、人の出現、退出の部分だけが検出できた。

（大きな明るさ変化に対する頑健性）
さらに、夕方、１時間おきに撮影された駐車場の４枚の画像について実験を行った。このシーンにおいては、ビル、路面、木、車と多種の材質の物体を含むため、環境光の変化が様々な画素の濃度値変化を引き起こし変化抽出が難しい例である。この画素の濃度値の変化の多様性は、各画像間の２次元濃度ヒストグラムの散逸性に表れた。本発明手法による変化抽出結果によれば、望ましくない領域もいくつか過検出されたが、ほぼ確実に車の入退出を検出できた。

本発明の概略構成を示す図。図３とは異なる時間に撮影された同一シーンの画像。図２とは異なる時間に撮影された同一シーンの画像。２枚の画像それぞれの平均明るさを考慮した絶対値差分画像。差分画像において３０以上の値を持つ画素を変化画素として抽出した図。図２及び図３の２次元濃淡ヒストグラム。重要でない変化を識別した図。重要と重要でない変化に分けるための２次元テーブル。２次元ガウス関数によって平滑化した２次元ヒストグラム。図９に示す２次元ヒストグラムの断面図。重要でない変化を示す図。変化領域を抽出した結果を示す図。背景クラスタとして選択した結果を示す図。抽出された変化画素を示す図。連結領域を候補領域として示す図。１枚目のｘ方向のグラディエント画像。２枚目のｘ方向のグラディエント画像。図２の画像に変化領域の識別結果を記した図。図３の画像に変化領域の識別結果を記した図。 I2＝ CI1(C > 0)に尾根線を持ち、その垂直方向に広がりを持つクラスタを示す図。各場合の濃度値ペアの分布模式図。図２，図３の入力画像の２次元ヒストグラムの(I1, I2)平面への投影図。図２２に示したr =240の走査線の位置の断面図。背景クラスタと選択されたSig(I₁, I₂)=0の領域。テーブルに従って抽出された変化画素を白く示す図。図２７とは５分間隔で撮影された画像。図２６とは５分間隔で撮影された画像。絶対値差分後、３０の閾値で２値化した結果を示す図。２次元ヒストグラムからピークとそれに対応する境界を選んだ結果を示す図。選択されたクラスタを示す図。変化領域の識別結果を記した図。図３３と連続して撮影された連続フレーム。図３２と連続して撮影された連続フレーム。

Claims

２枚の画像の２次元濃度ヒストグラムを元にして変化抽出を行う変化抽出方法において、
濃度値(I1(x),I2(x))を２軸として両画像の同じ座標値ｘにおける濃度値(I1,I2) 組み合わせの頻度分布を表す２次元濃度ヒストグラムを作成し、
前記２次元濃度ヒストグラム上に形成される各クラスタの尾根線の(I1,I2)平面への投影の平均傾きを算出し、その中でもっとも長い尾根線の平均傾きD0と大きくかけ離れない閾値D1以内の傾きの尾根線を持つクラスタがカバーする濃度値(I1,I2)の組み合わせを「重要でない」変化とし、残りの「重要な」変化とに分け、これを記した２次元テーブルSig(I1,I2)を作成し、
座標値xにおける各画素の濃度値(I1(x),I2(x))をこのテーブルと参照して重要と重要でない画素に分けることにより、「重要でない」変化を取り除くことで、変化領域を抽出する、
ことから成る変化抽出方法。
上記重要な変化として抽出された連結画素領域における２画像間のグラディエント画像の類似性を算出し、類似性の低い領域を変化領域と決定する請求項１に記載の変化抽出方法。
２枚の画像の２次元濃度ヒストグラムを元にして変化抽出を行う変化抽出システムにおいて、
濃度値(I1(x),I2(x))を２軸として両画像の同じ座標値ｘにおける濃度値(I1,I2) 組み合わせの頻度分布を表す２次元濃度ヒストグラムを作成する手段と、
前記２次元濃度ヒストグラム上に形成される各クラスタの尾根線の(I1,I2)平面への投影の傾きを算出し、その中でもっとも長い尾根線の平均傾きD0と大きくかけ離れない閾値D1以内の傾きの尾根線を持つクラスタがカバーする濃度値(I1,I2)の組み合わせを「重要でない」変化とし、残りの「重要な」変化とに分け、これを記した２次元テーブルSig(I1,I2)を作成する手段と、
座標値xにおける各画素の濃度値(I1(x),I2(x))をこのテーブルと参照して重要と重要でない画素に分けることにより、「重要でない」変化を取り除くことで変化領域を抽出する手段と、
から成る変化抽出システム。
上記重要な変化として抽出された連結画素領域における２画像間のグラディエント画像の類似性を算出し、類似性の低い領域を変化領域と決定する請求項３に記載の変化抽出システム。
２枚の画像の２次元濃度ヒストグラムを元にして変化抽出を行う変化抽出プログラムにおいて、
濃度値(I1(x),I2(x))を２軸として両画像の同じ座標値ｘにおける濃度値(I1,I2) 組み合わせの頻度分布を表す２次元濃度ヒストグラムを作成する手順と、
前記２次元濃度ヒストグラム上に形成される各クラスタの尾根線の(I1,I2)平面への投影の傾きを算出し、その中でもっとも長い尾根線の平均傾きD0と大きくかけ離れない閾値D1以内の傾きの尾根線を持つクラスタがカバーする濃度値(I1,I2)の組み合わせを「重要でない」変化とし、残りの「重要な」変化とに分け、これを記した２次元テーブルSig(I1,I2)を作成する手順と、
座標値xにおける各画素の濃度値(I1(x),I2(x))をこのテーブルと参照して重要と重要でない画素に分けることにより、「重要でない」変化を取り除くことで変化領域を抽出する手順と、
から成る各手順を実行させるための変化抽出プログラム。
上記重要な変化として抽出された連結画素領域における２画像間のグラディエント画像の類似性を算出し、類似性の低い領域を変化領域と決定する手順をさらに含む請求項５に記載の変化抽出プログラム。