JP4209265B2 - 背景領域検出装置、方法および該方法を実行するためのコンピュータプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に係り、動画像から動きを持つ物体とそれ以外を実時間で分離する、背景領域検出装置及び方法に関する。
【０００２】
最初に、本願明細書の発明の詳細な説明で使用する技術用語について定義する。
[用語の定義]
「二値化閾値」： 多階調画像について、各画素値が、ある与えられた境界値よりも大きいか大きくないかに基づき、それぞれ１と０の二値を与えるという処理を画像全体に施し、１か０の値を持つ二値画像へと変換する際の、境界として用いる値のことを二値化閾値という。
「ラン」： 二値画像において、水平あるいは垂直方向に同一画素値が連続して存在する部分をランという。
「ラン長閾値」： 本発明において、二値化画像において同一の値が水平あるいは垂直方向に連続する部分（ラン）の、端から端までの長さが、ある与えられた境界値よりも大きいか大きくないかに基づき、消去すべきかしないかを判断する際の、境界として用いる値のことをラン長閾値という。
【０００３】
【従来の技術】
従来、画像から移動物体および背景領域を分離抽出する手法として「背景差分法」と呼ばれる方法があり、その基本原理は、動画像を含まない画像信号（以下、背景フレームと呼ぶ）をメモリに蓄えておき、連続して入力される画像と、該背景フレームの差分（以下、フレーム間差分と呼ぶ）に二値化閾値処理を施し、差分が比較的小さい部分を背景領域、大きい部分を動物体領域とするものである。
【０００４】
この背景差分法を改良した方式が種々存在する。
例えば、背景領域に含まれる雑音について、背景領域（二値画像）の膨張・収縮処理を行うことによりこれを除く方法（例えば、特許文献１参照）や、メディアンフィルタによりこれを除く方法(例えば、特許文献２参照)がある。
【０００５】
また、照明条件など輝度の変化に追従するため、背景フレームを複数ブロックに分割し、背景フレームおよび前景フレームそれぞれの平均値を調べ、信号値に定数を加えることにより正規化するいわゆる加減型の方法（例えば、特許文献３参照）や、平均値を元に信号値に定数を乗ずることで正規化するいわゆる乗除型の方法（例えば、特許文献４参照）などの方法がある。
また、入力される画像に対し、縮小処理（平滑化および画素間引き）を施して、全体の処理を高速化する方法がある(例えば特許文献２参照)。
【０００６】
【特許文献１】
特開平０６−２５１１５１号公報
【特許文献２】
特許第３２３０９５０号公報
【特許文献３】
特開平０７−１２８２００号公報
【特許文献４】
特開２００１−３２５６７２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記の背景領域検出処理においては以下に示すような問題がある。
まず、膨張・収縮処理で除くことができる雑音の大きさは限られている。例えば膨張・収縮をそれぞれ２回ずつ繰り返す場合、縦横の幅いずれかが４画素より大きな雑音は残存する。回数を増やせばより大きな雑音を除くことができるが、正しい領域境界の形状がますます鈍るうえに、処理時間も増大してしまう。メディアンフィルタで除くことができる雑音の大きさも、そのフィルタカーネルのサイズ（通常３×３や５×５）と同等であり、これを大きくすると処理時間が増大してしまう上に、やはり正しい領域境界の微細な形状が鈍るという問題があった。
【０００８】
また、撮像機構から入力される画像信号には、デバイスの熱雑音等に由来する雑音成分が必ず重畳されている。フレーム間差分のように信号同士の差分を計算する際、この重畳雑音は抽出される背景領域の精度に悪影響をおよぼす。背景領域のより正確な抽出にはこの雑音の低減が望ましい。しかしながら、従来の技術では入力される背景フレーム信号をそのまま用いており、抽出される背景領域の精度への悪影響は残存したままであった。
【０００９】
また、撮像機構が通常備えている自動焦点調節機能が動作した場合、背景撮影時と前景撮影時では合焦点が異なっている可能性が高く、そのような場合は背景フレームと前景フレームのボケ度合が異なるため、同一位置であっても画素値の不一致を招くことがある。従来はこのような場合の対処が考慮されていなかった。上述の特許文献２の方法は平滑化処理を含んでおり、一般に画像の空間平滑化処理はボケを近似可能であるが、該特許文献の平滑化処理は、画像縮小における間引き間隔から定まるナイキスト周波数以下に信号帯域を制限する手段であり、ボケ度合を必ずしも一致させるものではない。
【００１０】
また、撮像機構は通常自動利得制御（ＡＧＣ）および自動オフセット制御（ＡＯＣ）と呼ばれる、照明や被写体の明暗（平均輝度）および輝度分布（ダイナミックレンジ）に応じて信号値を自動調節する機能を持っている。前者（ＡＧＣ）は信号のダイナミックレンジを変化させる機能、後者（ＡＯＣ）は信号の平均輝度を変化させる機能であり、これら機能により、得られる画像のコントラストが調節され、人間にとって見やすくすることができるため、広く用いられているものである。しかしながら背景差分方式にとっては、前景の登場・移動により画像全体の明暗が変化すればＡＧＣあるいはＡＯＣ機能が動作し、実際は色や明るさの変化しない背景の同一画素においても、得られる画像信号においては画素値が変動してしまうため、フレーム間差分が０ではなくなるという問題がある。従来の方法では、ＡＯＣによる平均輝度変化には追従できるものの、ＡＧＣによるダイナミックレンジの変化さらにはＡＯＣ，ＡＧＣ両方による変化には正しく追従ができなかった。
【００１１】
本発明は上記問題点に鑑み、処理量を抑えつつ、従来実現できていなかった
▲１▼領域境界の微細形状を残しつつ比較的大きな雑音の除去、
▲２▼背景フレームに含まれる雑音の低減、
▲３▼自動焦点調節機能動作に対する補償、
▲４▼ＡＧＣ，ＡＯＣ機能動作に対する補償
を実現することを目的としている。
【００１２】
【課題を解決するための手段】
［第１の解決手段］

請求項１に記載の装置では、水平又は垂直雑音除去手段が、二値の背景画像を水平又は垂直方向に１ラインずつ走査し、同じ値が連続する「ラン」の長さを調べ、与えられているラン長閾値よりも長ければそのランは雑音ではないとして保存する。短ければこの短いランは雑音であるとして消去、つまりこの短いランの全画素値を反転させて両端のランと同一の画素値にする。
【００１３】
また、直前の短いランが反転された場合は、続くランについてはランの長短によらず反転処理を省略する。この理由を図１を用いて説明すると、１〜数画素の短いランを含む原信号Ｏの二値信号列を左から右へ水平方向に走査してランの長さを調べ、ラン長閾値＝５として、全ランについてその長さに基づき反転する処理を行った場合、処理結果はＡのようになり、依然として短いランからなる雑音が残存してしまう。それに対し、直前の短いランを反転させた場合は次のランに対しては反転処理を省略した場合、処理結果Ｂのように雑音は残存しない。
【００１４】
尚、垂直雑音除去手段により垂直方向に同様の処理を行っても、同様に短いランからなる雑音を除去することができる。
従って、請求項１の装置によれば、背景領域画像に含まれるラン長閾値より短いランを雑音として除去するので、選択により任意の大きさの雑音を除去することができる。
短いランは、その性質上、多くが孤立点部分に存在し、領域境界部分においてはほとんど出現しないため、短ラン除去を行っても領域境界形状の鈍化は避けられる。
【００１５】
請求項１に記載の装置では、上述した水平雑音除去手段と垂直除去手段を備え、水平方向の雑音除去処理に続いて垂直方向の雑音除去処理を行うので、縦横いずれかがラン長閾値以下の幅を有する任意の大きさの孤立領域を除去することができる。
【００１６】
図２〜図４は請求項１の背景領域検出装置における雑音除去処理の具体例を示す。フレーム間差分および二値化閾値処理の結果、図２のような小島状、あるいは小穴状の雑音を含む細長い領域が得られたとする。周囲は黒四角で示す画素値で埋めつくされているとする。
水平雑音除去手段による水平ラン長に基づく雑音除去により、図３のような処理結果が得られる。時おりラン長がラン長閾値を超える部分がある場合、孤立した水平ランが出現することがある。ここで，さらに垂直雑音除去手段により垂直ラン長に基づく雑音除去を行うことにより、図４のように、図３で残存していた雑音が除かれた結果が得られる。
尚、水平雑音除去と垂直雑音除去は、上記と逆の順序、即ち垂直雑音除去、水平雑音除去の順に実行してもよい。
【００１７】
［第２の解決手段］

決するものである。
入力映像信号に重畳している雑音の主たる要因である、熱雑音に起因する雑音は、フレーム間での相関は無視できる。ここで、撮像装置から連続して得られる映像信号の、ある画素位置における信号値（雑音を含む）をｋ_ｉ（添字ｉはフレーム番号）とする。重畳雑音は分散（電力）σ^２，平均０とする。ｋ_ｉ＝ｋ_ｏ＋ｎ_ｉと考えられる。ここでｋ_ｏはこの位置におけるの真の画素値、ｎ_ｉは重畳雑音である。
請求項２の発明では、入力背景映像に含まれる熱雑音等に起因する雑音を除去するために、背景映像のフレームを複数枚入力し、これらの平均を背景フレームとして記憶する。
【００１８】
着目画素位置における信号値ｋ_ｉのＮフレームの平均値Ｅ(ｋ)を求めると、
【数１】

である。
平均値Ｅ(ｋ)の真値ｋ_ｏからのずれをｎ′とすると、
【数２】

となる。ｎ′の分散は、ｎ_ｉの互いの相関が無視できることからσ^２／Ｎとなる。したがってＮを大きくとればとるほど平均値Ｅ(ｋ)は雑音の低減した、真値により近い信号となっていく。
【００１９】
従って、請求項２の発明によれば、背景フレームのように動く物体が含まれない場合において、上記のように、効果的に雑音を除去し、より真値に近い画像を背景フレームとして記憶するので、フレーム間差分により得られる背景領域に含まれる雑音を減らすことができる。
なお前景フレームについては、動く物体が含まれているため、上記のような平均処理をそのまま施しても雑音の低減はできない。したがって従来法と同様に、得られた信号をそのまま用いることになり、重畳している雑音の電力はσ^２のままである。
【００２０】
以下に、前景フレームでの雑音低減ができなくとも、背景フレームの雑音が低減していれば、フレーム間差分の雑音が低減することを示す。
前景フレームのある位置の画素値をｌとする。この画素においては真の画素ｌ_０に分散σ^２のｎ_０の雑音が重畳していると考えられ、ｌ＝ｌ_０＋ｎ_０と書くことができる。背景フレームの、同一位置の画素値をｋ＝ｋ_０＋ｎ_１とする。ここでｋ_０は真の画素値、ｎ_１は重畳している雑音である。ｎ_１の電力をσ^２ _１とする。背景フレームの雑音を低減していなければσ^２ _１＝σ^２であり、上述のような平均処理により低減していればσ^２ _１＝σ^２/Ｎである。
両者の差分（フレーム間差分）を求めると

となり、真の差分値（ｌ_０−ｋ_０）に雑音項（ｎ_０−ｎ_１）が重畳している形となる。ｎ_０とｎ_１の相関は無視できるので、該雑音（ｎ_０−ｎ_１）の電力はσ^２＋σ^２ _１となる。したがってσ_１が小さいほどフレーム間差分の雑音は低減されることになる。
【００２１】
［第３の解決手段］
請求項３に係る発明は、請求項１又は２に記載の背景領域検出装置において上記の課題

光波の重ね合わせの原理から、光学的なボケは線形フィルタにより表現ができる。さらにボケにおいては高周波成分がより減衰することを考慮して、ボケは低域通過型の帯域制限（ＬＰＦ）と近似することができる。
この場合、合焦・非合焦の度合いは帯域制限の違いと言い換えることができ、自動焦点調節機能をもつ撮像装置から得られる映像におけるあるフレームの合焦部分は、真の画素値に通過帯域幅の広いＬＰＦが施されたもの、別のフレームの非合焦部分は、真の画素値に通過帯域幅の狭いＬＰＦが施されたものと考えられる。これら両フレームに、上記非合焦部分よりも通過帯域幅が狭いあるいは等しいＬＰＦを施せば、合焦・非合焦部分での画素値は一致するはずである。
【００２２】
請求項３の発明では、背景フレームと前景フレームとの間で異なるボケの度合いに基づく画素値の不一致を解消するために、フレーム間差分を求めるための背景フレームと前景フレームのそれぞれにＬＰＦを施した後に、フレーム間差分を求める。該ＬＰＦの通過帯域幅は、用いる撮像装置および被撮影物に応じた最大ボケの度合いに応じて、フィルタ係数の形式で指定されるものとするのが好ましい。
従って、請求項３の発明によれば、得られるフレームの合焦・非合焦にかかわらず、等しい条件（ともに非合焦）でのフレーム間差分が求められる。
【００２３】
［第４の解決手段］
請求項４に係る発明は、請求項２又は３に記載の背景領域検出装置において上記の課題

本発明では、得られた背景領域について、同一位置での背景フレームの画素値（ｘ）と前景フレームの画素値（ｙ）の間に一次式（ｙ＝ａｘ＋ｂ）の関係を仮定し、最小二乗法により係数ａ，ｂを求め、背景フレーム全体に一律にｘ′＝ａｘ＋ｂなる補償を施す。以下、「一次式型」補償という。
一次式型補償の後、フレーム間差分を求め、再度背景領域を抽出する。
【００２４】
前述のように、撮像装置のＡＧＣ，ＡＯＣ機能が動作すると、背景自体の明るさや色が不変であっても、前景や照明の変化によって出力される画素値は変動しうる。
これをＡＧＣ，ＡＯＣによる変更前（入力値）と変更後（出力値）の関係として図５〜図８に図示する。
【００２５】
図５の点列は、ＡＧＣ・ＡＯＣ機能が動作していないときの入出力プロットである。各信号値は、原点を通る傾き１の直線上に存在する。この場合は信号値補償は不要である。
図６の点列は、ＡＯＣ機能が動作しているときの入出力プロットである。原点を通らない傾き１の直線上に信号値が存在する。これは従来の「加減型」の補償方法で補償可能である。
図７の点列は、ＡＧＣ機能が動作しているときの入出力プロットである。原点を通る任意の直線上に信号値が存在する。これは従来の「乗除型」の補償方法で補償可能である。
【００２６】
図８の点列は、ＡＧＣ・ＡＯＣ機能がともに動作しているときの入出力プロットである。原点を必ずしも通らない任意の直線上に信号値が存在する。これは従来の「加減型」あるいは「乗除型」の方式ではフイツティングすなわち補償できない。
しかしながら、図９に示すように、本発明の「一次式型」補償方法であれば、同じ点列をフイツティングすなわち補償することができる。
【００２７】
【発明の実施の形態】
図１０は本発明による実施例の背景領域検出装置の実施の形態を示す。
本装置では、まず初期化時に、撮像装置１から入力されるフレーム信号を背景記憶手段２に入力し、背景フレームメモリに記憶させる。次いで動作時、フレーム信号を逐次前景入力手段３へ入力する。この前景フレーム信号と前記背景フレームメモリに記憶された背景フレーム信号を背景領域抽出手段４に入力し、従来の背景差分法と同様にフレーム間差分および二値化閾値処理により二値の背景領域が求められる。
【００２８】
信号雑音等が原因でこの背景領域には孤立点等の雑音が含まれるため、この背景領域は雑音除去手段５においてこれらの除去が行われる。まず水平雑音除去手段５２において、画像を水平方向に走査しつつ、画素値が変化した点を水平ラン開始位置記憶装置５３へ記憶し、そこから、再度画素値が変化するまで、水平位置を、位置画素ずつ進めながら水平ラン終了位置記憶装置５４に記憶していく。こうして水平ランの開始点・終点が検出され、しかる後そのラン長がラン長閾値入力手段５１から与えられているラン長閾値より短かければ、該水平ランの全画素の値を反転する（０ならば１、１ならば０にする）。但し、反転させた場合は次のランに対しては長短にかかわらず反転処理は省略する。
【００２９】
こうして画像を全水平走査し終えた後に、垂直雑音除去手段５５において垂直方向について同様の雑音除去を施す。こうして背景領域における、縦横幅いずれかがラン長閾値画素以内の雑音が除去される。
得られた結果は検出背景領域として出力される。
【００３０】
尚、請求項１に記載の背景領域検出装置の実施の形態では、図１０に示す装置の雑音除去手段５から垂直雑音除去手段又は水平雑音除去手段が省略され、水平雑音除去処理のみ又は垂直雑音除去処理のみを実行する。
【００３１】
図１１は、本発明による実施例の背景フレーム平均化処理を実行する背景領域検出装置の実施形態を示す。
本装置では、前記背景記憶手段２において、逐次入力されるフレーム信号を、Ｎ枚加算手段２２で、加算枚数Ｎ入力手段２１により指定された加算枚数分、画素毎に加算し続ける。加算結果を１／Ｎ除算手段２３により画素毎にＮで除して得られた平均画像を背景フレームメモリ記憶手段２４により記憶する。
加算枚数Ｎはこのように入力手段２１で指定できるようにしてもよいし、固定値を用いてもよい。
【００３２】
図１２は、本発明による実施例のＬＰＦ処理を実行する背景領域検出装置の実施形態を示す。
本装置では、まずＬＰＦ係数入力手段２５より、ＬＰＦの係数が入力される。ＬＰＦの係数は例えば（１/４，１/２，１/４）のような実数列である。初期化時に、前記背景記憶手段２において、背景フレームが背景フレームメモリ記憶手段２４に蓄積される前にＬＰＦ適用手段２６にて背景フレームに該ＬＰＦ係数によるＬＰＦを適用する。例えば画素値が…，ａ，ｂ，ｃ，…のように並んでいる場合、ＬＰＦ適用後の新しい画素ｂの画素値は1/4^＊ａ＋1/2^＊ｂ＋1/4^＊ｃとなる。同じＬＰＦ係数で、縦方向にも同様の処理を行う。しかる後、ＬＰＦ処理された背景フレームを背景フレームメモリ記憶手段２４に記憶する。
動作時に、前景入力手段３において、同様のＬＰＦ適用手段３１により前景フレームに同様のＬＰＦ処理が逐次施される。
ＬＰＦ係数はＬＰＦ係数入力手段２１で任意の係数を入力できるようにしてもよいし、固定値を用いてもよい。
【００３３】
図１３は、本発明による実施例の一次型補償を実行する背景領域検出装置の実施形態を示す。
本装置では、前記背景領域抽出手段４において背景領域が得られたら、得られた背景領域において、背景フレームの画素値（ｘ）と前景フレームの画素値（ｙ）の間に一次式（ｙ＝ａｘ＋ｂ）の関係を仮定し、最小二乗パラメータ計算手段４１により係数ａ，ｂを求める。次いで背景フレームメモリ更新手段４２において、背景記憶手段２に記憶されている背景フレーム全体を、該係数に基づきｘ′＝ａｘ＋ｂとして更新する。
このようにして更新された背景フレームについて再度、背景領域抽出手段４により背景領域を得る。得られた背景領域は次いで雑音除去手段５で雑音除去され検出背景領域として出力する。
【００３４】
図１４は、本発明による実施例の背景領域検出装置で実行される背景領域検出方法の処理手順を示す。
フレーム撮影処理１０１は逐次行われているものとし、そこからフレーム信号が背景記憶処理ステップ１０２および前景入力処理ステップ１０４に随時入力されているものとする。
まず初期化処理として、背景記憶処理ステップ１０２にて、背景フレーム信号をそのまま、あるいは本発明による実施例の背景フレーム平均化処理又はＬＰＦ処理を施して、背景フレームメモリ１０３に蓄える。
次いで前景入力処理ステップ１０４にて、フレーム信号をそのまま、あるいは本発明による実施例のＬＰＦ処理を施して、前景フレームメモリ１０５に蓄える。
【００３５】
次いで背景領域抽出処理ステップ１０６において、背景フレームメモリおよび前景フレームメモリのフレーム間差分および二値化閾値処理を行い、二値の背景領域画像を得る。
この背景領域画像には、離れ小島状、あるいは穴状の雑音が含まれていることがあるため、続く雑音除去処理ステップ１０７においてこれらの雑音を除き、表示処理ステップ１０８で表示し、
前景入力処理ステップ１０４以降の処理を、終了判断ステップ１０９が終了と判断するまで、繰り返す。
【００３６】
上記の背景領域検出処理における雑音除去処理ステップ１０７では、図１５〜図１８に示す雑音除去処理が実行される。
図１５及び図１６は本発明による実施例の背景領域検出装置で実行される雑音除去処理の手順を示す。図１５では、ラン長閾値入力処理ステップ２０１にてラン長閾値を得た後、まず水平雑音除去ステップ２０２にて、水平方向の雑音を除去し、次いで垂直雑音除去ステップ２０３にて、垂直方向の雑音を除去する。
図１６では、垂直雑音除去ステップ３０２にて、垂直方向の雑音を除去し、次いで水平雑音除去ステップ３０３にて、水平方向の雑音を除去する。
【００３７】
図１７及び図１８は本発明による実施例の背景領域検出装置で実行される雑音除去処理の手順を示し、図１７ではステップ４０１にてラン長閾値を得た後、ステップ４０２にて水平雑音除去処理のみを行い、図１８ではステップ５０１にてラン長閾値を得た後、ステップ５０２にて垂直雑音除去処理のみを行う。
【００３８】
図１９は、図１５〜図１８の雑音除去処理における水平雑音除去ステップ２０２、３０３，４０２の処理手順を示す。
ステップ６０１にて垂直位置を画像端に初期化した後、ステップ６０２にて水平位置を初期化する。この値は水平ラン終了位置記録部６０３内に記憶させる。ステップ６０４にて現在の水平位置を、水平ラン開始位置記録部６０５内に記憶する。
ステップ６０６にて、この位置から画素値が同一である限り水平方向へ画素を走査し、水平ランを得ると同時に水平ラン終了位置記録部６０３にラン終了位置を記録する。
【００３９】
ステップ６０７にて、水平ラン開始位置記録部６０５から読み出した水平ラン開始位置と水平ラン終了位置記録部６０３から読み出した水平ラン終了位置から該水平ランの長さを得、これがラン長閾値を超えているかを判断する。
超えていなければステップ６０８および６０９を実行する。ステップ６０８では、発見された水平ランを開始位置から終了位置まで、該ランの値を０ならば１、１ならば０に反転する。
ステップ６０９では、反転された水平ランの直後に続く水平ランを走査し、現在水平位置をこの後続ランの終点の次へ移動する。
ステップ６１０にて、現在の水平位置が画像端に達したかを判断し、偽の場合ステップ６０４に戻る。真の場合ステップ６１１へ進み、垂直位置を一画素進める。
続いてステップ６１２では現在の垂直位置が画像端に達したかを判断し、偽の場合ステップ６０２に戻る。真の場合終了する。
【００４０】
図２０は、図１５〜図１８の雑音除去処理における垂直雑音除去ステップ２０３、３０２，５０２の処理手順を示し、図１９の水平雑音除去処理ステップとはラン長の検出を垂直方向に行う点が相違するだけで、流れは全く同様である。
【００４１】
図２１及び図２２は、図１９及び図２０に示す水平雑音除去ステップ及び垂直雑音除去ステップの実施例を示す。
ここで、前提として、背景領域は幅ｗ、高さｈの画素の二次元配列ａ[ｙ][ｘ]（ｙ＝０…h-1，ｘ＝０…w-1）に格納されており、配列要素の値は０か１のいずれかであるものとする。
【００４２】
図２１の水平雑音除去ステップでは、まず、ステップ８０１にてｙ＝０，ステップ８０２にてｘ＝０と初期化し、ステップ８０３にてｘ０＝ｘとし、ステップ７０４にてａ[ｙ][ｘ]の値を変数ｆｖに格納する。
次いでステップ８０５，８０６にて、画像の端を超えない範囲で水平にｆｖの値が続く間、ｘの値を１ずつ増加させる。かくしてｘ−ｘ０が該水平ランの長さになる。
次いでステップ８０７にて、ｆｖが１であればｆｖ＝０に、ｆｖが０であればｆｖ＝１と、ｆｖの値を反転させる。
【００４３】
ステップ８０８にて、該水平ランの長さが、ラン長閾値入力処理ステップで得た値を超えているかを判断し、偽である場合にのみ、次の二処理を行う。
・ステップ８０９，８１０，８１１にてｘ０の水平位置からｘの水平位置までの背景領域を、反転しておいたｆｖにより埋める処理と、
・ステップ８０９，８１３にて、後続の水平ラン（値はｆｖである）を保存し、その次のランまで進む処理。
【００４４】
ステップ８１４においてｘが画像の端を超えていないかを調べ、超えていなければステップ８０３へ戻り、超えていればステップ８１５にてｙの値を１増加させ、ｙの値が画像の高さを超えていないかを調べる。超えていなければステップ８０２へ戻り、超えていれば処理を終了する。
図２２の垂直雑音除去ステップの実施例は水平雑音除去ステップの場合のｘとｙ、ｗとｈが交換されているだけであり、流れは全く同様である。
【００４５】
以上、本発明の背景領域検出装置及び方法の手段及び処理手順を説明したが、これらの手段及び処理手順は背景領域検出装置を構成するコンピュータにより実現することができ、本発明はこれらの手段及び処理手順を実行させるためのコンピュータプログラム及び該プログラムを記録した記録媒体も本発明の範囲に含むものである。
【００４６】
【発明の効果】
以上説明したように、本発明の第１の解決手段によれば、領域境界の微細形状を残しつつ比較的大きな雑音の除去ができる。
本発明は、背景差分方式により得られる二値の背景領域画像において、通常得られることが期待される背景および前景は一定以上の大きさを持っていることから、背景領域画像中に存在する、幅あるいは高さが一定画素数以下の小島状あるいは小穴状の領域の殆んどは雑音である、という経験的事実に鑑み、かかる幅あるいは高さが一定画素数以下の領域を除去することで、得られる背景領域画像の画質向上を図るものである。
更に、本発明の第２の解決手段によれば、背景フレームに含まれる雑音を低減することができ、結果としてより正確な背景領域の抽出ができる。
更に、本発明の第３の解決手段によれば、自動焦点調節機能が動作していてもそれを補償し、結果としてより正確な背景領域の抽出ができる。
更に、本発明の第４の解決手段によれば、ＡＧＣ，ＡＯＣ機能動作が動作していてもそれを補償し、結果としてより正確な背景領域の抽出ができる。
【図面の簡単な説明】
【図１】 短いラン（ラン長閾値＝５）の除去方法を説明するための図である。
【図２】 小島状又は穴状の雑音を含む背景領域画像（二値画像）の例を示す図である。
【図３】 図２の背景領域画像において、本発明により水平方向の雑音を除去した結果（ラン長閾値＝５）を示す図である。
【図４】 図３の廃液領域画像において、本発明により垂直方向の雑音を除去した結果（ラン長閾値＝５）を示す図である。
【図５】 ＡＧＣ，ＡＯＣ機能が動作していないときの撮像装置の入出力特性を示す図である。
【図６】 ＡＯＣ機能が動作しているときの撮像装置の入出力特性を示す図である。
【図７】 ＡＧＣ機能が動作しているときの撮像装置の入出力特性を示す図である。
【図８】 ＡＧＣ・ＡＯＣ機能がともに動作しているときの撮像装置の入出力特性を示す図である。
【図９】 一次式型の補償結果を示す図である。
【図１０】 本発明による実施例の背景領域検出装置の実施形態を示すブロック図である。
【図１１】 本発明による実施例の背景領域検出装置の実施形態を示すブロック図である。
【図１２】 本発明による実施例の背景領域検出装置の実施形態を示すブロック図である。
【図１３】 本発明による実施例の背景領域検出装置の実施形態を示すブロック図である。
【図１４】 本発明による実施例の背景領域検出装置で実行される背景領域検出方法の処理手順を示すフローチャートである。
【図１５】 本発明による実施例の背景領域検出装置で実行される雑音除去処理の一例の手順を示すフローチャートである。
【図１６】 本発明による実施例の背景領域検出装置で実行される雑音除去処理の他の例の手順を示すフローチャートである。
【図１７】 本発明による実施例の背景領域検出装置で実行される雑音除去処理の一例の手順を示すフローチャートである。
【図１８】 本発明による実施例の背景領域検出装置で実行される雑音除去処理の他の例の手順を示すフローチャートである。
【図１９】 図１５〜図１８の雑音除去処理における水平雑音除去ステップ２０２、３０３，４０２の処理手順を示すフローチャートである。
【図２０】 図１５〜図１８の雑音除去処理における垂直雑音除去ステップ２０３、３０２，５０２の処理手順を示すフローチャートである。
【図２１】 図１９の水平雑音除去ステップの実施例を示すフローチャートである。
【図２２】 図２０の垂直雑音除去ステップの実施例を示すフローチャートである。
【符号の説明】
１ 撮像装置
２ 背景記憶手段
３ 前景入力手段
４ 背景領域抽出手段
５ 雑音除去手段
５１ ラン長閾値入力手段
５２ 水平雑音除去手段
５３ 水平ラン開始位置記憶装置
５４ 水平ラン終了位置記憶装置
５５ 垂直雑音除去手段
５６ 垂直ラン開始位置記憶装置
５７ 垂直ラン終了位置記憶装置
２１ 加算枚数Ｎ入力手段
２２ Ｎ枚加算手段
２３ １／Ｎ除算手段
２４ 背景フレームメモリ記憶手段
２５ ＬＰＦ係数入力手段
２６、３１ ＬＰＦ適用手段
４１ 最小二乗パラメータ計算手段
４２ 背景フレームメモリ更新手段

Claims (13)

1. 動領域を含まない背景映像のフレーム（背景フレーム）を入力し背景フレームメモリに記憶する背景記憶手段と、
   動領域を含む処理対象映像のフレーム（前景フレーム）を随時入力する前景入力手段と、
   背景フレーム、前景フレームの同一画素位置毎の差分を二値化閾値処理により二値化し背景領域を得る背景領域抽出手段と、
   ラン長閾値を入力する手段と、前記背景領域において画素を水平方向に走査し同一値が連続する部分（ラン）を検出する手段と、得られたランの長さが該ラン長閾値よりも小さい場合に、該ランの全画素値を反転させる手段と、反転させた場合は次の隣接ランについてはランの長短によらず反転処理を省略する手段からなる水平雑音除去手段と、
   前記水平雑音除去手段の後段もしくは前段にあって、ラン長閾値を入力する手段と、前記背景領域において画素を垂直方向に走査し同一値が連続する部分（ラン）を検出する手段と、得られたランの長さが該ラン長閾値よりも小さい場合に、該ランの全画素値を反転させる手段と、反転させた場合は次の隣接ランについてはランの長短によらず反転処理を省略する手段からなる垂直雑音除去手段とを備え、
   前記水平雑音除去手段及び前記垂直雑音除去手段の各々は、
   前記背景領域における二値化した信号列を一方向から走査して調べたランの長さが該ラン長閾値よりも小さい故に該ランの全画素値を反転させた後、その次の隣接ランについてランの長短によらず反転処理を省略することを、前記背景領域における二値化した信号列の各ラインに対して行うことを特徴とする背景領域検出装置。
2. 請求項１に記載の背景領域検出装置において、
   前記背景記憶手段は、
   加算枚数を入力する手段と、
   複数の背景フレームを入力し、これを該加算枚数分加算する手段と、
   加算結果を該加算枚数で除して平均フレームを求める手段と、
   該平均フレームを背景フレームとして記憶する手段と、
   得られた背景領域における、背景フレームと前景フレームの双方の画素値を一次式により最小二乗法で近似するパラメータを求める手段と、
   該パラメータを用いて、記憶されている背景フレームメモリの全画素値を変更する手段とを備え、
   該変更された背景フレームと現在の前景フレームとから該背景領域抽出手段により再度背景領域を求める、ことを特徴とする背景領域検出装置。
3. 請求項１又は２に記載の背景領域検出装置において、
   前記背景記憶手段は、低域通過フィルタ（ＬＰＦ）係数を入力する手段と、背景フレームを背景フレームメモリに記憶する前段階で該ＬＰＦ係数に基づく低域通過フィルタ（ＬＰＦ）処理を施す手段とを備え、
   前記前景入力手段は、前記低域通過フィルタ（ＬＰＦ）係数を入力する手段と、処理対象前景フレームに該ＬＰＦ係数に基づく低域通過フィルタ（ＬＰＦ）処理を施す手段とを備えていることを特徴とする背景領域検出装置。
4. 請求項２又は３に記載の背景領域検出装置において、前記加算枚数入力手段又は前記低域通過フィルタ係数入力手段は省略し、前記加算枚数又は前記低域通過フィルタ係数には予め設定された固定値を用いられることを特徴とする背景領域検出装置。
5. 請求項１に記載の背景領域検出装置によって背景領域を検出する方法であって、
   前記背景記憶手段によって、動領域を含まない背景映像のフレーム（背景フレーム）を入力し背景フレームメモリに記憶する背景記憶ステップと、
   前記前景入力手段によって、動領域を含む処理対象映像のフレーム（前景フレーム）を随時入力する前景入力ステップと、
   前記背景領域抽出手段によって、背景フレームと前景フレームの同一画素位置毎の差分を二値化閾値処理により二値化し背景領域を求める背景領域抽出ステップと、
   前記水平雑音除去手段によって、ラン長閾値を入力するステップと、前記背景領域において画素を水平方向に走査し、同一値が連続する部分（ラン）を検出するステップ、得られたランの長さが所定のラン長閾値よりも小さい場合に、該ランの全画素値を反転させるステップと、反転させた場合は次の隣接ランについてはランの長短によらず反転処理を省略するステップからなる水平雑音除去ステップと、
   前記垂直雑音除去手段によって、前記水平雑音除去ステップに続いて、あるいは、その前に実行される、ラン長閾値を入力するステップと、前記背景領域において画素を垂直方向に走査し、同一値が連続する部分（ラン）を検出するステップ、得られたランの長さが所定のラン長閾値よりも小さい場合に、該ランの全画素値を反転させるステップと、反転させた場合は次の隣接ランについてはランの長短によらず反転処理を省略するステップからなる垂直雑音除去ステップとを含み、
   前記水平雑音除去ステップ及び前記垂直雑音除去ステップの各々は、
   前記背景領域における二値化した信号列を一方向から走査して調べたランの長さが該ラン長閾値よりも小さい故に該ランの全画素値を反転させた後、その次の隣接ランについてランの長短によらず反転処理を省略することを、前記背景領域における二値化した信号列の各ラインに対して行うことを特徴とする背景領域検出方法。
6. 請求項５に記載の背景領域検出方法において、
   前記背景記憶ステップは、前記背景記憶手段によって、
   加算枚数を入力するステップと、
   複数の背景フレームを入力し、これを該加算枚数分加算するステップと、
   加算結果を該加算枚数で除して平均フレームを求めるステップと、
   該平均フレームを背景フレームとして記憶するステップとを含み、
   前記背景領域抽出ステップは、前記背景領域抽出手段によって、
   得られた背景領域における、背景フレームと前景フレームの双方の画素値を一次式により最小二乗法で近似するパラメータを求めるステップと、
   該パラメータを用いて、記憶されている背景フレームメモリの全画素値を変更するステップと、
   該変更された背景フレームと現在の前景フレームとから該背景領域抽出ステップにより再度背景領域を求めるステップと、
   を含むことを特徴とする背景領域検出方法。
7. 請求項５又は６に記載の背景領域検出方法において、
   前記背景記憶ステップは、前記背景記憶手段によって、低域通過フィルタ（ＬＰＦ）係数を入力するステップと、背景フレームを背景フレームメモリに記憶する前段階で該ＬＰＦ係数に基づく低域通過フィルタ（ＬＰＦ）処理を施すステップを含み、
   前記前景入力ステップは、前記背景領域抽出手段によって、前記低域通過フィルタ（ＬＰＦ）係数を入力するステップと、処理対象前景フレームに該ＬＰＦ係数に基づく低域通過フィルタ（ＬＰＦ）処理を施すステップとを含むことを特徴とする背景領域検出方法。
8. 請求項６又は７に記載の背景領域検出方法において、前記加算枚数入力ステップ又は低域通過フィルタ係数入力ステップを省略し、前記加算枚数又は前記低域通過フィルタ係数には予め設定された固定値を用いられることを特徴とする背景領域検出方法。
9. 請求項１に記載の背景領域検出装置を構成するコンピュータに、
   動領域を含まない背景映像のフレーム（背景フレーム）を入力し背景フレームメモリに記憶する背景記憶ステップと、
   動領域を含む処理対象映像のフレーム（前景フレーム）を随時入力する前景入力ステップと、
   背景フレームと前景フレームの同一画素位置毎の差分を二値化閾値処理により二値化し背景領域を求める背景領域抽出ステップと、
   ラン長閾値を入力するステップと、前記背景領域において画素を水平方向に走査し、同一値が連続する部分（ラン）を検出するステップ、得られたランの長さが所定のラン長閾値よりも小さい場合に、該ランの全画素値を反転させるステップと、反転させた場合は次の隣接ランについてはランの長短によらず反転処理を省略するステップからなる水平雑音除去ステップと、
   前記水平雑音除去ステップに続いて、あるいは、その前に、ラン長閾値を入力するステップと、前記背景領域において画素を垂直方向に走査し、同一値が連続する部分（ラン）を検出するステップ、得られたランの長さが所定のラン長閾値よりも小さい場合に、該ランの全画素値を反転させるステップと、反転させた場合は次の隣接ランについてはランの長短によらず反転処理を省略するステップからなる垂直雑音除去ステップと、
   を実行させるためのコンピュータプログラムであって、
   前記水平雑音除去ステップ及び前記垂直雑音除去ステップの各々は、
   前記背景領域における二値化した信号列を一方向から走査して調べたランの長さが該ラン長閾値よりも小さい故に該ランの全画素値を反転させた後、その次の隣接ランについてランの長短によらず反転処理を省略することを、前記背景領域における二値化した信号列の各ラインに対して行う、コンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムであって、前記コンピュータに、
    前記背景記憶ステップにおいて、
    加算枚数を入力するステップと、
    複数の背景フレームを入力し、これを該加算枚数分加算するステップ、
    加算結果を該加算枚数で除して平均フレームを求めるステップと、
    該平均フレームを背景フレームとして記憶するステップと、
    前記背景領域抽出ステップは、
    得られた背景領域における、背景フレームと前景フレームの双方の画素値を一次式により最小二乗法で近似するパラメータを求めるステップと、
    該パラメータを用いて、記憶されている背景フレームメモリの全画素値を変更するステップと、
    該変更された背景フレームと現在の前景フレームとから該背景領域抽出ステップにより再度背景領域を求めるステップと、
    を実行させるためのコンピュータプログラム。
11. 請求項８又は９に記載のコンピュータプログラムであって、前記コンピュータに、
    前記背景記憶ステップにおいて、
    低域通過フィルタ（ＬＰＦ）係数を入力するステップと、
    背景フレームを背景フレームメモリに記憶する前段階で該ＬＰＦ係数に基づく低域通過フィルタ（ＬＰＦ）処理を施すステップを実行させ、
    前記前景入力ステップにおいて、
    前記低域通過フィルタ（ＬＰＦ）係数を入力するステップと、
    処理対象前景フレームに該ＬＰＦ係数に基づく低域通過フィルタ（ＬＰＦ）処理を施すステップを実行させるためのコンピュータプログラム。
12. 請求項１０又は１１に記載のコンピュータプログラムであって、前記加算枚数入力ステップ又は低域通過フィルタ係数入力ステップを省略し、前記加算枚数又は前記低域通過フィルタ係数には予め設定された固定値を用いられる、コンピュータプログラム。
13. 請求項９〜１２の何れかに記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images