JPH0271380A - 背景画像更新方法および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像処理を用いた移動物体検出法に関するもの
で、特に移動物体を抽出するための背景画像更新手法に
関する。

〔従来の技術〕

画像処理技術の発達に伴い移動物体をテレビカメラで撮
影し、高速にこれを抽出する移動物体検出が可能となっ
てきた６例えば、道路を高位置から撮影し、この画像を
処理して車両だけを抽出し、車両の通過台数や平均車速
などを求め、これらを基に交通の流れを測定しようとす
るようなシステムである。このようなシステムにおいて
重要なことは、移動スピードが速いため、これに見合っ
た処理スピードが必要であることと、もう一つは、色々
な天候変化や明るさ変化に影響されずに車両をいかにし
て良好に抽出するかにある。ところで、前者に関しては
一般にハードウェア化等の工夫により、達成可能な技術
であるため、ここでは後者の明るさ変化への追従につい
て詳細に述べる。

一般に移動物体の検出方法には、時系列データの差分（
フレーム差分）で検出する方法や、第３図のようにあら
かじめ背景画像（移動物体の存在しない画像）を記憶し
ておき、この画像と入力画像との差分て検出する方法が
考えられている。しかし、前者の方法では移動物体の輪
郭しか得ることができず、しかも移動物体の進行方向に
は太く、それど直角方向には細く輪郭が抽出され、移動
物体の正確なイメージを捕えることが困難であった。

また後者の手法は、背景画像が常に一定の明るさであれ
ば差分をとることにより、かなり鮮明で正確な移動物体
抽出が可能であるが、背景画像の明るさが第４図のよう
に急激に変化するような対象（例えば薄暮時の屋外）で
は、良い結果は得られない。この背景画像を明るさ変化
に追従させることで対処は可能であるが、最適な手法が
存在しなかった。

例えば、特開昭６２−１１４０６４号に記載の手法は、
入力画像をｆ（ｎ）、古い背景画像をｇ（ｎ−１）とす
ると更新される背景画像ｇ（ｎ）は ｇ（ｎ）＝Ａｘｆ（ｎ）＋　　（ｉ−Ａ）ｇ（ｎ−１，
）とするものである。

ここでＡは０．５や０．４等の定数であり、全ての画素
とも共通である。この方法によると、−時的に急激な明
るさ変化、例えば何らかの反射光や車の影などの明るさ
を使って更新されるため、背景画像がノイズ的明るさで
変化してしまい移動物体抽出に悪影響を与えてしまう問
題があった。

〔発明が解決しようとする課題〕

上記従来技術は移動物体を全ての天候等においても良好
に抽出できるようには考慮しておらず、移動物体抽出が
不能となることが多かった。すなわち、明るさ変化に背
景画像が追従できてぃなかったため、差分画像を求めた
ときに移動物体の抽出に不具合を与えてしまい、例えば
移動物体が存在しないにも係らず誤って移動物体を検出
してしまうような問題があった。

本発明の目的は、上記欠点を除き移動物体の検出をいか
なる環境においても良好に行えるようにすることにある
。

〔課題を解決するための手段〕

上記目的は、以前に登録されている背景画像と処理対象
となる入力画像を比較し、入力画像に移動物体が存在し
ていない、あるいは、存在していないと同等の状態であ
るか否かを判定し、存在していないと判断したときにの
み、背景画像の更新を行うようにすることにより、明る
さ変化に追従可能な背景画像更新が達成できる。

〔作用〕

本発明は、以前に登録されている背景画像ｇ（ｎ−１，
）と処理対象である入力画像ｆ（ｒ＋）と比較し、入力
画像ｆ（ｎ）に移動物体が存在しているか否かを調べる
。例えば、移動物体が存在している場合は、ｆ（ｎ）　
　ｇ（ｎ−１）の画像間演算を行うと、画素間での差が
大きい領域が多くなり、逆に存在していない場合は、画
素間での差が大きい領域はほとんどない状態となる。し
たがって。

ｆ（ｎ）　　ｇ（ｎ−１）を求め、画素間での差が大き
い領域がある値より大きい場合を移動物体の存在状態そ
れ以外を非存在状態と判定することができる。このよう
にして、移動物体が存在しないときに背景画像を更新す
る。この更新手法には、いくつかの手法があるが、例え
ば、（ｆ（ｎ）＋ｇ（ｎＬ））／２のような画像の平均
値で更新する。、以上のように移動物体が存在している
か否かを判定してから更新処理を行っているので、移動
物体の濃度を背景画像に更新していくことがないので安
定した更新処理が可能となる。

〔実施例〕

以下、本発明の一実施例を図を用いて説明する第１図は
背景画像を用いた移動物体抽出処理の概略フローを示す
ものである。図のように、画像を入力し１０、第３図の
ような移動物体抽出処理１１、を経て計測処理１２を行
い、あらかしめ定められている背景画像更新間隔基準時
間ｔ１より前回更新しまた時刻からの時間ｔが大きくな
っていれば更新処理１４を行い時間ｔをＯにする１５゜
更新時刻になっていなければ時間ｔをインクリメントす
る１６゜ここで、更新処理の手法としては、第２図のよ
うに、あらかじめ記憶されている背景画像と入力画像と
の画素の平均値を求めこれを新たな背景画像とする方法
がある。このような手法で、背景像を更新しながら、移
動物体の抽出を行うことができる。し１かし、この方法
だけでは、次のような不具合が生じる。

・たまたま更新処理を行う時刻に取込んだ画像が移動物
体を含んでいると、その移動物体の画像が背景画像しこ
影響を与えてしまう。

・単純平均の更新方法ではノイズ的濃度が背景画像に影
響を与える。

そこで、これらの対策として第５図、第６図の処理とす
る。すなわち、背景画像の更新時刻になったなら、まず
、更新に用いる画像中に移動物体が存在しているか否か
を調べ、存在していないときにのみ、更新処理を行うよ
うにする。この移動物体の存在の有無を調べる方法とし
ては、第６図のように、入力画像（更新に用いる画像）
と背景画像の画素間の差分の絶対値を求め３０、この画
素間での濃度差がある値より大きい画素数Ｎ、を求め３
１、このＮ、があらかしめ設定したしきい値Ｎ、より大
きい場合を移動物体の存在状態２３３、小さい場合を非
存在状態３４とすることによって判定可能である。当然
ながら逆の判定方法である濃度差がある値より小さい画
素数Ｎヮを求め、Ｎ、がＮｔより小さければ移動物体が
存在しているとしても良い。このような移動物体が存在
していない画像すなわち、その時点の背景画像を用いて
更新することにより安定した、背景画像更新処理が実行
できる。ところで、完全に移動物体が存在していないと
きの画像を用いて背景画像を更新するのが最適であるが
、画面を通過する移動物体の数が多くなると、なかなか
そのような背景だけの画像を取込むことはタイミング的
にまれの場合が生じる。このため、このような状態にな
るのを待っていたのでは、明るさ変化がかなり進行して
いるにも係らず、更新処理がなかなか実行できず、最終
的には更新処理ができなくなってしまう可能性がある。

そこで、ある程度移動物体が存在していても更新処理を
実行するようにするが、移動物体の領域を用いて更新し
たのでは前記不具合が発生するため、移動物体の領域と
、それ以外の領域とで更新処理を異ならせることにより
、更新間隔を短かくし、明るさ変化に追従できるように
することができる。例えば、移動物体以外の領域につい
ては、第２図と同じように、背景画像と入力画像の平均
濃度を求めて背景画像を更新し、移動物体の領域につい
ては、回りの平均濃度で置き換えるようにすれば、多少
移動物体が存在していても背景画像の更新は可能となる
。

ここで、移動物体の領域とは、背景画像と入力画像の画
素ごとの差が大きい部分をいう。

ところで、これまでに述べた更新の手法は、単に古い背
景画像と入力画像の平均を求めたものであるが、この他
に特願昭６３−３５２８１号記載のような、古い背景画
像ｆ（ｎ−］、）と入力画像ｇ（ｎ）との画素毎の差を
求め、この差の値により定数αを画素毎に定め、新たな
背景画像ｆ（ｎ）をｆ　（ｎ）＝　　ｆ　　（ｎ　　−
１）Ｘ　　ａ　　＋　　ｇ（ｎ）Ｘ（１−ａ）で求める
ようにしてもよい。

変化の少ない画素、すなわち移動物体以外の領域につい
ては以上の処理であるが、変化の大きい画素、すなわち
移動物体の領域についての更新手法は、前述した手法以
外に ■更新しないで古い背景画像のデータを維持する。

■移動物体以外の領域が更新されているので、その周囲
の濃度を伝播させて補なう。

が考えられる。■の手法について具体的に述べる。

第７図に概要を示すが、処理対象である入力画像４０と
古い背景画像４］との差分４２により、移動物体の抽出
４３及び、移動物体以外の領域抽出４４を行う。移動物
体以外の領域については、例えば入力画像と背景画像の
平均値の画像ｇｗ４５’を作成して、これと移動物体以
外の領域の画像４４との積（マスク処理）４Ｇにより更
新処理４７を行う。ここで、移動物体の領域は例えば１
０１　の濃度としておく。次に、更新処理した画像４７
を局所最大値フィルタ処理（例えば３　Ｘ　３画素の局
所領域において最大濃度を取り出し、これを出力画像に
書き込む処理。明るい濃度の膨張処理）を行うと、移動
物体の領域が回りの濃度で埋まってくる４８．これを数
回繰り返すと、完全に周囲濃度で埋めることができる４
９ｏそして、この埋まった濃度を元の移動物体以外の領
域に更新した画像ｇｗのうち移動物体の領域に転送すれ
ば、良好な背景画像が作成できる５３゜単に周囲の平均
濃度を埋める方法では、画面の場所によ−）で明るさが
異なるような対象には適用できなかったが、上記局所最
大値フィルタ処理を用いた手法ではこのような対象にも
適用可能である。尚、上記実施例では移動物体の領域を
′０′の濃度として局所最大値フィルタ処理で埋めたが
当然ながら局所最大値フィルタ処理で埋めることが可能
な濃度ならどんな値であってもよい。又、同様な結果と
して移動物体の領域の濃度を最も明るい濃度例えば７ｂ
ｉｔ；の両像メモリなら１２７の濃度として、局所最小
値フィルタ処理（局所最大値の逆の処理で、例えば３×
３画素の局所領域において最小濃度を取り出し、これを
出力画像に書込む処理。暗い濃度の膨張処理）で移動物
体の領域を埋めろ処理としてもよい。いずれにしても、
移動物体の領域は、それ以外の周囲の濃度を伝播させて
置き換えるようにすれば、良好な背景画像が作成可能で
ある。

尚、局所最大値フィルタ処理あるいは局所最小値フィル
タ処理の繰り返し回数は、移動物体の領域の濃度例えば
′０′　（あるいは１２７）がなくなるまで繰り返せば
よいから常に′０′の濃度の画素数を求めながら実行す
ればよい。

他の実施例 これまで−射的な移動物体抽出のための背景画像更新手
法について述へてきたが、道路をテレビカメラで撮影し
てこの画像から車両を抽出して、車両の台数や個々の車
速を検出し、これを基に交通の流れを制御しようとする
システムが計画されている。このような対象で車両を抽
出する基本処理は前述したような背景画像と処理対象で
ある入力画像との差分で車両を抽出するものである。し
かし、この対象で最も特異な現象は、道路が渋帯するこ
とであり、このことは一般の移動物体抽出の対象では存
在しない現象である。この渋帯が発生すると、道路だけ
の画像が得られなくなるため背景画像の更新が不可能に
なってくる。完全な夜になった状態のときに渋帯になる
のは背景画像の明るさ変化がないため影響ないが、薄寒
時等に渋帯になると明るさ変化に追従できなくなってし
まう。そこで、この渋帯あるいは多少混んだ状態にも対
処できる背景画像更新手法が必要である。以下、この対
策手法について記す。

道路を撮影する条件は」台のカメラで通常２〜４車線を
同時に映すような広い視野となっている。

そこで、まず１つの方法は、他の車線の状態を用いて更
新する手法が考えられる。すなわち、道路」二に車が存
在しないあるいは存在しないと同等のときに背景画像を
更新するが、道路が混んでくると、このような状態の画
像を取込むのにかなりの時間がかかることがある。しか
しながら、例えば３車線を同時監視している場合、いず
れかの車線においては、車両が存在しないような画像を
比較的簡単に取込める場合がある（例えば合流車線は混
むが、それ以外の車線は比較的混んでいないことがある
）。そこで、あまりに更新間隔が伸びた車線は他の更新
された車線の情報を用いて更新するようにすれば、混雑
した状態でも背景画像の更新は疑似的に可能となってく
る。

第８図に具体的処理フローを示すが、まず画像を入力し
て６０、車両抽出の前処理６１例えば、背景画像と入力
画像の差分を求める。次に車線数例えばＯ〜２の３車線
分の車両抽出処理６３と台数、車速等の計測処理６４を
行った後、背景画像の更新時間が車線毎に記憶されてお
り、ｔｉｍｅ［ｉ　］この時間がある値ｔ１より大きい
ときは、車線ｊに車両が存在していないかを調へ６７、
存在していなければ背景画像の更新処理６８を行い更新
時間をクリアする６９゜更新できないときには更新時間
をイニクリメントし７０、更に、ｔｉｍｅ　［ｉ　］が
ある値ｔ２より大きくなった場合すなわち、道路の混雑
により更新できないで時間がかなり経った状態のときは
、その車線は渋帯と判断し隣接レーンで最も新しい（ｔ
ｉｍｅ［ｉ　］が最も小さい）背景の濃度で置き換える
（例えば他の車線の平均濃度）７２゜このようにすれば
、いずれかの車線が混んでも他の車線で背景更新が可能
となる。ただし、隣接レーンも全て渋帯（ｔｉｍｅ　［
ｉ　］が全てｔ２より大きい）と判断された場合はどの
車線の背景も使えないため、別処理となる。

第９図、第１０図にフローを示すが、第９図は第８図と
ほとんど同じ処理であるが、更新時間がある値より大き
いときに渋帯時の処理９１を行うようにしたものである
。この処理は第１０図に示すように、全レーンが更新時
間をオーバーしていれば、ｓｉｇｎがＯになり、いずれ
かのレーンがオバーしていなければ、ｓｉｇｎが１９４
となり、前述した隣接レーンの背景で置き換える９５よ
うにしたものである。更に、ｓｊｇｎが’Ｏ’９１３す
なわち、全レーンとも更新できていないと判断し、かつ
、移動物体（ここでは車両等）の速度がある値より小さ
いとき９７を完全渋帯と判断９８するようにしたもので
ある。この処理により、渋帯時の背景更新が可能となる
。

なお、完全渋帯時の更新処理は以降で説明する。

完全渋帯時の処理１ 完全な渋帯時には、背景画像の更新が不可能になる。薄
暮時等に渋帯になると、背景画像が更新されないため、
人力画像とのレベルに差が生し、車両の抽出が不可能と
なる。そこで、全車線が渋帯であると判断した場合は、
あらかじめ日時に合わせた背景の平均濃度を記憶してお
き、この平均濃度で背景画像を作成するようにして対処
する。

ここで全ての時間帯を記憶し、かつかなりの日数分を記
憶するのは容量的にむだである。そこで、１日のうちで
重要な時間帯（変化の大きい時間帯）は朝方と、薄暮時
であるのでこの時間帯だけを記憶しておき、この時間帯
以外の時間は、明るさ変化がほとんどないことから、渋
帯時は背景画像を更新せず、記憶している時間帯は、記
憶しているテーブル等から背景の濃度を読み出して背景
を作成する。あるいは、ｆ（日、時、天候）なる関数す
なわち、日、時と天候によって定まる背景濃渡の関数を
用意しておき、この式を用いて渋帯が発生したときの日
時等から背景画像の濃度を決定するようにすればよい。

完全渋帯時の処理２ 前述の手法では、データの容量、関数式の決定が難しい
ため、次の手法を考える。

交通の流れを計測する場合、テレビカメラに映っている
車線全てを計測対象とするわけでない。

すなわち、計測対象近辺に車両が通過しない領域があり
、しかも道路の濃度に類似している領域を定め、この濃
度を用いて背景画像を作成する。このとき、画面上の数
点を選び、これらの平均濃度等を用いて作成してもよい
。

完全渋帯時の処理３ 以上の処理は種々のデータを用意しておく必要があるが
、渋帯であるという情報がわかればよいという場合は、
上記データを用意せずに処理可能である。第１１図に処
理フローを示すが、完全渋帯と判断したら、まず朝方か
薄暮かを判断する１００゜朝方、薄暮時以外なら背景画
像があまり変化しないので２特に更新処理する必要はな
い。

逆に朝方、薄暮時は更新処理が必要であるが、前記した
ように、渋帯時は渋帯であるとわかればよい場合である
ので、この渋帯の状態を監視するだけの処理にする。す
なオ〕ち、渋帯の間ループする処理を設け１０１、この
ループの中に、渋帯が否かを背景画像を用いずに判断す
る処理を設け、渋帯が解消すれば、その時点の背景画像
を作成しなおすようにする。具体的には、フレーム差分
（ある時間間隔の２画像を取込みこの画像同士の差分）
を求め１０２、この差分値が大きい画素数が、あるしき
い値１４４より大きければ渋帯中１０４、逆なら渋帯が
解消された１０５とするものである。

ここで、フレーム差分では２画像間での移動量の大きい
領域が抽出されるので、移動物体が存在すれば、差の大
きい領域が多くなり、完全な路面だけの画像であれば、
はとんど差分値はｒ　Ｏ＋　となる。しかし、移動物体
がかなり多く画面に映っていても、移動量がＯであれば
、路面だけのフレーム差分と同じように、差分値はほと
んど′Ｏとなってしまう。そこで、２画面のうち片面（
例えば入力画像）を若干Ｘ、Ｙ方向にシフトしておき、
これらの画像でフレーム差分してや、ｆシば移動量が０
であっても物体が存在していれば、フレム差分値はＯと
はならないので、路面だけのフレーム差分なのか否かを
判定できる。

ところで、背景画像イ１ユ成］、、　０６の方法を第１
２図に示す。自動的に初期の背景画像を求めるためには
、次の処理手順が有効である。

まずある時間間隔をおいて２画像を取込み］、０８、こ
の２画像て差分（絶対値）を求める１０９゜ごの差分値
の大きな領域はどちらかの画像に車両が存在していると
いう情報であるので、この差分値の大きな領域の画素数
がある値より小さくなるまで、これを繰り返す１０７゜
次に差の小さな部分は２画像の平均画像をイ↑成し、、
逆に大きいところは周囲の平均濃度で埋めることで新し
い背景画像を作ることができる。ことでは２画像の平均
濃度を求めるようにしたが、前述した背景更新処理の方
法（例えばｆ・α十ｇ（１−α）→ｇ）で作成しても横
ない。又、周囲の平均濃度で置き換えるのではなく、前
述した局所フィルタ処理によって周囲の濃度を伝播させ
る方法もある。

〔発明の効果〕

本発明によれば、良好な背景画像が、いかなる明るさ変
化が生じても作成可能であるため、移動物体の抽出が確
実に実行可能である。

又、交通管制等に応用するための移動物体抽出において
は、渋帯時の更新方法を設けたので、これらの背景画像
更新も確実に実行可能である。

【図面の簡単な説明】

Claims (1)

1. 【特許請求の範囲】 １、処理対象である入力画像中に物体が存在しているか
   否かを調べ、物体が存在していない、あるいはそれと同
   等の状態のときに、あらかじめ格納している背景画像を
   更新するようにしたことを特徴とする背景画像更新方法
   。 ２、入力画像と背景画像を比較し、差の大きい画素と小
   さい画素とで、更新処理の内容を異らせることを特徴と
   する背景画像更新方法。 ３、複数の車線を監視し、車両の台数や通過台数等を計
   測するシステムにおいて、定期的に背景画像を更新する
   回路を設けたことを特徴とする背景画像更新装置。 ４、特許請求範囲第３項において、渋帯によつて背景画
   像の更新がいずれかの車線において不能な場合、隣接車
   線の背景情報を用いて更新することを特徴とする背景画
   像更新方法。 ５、特許請求範囲第３項において、全ての車線が渋帯で
   、しかも、明るさ変化の大きい時間帯であれば、渋帯が
   解消したか否かを監視し、解消したなら、背景画像を作
   成しなおすようにしたことを特徴とする背景画像更新方
   法。 ６、特許請求範囲第５項において渋帯であるか否かの判
   定をある時間々隔をもつて２画像を取り込み、この両者
   の差分画像を求め、この差分値の平均濃度あるいは、差
   分値の大きい画素の数によつて行うようにすることを特
   徴とする背景画像更新方法。 ７、上記背景画像更新方法において、あらかじめ入力す
   る初期の背景画像を、ある時間間隔をもつて２画像を取
   り込み、この両者の差分画像を求め、この差分値の平均
   濃度がある値より小さくなるまで、あるいは、差分値の
   大きい画素の数がある値より小さくなるまで、２画像の
   取り込みを繰り返し、上記条件を満足したなら２画像を
   用いて、背景画像を作成するようにしたことを特徴とす
   る背景画像作成方法。