JPH0922466A - 背景画像作成方法および画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】移動物体が入力画像中に存在しても背景画像中
に入ることなく、精度の良い基準背景画像を作成する背
景画像作成方法を提供する。 【構成】時間的に前後している「前」入力画像10'と「後」
入力画像10"との２つの画像を順送り入力し、差分処理1
1'及び２値化処理12'し、２値画像13"を作成する第１ス
テップと、２値画像13"と前回移動領域15とを用いて、
論理和演算処理14'して今回移動領域15'を作成し、所定
回数論理和演算処理した後の当該今回移動領域を抽出し
移動領域15'を作成する第２ステップと、該移動領域15'
を反転処理16し静止領域17を作成する第３ステップと、
移動領域15'と、静止領域17と、静止領域17に該当する
「前」入力画像10'とを順次寄せ集め演算処理21し、背景
画像22を作成する第４ステップとを含み、意図する背景
画像を作成する背景画像作成方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、背景画像作成方法
および画像処理装置に係り、画像処理における基準背景
画像の作成方法ならびに移動体検出装置や監視装置等に
用いられる画像処理装置に関する。

【０００２】

【従来の技術】近年、画像処理を用いて交通流計測や各
種監視が行われているが、対象物体を抽出するために背
景差分手法が用いられているものが多い。 この手法
は、予め基準となる画像を背景画像として取り込んでお
き、入力画像との差分処理により、対象物を抽出しよう
とするもので、一番最初に設定し基準とする背景画像
（以下、基準背景画像という)を、人が画像中に移動物
体が存在しないことを判断し取り込み設定するものであ
る。そして、特開平３ー１１８６７７号公報の記載に、
外界の天候の変化等によって生ずる明るさの変化に対応
して、基準背景画像をダイナミックに更新することによ
り、対象物を安定に抽出する技術がある。

【０００３】また、この種の技術として、文献「第９回
産業における画像センシング技術シンポジウム講演論文
集、pp.15-20、１９９４年６月」がある。該文献におい
て開示されている背景画像作成の技術は、論理積差分画
像（現画像及び５個前の画像による２値画像と、現画像
及び１０個前の画像による２値画像との論理積を求めた
画像）中から静止領域と移動領域を判別し、静止領域に
対応した入力画像の画素値を背景画像の画素値とするも
のである。

【０００４】

【発明が解決しようとする課題】上記の従来技術では、
図４、図５に示すように、２値画像 b(t-1)１３または
４２と、２値画像 b(t)１３’または４２’との論理積
演算（ＡＮＤ処理）３５により求めた、移動領域３６ま
たは４３を反転処理３７し、マスク画像としての静止領
域 m'(t)３８または４４を作成する。これを入力画像f
(t-1)１０’または４１’と掛け算処理３９することに
より、新しい背景画像 g'(t)４０または４５を作成する
ものである。図に示すように、移動領域の一部５０また
は５１が、背景画像 g'(t)４０または４５に取り込まれ
る場合があるという問題がある。

【０００５】ここで、図４は、従来技術の背景画像作成
方法を示す処理機能図である。移動物体の移動速度が遅
い場合等において、各画像間での移動領域に重なりが生
じる場合を表している。また、図５は、もう一つ別の従
来技術の背景画像作成方法を示す処理機能図である。移
動物体の移動速度が速い場合や画像の取り込み間隔が長
い場合において、各画像間での移動領域に重なりが生じ
る場合を表している。

【０００６】すなわち、従来技術は、移動体の移動速度
や各画像の取り込み間隔により背景画像中に車両等の移
動物体が入り込むことについては配慮されておらず、高
精度の基準背景画像を得ることができないという問題が
あった。したがって、本発明の目的は、移動体検出装置
や監視装置で必要となる基準背景画像の作成に関する、
精度の良い背景画像作成方法および画像処理装置を提供
することにある。

【０００７】

【課題を解決するための手段】上記の目的は、任意の時
間間隔で連続して送信される画像のうちから、時間的に
前後している「前」と「後」の２つの入力画像を順送り入力
処理して求め、該「前」及び「後」入力画像を用いて差分処
理および２値画像化処理し、２値画像を順次作成する第
１ステップと、作成された該２値画像と前回移動領域と
を用いて、論理和演算処理して今回移動領域を順次作成
し、かつ該今回移動領域を次回の演算のための前記前回
移動領域に置換し、所定回数論理和演算処理した後の当
該今回移動領域を抽出し、移動領域を作成する第２ステ
ップと、該移動領域を反転処理し、静止領域を作成する
第３ステップと、該静止領域に該当する前記「前」入力画
像を、順次、寄せ集め演算処理し、意図する背景画像を
作成する第４ステップとを含むことにより達成される。

【０００８】換言すれば、一枚(１フレーム)の画像は、
道路等の静止領域と車両等の移動領域とから構成され
る。背景画像を作成するためには静止領域を正しく求め
る必要がある。静止領域は、全体の画像(すなわち、静
止領域と移動領域の和)から移動領域を差し引くことで
求められ、そこで、静止領域を正しく求めるためには、
差し引く移動領域を正しく求めることが必要になる。し
たがって、一部しか求められない論理積演算(ＡＮＤ処
理)に代えて、移動領域の全てが求められる論理和演算
(ＯＲ処理)とし、時間が異なる複数のカメラ視野内で移
動物体同志の重なりが生ずる場合でも、正しく移動領域
を求められるようにするものである。

【０００９】また、上記目的を達成する画像処理装置
は、任意の時間間隔で連続して送信される画像のうちか
ら、時間的に前後している「前」と「後」の２つの入力画像
を順送り入力処理して求め、該「前」及び「後」入力画像を
用いて差分処理および２値画像化処理し、２値画像を順
次作成する２値画像作成手段と、作成された該２値画像
と前回移動領域とを用いて、論理和演算処理して今回移
動領域を順次作成し、かつ該今回移動領域を次回の演算
のための前記前回移動領域に置換し、所定回数論理和演
算処理した後の当該今回移動領域を抽出し、移動領域を
作成する移動領域作成手段と、該移動領域を反転処理
し、静止領域を作成する静止領域作成手段と、該静止領
域に該当する前記「前」入力画像を、順次、寄せ集め演算
処理し、背景画像を作成する背景画像作成手段とを含み
構成し、送信される前記画像を処理するものである。

【００１０】

【発明の実施の形態】以下、本発明による実施の形態に
ついて、図面に示す実施例を参照しながら説明する。初
めに、本実施例に係る移動体検出装置を例に挙げ、その
概要について説明する。図２は、本発明による一実施例
の移動体検出装置の構成を示すブロック図である。本実
施例に係る移動体検出装置は、取り込まれた画像を処理
する画像処理部１００と、画像を取り込むカメラ１０１
と、画像や種々の情報を表示するモニタ１１１と、装置
全体の制御や画像処理部１００の結果を処理するＣＰＵ
１１２とを含み構成される。

【００１１】画像処理部１００は、Ａ／Ｄ変換器１０
２、画像メモリ１０３、画像間演算回路１０４、２値化
回路１０５、反転回路１０６、ヒストグラム処理回路１
０７、ヒストグラムメモリ１０８、線形結合演算回路１
０９、 Ｄ／Ａ変換器１１０を含み構成される。画像メ
モリ１０３は、例えば、256×256 画素の濃淡画像メモ
リがｋ枚(Ｇ１〜Ｇｋ)備わっており、また、必要に応じ
て２値画像を格納する２値画像メモリをｊ枚(Ｂ１〜Ｂ
ｊ)備える。以下、動作について説明する。

【００１２】ＣＰＵ１１２からの指令に基づいて、画像
処理部１００はカメラ１０１によって撮影された画像信
号を取り込み、Ａ／Ｄ変換器１０２によって、例えば１
２８階調の濃度データに変換して画像メモリ１０３に記
憶する。さらに、該画像処理部１００は、ＣＰＵ１１２
の指令に基づいて、画像メモリ１０３のデータを用い
て、画像間演算処理、２値化処理、画像の反転処理、ヒ
ストグラム処理(濃度頻度分布算出処理)、線形結合演算
処理などを、画像間演算回路１０４、２値化回路１０
５、反転回路１０６、ヒストグラム処理回路１０７、線
形結合演算回路１０９などで実行し、必要に応じて処理
結果等をＤ／Ａ変換器１１０を介して映像信号に変換
し、モニタ１１１に表示する。尚、ヒストグラムメモリ
１０８は、算出や判定のための濃度頻度分布を記憶する
メモリである。

【００１３】上記基準とする背景画像が得られた後の、
車両、人間などと言った移動体の抽出処理及び移動体の
流れの計測処理の一例について、その概略を説明する。
図３は、図２の移動体検出装置の処理のフローを示す図
である。まず、画像処理部１００が、入力画像１と基準
とする背景画像２との差分処理３により、差分画像４を
求め、これを所定の閾値で２値化し、２値画像４を作成
する。その後ＣＰＵ１１２で、レーン毎に車両の抽出処
理６を実行し、この画像について、車線毎に車両台数や
個別の車速等の計測処理７を実行する。

【００１４】次に、本発明の中心部分である基準背景画
像を作成する背景画像作成処理の詳細について説明す
る。図１は、本発明による一実施例の背景画像作成方法
を示す処理機能図である。すなわち、基準背景画像を作
成するための各処理の機能が示されている。なお、図１
における、差分処理１１、論理和演算処理１４、掛け算
処理１８，２１、加算処理２３などは、図２の画像間演
算回路１０４で処理される。

【００１５】まず、カメラからある時間間隔を有して連
続的に送信され、時間的に前後している２フレームの
「前」の入力画像 f(t-2)１０と「後」の入力画像 f(t-1)１
０’とを入力し、画像間演算回路１０４で差分処理１１
し、さらに２値化回路１０５で２値化処理１２して、２
値画像 b(t-1)１３’を作成する。次に、「後」であった
画像を「前」の入力画像 f(t-1)１０’にし、新たに「後」
の入力画像 f(t)１０”を入力し、即ち順送り入力処理
し、２値画像 b(t)１３”を順次作成する。すなわち、
第１ステップでは、任意の時間間隔で連続して送信され
る画像のうちから、時間的に前後している「前」と「後」の
２つの入力画像を「順送り入力処理」して求め、該「前」
及び「後」入力画像を用いて差分処理および２値画像化処
理し、２値画像を順次作成すると言える。そして、順送
り入力処理と差分処理とを含む画像間演算回路１０４と
２値化回路１０５が、２値画像作成手段に相当する。

【００１６】次に、順次作成される２値画像から順次論
理和演算を実行し、移動領域としてのマスク画像を作成
する方法は、具体的には、２値画像 b(t-2)１３が用い
られて前回の論理和演算で得られた前回移動領域 m(t-
2)と、２値画像 b(t-1)１３’とを用いて、画像間演算
回路１０４で論理和演算処理１４し、今回移動領域とし
てのマスク画像 m(t-1)１５を得る。次に、該マスク画
像 m(t-1)１５を次回の演算のための前回移動領域に置
き換え、新たな２値画像 b(t)１３”とで論理和演算処
理１４’し、今回移動領域としてのマスク画像 m(t)１
５’を得る。そして以上の演算処理を所定回数（毎回す
なわち１回を含む、通常は４〜５回）繰り返した後の、
当該今回移動領域を抽出したものを、移動物体の抽出を
実行した結果としての「移動領域」に設定するものであ
る。本実施例の場合の最終的に設定された移動領域は、
図示されているマスク画像 m(t)１５’である。

【００１７】即ち、第２ステップでは、作成された２値
画像と前回移動領域とを用いて、論理和演算処理して今
回移動領域を順次作成し、かつ該今回移動領域を次回の
演算のための前回移動領域に置換し、所定回数論理和演
算処理した後の当該今回移動領域を抽出し、移動領域を
作成すると言える。そして、移動領域の抽出処理と論理
和演算処理とを含んだ画像間演算回路１０４が移動領域
作成手段に相当する。このように移動領域のマスク画像
の作成を、論理和演算処理（ＯＲ処理）で行うのが本発
明のポイントである。所定回数のＯＲ処理を繰り返すこ
とにより、移動領域を移動する物体の全てが抽出される
ので、正しい移動領域が求められる。

【００１８】次に、上記のように所定回数繰り返して求
めた、移動領域としてのマスク画像m(t)１５’を、反転
回路１０６で反転処理１６し、静止領域としての反転マ
スク画像 m'(t)１７を得る。即ち、第３ステップでは、
移動領域を反転処理し、静止領域を作成すると言える。
そして、反転回路１０６が静止領域作成手段に相当す
る。

【００１９】最後に、静止領域としての反転マスク画像
を用いて、意図する背景画像を作成する方法として、
「寄せ集め演算処理」による方法がある。「寄せ集め演算
処理」は残像と濃度頻度分布とを利用するもので、次の
通りである。まず、静止領域としての反転マスク画像
m'(t)１７と、所定回数繰り返し反転し当該静止領域が
得られた時点に同期している、「前」入力画像としての
入力画像 f(t-1)１０'とを掛け算処理２１し、背景画像
m'f(t)２２を設定する。

【００２０】次に、移動領域としてのマスク画像 m(t)
１５’と、前回背景領域画像g"(t-1)１９とを掛け算処
理１８し、今回得た移動領域中に含まれる前回の背景領
域画像の分を考慮した残像背景領域mg"(t)２０を求め
る。そして、該残像背景領域 mg"(t)２０と、前述の背
景画像 m'f(t)２２とを加算処理２３し、今回背景領域
画像g"(t)２４を得る。なお、得られた今回背景領域画
像g"(t)２４は、次回の演算のために前回背景領域画像
g"(t-1)１９として置換される。また、一番最初の演算
時には前回背景領域画像はクリアされている。

【００２１】そして、上記の今回背景領域画像 g"(t)２
４に、濃度０の領域（No.24の白抜きで示されている部
分）がないかどうか、即ち、背景画像として採用できる
かどうかが判定される。具体的には、ヒストグラム処理
回路１０７とヒストグラムメモリ１０８とで濃度頻度分
布を算出し、濃度０の画素がなく、画素が全て埋まり基
準背景画像ができたかを判定する方法であり、それを実
行するものが、判定処理２５である。画素が全部埋まっ
ていない場合は、継続処理３１で先頭に戻り、画像の入
力から各処理が繰り返される。そして、全ての画素が埋
まったと判定した時点の今回背景領域画像 g"(t)２４を
出力し、意図する背景画像を作成するものである。図示
の実施例では背景画像 g'(t)２６に相当する。

【００２２】すなわち、第４ステップは、移動領域と、
静止領域と、該静止領域に該当する「前」入力画像とを用
いて、順次、寄せ集め演算処理し、意図する背景画像を
作成するものと言える。そして、掛算処理，加算処理な
どを含む画像間演算回路１０４、判定処理，繰り返し継
続処理などを含むヒストグラム処理回路１０７及びヒス
トグラムメモリ１０８が、背景画像作成手段に相当する
と言える。

【００２３】次に、処理時間は少し増えるがノイズによ
る影響を回避する方法について説明する。この方法は、
上記した実施例に、線形結合演算処理を加えるものであ
る。ここでは、第４ステップに線形結合演算処理を加え
た少し複雑な例について説明する。上記実施例の判定処
理２５で、画素が全部埋まった今回背景領域画像 g"(t)
２４が作成された場合、これを今回背景画像 g'(t)２６
として仮設定する。そして、今回背景画像 g'(t)２６と
前回背景画像 g'(t-1)２７とを用いて、線形結合演算回
路１０９により、次の(数１)式の線形結合演算処理２８
を繰り返し実行し、意図する基準背景画像g(t)２９を得
るものである。

【００２４】 g(t)＝Ａg'(t)＋(１−Ａ)g'(t-1) (数１) ただし、 Ａ：線形結合係数 得られた基準背景画像 g(t)２９は、次回の演算のため
に前回背景画像g'(t-1)２７として置換される。なお、
一番最初の演算時には前回背景画像g'(t-1)２７はクリ
アされている。

【００２５】そして、判定処理３０で、(数１)式の処理
が所定回数（１回以上、通常は２〜３回）実行されたか
がチェックされ、所定回数に達した場合は、基準背景画
像設定処理３２で、該基準背景画像 g(t)２９を出力
し、意図する背景画像を作成するものである。一方、指
定回数に達していない場合は、先頭に戻り、処理が繰り
返される。

【００２６】したがって、上記の方法は、第１ステップ
から第４ステップまでの処理を繰り返して、前回の処理
で作成された前回背景画像と今回の処理で作成した今回
背景画像とを求め、該前回背景画像及び今回背景画像を
用いて線形結合演算処理し、基準背景画像を作成する第
５ステップを追加するものと言える。また、判定処理，
繰り返し継続処理などを含む線形結合演算回路１０９
が、線形結合演算手段に相当する。この線形結合演算処
理の追加採用は、ランダムノイズによる影響が減るの
で、さらに精度の良い基準背景画像が作成され、有効な
方法であると言える。

【００２７】

【発明の効果】本発明によれば、移動物体が入力画像中
に存在しても移動物体が背景画像中に入ることなく、精
度の高い基準背景画像を作成することができる。

【図面の簡単な説明】

【図１】本発明による一実施例の背景画像作成方法を示
す処理機能図である。

【図２】本発明による一実施例の移動体検出装置の構成
を示すブロック図である。

【図３】図２の移動体検出装置の処理のフローを示す図
である。

【図４】従来技術の背景画像作成方法を示す処理機能図
である。

【図５】もう一つ別の従来技術の背景画像作成方法を示
す処理機能図である。

【符号の説明】

１，１０…入力画像、２…背景画像、３，１１…差分処
理、４…差分画像、５，１３…２値画像、６…抽出処
理、７…計測処理、１２…２値化処理、１４…論理和演
算処理、１５…マスク画像、１６…反転処理、１７…反
転マスク画像、１８，２１…掛け算処理、１９…前回背
景領域画像、２０…残像背景領域、２２…背景画像、２
３…加算処理、２４…今回背景領域画像、２５，３０…
判定処理 ２６…今回背景画像、２７…前回背景画像、２８…線形
結合演算処理、２９…基準背景画像、３１…継続処理、
３２…基準背景画像設定処理、１００…画像処理部、１
０１…カメラ、１０２…Ａ／Ｄ変換器、１０３…画像メ
モリ、１０４…画像間演算回路、１０５…２値化回路、
１０６…反転回路、１０７…ヒストグラム処理回路、１
０８…ヒストグラムメモリ、１０９…線形結合演算回
路、１１０…Ｄ／Ａ変換器、１１１…モニタ、１１２…
ＣＰＵ

Claims (4)

【特許請求の範囲】
1. 【請求項１】任意の時間間隔で連続して送信される画像
   のうちから、時間的に前後している「前」と「後」の２つの
   入力画像を順送り入力処理して求め、該「前」及び「後」入
   力画像を用いて差分処理および２値画像化処理し、２値
   画像を順次作成する第１ステップと、 作成された該２値画像と前回移動領域とを用いて、論理
   和演算処理して今回移動領域を順次作成し、かつ該今回
   移動領域を次回の演算のための前記前回移動領域に置換
   し、所定回数論理和演算処理した後の当該今回移動領域
   を抽出し、移動領域を作成する第２ステップと、 該移動領域を反転処理し、静止領域を作成する第３ステ
   ップと、 該静止領域に該当する前記「前」入力画像を、順次、寄せ
   集め演算処理し、意図する背景画像を作成する第４ステ
   ップとを含むことを特徴とする背景画像作成方法。
2. 【請求項２】請求項１において、前記第１ステップから
   前記第４ステップまでの処理を繰り返して、前回の処理
   で作成された前回背景画像と今回の処理で作成した今回
   背景画像とを求め、該前回背景画像及び今回背景画像を
   用いて線形結合演算処理し、基準背景画像を作成する第
   ５ステップを有することを特徴とする背景画像作成方
   法。
3. 【請求項３】任意の時間間隔で連続して送信される画像
   のうちから、時間的に前後している「前」と「後」の２つの
   入力画像を順送り入力処理して求め、該「前」及び「後」入
   力画像を用いて差分処理および２値画像化処理し、２値
   画像を順次作成する２値画像作成手段と、 作成された該２値画像と前回移動領域とを用いて、論理
   和演算処理して今回移動領域を順次作成し、かつ該今回
   移動領域を次回の演算のための前記前回移動領域に置換
   し、所定回数論理和演算処理した後の当該今回移動領域
   を抽出し、移動領域を作成する移動領域作成手段と、 該移動領域を反転処理し、静止領域を作成する静止領域
   作成手段と、 該静止領域に該当する前記「前」入力画像を、順次、寄せ
   集め演算処理し、背景画像を作成する背景画像作成手段
   とを含むことを特徴とする画像処理装置。
4. 【請求項４】請求項３において、前記２値画像作成手段
   から、前記移動領域作成手段と、前記静止領域作成手段
   と、前記背景画像作成手段までの処理を繰り返して、前
   回の処理で作成された前回背景画像と今回の処理で作成
   した今回背景画像とを求め、該前回背景画像及び今回背
   景画像を用いて、線形結合演算処理し基準背景画像を作
   成する線形結合演算手段を設けたことを特徴とする画像
   処理装置。