JPH07320035A

JPH07320035A - 動体像抽出方法

Info

Publication number: JPH07320035A
Application number: JP6116526A
Authority: JP
Inventors: Takahiro Watanabe; 孝弘渡辺; Yuji Kuno; 裕次久野; Satoshi Nakagawa; 聰中川; Yoshinori Shimosakota; 義則下迫田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1994-05-30
Filing date: 1994-05-30
Publication date: 1995-12-08
Anticipated expiration: 2015-07-10
Also published as: JP3062394B2

Abstract

(57)【要約】【目的】環境の変化に応じた最適な閾値を設定し、正
確で高速に動体像を抽出する。【構成】画像入力部１０により、ある場所の画像を撮
り、差分処理１１により、背景画像と入力画像との差分
画像を求める。差分画像特徴値抽出処理１２により、差
分画像の最大濃度値を求める。初期設定処理１３によ
り、規定フレーム数の最大濃度値の平均値を求める。背
景画像更新処理１４により、背景画像メモリの内容を入
力画像メモリの内容に書き換え、複数フレームの最大濃
度値を求める。画像変化検出処理１５により、入力画像
に動体が含まれているか判断し、動体が含まれていなけ
れば、背景差分特徴配列更新処理１６により、最大濃度
値の配列を更新し、その平均値を求める。最適閾値設定
処理１７により、背景画像データの濃度値の平均値と背
景差分最大濃度値とから、最適閾値を求め、動体出力部
１８により、最適閾値を用いて入力画像を二値化し、動
体像１９を抽出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、さまざまな環境下にお
いて安定して画像中から動体像のみを抽出するための動
体像抽出方法に関するものであり、例えば、画像監視装
置において侵入者を抽出する場合などに利用される。

【０００２】

【従来の技術】図２は、従来の動体像抽出方法を示す構
成ブロック図である。以下、この図を参照しつつ、従来
の動体像抽出方法を説明する。画像入力部１を通して入
力され、背景画像メモリ２に予め格納されている背景画
像、及び入力画像メモリ３に格納されている入力画像と
から、差分処理４により、濃度差の絶対値を計算して差
分画像を求めて該差分画像を二値化処理５に出力する。
二値化処理５では、その差分画像を予め設定されている
閾値を用いて二値化し、入力画像中において背景画像か
ら変化した領域を求める。変化領域抽出処理６では、こ
の変化領域を入力画像中の動体を表す領域、つまり、動
体像７として入力画像中から抽出する。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
動体像抽出方法においては、次のような課題があった。
二値化処理５において、予め設定されている閾値を用い
て差分画像を二値化して動体像を抽出する場合、その閾
値の設定は難しく、また、環境が変化する場合では以下
の理由により動体像を正確に抽出するのは困難である。
例えば、動体の影がくっきり見えるような明るい環境下
において、影の影響を排除し動体像のみを正確に抽出し
ようとすると、閾値は比較的高めに設定しなければなら
ないが、高すぎると動体像が抽出されなくなる。一方、
動体が見えるか見えないかの薄暗い環境下では、閾値は
比較的低めに設定しなくてはならないが、低すぎると雑
音まで抽出してしまう。このように、それぞれの環境下
における適切な閾値を設定するのは難しい。またさら
に、環境が変化する場合に閾値が固定されていると、明
るい環境下ではうまく動体像を抽出できても、環境が変
化して薄暗くなると動体像をうまく抽出できなかった
り、また逆に、暗い環境下ではうまく動体像を抽出でき
ても、明るくなると動体像をうまく抽出できなかったり
する場合がある。

【０００４】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、予め記憶された動体像の存在しない
ときの背景画像と逐次入力される入力画像との差分画像
を閾値との比較により二値化して変化領域を求め、前記
変化領域を動体像として抽出する動体像抽出方法におい
て、以下の処理を実行する。すなわち、現在と過去の背
景画像同士の差分画像を求める差分処理と、前記差分画
像の最大濃度値を求める差分画像特徴値抽出処理と、前
記現在の背景画像を過去の背景画像とし、新たに入力さ
れる背景画像を現在の背景画像とする背景画像更新処理
と、前記差分処理と差分画像特徴値抽出処理と背景画像
更新処理とを所定の回数繰り返して行い複数フレームの
最大濃度値の配列からその平均値である背景差分最大濃
度値を求める初期設定処理と、前記背景差分最大濃度
値、及び前記背景画像の濃度値に基づいて前記閾値を設
定する最適閾値設定処理とを、実行する。第２の発明
は、前記初期設定処理を実行した後、前記背景画像と入
力画像との差分画像の最大濃度値と前記背景差分最大濃
度値とを比較して動体像が存在するか否かを判定する画
像変化検出処理を実行する。そして、前記画像変化検出
処理により動体像が存在しないと判定されたとき、前記
背景画像と入力画像との差分画像の最大濃度値に基づき
前記複数フレームの最大濃度値の配列及び前記背景差分
最大濃度値を更新する背景差分特徴配列更新処理を実行
し、前記背景画像更新処理は前記入力画像を背景画像と
して更新し、前記最適閾値設定処理は前記背景差分特徴
配列更新処理により更新された背景差分最大濃度値及び
前記入力画像の濃度値に基づき前記閾値を更新するよう
にしている。

【０００５】

【作用】第１の発明によれば、以上のように動体像抽出
方法を構成したので、差分画像特徴値抽出処理により、
前記現在と過去の背景画像同士の差分画像の最大濃度値
を求める。この最大濃度値は、撮像場所、画像入力装置
等によって起こる雑音の影響を表す値であり、この値が
背景を表す領域とそれ以外の領域を切り分けるための閾
値となる。差分処理、差分画像特徴値抽出処理、及び背
景画像更新処理を繰り返し行うことにより複数フレーム
の背景画像同士の差分画像の最大濃度値の配列を求め
る。初期設定処理により最大濃度値の配列から平均値で
ある背景差分最大濃度値を求めて雑音の影響を少なくす
る。最適閾値設定処理により、背景差分最大濃度値、及
び背景画像の濃度値に基づいて、明るい背景のもとで発
生し得る動体の影の影響を排除するために最適な閾値を
設定する。この閾値をもとに二値化処理を行い、動体像
を抽出する。第２の発明によれば、画像変化検出処理に
より背景画像と入力画像との差分画像の最大濃度値と前
記背景差分最大濃度値とを比較して動体像が存在するか
否かを判定する。そして、動体像が存在しなければ、入
力画像と背景画像の差分画像の最大濃度値を配列に加
え、この最大濃度値に基いて背景差分最大濃度値を求め
る。このように環境の変化に応じて背景差分最大濃度
値、及び背景画像を更新してゆく。最適閾値設定処理で
は、この背景差分最大濃度値、及び入力画像の濃度値に
基いて閾値を更新し、環境の変化に応じて閾値を設定す
る。従って、前記課題を解決できるのである。

【０００６】

【実施例】まず、本実施例の原理を図面を参照しつつ説
明する。図３、図４は、それぞれ明るい環境下での背景
画像、入力画像の一例を示す図である。図５は、図３と
図４の背景画像と入力画像との差の絶対値を計算して求
められる差分画像である。図６は、図５に示す差分画像
の濃度ヒストグラムを表している。図７、図８は、それ
ぞれ暗い環境下での背景画像、入力画像の一例を示す図
である。図９は、図７と図８の背景画像と入力画像との
差の絶対値を計算して求められる差分画像である。図１
０は、図９に示す差分画像の濃度ヒストグラムを表して
いる。図１１は、時刻ｔでの背景画像とΔｔ後での背景
画像同士の差分画像の濃度ヒストグラムを表している。
図１２は、雑音が全くない場合の時刻ｔでの背景画像と
Δｔ後での背景画像同士の差分画像の濃度ヒストグラム
を表している。図３のような明るい環境下において、背
景画像と入力画像との差分処理を利用して動体（図４中
では人）のみを抽出するためには、図６中の濃度値ｂを
閾値として図５のような差分画像を二値化するのが最も
よい。以下、その理由を述べる。まず、濃度値の小さい
Ａの部分について考察する。雑音の全く発生しない理想
的な装置であれば、背景画像同士の差分画像は全ての画
素値が「０」となり、その濃度ヒストグラムは図１２に
示すようになるはずである。しかし、画像入力装置など
からの雑音の影響によって背景画像同士の差分画像の濃
度ヒストグラムは図１１に示すようになる。この図か
ら、図６におけるＡの部分は差分画像中で変化した領域
以外の背景部分を表す領域であるといえる。そのため、
Ｂ，Ｃの部分が入力画像中で背景画像から変化した領域
を表すといえるが、Ｂの部分は、濃度変化がそれほど激
しくないことを表す領域であり、Ｃの部分は、濃度変化
が激しいことを表す領域である。図３のような明るい環
境下では、一般に動体に影が発生するが、多くの場合濃
度変化の小さいことを表すＢの部分が影の領域を表し、
濃度変化の大きいことを表すＣの部分が動体の領域を表
すことが多い。そのため、動体のみを抽出するには濃度
値ｂが最適な閾値となるのである。

【０００７】一方、図７のような暗い環境下では、図１
０中の濃度値ａ´を閾値として差分画像を二値化するの
が適切である。なぜなら、暗い環境下では、図６中のＢ
の動体の影を表す領域がないために、背景の領域を表す
Ａ´と動体の領域を表す領域Ｃ´とを切り分けるための
ａ´が閾値として最も適していることになる。そこで、
本発明では最適閾値、つまり、図６中の濃度値ｂや図１
０中の濃度値ａ´を以下の手順で求めている。まず、そ
れぞれの環境下において背景を表す領域とそれ以外の領
域を切り分ける濃度値、つまり、図６中の濃度値ａや図
１０中の濃度値ａ´を求める。そのために、まず、異な
る時間における背景画像同士の差分画像を求め、次にそ
の差分画像から最大濃度値を求める。さらに、雑音の影
響を少なくするために、この最大濃度値を複数の背景画
像同士の差分画像から求め、それらの平均値を求める。
この値を図６中の濃度値ａや図１０中の濃度値ａ´とみ
なす（以下、この濃度値を背景差分最大濃度値Ｄと呼
ぶ）。ただし、雑音の影響によって、それぞれの最大濃
度値が安定しない場合は、差分画像の濃度ヒストグラム
の累積度数が全画素中のほぼ１００% となる画素の濃度
値でよい。背景差分最大濃度値Ｄは、撮影場所、画像入
力機器等によって雑音の影響を表す値であり、背景から
常にその影響が現れていることを示す。そのため、この
値が背景を表す領域とそれ以外の領域を切り分けるため
の閾値となる。

【０００８】次に、明るい背景のもとで発生し得る動体
の影の影響を排除するために、背景差分最大濃度値Ｄか
ら閾値をさらに高くするための値（以下、この値を変化
値αと呼ぶ）を決める。変化値αによって図６中の濃度
値ｂが求められる。変化値αは、図７のように暗い環境
下においては影の影響を考慮しなくても良いので、その
値を０にするようにする。一方、図３のように明るい環
境下においては明るくなればなるほど影の影響が強くな
るので、明るさに応じて変化値αを高くするようにす
る。そこで、次式（１）、（２）を用いて最適閾値Ｔを
決定する。

【数１】ただし、 α＝Ｑｘ＋Ｒ・・・（２）ここで、Ｄは、背景差分最大濃度値、ｘは背景画像中の
全画素の濃度値の平均値、αは変化値、Ｑ，Ｒ，ｓは、
定数を表す。背景画像の全画素の濃度の平均値ｘは、背
景画像全体の明るさを表すと考えられるので、図７のよ
うに暗い環境下（平均値ｘがｓ以下）では、背景差分最
大濃度値Ｄがそのまま最適閾値Ｔとなるようになってい
る。一方、図３のように背景が明るい場合（平均値ｘが
ｓ以上）は、平均値の大きさによって閾値が高くなるよ
うに、式２の一次関数の式を用いて変化値αを求め、最
適閾値Ｔを決定する。このとき、Ｑ，Ｒ，ｓは経験的に
予め定めておく。例えば、発明者の実験においては、Ｑ
＝０．２，Ｒ＝０，ｓ＝６０に設定した。このようにす
れば、それぞれの環境に適した二値化閾値を自動的に設
定することが可能で、動体のみを安定して抽出すること
ができる。図１は、本発明の実施例の動体像抽出方法を
示す構成ブロック図である。以下、図１を参照しつつ、
動体像抽出方法を説明する。

【０００９】画像入力部１０画像入力部１０では、ＴＶカメラ等を用いて、ある場所
の画像を撮り、その内容を画像メモリ２０に送る。画像
メモリ２０は、背景画像メモリと入力画像メモリの２つ
の画像メモリを有しており、通常、画像入力処理１０か
ら送られてくる画像データは、入力画像メモリに入力さ
れる。ただし、処理の開始時は、背景画像メモリに背景
だけを撮像した背景画像を格納し、差分処理１１を実行
する。差分処理１１差分処理１１では、画像メモリ２０の背景画像メモリと
入力画像メモリにそれぞれ格納されている画像データか
ら、それぞれの画素の濃度値の差の絶対値を計算し差分
画像を求め、さらにその差分画像を平滑化し雑音成分を
除去した後、その差分画像のデータを差分画像メモリ２
１に格納し、差分画像特徴値抽出処理１２を実行する。差分画像特徴値抽出処理１２差分画像特徴値抽出処理１２では、差分画像メモリ２１
に格納されている差分画像から最大濃度値を求め、その
値を差分画像特徴値メモリ２２に格納する。次に、処理
開始時なら初期設定処理１３を実行し、さもなければ画
像変化検出処理１５を実行する。

【００１０】初期設定処理１３初期設定処理１３では、差分画像特徴値メモリ２２から
送られてくる最大濃度値を背景画像同士の差分画像の最
大濃度値とみなし、規定フレーム数になるまで背景差分
特徴配列メモリ２３にその値を格納して、次の背景画像
更新処理１４を実行する。規定フレーム数になると背景
差分特徴配列メモリ２３に格納された最大濃度値の平均
を求め、その平均値を背景差分最大濃度値Ｄとして背景
差分特徴配列メモリ２３に格納する。背景画像更新処理１４背景画像更新処理１４では、画像メモリ２０の背景画像
メモリの内容を入力画像メモリの内容に書き換える。そ
して、処理開始時の初期設定を行っている場合は、画像
入力部１０に戻り、差分処理１１、差分画像特徴値抽出
処理１２、初期設定処理１３、及び背景画像更新処理１
４を規定フレーム数繰り返して実行する。つまり、新し
く入力される背景画像を入力画像とし、前の背景画像を
背景画像として、新しく入力される背景画像と前の背景
画像とで差分処理１１、差分画像特徴値抽出処理１２、
初期設定処理１３、及び背景画像更新処理１４とを規定
フレーム数繰り返して行い、新たな最大濃度値を求め、
その値を次々に背景差分特徴配列メモリ２３に格納して
いく。そして、規定フレーム数に達すると背景差分特徴
配列メモリ２３に格納された最大濃度値の平均を求め、
その平均値を背景差分最大濃度値Ｄとしてその値も背景
差分特徴配列メモリ２３の中に格納する。つまり、背景
差分特徴配列メモリ２３には、規定フレーム数の背景画
像同士の差分画像の最大濃度値を格納するメモリと、そ
の平均値である背景差分最大濃度値Ｄを格納するメモリ
とを有している。ただし、初期設定処理１３を行ない、
背景差分最大濃度値Ｄを設定するまでは、侵入物体が存
在しない背景のみを撮像した背景画像を人の手によって
入力し続ける。背景差分最大濃度値Ｄを設定されると、
次からはその値を用いて入力画像中に動体が存在するか
どうかが、画像変化検出処理１５で調べられる。

【００１１】画像変化検出処理１５画像変化検出処理１５では、現在の差分画像の最大濃度
値と背景差分最大濃度値Ｄとの差の絶対値がある基準よ
り小さければ、現在の入力画像には動体が存在しない画
像、つまり、背景画像であると判断し、背景差分特徴配
列更新処理１６を実行する。背景差分特徴配列更新処理１６背景差分特徴配列更新処理１６では、背景差分特徴配列
メモリ２３に格納されている過去数フレーム間の最大濃
度値の中で最も古いものを現在の最大濃度値と入れ換え
て、さらに更新された数フレーム間での最大濃度値から
その平均値を求め、それを背景差分最大濃度値Ｄとして
背景差分特徴配列メモリ２３に格納する。さらに、背景
画像更新処理１４において、画像メモリ２０の背景画像
メモリの内容を入力画像メモリの内容に書き換える。こ
れらの更新処理によって、緩やかな環境の変化に対応で
きることになる。また、画像変化検出処理１５におい
て、現在の差分画像の最大濃度値と背景差分最大濃度値
との差の絶対値がある基準より大きければ、動体が存在
するみなして最適閾値設定処理１７を実行する。

【００１２】最適閾値設定処理１７最適閾値設定処理１７では、まず、画像メモリ２０の背
景画像データから全画素中の濃度値の平均値ｘを求め
る。次に、その平均値ｘと背景差分特徴配列メモリ２３
に格納されている背景差分最大濃度値Ｄとから式
（１）、（２）を用いて、最適閾値Ｔを求め、その値を
最適閾値メモリ２４に格納し、動体出力部１８を実行す
る。動体出力処理１８動体出力処理１８では、最適閾値メモリ２４に格納され
ている最適閾値Ｔを用いて入力画像を二値化して変化領
域を求め、この変化領域を動体像１９として抽出する。
以上のように、本実施例では、複数フレームの背景画像
同士の差分画像の最大濃度値を用いて、動体像を抽出す
るための最適閾値を自動的に設定するので、様々な環境
下において入力画像中から動体像のみを正確に、かつ、
高速に抽出することができるという利点がある。

【００１３】

【発明の効果】以上詳細に説明したように、第１、及び
第２の発明によれば、複数フレームの背景画像同士の差
分画像の最大濃度値の平均値、及び背景画像の濃度値を
用いて、動体像を抽出するための閾値を環境に応じて自
動的に設定するので、様々な環境下において入力画像中
から動体像のみを正確に、かつ、高速に抽出することが
できる。

【図面の簡単な説明】

【図１】本発明の実施例の動体像抽出方法を示す構成ブ
ロック図である。

【図２】従来の動体像抽出方法を示す構成ブロック図で
ある。

【図３】明るい環境下での背景画像の一例を示す図であ
る。

【図４】明るい環境下での入力画像の一例を示す図であ
る。

【図５】図３と図４との差分画像の例を示す図である。

【図６】図５の濃度ヒストグラムの例を示す図である。

【図７】暗い環境下での背景画像の一例を示す図であ
る。

【図８】暗い環境下での入力画像の一例を示す図であ
る。

【図９】図７と図８との差分画像の例を示す図である。

【図１０】図９の濃度ヒストグラムの例を示す図であ
る。

【図１１】背景画像同士の濃度ヒストグラムの例を示す
図である。

【図１２】雑音がない場合の背景画像同士の濃度ヒスト
グラムの例を示す図である。

【符号の説明】

１０画像入力部１１差分処理１２差分画像特徴値抽出処理１３初期設定処理１４背景画像更新処理１５画像変化検出処理１６背景差分特徴配列更新処理１７最適閾値設定処理１８動体出力部２０画像メモリ２１差分画像メモリ２２差分画像特徴値メモリ２３背景差分特徴配列メモリ２４最適閾値メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者下迫田義則東京都港区虎ノ門１丁目７番12号沖電気工業株式会社内

Claims

【特許請求の範囲】

【請求項１】予め記憶された動体像の存在しないとき
の背景画像と逐次入力される入力画像との差分画像を閾
値との比較により二値化して変化領域を求め、前記変化
領域を動体像として抽出する動体像抽出方法において、現在と過去の背景画像同士の差分画像を求める差分処理
と、前記差分画像の最大濃度値を求める差分画像特徴値抽出
処理と、前記現在の背景画像を過去の背景画像とし、新たに入力
される背景画像を現在の背景画像とする背景画像更新処
理と、前記差分処理と差分画像特徴値抽出処理と背景画像更新
処理とを所定の回数繰り返して行い複数フレームの最大
濃度値の配列からその平均値である背景差分最大濃度値
を求める初期設定処理と、前記背景差分最大濃度値、及び前記背景画像の濃度値に
基づいて前記閾値を設定する最適閾値設定処理とを、実行することを特徴とする動体像抽出方法。
【請求項２】前記初期設定処理を実行した後、前記背
景画像と入力画像との差分画像の最大濃度値と前記背景
差分最大濃度値とを比較して動体像が存在するか否かを
判定する画像変化検出処理を実行し、前記画像変化検出処理により動体像が存在しないと判定
されたとき、前記背景画像と入力画像との差分画像の最大濃度値に基
づき前記複数フレームの最大濃度値の配列及び前記背景
差分最大濃度値を更新する背景差分特徴配列更新処理を
実行し、前記背景画像更新処理は前記入力画像を背景画
像として更新し、前記最適閾値設定処理は前記背景差分
特徴配列更新処理により更新された背景差分最大濃度値
及び前記入力画像の濃度値に基づき前記閾値を更新する
ようにしたことを特徴とする請求項１記載の動体像抽出
方法。