JPH11296653A - 画像処理装置及びこれを用いた人体検知装置 - Google Patents

Abstract

(57)【要約】 【課題】 この発明は、背景画像と入力画像を用いた画
像処理による人体検知をより正確で且つ信頼性が高く行
える装置を提供することを目的とする。 【解決手段】 監視領域を撮像する画像入力部１と、そ
の撮像画像データを格納する入力画像メモリ３１、３２
と、背景画像を記憶する背景画像メモリ３３と、背景画
像データと入力画像データとの間で正規化相互相関演算
を行う第１正規化相互相関演算部４１と、連続フレーム
の入力画像データとの間で正規化相互相関演算を行う第
２正規化相互相関演算部４２と、相関係数に基づき人体
候補領域を検出する人体候補領域検出部５と、相関係数
に基づく動き履歴を記憶する動き履歴メモリ部６と、人
体候補領域検出部５からの出力と動き履歴メモリ部５か
らの出力に基づき背景領域と人体領域とを判断する背景
判定部７と、を備えてなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像処理装置に
関し、背景画像と入力画像を用いた画像処理により人体
を検知する装置に関する。

【０００２】

【従来の技術】オフィスなどの空間において、その空間
に存在する人の数及び分布などに応じて、照明、空調な
どの機器の制御を行うことが省エネルギーの観点から望
まれている。画像処理装置を用いた人体検知装置により
人の在室情報を得、この情報により、照明・空調などの
機器を制御することで、これら機器を最適な状態で運転
させることができる。

【０００３】従来、画像処理による人体検知の主な手法
として背景差分法がある。この方法は、ビデオカメラな
どの撮像手段で得られた画像と人体を検出するために予
め作成されている背景画像との間で比較を行い、両者の
差分をとり、画像の変化した部分の特徴量を利用して人
体を検出するものである。

【０００４】従来、上記した手法を用いた人体検知装置
にはいくつかの問題があり、大きく分けて次の２つの問
題がある。１．照明が少しでも変化した場合や、ビデオ
カメラのゲイン・オフセットが変化した場合に誤検出が
発生する。２．背景画像を更新した場合に、人体領域の
背景化が発生することがある。

【０００５】一方、背景差分法を用いた画像処理装置と
して、背景画像が変更した場合にも目的とする物体を検
出するために種々の方法が提案されている（例えば、特
開平４−１１１０７９号、特開平７−２６２３５５号、
特開平６−７６０４７号等参照）。

【０００６】

【発明が解決しようとする課題】上記した各装置におい
ても、物体を検出する方法としては、背景との差分を用
いているため、上記１の問題は避けられない。また、背
景更新処理は、色々な方法を用いて行われているが、い
ずれの場合も、人がある程度動いているという仮定のも
とでの処理であり、オフィス環境のような「動きの少な
い人物」を検知する場合には適していない。

【０００７】この発明は、上述した従来の問題点を解消
するためになされたものにして、人の在室情報を用いて
空調・照明を制御する場合に用いられる人体検知装置に
適した画像処理装置を提供し、背景画像と入力画像を用
いた画像処理による人体検知をより正確で且つ信頼性が
高く行える装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】この発明の画像処理装置
は、監視領域を撮像する撮像手段と、その撮像画像デー
タを格納する入力画像記憶手段と、背景画像を記憶する
背景画像記憶手段と、を備え、背景画像データと入力画
像データとの間で正規化相互相関演算を行い、算出した
相関係数に従い変化領域を抽出することを特徴とする。

【０００９】また、画像データの輝度標準偏差を算出
し、所定値以上の標準偏差の時に正規化相互演算を行う
ように構成するとよい。

【００１０】正規化相互相関は、２つの画像を比較する
際に画像の輝度の正規化（平均０、分散１）を行うの
で、正規化相互相関演算を用いることで、画像のゲイン
・オフセットの変化に強くなり、正確に変化領域を抽出
することができる。

【００１１】また、この発明の画像処理装置は、監視領
域を撮像する撮像手段と、その撮像画像データを格納す
る入力画像記憶手段と、を備え、連続フレームの入力画
像データとの間で正規化相互相関演算を行い、算出した
相関係数に従い変化領域の動き情報を検出することを特
徴とする。

【００１２】更に、検出した動き情報の履歴を格納する
動き履歴記憶手段を備え、記憶された動き履歴に基づ
き、背景画像が否か判断するように構成するとよい。

【００１３】動き履歴を用いることで、変化領域が人体
か背景かを正確に判断することができる。

【００１４】この発明の人体検知装置は、監視領域を撮
像する撮像手段と、その撮像画像データを格納する入力
画像記憶手段と、背景画像を記憶する背景画像記憶手段
と、背景画像データと入力画像データとの間で正規化相
互相関演算を行う第１正規化相互相関演算手段と、連続
フレームの入力画像データとの間で正規化相互相関演算
を行う第２正規化相互相関演算手段と、前記第１正規化
相互相関演算手段からの相関係数に基づき人体候補領域
を検出する人体候補領域検出手段と、前記第２正規化相
互相関演算手段からの相関係数に基づく動き履歴を記憶
する動き履歴記憶手段と、前記人体候補領域検出手段か
らの出力と動き履歴記憶手段からの出力に基づき背景領
域と人体領域とを判断する背景判定手段と、を備えたこ
とを特徴とする。

【００１５】画像データの輝度標準偏差を算出し、所定
値以上の標準偏差の時に正規化相互演算を行うように構
成するとよい。

【００１６】上記した構成によれば、画像のゲイン・オ
フセットの変化に関わらず人体候補領域を検出すること
ができ、正確で且つ信頼性の高い人体検知が行える。

【００１７】前記背景判定手段で、背景と判断された背
景領域の背景画像データを対応する現フレームの画像デ
ータ領域に更新するように構成するとよい。

【００１８】また、背景更新の範囲を人体領域に代表さ
れる「変化領域」に限定して、動き情報の履歴を基に更
新処理を行うことで、人体領域が背景になる可能性が低
くなり、正確な人体検知が行える。

【００１９】

【発明の実施の形態】以下、この発明の実施の形態につ
き図面を参照して説明する。図１は、この発明の一実施
の形態にかかる画像処理装置を示すブロック図である。

【００２０】この装置のシステム構成としては、図１に
示すように、画像入力部１、画像メモリ部３、正規化相
互相関演算部４、人体候補領域検出部５、動き履歴メモ
リ部６、背景判定部７、背景更新処理部８、人体領域カ
ウント部９、在室状況データ作成部１０、モニタ部１１
と、からなっている。

【００２１】画像入力部１は、撮像手段としてのビデオ
カメラ１ａ及びこのビデオカメラ１ａのアナログ信号を
デジタル信号に変換するＡ／Ｄ変換回路１ｂを備え、ビ
デオカメラ１ａがオフィスなどの監視領域室内を撮影
し、得られた映像信号がＡ／Ｄ変換回路１ｂに与えら
れ、このＡ／Ｄ変換回路１ｂにてアナログの映像信号を
デジタル信号に変換した画像データが画像メモリ部３に
与えられる。

【００２２】画像メモリ部３は、背景画像データが格納
される背景画像メモリ３３、入力画像データが格納され
る第１入力画像メモリ３１及び第２入力画像メモリ３２
を備える。

【００２３】画像入力部１からの画像データは、第１入
力画像メモリ３１に与えられ、第１画像メモリ３１に格
納された画像データは、第２入力画像メモリ３２及び背
景画像メモリ３３にそれぞれ与えられる。

【００２４】この背景画像メモリ３３には人のいない状
態の背景画像をビデオカメラ１ａで撮像した画像データ
が格納される。この背景画像が格納される背景画像メモ
リ３３の内容は後述する背景更新処理部８の動作に基づ
き更新される。

【００２５】第１入力画像メモリ３１には、最新フレー
ムの画像データが格納され、第２入力画像メモリ３２に
は１フレーム前の画像データが格納される。即ち、第１
入力画像メモリ３１と第１入力画像データメモリ３２に
は連続する２つのフレームの画像データが格納されるこ
とになる。この実施の形態では、１フレームが２秒であ
る。

【００２６】画像メモリ部３に格納された画像データが
正規化相互相関演算部４に与えられる。この正規化相互
相関演算部４は、正規化相互演算処理により、２つの画
像の輝度を正規化（平均０、分散１）する。この正規化
相互相関演算処理部４は、背景画像と入力画像との相関
（以下、単に正規化相互相関処理という。）をとる第１
正規化相互相関演算部４１と、連続するフレーム間の相
関をとる（以下、単にフレーム間相関という。）第２正
規化相互相関演算部４２とを備える。

【００２７】第１正規化相互相関演算部４１にて正規化
相互相関処理を行うために、背景画像メモリ３３に格納
された背景画像データと第１入力画像メモリ３１に格納
された現フレームの画像データが第１正規化相互相関演
算部４１に与えられる。この第１正規化相互相関演算部
４１にて、正規化相互相関演算行い２つの画像中の異な
る箇所を検出するために用いられる相関係数が算出され
る。この算出した相関係数が人体候補領域検出部５に与
えられる。

【００２８】また、第２正規化相互相関演算部４２にて
フレーム間相関処理を行うために、第１入力画像メモリ
３１に格納された現フレームの画像データと第２入力画
像メモリに格納された１フレーム前の画像データが第２
正規化相互相関演算部４２に与えられる。この第２正規
化相互相関演算部７に与えられる連続するフレーム間の
画像データで正規化相互相関演算処理が行われ、動きの
検出履歴を求めるために用いられる相関係数が算出され
る。この算出された相関係数が動き履歴メモリ部６に与
えられる。

【００２９】上記した正規化相互相関演算動作について
は、後述する。

【００３０】人体候補領域検出部５は、第１正規化相互
相関演算部４１から得た相関係数を閾値処理した後、ノ
イズ除去、穴埋め、ラベリング処理を行い人体候補領域
を求め、その結果を背景判定部７及び人体カウント部９
に与える。

【００３１】動き履歴メモリ部６は、第２正規化相互相
関演算部４２で求めたフレーム間の相関係数を履歴とし
てと記録していく。この動き履歴メモリ部６からの動き
履歴データが背景判定部７に与えられる。

【００３２】背景画像判定部７は、動き履歴メモリ部６
のデータにより人体候補領域検出部５より得られた人体
領域候補が人体であるか否かを否か判断し、その判断結
果を背景更新処理部８と人体カウント部９に与える。

【００３３】背景更新処理部８は、背景判定部７からの
人体候補領域の中で背景と判断された領域を背景として
背景画像メモリ３３にの内容を書き換える。即ち、背景
更新処理部８にて背景であると判断された領域を背景部
として、その領域に相当する画像を第１入力画像メモリ
３１から取り込み、新しい背景部として背景画像メモリ
３３の該当領域をその画像と入れ換える。

【００３４】人体カウント部９は、監視する室内に存在
する人の位置、数等をカウントするもので、人体候補領
域検出部５から与えられた人体候補領域に基づいて、位
置、人数等をカウントして行く。また、背景判定部７で
背景と判断された人体候補領域がある場合には、その領
域を減算する。

【００３５】映像等のディジタル信号はモニタ部１１の
Ｄ／Ａ変換回路１１ａにてアナログの映像信号に変換さ
れ、撮影中の画像等がＣＲＴなどからなるモニタ１１ｂ
に表示される。そして、在室状況データ作成部１０は、
人体カウント部９からの出力が与えられ、この出力に基
づき現在室内にいる人数などの在室状況データを作成
し、作成したデータをモニタ部１１のＤ／Ａ変換回路１
１ａに与え、このＤ／Ａ変換回路１１ａにてアナログ信
号に変換し、撮影画像の下方部などに人数等のデータが
重ね合わされて表示される。

【００３６】図２は、上記したシステム構成において、
画像入力から人体検知結果出力までを行うアルゴリズム
を示すフローチャートである。

【００３７】この図２に従い、この発明の動作につき説
明する。図２に示すように、画像入力部１で撮像した画
像データは第１及び第２入力画像メモリ３１、３２にそ
れぞれ格納される（Ｓ１）。また、背景画像データが背
景画像メモリ３３に格納されている（Ｓ７）。第１入力
画像メモリ３１に格納されている現フレームの入力画像
は、フレーム間相関処理（Ｓ２）及び正規化相互相関処
理（Ｓ８）を行うために、第１正規化相互相関演算部４
１及び第２正規化相互相関演算処理部４２に与えられ
る。背景画像メモリ３３から背景画像データが第１正規
化相互相関演算部４１与えられ、正規化相互相関処理が
行われる（Ｓ９）。

【００３８】また、第２正規化相互相関演算処理部４２
には、第２入力画像メモリ３２より前フレームの画像デ
ータが与えられ、フレーム間相関処理が行われる（Ｓ
２）。

【００３９】フレーム間相関処理を行った後、動き領域
検出処理（Ｓ３）が行われ、動き履歴の解析処理にはい
る（Ｓ４）。

【００４０】また、正規化相互相関処理処理を行った後
（Ｓ８）、人体候補領域検出部５にて人体候補領域検出
処理を行う（Ｓ９）。人体領域候補検出処理動作を行っ
た後、特徴量算出処理動作にはいる（Ｓ１０）。

【００４１】動き履歴の解析処理動作と特徴量算出処理
動作を行った後、背景判定部７にて背景・人体判定処理
動作にはいる（Ｓ５）。この動作により、背景と判定さ
れた箇所は、背景更新処理動作に進み、この背景更新処
理動作（Ｓ１１）により、該当部分の画像を背景画像と
して更新する。

【００４２】また、背景・人体判定処理動作（Ｓ５）に
て人体と判定されると、人体の有無、人数、位置などの
状況をモニタ１１ｂに表示する。

【００４３】次に、上記したこの発明の各演算部につき
更に説明する。

【００４４】まず、この発明における第１正規化相互相
関演算部４１における正規化相互相関について説明す
る。

【００４５】第１正規化相互相関演算部４１において
は、入力画像データと背景画像データとの正規化相互相
関演算をブロック毎に行っている。

【００４６】この実施の形態においては、正規化相互相
関を用いて２つの画像中の異なる箇所を検出するため
に、画像を一定の大きさのブロックに分け、対応するブ
ロック同士で正規化相互相関演算を行う。

【００４７】ビデオカメラ１ａで人のいない状態の画像
を撮像し、その画像データを背景画像として、背景画像
メモリ３３に格納する。また、現フレームの画像データ
を第１入力画像メモリ３１に格納する。

【００４８】図３に示したように、入力画像メモリ３１
に格納された入力画像データと背景画像メモリ３３に格
納された背景画像とをそれぞれブロックに分ける。この
実施の形態においては、例えば１６画素×１６画素を１
つのブロックとし、画像を分けている。画像が６４０×
４８０画素で構成されていると、４０×３０のブロック
に分けることになる。

【００４９】続いて、背景画像及び入力画像でブロック
毎の輝度の標準偏差が適正範囲であるかを調べるた後、
対応するブロック毎に相関係数を算出することにより、
正規化相互相関がとられる。

【００５０】２つの画像の正規化相互相関係数Ｃは、次
の数式（１）で与えられる。

【００５１】

【数１】

【００５２】上記数式１で算出した相関係数Ｃは−１か
ら１の間の実数になる。背景画像と入力画像に相違がな
いブロックでは、相関係数は１に近い値であるが、相違
があるブロックでは相関係数が小さい値になる。この相
関係数を後で述べる人体候補検出部５で、例えば、０〜
２５５の輝度値に変換し、その輝度値を閾値（０．６〜
０．９）で閾値処理することにより、「変化領域」を検
知することができる。図７に相関係数を輝度値変換した
例を示す。図７において、白い部分が相関係数が小さい
部分である。この図７の状態から閾値処理することで、
各ブロックにおける人体領域候補が検出できる。

【００５３】但し、数式１が有効であるのは、ブロック
の輝度の標準偏差がある程度大きいことが必要であり、
標準偏差の大きさが適正範囲であるかどうかを確かめる
必要がある。

【００５４】ブロックの輝度標準偏差をσ_t 、ノイズの
標準偏差をσ_n とすると数式（１）より以下の数式
（２）が近似式として導かれる。

【００５５】

【数２】 Ｃ＝σ_t ² ／（σ_t ² ＋σ_n ² ）・・・（２）

【００５６】上記数式２は、σ_t が小さくなるにつれ、
相関係数が１から離れていくことを示している。同じ風
景を撮像した画像の相関関数を求めた時の標準偏差と相
関関数との関係を図４に示す。同じ風景を撮像したの
で、同じ画像の相関係数を算出することから理論上は相
関係数は１であるはずであるが、ノイズ等により相関係
数が変化する。特に、標準偏差が小さくなるにつれてノ
イズの影響を受ける。ここで、標準偏差が小さいとは、
白い壁などのように特徴がない画像のことである。

【００５７】ノイズの影響を受けやすい範囲を数式２に
おいて相関係数が０．９５以下になるときの標準偏差の
範囲とすると、例えば、σ_n ＝１．３８のカメラシステ
ムを用いた場合、σ_t の範囲はσ_t ＜６．０となる。
カメラのノイズを測定するには、同一場面を連続撮像
し、同一画素における輝度値の標準偏差を計算して、全
画素の輝度標準偏差の平均を求めればよい。

【００５８】この発明では、上記の点を考慮して、標準
偏差を計算し、その標準偏差の値に応じて、相関係数を
計算するか否か決定している。

【００５９】この動作につき、図５のフローチャートに
従い説明する。

【００６０】まず、ステップＳ２１にて、背景画像ブロ
ックの輝度標準偏差σ_b を計算して求め、ステップＳ２
２にて、入力画像ブロックの輝度標準偏差σ_i を計算し
て求める。そして、ステップ２３にて、背景画像ブロッ
クの輝度標準偏差σ_b 及び入力画像ブロックの輝度標準
偏差σ_i がノイズの標準偏差により求めた所定の標準偏
差の値（Ｔｈ）と比較する。背景画像・入力画像で共に
ブロックにおける輝度標準偏差σ_b 、σ_i が所定の値よ
り小さい場合、相関係数は計算せずに１であると定義す
る。そして、背景画像・入力画像で共にブロックにおけ
る輝度標準偏差σ_b 、σ_i が所定の値より小さいく無い
場合には、ステップＳ２４にて、背景画像または入力画
像のどちらかのブロック輝度標準偏差が０である場合か
否か判断し、背景画像または入力画像のどちらかのブロ
ック輝度標準偏差が０である場合には相関係数が計算で
きないので、相関係数は１または−１とする。そして、
求めた背景画像・入力画像で共にブロックにおける輝度
標準偏差σ_b 、σ_i が上記ステップＳ２３及びＳ２４の
条件を満足しない場合には、ステップＳ２５にて前記し
た数式（１）に基づく相関係数を計算する。このように
して、算出したブロック毎の相関係数を０〜２５５の輝
度値に変換して表示すると、図７に示すようになる。

【００６１】次に、人体候補領域検出部８の動作につい
て、図６のフローチャートに従い説明する。第１正規化
相互相関演算部６で算出された各ブロックの相関係数に
従い、ステップＳ３１にて、相関係数を０〜２５５の輝
度値に変換する。輝度値に変化した状態を表示すると、
図７のようになる。この図７においては、円Ａ、Ｂ、Ｃ
で囲まれた領域に輝度値の変化した領域が表れている。
そして、ステップＳ３２にて、閾値処理行う。この閾値
処理は、例えば、相関係数が０．６〜０．９程度に相当
する輝度値の中から決められた値を閾値とし、その値よ
り大きい場合には画像に変化がないとして”０”、その
値以下であれば画像に変化あるとして”１”を各ブロッ
クにあてはめていく。続いて、ステップＳ３３にて、例
えば、連続する変化画素ブロックが４個以下の場合は、
ノイズとみなし、そのブロックを変化がないとして”
１”から”０”に書き換えることにより、ノイズを除去
する。例えば、図７の左下のｃの円で囲んだ２つのブロ
ックはノイズとして判断され、除去される。続いて、ス
テップＳ３４にて、穴埋め処理を行う。この穴埋め処理
は、変化がないとして”０”がはめ込まれているブロッ
クの周囲ブロックの全てが変化ありとしてはめ込まれて
いる”１”であるか否か判断し、周囲ブロックが全て”
１”であれば、”０”を”１”に変換し、ブロックの穴
埋めを行う。図７の円Ｂで表した領域が穴埋め処理が行
われる。

【００６２】その後、ステップＳ３５が、変化ありと判
断されている領域毎に、人体候補領域として、ラベリン
グし、それぞれに番号を付けている。例えば、左、上か
ら右下まで走査して行き、順次番号を付けていく。図７
の例では、Ａが１、Ｂが２とラベリングされる。そし
て、ステップＳ３６において、各人体候補領域の面積を
求め、その重心位置と、この領域を囲む四角形の辺の長
さであるフィレ径を計算して、この人体候補領域検出処
理を終了する。

【００６３】尚、上記フィレ径は、その大きさにより、
人体が否かを判断する際に利用することができる。例え
ば、後の処理で、その算出したフィレ径から人体とは考
えられないような大きな領域であると判断された場合に
は、その領域は人体の可能性が少ない、又は人体ではな
いと判断するような制御を行ってもよい。

【００６４】次に、連続フレーム間でのブロック毎のフ
レーム間相関による動きの検出につき説明する。

【００６５】連続するフレーム間相関は第２正規化相互
相関演算部４２において正規化相互相関演算処理が行わ
れる。

【００６６】第２正規化相互相関演算部４２において
も、第１正規化相互相関演算部４１と同じく連続するフ
レームの入力画像データ間の正規化相互相関演算をブロ
ック毎に行っている。

【００６７】前述したように、正規化相互相関を用いて
２つの画像中の異なる箇所を検出するために、この実施
の形態では、画像を１６×１６画素のブロックに分け、
対応するブロック同士で正規化相互相関演算を行う。連
続フレーム間での正規化相互相関をとるために、第１入
力画像メモリ３１に格納された画像データが第２入力画
像メモリ３２に転送され、第１入力画像メモリ３１には
現フレームの画像データが格納される。この第１、第２
入力画像メモリ３１、３２に格納された画像データが第
２正規化相互相関演算部４２に与えられる。正規化相互
相関演算は前述した第１正規化相互相関演算部４１で行
った演算処理と同じ演算処理を行い相関係数を求める。
算出したフレーム間の相関係数が動き履歴メモリ６に与
えられる。

【００６８】ところで、物体の動きを検出するためには
フレーム間差分を用いるのが一般的であるが、使用する
ビデオカメラによっては「オートゲインコントロール機
能」があり、その影響で一瞬でゲイン・オフセットが変
化し、誤検出が発生する場合がある。従って、ゲイン・
オフセットが変化した場合でも適切に動きを検出するた
めに、この発明では、第２正規化相互相関演算部４２で
連続フレーム間の正規化相互相関を行っている。

【００６９】次に、動き情報の履歴を用いて、人体候補
領域における人体と背景との判断及び変化した背景の変
化領域を限定して背景を更新する処理について説明す
る。まず、動き情報の履歴の保存について説明する。

【００７０】第２正規化相互相関演算部４２で算出した
フレーム間相関係数を図８（ａ）、（ｂ）に示すよう
に、動き情報の履歴としてフレーム間相関係数をブロッ
ク毎に履歴として動き履歴メモリ６に格納していく。１
つのブロックの相関係数の履歴は図８（ｂ）に示すよう
になる。例えば、４０×３０のブロックで、過去２００
フレーム分の相関係数（単精度の実数）を履歴として残
す。この場合、４０×３０×２００×４＝９６０，００
０バイトの相関係数データを動き履歴メモリ６上に残し
ておく。新しくフレーム間相関を計算したときに、最古
のデータを破棄し、新しいデータを履歴に加える。

【００７１】次に、人体領域候補の動き情報の検索につ
いて説明する。

【００７２】動き履歴メモリ６に格納された動き情報の
履歴情報が背景判定部７に与えられる。この背景判定部
７には、背景画像データと現フレームの入力画像データ
との間の正規化相互相関により得られた人体領域候補が
与えられている。背景判定部７は、この人体領域候補が
人体であるか否かを区別するために動き履歴メモリ６に
格納されている動き情報の履歴を用いる。

【００７３】背景判定部７では、人体領域候補を構成す
る各ブロックで、最新変化フレームを求める。現在のフ
レームを０とし、過去のフレームをカウントアップして
いき、フレーム間相関係数が閾値を下回るかを調べてい
く。この閾値は前述した人体候補領域検出部５で用いた
閾値と同じ値である。

【００７４】最新変化フレームの数は、大きいほど動き
が少なく、小さいほど最近動きがあったことを示してい
る。さらに、背景判定部７では、人体候補領域検出部５
から与えられるそれぞれの人体領域候補に対して、構成
する全ブロックで最新変化フレームを求める。人体の部
分によって相関係数が異なるが、各部分の内、動きが最
大の個所を見つけることにより動きが少ない人体でも動
きを検出することができる。

【００７５】ところで、入力画像において、人体以外の
部分（椅子、書類など）が動いた場合には、背景画像を
更新する必要がある。その際に人体かそれ以外かを判定
する必要がある。この判定を背景判定部７が行ってい
る。

【００７６】前述したように、予め用意した背景画像デ
ータと入力画像データとの比較により、人体等を検知す
るシステムにおいては、背景となるべき部分が変化した
場合に、その都度背景画像を更新して行くことが好まし
い。

【００７７】従来、背景更新の手法としては次の３つの
方法がとられている。 （ａ）一致時間毎或いは入力画像に変化が無くなった場
合に、その入力画像を背景画像とする方法。 （ｂ）更新背景画像に入力画像に重み付けして、順次足
し込んでいく方法、指数平滑法。 （ｃ）連続画像から各画素の輝度の最も可能性の高い画
素値を得る方法。

【００７８】しかしながら、（ａ）の方法では、人体領
域が背景になってしまう確率が高い。また、（ｂ）
（ｃ）の方法では、道路など人体が「流動」している場
合は有効であるが、オフィスなど人体の動きが少ない場
合には、人体が部分的に背景に吸収される確率が高い。
このため、画像中から新たに背景となる領域を的確に捉
え、その領域だけを選択的に背景更新することが望まれ
る。

【００７９】そこで、この実施の形態では、人体候補領
域検出部５からの人体候補領域と、動き履歴メモリ６に
格納された動き履歴により、背景となるべき領域を特定
している。

【００８０】この動作につき、図９ないし図１４を参照
して説明する。図９に示す背景画像データが背景画像メ
モリ３３に格納されている。次に、第１入力画像メモリ
３１に図１０に示す画像データが格納されている。そし
て、両者の画像を第１正規化相互相関演算部４１で正規
化相互相関演算が行われ、相関係数が求められる。図９
と図１０を比べると、左上と右下の椅子に人が座り、ま
た、左下の椅子が移動している。第１正規化相互演算部
４１で算出した相関係数に基づき輝度値変換すると図１
１に示すようなデータが得られる。このデータから人体
候補領域検出部５は３つの人体候補領域を背景判定部７
に与える。

【００８１】次、連続するフレーム間の相関演算を行う
フレーム間相関処理が行われ、第２正規化相互相関演算
部４２より、各ブロックの相関係数が動き履歴メモリ６
に書き込まれる。この実施の形態では、第２正規化相互
相関演算部４２から相関係数のみ動き履歴メモリ６に書
き込まれているのであるが、動きの変化を理解しやすい
ように、第２正規化相互相関演算部４２で算出した相関
係数を輝度値に変換した状態で説明する。図１１の状態
から次のフレームでは、図１２の状態になる。図１２か
ら分かるように、椅子の部分は動きがないので、この部
分での人体候補領域が無くなっており、人体領域のみ動
いていることが検出できる。

【００８２】それぞれの動き履歴は、動き履歴メモリ６
に格納されており、人体領域候補を構成する各ブロック
で、最新変化フレームを求め、現在のフレームを０と
し、過去のフレームをカウントアップすることで、変化
した時刻が算出できる。続いて、図１３に示すように、
後のフレームにおいても同様に相関係数を輝度値で表示
すると、やはり椅子部分は変化領域として検出されな
い。変化領域の静止時間を、変化領域内の動きブロック
の動き時刻の中で、最も遅い時間から現時刻までの時間
差としておく。

【００８３】続いて、変化領域の静止時間がある閾値を
越えた場合、背景判定部１０はその部分は背景とみな
す。背景とみなされた変化領域を構成する全ブロックに
対して、背景更新処理部８が更新処理を行う。この更新
処理は、その時点の背景画像の内、更新対象ブロックの
全ての画素を現在の第１入力画像メモリ３に格納されて
いる入力画像データの対応する画素に置き換える。

【００８４】このようにして、背景を更新すると、図１
４に示すように、背景画像は椅子の向きが変わった状態
のものになる。

【００８５】また、このように背景判定部７が背景と判
断すると、人体カウント部９に、そのデータが与えら
れ、人体候補の数から背景となった候補の数を減算する
とともに、対応する部分の人の位置情報もクリアする。
この処理により、人の数及び分布が正確に把握できる。

【００８６】上記した実施の形態においては、それぞれ
の処理を各ブロックで行っているが、ワークメモリと、
それらの処理プログラムを格納したＲＯＭとＣＰＵとに
より、ソフトウェア処理によりこの発明を実現してもよ
い。

【００８７】

【発明の効果】以上説明したようにこの発明によれば、
画像のゲイン・オフセットの変化に関わらず人体候補領
域を検出することができ、正確で且つ信頼性の高い人体
検知が行える。

【００８８】また、背景更新の範囲を人体領域に代表さ
れる「変化領域」に限定して、動き情報の履歴を元に更
新処理を行うことで、人体領域が背景になる可能性が低
くなり、正確な人体検知が行える。

【図面の簡単な説明】

【図１】この発明の一実施の形態にかかる画像処理装置
を示すブロック図である。

【図２】この発明の処理動作のアルゴリズムを示す図で
ある。

【図３】ブロック毎の相互相関演算における背景画像と
入力画像との対応付けを示す模式図である。

【図４】同じ風景を撮像した画像の相関関数を求めた時
の標準偏差と相関関数との関係を示す特性図である。

【図５】この発明の正規化相互相関演算処理動作を示す
フローチャートである。

【図６】この発明の人体候補領域検出処理動作を示すフ
ローチャートである。

【図７】相関係数結果を輝度値変換した状態を示す図で
ある。

【図８】この発明の動き履歴メモリ部に格納されるフレ
ーム間相関係数の履歴を示す図である。

【図９】背景画像を示す模式図である。

【図１０】入力画像を示す模式図である。

【図１１】背景画像と入力画像との相関演算結果を輝度
値変換した状態を示す図である。

【図１２】フレーム間相関演算結果を輝度値変換した状
態を示す図である。

【図１３】図１２の状態より後のフレーム間相関演算結
果を輝度値変換した状態を示す図である。

【図１４】背景を更新後の背景画像を示す模式図であ
る。

【符号の説明】

１ 画像入力部 ３ 画像メモリ部 ４ 正規化相互相関演算部 ５ 人体候補領域検出部 ６ 動き履歴メモリ部 ７ 背景判定部 ８ 背景更新処理部 ９ 人体領域カウント部 １０ 在室状況データ作成部 １１ モニタ部

フロントページの続き (72)発明者 西條 淳夫 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 監視領域を撮像する撮像手段と、その撮
   像画像データを格納する入力画像記憶手段と、背景画像
   を記憶する背景画像記憶手段と、を備え、背景画像デー
   タと入力画像データとの間で正規化相互相関演算を行
   い、算出した相関係数に従い変化領域を抽出することを
   特徴とする画像処理装置。
2. 【請求項２】 画像データの輝度標準偏差を算出し、所
   定値以上の標準偏差の時に正規化相互演算を行うことを
   特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 監視領域を撮像する撮像手段と、その撮
   像画像データを格納する入力画像記憶手段と、を備え、
   連続フレームの入力画像データとの間で正規化相互相関
   演算を行い、算出した相関係数に従い変化領域の動き情
   報を検出することを特徴とする画像処理装置。
4. 【請求項４】 検出した動き情報の履歴を格納する動き
   履歴記憶手段を備え、記憶された動き履歴に基づき、背
   景画像が否か判断することを特徴とする請求項３に記載
   の画像処理装置。
5. 【請求項５】 監視領域を撮像する撮像手段と、その撮
   像画像データを格納する入力画像記憶手段と、背景画像
   を記憶する背景画像記憶手段と、背景画像データと入力
   画像データとの間で正規化相互相関演算を行う第１正規
   化相互相関演算手段と、連続フレームの入力画像データ
   との間で正規化相互相関演算を行う第２正規化相互相関
   演算手段と、前記第１正規化相互相関演算手段からの相
   関係数に基づき人体候補領域を検出する人体候補領域検
   出手段と、前記第２正規化相互相関演算手段からの相関
   係数に基づく動き履歴を記憶する動き履歴記憶手段と、
   前記人体候補領域検出手段からの出力と動き履歴記憶手
   段からの出力に基づき背景領域と人体領域とを判断する
   背景判定手段と、を備えたことを特徴とする人体検知装
   置。
6. 【請求項６】 画像データの輝度標準偏差を算出し、所
   定値以上の標準偏差の時に正規化相互演算を行うことを
   特徴とする請求項５に記載の人体検知装置。
7. 【請求項７】 前記背景判定手段で、背景と判断された
   背景領域の背景画像データを対応する現フレームの画像
   データ領域に更新することを特徴とする請求項５また６
   に記載の人体検知装置。