JP4156084B2

JP4156084B2 - 移動物体追跡装置

Info

Publication number: JP4156084B2
Application number: JP21675798A
Authority: JP
Inventors: 村健児北
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1998-07-31
Filing date: 1998-07-31
Publication date: 2008-09-24
Anticipated expiration: 2018-07-31
Also published as: JP2000048211A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力装置から入力された画像データを連続的に処理し、そこから得られた情報から移動物体の検出、認識および移動経路追跡を行うことにより人物や自動車といった移動物体の動作監視を行う移動物体追跡装置に関するものである。
【０００２】
【従来の技術】
動画像を連続的に処理して移動物体を検出するシステムは既に研究開発が行われており、いくつか実用化されている。これら移動物体検出装置における移動物体検出処理を図３を用いて説明する。図３において、３１は画像入力部、３２は画像格納部、３３は画像前処理部、３４は動領域整形部、３５は色特徴検出部、３６は移動物体認識部である。
【０００３】
以下、従来の移動物体検出装置の動作について説明する。画像入力部３１より入力された画像は、画像格納部３２に格納され、画像前処理部３３によって前処理が行われる。前処理としては、Ｋフレーム前（Ｋは正の整数）の画像と現画像との差分処理を行うフレーム間差分処理や、背景画像を作成し現画像との差分処理を行う背景差分処理、或いは単一画像の輝度勾配を検出する空間微分処理が用いられる。前処理によって検出された動領域は、動領域整形部３４においてノイズ除去等の領域整形処理が行われ、動領域が確定する。動領域が確定すると、色特徴量検出部３５は、動領域情報をもとに画像格納部３２の画像データを処理し、移動物体の色特徴量を検出する。移動物体認識部３６は、検出された色特徴量およびその履歴情報を用いて、以前に検出された動領域との認識同定を行い、同一移動物体を認識する。これらの処理を動画像に対して連続的に行うことで、移動物体を検出し追跡して行くことができる。
【０００４】
画像データは、色情報を含む場合は一般的に公知のＲＧＢ系あるいはＨＳＶ系を用いた３次元ベクトルデータであり、色特徴量検出部３５は、動領域に相当する３次元ベクトルデータに対して平均値算出等の統計処理等を施し、特徴量として検出する。
【０００５】
画像前処理部３３の前処理においては、閾値処理が行われる。また、動領域整形部３４のノイズ除去や領域統合等の処理においても、その判定パラメータを用いる。従来、これらのパラメータは、視野範囲や俯角等の撮像条件に整合した最適値が予め画像処理装置に提供されていた。屋外の明るさのように変化する環境条件に適応させる必要のある差分閾値のような動的パラメータについては、画像処理によって処理画像内の輝度変化を検出する方法、または他センサを用いて環境変化を検出する方法が行われ、この結果によって画像処理装置が最適パラメータを選択していた。
【０００６】
【発明が解決しようとする課題】
しかしながら、このような従来の動画像処理システムにおいては、以下の問題点が指摘されていた。まず、フレーム間差分処理においては、移動物体が静止した際には差分が検出されず、追跡が困難になる。背景差分処理においては、常に最適な背景画像を作成することが必要であり、環境変化の急峻な屋外等では背景画像作成および更新が大きな問題になる。空間微分処理は、動領域のみが検出される処理ではないので、移動物体検出に用いる場合は物体の存在領域を予め設定する必要がある。或いは空間微分画像の差分処理によって動領域を検出するか、または静止物体も含めて認識し移動物体を検出するといった手法が考えられる。しかしながら、空間微分画像の単純な差分処理では動領域を正確に検出することは難しく、また上記フレーム間差分処理および背景差分処理と同様の問題点が存在する。一方、静止物体認識は、認識対象物体が特定できる環境でなければ実現は難しく、適応できる範囲は限定せざるを得ない。したがって、これら前処理法を用いて正確な移動物体を検出し追跡するためには、以上に対する解決策が必要であった。
【０００７】
また、画像前処理部２３および動領域整形部２４においてはパラメータが用いられるが、予め与えられたパラメータが十分ではないために移動物体がうまく検出できない場合や、ノイズや影の除去処理がうまく行かない場合があり、また環境条件をうまく検出できずに適したパラメータを選択することができない場合が存在した。或いは環境条件がうまく検出できても、その環境条件のみで最適パラメータが決定できない場合も存在していた。
【０００８】
本発明は、上記従来の問題を解決するもので、移動物体の特徴量を検出し判定することで、フレーム間差分処理を用いても移動物体の静止状態も含めた追跡を実現し、かつ環境条件により決定されたパラメータが不十分であった場合でも、その影響を大きく受けることなく、正確な移動物体検出および追跡を実現する移動物体追跡装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の移動物体色認識装置は、画像入力部、画像格納部、画像間演算処理部、動領域整形部、動領域分割部、色特徴量検出部、特徴量更新部、特徴量格納部および移動物体認識部によって構成される。画像入力部によって入力された画像データは、画像格納部に格納される。画像間演算処理部は、画像格納部に格納されている画像データに対し連続的にフレーム間差分処理等の画像データ間演算処理を行う。動領域整形部は、画像間演算処理部によって検出された動領域に対し、同一物体で分割した領域の結合およびノイズや影によって検出された領域の除去を行い、移動物体の存在している領域のみを検出する。動領域分割部は、整形された動領域をＭ個（Ｍは正の整数）に分割する。色特徴量検出部は、動領域分割部によって作成された各々の分割領域内画像データを処理し、分割領域毎に移動物体色特徴量を検出する。特徴量更新部は、上記検出された色特徴量と登録されていた色特徴量をもとに新たに色特徴量を算出し、特徴量格納部に登録する。移動物体認識部は、検出された色特徴量と登録されていた色特徴量を用いて移動物体を認識し追跡する。
【００１０】
このように本発明によれば、動領域をフレーム間差分処理を用いて検出し、移動物体の静止によって動領域が検出不可能な場合においても、再度動作を開始し動領域が検出されると移動物体を特徴量によって認識し、同一物体と同定し、追跡することができる。また、動領域を分割して各分割領域から得られた色特徴量を用いて移動物体を認識するため、移動物体の色特徴量を正確に検出、同定し、追跡することが可能である。
【００１１】
【発明の実施の形態】
本発明の請求項１に記載の発明は、動画像を入力する画像入力部からの画像データを格納する画像格納部と、画像格納部に格納されている画像データに対し連続的に画像データ間演算処理を行う画像間演算処理部と、画像間演算処理部によって検出された動領域に対し、同一物体で分割した領域の結合およびノイズや影によって検出された領域の除去を行い、移動物体の存在している領域のみを検出する動領域整形部と、整形された動領域をＭ個に分割する動領域分割部と、動領域分割部によって作成された各々の分割領域内画像データを処理し、分割領域毎に色特徴量を検出する色特徴量検出部と、上記検出された色特徴量と登録されていた色特徴量をもとに新たに色特徴量を算出し、特徴量格納部に登録する特徴量更新部と、算出された色特徴量を用いて移動物体を認識する移動物体認識部とを備えたものであり、対象物体の運動や環境変化の影響を受けることなく対象物体の色特徴量を検出し、追跡することができるという作用を有する。
【００１２】
本発明の請求項２に記載の発明は、画像間演算処理部が、フレーム差分処理を行って動領域を検出するものであり、フレーム間差分処理を用いても移動物体の静止状態も含めた追跡を実現することができるという作用を有する。
【００１３】
本発明の請求項３に記載の発明は、動領域分割部が、動領域を画面の垂直方向にＭ個に分割することによって領域分割を行うものであり、対象物体の縦方向の色特徴量分布を検出することができるという作用を有する。
【００１４】
本発明の請求項４に記載の発明は、動領域分割部が、動領域を画面の水平方向にＮ個に分割することによって領域分割を行うものであり、対象物体の横方向の色特徴量分布を検出することができるという作用を有する。
【００１５】
本発明の請求項５に記載の発明は、動領域分割部が、動領域を画面の垂直方向にＭ個および水平方向にＮ個の合計Ｍ×Ｎ個に分割することによって領域分割を行うものであり、対象物体の縦方向および横方向の色特徴量分布を検出することができるという作用を有する。
【００１６】
本発明の請求項６に記載の発明は、動領域分割部が、動領域の画素数に応じて動領域分割数を適応的に変化させるものであり、対象物体の色特徴量分布を動領域の解像度に応じて最適な領域分割を行い、色特徴量分布を検出することができるという作用を有する。
【００１７】
本発明の請求項７に記載の発明は、色特徴量検出部が、動領域に隣接する周辺領域を背景領域とし、その領域内の画像データを処理して背景領域色特徴量を検出するものであり、対象物体が現在位置する周辺領域の色特徴量を検出することができ、この情報を用いることによって、対象物体の運動や環境変化の影響を受けることなく対象物体を追跡することができるという作用を有する。
【００１８】
本発明の請求項８に記載の発明は、色特徴量検出部が、色相分布の補正処理を行って色特徴量のノイズ成分を除去するものであり、色特徴量におけるノイズ成分を除去することによって、対象物体を明確に検出することができるという作用を有する。
【００１９】
（実施の形態）
以下、本発明における実施の形態について、図１を用いて説明する。図１において、１１は動画像を入力する画像入力部、１２は画像入力部１１から入力された画像データを格納する画像格納部、１３は画像格納部１２に格納されている画像データに対し連続的に画像データ間演算処理を行う画像間演算処理部、１４は画像間演算処理部１３によって検出された動領域に対し、同一物体で分割した領域の結合およびノイズや影によって検出された領域の除去を行い、移動物体の存在している領域のみを検出する動領域整形部、１５は整形された動領域をＭ個の領域に分割する動領域分割部、１６は動領域分割部１５によって作成された各々の分割領域内画像データを処理し、分割領域毎に移動物体の色特徴量を検出する色特徴量検出部、１７は上記検出された色特徴量と登録されていた色特徴量をもとに新たに色特徴量を算出し特徴量格納部に登録する特徴量更新部、１８は上記算出された色特徴量を格納する特徴量格納部、１９は検出された色特徴量と特徴量格納部１８に登録されていた色特徴量を用いて移動物体を認識する移動物体認識部である。
【００２０】
次に、本実施の形態の動作について説明する。画像入力部１１は、工場内や道路などの対象領域を俯瞰撮像するように設置される。画像入力部１１は、通常のＩＴＶカメラとして用いられる可視光撮像カメラを用いる。画像入力部１１により得られた画像情報は、画像格納部１２に格納され、これが画像間演算処理部１３に送出されて、ここで動領域が検出される。動領域の検出方法としては、フレーム累積差分処理を用いる。フレーム累積差分処理について説明する。フレーム差分処理の場合、その検出領域の大きさは対象物体の撮像画面上における移動速度に依存し、停止状態となった場合は動物体領域検出は不可能となる。また、テクスチャが一様の領域は検出することはできず、対象物体の輪郭部分を検出する傾向がある。そこでフレーム差分処理をＮフレーム（Ｎは正の整数）に渡って行い、その結果の論理和演算を行って動物体領域を検出する。以上がフレーム累積差分処理である。検出された動領域情報は、動領域整形部１４へと送られる。動領域整形部１４は、検出された動領域情報に対して膨張・収縮処理、穴埋め処理、ノイズ除去処理を行って画素毎に抽出された動物体領域の安定化を図り、最後にラベリング処理を行って外接長方形で動物体領域をラベル付けする。以上が動領域整形の方法である。
【００２１】
次に、整形された動領域情報をもとに、動領域分割部１５は動領域分割処理を行う。領域分割は対象物体の特徴に応じて３種類の方法を用いる。第１は、動領域を画面の垂直方向に分割し、対象物体の縦方向の色特徴量分布を検出する方法、第２は、動領域を画面の水平方向に分割し、対象物体の横方向の色特徴量分布を検出する方法、第３は、動領域を画面の垂直方向および水平方向にそれぞれ分割し、対象物体の縦方向および横方向の色特徴量分布を検出する方法である。これらの方法は、対象物体の大きさおよび形状特徴に合わせて使い分ける。即ち、検出された動領域における画素数および外接長方形縦横比率を算出し、この値によって分割方法を決定する。動領域画素数が設定閾値以上となった動領域については、動領域を画面の垂直方向および水平方向にそれぞれ分割し、対象物体の縦方向および横方向の色特徴量分布を検出する。動領域画素数が設定閾値未満で縦比率の大きい縦長の形状特徴を有する対象物体については垂直分割を行い、縦方向のみの色特徴分布を算出する。同じく動領域画素数が設定閾値未満で横比率の大きい横長の形状特徴を有する対象物体については水平分割を行い、横方向のみの色特徴分布を算出する。
【００２２】
但し、一度検出された動領域画素数が設定閾値未満となった際に、画面上における位置関係と大きさによって対象物体が遠方には位置しないと判定された場合には、対象物体が停止状態に入ろうとしていると考えられるため、その検出された動領域を包含する予め設定してある大きさの処理領域を設定し、この領域を分割して分割領域とする。分割数は予め設定しておいても良いが、本実施の形態では動領域の画素数に応じて動領域分割数を適応的に変化させる動領域分割部機能を有する。したがって、対象物体の色特徴量分布を動領域の解像度に応じて最適な領域分割を行い、色特徴量分布を検出することが可能である。即ち、追跡している同一対象物体が画像入力部１１から遠方に位置し、画像上において小さく撮像されている場合、その動領域分割数も小さくなり、対象物体が画像入力部１１に近く位置する場合はその動領域数も大きくなり、動領域分割数も大きくなる。こうしてＭ個の分割領域を設定する。
【００２３】
次に、色特徴量検出部１６は、動領域分割部１５の動領域分割情報をもとに画像格納部１２の画像データから色特徴量を検出する。画像格納部１２には色データとして、ＲＧＢ階調データが格納されている。色特徴量変換部１６は、これに対して座標変換処理を行う。座標系としてはＨＬＳ座標系或いはＨＶＳ座標系といった公知の知覚的表色系を用いることにし、本実施の形態ではＨＶＳ座標系を用いる。ＲＧＢ階調データを一画素ずつ色相Ｈ、明度Ｖ、彩度Ｓに変換し、彩度Ｓが予め設定されていた閾値Ｓthに対してＳth≦Ｓなる条件を満たす画素の色相Ｈのみについて、その度数分布を作成する。色相は０〜３６０度の値をとるが、度数分布を作成する際にはこれをＣ度ずつに量子化して行う。次に、動物体領域近傍を背景領域として設定し、この領域内のＲＧＢ階調データを抽出して同様の座標変換処理を行う。背景領域は、ラベリング外接長方形の外側Ｋ画素（Ｋは正の整数）の長方形で囲まれる領域とし、動物体領域として検出された画素は除いて処理する。ＲＧＢ階調データを一画素ずつ色相Ｈ、明度Ｖ、彩度Ｓに変換し、彩度Ｓが予め設定されていた閾値Ｓthに対してＳth≦Ｓなる条件を満たす画素の色相Ｈのみについて、その度数分布をＣ度ずつに量子化して作成する。Ｃの値は１５或いは３０と設定する。こうして動物体領域および背景領域の色相度数分布が算出されたら、これらを用いて色相分布の補正処理を実行する。
【００２４】
フレーム累積差分処理によって動物体領域抽出を行う場合、動物体領域に背景領域が混入し、これが有彩色画素であると色特徴量にノイズ成分として悪影響を与える。そこで本実施の形態においては色相分布の補正処理を行い、上記ノイズ成分を除去する。動物体領域の色相分布をf(x)、背景領域の色相分布をg(x)とする。g(x)を用いて式（１）に示す正規化された背景領域の色相分布g ^*(x) を算出し、式（２）によってフィルタ関数h(x)を算出する。
g ^*(x) (0 ≦ g^*(x) ≦ k) 但し、k は0 ＜ k ＜ 1なる実数・・・（１）
h(x)＝ 1− g^*(x) （1 −k ≦ h(x) ≦ 1) ・・・（２）
こうして算出されたフィルタ関数h(x)を用い、式（３）によってf(x)をフィルタリングし、補正された色相分布F(x)を導く。
F(x)＝ f(x) * h(x) ・・・（３）
フィルタ特性は、式（１）および式（２）に示すｋの値によって変えることができる。
【００２５】
なお、本処理は全ての分割領域に対して行う必要はなく、背景領域の混入の可能性が高い領域、即ち検出された動領域に外接する輪郭の領域にのみに行えば良い。或いは、動領域の移動方向を検出し、その方向の輪郭部分のみを取り出して本処理を実施してもよい。これらの処理により、Ｍ個に分割された各分割領域毎に算出された補正された色相分布F(x)を、色特徴量とする。
【００２６】
こうして検出されたＭ個の色特徴量は、特徴量更新部１７において、特徴量格納部１８に登録されていた過去の色特徴量との間で更新処理が行われる。登録されていた色特徴量である色相分布F _R(x) と検出された色相分布F(x)は、式（４）によって各成分毎に更新処理が行われる。
F _R(x) ＝α・F(x)＋(1−α) ・F _R(x) 但し、αは0 ＜α＜ 1なる実数・・・（４）
【００２７】
同様に検出されたＭ個の色特徴は、移動物体認識部１９において、特徴量格納部１８に登録されていた過去の色特徴量との間で認識処理が行われる。登録されていた色特徴量である色相分布F _R(x) と検出された色相分布F(x)は、式（５）によって各分割領域毎に相関係数Ｒが算出され、この総和が判定閾値以上となると同一物体として認識され、追跡処理が行われる。
Ｒ＝ Σ｛F(x)・F _R(x) ｝／（Fsum・F _Rsum ）
但し、Fsum ＝ Σ｛F(x)・F(x)｝
F _Rsum ＝ Σ｛F _R(x) ・F _R(x) ｝・・・（５）
【００２８】
ここで更新処理および認識処理は各分割領域毎に行われるが、動領域の大きさは時間と共に変化するため、領域分割数も変化する。したがって、検出された動領域の分割数と登録されていた特徴量の分割数が異なる場合が発生する。これについて図２を用いて説明する。上記のような場合の認識および更新処理の際には、不足する色相分布を最も近い分割領域における分布で補間する。そして、登録されていた色特徴量が検出された色特徴量よりも少ない場合は、補間処理によって算出された色特徴量を特徴量格納部１８に登録していく。例えば、動領域が過去において縦に五分割されており、色特徴量が五個特徴量格納部１８に登録されていて、今動領域が六分割されて検出されたとすると、特徴量更新部１７および移動物体認識部１９は、図２のように特徴量格納部１８の登録データ１８Ａを用いて、更新並びに認識処理を行うときに、不足する色相分布を三番目に登録されていた特徴量を用いて補間する。この結果、特徴量格納部１８には六分割されたデータが新規登録データ１８Ｂとして格納される。
【００２９】
以上のように、本実施の形態によれば、対象物体を動領域として検出された大きさに基づいて領域分割し、色特徴量を検出すると共に、動領域の大きさが対象物体が停止状態に入るために小さくなったと考えられる場合には、別途処理領域を設定し色特徴量を検出するため、フレーム差分処理等の停止状態を検出できない動領域検出処理を用いても、停止状態を含めて対象物体を検出し、正確に追跡することが可能である。また、その処理の際に、背景領域の色特徴量がノイズ成分として混入する可能性があるが、本実施の形態ではそれに影響されることなく対象物体の色特徴量を検出することが可能である。
【００３０】
【発明の効果】
以上のように、本発明は、動領域検出技術および色特徴量検出・認識技術を用いることによって、対象領域内を走行する複数の車両や人間等の対象物体を識別して追跡することが可能であり、優れた移動物体監視システムを実現することができるという効果を有する。また、これら対象物体の運動状態（特に停止状態）や動領域検出の際の閾値等のパラメータ値の適不適の影響を受けにくく、複雑な挙動を示す対象物体に対して、環境変化の大きい状況下においても安定した移動物体監視の可能な移動物体監視システムを実現することができるという効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態における移動物体色認識装置の基本構成を示すブロック結線図
【図２】分割領域における色特徴量認識および更新処理を説明する模式図
【図３】従来例における移動物体検出装置のブロック結線図
【符号の説明】
１１画像入力部
１２画像格納部
１３画像前演算処理部
１４動領域整形部
１５動領域分割部
１６色特徴量検出部
１７特徴量更新部
１８特徴量格納部
１９移動物体認識部
３１画像入力部
３２画像格納部
３３画像前処理部
３４動領域整形部
３５色特徴量検出部
３６移動物体認識部
１８Ａ登録されていた色特徴量
１８Ｂ新規登録される特徴量

Claims

動画像を入力する画像入力部からの画像データを格納する画像格納部と、画像格納部に格納されている画像データに対し連続的に画像データ間演算処理を行う画像間演算処理部と、画像間演算処理部によって検出された動領域に対し、同一物体で分割した領域の結合およびノイズや影によって検出された領域の除去を行い、移動物体の存在している領域のみを検出する動領域整形部と、整形された動領域をＭ個および水平方向にＮ個（Ｍ，Ｎは正の整数）の合計Ｍ×Ｎ個に分割する動領域分割部と、動領域分割部によって作成された各々の分割領域内画像データを処理し、分割領域毎に移動物体の色特徴量を検出する色特徴量検出部と、上記検出された色特徴量と登録されていた色特徴量をもとに新たに色特徴量を算出し、特徴量格納部に登録する特徴量更新部と、検出された色特徴量と特徴量格納部に登録されていた色特徴量を用いて移動物体を認識し追跡する移動物体認識部を備え、
前記動領域分割部は、動領域の画素数に応じて動領域分割数Ｍ×Ｎを適応的に変化させ、
前記特徴量更新部および前記移動物体認識部は、前記動領域分割部によって分割された分割数と前記特徴量格納部に登録されていた分割数とが異なる場合、不足する色相分布を最も近い分割領域における分布で補間し、登録されていた色特徴量が検出された色特徴量よりも少ない場合、補間処理によって算出された色特徴量を特徴量格納部に登録することを特徴とする移動物体追跡装置。
前記色特徴量検出部は、動領域に隣接する周辺領域を背景領域とし、その領域内の画像データを処理して背景領域色特徴量を検出する請求項１記載の移動物体追跡装置。
前記色特徴量検出部は、色相分布の補正処理を行って色特徴量のノイズ成分を除去する請求項２記載の移動物体追跡装置。