JP3557252B2

JP3557252B2 - 移動物体認識方法及びそれを用いた移動物体検出装置

Info

Publication number: JP3557252B2
Application number: JP21204394A
Authority: JP
Inventors: 恒彦中西; 仲次吉川
Original assignee: Seiwa Electric Mfg Co Ltd
Current assignee: Seiwa Electric Mfg Co Ltd
Priority date: 1994-08-13
Filing date: 1994-08-13
Publication date: 2004-08-25
Anticipated expiration: 2019-08-25
Also published as: JPH0855221A

Description

【０００１】
【産業上の利用分野】
本発明は、移動物体とこの移動物体の背景との明度差に基づいて、前記移動物体を認識する移動物体認識方法と、それを用いた移動物体検出装置とに関する。
【０００２】
【従来の技術】
移動物体検出装置の一種である交通計測装置に用いられる従来の移動物体認識方法について図２を参照しつつ説明する。
この移動物体認識方法は、移動物体としての車両Ｃと、この車両Ｃの背景としての道路Ｒとの明度差を検出することによって、車両Ｃを認識するようになっている。具体的には、道路Ｒを見下ろした状態で設けられた汎用のビデオカメラである撮像装置の画像信号から車両Ｃの検出を行う。
【０００３】
例えば、図２に示すように、撮像装置が捉えた画像中に車両Ｃの進行方向と直角に設定した検出エリアＡを設け、当該検出エリアＡを通過する車両Ｃと道路Ｒとの明度差、すなわち検出エリアＡにおける明度分布を検出する。
【０００４】
ここで、図２に示すように、車両Ｃの幅寸法をＷ、画像の端部と検出エリアＡの一端部との間の距離をａ、画像の端部と検出エリアＡの他端部との間の距離をｂ、検出エリアＡの一端部と車両Ｃの中心部までの距離をｄとする。前記ｄは、車両Ｃの位置を与える位置情報として扱われる。
【０００５】
汎用のビデオシステムにおいては、画像の明るさは被写体の平均明度に応じて自動的に調整されるため、検出エリアＡの明度分布も平均明度の変化に追従して変化する。ここで、例えば屋外であれば、天候、時刻等による照度の変化が道路Ｒの明度に大きな影響を与えるため、正確に車両Ｃを検出することができなくなる。特に、薄暮時には、道路Ｒの明度と車両Ｃの明度との差が小さくなるので、単なる明度の振幅のみの検出では、道路Ｒの明度の雑音が無視できなくなるため、検出確度が低下する。
【０００６】
そこで、フーリエ変換を用いて車両Ｃをより確実に検出することができる方法が創案された。以下ではこのフーリエ変換を用いて車両Ｃを検出する方法を理想的なモデルで説明する。
ここで、幅寸法がＷであり、道路Ｒより明るく、かつ道路Ｒとの明度差がＨである車両Ｃが検出エリアＡを通過することによって生じる検出エリアＡでの明度分布ｇ（ｘ）は、図８（Ａ）のようにあらわされる
【０００７】
すなわち、明度分布ｇ（ｘ）を式であらわすと、

のようになる。
【０００８】
かかる明度分布ｇ（ｘ）に正弦波直交関数を乗じて積分を行うと、明度分布ｇ（ｘ）の周波数スペクトルが得られる。
【０００９】

のようにあらわされる。ただし、Ｇ（ｆ）は明度分布ｇ（ｘ）のフーリエ変換である。
【００１０】
なお、このフーリエ変換を行うたびに必ず以下に示す余弦成分ａ（ｎ）と、正弦成分ｂ（ｎ）とを各データ毎に別個に演算する必要がある。

ただし、０≦ｋ≦Ｎ−１であり、ｎ＝１、２、３・・・である。また、Ｎはサンプル点数、ｇ（ｋ）は各サンプル点の明度である。
【００１１】
また、求めるパワースペクトルＰ（ｎ）は、
Ｐ（ｎ）＝｛ａ（ｎ）^２＋ｂ（ｎ）^２｝・・・（５）式
であらわされる。
【００１２】
ここで、認識対象としての車両Ｃの幅寸法Ｗの２倍を基本周期とする高調波成分について整理すると、

となる。
なお、ｍ／２Ｗは車両Ｃの幅寸法Ｗの２倍を基本周期とするｍ次高調波数である。また、ｄは車両Ｃの位置を与える位置情報であり、検出エリアＡの端部から車両Ｃの中心位置までの距離である。
【００１３】
次に、明度分布ｇ（ｘ）のパワースペクトルＰ（ｍ／２Ｗ）を求めると、
Ｐ（ｍ／２Ｗ）＝｛Ｈｓｉｎｃ（ｍ／２）｝^２・・・（７）式
となり、車両Ｃの幅寸法Ｗに対応する高調波成分に特徴を有するようになる。この結果を周波数とパワーとの関係としてあらわしたものが図９である。なお、図９は、ｍは連続値として作図されている。
【００１４】
図９の特徴は、奇数次の高調波成分は、車両Ｃと道路Ｒとの明度差Ｈに依存した値をとるが、偶数次の高調波成分は明度差Ｈにかかわらず、常に０となる。従って、車両Ｃの検出は、基本的には奇数次高調波成分の検出によって可能となる。
【００１５】
ここで、道路Ｒの明度に雑音が含まれる場合には、スペクトル全体が大きくなる可能性があるので、単なる明度差によらず、奇数次高調波成分と偶数次高調波成分との相対評価によって車両Ｃの検出を行うようにしている。
【００１６】
第３次高調波成分を検出量とし、第２次高調波成分と第４次高調波成分との平均値を参照量とするρを特徴量とし、この特徴量の大きさによって車両Ｃの検出を行うようにしているのである。ここで、特徴量ρは、

であらわされる。
【００１７】
この特徴量ρは、図１０に示すように、検出エリアＡの幅寸法が車両Ｃの幅寸法Ｗと一致する場合には無限大となるが、車両Ｃの幅寸法Ｗが検出エリアＡの幅寸法と異なる場合には小さくなる。例えば、車両Ｃの幅寸法Ｗが検出エリアＡの幅寸法の９０％である場合には、特徴量ρは約４程度にまで減少する。
【００１８】
このようにして、道路Ｒの明度より明るい車両Ｃの検出も可能となり、車線境界線のように明度雑音が含まれている場合にも車両Ｃの検出が可能となった。
【００１９】
また、図８（Ｂ）に示すような道路Ｒの明度より暗い車両Ｃであっも上述したものと同様の結果を得ることができる。
【００２０】
【発明が解決しようとする課題】
しかしながら、上述した従来の移動物体認識方法には以下のような問題点がある。
すなわち、得られるデータ量に対して演算処理が多大であるため、演算時間も増加し、車両のリアルタイムでの検出が困難になっているのである。上述したように、検出エリアを画像の上下方向に設定した場合、画像のラスタスキャンと同期してサンプリングを行うため、明度分布は離散的なデータとなる。データとデータとの間の時間間隔は、ラスタスキャンの１ライン走査時間、すなわち約６３．５μｓｅｃに相当する。仮に、検出エリアを画面の上端から下端までに設定すると、得られるデータ数は走査線の数と等しい５２５個であり、最初のデータから最後のデータを得るのに必要な時間は１／３０ｓｅｃとなる。この間に得られる離散的な各明度データに対して、現在の高速型パーソナルコンピュータを用いてフーリエ変換を行ったとしても約０．４秒を必要とする。これでは、リアルタイムの解析は困難である。
【００２１】
このようにリアルタイムの解析が困難な原因は、フーリエ変換を行うたびに余弦、正弦を演算し、その後に残りの演算を行うことにある。すなわち、前記（２）式では、必ず（３）式及び（４）式で示した余弦成分ａ（ｎ）と、正弦成分ｂ（ｎ）とを各データ毎に別個に演算するからである。
【００２２】
本発明は、上記事情に鑑みて創案されたもので、より素早く移動物体の検出を可能とする移動物体認識方法及びそれを用いた移動物体検出装置を提供することを目的としている。
【００２３】
【課題を解決するための手段】
本発明に係る移動物体認識方法は、移動物体とこの移動物体の背景との明度差に基づいて、前記移動物体を認識する移動物体認識方法であって、予め設定された検出エリアを移動物体が通過することによって生じる明度分布を矩形波を用いて近似フーリエ変換し、これによって得られたスペクトル分布のうち、物体幅寸法の２倍を基本周期とする奇数次の高調波成分を検出することによって移動物体を認識する移動物体認識方法において、前記矩形波は、その面積が正規の余弦、正弦波の各半周期の面積と等しく、振幅が１であり、かつ線分長の中点は正弦、余弦波の波形の頂点となっている。
【００２４】
また、本発明に係る移動物体検出装置は、検出すべき移動物体及びこの移動物体の背景を捉える撮像装置と、この撮像装置からの画像信号のうち任意に設定された検出エリアにおける明度分布を抽出する明度抽出部と、この明度抽出部で抽出された明度分布を矩形波を用いて近似フーリエ変換するデジタルシグナルプロセッサと、前記近似フーリエ変換によって得られたスペクトル分布の奇数次の高調波成分を検出する演算制御部とを備えており、前記矩形波は、その面積が正規の余弦、正弦波の各半周期の面積と等しく、振幅が１であり、かつ線分長の中点は正弦、余弦波の波形の頂点となっている。
【００２５】
【実施例】
図１は本発明に係る移動物体検出装置の概略的ブロック図、図２は移動物体である車両と検出エリアとの関係を示すビデオモニター上の画像の概略図、図３はこの移動物体検出装置における近似フーリエ変換に用いられる矩形波の波形図、図４は車両が通過した検出エリアにおける明度分布を示すグラフ、図５は図４に示した明度分布に対して近似フーリエ変換を行った結果としてのスペクトル分布を示すグラフ、図６はデジタルシグナルプロセッサの説明図、図７は理想的な明度分布（図８参照）に対して近似フーリエ変換を行った結果としてのスペクトル分布を示すグラフである。
【００２６】
まず、本実施例に係る移動物体検出装置について説明する。
この移動物体検出装置は、移動物体としての車両Ｃを検出するものであり、検出すべき車両Ｃ及びこの車両Ｃが移動する背景としての道路Ｒを捉える撮像装置１００と、この撮像装置１００からの画像信号１１０のうち任意に設定された検出エリアＡの明度分布を抽出する明度抽出部２００と、この明度抽出部２００で抽出された明度分布を近似フーリエ変換し、前記近似フーリエ変換によって得られたスペクトル分布のうち、物体幅寸法の２倍を基本周期とする２次、３次、４次の高調波成分を検出するデジタルシグナルプロセッサ３００（以下、『ＤＳＰ３００』とする）と、高調波成分の比較演算を行う演算制御部４００と、検出エリアを設定するためのグラフィックス信号を作成するディスプレイコントローラー４１０とを有している。
【００２７】
まず、撮像装置１００は、汎用のビデオカメラであって、道路Ｒを見下ろすように設置されている。かかる撮像装置１００は、少なくとも道路の１車線を捉えることができる視野を有している。また、この撮像装置１００は、屋外に設置されるものであるので、直射日光や雨風に耐えられるようにしておく必要がある。なお、この撮像装置１００には、移動物体検出装置に専用のものであってもよいし、高速道路や主要幹線道路等において現在使用されている交通管制用テレビモニターシステムのものを用いることも可能である。
【００２８】
この撮像装置１００の画像は、図２に示すようになり、この画像の一部を検出エリアＡとして設定する。この検出エリアＡの設定は、ディスプレイコントローラー４１０から出力されるグラフィックス信号に撮像装置１００からの画像信号１１０をスーパーインポーザー５００により重ね合わせることによって設定する。本実施例では、前記検出エリアＡは、図２に示すように、車両Ｃの進行方向に対して直角に設定されている。
【００２９】
ここで、車両Ｃの幅寸法をＷ、画像の端部と検出エリアＡの一端部との間の距離をａ、画像の端部と検出エリアＡの他端部との間の距離をｂ、検出エリアＡの一端部と車両Ｃの中心部までの距離をｄとする。前記ｄは、車両Ｃの位置を与える位置情報として扱われる。
【００３０】
前記撮像装置１００からの画像信号１１０のうち任意に設定された検出エリアＡにおける明度分布を抽出する明度抽出部２００は、画像信号１１０に検出エリアＡを設定するグラフィックス信号を同期させるシンクロナイザ２１０と、前記グラフィックス信号と画像信号１１０とが同期した部分、すなわち検出エリアＡにおける明度分布を抽出するＡ／Ｄ変換器２２０と、これらのタイミングをとるタイミングコントローラー２３０とから構成されている。
【００３１】
すなわち、この明度抽出部２００は、検出エリアＡをグラフィックス信号で定義し、このグラフィックス信号でＡ／Ｄ変換器２２０を制御して信号の抽出を行うのである。明度抽出部２００をこのように構成すると、膨大な画像信号１１０のうち一部分のみを抽出することによって冗長な情報を破棄することでメモリ容量を大幅に軽減でき、パーソナルコンピュータや簡単なシステムであっても情報処理が容易という利点がある。
【００３２】
Ａ／Ｄ変換器２２０で抽出された検出エリアＡにおける明度分布（図４参照）は、量子化されてＤＳＰ３００に入力される。
【００３３】
一方、撮像装置１００からの画像信号１１０は、前記明度抽出部２００のみならず、スーパーインポーザー５００にも出力されている。このスーパーインポーザー５００は、ビデオモニター５１０に画像信号１１０に前記検出エリアＡを重畳して表示するものである。
【００３４】
また、前記明度抽出部２００によって量子化された明度が入力されるＤＳＰ３００は、図３に示すような矩形波によって、前記明度を近似フーリエ変換する。この矩形波は、正弦関数、余弦関数を１、０、−１の３値で近似させたものであり、その面積が正規の余弦波、正弦波の各半周期の面積と等しく、振幅が１であり、かつ線分長の中点は正弦波、余弦波の波形の頂点となっている。
【００３５】
このような矩形波を用いるのは、データの取り扱いを簡略化するためである。このような矩形波を用いることにより、０〜１の中間値を取り扱う必要がなく、１なら加算、０なら演算不履行、−１なら減算の操作を行うことで演算が可能であり、演算時間の短縮化が実現できる。
【００３６】
このＤＳＰ３００は、第３次高調波と、第２次高調波と、第４次高調波とのスペクトル分布を演算する。ここで、第３次高調波のみならず第２次高調波及び第４次高調波まで演算するのは以下の理由による。すなわち、背景としての道路Ｒが雑音のない理想的なものであれば、偶数次高調波（ここでは、第２次高調波及び第４次高調波）は０となるのであるが、実際の道路Ｒには雑音が含まれるので偶数次高調波は０とならない。このため、実際には第２次高調波と、第４次高調波も必要となるのである。
【００３７】
このようなＤＳＰ３００では、以下のようにして各高調波のスペクトル分布が演算される。まず、図６に示すように、Ａ／Ｄ変換器２２０で量子化された明度分布が３つの周波数成分毎の加減算フィルター３１０に導かれる。この加減算フィルター３１０は、従来の正弦波、余弦波関数との乗算に代わるものであって、前記（３）〜（４）式に代わるものである。すなわち、この加減算フィルター３１０は、前記矩形波での近似フーリエ変換に相当するものである。また、各加減算フィルター３１０に続くレジスター３２０は、積分計算、すなわち前記（２）式に相当しており、１フレームごとの検出エリアＡ上のスペクトル分布を演算制御部４００に出力するようになっている。
【００３８】
このＤＳＰ３００で近似フーリエ変換されることによって得られたスペクトル分布は、演算制御部４００に出力される。
【００３９】
この演算制御部４００は、通常のパーソナルコンピュータを使用している。かかる演算制御部４００では、第３次高調波成分を検出量とし、第２次及び第４次高調波成分の平均値を参照量として得られる特徴量ρの大きさによって移動物体を検出する。すなわち、前記（８）式によって特徴量ρを算出し、この特徴量ρに基づいて車両Ｃが存在するか否かを判定するのである。
【００４０】
以下に実際に実験した場合に得られた結果について図４及び図５を参照しつつ説明する。この実験は、名神高速道路下り車線の大津トンネル入口で白色の車両Ｃを昼間時に撮像した。
【００４１】
図４は、明度抽出部２００のＡ／Ｄ変換器２２０からの出力、すなわち検出エリアＡにおける明度分布を示すグラフである。ただし、Ａ／Ｄ変換器２２０からの実際の出力は、サンプリングされているので離散的な値を有するものであるが、図４では見やすさのために包絡線で結んである。
【００４２】
すなわち、高原状に高くなった部分は車両Ｃの明度であり、その両側の低くなった部分は道路Ｒの明度を示している。図４を見ると道路Ｒより車両Ｃの明度の方が大きいことが判る。
【００４３】
このＡ／Ｄ変換器２２０からの出力をＤＳＰ３００に入力した結果が図５である。ここでは、車両Ｃの幅寸法Ｗは小型車に準じて１．７ｍとしている。図５を検討すると、データに若干の乱れは生じるが、特徴量ρの演算に用いられる第３次高調波付近での極大値、第２次及び第４次高調波付近での極小値をとる傾向はそのままである。従って、上述したような矩形波を用いた近似フーリエ変換によって車両Ｃを検出することは十分可能であることが理解できる。
【００４４】
このようなスペクトル分布が演算制御部４００に対して出力され、演算制御部４００は、前記（８）式に基づいて特徴量ρを算出し、車両Ｃを検出するのである。
【００４５】
特に、従来の技術の欄で用いた図８のような理想的な明度分布に対して矩形波を用いた近似フーリエ変換を行った結果が図７に実線に示されており、図５と比較しても車両Ｃを検出することは十分可能であることがわかる。
【００４６】
背景より暗い車両、すなわち道路Ｒより黒色の車両Ｃであっても、白色の車両Ｃと同様の結果を得ることができた。
【００４７】
なお、上述した実施例では、移動物体検出装置としての車両検出装置を例としたが、本発明がこれに限定されるわけではない。例えば、平行な検出エリアを複数個設け、各検出エリアを通過する時間差に基づいて移動物体の移動速度を検出することができる。
【００４８】
【発明の効果】
上述したように本発明に係る移動物体認識方法は、移動物体とこの移動物体の背景との明度差に基づいて、前記移動物体を認識する移動物体認識方法であって、予め設定された検出エリアを移動物体が通過することによって生じる明度分布を矩形波を用いて近似フーリエ変換し、これによって得られたスペクトル分布の奇数次の高調波成分を検出することによって移動物体を認識するようになっている。ここで、矩形波を用いた近似フーリエ変換を行い、正弦関数及び余弦関数を演算する必要がないので、演算を高速化することができる。特に、前記矩形波として、その面積が正規の余弦、正弦波の各半周期の面積と等しく、振幅が１であり、かつ線分長の中点は正弦、余弦波の波形の頂点となっているものを用いると、より高速化が可能となる。
【００４９】
また、前記奇数次の高調波成分の検出には、第３次高調波成分を検出量とし、第２次及び第４時高調波成分の平均値を参照量として得られる特徴量の大きさに基づいて行うようになっている。このようにすると、背景に雑音があってもより正確に移動物体を検出することができる。
【００５０】
一方、本発明に係る移動物体検出装置は、検出すべき移動物体及びこの移動物体の背景を捉える撮像装置と、この撮像装置からの画像信号のうち任意に設定された検出エリアにおける明度分布を抽出する明度抽出部と、この明度抽出部で抽出された明度分布を矩形波を用いて近似フーリエ変換し、前記近似フーリエ変換によって得られたスペクトル分布のうち、物体幅寸法の２倍を基本周期とする２次、３次、４次の高調波成分を検出するデジタルシグナルプロセッサと、高調波成分の比較演算を行う演算制御部と、検出エリアを設定するためのグラフィックス信号を生成するディスプレイコントローラーとを備えており、前記矩形波は、その面積が正規の余弦、正弦波の各半周期の面積と等しく、振幅が１であり、かつ線分長の中点は正弦、余弦波の波形の頂点となっている。このようにすると、フーリエ変換における正弦関数及び余弦関数を演算する必要がないので、演算を高速化することができる。特に、近似フーリエ変換を行う専用のデジタルシグナルプロセッサを用いたので、演算の高速化を図ることができる。
【００５１】
また、前記演算制御部では、第３次高調波成分を検出量とし、第２次及び第４次高調波成分の平均値を参照量として得られる特徴量の大きさによって移動物体を検出するようになっているので、背景に雑音があってもより正確に移動物体を検出することができる。
【図面の簡単な説明】
【図１】本発明に係る移動物体検出装置の概略的ブロック図である。
【図２】移動物体である車両と検出エリアとの関係を示すビデオモニター上の画像の概略図である。
【図３】この移動物体検出装置における近似フーリエ変換に用いられる矩形波の波形図である。
【図４】車両が通過した検出エリアにおける明度分布を示すグラフである。
【図５】図４に示した明度分布に対して近似フーリエ変換を行った結果としてのスペクトル分布を示すグラフである。
【図６】デジタルシグナルプロセッサの説明図である。
【図７】理想的な明度分布に対して近似フーリエ変換を行った結果としてのスペクトル分布を示すグラフである。
【図８】検出エリアにおける理想的な明度分布を示すグラフである。
【図９】図８で示した明度分布に対してフーリエ変換を行った結果としてのスペクトル分布を示すグラフである。
【図１０】車両の幅寸法と検出エリアの幅寸法との比率と、特徴量との関係を示すグラフである。
【符号の説明】
１００撮像装置
２００明度抽出部
３００デジタルシグナルプロセッサ（ＤＳＰ）
４００演算制御部
Ｃ車両（移動物体）
Ｒ道路（背景）

Claims

移動物体とこの移動物体の背景との明度差に基づいて、前記移動物体を認識する移動物体認識方法であって、予め設定された検出エリアを移動物体が通過することによって生じる明度分布を矩形波を用いて近似フーリエ変換し、これによって得られたスペクトル分布のうち、物体幅寸法の２倍を基本周期とする奇数次の高調波成分を検出することによって移動物体を認識する移動物体認識方法において、前記矩形波は、その面積が正規の余弦、正弦波の各半周期の面積と等しく、振幅が１であり、かつ線分長の中点は正弦、余弦波の波形の頂点となっているものであることを特徴とする移動物体認識方法。
前記奇数次の高調波成分の検出には、第３次高調波成分を検出量とし、第２次及び第４時高調波成分の平均値を参照量として得られる特徴量の大きさに基づいて行うことを特徴とする請求項１記載の移動物体認識方法。
検出すべき移動物体及びこの移動物体の背景を捉える撮像装置と、この撮像装置からの画像信号のうち任意に設定された検出エリアにおける明度分布を抽出する明度抽出部と、この明度抽出部で抽出された明度分布を矩形波を用いて近似フーリエ変換するデジタルシグナルプロセッサと、前記近似フーリエ変換によって得られたスペクトル分布の奇数次の高調波成分を検出する演算制御部とを具備しており、前記矩形波は、その面積が正規の余弦、正弦波の各半周期の面積と等しく、振幅が１であり、かつ線分長の中点は正弦、余弦波の波形の頂点となっていることを特徴とする移動物体検出装置。
前記演算制御部では、第３次高調波成分を検出量とし、第２次及び第４次高調波成分の平均値を参照量として得られる特徴量の大きさによって移動物体を検出することを特徴とする請求項３記載の移動物体検出装置。