JP4107273B2 - 移動体検出装置 - Google Patents

Description

本発明は、撮像画像に基づいて、移動体を検出する移動体検出装置に関する。

車両に搭載したカメラにより撮像された画像に基づいて、移動体を検出する装置が知られている（特許文献１参照）。この従来の検出装置では、撮像画像中の水平エッジ成分および垂直エッジ成分を抽出し、抽出したエッジ成分に基づいて、車両の両側端部を表す垂直エッジ成分を検出している。

特開平２０００−１１３２０１号公報

しかしながら、従来の検出装置は、画像中の垂直エッジ成分の中から車両を表す条件（車幅および車高に係わる基準条件）に基づいて車両の両側端部を表す垂直エッジ成分を検出しているので、車両の種類や車両との位置関係が変わると車両を表す条件も変わってしまうために、車両の両側端部を表すエッジ成分を検出することができず、車両を検出することができない可能性があるという問題があった。

本発明による移動体検出装置は、撮像画像において移動体を検出可能な追跡可能領域を検出し、異なるタイミングにて撮像された２つの画像に基づいて、追跡可能領域に写っている物体を追跡している際に、追跡可能領域に写っている物体が他の領域に写っている物体によって隠蔽されたことが検出されると、隠蔽した領域が撮像画像上に現れた追跡開始位置を検出し、追跡開始位置と画像上の消失点位置とに基づいて、追跡可能領域に写っている物体が移動体であるか否かを判定することを特徴とする。

本発明による移動体検出装置によれば、検出対象の構造的な特徴に関係なく、撮像画像上の移動体を検出することができる。

図１は、一実施の形態における移動体検出装置の構成を示す図である。一実施の形態における移動体検出装置は、車両に搭載されて使用されるものであって、撮像部１０と、画像記憶部２０と、追跡可能領域検出部３０と、追跡領域情報記憶部４０と、局所領域追跡部５０と、消失点検出部６０と、移動領域検出部７０とを備える。

撮像部１０は、例えば、ビデオカメラであり、車両前方を一定時間間隔にて撮像する。カメラの左右方向の光軸は、車両の直進方向と一致させ、上下方向の光軸は、水平となるようにカメラを設置する。撮像部１０により撮像された画像は、画像記憶部２０に記憶される。

追跡可能領域検出部３０は、撮像部１０により撮像され、画像記憶部２０に記憶されている画像に基づいて、移動体の追跡が可能な領域を検出する。画像上において、道路上の白線のように一様な濃淡変化を持つ領域では、その濃淡の方向と垂直な方向（白線が伸びている方向）に対象（移動体）が移動しても、対象の移動量を検出することはできない。従って、対象を追跡可能な領域は、複数の方向に濃淡変化を有する領域となる。このような領域の検出方法について説明する。

追跡可能領域検出部３０は、画像記憶部２０に記憶されている画像を読み出し、縦方向および横方向のエッジを検出するためのフィルタをかけ、エッジの縦、横の成分の大きさ（ｄＩ／ｄｘ，ｄＩ／ｄｙ：Ｉは画素値）をそれぞれ求める。次に、検出されたエッジに含まれるノイズ成分を除去するために、求めた縦、横のエッジ成分の大きさの２乗和がしきい値ｔｈ１以上の画素を抽出し、抽出した画素について、エッジの縦方向成分と横方向成分の大きさの比を求めることにより、濃度勾配方向を求める。

次に、ノイズが除去された後のエッジが示されている画像を縦方向および横方向に等間隔に格子状に分割する。図２は、上述した方法により、撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した領域を示す図である。この分割された各領域ごとに、エッジの縦方向成分と横方向成分の大きさの比の分散値を求める。この場合、分割された矩形領域内のエッジ勾配方向が一方向しかなければ、分散値は小さくなり、複数方向のエッジ勾配を持つ場合には、分散値は大きくなる。従って、求めた分散値が所定のしきい値ｔｈ２より小さければ、エッジ勾配方向は一方向である可能性が高く、濃度勾配と垂直な方向に移動する物体を検出することは難しいと判断する。一方、求めた分散値が所定のしきい値ｔｈ２以上であれば、複数方向のエッジ勾配を有しており、移動体がいずれの方向に移動しても追跡可能と判断できる。追跡可能領域検出部３０は、求めた分散値が所定のしきい値ｔｈ２以上の領域を追跡可能領域と判断する。図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を図３に示す。

追跡可能領域検出部３０は、撮像部１０によって時間Δｔの間隔にて撮像される画像に基づいて、新たな追跡可能領域を検出する。追跡可能領域検出部３０によって新たな追跡可能領域が検出されると、その領域が検出された位置（追跡開始位置）、追跡開始位置を検出した時間を表す指標値、および、原画像の画像パターンを、各矩形領域ごとに割り振られている識別番号に対応させて追跡領域情報記憶部４０に記憶する。追跡開始位置を検出した時間を表す指標値としては、処理を開始してからの画像の取り込み回数を用いる。なお、以下では、追跡領域情報記憶部４０に記憶された画像パターンを基準パターンと呼ぶ。

局所領域追跡部５０は、撮像部１０により撮像された新たな画像が画像記憶部２０に入力されると、異なるタイミングにて撮像された２つの画像に基づいて、追跡可能領域検出部３０により検出された追跡可能領域の移動先および移動量を検出する。移動先の検出方法について説明する。

追跡可能領域の周囲に、移動先を検出するための探索領域を設け、その探索領域内で基準パターン位置を１画素ずつずらしながら、新規画像との相関値を演算する。この場合、演算した相関値がしきい値ｔｈ３以上であり、かつ、最大となる領域が追跡可能領域の移動先として検出される。基準パターン位置は、１画素単位で移動させる（ずらす）ので、移動先の位置も１画素単位でしか得られないが、周囲の領域に対する複数の相関値を用いて補間演算を行うことにより、相関値が最大となる位置（移動先）を１画素以下の精度で求めることができる。求めた移動先に基づいて算出される追跡可能領域の移動量（移動ベクトル）は、水平方向ｘ、垂直方向ｙの各方向成分として表される。図４は、各追跡可能領域の移動ベクトルを矢印で表した図である。

局所領域追跡部５０により求められた移動先の位置および移動量は、識別番号ごとに追跡領域情報記憶部４０に記憶される。従って、追跡領域情報記憶部４０には、追跡可能領域ごとに、識別番号、追跡開始位置、現在の位置（座標値）、相関値、および、基準パターンが記憶される。ただし、追跡可能領域の始点座標が水平方向ｘ、垂直方向ｙの一定範囲から外れた場合にも、その追跡可能領域に関する情報を初期化する。これは、画像上における静止物や自車両の移動方向と異なる方向に移動する移動体は、自車両の移動に伴って消失点から周辺方向に移動していくので、時間の経過とともに撮像範囲の外に出るからである。初期化された追跡可能領域に関しては、移動体領域であるか否かの判断は行われない。

消失点検出部６０は、局所領域検出部５０によって検出された追跡可能領域の移動ベクトル（図４参照）から、消失点を求める。ここでは、各追跡可能領域の移動ベクトルをそれぞれ延長した直線が交わる点の位置座標を複数求め、求めた複数の座標をそれぞれ整数化した座標値の頻度が最大となる位置を消失点とする。求めた消失点の位置座標は、そのときの時間指標（画像が入力された回数）とともに、追跡領域情報記憶部４０に記憶される。

移動領域検出部７０は、追跡領域情報記憶部４０に記憶されている画像に基づいて、移動物が写っている移動物領域を検出する。撮像部１０を搭載した車両が移動している場合、建物等の静止物は、撮像画像上において、消失点の位置から新たに出現するが、人などが自車両の前方に飛び出してくる場合には、消失点とは異なる位置から出現する。追跡領域情報記憶部４０には、追跡可能領域ごとに、新たに入力された画像に対する相関値が時系列で記憶されており、相関値が急激に低下した場合に、移動物領域検出部７０は、追跡可能領域が他の追跡可能領域によって隠蔽されたと判断する。

図５は、追跡可能領域ａ１およびａ２が、時間の経過とともに追跡可能領域ｂ１によって隠蔽されることを説明するための図である。図４に示す移動ベクトルから分かるように、追跡可能領域ｂ１は、画像の中央方向（画面の右方向）に移動しているため、時間の経過とともに、追跡可能領域ａ１およびａ２にそれぞれ写っている物体は、領域ｂ１に写っている物体によって隠蔽される。これにより、追跡可能領域ａ１およびａ２が追跡可能領域ｂ１に隠蔽されると、追跡可能領域ａ１およびａ２の相関値はそれぞれ急激に低下する。

図６は、追跡可能領域ａ１，ａ２およびｂ１のｘ座標の時間推移を示す図である。ここでは、撮像画像の水平方向をｘ軸とし、画像の左端の位置のｘ座標を０とする。建物（静止物）が写っている追跡可能領域ａ１は、自車両の移動とともに、ｘ座標の値は小さくなっていき、ある時刻ｔ１において、追跡可能領域ｂ１に隠蔽されている。同様に、静止物が写っている追跡可能領域ａ２も、自車両の移動とともに、ｘ座標の値は小さくなっていき、ある時刻ｔ２（ｔ２＞ｔ１）において、追跡可能領域ｂ１に隠蔽されている。図６では、追跡可能領域ａ１，ａ２およびｂ１の追跡開始位置（追跡開始座標）を丸で囲って示している。なお、図６に示すように、消失点のｘ座標は、時間が経過してもほとんど変わらない。

移動領域検出部７０は、まず、追跡可能領域ごとに追跡領域情報記憶部４０に記憶されている相関値の変化率を求め、相関値の変化率が所定のしきい値ｔｈ４以上となった場合に、追跡可能領域が他の追跡可能領域によって隠蔽されたと判断する。そして、隠蔽された領域のｘ座標を求め、求めたｘ座標との差が所定のしきい値ｔｈ５以内のｘ座標の追跡可能領域を、隠蔽した物体が写っている領域の候補として抽出する。図５では、領域ａ１の相関値の低下率が所定のしきい値ｔｈ４以上となった場合に、領域ａ１のｘ座標との差が所定のしきい値ｔｈ５以内のｘ座標を有する追跡可能領域を斜線で示している。

移動領域検出部７０は、抽出した候補領域の追跡開始位を追跡領域情報記憶部４０から読み出し、読み出した追跡開始位置と、追跡開始位置が検出された時の消失点位置とのｘ座標の差を求めて、その差が所定のしきい値ｔｈ６以上の領域の度数を求める。上述したように、建物等の静止物は、撮像画像上において、消失点の位置から新たに出現するので、抽出した候補領域が静止物の場合には、追跡開始位置のｘ座標と、消失点のｘ座標との差は、所定のしきい値ｔｈ６より小さい値となる。一方、人などの移動体は、消失点とは異なる位置から出現するので、抽出した候補領域が移動体の場合には、追跡開始位置のｘ座標と、消失点のｘ座標との差は所定のしきい値ｔｈ６以上となる。移動領域検出部７０は、抽出した候補領域の追跡開始位置のｘ座標と、消失点位置のｘ座標との差が所定のしきい値ｔｈ６以上の場合に、その差の度数を求める。

例えば、図５の斜線で示した候補領域において、領域ｂ１と同一のｘ座標を有する５つの候補領域を対象として、上述した差を求めると、その差は、それぞれの候補領域において、所定のしきい値ｔｈ６以上となるが（図６参照）、領域ａ１と同一のｘ座標を有する３つの候補領域を対象として上述した差を求めると、その差は、いずれの候補領域においても、所定のしきい値ｔｈ６より小さい値となる（図６参照）。

移動領域検出部７０は、追跡可能領域が他の領域に隠蔽されるたびに、上述したｘ座標の差を求め、その差が所定のしきい値ｔｈ６以上の場合に、差の度数を求める。図７は、追跡開始位置のｘ座標と消失点のｘ座標との差を横軸に、差が所定のしきい値ｔｈ６以上の度数を縦軸に取った結果の一例を示す図である。移動体が移動して、他の追跡可能領域が隠蔽されるたびに、その移動体の追跡開始位置のｘ座標と、消失点のｘ座標との差の度数が加算されていく。この度数と所定のしきい値ｔｈ７とを比較し、所定のしきい値ｔｈ７以上の場合に、画像上に新たに移動体が現れたと判断する。これにより、撮像画像上に移動物が写っているか否かを判断することができる。

また、上述した差の度数に算入された追跡可能領域の識別番号は既知であるので、画像の探索範囲からはずれた追跡可能領域が度数に算入されている場合には、追跡を終了した（探索範囲からはずれた）際に、度数から減算しておく。これにより、各候補領域において、上述した差の度数が無限に増加して、所定のしきい値ｔｈ７以上となってしまうのを防ぐことができる。

図８は、一実施の形態における画像領域分類装置によって行われる処理手順を示すフローチャートである。ステップＳ１０から始まる処理は、図示しないイグニッションスイッチがオンされることにより始まる。ステップＳ１０では、追跡領域情報記憶部４０に記憶されている追跡領域情報を初期化して、ステップＳ２０に進む。ステップＳ２０では、撮像部１０により撮像された画像を画像記憶部２０に記憶して、ステップＳ３０に進む。

ステップＳ３０では、追跡可能領域検出部３０によって、画像記憶部２０に記憶されている画像に基づいて、追跡可能領域を検出する。追跡可能領域の検出方法は上述したので、詳しい説明は省略する。追跡可能領域を検出するとステップＳ４０に進む。ステップＳ４０では、局所領域追跡部５０によって、ステップＳ２０で撮像された画像、および、撮像間隔Δｔにて新たに撮像された画像に基づいて、追跡可能領域の移動先の位置および移動量を検出する。移動先の位置および移動量の検出方法は上述したので、詳しい説明は省略する。追跡可能領域の移動先および移動量を検出すると、ステップＳ５０に進む。

ステップＳ５０では、ステップＳ４０で求めた追跡可能領域の移動先および移動量に基づいて、消失点の位置を検出する。消失点位置の検出方法は上述したので、ここでは詳しい説明は省略する。ステップＳ５０に続くステップＳ６０では、撮像画像上において、移動物が写っている移動物領域を検出する。移動物領域の検出方法は上述したので、ここでは詳しい説明は省略する。

一実施の形態における移動体検出装置が行う処理内容についてまとめておく。追跡可能領域検出部３０は、撮像部１０により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。局所領域追跡部５０は、Δｔの撮像間隔で撮像部１０により撮像された少なくとも２枚の画像に基づいて、追跡可能領域を追跡する。追跡可能領域を追跡している際に、追跡可能領域に写っている物体が他の領域に写っている物体によって隠蔽されたことが検出されると、隠蔽した領域が撮像画像上に現れた追跡開始位置を検出し、検出した追跡開始位置と、消失点検出部６０で検出された消失点位置との位置関係に基づいて、追跡可能領域に写っている物体が移動体であるか否かを判定する。特に、追跡開始位置と消失点位置とのｘ座標の差が所定のしきい値ｔｈ６以上の場合に、追跡可能領域に写っている物体が移動体であると判定するので、撮像画像上における移動体を確実に検出することができる。

一実施の形態における移動体検出装置によれば、移動物の種類や構造上の特徴、移動物と撮像部１０との位置関係に関わらず、撮像画像に基づいて、移動物の存在を検出することができる。

また、一実施の形態における移動体検出装置によれば、追跡可能領域に写っている物体が他の領域に写っている物体によって隠蔽されたことが検出されるたびに、追跡開始位置と消失点位置とのｘ座標の差が所定のしきい値ｔｈ６以上となる度数を算出し、算出した度数が所定のしきい値ｔｈ７以上の場合に、追跡可能領域に写っている物体が移動体であると判定するので、移動体の検出精度を向上させることができる。

本発明は、上述した一実施の形態に限定されることはない。例えば、移動領域検出部７０によって移動体が検出されると、検出された移動体の位置と自車両との位置関係に基づいて、ドライバに警報を発する警報装置を設けるようにしてもよい。

特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、撮像部１０が撮影手段を、追跡可能領域検出部３０が領域区分手段および追跡可能領域検出手段を、消失点検出部６０が消失点検出手段を、局所領域追跡部５０が追跡手段および追跡開始位置検出手段を、移動領域検出部７０が領域隠蔽検出手段および移動体判定手段とをそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。

一実施の形態における移動体検出装置の構成を示す図 撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した複数の領域を示す図 図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を示す図 各追跡可能領域の移動ベクトルを矢印で表した図 追跡可能領域ａ１およびａ２が、時間の経過とともに追跡可能領域ｂ１によって隠蔽されることを説明するための図 追跡可能領域ａ１，ａ２およびｂ１のｘ座標の時間推移を示す図 追跡開始位置のｘ座標と消失点のｘ座標との差を横軸に、その差の度数を縦軸に取った結果を示す図 一実施の形態における画像領域分類装置によって行われる処理手順を示すフローチャート

符号の説明

１０…撮像部
２０…画像記憶部
３０…追跡可能領域検出部
４０…追跡領域情報記憶部
５０…局所領域追跡部
６０…消失点検出部
７０…移動領域検出部

Claims (5)

1. 車両に設置されて車両の周囲を撮像する撮像手段と、
   前記撮像手段により撮像された画像を複数の領域に区分する領域区分手段と、
   前記領域区分手段により区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する追跡可能領域検出手段と、
   前記撮像手段により撮像された画像の消失点を検出する消失点検出手段と、
   前記撮像手段によって異なるタイミングで撮像された２つの画像に基づいて、前記追跡可能領域検出手段により検出された追跡可能領域を追跡する追跡手段と、
   前記追跡手段により追跡している追跡可能領域に写っている物体が他の領域に写っている物体によって隠蔽されたことを検出する領域隠蔽検出手段と、
   前記領域隠蔽検出手段によって、前記追跡可能領域に写っている物体が他の領域に写っている物体によって隠蔽されたことが検出されると、前記隠蔽した領域が撮像画像上に現れた位置（以下、追跡開始位置と呼ぶ）を検出する追跡開始位置検出手段と、
   前記追跡開始位置検出手段によって検出された追跡開始位置、および、前記消失点検出手段によって検出された消失点の位置に基づいて、前記追跡可能領域に写っている物体が移動体であるか否かを判定する移動体判定手段とを備えることを特徴とする移動体検出装置。
2. 請求項１に記載の移動体検出装置において、
   前記追跡手段は、前記撮像手段によって異なるタイミングで撮像された２つの画像に基づいて、前記追跡可能領域と他の領域との間の相関値を算出し、算出した相関値が最も高い領域を前記追跡可能領域の移動先として検出し、
   前記領域隠蔽検出手段は、前記追跡手段によって算出される相関値の変化率を算出し、算出した相関値の変化率が所定のしきい値以上となった場合に、前記追跡可能領域に写っている物体が他の領域に写っている物体によって隠蔽されたと判定することを特徴とする移動体検出装置。
3. 請求項１または２に記載の移動体検出装置において、
   前記移動体判定手段は、前記追跡開始位置検出手段によって検出された追跡開始位置と、前記消失点検出手段によって検出された消失点の位置との画像上の水平方向の距離が所定の距離以上の場合に、前記追跡可能領域に写っている物体が移動体であると判定することを特徴とする移動体検出装置。
4. 請求項３に記載の移動体検出装置において、
   前記移動体判定手段は、前記領域隠蔽検出手段によって、追跡可能領域に写っている物体が他の領域に写っている物体によって隠蔽されたことが検出されるたびに、前記画像上の水平方向の距離が所定の距離以上となる度数を算出し、算出した度数が所定度数以上の場合に、前記追跡可能領域に写っている物体が移動体であると判定することを特徴とする移動体検出装置。
5. 請求項１〜４のいずれかに記載の移動体検出装置において、
   前記追跡可能領域検出手段は、複数の方向に濃淡変化を有する領域を前記追跡可能領域として検出することを特徴とする移動体領域検出装置。

Images