JP3011566B2 - 接近車監視装置 - Google Patents
接近車監視装置Info
- Publication number
- JP3011566B2 JP3011566B2 JP5038163A JP3816393A JP3011566B2 JP 3011566 B2 JP3011566 B2 JP 3011566B2 JP 5038163 A JP5038163 A JP 5038163A JP 3816393 A JP3816393 A JP 3816393A JP 3011566 B2 JP3011566 B2 JP 3011566B2
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- flow
- optical
- image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】この発明は、自動車に搭載し車両
周辺の状況を監視する装置、特にイメージセンサ等の光
学系により撮像された画像を用いて、接近する車両を検
出する接近車監視装置に関するものである。
周辺の状況を監視する装置、特にイメージセンサ等の光
学系により撮像された画像を用いて、接近する車両を検
出する接近車監視装置に関するものである。
【０００２】
【従来の技術】従来、時系列的に連続した画像から移動
物体を検出する方法としては、画像間の差分による検出
手法が用いられており、この手法を利用した技術として
特開平４−２９４７２号公報に開示されているような接
近車監視装置がある。図１１は例えば画像処理ハンドブ
ック（１９８７年昭晃堂発行）第３７５頁に示された方
法を示す説明図である。図１１において４０、４１は時
間的に異なる２枚の入力画像、４４は画像４０から画像
４１を差分した出力画像である。この方法では２枚の画
像４０、４１中に移動物体が存在すれば、得られた差分
画像４４には濃度レベルが正の領域４５と、濃度レベル
が０の領域４７と、濃度レベルが負の領域４６が得ら
れ、濃度レベルが正の領域４５と負の領域４６が画像中
で移動した領域、濃度レベルが０の領域は変化しなかっ
た領域（背景）背景部分であると考えることができる。
物体を検出する方法としては、画像間の差分による検出
手法が用いられており、この手法を利用した技術として
特開平４−２９４７２号公報に開示されているような接
近車監視装置がある。図１１は例えば画像処理ハンドブ
ック（１９８７年昭晃堂発行）第３７５頁に示された方
法を示す説明図である。図１１において４０、４１は時
間的に異なる２枚の入力画像、４４は画像４０から画像
４１を差分した出力画像である。この方法では２枚の画
像４０、４１中に移動物体が存在すれば、得られた差分
画像４４には濃度レベルが正の領域４５と、濃度レベル
が０の領域４７と、濃度レベルが負の領域４６が得ら
れ、濃度レベルが正の領域４５と負の領域４６が画像中
で移動した領域、濃度レベルが０の領域は変化しなかっ
た領域（背景）背景部分であると考えることができる。
【０００３】図１２（ａ）、（ｂ）は差分画像による従
来の方法の説明図である。図において、２０、２５は図
１１に示す画像４０のＡ−Ａ線での画像を１次元信号で
表したものであり、２１、２６は画像４１のＡ−Ａ線で
の画像を１次元信号で表したものである。各信号２０、
２１、２５、２６において、横方向は画像の位置、縦方
向は濃度レベルを示す。従来の差分法により、移動物体
を検出するためには、２枚の画像２０、２１を差分した
画像信号７０において、２つの閾値Ｔ１、Ｔ２を設定
し、濃度の変化領域７１を抽出する。領域７１の正負の
位置により移動方向を決定する。即ち、濃度の変化領域
が正から負となる方向を移動方向とすると、図１２
（ａ）では矢印７２が移動方向となる。
来の方法の説明図である。図において、２０、２５は図
１１に示す画像４０のＡ−Ａ線での画像を１次元信号で
表したものであり、２１、２６は画像４１のＡ−Ａ線で
の画像を１次元信号で表したものである。各信号２０、
２１、２５、２６において、横方向は画像の位置、縦方
向は濃度レベルを示す。従来の差分法により、移動物体
を検出するためには、２枚の画像２０、２１を差分した
画像信号７０において、２つの閾値Ｔ１、Ｔ２を設定
し、濃度の変化領域７１を抽出する。領域７１の正負の
位置により移動方向を決定する。即ち、濃度の変化領域
が正から負となる方向を移動方向とすると、図１２
（ａ）では矢印７２が移動方向となる。
【０００４】しかし、画像によって濃度が異なるため、
２つの閾値Ｔ１、Ｔ２は一定とはならず処理する画像毎
に最適な閾値を決定する必要が生じ、様々な画像に対応
するのは実用上困難である。特に、物体と背景の濃度差
が小さい場合には最適な閾値を決定するのは容易でない
という問題が残る。更に図１２（ｂ）に示す２枚の画像
２５、２６の様に背景と物体の濃度差が逆になっている
場合には、差分画像７３から抽出された変化領域７４は
図のようになる。従って、変化領域の正負で移動方向を
判定すると、移動方向は矢印７５のように矢印７４と正
反対の方向に判定されてしまう。
２つの閾値Ｔ１、Ｔ２は一定とはならず処理する画像毎
に最適な閾値を決定する必要が生じ、様々な画像に対応
するのは実用上困難である。特に、物体と背景の濃度差
が小さい場合には最適な閾値を決定するのは容易でない
という問題が残る。更に図１２（ｂ）に示す２枚の画像
２５、２６の様に背景と物体の濃度差が逆になっている
場合には、差分画像７３から抽出された変化領域７４は
図のようになる。従って、変化領域の正負で移動方向を
判定すると、移動方向は矢印７５のように矢印７４と正
反対の方向に判定されてしまう。
【０００５】又、従来のイメージセンサ等により撮像さ
れた画像を用いた車両周辺の監視装置、特に後方車両の
監視装置としては、特公平３−４７２１３号公報に開示
されたような装置がある。これは図１２で示したような
テレビカメラ等で撮像した後方画像８０上にマーカー８
１を付して後方車両の位置を判断しやすいようにしたも
のである。
れた画像を用いた車両周辺の監視装置、特に後方車両の
監視装置としては、特公平３−４７２１３号公報に開示
されたような装置がある。これは図１２で示したような
テレビカメラ等で撮像した後方画像８０上にマーカー８
１を付して後方車両の位置を判断しやすいようにしたも
のである。
【０００６】
【発明が解決しようとする課題】上述したように、従来
の連続画像間の差分画像による移動物体の検出方法で
は、処理画像によって濃度が異なるため、２つの閾値Ｔ
１、Ｔ２は一定とはならず、処理する画像毎に最適な閾
値を決定する必要が生じるため様々な画像に対応するの
は実用上困難である。特に物体と背景の濃度差が小さい
場合には最適な閾値を決定することは容易ではないとい
う問題点がある。又、背景と物体の濃度差が逆になって
いる場合には、誤判定することになるという問題点もあ
る。更に、移動する車両からの撮像では接近車両や障害
物などの移動物体のみならず、それらの背景も動くた
め、差分画像から背景と画像上を動く移動物体とを分離
するのは非常に困難であるという問題点もある。
の連続画像間の差分画像による移動物体の検出方法で
は、処理画像によって濃度が異なるため、２つの閾値Ｔ
１、Ｔ２は一定とはならず、処理する画像毎に最適な閾
値を決定する必要が生じるため様々な画像に対応するの
は実用上困難である。特に物体と背景の濃度差が小さい
場合には最適な閾値を決定することは容易ではないとい
う問題点がある。又、背景と物体の濃度差が逆になって
いる場合には、誤判定することになるという問題点もあ
る。更に、移動する車両からの撮像では接近車両や障害
物などの移動物体のみならず、それらの背景も動くた
め、差分画像から背景と画像上を動く移動物体とを分離
するのは非常に困難であるという問題点もある。
【０００７】また、特公平３−４７２１３号公報に開示
されているようなビデオカメラ等で撮像した画像８０上
にマーカー８１を付す技術は、単に画像を表示する技術
にすぎず、ドライバが表示面を見て経験的に判断するも
ので、画像を処理して後方車の接近を判断する機能を備
えた技術ではなかった。
されているようなビデオカメラ等で撮像した画像８０上
にマーカー８１を付す技術は、単に画像を表示する技術
にすぎず、ドライバが表示面を見て経験的に判断するも
ので、画像を処理して後方車の接近を判断する機能を備
えた技術ではなかった。
【０００８】この発明は上記のような問題点を解消する
ためになされたもので、時間的に異なる２枚の画像から
画像上での見かけの動きの速度分布を示す大きさと方向
を有するオプティカルフローを求め、これを利用して移
動物体とその移動方向を検出することにより、上記の差
分画像を使った移動体検出法に比べ、２つの閾値Ｔ１、
Ｔ２を画像毎に設定する必要がなく、濃度差が逆になっ
ているときも移動方向を正しく判定でき、しかも移動車
から撮像したような、現実上の背景も移動する動画像に
対しても、実質上の背景と接近車のような移動体とを分
離し得、移動体のみ、特に接近車のみを検出することが
できる接近車監視装置を得ることを目的としている。
ためになされたもので、時間的に異なる２枚の画像から
画像上での見かけの動きの速度分布を示す大きさと方向
を有するオプティカルフローを求め、これを利用して移
動物体とその移動方向を検出することにより、上記の差
分画像を使った移動体検出法に比べ、２つの閾値Ｔ１、
Ｔ２を画像毎に設定する必要がなく、濃度差が逆になっ
ているときも移動方向を正しく判定でき、しかも移動車
から撮像したような、現実上の背景も移動する動画像に
対しても、実質上の背景と接近車のような移動体とを分
離し得、移動体のみ、特に接近車のみを検出することが
できる接近車監視装置を得ることを目的としている。
【０００９】更に、走行中の道路の凹凸による自車両が
バウンドから生じた動画像の揺れや、複雑背景により発
生するオプティカルフローのノイズを除去し、接近車両
の検出をより正確に行える接近車監視装置を得ることを
も目的としている。
バウンドから生じた動画像の揺れや、複雑背景により発
生するオプティカルフローのノイズを除去し、接近車両
の検出をより正確に行える接近車監視装置を得ることを
も目的としている。
【００１０】
【課題を解決するための手段】この発明の請求項１に係
る接近車監視装置は、車両に設けられ、この車両より後
方を撮像する撮像手段と、この撮像手段により撮像され
た画面内に水平方向に対して複数の領域を設定し、その
領域内で時系列的に異なる２枚の画像から画像上での速
度分布を表す大きさと方向を有するオプティカルフロー
を求めるオプティカルフロー演算手段と、 このオプテ
ィカルフロー演算手段により上記各領域内で得られたオ
プティカルフローのうち、それぞれの領域で設定した一
定値以上の大きさを持つオプティカルフローの方向を出
力するオプティカルフローの方向検出手段と、上記それ
ぞれの領域内の所定の位置に更に１つ以上のフロー監視
領域を設定し、この監視領域内で上記オプティカルフロ
ーの方向検出手段により得られた各々のオプティカルフ
ローの方向を監視し、上記それぞれの領域内において接
近車が存在する場合に仮定される接近車の画像上での動
きの方向と同様の方向を持つオプティカルフローを抽出
するフローパターン抽出手段と、このフローパターン抽
出手段により上記フロー監視領域内で抽出されたオプテ
ィカルフローから接近車を検出する接近車検出手段とを
備えたものである。
る接近車監視装置は、車両に設けられ、この車両より後
方を撮像する撮像手段と、この撮像手段により撮像され
た画面内に水平方向に対して複数の領域を設定し、その
領域内で時系列的に異なる２枚の画像から画像上での速
度分布を表す大きさと方向を有するオプティカルフロー
を求めるオプティカルフロー演算手段と、 このオプテ
ィカルフロー演算手段により上記各領域内で得られたオ
プティカルフローのうち、それぞれの領域で設定した一
定値以上の大きさを持つオプティカルフローの方向を出
力するオプティカルフローの方向検出手段と、上記それ
ぞれの領域内の所定の位置に更に１つ以上のフロー監視
領域を設定し、この監視領域内で上記オプティカルフロ
ーの方向検出手段により得られた各々のオプティカルフ
ローの方向を監視し、上記それぞれの領域内において接
近車が存在する場合に仮定される接近車の画像上での動
きの方向と同様の方向を持つオプティカルフローを抽出
するフローパターン抽出手段と、このフローパターン抽
出手段により上記フロー監視領域内で抽出されたオプテ
ィカルフローから接近車を検出する接近車検出手段とを
備えたものである。
【００１１】車両に設けられ、この車両より所定の方向
を撮像する撮像手段と、この撮像手段により撮像された
画面内の所定の位置に１つ以上の領域を設定し、その領
域内で時系列的に異なる２枚の画像から画像上での速度
分布を表す大きさと方向を有するオプティカルフローを
求めるオプティカルフロー演算手段と、このオプティカ
ルフロー演算手段により上記各領域内で得られたオプテ
ィカルフローのうち、それぞれの領域で設定した一定値
以上の大きさを持つオプティカルフローの方向を出力す
るオプティカルフローの方向検出手段と、上記それぞれ
の領域内の所定の位置に更に１つ以上のフロー監視領域
を設定し、この監視領域内で上記オプティカルフローの
方向検出手段により得られた各々のオプティカルフロー
の方向を監視し、接近車が存在する場合に仮定される接
近車の画像上での動きの方向と同様の方向を持つ複数の
オプティカルフローを抽出するフローパターン抽出手段
と、このフローパターン抽出手段により上記フロー監視
領域内で抽出されたオプティカルフローから接近車を検
出する接近車検出手段と、上記フローパターン抽出手段
によって抽出された各オプティカルフローに対し、その
値の大きさ、その近傍に抽出されたオプティカルフロー
を持つ画素がどれだけあるかを判断することにより、こ
れらのオプティカルフローがノイズであるかどうかを判
断し、ノイズと判断したオプティカルフローはこれを除
去する一方、接近車のオプティカルフローと判断したも
のはその画素及びその近傍におけるオプティカルフロー
の範囲を広げ強調するオプティカルフロー強調手段と、
このオプティカルフロー強調手段により強調されたオプ
ティカルフローのうち、時系列的に連続して抽出されな
いオプティカルフローをノイズとして除去するノイズ除
去手段とを備えたものである。
を撮像する撮像手段と、この撮像手段により撮像された
画面内の所定の位置に１つ以上の領域を設定し、その領
域内で時系列的に異なる２枚の画像から画像上での速度
分布を表す大きさと方向を有するオプティカルフローを
求めるオプティカルフロー演算手段と、このオプティカ
ルフロー演算手段により上記各領域内で得られたオプテ
ィカルフローのうち、それぞれの領域で設定した一定値
以上の大きさを持つオプティカルフローの方向を出力す
るオプティカルフローの方向検出手段と、上記それぞれ
の領域内の所定の位置に更に１つ以上のフロー監視領域
を設定し、この監視領域内で上記オプティカルフローの
方向検出手段により得られた各々のオプティカルフロー
の方向を監視し、接近車が存在する場合に仮定される接
近車の画像上での動きの方向と同様の方向を持つ複数の
オプティカルフローを抽出するフローパターン抽出手段
と、このフローパターン抽出手段により上記フロー監視
領域内で抽出されたオプティカルフローから接近車を検
出する接近車検出手段と、上記フローパターン抽出手段
によって抽出された各オプティカルフローに対し、その
値の大きさ、その近傍に抽出されたオプティカルフロー
を持つ画素がどれだけあるかを判断することにより、こ
れらのオプティカルフローがノイズであるかどうかを判
断し、ノイズと判断したオプティカルフローはこれを除
去する一方、接近車のオプティカルフローと判断したも
のはその画素及びその近傍におけるオプティカルフロー
の範囲を広げ強調するオプティカルフロー強調手段と、
このオプティカルフロー強調手段により強調されたオプ
ティカルフローのうち、時系列的に連続して抽出されな
いオプティカルフローをノイズとして除去するノイズ除
去手段とを備えたものである。
【００１２】
【作用】この発明の請求項１に係る接近車監視装置によ
れば、車両に設けられた撮像手段がこの車両より所定の
方向を撮像する。また、オプティカルフロー演算手段が
撮像手段により撮像された画面内の所定の位置に１つ以
上の領域を設定し、その領域内で時系列的に異なる２枚
の画像から画像上での速度分布を表す大きさと方向を有
するオプティカルフローを求める。更に、オプティカル
フローの方向検出手段がオプティカルフロー演算手段に
より上記各領域内で得られたオプティカルフローのう
ち、それぞれの領域で設定した一定値以上の大きさを持
つオプティカルフローの方向を出力する。また、フロー
パターン抽出手段が上記それぞれの領域内の所定の位置
に更に１つ以上のフロー監視領域を設定し、この監視領
域内で上記オプティカルフローの方向検出手段により得
られた各々のオプティカルフローの方向を監視し、接近
車が存在する場合に仮定される接近車の画像上での動き
の方向と同様の方向を持つオプティカルフローを抽出す
る。そして、接近車検出手段がこのフローパターン抽出
手段により上記フロー監視領域内で抽出されたオプティ
カルフローから接近車を検出する。
れば、車両に設けられた撮像手段がこの車両より所定の
方向を撮像する。また、オプティカルフロー演算手段が
撮像手段により撮像された画面内の所定の位置に１つ以
上の領域を設定し、その領域内で時系列的に異なる２枚
の画像から画像上での速度分布を表す大きさと方向を有
するオプティカルフローを求める。更に、オプティカル
フローの方向検出手段がオプティカルフロー演算手段に
より上記各領域内で得られたオプティカルフローのう
ち、それぞれの領域で設定した一定値以上の大きさを持
つオプティカルフローの方向を出力する。また、フロー
パターン抽出手段が上記それぞれの領域内の所定の位置
に更に１つ以上のフロー監視領域を設定し、この監視領
域内で上記オプティカルフローの方向検出手段により得
られた各々のオプティカルフローの方向を監視し、接近
車が存在する場合に仮定される接近車の画像上での動き
の方向と同様の方向を持つオプティカルフローを抽出す
る。そして、接近車検出手段がこのフローパターン抽出
手段により上記フロー監視領域内で抽出されたオプティ
カルフローから接近車を検出する。
【００１３】また、この発明の請求項２に係る接近車監
視装置によれば、車両に設けられた撮像手段がこの車両
より所定の方向を撮像する。また、オプティカルフロー
演算手段が撮像手段により撮像された画面内の所定の位
置に１つ以上の領域を設定し、その領域内で時系列的に
異なる２枚の画像から画像上での速度分布を表す大きさ
と方向を有するオプティカルフローを求める。更に、オ
プティカルフローの方向検出手段がオプティカルフロー
演算手段により上記各領域内で得られたオプティカルフ
ローのうち、それぞれの領域で設定した一定値以上の大
きさを持つオプティカルフローの方向を出力する。ま
た、フローパターン抽出手段が上記それぞれの領域内の
所定の位置に更に１つ以上のフロー監視領域を設定し、
この監視領域内で上記オプティカルフローの方向検出手
段により得られた各々のオプティカルフローの方向を監
視し、接近車が存在する場合に仮定される接近車の画像
上での動きの方向と同様の方向を持つオプティカルフロ
ーを抽出する。そして、接近車検出手段がこのフローパ
ターン抽出手段により上記フロー監視領域内で抽出され
たオプティカルフローから接近車を検出する。また、オ
プティカルフロー抽出手段が上記フローパターン抽出手
段によって抽出された各オプティカルフローに対し、そ
の値の大きさ、その近傍に抽出されたオプティカルフロ
ーを持つ画素がどれだけあるかを判断することにより、
これらのオプティカルフローがノイズであるかどうかを
判断し、ノイズと判断したオプティカルフローはこれを
除去する一方、接近車のオプティカルフローと判断した
ものはその画素及びその近傍におけるオプティカルフロ
ーの範囲を広げ強調する。そして、ノイズ除去手段がオ
プティカルフロー強調手段により強調されたオプティカ
ルフローのうち、時系列的に連続して抽出されないオプ
ティカルフローをノイズとして除去する。
視装置によれば、車両に設けられた撮像手段がこの車両
より所定の方向を撮像する。また、オプティカルフロー
演算手段が撮像手段により撮像された画面内の所定の位
置に１つ以上の領域を設定し、その領域内で時系列的に
異なる２枚の画像から画像上での速度分布を表す大きさ
と方向を有するオプティカルフローを求める。更に、オ
プティカルフローの方向検出手段がオプティカルフロー
演算手段により上記各領域内で得られたオプティカルフ
ローのうち、それぞれの領域で設定した一定値以上の大
きさを持つオプティカルフローの方向を出力する。ま
た、フローパターン抽出手段が上記それぞれの領域内の
所定の位置に更に１つ以上のフロー監視領域を設定し、
この監視領域内で上記オプティカルフローの方向検出手
段により得られた各々のオプティカルフローの方向を監
視し、接近車が存在する場合に仮定される接近車の画像
上での動きの方向と同様の方向を持つオプティカルフロ
ーを抽出する。そして、接近車検出手段がこのフローパ
ターン抽出手段により上記フロー監視領域内で抽出され
たオプティカルフローから接近車を検出する。また、オ
プティカルフロー抽出手段が上記フローパターン抽出手
段によって抽出された各オプティカルフローに対し、そ
の値の大きさ、その近傍に抽出されたオプティカルフロ
ーを持つ画素がどれだけあるかを判断することにより、
これらのオプティカルフローがノイズであるかどうかを
判断し、ノイズと判断したオプティカルフローはこれを
除去する一方、接近車のオプティカルフローと判断した
ものはその画素及びその近傍におけるオプティカルフロ
ーの範囲を広げ強調する。そして、ノイズ除去手段がオ
プティカルフロー強調手段により強調されたオプティカ
ルフローのうち、時系列的に連続して抽出されないオプ
ティカルフローをノイズとして除去する。
【００１４】
実施例１．以下、この発明の実施例１を後方接近車を監
視する後方接近車装置に例をとって図について説明す
る。図１は実施例１を示すブロック図である。１、２は
時間的に異なる２枚の画像を形成するための画像信号出
力手段、３は画像信号出力手段１、２に接続され、これ
ら画像信号出力手段１、２より得られる画像内の所定の
位置に１つ以上の領域を設定し、その領域内で速度分布
を示す大きさと方向を有するオプティカルフローを計算
するオプティカルフロー演算手段、４はオプティカルフ
ロー演算手段３に接続され、オプティカルフロー演算手
段３により得られたオプティカルフローのうち、それぞ
れの領域で設定した一定値以上の大きさを持つオプティ
カルフローの方向を出力するオプティカルフローの方向
検出手段、５は上記それぞれの演算領域内の所定の位置
に更に１つ以上のフロー監視領域を設定し、このフロー
監視領域内で、上記オプティカルフローの方向検出手段
４により得られた各々のオプティカルフローの方向を監
視し、後方接近車が存在する場合に仮定される接近車の
画像上での動きの方向と同様の方向を持つオプティカル
フローを抽出するフローパターン抽出手段、６はフロー
パターン抽出手段５に接続され、フロー監視領域内でフ
ローパターン抽出法によって得られた各オプティカルフ
ローに対し、その値の大きさや、その近傍に同様にして
抽出されたオプティカルフローがどれだけあるか（抽出
されたオプティカルフローを持つ近傍画素の面積）によ
り、これらのオプティカルフローがノイズであるかどう
かを判断し、ノイズと判断したオプティカルフローを除
去し後方接近車のフローと判断したものはその画素及び
その近傍画素のオプティカルフローの範囲を広げ強調す
るオプティカルフロー強調手段、７はこのオプティカル
フロー強調手段６により検出強調されたオプティカルフ
ローのうち、時系列的に連続して抽出されないオプティ
カルフローをノイズとして除去するノイズ除去手段、８
はノイズ除去手段７に接続され、ノイズ除去手段７によ
り得られたオプティカルフローから後方接近車を検出す
る後方接近車検出手段である。
視する後方接近車装置に例をとって図について説明す
る。図１は実施例１を示すブロック図である。１、２は
時間的に異なる２枚の画像を形成するための画像信号出
力手段、３は画像信号出力手段１、２に接続され、これ
ら画像信号出力手段１、２より得られる画像内の所定の
位置に１つ以上の領域を設定し、その領域内で速度分布
を示す大きさと方向を有するオプティカルフローを計算
するオプティカルフロー演算手段、４はオプティカルフ
ロー演算手段３に接続され、オプティカルフロー演算手
段３により得られたオプティカルフローのうち、それぞ
れの領域で設定した一定値以上の大きさを持つオプティ
カルフローの方向を出力するオプティカルフローの方向
検出手段、５は上記それぞれの演算領域内の所定の位置
に更に１つ以上のフロー監視領域を設定し、このフロー
監視領域内で、上記オプティカルフローの方向検出手段
４により得られた各々のオプティカルフローの方向を監
視し、後方接近車が存在する場合に仮定される接近車の
画像上での動きの方向と同様の方向を持つオプティカル
フローを抽出するフローパターン抽出手段、６はフロー
パターン抽出手段５に接続され、フロー監視領域内でフ
ローパターン抽出法によって得られた各オプティカルフ
ローに対し、その値の大きさや、その近傍に同様にして
抽出されたオプティカルフローがどれだけあるか（抽出
されたオプティカルフローを持つ近傍画素の面積）によ
り、これらのオプティカルフローがノイズであるかどう
かを判断し、ノイズと判断したオプティカルフローを除
去し後方接近車のフローと判断したものはその画素及び
その近傍画素のオプティカルフローの範囲を広げ強調す
るオプティカルフロー強調手段、７はこのオプティカル
フロー強調手段６により検出強調されたオプティカルフ
ローのうち、時系列的に連続して抽出されないオプティ
カルフローをノイズとして除去するノイズ除去手段、８
はノイズ除去手段７に接続され、ノイズ除去手段７によ
り得られたオプティカルフローから後方接近車を検出す
る後方接近車検出手段である。
【００１５】次に実施例１の基本となるオプティカルフ
ロー法の詳細について説明する。オプティカルフローと
は、時間的に異なる２枚の画像から画像の空間方向の濃
度勾配と時間方向の濃度勾配を用いて画像上で移動した
物体の移動ベクトルである。このオプティカルフローを
求める方法は多数提案されているが、実施例１では一般
的にグローバル法と呼ばれる方法「ビー．ケイ．ピー．
ホーンとビー．ジー．シャンクによる１９８１年発行の
人工知能第１７巻１乃至３号のオプティカルフローの決
定（B.K.P.Forn＆B.G.Schunck、“Determining optical
flow"、Artificial Intelligence.Vol.17.no.1-3(198
1)」（第205頁〜第210頁参照)を採用した。以下にその
方法を説明する。
ロー法の詳細について説明する。オプティカルフローと
は、時間的に異なる２枚の画像から画像の空間方向の濃
度勾配と時間方向の濃度勾配を用いて画像上で移動した
物体の移動ベクトルである。このオプティカルフローを
求める方法は多数提案されているが、実施例１では一般
的にグローバル法と呼ばれる方法「ビー．ケイ．ピー．
ホーンとビー．ジー．シャンクによる１９８１年発行の
人工知能第１７巻１乃至３号のオプティカルフローの決
定（B.K.P.Forn＆B.G.Schunck、“Determining optical
flow"、Artificial Intelligence.Vol.17.no.1-3(198
1)」（第205頁〜第210頁参照)を採用した。以下にその
方法を説明する。
【００１６】ある時刻ｔにおける画像中のある座標
（ｘ，ｙ）の濃度をＥ（ｘ，ｙ，ｔ）で表わしたとき、
物体の濃度は時間的に不変であると仮定すれば、下に示
す近似式（１）が成立する。
（ｘ，ｙ）の濃度をＥ（ｘ，ｙ，ｔ）で表わしたとき、
物体の濃度は時間的に不変であると仮定すれば、下に示
す近似式（１）が成立する。
【００１７】 Ｅｘ・＋Ｅｙ・ｖ＋Ｅｔ＝０ （１） ここで、Ｅｘ、Ｅｙは空間方向（ｘ方向、ｙ方向）の濃
度勾配、Ｅｔは時間方向（ｔ方向）の濃度勾配 ｕ、ｖはそれぞれｘ方向、ｙ方向の速度成分である。
度勾配、Ｅｔは時間方向（ｔ方向）の濃度勾配 ｕ、ｖはそれぞれｘ方向、ｙ方向の速度成分である。
【００１８】式（１）に局所的な速度は滑らかに変化す
るという仮定を加え、次の式（２）で与えられる誤差関
数を最小にするｕ、ｖが求めるオプティカルフローの速
度成分であるとするものである。
るという仮定を加え、次の式（２）で与えられる誤差関
数を最小にするｕ、ｖが求めるオプティカルフローの速
度成分であるとするものである。
【００１９】 ∫∫（ｅｂ2 ＋ｅｃ2 ）ｄｘｄｙ （２） ここで、 ｅｂ＝ Ｅｘ・ｕ＋Ｅｙ／ｖ＋Ｅｔ ｅｃ2 ＝（δｕ／δｘ）2＋（δｕ／δｙ）2＋（δｖ／
δｘ）2＋（δｖ／δｙ）2である。
δｘ）2＋（δｖ／δｙ）2である。
【００２０】図２、図３はこのオプティカルフロー法を
示す説明図である。図２は連続画像４０、４１及びこの
２枚の連続画像４０、４１における物体の位置関係とオ
プティカルフローの関係を表わして２次元画像４２を示
したものである。今、図２に示したように画像４０にお
ける物体４８が画像４１上で４９で示す位置に移動した
と考える。図３（ａ）（ｂ）は図２における連続画像４
０、４１のＢ−Ｂ線における画像の濃度を１次元信号で
表したものであり、２０、２５は画像１における濃度レ
ベルを示す信号、２１、２６は画像２における濃度レベ
ルを示す信号、実線矢印２２はオプティカルフロー、点
線矢印２３は空間的な濃度勾配、一点鎖線矢印２４は時
間的な濃度勾配を示す。このオプティカルフローの向き
は図３（ｂ）に示すように背景と物体の濃度差が逆にな
っている画像信号２５、画像信号２６の様な場合でも変
わらない。この性質は図２の２次元画像４２において４
３のようなオプティカルフローとして得られる。図２に
示すように、このような連続画像４０、４１から得られ
るオプティカルフローは背景との濃度差がある（物体の
エッジ部分）において、空間的な濃度勾配２３と時間的
な濃度勾配２４のベクトル和２２（図３）、４３（図
２）であるとして与えられる。
示す説明図である。図２は連続画像４０、４１及びこの
２枚の連続画像４０、４１における物体の位置関係とオ
プティカルフローの関係を表わして２次元画像４２を示
したものである。今、図２に示したように画像４０にお
ける物体４８が画像４１上で４９で示す位置に移動した
と考える。図３（ａ）（ｂ）は図２における連続画像４
０、４１のＢ−Ｂ線における画像の濃度を１次元信号で
表したものであり、２０、２５は画像１における濃度レ
ベルを示す信号、２１、２６は画像２における濃度レベ
ルを示す信号、実線矢印２２はオプティカルフロー、点
線矢印２３は空間的な濃度勾配、一点鎖線矢印２４は時
間的な濃度勾配を示す。このオプティカルフローの向き
は図３（ｂ）に示すように背景と物体の濃度差が逆にな
っている画像信号２５、画像信号２６の様な場合でも変
わらない。この性質は図２の２次元画像４２において４
３のようなオプティカルフローとして得られる。図２に
示すように、このような連続画像４０、４１から得られ
るオプティカルフローは背景との濃度差がある（物体の
エッジ部分）において、空間的な濃度勾配２３と時間的
な濃度勾配２４のベクトル和２２（図３）、４３（図
２）であるとして与えられる。
【００２１】図４は高速道路を走行中の自車両からイメ
ージセンサ等により撮像した後方画像を示したものであ
る。図４の画像３０、画像３１は接近してくる２台の後
方車５０、５１を捕えた連続画像である。この２枚の連
続画像３０、３１上の図５に示したような位置にオプテ
ィカルフローの演算領域５２を設定し、該演算領域内で
上記に説明した方法でオプティカルフローを算出する。
これがオプティカルフロー演算手段３である。
ージセンサ等により撮像した後方画像を示したものであ
る。図４の画像３０、画像３１は接近してくる２台の後
方車５０、５１を捕えた連続画像である。この２枚の連
続画像３０、３１上の図５に示したような位置にオプテ
ィカルフローの演算領域５２を設定し、該演算領域内で
上記に説明した方法でオプティカルフローを算出する。
これがオプティカルフロー演算手段３である。
【００２２】次にオプティカルフロー演算手段３により
得られたオプティカルフローの大きさに対しある閾値を
設定し、この閾値以上のものについてのみその方向を図
６（ａ）の１０〜１７に示すような８方向に量子化して
出力し、それ以下のオプティカルフローは全てその大き
さを０とした。実施例１では上記のオプティカルフロー
演算領域５２におけるオプティカルフローの閾値を０．
１とした。これにより、イメージセンサの特性やイメー
ジセンサを搭載している自車両の微細な揺れ等から生じ
る後方画像の微妙な揺れに対応したオプティカルフロー
等が背景とみなされ０になる。この様にして得られたオ
プティカルフローの方向を２次元画像で示したものは図
６（ｂ）である。図に示したように、上記のオプティカ
ルフローの方向検出手段４により接近車や白線、標識な
どコントラストの大きい背景のオプティカルフローが出
力される。
得られたオプティカルフローの大きさに対しある閾値を
設定し、この閾値以上のものについてのみその方向を図
６（ａ）の１０〜１７に示すような８方向に量子化して
出力し、それ以下のオプティカルフローは全てその大き
さを０とした。実施例１では上記のオプティカルフロー
演算領域５２におけるオプティカルフローの閾値を０．
１とした。これにより、イメージセンサの特性やイメー
ジセンサを搭載している自車両の微細な揺れ等から生じ
る後方画像の微妙な揺れに対応したオプティカルフロー
等が背景とみなされ０になる。この様にして得られたオ
プティカルフローの方向を２次元画像で示したものは図
６（ｂ）である。図に示したように、上記のオプティカ
ルフローの方向検出手段４により接近車や白線、標識な
どコントラストの大きい背景のオプティカルフローが出
力される。
【００２３】上記のオプティカルフローに対し、図５の
５３、５４の様に左右にフロー監視領域（Ｌ、Ｒ領域）
を設定し、この領域の中で後方接近車の動きの方向と想
定されるものと同様の方向を持つオプティカルフローを
抽出する。Ｒ領域５３では、後方接近車５１が動くと仮
定される１４、１５の方向のフローを持つオプティカル
フローを、Ｌ領域５４では後方接近車５２が動くと仮定
される１０、１７の方向のフローを持つオプティカルフ
ローを抽出する。このフローパターン抽出手段５により
抽出されたオプティカルフローを２次元画像で示したも
のが図７の画像３４である。図７に示したようにＬ領域
５４では後方接近車５０の周辺にオプティカルフロー６
１が、Ｒ領域５３では後方接近車５１の周辺にオプティ
カルフロー６２が抽出される。
５３、５４の様に左右にフロー監視領域（Ｌ、Ｒ領域）
を設定し、この領域の中で後方接近車の動きの方向と想
定されるものと同様の方向を持つオプティカルフローを
抽出する。Ｒ領域５３では、後方接近車５１が動くと仮
定される１４、１５の方向のフローを持つオプティカル
フローを、Ｌ領域５４では後方接近車５２が動くと仮定
される１０、１７の方向のフローを持つオプティカルフ
ローを抽出する。このフローパターン抽出手段５により
抽出されたオプティカルフローを２次元画像で示したも
のが図７の画像３４である。図７に示したようにＬ領域
５４では後方接近車５０の周辺にオプティカルフロー６
１が、Ｒ領域５３では後方接近車５１の周辺にオプティ
カルフロー６２が抽出される。
【００２４】このようなオプティカルフローのフローパ
ターン抽出手段５により後方接近車のオプティカルフロ
ーを抽出するが、後方車のオプティカルフロー以外に画
像３４に示すようなノイズ（背景）のオプティカルフロ
ー８５が抽出される。このオプティカルフロー８５は走
行中の自車両のハウンドによる画像の大きな揺れ等によ
り、コントラストの強い背景の一部で抽出される。こう
したノイズを除去し、後方接近車のオプティカルフロー
を強調するための手段がオプティカルフローの強調手段
６である。このオプティカルフローの強調手段６は各々
のフロー監視領域内５３、５４の抽出されたオプティカ
ルフローに対し、オプティカルフローの大きさや抽出さ
れたオプティカルフローを持つ近傍画素の面積により、
その画素のオプティカルフローがノイズであるかどうか
を判断し、ノイズと判断したものは除去する一方、後方
接近車と判断したものはこれを強調するものである。実
施例１では、上記のオプティカルフロー強調手段６とし
て以下で説明するような２値画像でよく使われる膨張・
収縮フィルタを採用した。
ターン抽出手段５により後方接近車のオプティカルフロ
ーを抽出するが、後方車のオプティカルフロー以外に画
像３４に示すようなノイズ（背景）のオプティカルフロ
ー８５が抽出される。このオプティカルフロー８５は走
行中の自車両のハウンドによる画像の大きな揺れ等によ
り、コントラストの強い背景の一部で抽出される。こう
したノイズを除去し、後方接近車のオプティカルフロー
を強調するための手段がオプティカルフローの強調手段
６である。このオプティカルフローの強調手段６は各々
のフロー監視領域内５３、５４の抽出されたオプティカ
ルフローに対し、オプティカルフローの大きさや抽出さ
れたオプティカルフローを持つ近傍画素の面積により、
その画素のオプティカルフローがノイズであるかどうか
を判断し、ノイズと判断したものは除去する一方、後方
接近車と判断したものはこれを強調するものである。実
施例１では、上記のオプティカルフロー強調手段６とし
て以下で説明するような２値画像でよく使われる膨張・
収縮フィルタを採用した。
【００２５】まず、膨張フィルタについて説明する。そ
れぞれのフロー監視領域内５３、５４内における各画素
及びその８方向近傍で上記のフローパターン抽出手段５
によって得られたオプティカルフローがｎ（ｎ＜５）個
以上あればその画素の値を１とし、それ以下の時は上記
の画素の値を０とする。次にこうして得られた２値画像
上におけるそれぞれのフロー監視領域内の各画素に対
し、この画素及びその８方向近傍における画素の値の値
が１である画素がｍ（ｍ＞５）個以上であれば、その画
素の値を１とし、それ以下であればその値を０とする。
これが収縮フィルタである。以上のようにして、フロー
パターン抽出手段５により抽出されたオプティカルフロ
ーのうち、その近傍に同様に抽出されたオプティカルフ
ローを持つ近傍画素がどれだけあるかにより、このオプ
ティカルフローがバウンド等による画像の揺れから生じ
たノイズがあるかどうかを判断し、ノイズと判断すれば
これを除去し、後方接近車であると判断すれば、その領
域を拡大し隣接する抽出領域同士を結合させる。実施例
１ではｎ＝３、ｍ＝７と設定して処理を行ったが、画像
の特性やオプティカルフローの出方によりこの値は自由
に設定してよく、又今回はフィルタの大きさを３×３画
素に設定したがこれも上記の条件により自由に設定して
よい。
れぞれのフロー監視領域内５３、５４内における各画素
及びその８方向近傍で上記のフローパターン抽出手段５
によって得られたオプティカルフローがｎ（ｎ＜５）個
以上あればその画素の値を１とし、それ以下の時は上記
の画素の値を０とする。次にこうして得られた２値画像
上におけるそれぞれのフロー監視領域内の各画素に対
し、この画素及びその８方向近傍における画素の値の値
が１である画素がｍ（ｍ＞５）個以上であれば、その画
素の値を１とし、それ以下であればその値を０とする。
これが収縮フィルタである。以上のようにして、フロー
パターン抽出手段５により抽出されたオプティカルフロ
ーのうち、その近傍に同様に抽出されたオプティカルフ
ローを持つ近傍画素がどれだけあるかにより、このオプ
ティカルフローがバウンド等による画像の揺れから生じ
たノイズがあるかどうかを判断し、ノイズと判断すれば
これを除去し、後方接近車であると判断すれば、その領
域を拡大し隣接する抽出領域同士を結合させる。実施例
１ではｎ＝３、ｍ＝７と設定して処理を行ったが、画像
の特性やオプティカルフローの出方によりこの値は自由
に設定してよく、又今回はフィルタの大きさを３×３画
素に設定したがこれも上記の条件により自由に設定して
よい。
【００２６】上記のオプティカルフロー強調手段６によ
って得られた画像を示したものが図７の画像３５であ
る。図７に示したように、オプティカルフロー強調手段
６によって出力されたオプティカルフロー画像３５は上
記の処理を行う以前のオプティカルフロー画像に３４に
比べ、後方接近車５０、５１のオプティカルフロー６
３、６４が強調され、ノイズがかなり減少するが、バウ
ンド等による画像の揺れが激しい時にはフロー強調手段
による処理後も画像３５に示すようなノイズのオプティ
カルフロー８５が残る場合がある。こうしたノイズのオ
プティカルフロー８５は自系列的に連続して検出されな
いため、オプティカルフロー強調手段６によって得られ
たオプティカルフローのうち、連続して検出されないオ
プティカルフローはノイズとして除去する。これがノイ
ズ除去手段７であり、図８はこのノイズ除去手段７の説
明図である。図において時間ｔ＝ｔ０の時に以上で説明
した諸手段により得られたオプティカルフロー６５と、
時間ｔ＝ｔ０＋△ｔにおいて諸手段によ得られたオプテ
ィカルフロー６６のうち連続して得られたオプティカル
フロー６７を後方接近車のオプティカルフローとして検
出する。
って得られた画像を示したものが図７の画像３５であ
る。図７に示したように、オプティカルフロー強調手段
６によって出力されたオプティカルフロー画像３５は上
記の処理を行う以前のオプティカルフロー画像に３４に
比べ、後方接近車５０、５１のオプティカルフロー６
３、６４が強調され、ノイズがかなり減少するが、バウ
ンド等による画像の揺れが激しい時にはフロー強調手段
による処理後も画像３５に示すようなノイズのオプティ
カルフロー８５が残る場合がある。こうしたノイズのオ
プティカルフロー８５は自系列的に連続して検出されな
いため、オプティカルフロー強調手段６によって得られ
たオプティカルフローのうち、連続して検出されないオ
プティカルフローはノイズとして除去する。これがノイ
ズ除去手段７であり、図８はこのノイズ除去手段７の説
明図である。図において時間ｔ＝ｔ０の時に以上で説明
した諸手段により得られたオプティカルフロー６５と、
時間ｔ＝ｔ０＋△ｔにおいて諸手段によ得られたオプテ
ィカルフロー６６のうち連続して得られたオプティカル
フロー６７を後方接近車のオプティカルフローとして検
出する。
【００２７】上記のようなノイズ除去手段７によりノイ
ズを除去したオプティカルフロー６７を２次元画像上に
表示したものが図９の画像３７である。このオプティカ
ルフロー画像３７上のそれぞれのフロー監視領域Ｒ領域
５３、Ｌ領域５４上に図に示すようなウインドウ領域８
６を設定し、これを動かしながら該領域内に含まれるオ
プティカルフロー６７の大きさ（画素数）がある閾値以
上である矩形範囲６８、６９を取りだし、この範囲を後
方接近車領域として検出する。実施例１ではオプティカ
ルフロー画像３７の大きさ５１２×４８０画素に対し後
方接近車検出用ウインドウの大きさをＲ領域５３、Ｌ領
域５４共に６４×６４（Ｈ×Ｖ）画素、閾値を２０００
画素とした。このウインドウの大きさは、画像の大きさ
や、検出したい後方接近車の大きさによって自由に設定
でき、又それぞれのフロー監視領域で異なる大きさの接
近車検出用ウインドウを設定してもよい。
ズを除去したオプティカルフロー６７を２次元画像上に
表示したものが図９の画像３７である。このオプティカ
ルフロー画像３７上のそれぞれのフロー監視領域Ｒ領域
５３、Ｌ領域５４上に図に示すようなウインドウ領域８
６を設定し、これを動かしながら該領域内に含まれるオ
プティカルフロー６７の大きさ（画素数）がある閾値以
上である矩形範囲６８、６９を取りだし、この範囲を後
方接近車領域として検出する。実施例１ではオプティカ
ルフロー画像３７の大きさ５１２×４８０画素に対し後
方接近車検出用ウインドウの大きさをＲ領域５３、Ｌ領
域５４共に６４×６４（Ｈ×Ｖ）画素、閾値を２０００
画素とした。このウインドウの大きさは、画像の大きさ
や、検出したい後方接近車の大きさによって自由に設定
でき、又それぞれのフロー監視領域で異なる大きさの接
近車検出用ウインドウを設定してもよい。
【００２８】図１０は上述した全体動作の流れを示すフ
ローチャートである。以下にこの流れを簡単に説明する
と、まずステップＳ１において初期設定を行った後、ス
テップＳ２において画像を取り込む、次に、ステップＳ
３においてオプティカルフローを演算し、ステップＳ４
において求められたオプティカルフローの方向検出を行
う。そして、ステップＳ５でフローパターンの抽出を行
った後、ステップＳ６でオプティカルフローの強調を行
い、ステップＳ７でノイズを除去した後、ステップＳ８
で後方接近車を検出する。
ローチャートである。以下にこの流れを簡単に説明する
と、まずステップＳ１において初期設定を行った後、ス
テップＳ２において画像を取り込む、次に、ステップＳ
３においてオプティカルフローを演算し、ステップＳ４
において求められたオプティカルフローの方向検出を行
う。そして、ステップＳ５でフローパターンの抽出を行
った後、ステップＳ６でオプティカルフローの強調を行
い、ステップＳ７でノイズを除去した後、ステップＳ８
で後方接近車を検出する。
【００２９】以上のように、実施例１では１つ以上の領
域を設定しその中で後方接近車の動きと同様のある特定
の方向のオプティカルフローのみを抽出し、後方接近車
を検出するように構成したので、対象物体（接近車）と
背景の濃度差が少ない場合、或いは背景と物体の濃度差
が逆になっている場合においても、比較的正確にその移
動体の移動方向を検出できる。また、走行車両という移
動体から撮像した画像のように移動体のみならず背景も
移動するような画像であっても画像からある特定の方向
へ移動する物体（接近車）を分離して抽出できる。又、
激しいバウンド等による画像の揺れから生じるオプティ
カルフローのノイズを除去し、安定して移動体（接近
車）の検出を行える。さらに従来の後方監視装置が単に
後方画像をドライバーが見やすいように表示するだけで
あったのに比べ、後方接近車の存在の有無やその位置を
検出することができる。
域を設定しその中で後方接近車の動きと同様のある特定
の方向のオプティカルフローのみを抽出し、後方接近車
を検出するように構成したので、対象物体（接近車）と
背景の濃度差が少ない場合、或いは背景と物体の濃度差
が逆になっている場合においても、比較的正確にその移
動体の移動方向を検出できる。また、走行車両という移
動体から撮像した画像のように移動体のみならず背景も
移動するような画像であっても画像からある特定の方向
へ移動する物体（接近車）を分離して抽出できる。又、
激しいバウンド等による画像の揺れから生じるオプティ
カルフローのノイズを除去し、安定して移動体（接近
車）の検出を行える。さらに従来の後方監視装置が単に
後方画像をドライバーが見やすいように表示するだけで
あったのに比べ、後方接近車の存在の有無やその位置を
検出することができる。
【００３０】尚、実施例１ではこの発明に係る接近車監
視装置を後方接近車を監視する後方接近車監視装置とし
て説明したが、この発明は後方接近車の監視に限定され
ることはなく、例えば前方接近車を監視する装置に適用
しても良いことは明らかである。
視装置を後方接近車を監視する後方接近車監視装置とし
て説明したが、この発明は後方接近車の監視に限定され
ることはなく、例えば前方接近車を監視する装置に適用
しても良いことは明らかである。
【００３１】
【発明の効果】以上に詳述したように、車両に設けら
れ、この車両より後方を撮像する撮像手段と、この撮像
手段により撮像された画面内に水平方向に対して複数の
領域を設定し、その領域内で時系列的に異なる２枚の画
像から画像上での速度分布を表す大きさと方向を有する
オプティカルフローを求めるオプティカルフロー演算手
段と、 このオプティカルフロー演算手段により上記各
領域内で得られたオプティカルフローのうち、それぞれ
の領域で設定した一定値以上の大きさを持つオプティカ
ルフローの方向を出力するオプティカルフローの方向検
出手段と、上記それぞれの領域内の所定の位置に更に１
つ以上のフロー監視領域を設定し、この監視領域内で上
記オプティカルフローの方向検出手段により得られた各
々のオプティカルフローの方向を監視し、上記それぞれ
の領域内において接近車が存在する場合に仮定される接
近車の画像上での動きの方向と同様の方向を持つオプテ
ィカルフローを抽出するフローパターン抽出手段と、こ
のフローパターン抽出手段により上記フロー監視領域内
で抽出されたオプティカルフローから接近車を検出する
接近車検出手段とを備えたため、撮像方向が後方で、且
つ、接近車の検出に特定した構成を採用したことによ
り、従来問題となっていた背景と移動体との誤識別が防
止できるため、自車両が移動しているとき後方で撮像さ
れる背景は全て自車両から離間する方向に移動するた
め、後方接近車と確実に識別ができるという効果があ
る。また、撮像方向が後方で、且つ、水平方向に対して
複数の領域を確定した構成とすることにより、各々の領
域で検出対象となるオプティカルフローの方向をより細
かく特定でき、誤識別が減少するという効果がある。
れ、この車両より後方を撮像する撮像手段と、この撮像
手段により撮像された画面内に水平方向に対して複数の
領域を設定し、その領域内で時系列的に異なる２枚の画
像から画像上での速度分布を表す大きさと方向を有する
オプティカルフローを求めるオプティカルフロー演算手
段と、 このオプティカルフロー演算手段により上記各
領域内で得られたオプティカルフローのうち、それぞれ
の領域で設定した一定値以上の大きさを持つオプティカ
ルフローの方向を出力するオプティカルフローの方向検
出手段と、上記それぞれの領域内の所定の位置に更に１
つ以上のフロー監視領域を設定し、この監視領域内で上
記オプティカルフローの方向検出手段により得られた各
々のオプティカルフローの方向を監視し、上記それぞれ
の領域内において接近車が存在する場合に仮定される接
近車の画像上での動きの方向と同様の方向を持つオプテ
ィカルフローを抽出するフローパターン抽出手段と、こ
のフローパターン抽出手段により上記フロー監視領域内
で抽出されたオプティカルフローから接近車を検出する
接近車検出手段とを備えたため、撮像方向が後方で、且
つ、接近車の検出に特定した構成を採用したことによ
り、従来問題となっていた背景と移動体との誤識別が防
止できるため、自車両が移動しているとき後方で撮像さ
れる背景は全て自車両から離間する方向に移動するた
め、後方接近車と確実に識別ができるという効果があ
る。また、撮像方向が後方で、且つ、水平方向に対して
複数の領域を確定した構成とすることにより、各々の領
域で検出対象となるオプティカルフローの方向をより細
かく特定でき、誤識別が減少するという効果がある。
【００３２】また、この発明の請求項２に係る接近車監
視装置によれば、車両に設けられ、この車両より所定の
方向を撮像する撮像手段と、この撮像手段により撮像さ
れた画面内の所定の位置に１つ以上の領域を設定し、そ
の領域内で時系列的に異なる２枚の画像から画像上での
速度分布を表す大きさと方向を有するオプティカルフロ
ーを求めるオプティカルフロー演算手段と、このオプテ
ィカルフロー演算手段により上記各領域内で得られたオ
プティカルフローのうち、それぞれの領域で設定した一
定値以上の大きさを持つオプティカルフローの方向を出
力するオプティカルフローの方向検出手段と、上記それ
ぞれの領域内の所定の位置に更に１つ以上のフロー監視
領域を設定し、この監視領域内で上記オプティカルフロ
ーの方向検出手段により得られた各々のオプティカルフ
ローの方向を監視し、接近車が存在する場合に仮定され
る接近車の画像上での動きの方向と同様の方向を持つ複
数のオプティカルフローを抽出するフローパターン抽出
手段と、このフローパターン抽出手段により上記フロー
監視領域内で抽出されたオプティカルフローから接近車
を検出する接近車検出手段と、上記フローパターン抽出
手段によって抽出された各オプティカルフローに対し、
その値の大きさ、その近傍に抽出されたオプティカルフ
ローを持つ画素がどれだけあるかを判断することによ
り、これらのオプティカルフローがノイズであるかどう
かを判断し、ノイズと判断したオプティカルフローはこ
れを除去する一方、接近車のオプティカルフローと判断
したものはその画素及びその近傍におけるオプティカル
フローの範囲を広げ強調するオプティカルフロー強調手
段と、このオプティカルフロー強調手段により強調され
たオプティカルフローのうち、時系列的に連続して抽出
されないオプティカルフローをノイズとして除去するノ
イズ除去手段とを備えたため、上記効果に加え、実際に
車道を走行中に大きなバウンド等により画像が激しく揺
れてノイズが発生したような場合でも安定してこの接近
車の監視を行うことができる。
視装置によれば、車両に設けられ、この車両より所定の
方向を撮像する撮像手段と、この撮像手段により撮像さ
れた画面内の所定の位置に１つ以上の領域を設定し、そ
の領域内で時系列的に異なる２枚の画像から画像上での
速度分布を表す大きさと方向を有するオプティカルフロ
ーを求めるオプティカルフロー演算手段と、このオプテ
ィカルフロー演算手段により上記各領域内で得られたオ
プティカルフローのうち、それぞれの領域で設定した一
定値以上の大きさを持つオプティカルフローの方向を出
力するオプティカルフローの方向検出手段と、上記それ
ぞれの領域内の所定の位置に更に１つ以上のフロー監視
領域を設定し、この監視領域内で上記オプティカルフロ
ーの方向検出手段により得られた各々のオプティカルフ
ローの方向を監視し、接近車が存在する場合に仮定され
る接近車の画像上での動きの方向と同様の方向を持つ複
数のオプティカルフローを抽出するフローパターン抽出
手段と、このフローパターン抽出手段により上記フロー
監視領域内で抽出されたオプティカルフローから接近車
を検出する接近車検出手段と、上記フローパターン抽出
手段によって抽出された各オプティカルフローに対し、
その値の大きさ、その近傍に抽出されたオプティカルフ
ローを持つ画素がどれだけあるかを判断することによ
り、これらのオプティカルフローがノイズであるかどう
かを判断し、ノイズと判断したオプティカルフローはこ
れを除去する一方、接近車のオプティカルフローと判断
したものはその画素及びその近傍におけるオプティカル
フローの範囲を広げ強調するオプティカルフロー強調手
段と、このオプティカルフロー強調手段により強調され
たオプティカルフローのうち、時系列的に連続して抽出
されないオプティカルフローをノイズとして除去するノ
イズ除去手段とを備えたため、上記効果に加え、実際に
車道を走行中に大きなバウンド等により画像が激しく揺
れてノイズが発生したような場合でも安定してこの接近
車の監視を行うことができる。
【図１】この発明の実施例１を示すブロック図である。
【図２】物体が移動する際に得られるオプティカルフロ
ーのパターンを示す説明図である。
ーのパターンを示す説明図である。
【図３】一次元信号で模式的に表したオプティカルフロ
ーの性質を説明するための説明図である。
ーの性質を説明するための説明図である。
【図４】この発明の実施例１におけるオプティカルフロ
ー演算手段の説明図である。
ー演算手段の説明図である。
【図５】実施例１におけるオプティカルフロー演算領域
とオプティカルフロー監視領域を示す説明図である。
とオプティカルフロー監視領域を示す説明図である。
【図６】実施例１におけるオプティカルフローの方向検
出手段と該手段によるオプティカルフローの出力状況を
示す説明図である。
出手段と該手段によるオプティカルフローの出力状況を
示す説明図である。
【図７】実施例１におけるフローパターン抽出手段とオ
プティカルフロー強調手段を示す説明図である。
プティカルフロー強調手段を示す説明図である。
【図８】実施例１におけるノイズ除去手段を説明するた
めの説明図である。
めの説明図である。
【図９】実施例１における後方接近車検出手段を説明す
るための図である。
るための図である。
【図１０】実施例１の全体動作を説明するフローチャー
トである。
トである。
【図１１】従来の差分法による移動体抽出法の概念を説
明する説明図である。
明する説明図である。
【図１２】図１１のＡ−Ａ線における濃度信号である１
次元信号から差分法によって移動体を抽出する方法を示
す説明図である。
次元信号から差分法によって移動体を抽出する方法を示
す説明図である。
【図１３】従来の接近車監視装置を説明する説明図であ
る。
る。
１、２ 画像信号出力手段 ３ オプティカルフロー演算手段 ４ オプティカルフローの方向検出手段 ５ フローパターン抽出手段 ６ オプティカルフロー強調手段 ７ ノイズ除去手段 ８ 後方接近車検出手段 ２２ オプティカルフロー ２３ 空間的な濃度勾配 ２４ 時間的な濃度勾配 ５２ オプティカルフロー演算領域 ５３、５４ オプティカルフロー方向監視領域 ６７ 後方接近車のオプティカルフロー ６８、６９ 検出された後方接近車領域 ８６ 後方接近車用ウインドウ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) B60R 21/00 G08B 21/00 G08G 1/16 H04N 7/18
Claims (2)
- 【請求項１】 車両に設けられ、この車両より後方を撮
像する撮像手段と、 この撮像手段により撮像された画面内に水平方向に対し
て複数の領域を設定し、その領域内で時系列的に異なる
２枚の画像から画像上での速度分布を表す大きさと方向
を有するオプティカルフローを求めるオプティカルフロ
ー演算手段と、 このオプティカルフロー演算手段により上記各領域内で
得られたオプティカルフローのうち、それぞれの領域で
設定した一定値以上の大きさを持つオプティカルフロー
の方向を出力するオプティカルフローの方向検出手段
と、 上記それぞれの領域内の所定の位置に更に１つ以上のフ
ロー監視領域を設定し、この監視領域内で上記オプティ
カルフローの方向検出手段により得られた各々のオプテ
ィカルフローの方向を監視し、上記それぞれの領域内に
おいて接近車が存在する場合に仮定される接近車の画像
上での動きの方向と同様の方向を持つオプティカルフロ
ーを抽出するフローパターン抽出手段と、 このフローパターン抽出手段により上記フロー監視領域
内で抽出されたオプティカルフローから接近車を検出す
る接近車検出手段と、 を備えた接近車監視装置。 - 【請求項２】 車両に設けられ、この車両より所定方向
を撮像する撮像手段と、 この撮像手段により撮像された画面内の所定の位置に１
つ以上の領域を設定し、その領域内で時系列的に異なる
２枚の画像から画像上での速度分布を表す大きさと方向
を有するオプティカルフローを求めるオプティカルフロ
ー演算手段と、 このオプティカルフロー演算手段により上記各領域内で
得られたオプティカルフローのうち、それぞれの領域で
設定した一定値以上の大きさを持つオプティカルフロー
の方向を出力するオプティカルフローの方向検出手段
と、 上記それぞれの領域内の所定の位置に更に１つ以上のフ
ロー監視領域を設定し、この監視領域内で上記オプティ
カルフローの方向検出手段により得られた各々のオプテ
ィカルフローの方向を監視し、接近車が存在する場合に
仮定される接近車の画像上での動きの方向と同様の方向
を持つ複数のオプティカルフローを抽出するフローパタ
ーン抽出手段と、 このフローパターン抽出手段により上記フロー監視領域
内で抽出されたオプティカルフローから接近車を検出す
る接近車検出手段と、 上記フローパターン抽出手段によって抽出された各オプ
ティカルフローに対し、その値の大きさ、その近傍に抽
出されたオプティカルフローを持つ画素がどれだけある
かを判断することにより、これらのオプティカルフロー
がノイズであるかどうか判断し、ノイズと判断したオプ
ティカルフローはこれを除去する一方、接近車のオプテ
ィカルフローと判断したものはその画素及びその近傍に
おけるオプティカルフローの範囲を広げ強調するオプテ
ィカルフロー強調手段と、 このオプティカルフロー強調手段により強調されたオプ
ティカルフローのうち、時系列的に連続して抽出されな
いオプティカルフローをノイズとして除去するノイズ除
去手段と、 を備えた接近車監視装置
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5038163A JP3011566B2 (ja) | 1993-02-26 | 1993-02-26 | 接近車監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5038163A JP3011566B2 (ja) | 1993-02-26 | 1993-02-26 | 接近車監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06247246A JPH06247246A (ja) | 1994-09-06 |
| JP3011566B2 true JP3011566B2 (ja) | 2000-02-21 |
Family
ID=12517739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5038163A Expired - Lifetime JP3011566B2 (ja) | 1993-02-26 | 1993-02-26 | 接近車監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3011566B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6581007B2 (en) | 2001-05-11 | 2003-06-17 | Honda Giken Kogyo Kabushiki Kaisha | System, method, and program for detecting approach to object |
| US7512251B2 (en) | 2004-06-15 | 2009-03-31 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| JP3585071B2 (ja) * | 1996-06-25 | 2004-11-04 | 矢崎総業株式会社 | 車両周辺監視装置 |
| EP1504276B1 (en) | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Object detection system for vehicle |
| US7266220B2 (en) | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
| JP3938532B2 (ja) | 2002-09-05 | 2007-06-27 | 本田技研工業株式会社 | 車両制御装置、プログラム及び方法 |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
| JP5724570B2 (ja) * | 2011-04-18 | 2015-05-27 | 日産自動車株式会社 | 走行支援装置及び走行支援方法 |
| JP2016192177A (ja) * | 2015-03-31 | 2016-11-10 | 株式会社デンソーアイティーラボラトリ | 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム |
| KR102172849B1 (ko) * | 2018-12-24 | 2020-11-02 | 안동대학교 산학협력단 | 동영상에서 근접해오는 차량 검출 시스템 및 그 방법 |
-
1993
- 1993-02-26 JP JP5038163A patent/JP3011566B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6581007B2 (en) | 2001-05-11 | 2003-06-17 | Honda Giken Kogyo Kabushiki Kaisha | System, method, and program for detecting approach to object |
| US7512251B2 (en) | 2004-06-15 | 2009-03-31 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
| US7693303B2 (en) | 2004-06-15 | 2010-04-06 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
| US7916899B2 (en) | 2004-06-15 | 2011-03-29 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06247246A (ja) | 1994-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3011566B2 (ja) | 接近車監視装置 | |
| JP3239521B2 (ja) | 移動体認識装置 | |
| JP3764086B2 (ja) | 車両用情報提供装置 | |
| JP3807331B2 (ja) | カメラの汚れ検出装置およびカメラの汚れ検出方法 | |
| WO2010058821A1 (ja) | 接近物体検知システム | |
| JPH11353565A (ja) | 車両用衝突警報方法及び装置 | |
| KR101093316B1 (ko) | 차량주행중 영상정합 방법 및 그 시스템 | |
| US9165197B2 (en) | Vehicle surroundings monitoring apparatus | |
| Aytekin et al. | Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information | |
| JP2003067752A (ja) | 車両周辺監視装置 | |
| EP1391845A2 (en) | Image based object detection apparatus and method | |
| JP2994170B2 (ja) | 車両周辺監視装置 | |
| US20180114078A1 (en) | Vehicle detection device, vehicle detection system, and vehicle detection method | |
| JP2011071932A (ja) | 車両周辺監視装置 | |
| JP4826355B2 (ja) | 車両周囲表示装置 | |
| Wu et al. | Overtaking Vehicle Detection Techniques based on Optical Flow and Convolutional Neural Network. | |
| JPH06180749A (ja) | 路上物体監視装置 | |
| Kanhere et al. | Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways | |
| JP3984863B2 (ja) | 発進報知装置 | |
| JP2002104113A (ja) | 後方監視装置 | |
| JP3364771B2 (ja) | 移動物体検出装置 | |
| JP3729005B2 (ja) | 車両の後方監視装置 | |
| JP3738949B2 (ja) | 車両周辺領域監視装置 | |
| JP3226699B2 (ja) | 車両用周辺監視装置 | |
| JP3942289B2 (ja) | 車両監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 14 |
|
| EXPY | Cancellation because of completion of term |