JP3398937B2 - 車両用監視方法及び装置 - Google Patents
車両用監視方法及び装置Info
- Publication number
- JP3398937B2 JP3398937B2 JP26816699A JP26816699A JP3398937B2 JP 3398937 B2 JP3398937 B2 JP 3398937B2 JP 26816699 A JP26816699 A JP 26816699A JP 26816699 A JP26816699 A JP 26816699A JP 3398937 B2 JP3398937 B2 JP 3398937B2
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- vehicle
- video camera
- image
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、自動車などの車両
に設置したビデオカメラによって撮像した画像を用い
て、車両の走行の際に他の車両又は障害物を検知して例
えば運転者に警告を与えるための車両用監視方法及び装
置に関するものである。
に設置したビデオカメラによって撮像した画像を用い
て、車両の走行の際に他の車両又は障害物を検知して例
えば運転者に警告を与えるための車両用監視方法及び装
置に関するものである。
【０００２】
【従来の技術】従来、この種の方法及び装置として、例
えば特願平２−２４１８５５号公報に開示されたものが
ある。同公報に開示された方法は、走行している自車両
から前景を撮影し、この撮影した前景の同一点の移動を
所定時間毎にオプティカルフローとして認識し、このオ
プティカルフローと前方車両との車間距離を測定する距
離センサをもとに自車両に対する先行車両の位置、相対
速度からなる情報を得、この情報をもとに危険と判断し
た場合に運転者にその旨を知らせるものである。
えば特願平２−２４１８５５号公報に開示されたものが
ある。同公報に開示された方法は、走行している自車両
から前景を撮影し、この撮影した前景の同一点の移動を
所定時間毎にオプティカルフローとして認識し、このオ
プティカルフローと前方車両との車間距離を測定する距
離センサをもとに自車両に対する先行車両の位置、相対
速度からなる情報を得、この情報をもとに危険と判断し
た場合に運転者にその旨を知らせるものである。
【０００３】また、オプティカルフローを求めるため
に、従来、２コマの画像間で対応する点を検出するマッ
チング法と呼ばれる手法が採用されていた。このマッチ
ング法は、図９（ａ）に示す時点ｔにおける画像上にお
いて着目する画素Ｐに対し窓Ｗ１をとり、画像内全域又
は周辺の領域に対し窓を移動しながら相関値を計算し、
図９（ｂ）に示すように、相関値が最大となった窓Ｗ２
の点を対応点、すなわち対応する画素Ｑとして求め、こ
のＰＱ（矢印）がオプティカルフローとなる。上記相関
値を求めるためには、 Σ（Ｗ１(x,y) ×Ｗ２(x,y) ）／（ΣＷ１2 (x,y) ×ΣＷ２2 (x,y) ）1/2 ……（１） なる計算を行う。なお、Ｗ１(x,y) ，Ｗ２(x,y) は窓Ｗ
１，Ｗ２内の（ｘ，ｙ）座標の出力である。
に、従来、２コマの画像間で対応する点を検出するマッ
チング法と呼ばれる手法が採用されていた。このマッチ
ング法は、図９（ａ）に示す時点ｔにおける画像上にお
いて着目する画素Ｐに対し窓Ｗ１をとり、画像内全域又
は周辺の領域に対し窓を移動しながら相関値を計算し、
図９（ｂ）に示すように、相関値が最大となった窓Ｗ２
の点を対応点、すなわち対応する画素Ｑとして求め、こ
のＰＱ（矢印）がオプティカルフローとなる。上記相関
値を求めるためには、 Σ（Ｗ１(x,y) ×Ｗ２(x,y) ）／（ΣＷ１2 (x,y) ×ΣＷ２2 (x,y) ）1/2 ……（１） なる計算を行う。なお、Ｗ１(x,y) ，Ｗ２(x,y) は窓Ｗ
１，Ｗ２内の（ｘ，ｙ）座標の出力である。
【０００４】
【発明が解決しようとする課題】しかし、このような従
来の方法及び装置では、危険を判断するために、前景を
撮影するビデオカメラに加え、自車両に対する先行する
他の車両の位置を知るために前方車両との車間距離を測
定するための距離センサをも同時に必要としている。
来の方法及び装置では、危険を判断するために、前景を
撮影するビデオカメラに加え、自車両に対する先行する
他の車両の位置を知るために前方車両との車間距離を測
定するための距離センサをも同時に必要としている。
【０００５】また、オプティカルフローを求めるため
に、２枚の画像間で対応する点を検出するという演算処
理を行う必要があるが、上述したようにこの演算処理
は、ある一点の対応点を検出するために、画像内の一画
素に対し、画像内の全領域あるいは周辺の領域の全ての
画素に対して検索を行うといったものである。画像全体
にわたって対応点を検出するためには、この処理を全画
素に対して行わなければならない。また、検索を行うた
めに指標として使用する相関値を求めるためにも多くの
計算を必要とする。
に、２枚の画像間で対応する点を検出するという演算処
理を行う必要があるが、上述したようにこの演算処理
は、ある一点の対応点を検出するために、画像内の一画
素に対し、画像内の全領域あるいは周辺の領域の全ての
画素に対して検索を行うといったものである。画像全体
にわたって対応点を検出するためには、この処理を全画
素に対して行わなければならない。また、検索を行うた
めに指標として使用する相関値を求めるためにも多くの
計算を必要とする。
【０００６】従って、計算量が膨大になるため実時間化
が困難であったり、実現するためには、高速度の演算処
理装置を必要とするため装置自体が高価格化してしまう
というような問題があげられる。また、オプティカルフ
ローが、先行する他の車両の部分から生じているもの
か、道路外の風景または路面上の文字や記号あるいは白
線などから生じているものかといったことを区別するこ
とが困難であるという問題点もあげられる。
が困難であったり、実現するためには、高速度の演算処
理装置を必要とするため装置自体が高価格化してしまう
というような問題があげられる。また、オプティカルフ
ローが、先行する他の車両の部分から生じているもの
か、道路外の風景または路面上の文字や記号あるいは白
線などから生じているものかといったことを区別するこ
とが困難であるという問題点もあげられる。
【０００７】よって本発明は、上述した従来の問題点に
鑑み、ビデオカメラで撮像して得た画像において、所定
時間毎に同一点の移動をオプティカルフローとして高速
に認識することができるようにした車両用監視方法及び
装置を提供することを目的としている。
鑑み、ビデオカメラで撮像して得た画像において、所定
時間毎に同一点の移動をオプティカルフローとして高速
に認識することができるようにした車両用監視方法及び
装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】上記目的を達成するため
本発明によりなされた車両用監視方法は、走行している
自車両から撮像して得た所定時間相前後する２コマの画
像中の同一点の移動をオプティカルフローとして検出
し、自車両に対する他の車両又は路上障害物の相対関係
を監視する車両用監視方法において、走行している自車
両に搭載したビデオカメラで撮像した画像から得たオプ
ティカルフロー情報をもとに、オプティカルフローが生
じている路面上の車線や文字、記号などからビデオカメ
ラまでの高さを求め、該高さが路面からのビデオカメラ
の高さと一致しているオプティカルフローを前記相対関
係を監視するオプティカルフローから除去することを特
徴としている。
本発明によりなされた車両用監視方法は、走行している
自車両から撮像して得た所定時間相前後する２コマの画
像中の同一点の移動をオプティカルフローとして検出
し、自車両に対する他の車両又は路上障害物の相対関係
を監視する車両用監視方法において、走行している自車
両に搭載したビデオカメラで撮像した画像から得たオプ
ティカルフロー情報をもとに、オプティカルフローが生
じている路面上の車線や文字、記号などからビデオカメ
ラまでの高さを求め、該高さが路面からのビデオカメラ
の高さと一致しているオプティカルフローを前記相対関
係を監視するオプティカルフローから除去することを特
徴としている。
【０００９】
【００１０】
【００１１】上記方法によれば、走行している自車両に
搭載したビデオカメラで撮像した画像から得たオプティ
カルフロー情報を用いて、オプティカルフローが生じて
いる路面上の車線や文字、記号などからビデオカメラま
での高さを求め、該高さが路面からのカメラの高さと一
致しているオプティカルフローを前記相対関係を監視す
るオプティカルフローから除去することにより、何ら格
別な手段を要することなく、路面上に描かれた車線や文
字、記号などから生じるオプティカルフローを相対関係
を監視するオプティカルフローから除去できる。
搭載したビデオカメラで撮像した画像から得たオプティ
カルフロー情報を用いて、オプティカルフローが生じて
いる路面上の車線や文字、記号などからビデオカメラま
での高さを求め、該高さが路面からのカメラの高さと一
致しているオプティカルフローを前記相対関係を監視す
るオプティカルフローから除去することにより、何ら格
別な手段を要することなく、路面上に描かれた車線や文
字、記号などから生じるオプティカルフローを相対関係
を監視するオプティカルフローから除去できる。
【００１２】上記目的を達成するため本発明によりなさ
れた車両用監視装置は、走行している自車両から撮像し
て得た所定時間相前後する２コマの画像中の同一点の移
動をオプティカルフローとして検出する検出手段を有
し、該検出手段によって検出したオプティカルフローを
用いて自車両に対する他の車両又は路上障害物の相対関
係を監視する車両用監視装置において、前記検出手段に
より求めた相対関係を監視するオプティカルフローか
ら、走行している自車両に搭載したビデオカメラで撮像
した画像から得たオプティカルフロー情報をもとに、オ
プティカルフローが生じている路面上の車線や文字、記
号などからビデオカメラまでの高さを求め、該高さが路
面からのビデオカメラの高さと一致しているオプティカ
ルフローを除去する除去手段を備えることを特徴として
いる。
れた車両用監視装置は、走行している自車両から撮像し
て得た所定時間相前後する２コマの画像中の同一点の移
動をオプティカルフローとして検出する検出手段を有
し、該検出手段によって検出したオプティカルフローを
用いて自車両に対する他の車両又は路上障害物の相対関
係を監視する車両用監視装置において、前記検出手段に
より求めた相対関係を監視するオプティカルフローか
ら、走行している自車両に搭載したビデオカメラで撮像
した画像から得たオプティカルフロー情報をもとに、オ
プティカルフローが生じている路面上の車線や文字、記
号などからビデオカメラまでの高さを求め、該高さが路
面からのビデオカメラの高さと一致しているオプティカ
ルフローを除去する除去手段を備えることを特徴として
いる。
【００１３】上記装置によれば、走行している自車両に
搭載したビデオカメラで撮像した画像から得たオプティ
カルフロー情報をもとに、オプティカルフローが生じて
いる路面上の車線や文字、記号などからビデオカメラま
での高さを求め、該高さが路面からのビデオカメラの高
さと一致しているオプティカルフローを、検出手段によ
って求めた相対関係を監視するオプティカルフローから
除去手段が除去しているので、他の車両、障害物のみか
ら生じているオプティカルフローだけを処理すること
で、オプティカルフローを用いて危険度を知ることが可
能になる。
搭載したビデオカメラで撮像した画像から得たオプティ
カルフロー情報をもとに、オプティカルフローが生じて
いる路面上の車線や文字、記号などからビデオカメラま
での高さを求め、該高さが路面からのビデオカメラの高
さと一致しているオプティカルフローを、検出手段によ
って求めた相対関係を監視するオプティカルフローから
除去手段が除去しているので、他の車両、障害物のみか
ら生じているオプティカルフローだけを処理すること
で、オプティカルフローを用いて危険度を知ることが可
能になる。
【００１４】
【発明の実施の形態】以下、本発明の実施例を図面に基
づいて説明する。図１は本発明による方法を実施するた
めの装置の構成を示し、同図において、１は前景を撮像
するビデオカメラ、２はビデオカメラ１によって得られ
た画像を入力し、後述する画像処理を行う演算処理装
置、３は自車両の速度を計測する速度計、４は演算処理
装置２の画像処理結果と速度計３から得られる自車両速
度とを入力して危険度判定処理を行う演算処理装置、５
は警報装置である。
づいて説明する。図１は本発明による方法を実施するた
めの装置の構成を示し、同図において、１は前景を撮像
するビデオカメラ、２はビデオカメラ１によって得られ
た画像を入力し、後述する画像処理を行う演算処理装
置、３は自車両の速度を計測する速度計、４は演算処理
装置２の画像処理結果と速度計３から得られる自車両速
度とを入力して危険度判定処理を行う演算処理装置、５
は警報装置である。
【００１５】図２は、ビデオカメラ１によって得られる
前景画像の変化を説明するための図であり、（ｂ）は
（ａ）に示す自車両を含む状況においてビデオカメラ１
が時間ｔで撮像した画像、（ｃ）は時間ｔ＋Δｔで撮像
した画像をそれぞれ示す。
前景画像の変化を説明するための図であり、（ｂ）は
（ａ）に示す自車両を含む状況においてビデオカメラ１
が時間ｔで撮像した画像、（ｃ）は時間ｔ＋Δｔで撮像
した画像をそれぞれ示す。
【００１６】今、自車両は平坦な道を直進しているとす
る。例えば（ａ）に示される道路標識及び建物に注目す
ると、時間の経過により時間ｔ、時間ｔ＋Δｔにおい
て、（ｂ）、（ｃ）に示されるような画像が得られる。
この２枚の画像において対応する点を捜しそれらを結ぶ
と（ｄ）に示されるような速度ベクトルが得られる。こ
れがオプティカルフローである。
る。例えば（ａ）に示される道路標識及び建物に注目す
ると、時間の経過により時間ｔ、時間ｔ＋Δｔにおい
て、（ｂ）、（ｃ）に示されるような画像が得られる。
この２枚の画像において対応する点を捜しそれらを結ぶ
と（ｄ）に示されるような速度ベクトルが得られる。こ
れがオプティカルフローである。
【００１７】ここでこれらオプティカルフローは、画像
内のＦＯＥ（Focus of Expansion）と呼ばれる１点から
放射状に現れる。ＦＯＥとは、無限遠点又は消失点と呼
ばれ、車両が直進している場合画像上において自車両の
進行方向である撮像方向を示す１点に対応する。このよ
うに、自車両が走行している場合に求められるオプティ
カルフローは、ＦＯＥから放射状の方向である。ここで
先行する他の車両から発せられたオプティカルフロー
は、自車両に対する先行する他の車両の位置、相対速度
からなる情報を含んでおり、オプティカルフローが長い
程危険度が高いと考えられる。
内のＦＯＥ（Focus of Expansion）と呼ばれる１点から
放射状に現れる。ＦＯＥとは、無限遠点又は消失点と呼
ばれ、車両が直進している場合画像上において自車両の
進行方向である撮像方向を示す１点に対応する。このよ
うに、自車両が走行している場合に求められるオプティ
カルフローは、ＦＯＥから放射状の方向である。ここで
先行する他の車両から発せられたオプティカルフロー
は、自車両に対する先行する他の車両の位置、相対速度
からなる情報を含んでおり、オプティカルフローが長い
程危険度が高いと考えられる。
【００１８】次に、その詳細を図３を参照して説明す
る。同図の光学的配置おいて、１１はビデオカメラのレ
ンズ、１２はビデオカメラのイメージプレーン、ｆはレ
ンズ１１からイメージプレーン１２までの距離、Ｐ
（Ｘ，Ｙ，Ｚ）は先行する他の車両又は障害物上の任意
の１点、ｐ（ｘ，ｙ）はイメージプレーン１２上の点Ｐ
に対応する点とすると、３角形の相似の比から ｘ＝ｆ・Ｘ／Ｚ ……（２） となる。
る。同図の光学的配置おいて、１１はビデオカメラのレ
ンズ、１２はビデオカメラのイメージプレーン、ｆはレ
ンズ１１からイメージプレーン１２までの距離、Ｐ
（Ｘ，Ｙ，Ｚ）は先行する他の車両又は障害物上の任意
の１点、ｐ（ｘ，ｙ）はイメージプレーン１２上の点Ｐ
に対応する点とすると、３角形の相似の比から ｘ＝ｆ・Ｘ／Ｚ ……（２） となる。
【００１９】この式を変形して、時間微分すると、
Ｘ’＝（Δｘ／Δｔ・Ｚ＋ｘ・Ｚ’）／ｆ ……（３）
となる。また、オプティカルフローのｘ方向成分ｕとは
ｕ＝Δｘ／Δｔ ……（４）
であるので、これを用いて
Ｚ＝（ｆ・Ｘ’−ｘ・Ｚ’）／ｕ ……（５）
となる。
【００２０】ここで
Ｚ’＝先行する他の車両ないし障害物と自車両との相対速度＝−α ……
（６）
であるから上式（５）は
Ｚ＝（ｆ・Ｘ’＋ｘα）／ｕ ……（７）
となる。よってオプティカルフローのｘ方向成分ｕは
ｕ＝（ｆ・Ｘ’＋ｘα）／Ｚ ……（８）
となる。Ｙについても同様に求まる。
【００２１】よって上式（８）より、Ｚが小、すなわち
先行する他の車両又は障害物までの距離が小である程、
又はαが大、すなわち先行車両との相対速度が大である
程、オプティカルフローのｘ成分は大きくなる。これは
Ｙ方向についても同様である。従って、オプティカルフ
ローは先行する他の車両などとの距離が小さい程、更に
相対速度が大きい程長くなり、これよりオプティカルフ
ローが短いときより長いときの方が相対的に先行する他
の車両又は障害物に対する危険度が大きいと考えられ
る。
先行する他の車両又は障害物までの距離が小である程、
又はαが大、すなわち先行車両との相対速度が大である
程、オプティカルフローのｘ成分は大きくなる。これは
Ｙ方向についても同様である。従って、オプティカルフ
ローは先行する他の車両などとの距離が小さい程、更に
相対速度が大きい程長くなり、これよりオプティカルフ
ローが短いときより長いときの方が相対的に先行する他
の車両又は障害物に対する危険度が大きいと考えられ
る。
【００２２】本発明では、オプティカルフローがＦＯＥ
から放射状の向きに求められるということを利用し、高
速にオプティカルフローを求めるようにしており、その
方法を図４に基づいて以下説明する。
から放射状の向きに求められるということを利用し、高
速にオプティカルフローを求めるようにしており、その
方法を図４に基づいて以下説明する。
【００２３】図４は、高速にオプティカル・フローを求
める方法の一実施例を示した図である。まず、始めに時
間ｔでの画像において着目する一点に対しＦＯＥから放
射状の方向に細長い窓を設定する（図４（ａ））。次
に、時間ｔ＋Δｔでの画像において、窓をＦＯＥから放
射状の方向に一点づつ移動しながら、時間ｔでの窓との
輝度差の絶対値の総和を求める。そして総和が最小にな
ったときの窓の移動量が、着目する一点の速度ベクトル
として求められる（図４（ｂ））。なお、上記輝度差
は、窓を構成する各画素について、例えば（ａ）及び
（ｂ）に○で示す対応する位置の画素間のものである。
以上のような処理を時間ｔの画像の全ての点において繰
り返し行うことにより、画像全体のオプティカルフロー
を求めることができる。
める方法の一実施例を示した図である。まず、始めに時
間ｔでの画像において着目する一点に対しＦＯＥから放
射状の方向に細長い窓を設定する（図４（ａ））。次
に、時間ｔ＋Δｔでの画像において、窓をＦＯＥから放
射状の方向に一点づつ移動しながら、時間ｔでの窓との
輝度差の絶対値の総和を求める。そして総和が最小にな
ったときの窓の移動量が、着目する一点の速度ベクトル
として求められる（図４（ｂ））。なお、上記輝度差
は、窓を構成する各画素について、例えば（ａ）及び
（ｂ）に○で示す対応する位置の画素間のものである。
以上のような処理を時間ｔの画像の全ての点において繰
り返し行うことにより、画像全体のオプティカルフロー
を求めることができる。
【００２４】また、従来の方法では、対応する窓同士を
比べる際に、相互相関値を用いていた。それに対し本発
明の方法では、輝度差の絶対値の総和を用いているの
で、計算量の軽減となり、処理の高速化が行える。
比べる際に、相互相関値を用いていた。それに対し本発
明の方法では、輝度差の絶対値の総和を用いているの
で、計算量の軽減となり、処理の高速化が行える。
【００２５】本発明では更に、画像内の全ての点に対し
速度ベクトルを求めているのではなく、時間ｔと時間ｔ
＋Δｔとの画像で差を求め、その差である一定のしきい
値を越えた点だけに対し処理を行うようにしている。
速度ベクトルを求めているのではなく、時間ｔと時間ｔ
＋Δｔとの画像で差を求め、その差である一定のしきい
値を越えた点だけに対し処理を行うようにしている。
【００２６】一般に、車両走行中に前景を映した画像に
は、空や路面のように時間的な輝度変化がない場所が多
い。このような場所では、原理的にオプティカルフロー
を求めることが不可能である。従って、本発明の方法の
ように、時間ｔでの画像と時間ｔ＋Δｔでの画像内で、
輝度差のあるとことに着目して処理を行うことにより、
無駄な処理を省くことが可能となり高速化が行える。
は、空や路面のように時間的な輝度変化がない場所が多
い。このような場所では、原理的にオプティカルフロー
を求めることが不可能である。従って、本発明の方法の
ように、時間ｔでの画像と時間ｔ＋Δｔでの画像内で、
輝度差のあるとことに着目して処理を行うことにより、
無駄な処理を省くことが可能となり高速化が行える。
【００２７】上述したような方法によって、高速にオプ
ティカルフローが求められる。しかし、ここで求まった
オプティカルフローには、道路以外の風景や路面の車線
などの障害物ではないものによって生じているオプティ
カルフローが含まれている。従って、ここで求められて
いるオプティカルフローを用いて前方の障害物の存在又
はその障害物による危険度を求めることは困難である。
よって、道路外の風景や路面の車線から生じているオプ
ティカルフローを除去する必要がある。次に、この方法
について説明する。
ティカルフローが求められる。しかし、ここで求まった
オプティカルフローには、道路以外の風景や路面の車線
などの障害物ではないものによって生じているオプティ
カルフローが含まれている。従って、ここで求められて
いるオプティカルフローを用いて前方の障害物の存在又
はその障害物による危険度を求めることは困難である。
よって、道路外の風景や路面の車線から生じているオプ
ティカルフローを除去する必要がある。次に、この方法
について説明する。
【００２８】図５は、道路外の風景によるオプティカル
フローを除去する方法の一実施例である。同図において
斜線が引かれている位置が、道路上を示しているとし
て、それ以外の場所では、処理を行わないものとする。
こうすることにより、始めから道路外の風景から生じる
オプティカルフローは求まらないことになり、なおかつ
領域を制限することにより、処理時間の高速化が行える
こととなる。
フローを除去する方法の一実施例である。同図において
斜線が引かれている位置が、道路上を示しているとし
て、それ以外の場所では、処理を行わないものとする。
こうすることにより、始めから道路外の風景から生じる
オプティカルフローは求まらないことになり、なおかつ
領域を制限することにより、処理時間の高速化が行える
こととなる。
【００２９】次に、路面上のマークを消す方法について
図を用いて説明する。図６はこの方法の一実施例であ
り、まず光学的構成を説明する。図６はビデオカメラを
設置した車両が直進する代わりに、路面全体が近づいて
きたと仮定して描かれている。１１は前方を撮像するビ
デオカメラのレンズ、１２はビデオカメラのイメージプ
レーンを示す。１３及び１４は移動前後の車線を表して
いる。レンズの中心を原点とする３次元座標と、イメー
ジプレーン２上で上記ＦＯＥを原点とする２次元座標を
考える。
図を用いて説明する。図６はこの方法の一実施例であ
り、まず光学的構成を説明する。図６はビデオカメラを
設置した車両が直進する代わりに、路面全体が近づいて
きたと仮定して描かれている。１１は前方を撮像するビ
デオカメラのレンズ、１２はビデオカメラのイメージプ
レーンを示す。１３及び１４は移動前後の車線を表して
いる。レンズの中心を原点とする３次元座標と、イメー
ジプレーン２上で上記ＦＯＥを原点とする２次元座標を
考える。
【００３０】移動前の車線の位置をＰ（Ｘ，Ｙ，Ｚ＋Δ
Ｚ）、Ｚ方向にΔＺ移動後の位置をＱ（Ｘ，Ｙ，Ｚ）と
すると、２つの３角形の相似比より式（１）のようにオ
プティカルフローの生じている車線のビデオカメラまで
の高さを知ることができる。 Ｙ＝ｙ2 ΔＺ／ｆΔｙ ……（９） この求まった高さ情報を用いて、高さがビデオカメラ高
と一致している、つまり路面上のマークなどによって生
じているオプティカルフローを除去することができる。
Ｚ）、Ｚ方向にΔＺ移動後の位置をＱ（Ｘ，Ｙ，Ｚ）と
すると、２つの３角形の相似比より式（１）のようにオ
プティカルフローの生じている車線のビデオカメラまで
の高さを知ることができる。 Ｙ＝ｙ2 ΔＺ／ｆΔｙ ……（９） この求まった高さ情報を用いて、高さがビデオカメラ高
と一致している、つまり路面上のマークなどによって生
じているオプティカルフローを除去することができる。
【００３１】ここで、ΔＺは２枚の画像の時間間隔Δｔ
の間に前進した距離であり、車両速度を知ることにより
求めることができる。以上説明したような処理によっ
て、前方の障害物以外から生じているオプティカルフロ
ーを除去することが可能となる。従って、いま残されて
いるオプティカルフローの位置及び長さから前方の障害
物がどの程度危険であるかを示す危険度を求めることが
可能となる。
の間に前進した距離であり、車両速度を知ることにより
求めることができる。以上説明したような処理によっ
て、前方の障害物以外から生じているオプティカルフロ
ーを除去することが可能となる。従って、いま残されて
いるオプティカルフローの位置及び長さから前方の障害
物がどの程度危険であるかを示す危険度を求めることが
可能となる。
【００３２】次に、危険度を求める方法について説明す
る。図７はこの方法の一実施例を示すものである。まず
構成を説明すると、I 〜IVの各領域はそれぞれ自車線の
遠方、自車線の近方、隣車線の遠方、隣車線の近方を示
している。ここで危険度は、各領域に存在するオプティ
カルフローの長さの総和に対して各区域毎に重み付け
し、この重み付けした値によって求められる。更に、各
領域毎に所定のしきい値を設定しておき、フロー長さの
総和がこのしきい値を越えたらしきい値を越えた領域は
危険と判断される。しきい値を複数レベル設定してお
き、危険度のレベルを判断することもできる。
る。図７はこの方法の一実施例を示すものである。まず
構成を説明すると、I 〜IVの各領域はそれぞれ自車線の
遠方、自車線の近方、隣車線の遠方、隣車線の近方を示
している。ここで危険度は、各領域に存在するオプティ
カルフローの長さの総和に対して各区域毎に重み付け
し、この重み付けした値によって求められる。更に、各
領域毎に所定のしきい値を設定しておき、フロー長さの
総和がこのしきい値を越えたらしきい値を越えた領域は
危険と判断される。しきい値を複数レベル設定してお
き、危険度のレベルを判断することもできる。
【００３３】最後に、求められた危険度の大きさに従っ
て警報を鳴らすことによって運転者に対し注意を促せる
ことが可能となる。また、ディスプレイ上にどの領域が
どの程度危険かを表示することも可能になる。さらに危
険レベルにより警報の音色などの種類を変えることも可
能である。
て警報を鳴らすことによって運転者に対し注意を促せる
ことが可能となる。また、ディスプレイ上にどの領域が
どの程度危険かを表示することも可能になる。さらに危
険レベルにより警報の音色などの種類を変えることも可
能である。
【００３４】以上説明した本発明の方法による画像処理
の手順を要約して示すと、図８のようになる。まず、ス
テップＳ１において時間ｔでの画像を取り込み、次にス
テップＳ２において時間ｔ＋Δｔでの画像を取り込む。
その後ステップＳ３においてＦＯＥの設定を行い、続く
ステップＳ４において処理領域の設定を行う。続いてス
テップＳ５に進み、ここで時間ｔと時間ｔ＋Δｔの画像
で輝度差が一定のしきい値を越えた領域を抽出する。そ
の後ステップＳ６に進んで抽出した領域内でオプティカ
ルフローを求め、次のステップＳ７において道路上のオ
プティカルフローを除去し、更に次のステップＳ８にお
いて各区域毎に重み付けした値によって危険度を計算す
る。上記ステップ６及び７の処理を実行することによっ
て演算処理装置２は、走行している自車両から撮像して
得た所定時間相前後する２コマの画像中の同一点の移動
をオプティカルフローとして検出する検出手段、及び、
検出手段により求めたオプティカルフローから道路外の
風景や路面上に描かれた車線や文字、記号などから生じ
るオプティカルフローを除去する除去手段としてそれぞ
れ機能している。
の手順を要約して示すと、図８のようになる。まず、ス
テップＳ１において時間ｔでの画像を取り込み、次にス
テップＳ２において時間ｔ＋Δｔでの画像を取り込む。
その後ステップＳ３においてＦＯＥの設定を行い、続く
ステップＳ４において処理領域の設定を行う。続いてス
テップＳ５に進み、ここで時間ｔと時間ｔ＋Δｔの画像
で輝度差が一定のしきい値を越えた領域を抽出する。そ
の後ステップＳ６に進んで抽出した領域内でオプティカ
ルフローを求め、次のステップＳ７において道路上のオ
プティカルフローを除去し、更に次のステップＳ８にお
いて各区域毎に重み付けした値によって危険度を計算す
る。上記ステップ６及び７の処理を実行することによっ
て演算処理装置２は、走行している自車両から撮像して
得た所定時間相前後する２コマの画像中の同一点の移動
をオプティカルフローとして検出する検出手段、及び、
検出手段により求めたオプティカルフローから道路外の
風景や路面上に描かれた車線や文字、記号などから生じ
るオプティカルフローを除去する除去手段としてそれぞ
れ機能している。
【００３５】
【発明の効果】以上説明したように請求項１及び２記載
の発明によれば、自車両に搭載したビデオカメラで撮像
した画像から得たオプティカルフロー情報を用いて求め
たビデオカメラまでの高さが路面からのカメラの高さと
一致しているオプティカルフローを相対関係を監視する
オプティカルフローから除去し、何ら格別な手段を要す
ることなく、オプティカルフローを用いて確実に危険度
を知ることが可能になる他、路面上に描かれた車線や文
字、記号などから生じるオプティカルフローを相対関係
を監視するオプティカルフローから除去しているので、
その分、処理時間の高速化が図れる。
の発明によれば、自車両に搭載したビデオカメラで撮像
した画像から得たオプティカルフロー情報を用いて求め
たビデオカメラまでの高さが路面からのカメラの高さと
一致しているオプティカルフローを相対関係を監視する
オプティカルフローから除去し、何ら格別な手段を要す
ることなく、オプティカルフローを用いて確実に危険度
を知ることが可能になる他、路面上に描かれた車線や文
字、記号などから生じるオプティカルフローを相対関係
を監視するオプティカルフローから除去しているので、
その分、処理時間の高速化が図れる。
【００３６】
【図面の簡単な説明】
【図１】本発明による方法を実施するための装置の一例
を示すブロック図である。
を示すブロック図である。
【図２】図１のビデオカメラが撮像する前景、画像及び
得られるオプティカルフローを示す図である。
得られるオプティカルフローを示す図である。
【図３】本発明の方法による障害物などの検出の仕方を
説明するための図である。
説明するための図である。
【図４】本発明の方法によりオプティカルフローの求め
方を説明するための図である。
方を説明するための図である。
【図５】本発明の方法によりオプティカルフローの求め
るため設定した領域の一例を示す図である。
るため設定した領域の一例を示す図である。
【図６】本発明の方法により路面上の車線によるオプテ
ィカルフローの除去の仕方を説明するための図である。
ィカルフローの除去の仕方を説明するための図である。
【図７】本発明の方法により危険度を判定するため分け
た区域の一例を示す図である。
た区域の一例を示す図である。
【図８】本発明の方法の一連の処理を示す図である。
【図９】従来の方法の問題点を説明するための図であ
る。
る。
１ ビデオカメラ
２，４ 演算処理装置
５ 警報装置
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ
Ｇ０６Ｔ 7/20 Ｇ０６Ｔ 7/20 Ｂ
Ｇ０８Ｂ 21/00 Ｇ０８Ｂ 21/00 Ｈ
Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ
Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ
(72)発明者 佐々木 一幸
静岡県裾野市御宿1500 矢崎総業株式会
社内
(56)参考文献 特開 平２−241855（ＪＰ，Ａ)
特開 平３−282709（ＪＰ，Ａ)
特開 平２−11438（ＪＰ，Ａ)
特開 昭64−66712（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/20
B60R 21/00
G03B 15/00
G03B 15/16
G08G 1/16
H04N 7/18
Claims (2)
- 【請求項１】 走行している自車両から撮像して得た所
定時間相前後する２コマの画像中の同一点の移動をオプ
ティカルフローとして検出し、自車両に対する他の車両
又は路上障害物の相対関係を監視する車両用監視方法に
おいて、走行している自車両に搭載したビデオカメラで撮像した
画像から得たオプティカルフロー情報をもとに、オプテ
ィカルフローが生じている路面上の車線や文字、記号な
どからビデオカメラまでの高さを求め、該高さが路面か
らのビデオカメラの高さと一致している オプティカルフ
ローを前記相対関係を監視するオプティカルフローから
除去することを特徴とする車両用監視方法。 - 【請求項２】 走行している自車両から撮像して得た所
定時間相前後する２コマの画像中の同一点の移動をオプ
ティカルフローとして検出する検出手段を有し、該検出
手段によって検出したオプティカルフローを用いて自車
両に対する他の車両又は路上障害物の相対関係を監視す
る車両用監視装置において、 前記検出手段により求めたオプティカルフローから、走
行している自車両に搭載したビデオカメラで撮像した画
像から得たオプティカルフロー情報をもとに、オプティ
カルフローが生じている路面上の車線や文字、記号など
からビデオカメラまでの高さを求め、該高さが路面から
のビデオカメラの高さと一致しているオプティカルフロ
ーを除去する除去手段を備えることを特徴とする車両用
監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26816699A JP3398937B2 (ja) | 1999-09-22 | 1999-09-22 | 車両用監視方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26816699A JP3398937B2 (ja) | 1999-09-22 | 1999-09-22 | 車両用監視方法及び装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24322197A Division JP3398934B2 (ja) | 1997-09-08 | 1997-09-08 | 車両用監視方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000123183A JP2000123183A (ja) | 2000-04-28 |
| JP3398937B2 true JP3398937B2 (ja) | 2003-04-21 |
Family
ID=17454835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26816699A Expired - Fee Related JP3398937B2 (ja) | 1999-09-22 | 1999-09-22 | 車両用監視方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3398937B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003123197A (ja) * | 2001-10-16 | 2003-04-25 | Alpine Electronics Inc | 道路標示等認識装置 |
| JP2005306320A (ja) * | 2004-04-26 | 2005-11-04 | Mitsubishi Motors Corp | 制動制御装置 |
-
1999
- 1999-09-22 JP JP26816699A patent/JP3398937B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000123183A (ja) | 2000-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2863381B2 (ja) | 車両用監視方法 | |
| JP3452268B2 (ja) | 車両用後側方監視方法 | |
| US5521633A (en) | Motor vehicle obstacle monitoring system using optical flow processing | |
| JP3739693B2 (ja) | 画像認識装置 | |
| JP4287532B2 (ja) | 車両用後側方監視装置 | |
| US7046822B1 (en) | Method of detecting objects within a wide range of a road vehicle | |
| JP4899424B2 (ja) | 物体検出装置 | |
| JP2006184276A (ja) | 視覚検知による全天候障害物衝突防止装置とその方法 | |
| JPH06281455A (ja) | 車両周辺監視装置 | |
| JP2008168811A (ja) | 車線認識装置、車両、車線認識方法、及び車線認識プログラム | |
| JP2007193445A (ja) | 車両の周辺監視装置 | |
| JP2009064410A (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
| KR101103526B1 (ko) | 스테레오 카메라를 이용한 충돌회피 방법 | |
| JP2009053818A (ja) | 画像処理装置及びその方法 | |
| JP2014107697A (ja) | 車載用制御装置 | |
| JP4991384B2 (ja) | 接近物検知装置及び接近物検知プログラム | |
| JP2002314989A (ja) | 車両用周辺監視装置 | |
| JP2008310440A (ja) | 歩行者検出装置 | |
| JP2005217883A (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| JP4813304B2 (ja) | 車両周辺監視装置 | |
| JP4425852B2 (ja) | 車両周辺監視装置 | |
| JP3398934B2 (ja) | 車両用監視方法 | |
| JP2011103058A (ja) | 誤認識防止装置 | |
| JP3464368B2 (ja) | 車両用後側方監視装置 | |
| JP3398937B2 (ja) | 車両用監視方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090221 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090221 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100221 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100221 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110221 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110221 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120221 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |