JP3635591B2 - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP3635591B2 JP3635591B2 JP30024095A JP30024095A JP3635591B2 JP 3635591 B2 JP3635591 B2 JP 3635591B2 JP 30024095 A JP30024095 A JP 30024095A JP 30024095 A JP30024095 A JP 30024095A JP 3635591 B2 JP3635591 B2 JP 3635591B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- separation line
- vehicle
- monitoring area
- separation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、自動車などの車両に設置したビデオカメラによって車両の前方及び後方といった車両の周辺領域を撮像し、当該撮像画像に基づき、車両走行時における前方を走行する車両あるいは後方から接近する車両を検知し、運転者に警告を与える車両周辺監視装置に関する。
【０００２】
【従来の技術】
自車両が片側２車線以上の道路を走行し、これから変更しようとする隣接車線に自車両よりも高速で走行する他車両が存在した場合、あるいは、自車両が前方を走行中の他車両よりも高速で走行していた場合には、他車両の存在を見逃すと事故につながる危険性がある。
また、自車両の後方を走行する他車両が自車両に急接近してきた場合、不用意な急ブレーキを行うと他車両に追突される危険性があるので、この急接近する他車両を予め認識しておくことは車両運行上の安全面から有用である。
【０００３】
従来、上述したような他車両すなわち隣接車線を走行する車両あるいは同一車線を走行する車両を運転者に認識させる従来例としては、本出願人が特願平５−１９６１８６号にて出願した発明（以下、先願発明という）がある。
この先願発明は、後述するオプティカルフローに基づいて、他車両の認識を行うものである。以下、この先願発明について説明する。
【０００４】
図１５は、この先願発明を実施する装置（以下、先願装置という）の構成を示すブロック図である。同図において、１０は撮像手段としての撮像部で、例えばビデオカメラ１１を有している。また、３０は演算処理装置としてのデータ処理部であり、４２は警報手段としてのスピーカである。
【０００５】
撮像部１０は、車両後方の所定位置例えばトランクの上部位置に車両後方正面に向けて配設されている。
データ処理部３０は、動作プログラムに従って動作する中央制御装置としてのＣＰＵ３１、このＣＰＵ３１の動作プログラム及び予め与えられる設定値などを保持するＲＯＭ３２、ＣＰＵ３１の演算実行時に必要なデータを一時的に保持するＲＡＭ３３を有している。
スピーカ４２は、車両内部に配設され、データ処理部３０のＣＰＵ３１からの駆動信号に必要に応じて音声や警報音を発生することにより運転者などに危険を知らせる。
【０００６】
図１６は、上述したように、自車両の後方部に搭載された撮像部１０による撮像画像の変化を説明する図であり、図１６（ａ）は時刻ｔにおける撮像画像、図１６（ｂ）は時刻ｔ＋△ｔにおける撮像画像を示している。
そして、これらの各図において、２００は自車両の後方を走行する後続車両、３００は道路５００に隣接して配設された道路標識、４００は同じく道路５００に隣接して配設された建物である。
【０００７】
今、自車両が平坦な道を直進しているとすると、時刻の経過すなわち自車両の走行に伴い、道路標識３００や建物４００は自車両との相対距離が離れ小さく撮像される。図においては、図１６（ａ）すなわち時刻ｔの撮像画像における道路標識３００及び建物４００と、図１６（ｂ）すなわち時刻ｔ＋△ｔの撮像画像における道路標識３００及び建物４００に関し、図１６（ｂ）の道路標識３００及び建物４００の方が小さく撮像されている。
以下、これらの図を参照して、この先願発明において用いられるオプティカルフローについて説明する。
【０００８】
これらの図において、撮像画像内に設定された複数の対応点、例えば他車両２００における着目点、道路標識３００における着目点、建物４００における着目点に関し、各時間毎の着目点すなわち時刻ｔ〔図１６（ａ）〕における各着目点２０１ａ、２０２ａ、３０１ａ、３０２ａ、３０３ａ、４０１ａ及び４０２ａと、時刻ｔ＋△ｔ〔図１６（ｂ）〕における各着目点２０１ｂ、２０２ｂ、３０１ｂ、３０２ｂ、３０３ｂ、４０１ｂ及び４０２ｂについて、互いに対応する着目点同士を結合することにより、図１６（ｃ）に示す速度ベクトルすなわち２０１Ｆ、２０２Ｆ、３０１Ｆ、３０２Ｆ、３０３Ｆ、４０１Ｆ及び４０２Ｆが得られる。この得られた速度ベクトルがオプティカルフローである。
【０００９】
ここで、このオプティカルフローは、画面内の無限遠点あるいは消失点として定義されるＦＯＥ(Focus of Expansion)から放射状に現れていることが判る。このＦＯＥは、車両が直進している場合の画像上において、自車両の進行方向の正反対方向を示す１点に対応する。
そして、自車両の走行状態において、自車両から遠ざかる物体のオプティカルフローは上記ＦＯＥに向かう収束方向のベクトルとなり、自車両に近づいてくる物体のオプティカルフローは上記ＦＯＥから離れる発散方向のベクトルとなる。
従って、同図に２０１Ｆ及び２０２Ｆで示す後続の他車両２００のオプティカルフローは発散方向のベクトルであるので、この他車両は自車両に近づいてきていること、換言すれば自車両よりも高速で走行している車両であることが判る。
【００１０】
また、このオプティカルフローの大きさに関し、このオプティカルフローの大きさは、単位時間における自車両と対象物体との距離の差すなわち速度差が大きい程大きくなり、自車両と対象物体との相対距離が近い程大きくなる。このことを図面を参照して説明する。
【００１１】
図１７は、撮像部１０の光学的配置を示した図である。同図において、１１ａは撮像部１０のビデオカメラが有するレンズ、１１ｂは同じくビデオカメラが有するイメージプレーン、ｆはレンズ１１ａからイメージプレーン１１ｂまでの距離、Ｐ（Ｘa ，Ｙa ，Ｚa ）は後続する他車両上の任意の１点、ｐ（ｘa ，ｙa ）はイメージプレーン１１ｂ上における上記点Ｐに対応する点である。
【００１２】
この場合、３角形の相似の比から、次式（１）の関係が得られる。
ｘa ＝ｆ・Ｘa ／Ｚa ・・・ （１）
この式（１）を変形して時間微分すると、次式（２）が得られる。
Ｘa ’＝（Δｘa ／Δｔ・Ｚa ＋ｘa ・Ｚa ’）／ｆ ・・・ （２）
また、オプティカルフローのｘ方向成分ｕは、次式（３）で表せる。
ｕ＝Δｘa ／Δｔ ・・・ （３）
従って、この式（３）により次式（４）を得ることができる。
Ｚa ＝（ｆ・Ｘa ’−ｘa ・Ｚa ’）／ｕ ・・・ （４）
【００１３】
ここで、上式（４）のＺa ’は、同一車線あるいは隣接車線を走行する他車両（図１６に符号２００で示す）と撮像部１０が搭載された自車両との速度差すなわち相対速度を示している。この相対速度を−αとすると上式（４）は次式（５）となる。
Ｚa ＝（ｆ・Ｘa ’＋ｘa α）／ｕ ・・・ （５）
よって、オプティカルフローのｘ方向成分ｕは、次式（６）のように表すことができる。
ｕ＝（ｆ・Ｘa ’＋ｘa α）／Ｚa ・・・ （６）
なお、点ＰのＹ座標Ｙa についても同様にして求めることができる。
【００１４】
よって上式（６）より、Ｚが小すなわち後続車両又は隣接車線を走行中の他車両２００までの距離が小である程、あるいは、αが大すなわち他車両２００との速度差が大である程、オプティカルフローのｘ成分は大きくなる。これはＹ方向についても同様である。
従って、オプティカルフローは後続する他車両２００との距離が小な程、更に互いの速度差が大な程長くなり、これよりオプティカルフローの方向がＦＯＥに対して発散し、その長さが短いときより長いときの方が相対的に後続車両又は隣接車両に対する危険度が大きことが判る。
【００１５】
従って、データ処理部３０は、このオプティカルフローが上述した発散方向のベクトルであり且つその大きさが大きい場合には、対象物体は自車両に対し、接近した位置に存在するか、自車両よりも高速で接近しているかの少なくとも一方の状態にあると考えられ、危険度が高いと判断する。
そして、危険度が高いと判断した場合には、スピーカ４２により運転者にその旨を知らせる。
【００１６】
【発明が解決しようとする課題】
このような先願発明及び先願装置では、オプティカルフローの大きさに基づき認識を行うよう構成されているので、後方や隣接車線を走行している他車両に関し、その相対距離、相対速度及び危険度を自動的に判断でき、且つ、特別な距離計を必要としない利点があり有効である。
【００１７】
ところで、これらの先願発明及び先願装置では、オプティカルフローの検出には時間を要すること、ビデオカメラのぶれあるいは似たような構造物が撮像されることにより、本来、同一点でない点が同一点として誤認識されてしまう可能性がある。
このため、オプティカルフローを検出する際において、その対象とする監視対象領域を例えば撮像画像中における下半分領域といったように制限し、処理の高速化を図るとともに誤認識の発生を減少させるように構成していた。
【００１８】
しかしながら、このように監視対象領域を下半分領域に制限したとしても、実際に車両が走行する領域は、この制限された領域中の一部の領域であるので、この点においてまだ改良の余地があった。
本発明は、このような点に鑑みてなされたものであり、オプティカルフロー検出時における監視対象領域をさらに制限し、処理を高速化するとともに他車両の誤認識を減少できる車両周辺監視装置を提供することをその課題とする。
【００１９】
【課題を解決するための手段】
前記課題を解決するため、本発明によりなされた車両周辺監視装置は、図１の基本構成図に示すように、自車両の所定位置に配設され自車両の周辺領域を撮像する撮像手段（１１）と、所定時間相前後する２画像中における同一点について、監視領域内における前記点の無限遠点から発散する方向の移動をオプティカルフローとして検出するオプティカルフロー検出手段（３１ａ）とを有し、自車両の周辺を走行する他車両のオプティカルフローのベクトルの大きさに基づいて、前記他車両と自車両との相対情報を取得する車両周辺監視装置において、
路面上に描かれた分離線に基づいて監視領域を複数の分割監視領域に分割する監視領域分割手段（３１ｂ）と、前記監視領域分割手段（３１ｂ）により分割された分割監視領域を選択する領域選択手段（３１ｃ）とを有し、前記領域選択手段（３１ｃ）により選択された分割監視領域を前記オプティカルフロー検出手段（３１ａ）による監視領域とすることを特徴としている。（請求項１）
【００２０】
また、前記領域選択手段（３１ｃ）は、車両の転回方向を検出する転回方向検出手段（５１）、運転者による転回指示を検出する転回指示検出手段（５２）及び前記分離線の種別を検出する分離線検出手段（３１ｄ）の少なくとも１つの手段から出力された検出信号に基づき、前記監視領域を選択することを特徴としている。（請求項２）
【００２１】
また、前記分離線検出手段（３１ｄ）は、前記分離線が連続した直線であることを検出する連続線検出手段（３１ｅ）と、前記分離線が破線であることを検出する破線検出手段（３１ｆ）とを有し、前記領域選択手段（３１ｃ）は、監視領域分割手段（３１ｂ）により分割された分割監視領域の内、破線の分離線側の分割監視領域を選択するように構成したことを特徴としている。（請求項３）
【００２２】
また、撮像手段（１１）により撮像された撮像画像を微分することにより微分画像を生成する画像微分手段（３１ｇ）と、前記画像微分手段（３１ｇ）により生成された微分画像に基づいて分離線を構成する分離線候補点を抽出し、この抽出した分離線候補点から分離線を認識する分離線認識手段（３１ｈ）とを有し、前記監視領域分割手段（３１ｂ）は、前記分離線認識手段（３１ｈ）により認識された分離線に基づいて監視領域を複数の分割監視領域に分割することを特徴としている。（請求項４）
【００２３】
また、前記連続線検出手段（３１ｅ）及び破線検出手段（３１ｆ）は、前記分離線認識手段（３１ｈ）により認識された分離線に基づき、前記分離線が連続した直線であるか破線であるかを検出することを特徴としている。（請求項５）
【００２４】
また、前記撮像手段（１１）は、少なくとも車両の前方あるいは後方のいずれか一方に向けて取り付けられており、前記分離線認識手段（３１ｈ）は、撮像画像上における水平方向略中心位置に垂直方向に設定された基準線から、水平方向両端部に向けてエッジ点を探索することにより分離線候補点群を取得する分離線候補点取得手段（３１ｉ）と、前記分離線候補点取得手段（３１ｉ）により取得された分離線候補点群から、最も多くの分離線候補点を含む直線を前記基準線の水平方向両端部側よりそれぞれ取得する直線取得手段（３１ｊ）とを有し、前記直線取得手段（３１ｊ）により取得された直線を分離線として認識することを特徴としている。（請求項６）
【００２５】
上記請求項１の構成において、監視領域分割手段（３１ｂ）は、路面上に描かれた分離線に基づいて監視領域を複数の分割監視領域に分割し、領域選択手段（３１ｃ）は、この分割監視領域をオプティカルフロー検出手段（３１ａ）による監視領域として選択する。
【００２６】
このように、路面上に描かれた分離線に基づいて監視領域を分割する手段と、この分割された分割監視領域を選択し新たな監視領域を設定する手段とを設けたので、分離線に基づいて車両の走行車線毎に監視領域を設定することができる。そして、他車両が走行しない走行車線領域あるいは自車両が走行しない走行車線領域に関しては監視対象から外すことにより、監視領域を必要な領域に制限することができる。
【００２７】
そして、この請求項１の構成における領域選択手段（３１ｃ）は、請求項２に示すように、転回方向検出手段（５１）、転回指示検出手段（５２）及び分離線検出手段（３１ｄ）の少なくとも１つの手段から出力された検出信号に基づき、前記監視領域を選択する。
【００２８】
すなわち、転回方向検出手段（５１）は、車両の左右側の進行方向である転回方向を検出する。そして、転回指示検出手段（５２）は、運転者が車両を左右側に転回させる際に操作する機構からの転回指示情報を検出する。また、分離線検出手段（３１ｄ）は、撮像画像から上記分離線の種別すなわち車線変更可能な分離線であるのか車線変更を禁止する分離線であるのかを判定する。
そして、領域選択手段（３１ｃ）は、これらの各手段（５１、５２、３１ｄ）からの検出情報に基づいて分割監視領域を選択するので、車両が実際に転回している方向〔転回方向検出手段（５１）〕、これから転回しようとする方向〔転回指示検出手段（５２）〕あるいは車両が転回可能な車線の方向〔分離線検出手段（３１ｄ）〕の監視領域を選択することができ、監視領域を必要な領域に制限することができる。
【００２９】
この請求項２の分離線検出手段（３１ｄ）は、請求項３に示すように、連続線検出手段（３１ｅ）と破線検出手段（３１ｆ）とを有している。そして、連続線検出手段（３１ｅ）は、分離線が連続した直線であることを検出し、破線検出手段（３１ｆ）は、分離線が破線であることを検出する。
【００３０】
すなわち、この請求項３の構成によれば、分離線が連続した直線であることすなわち分離線が車線変更を禁止する種別であることを検出する手段〔連続線検出手段（３１ｅ）〕及び分離線が破線であることすなわち分離線が車線変更可能な種別であることを検出する手段〔破線検出手段（３１ｆ）〕を設けたので、車両が転回可能な車線の方向を検出することができる。
【００３１】
また、上記請求項４の構成によれば、画像微分手段（３１ｇ）は、撮像手段（１１）撮像画像から微分画像を生成し、分離線認識手段（３１ｈ）は、微分画像から分離線候補点を抽出するとともにこの抽出した分離線候補点から分離線を認識する。
【００３２】
すなわち、この請求項４の構成によれば、撮像画像を微分することにより、画像上の境界画像すなわちエッジ部分の画像（微分画像）を生成し、この生成した微分画像から分離線を認識するように構成したので、路面上に描かれた分離線は、この微分画像上において直線状に現れる。従って、この分離線を示す直線を検出することにより、撮像画像上における分離線を認識することができる。
【００３３】
また、上記請求項５の構成によれば、連続線検出手段（３１ｅ）及び破線検出手段（３１ｆ）は、上記請求項４に示された分離線認識手段（３１ｈ）からの分離線の認識情報により、当該分離線が連続した直線であるか破線であるかを検出する。
【００３４】
すなわち、分離線認識手段（３１ｈ）は、微分画像上において直線状に現れたエッジ画像について、このエッジ画像が破線あるいは連続線であるのかを認識し、そして、連続線検出手段（３１ｅ）及び破線検出手段（３１ｆ）は、この認識情報に基づいて分離線が連続した直線であるか破線であるかを検出する。
【００３５】
このように、分離線の種類をエッジ画像に基づいて検出するように構成したので、認識に係る処理を簡単にすることができ処理を高速に行うことができる。
【００３６】
また、上記請求項６の構成によれば、分離線認識手段（３１ｈ）は、分離線候補点取得手段（３１ｉ）と、直線取得手段（３１ｊ）とを有している。
この分離線候補点取得手段（３１ｉ）は、車両の前方あるいは後方の撮像画像上における水平方向略中心位置すなわち車両が走行している車線上に、垂直方向すなわち車両の進行方向に向けて延長された基準線から、水平方向すなわち車両の転回方向側における両端部に向けてエッジ点を探索し、これにより分離線候補点群を取得する。
一方、直線取得手段（３１ｊ）は、取得された分離線候補点群から、最も多くの分離線候補点を含む直線を取得する。なお、この直線取得手段（３１ｊ）により取得される直線は、前記基準線を境にして水平方向両端部よりそれぞれ取得される。
そして、分離線認識手段（３１ｈ）は、この取得された直線を分離線として認識する。
【００３７】
このように、撮像手段（１１）を車両の前方あるいは後方に向けて取り付けることにより、撮像手段（１１）により撮像された画像は、車両の進行方向を直視した画像となる。そして、この撮像画像における水平方向中心位置に基準線を設定することにより、この基準線は、車両が走行している走行車線上の水平方向略中心位置に位置する。
従って、この基準線より水平方向両端部側にエッジ点を探索することにより、取得されたエッジ点が走行車線を分離する分離線を示すエッジ点である確度が高くなるので、分離線の認識確度を向上させることができる。
【００３８】
【発明の実施の形態】
以下、本発明の実施の形態の具体例を図面を参照して説明する。図２は、本発明が適用される装置の構成を示すブロック図で、同図において、１０は撮像部、２０は撮像部１０からの画像データなどを保持する記憶部、３０は撮像部１０からの画像情報に基づき画像処理及び他車両との相対関係監視処理などを実行するデータ処理部、４０は撮像部１０からの画像情報を表示したり警報を発生する表示警報部、５０は自車両の走行方向を示す情報、走行方向を変更する際の操作情報を示す信号の入力を行う信号入力部である。
【００３９】
撮像部１０は、ビデオカメラ１１から構成されている。そして、このビデオカメラ１１は、図１７にて説明したように、レンズ（図１７にて符号１１ａにて示す）とイメージプレーン（同１１ｂ）とを有している。
そして、撮像部１０のビデオカメラ１１は、図３に示すように車両に取り付けられている。
【００４０】
すなわち、ビデオカメラ１１は、車両１００の後部のトランク部１１０上に、支持台１２を介して、車両１００の後方に向けて取り付けられている。そして、このビデオカメラ１１は、車両の後方画像を撮像するように構成されている。そして、このビデオカメラ１１は、データ処理部３０のＣＰＵ３１（後述）に対し、車両後方の撮像画像情報を出力する。
【００４１】
記憶部２０は、前記撮像部１０からの撮像画像情報を微分することにより生成された微分画像情報を保持する微分画像メモリ２１と、前記撮像画像情報を保持する第１フレームメモリ２２及び第２フレームメモリ２３と、発散方向のオプティカルフローを保持する発散オプティカルフローメモリ２４とを有している。
【００４２】
そして、この記憶部２０を構成する各メモリ２１乃至２４の内、微分画像メモリ２１、第１フレームメモリ２２及び第２フレームメモリ２３は、例えば５１２画素×５１２画素といったｍ行ｎ列からなるマトリクス状のメモリとして構成されている。
また、各メモリ２１乃至２４は、データ処理部３０のＣＰＵ３１に対し、読み書き可能に接続されている。
【００４３】
データ処理部３０は、上述した先願装置と同様な構成を有している。すなわち、動作プログラムに従って動作する中央制御装置としてのＣＰＵ３１、このＣＰＵ３１の動作プログラム及び予め与えられる設定値などを保持するＲＯＭ３２及びＣＰＵ３１の演算実行時に必要なデータを一時的に保持するＲＡＭ３３を有している。
【００４４】
表示警報部４０は、表示器４１と、スピーカ４２と、制動機構４３とを有している。
表示器４１は、ＣＲＴなどで構成され、ビデオカメラ１１が撮像した撮像画像を表示したり、あるいは、データ処理部３０（ＣＰＵ３１）が他車両との接触危険性有りと判定した際に、メッセージなどを表示して運転者に対して危険を映像で知らせる。
【００４５】
スピーカ４２は、データ処理部３０からの音声信号に基づき、音声ガイダンスあるいは警報音といった音声を発生する。そして、データ処理部３０が他車両との接触危険性有りと判定した場合には、この音声により運転者に対して危険を音声で知らせる。
【００４６】
制動機構４３は、車両の制動機構すなわちブレーキとして構成されている。この制動機構４３は、通常のブレーキとは別系統の制御にて動作するもので、上述した表示器４１及びスピーカ４２と同様に、データ処理部３０が他車両との接触危険性有りと判定した場合において作動し、車両を制動させる。
【００４７】
信号入力部５０は、ハンドル舵角あるいは車両の操舵輪（一般には前輪）の操舵角を検出する舵角センサ５１と、運転者によるウインカ機構の操作状態を検出するウインカ検出スイッチ５２とを有しており、舵角センサ５１により車両の転回情報を検出し、ウインカ検出スイッチ５２により運転者が車両を左右側に転回させる際に操作するウインカ機構からの転回指示情報を検出する。
【００４８】
以上の構成を有する具体例の動作、すなわちデータ処理部３０による制御動作について、フローチャートを参照して説明する。
この具体例においては、まず図４のフローチャートすなわち具体例における主フローチャートのステップＳ１１０にて、画像取得処理を行う。
【００４９】
このステップＳ１１０における画像取得処理は、最初の処理を行う際に、監視領域を設定するための画像情報を取得する処理で、このステップＳ１１０の処理により、例えば図７に示す後方の画像が撮像される。
この撮像画像は、上述したように、ビデオカメラ１１が車両１００の後部に後方に向けて取り付けられているので、車両の後方を直視した画像となっており、同図に示すように、道路５００、道路５００上に描かれた分離線５１０乃至５５０及び道路５００の両脇に立設された壁６００が、画像上における水平方向中心位置にて消失する画像となっている。
そして、この取得した画像情報については、記憶部２０の第１フレームメモリ２１に格納される。
【００５０】
なお、この図７の撮像画像は、高速道路といった自動車専用道路上を走行中の自車両からの撮像画像を例示している。
従って、この撮像画像において、連続直線となっている分離線５１０、５３０及び５５０は、車線変更を禁止する線として描かれ、破線となっている分離線５２０及び５４０は、車線変更が可能な線として描かれている。
また、この撮像画像は、上述したように、車両の後方に向けて取り付けられているので、撮像画像における右側が進行方向を基準とした場合の左側に相当し、撮像画像における左側が進行方向を基準とした場合の右側に相当する。以後、この撮像画像を基準とした左右方向で説明を行うことにする。
【００５１】
引き続くステップＳ１２０では、監視領域設定処理を行う。この監視領域設定処理は、具体的には、図５のフローチャートによりなされる。以下、この図５のフローチャートを参照して説明する。
【００５２】
この監視領域設定処理では、まずステップＳ２１０にて、取得画像の微分処理を行う。
より詳細には、このステップＳ２１０では、上記ステップＳ１１０で取得され、第１フレームメモリ２１に格納された画像情報に関し、そのｍ行ｎ列の画像データの輝度値Ｉm,n を図７における水平方向に走査し、次式（７）の演算によって微分画像を生成する。
｜Ｉm,n+1 −Ｉm,n ｜≧Ｅ0 ならば Ｅm,n ＝１
｜Ｉm,n+1 −Ｉm,n ｜＜Ｅ0 ならば Ｅm,n ＝０ ・・・（７）
上記式中、Ｅ0 はしきい値
【００５３】
このようなステップＳ２１０の微分処理を実行することにより、縦方向あるいは斜方向に輝度値に差を有する部分の画像すなわち境界（エッジ）部分が線状に現れた画像が生成される。例えば、上述した図７の撮像画像に対し、このステップＳ２１０の微分処理を行った場合には、図８に示すような微分画像（エッジ画像）が生成される。
そして、この微分画像については、記憶部２０の微分画像メモリ２１に格納される。
【００５４】
引き続くステップＳ２２０では、分離線エッジ抽出処理を行う。この分離線エッジ抽出処理は、具体的には、図６のフローチャートによりなされる。以下、この図６のフローチャートを参照して説明する。
【００５５】
この分離線エッジ点抽出処理では、まずステップＳ３１０にて、基準線の設定を行う。
このステップＳ３１０では、上記ステップＳ２１０で生成された微分画像を読み出し、この微分画像に対し基準線を設定する。
より詳細には、図９の模式図に示すように、この基準線ＶSLは、後方画像上の水平方向における中心位置であって垂直方向に、撮像画像を縦断するように設定される。
【００５６】
この場合、基準線ＶSLは、自車両が走行している分離線５２０及び分離線５３０にて区切られた車線上であって、この車線の水平方向略中心位置に設定される。これは、一般に車両は、分離線で区切られた車線上のほぼ中央を走行するからである。
このように基準線ＶSLを設定した後、ステップＳ３２０に移行する。
【００５７】
ステップＳ３２０では、分離線エッジ候補点の探索を行う。この分離線エッジ候補点の探索処理は、上記ステップＳ３１０にて設定された基準線ＶSLから水平方向側になされる。また、このエッジ点の探索処理は、撮像画像における下方側すなわち自車両に近接した位置から所定距離遠方側の範囲に対してなされる。
【００５８】
より詳細には、図９の模式図に示すように、この微分画像が上述したように５１２画素×５１２画素からなるマトリクス状のメモリから構成されていたとすると、このエッジ点の探索処理は、その最下端にある水平ラインＨ(L0)から垂直方向における１／３の高さに相当する水平ラインＨ(L169)までの範囲Ｈ1/3 が設定されこの範囲Ｈ1/3 に対して処理が行われる。
【００５９】
なお、この探索処理の範囲については、その撮像画像に適した範囲として任意に設定することができる。すなわち、路面に描かれた分離線（分離線５２０及び５３０）を認識可能な範囲であれば、上述した１／３の高さに限定されるものではない。
【００６０】
そして、この探索処理においては、上述したように、画面の下端に位置する水平ラインＨ(L0)から上側の水平ラインＨ(L169)に向けて探索処理を実行する。
すなわち、この探索処理においては、まず、基準線ＶSL上であって最下端の点Ｐ(S0)から、水平方向両端部に向けてエッジ点の探索を行う。そして、図９の例においては、この探索処理により、基準線ＶSLの左側に存在する分離線５２０のエッジを構成する点Ｐ(L0)及び基準線ＶSLの右側に存在する分離線５３０のエッジを構成する点Ｐ(R0)が取得される。
【００６１】
続いて、最下端より２番目に位置する点Ｐ(S1)から、水平方向両端部に向けてエッジ点の探索が行われ、これにより基準線ＶSLの左側に存在する分離線５２０のエッジを構成する点Ｐ(L1)及び基準線ＶSLの右側に存在する分離線５３０のエッジを構成する点Ｐ(R1)が取得される。
【００６２】
このような処理を撮像画像における上方に向けて順次実行すると、その中間位置すなわち基準線ＶSL上の点Ｐ(Sn)にて、基準線ＶSLの左側に存在する分離線５２０の切れ目に遭遇する。この場合、この基準線ＶSLの右側においては分離線５３０のエッジを構成するエッジ点Ｐ(Rn)が取得されるが、基準線ＶSLの左側においては、エッジ点は取得されない。
そして、基準線ＶSL上の点Ｐ(Sm)にて、再度分離線５２０のエッジを構成する点Ｐ(Lm)及び分離線５３０のエッジを構成する点Ｐ(Rm)が取得される。
【００６３】
さらに、この探索処理を順次実行すると、基準線ＶSL上の点Ｐ(S(m+2))にて、他車両２００のタイヤのエッジを構成する点Ｐ(L(m+2))及び点Ｐ(R(m+2))が取得され、基準線ＶSL上の点Ｐ(S(m+4))にて、他車両２００のタイヤのエッジを構成する点Ｐ(L(m+4))及び点Ｐ(R(m+4))が取得される。
そして、この探索処理を監視領域における上端である水平ラインＨ(L169)まで実行すると、図１０に示す分離線エッジ候補点が取得される。
このような分離線エッジ候補点の取得により、ステップＳ３２０の分離線エッジ候補点の探索処理を終了して、ステップＳ３３０に移行する。
【００６４】
ステップＳ３３０では、ハフ変換によるエッジ点の抽出処理を行う。
このハフ変換は、検出したい線を表現する式のパラメータにより構成される空間でエッジ要素のクラスタリングを行うことにより、このパラメータを決定する方法である。
より詳細には、エッジを構成する座標点（ｘ，ｙ）を次式（８）に従ってパラメータ空間（ρ，θ）に写像すると、同一の直線上の座標点は、全てこのパラメータ空間上の一点を通過することを利用し、複数の座標点群から直線上に存在する座標点を抽出する処理である。
ρ ＝ ｘｃｏｓθ ＋ ｙｓｉｎθ ・・・ （８）
【００６５】
従って、このステップＳ３３０では、図１０の分離線候補点について、基準線ＶSLの右側に存在する分離線候補点群〔同図にＰ(R0)乃至Ｐ(R(m+4))にて示す〕と、基準線ＶSLの左側に存在する分離線候補点群〔同図にＰ(L0)乃至Ｐ(L(m+4))にて示す〕について、上述したハフ変換を実行する。
この処理を実行することにより、図１０の分離線候補点群すなわち点Ｐ(R0)乃至Ｐ(R(m+4))及び点Ｐ(L0)乃至Ｐ(L(m+4))から図１１に示す点Ｐ(R0)乃至Ｐ(R(m+1))及び点Ｐ(L0)乃至Ｐ(L(m+1))が分離線を構成するエッジ点（分離線エッジ点）として抽出される。
そして、このステップＳ３３０の処理が終了すると、一連の分離線エッジ抽出処理を終了し、図５のフローチャートにおけるステップＳ２３０に移行する。
【００６６】
以上の説明から明らかなように、この分離線エッジ抽出処理においては、ビデオカメラ１１を車両の後方に向けて取り付けることにより、ビデオカメラ１１により撮像された画像は、車両の進行方向を直視した画像となる。そして、この撮像画像における水平方向中心位置に基準線ＶSLを設定したので、この基準線ＶSLは、車両が走行している走行車線上の水平方向略中心位置に位置する。
そして、この基準線ＶSLより水平方向両端部側にエッジ点を探索するように構成したので、取得されたエッジ点は走行車線を分離する分離線を示すエッジ点となる確率が高くなり、分離線の認識確度を向上させることができる。
【００６７】
ステップＳ２３０では、分離線認識処理を行う。この分離線認識処理では、上記ステップＳ２２０（ステップＳ３１０乃至Ｓ３３０）にて抽出された分離線エッジ点（点Ｐ(R0)乃至Ｐ(R(m+1))及び点Ｐ(L0)乃至Ｐ(L(m+1))）について、最小二乗法による近似直線を生成し、この生成した近似直線を分離線として認識する処理である。
そして、この分離線認識処理により、図１１に符号ＯR で示す右側近似直線（点Ｐ(R0)乃至Ｐ(R(m+1))）及び符号ＯL で示す左側近似直線（点Ｐ(L0)乃至Ｐ(L(m+1))）が生成され、これらの右側近似直線ＯR 及び左側近似直線ＯL が分離線として認識される。
【００６８】
このように、撮像画像から微分画像を生成し、この生成した微分画像から分離線を認識するように構成したので、路面上に描かれた分離線は、この微分画像上において直線状に現れる。そして、この分離線を示す直線を検出することにより、撮像画像上における分離線を認識することができる。
【００６９】
引き続くステップＳ２４０では、上記ステップＳＳ２３０で認識した分離線に基づいて上述したＦＯＥ（消失点）を設定する処理を行う。すなわち、このＦＯＥ設定処理では、図１１に示すように、分離線として認識された右側近似直線ＯR と左側近似直線ＯL に基づき、これらの近似直線の交点座標を算出するとともにこの算出した交点座標をＦＯＥとして設定する。
そして、このステップＳ２４０にてＦＯＥを設定するとステップＳ２５０に移行する。
【００７０】
ステップＳ２５０では、監視領域の分割を行う。この監視領域の分割処理は、上記ステップＳ２３０にて認識された分離線すなわち右側近似直線ＯR 及び左側近似直線ＯL と、上記ステップＳ２４０にて設定されたＦＯＥとに基づきなされる。
そして、この監視領域の分割処理により、図１２に示すように、上記ＦＯＥから水平方向右側に延びる境界線である右側上端線ＨURと、水平方向左側に延びる境界線である左側上端線ＨULとが設定され、これらの右側上端線ＨUR及び左側上端線ＨULと、右側近似直線ＯR 及び左側近似直線ＯL により、監視領域ＳＶは、右側監視領域ＳＶ(R) 、中央監視領域ＳＶ(S) 及び左側監視領域ＳＶ(L) に分割される。
【００７１】
引き続くステップＳ２６０では、拡張する車線の判定を行う。この判定処理は、上記ステップＳ２５０にて分割された監視領域ＳＶ（図１２参照）について、自車両が走行している車線に相当する中央監視領域ＳＶ(S) を基準として、この中央監視領域ＳＶ(S) に右側監視領域ＳＶ(R) あるいは左側監視領域ＳＶ(L) のいずれの領域側に監視領域を拡張するかを判定する。
【００７２】
そして、この具体例においては、分離線の種別に基づいて監視領域の拡張を行うように構成している。
この場合、上記ステップＳ３３０の処理により抽出された分離線エッジ点の配列状態に基づいて分離線の種別を判定する。例えば、図１１に示すように分離線エッジ点が抽出されたとすると、連続線である分離線５３０に対応する右側近似直線ＯR 上の点Ｐ(R0)乃至Ｐ(R(m+1))は各エッジ点が連続した状態に配列されており、破断線である分離線５２０に対応する左側近似直線ＯL 上の点Ｐ(L0)乃至Ｐ(L(m+1))は各エッジ点がその途中で破断した状態に配列されている。
【００７３】
そして、エッジ点の配列状態に基づいて、その途中に破断部分が存在する場合には分離線が破断線であるとみなし、連続した配列状態である場合には分離線が連続線であるとみなしている。さらに、分離線が破断線である場合には、この分離線が車線変更可能な種別であると判定し、分離線が連続線である場合には、この分離線が車線変更を禁止する種別であると判定している。
従って、この判定処理では、分離線が車線変更可能な種別すなわち破断線である側に監視領域を拡張する。例えば、図１１に示す場合においては、分離線５２０に対応する左側近似直線ＯL 上の点Ｐ(L0)乃至Ｐ(L(m+1))側に領域を拡張すると判定する。
【００７４】
このように、分離線が車線変更を禁止する種別（連続線）であることを検出する手段と、分離線が車線変更可能な種別（破断線）であることを検出する手段を設けたので、車両が転回可能な車線の方向を検出することができる
【００７５】
なお、このステップＳ２６０においては、分離線を検出する場合において、エッジ点に破断部分が存在するか否かに基づいて判定する構成を示しているが、この構成では、車両により分離線が隠れた場合にも分離線が破断部分を有すると判定してしまう可能性がある。
このため、この構成においては、破断線を判定するにあたり、破断部分の基準長さを設定し、この基準長さの範囲内である場合に破断線と判定し、基準長さの範囲を超えたものについては車両により分離線が隠れたものと判定するようにしている。このように構成することにより、車両による分離線の誤認識を防ぐことができる。
【００７６】
また、このステップＳ２６０においては、分離線が連続線であるか破線であるかに基づいて車線変更可能な領域を判定し、車線変更可能な側に監視領域を拡張する構成を例示したが、この判定を信号入力部５０の舵角センサ５１及びウインカ検出スイッチ５２からの出力に基づいて行うように構成してもよい。
すなわち、舵角センサ５１により検出されたハンドル舵角あるいは車両の操舵輪（一般には前輪）の操舵角情報、ウインカ検出スイッチ５２により検出された運転者によるウインカ機構の操作状態の情報に基づいて監視領域を拡張するように構成してもよい。
【００７７】
このように、これらの舵角センサ５１及びウインカ検出スイッチ５２からの検出情報に基づいて分割監視領域を選択した場合、車両が実際に転回している方向あるいはこれから転回しようとする方向の監視領域を選択することができ、監視領域を必要な領域に制限することができる。
【００７８】
そして、上述したように、左側に破断線の分離線が存在した場合には、ステップＳ２６２に移行し、中央監視領域ＳＶ(S) に左側監視領域ＳＶ(L) を加えた監視領域を設定し、一方、右側に破断線の分離線が存在した場合には、ステップＳ２６１に移行し、中央監視領域ＳＶ(S) に右側監視領域ＳＶ(R) を加えた監視領域を設定する（図１２参照）。
【００７９】
このように、路面上に描かれた分離線に基づいて監視領域を分割し、この分割された分割監視領域を選択し新たな監視領域を設定するように構成したので、分離線に基づいて車両の走行車線毎に監視領域を設定することができ、他車両が走行しない走行車線領域あるいは自車両が走行しない走行車線領域に関しては監視対象から外すことにより、監視領域を必要な領域に制限することができる。
そして、このステップＳ２６１及びＳ２６２の処理にて監視領域を拡張することにより、一連の監視領域設定処理を終了し、図４のフローチャートにおけるステップＳ１３０に移行する。
【００８０】
ステップＳ１３０では、オプティカルフロー検出処理を行う。このオプティカルフロー検出処理は、上記ステップＳ１２０で設定された監視領域についてなされ、上述したように、左側に破断線の分離線が存在し、中央監視領域ＳＶ(S) に左側監視領域ＳＶ(L) を加えた監視領域が設定された場合には、図１３に示すように、第１フレームメモリ２２に格納された撮像画像に、左側上端線ＨUL及び右側近似直線ＯR により規定される範囲の監視領域が設定される。
【００８１】
また、この第１フレームメモリ２２に格納された撮像画像より所定時間△ｔだけ遅延して撮像され、第２フレームメモリ２３格納された撮像画像に対しても同じ監視領域（中央監視領域ＳＶ(S) 及び左側監視領域ＳＶ(L) ）が設定される。そして、このステップＳ１３０では、図１４に示すように、時刻ｔにおける撮像画像（図１３参照）中の画像構成点と、時刻ｔ＋△ｔの撮像画像中の画像構成点において、互いに対応する各点間の移動方向並びに移動量をオプティカルフローとして検出する。
【００８２】
例えば、車両２００の点２０１及び２０２については、時刻ｔにおける点２０１ａ及び２０２ａと対応する時刻ｔ＋△ｔにおける点２０１ｂ及び２０２ｂ間の移動方向並びに移動量が、オプティカルフロー２０１Ｆ及び２０２Ｆとして検出される。
【００８３】
そして、ステップＳ１４０では、危険度の算出処理を行う。すなわち、このステップＳ１４０では、上記ステップＳ１３０にて取得したオプティカルフローの内、上述したオプティカルフロー２０１Ｆ及び２０２Ｆのように発散方向のオプティカルフローに対し、その大きさ（長さ）に重み付けをし数値化する。
なお、この算出処理において、しきい値を数レベル設定しておき、危険度のレベルを算出するようにしてもよい。
【００８４】
引き続くステップＳ１５０では、上記ステップＳ１４０で算出された危険度に基づき、この危険度が或るしきい値を越えたら危険と判断する。また、危険度のレベルが与えられた場合には、このレベルが規定値以上となった場合に危険と判断する。
そして、この判定処理で危険と判断された場合には、ステップＳ１６０にて警報処理を実行し、一方、危険でないと判断された場合には、一連の処理を終了して再度上述したステップＳ１１０からの処理を実行する（ＲＴＳ）。
【００８５】
このステップＳ１６０の警報処理では、表示警報部４０のスピーカ４２に対し音声信号を送出し、このスピーカ４２から音声ガイダンスあるいは警報音を発生させることにより運転者に対して注意を促し、表示器４１によりメッセージなどを表示して運転者に対して危険を映像で知らせる。
また、危険度のレベルが非常に高い場合には、制動機構４３を作動させ、車両を制動させる動作を行う。
そして、このステップＳ１６０の警報処理が終了すると、一連の処理を終了して再度上述したステップＳ１１０からの処理を実行する（ＲＴＳ）。
【００８６】
なお、以上の説明においては、ビデオカメラ１１が車両の後方に向けて取り付けられた構成を例示したが、このビデオカメラ１１に関し、車両の前方側に取り付けるように構成してもよい。
【００８７】
以上の説明から明らかなように、本発明の基本構成と具体例のフローチャートとは次の対応関係を有している。
すなわち、本発明の基本構成におけるオプティカルフロー検出手段３１ａは、図４のフローチャートにおけるステップＳ１３０に対応し、監視領域分割手段３１ｂは、図５のフローチャートにおけるステップＳ２５０に対応し、領域選択手段３１ｃは、同フローチャートにおけるステップＳ２６０乃至Ｓ２６２に対応している。
【００８８】
また、分離線検出手段３１ｄは、図５のフローチャートにおけるステップＳ２２０及びＳ２３０に対応し、連続線検出手段３１ｅ及び破線検出手段３１ｆは、共に同フローチャートにおけるステップＳ２６０に対応している。
【００８９】
また、画像微分手段（３１ｇ）は、図５のフローチャートにおけるステップＳ２１０に対応し、分離線認識手段（３１ｈ）は、同フローチャートにおけるステップＳ２３０に対応している。
【００９０】
また、分離線候補点取得手段（３１ｉ）は、図６のフローチャートにおけるステップＳ３２０及びＳ３３０に対応し、直線取得手段（３１ｊ）は図５のフローチャートにおけるステップＳ２３０に対応している。
【００９１】
【発明の効果】
以上説明したように、本発明によれば、次の効果を奏する。
すなわち、路面上に描かれた分離線に基づいて監視領域を分割する手段と、この分割された分割監視領域を選択し新たな監視領域を設定する手段とを設けたので、分離線に基づいて車両の走行車線毎に監視領域を設定することができる。そして、他車両が走行しない走行車線領域あるいは自車両が走行しない走行車線領域に関しては監視対象から外すことにより、監視領域を必要な領域に制限することができる。
【００９２】
また、車両の左右側の進行方向である転回方向を検出する手段、運転者が車両を左右側に転回させる際に操作する機構からの転回指示情報を検出する手段、あるいは撮像画像から上記分離線の種別すなわち車線変更可能な分離線であるのか車線変更を禁止する分離線であるのかを判定する手段からの検出情報に基づいて分割監視領域を選択するように構成したので、車両が実際に転回している方向、これから転回しようとする方向あるいは車両が転回可能な車線の方向の監視領域を選択することができ、監視領域を必要な領域に制限することができる。
【００９３】
また、分離線が車線変更を禁止する種別であることを検出する手段及び分離線が車線変更可能な種別であることを検出する手段を設けたので、車両が転回可能な車線の方向を検出することができる。
【００９４】
また、撮像画像を微分することにより、画像上の境界画像すなわちエッジ部分の画像（微分画像）を生成し、この生成した微分画像から分離線を認識するように構成したので、路面上に描かれた分離線は、この微分画像上において直線状に現れる。従って、この分離線を示す直線を検出することにより、撮像画像上における分離線を認識することができる。
【００９５】
また、分離線の種類をエッジ画像に基づいて検出するように構成したので、認識に係る処理を簡単にすることができ処理を高速に行うことができる。
【００９６】
また、撮像手段を車両の前方あるいは後方に向けて取り付けるとともに撮像画像上における水平方向中心位置に基準線を設定するように構成したので、この基準線より水平方向両端部側にエッジ点を探索することにより、取得されたエッジ点が走行車線を分離する分離線を示すエッジ点である確度が高くなり、分離線の認識確度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の基本構成を説明する図である。
【図２】具体例の構成を説明するブロック図である。
【図３】具体例における撮像部の取付構造を示す説明図である。
【図４】具体例における主フローチャートである。
【図５】具体例における監視領域設定処理を説明するフローチャートである
【図６】具体例における分離エッジ抽出処理を説明するフローチャートである。
【図７】ビデオカメラで撮像された画像（後方画像）を説明する図である。
【図８】撮像画像の微分処理により生成された微分画像（エッジ画像）を説明する図である。
【図９】分離線エッジ抽出処理を説明する模式図である。
【図１０】分離線エッジ抽出処理により抽出された分離線エッジ候補点を示す図である。
【図１１】分離線エッジ候補点、分離線認識処理により認識された分離線及びＦＯＥ設定処理により設定されたＦＯＥの関係を説明する模式図である。
【図１２】監視領域分割処理を説明する模式図である。
【図１３】時刻ｔにおける撮像画像をを説明する図である。
【図１４】時刻ｔ＋△ｔにおける撮像画像をを説明する図である。
【図１５】先願装置の構成を示すブロック図である。
【図１６】時間ｔ及び時間ｔ＋△ｔにおける撮像画像、撮像画像から得られるオプティカルフローを示す説明図である。
【図１７】物体などの検出方法の説明図である。
【符号の説明】
１０ 撮像部
１１ ビデオカメラ
２０ 記憶部
２１ 微分画像メモリ
２２ 第１フレームメモリ
２３ 第２フレームメモリ
２４ 発散オプティカルフローメモリ
３０ データ処理部
４０ 表示警報部
４１ 表示器
４２ スピーカ
４３ 制動機構
５０ 信号入力部
５１ 舵角センサ
５２ ウインカ検出スイッチ
１００ 自車両
２００ 他車両
５００ 道路
５１０〜５５０ 分離線
ＦＯＥ 消失点
【発明の属する技術分野】
本発明は、自動車などの車両に設置したビデオカメラによって車両の前方及び後方といった車両の周辺領域を撮像し、当該撮像画像に基づき、車両走行時における前方を走行する車両あるいは後方から接近する車両を検知し、運転者に警告を与える車両周辺監視装置に関する。
【０００２】
【従来の技術】
自車両が片側２車線以上の道路を走行し、これから変更しようとする隣接車線に自車両よりも高速で走行する他車両が存在した場合、あるいは、自車両が前方を走行中の他車両よりも高速で走行していた場合には、他車両の存在を見逃すと事故につながる危険性がある。
また、自車両の後方を走行する他車両が自車両に急接近してきた場合、不用意な急ブレーキを行うと他車両に追突される危険性があるので、この急接近する他車両を予め認識しておくことは車両運行上の安全面から有用である。
【０００３】
従来、上述したような他車両すなわち隣接車線を走行する車両あるいは同一車線を走行する車両を運転者に認識させる従来例としては、本出願人が特願平５−１９６１８６号にて出願した発明（以下、先願発明という）がある。
この先願発明は、後述するオプティカルフローに基づいて、他車両の認識を行うものである。以下、この先願発明について説明する。
【０００４】
図１５は、この先願発明を実施する装置（以下、先願装置という）の構成を示すブロック図である。同図において、１０は撮像手段としての撮像部で、例えばビデオカメラ１１を有している。また、３０は演算処理装置としてのデータ処理部であり、４２は警報手段としてのスピーカである。
【０００５】
撮像部１０は、車両後方の所定位置例えばトランクの上部位置に車両後方正面に向けて配設されている。
データ処理部３０は、動作プログラムに従って動作する中央制御装置としてのＣＰＵ３１、このＣＰＵ３１の動作プログラム及び予め与えられる設定値などを保持するＲＯＭ３２、ＣＰＵ３１の演算実行時に必要なデータを一時的に保持するＲＡＭ３３を有している。
スピーカ４２は、車両内部に配設され、データ処理部３０のＣＰＵ３１からの駆動信号に必要に応じて音声や警報音を発生することにより運転者などに危険を知らせる。
【０００６】
図１６は、上述したように、自車両の後方部に搭載された撮像部１０による撮像画像の変化を説明する図であり、図１６（ａ）は時刻ｔにおける撮像画像、図１６（ｂ）は時刻ｔ＋△ｔにおける撮像画像を示している。
そして、これらの各図において、２００は自車両の後方を走行する後続車両、３００は道路５００に隣接して配設された道路標識、４００は同じく道路５００に隣接して配設された建物である。
【０００７】
今、自車両が平坦な道を直進しているとすると、時刻の経過すなわち自車両の走行に伴い、道路標識３００や建物４００は自車両との相対距離が離れ小さく撮像される。図においては、図１６（ａ）すなわち時刻ｔの撮像画像における道路標識３００及び建物４００と、図１６（ｂ）すなわち時刻ｔ＋△ｔの撮像画像における道路標識３００及び建物４００に関し、図１６（ｂ）の道路標識３００及び建物４００の方が小さく撮像されている。
以下、これらの図を参照して、この先願発明において用いられるオプティカルフローについて説明する。
【０００８】
これらの図において、撮像画像内に設定された複数の対応点、例えば他車両２００における着目点、道路標識３００における着目点、建物４００における着目点に関し、各時間毎の着目点すなわち時刻ｔ〔図１６（ａ）〕における各着目点２０１ａ、２０２ａ、３０１ａ、３０２ａ、３０３ａ、４０１ａ及び４０２ａと、時刻ｔ＋△ｔ〔図１６（ｂ）〕における各着目点２０１ｂ、２０２ｂ、３０１ｂ、３０２ｂ、３０３ｂ、４０１ｂ及び４０２ｂについて、互いに対応する着目点同士を結合することにより、図１６（ｃ）に示す速度ベクトルすなわち２０１Ｆ、２０２Ｆ、３０１Ｆ、３０２Ｆ、３０３Ｆ、４０１Ｆ及び４０２Ｆが得られる。この得られた速度ベクトルがオプティカルフローである。
【０００９】
ここで、このオプティカルフローは、画面内の無限遠点あるいは消失点として定義されるＦＯＥ(Focus of Expansion)から放射状に現れていることが判る。このＦＯＥは、車両が直進している場合の画像上において、自車両の進行方向の正反対方向を示す１点に対応する。
そして、自車両の走行状態において、自車両から遠ざかる物体のオプティカルフローは上記ＦＯＥに向かう収束方向のベクトルとなり、自車両に近づいてくる物体のオプティカルフローは上記ＦＯＥから離れる発散方向のベクトルとなる。
従って、同図に２０１Ｆ及び２０２Ｆで示す後続の他車両２００のオプティカルフローは発散方向のベクトルであるので、この他車両は自車両に近づいてきていること、換言すれば自車両よりも高速で走行している車両であることが判る。
【００１０】
また、このオプティカルフローの大きさに関し、このオプティカルフローの大きさは、単位時間における自車両と対象物体との距離の差すなわち速度差が大きい程大きくなり、自車両と対象物体との相対距離が近い程大きくなる。このことを図面を参照して説明する。
【００１１】
図１７は、撮像部１０の光学的配置を示した図である。同図において、１１ａは撮像部１０のビデオカメラが有するレンズ、１１ｂは同じくビデオカメラが有するイメージプレーン、ｆはレンズ１１ａからイメージプレーン１１ｂまでの距離、Ｐ（Ｘa ，Ｙa ，Ｚa ）は後続する他車両上の任意の１点、ｐ（ｘa ，ｙa ）はイメージプレーン１１ｂ上における上記点Ｐに対応する点である。
【００１２】
この場合、３角形の相似の比から、次式（１）の関係が得られる。
ｘa ＝ｆ・Ｘa ／Ｚa ・・・ （１）
この式（１）を変形して時間微分すると、次式（２）が得られる。
Ｘa ’＝（Δｘa ／Δｔ・Ｚa ＋ｘa ・Ｚa ’）／ｆ ・・・ （２）
また、オプティカルフローのｘ方向成分ｕは、次式（３）で表せる。
ｕ＝Δｘa ／Δｔ ・・・ （３）
従って、この式（３）により次式（４）を得ることができる。
Ｚa ＝（ｆ・Ｘa ’−ｘa ・Ｚa ’）／ｕ ・・・ （４）
【００１３】
ここで、上式（４）のＺa ’は、同一車線あるいは隣接車線を走行する他車両（図１６に符号２００で示す）と撮像部１０が搭載された自車両との速度差すなわち相対速度を示している。この相対速度を−αとすると上式（４）は次式（５）となる。
Ｚa ＝（ｆ・Ｘa ’＋ｘa α）／ｕ ・・・ （５）
よって、オプティカルフローのｘ方向成分ｕは、次式（６）のように表すことができる。
ｕ＝（ｆ・Ｘa ’＋ｘa α）／Ｚa ・・・ （６）
なお、点ＰのＹ座標Ｙa についても同様にして求めることができる。
【００１４】
よって上式（６）より、Ｚが小すなわち後続車両又は隣接車線を走行中の他車両２００までの距離が小である程、あるいは、αが大すなわち他車両２００との速度差が大である程、オプティカルフローのｘ成分は大きくなる。これはＹ方向についても同様である。
従って、オプティカルフローは後続する他車両２００との距離が小な程、更に互いの速度差が大な程長くなり、これよりオプティカルフローの方向がＦＯＥに対して発散し、その長さが短いときより長いときの方が相対的に後続車両又は隣接車両に対する危険度が大きことが判る。
【００１５】
従って、データ処理部３０は、このオプティカルフローが上述した発散方向のベクトルであり且つその大きさが大きい場合には、対象物体は自車両に対し、接近した位置に存在するか、自車両よりも高速で接近しているかの少なくとも一方の状態にあると考えられ、危険度が高いと判断する。
そして、危険度が高いと判断した場合には、スピーカ４２により運転者にその旨を知らせる。
【００１６】
【発明が解決しようとする課題】
このような先願発明及び先願装置では、オプティカルフローの大きさに基づき認識を行うよう構成されているので、後方や隣接車線を走行している他車両に関し、その相対距離、相対速度及び危険度を自動的に判断でき、且つ、特別な距離計を必要としない利点があり有効である。
【００１７】
ところで、これらの先願発明及び先願装置では、オプティカルフローの検出には時間を要すること、ビデオカメラのぶれあるいは似たような構造物が撮像されることにより、本来、同一点でない点が同一点として誤認識されてしまう可能性がある。
このため、オプティカルフローを検出する際において、その対象とする監視対象領域を例えば撮像画像中における下半分領域といったように制限し、処理の高速化を図るとともに誤認識の発生を減少させるように構成していた。
【００１８】
しかしながら、このように監視対象領域を下半分領域に制限したとしても、実際に車両が走行する領域は、この制限された領域中の一部の領域であるので、この点においてまだ改良の余地があった。
本発明は、このような点に鑑みてなされたものであり、オプティカルフロー検出時における監視対象領域をさらに制限し、処理を高速化するとともに他車両の誤認識を減少できる車両周辺監視装置を提供することをその課題とする。
【００１９】
【課題を解決するための手段】
前記課題を解決するため、本発明によりなされた車両周辺監視装置は、図１の基本構成図に示すように、自車両の所定位置に配設され自車両の周辺領域を撮像する撮像手段（１１）と、所定時間相前後する２画像中における同一点について、監視領域内における前記点の無限遠点から発散する方向の移動をオプティカルフローとして検出するオプティカルフロー検出手段（３１ａ）とを有し、自車両の周辺を走行する他車両のオプティカルフローのベクトルの大きさに基づいて、前記他車両と自車両との相対情報を取得する車両周辺監視装置において、
路面上に描かれた分離線に基づいて監視領域を複数の分割監視領域に分割する監視領域分割手段（３１ｂ）と、前記監視領域分割手段（３１ｂ）により分割された分割監視領域を選択する領域選択手段（３１ｃ）とを有し、前記領域選択手段（３１ｃ）により選択された分割監視領域を前記オプティカルフロー検出手段（３１ａ）による監視領域とすることを特徴としている。（請求項１）
【００２０】
また、前記領域選択手段（３１ｃ）は、車両の転回方向を検出する転回方向検出手段（５１）、運転者による転回指示を検出する転回指示検出手段（５２）及び前記分離線の種別を検出する分離線検出手段（３１ｄ）の少なくとも１つの手段から出力された検出信号に基づき、前記監視領域を選択することを特徴としている。（請求項２）
【００２１】
また、前記分離線検出手段（３１ｄ）は、前記分離線が連続した直線であることを検出する連続線検出手段（３１ｅ）と、前記分離線が破線であることを検出する破線検出手段（３１ｆ）とを有し、前記領域選択手段（３１ｃ）は、監視領域分割手段（３１ｂ）により分割された分割監視領域の内、破線の分離線側の分割監視領域を選択するように構成したことを特徴としている。（請求項３）
【００２２】
また、撮像手段（１１）により撮像された撮像画像を微分することにより微分画像を生成する画像微分手段（３１ｇ）と、前記画像微分手段（３１ｇ）により生成された微分画像に基づいて分離線を構成する分離線候補点を抽出し、この抽出した分離線候補点から分離線を認識する分離線認識手段（３１ｈ）とを有し、前記監視領域分割手段（３１ｂ）は、前記分離線認識手段（３１ｈ）により認識された分離線に基づいて監視領域を複数の分割監視領域に分割することを特徴としている。（請求項４）
【００２３】
また、前記連続線検出手段（３１ｅ）及び破線検出手段（３１ｆ）は、前記分離線認識手段（３１ｈ）により認識された分離線に基づき、前記分離線が連続した直線であるか破線であるかを検出することを特徴としている。（請求項５）
【００２４】
また、前記撮像手段（１１）は、少なくとも車両の前方あるいは後方のいずれか一方に向けて取り付けられており、前記分離線認識手段（３１ｈ）は、撮像画像上における水平方向略中心位置に垂直方向に設定された基準線から、水平方向両端部に向けてエッジ点を探索することにより分離線候補点群を取得する分離線候補点取得手段（３１ｉ）と、前記分離線候補点取得手段（３１ｉ）により取得された分離線候補点群から、最も多くの分離線候補点を含む直線を前記基準線の水平方向両端部側よりそれぞれ取得する直線取得手段（３１ｊ）とを有し、前記直線取得手段（３１ｊ）により取得された直線を分離線として認識することを特徴としている。（請求項６）
【００２５】
上記請求項１の構成において、監視領域分割手段（３１ｂ）は、路面上に描かれた分離線に基づいて監視領域を複数の分割監視領域に分割し、領域選択手段（３１ｃ）は、この分割監視領域をオプティカルフロー検出手段（３１ａ）による監視領域として選択する。
【００２６】
このように、路面上に描かれた分離線に基づいて監視領域を分割する手段と、この分割された分割監視領域を選択し新たな監視領域を設定する手段とを設けたので、分離線に基づいて車両の走行車線毎に監視領域を設定することができる。そして、他車両が走行しない走行車線領域あるいは自車両が走行しない走行車線領域に関しては監視対象から外すことにより、監視領域を必要な領域に制限することができる。
【００２７】
そして、この請求項１の構成における領域選択手段（３１ｃ）は、請求項２に示すように、転回方向検出手段（５１）、転回指示検出手段（５２）及び分離線検出手段（３１ｄ）の少なくとも１つの手段から出力された検出信号に基づき、前記監視領域を選択する。
【００２８】
すなわち、転回方向検出手段（５１）は、車両の左右側の進行方向である転回方向を検出する。そして、転回指示検出手段（５２）は、運転者が車両を左右側に転回させる際に操作する機構からの転回指示情報を検出する。また、分離線検出手段（３１ｄ）は、撮像画像から上記分離線の種別すなわち車線変更可能な分離線であるのか車線変更を禁止する分離線であるのかを判定する。
そして、領域選択手段（３１ｃ）は、これらの各手段（５１、５２、３１ｄ）からの検出情報に基づいて分割監視領域を選択するので、車両が実際に転回している方向〔転回方向検出手段（５１）〕、これから転回しようとする方向〔転回指示検出手段（５２）〕あるいは車両が転回可能な車線の方向〔分離線検出手段（３１ｄ）〕の監視領域を選択することができ、監視領域を必要な領域に制限することができる。
【００２９】
この請求項２の分離線検出手段（３１ｄ）は、請求項３に示すように、連続線検出手段（３１ｅ）と破線検出手段（３１ｆ）とを有している。そして、連続線検出手段（３１ｅ）は、分離線が連続した直線であることを検出し、破線検出手段（３１ｆ）は、分離線が破線であることを検出する。
【００３０】
すなわち、この請求項３の構成によれば、分離線が連続した直線であることすなわち分離線が車線変更を禁止する種別であることを検出する手段〔連続線検出手段（３１ｅ）〕及び分離線が破線であることすなわち分離線が車線変更可能な種別であることを検出する手段〔破線検出手段（３１ｆ）〕を設けたので、車両が転回可能な車線の方向を検出することができる。
【００３１】
また、上記請求項４の構成によれば、画像微分手段（３１ｇ）は、撮像手段（１１）撮像画像から微分画像を生成し、分離線認識手段（３１ｈ）は、微分画像から分離線候補点を抽出するとともにこの抽出した分離線候補点から分離線を認識する。
【００３２】
すなわち、この請求項４の構成によれば、撮像画像を微分することにより、画像上の境界画像すなわちエッジ部分の画像（微分画像）を生成し、この生成した微分画像から分離線を認識するように構成したので、路面上に描かれた分離線は、この微分画像上において直線状に現れる。従って、この分離線を示す直線を検出することにより、撮像画像上における分離線を認識することができる。
【００３３】
また、上記請求項５の構成によれば、連続線検出手段（３１ｅ）及び破線検出手段（３１ｆ）は、上記請求項４に示された分離線認識手段（３１ｈ）からの分離線の認識情報により、当該分離線が連続した直線であるか破線であるかを検出する。
【００３４】
すなわち、分離線認識手段（３１ｈ）は、微分画像上において直線状に現れたエッジ画像について、このエッジ画像が破線あるいは連続線であるのかを認識し、そして、連続線検出手段（３１ｅ）及び破線検出手段（３１ｆ）は、この認識情報に基づいて分離線が連続した直線であるか破線であるかを検出する。
【００３５】
このように、分離線の種類をエッジ画像に基づいて検出するように構成したので、認識に係る処理を簡単にすることができ処理を高速に行うことができる。
【００３６】
また、上記請求項６の構成によれば、分離線認識手段（３１ｈ）は、分離線候補点取得手段（３１ｉ）と、直線取得手段（３１ｊ）とを有している。
この分離線候補点取得手段（３１ｉ）は、車両の前方あるいは後方の撮像画像上における水平方向略中心位置すなわち車両が走行している車線上に、垂直方向すなわち車両の進行方向に向けて延長された基準線から、水平方向すなわち車両の転回方向側における両端部に向けてエッジ点を探索し、これにより分離線候補点群を取得する。
一方、直線取得手段（３１ｊ）は、取得された分離線候補点群から、最も多くの分離線候補点を含む直線を取得する。なお、この直線取得手段（３１ｊ）により取得される直線は、前記基準線を境にして水平方向両端部よりそれぞれ取得される。
そして、分離線認識手段（３１ｈ）は、この取得された直線を分離線として認識する。
【００３７】
このように、撮像手段（１１）を車両の前方あるいは後方に向けて取り付けることにより、撮像手段（１１）により撮像された画像は、車両の進行方向を直視した画像となる。そして、この撮像画像における水平方向中心位置に基準線を設定することにより、この基準線は、車両が走行している走行車線上の水平方向略中心位置に位置する。
従って、この基準線より水平方向両端部側にエッジ点を探索することにより、取得されたエッジ点が走行車線を分離する分離線を示すエッジ点である確度が高くなるので、分離線の認識確度を向上させることができる。
【００３８】
【発明の実施の形態】
以下、本発明の実施の形態の具体例を図面を参照して説明する。図２は、本発明が適用される装置の構成を示すブロック図で、同図において、１０は撮像部、２０は撮像部１０からの画像データなどを保持する記憶部、３０は撮像部１０からの画像情報に基づき画像処理及び他車両との相対関係監視処理などを実行するデータ処理部、４０は撮像部１０からの画像情報を表示したり警報を発生する表示警報部、５０は自車両の走行方向を示す情報、走行方向を変更する際の操作情報を示す信号の入力を行う信号入力部である。
【００３９】
撮像部１０は、ビデオカメラ１１から構成されている。そして、このビデオカメラ１１は、図１７にて説明したように、レンズ（図１７にて符号１１ａにて示す）とイメージプレーン（同１１ｂ）とを有している。
そして、撮像部１０のビデオカメラ１１は、図３に示すように車両に取り付けられている。
【００４０】
すなわち、ビデオカメラ１１は、車両１００の後部のトランク部１１０上に、支持台１２を介して、車両１００の後方に向けて取り付けられている。そして、このビデオカメラ１１は、車両の後方画像を撮像するように構成されている。そして、このビデオカメラ１１は、データ処理部３０のＣＰＵ３１（後述）に対し、車両後方の撮像画像情報を出力する。
【００４１】
記憶部２０は、前記撮像部１０からの撮像画像情報を微分することにより生成された微分画像情報を保持する微分画像メモリ２１と、前記撮像画像情報を保持する第１フレームメモリ２２及び第２フレームメモリ２３と、発散方向のオプティカルフローを保持する発散オプティカルフローメモリ２４とを有している。
【００４２】
そして、この記憶部２０を構成する各メモリ２１乃至２４の内、微分画像メモリ２１、第１フレームメモリ２２及び第２フレームメモリ２３は、例えば５１２画素×５１２画素といったｍ行ｎ列からなるマトリクス状のメモリとして構成されている。
また、各メモリ２１乃至２４は、データ処理部３０のＣＰＵ３１に対し、読み書き可能に接続されている。
【００４３】
データ処理部３０は、上述した先願装置と同様な構成を有している。すなわち、動作プログラムに従って動作する中央制御装置としてのＣＰＵ３１、このＣＰＵ３１の動作プログラム及び予め与えられる設定値などを保持するＲＯＭ３２及びＣＰＵ３１の演算実行時に必要なデータを一時的に保持するＲＡＭ３３を有している。
【００４４】
表示警報部４０は、表示器４１と、スピーカ４２と、制動機構４３とを有している。
表示器４１は、ＣＲＴなどで構成され、ビデオカメラ１１が撮像した撮像画像を表示したり、あるいは、データ処理部３０（ＣＰＵ３１）が他車両との接触危険性有りと判定した際に、メッセージなどを表示して運転者に対して危険を映像で知らせる。
【００４５】
スピーカ４２は、データ処理部３０からの音声信号に基づき、音声ガイダンスあるいは警報音といった音声を発生する。そして、データ処理部３０が他車両との接触危険性有りと判定した場合には、この音声により運転者に対して危険を音声で知らせる。
【００４６】
制動機構４３は、車両の制動機構すなわちブレーキとして構成されている。この制動機構４３は、通常のブレーキとは別系統の制御にて動作するもので、上述した表示器４１及びスピーカ４２と同様に、データ処理部３０が他車両との接触危険性有りと判定した場合において作動し、車両を制動させる。
【００４７】
信号入力部５０は、ハンドル舵角あるいは車両の操舵輪（一般には前輪）の操舵角を検出する舵角センサ５１と、運転者によるウインカ機構の操作状態を検出するウインカ検出スイッチ５２とを有しており、舵角センサ５１により車両の転回情報を検出し、ウインカ検出スイッチ５２により運転者が車両を左右側に転回させる際に操作するウインカ機構からの転回指示情報を検出する。
【００４８】
以上の構成を有する具体例の動作、すなわちデータ処理部３０による制御動作について、フローチャートを参照して説明する。
この具体例においては、まず図４のフローチャートすなわち具体例における主フローチャートのステップＳ１１０にて、画像取得処理を行う。
【００４９】
このステップＳ１１０における画像取得処理は、最初の処理を行う際に、監視領域を設定するための画像情報を取得する処理で、このステップＳ１１０の処理により、例えば図７に示す後方の画像が撮像される。
この撮像画像は、上述したように、ビデオカメラ１１が車両１００の後部に後方に向けて取り付けられているので、車両の後方を直視した画像となっており、同図に示すように、道路５００、道路５００上に描かれた分離線５１０乃至５５０及び道路５００の両脇に立設された壁６００が、画像上における水平方向中心位置にて消失する画像となっている。
そして、この取得した画像情報については、記憶部２０の第１フレームメモリ２１に格納される。
【００５０】
なお、この図７の撮像画像は、高速道路といった自動車専用道路上を走行中の自車両からの撮像画像を例示している。
従って、この撮像画像において、連続直線となっている分離線５１０、５３０及び５５０は、車線変更を禁止する線として描かれ、破線となっている分離線５２０及び５４０は、車線変更が可能な線として描かれている。
また、この撮像画像は、上述したように、車両の後方に向けて取り付けられているので、撮像画像における右側が進行方向を基準とした場合の左側に相当し、撮像画像における左側が進行方向を基準とした場合の右側に相当する。以後、この撮像画像を基準とした左右方向で説明を行うことにする。
【００５１】
引き続くステップＳ１２０では、監視領域設定処理を行う。この監視領域設定処理は、具体的には、図５のフローチャートによりなされる。以下、この図５のフローチャートを参照して説明する。
【００５２】
この監視領域設定処理では、まずステップＳ２１０にて、取得画像の微分処理を行う。
より詳細には、このステップＳ２１０では、上記ステップＳ１１０で取得され、第１フレームメモリ２１に格納された画像情報に関し、そのｍ行ｎ列の画像データの輝度値Ｉm,n を図７における水平方向に走査し、次式（７）の演算によって微分画像を生成する。
｜Ｉm,n+1 −Ｉm,n ｜≧Ｅ0 ならば Ｅm,n ＝１
｜Ｉm,n+1 −Ｉm,n ｜＜Ｅ0 ならば Ｅm,n ＝０ ・・・（７）
上記式中、Ｅ0 はしきい値
【００５３】
このようなステップＳ２１０の微分処理を実行することにより、縦方向あるいは斜方向に輝度値に差を有する部分の画像すなわち境界（エッジ）部分が線状に現れた画像が生成される。例えば、上述した図７の撮像画像に対し、このステップＳ２１０の微分処理を行った場合には、図８に示すような微分画像（エッジ画像）が生成される。
そして、この微分画像については、記憶部２０の微分画像メモリ２１に格納される。
【００５４】
引き続くステップＳ２２０では、分離線エッジ抽出処理を行う。この分離線エッジ抽出処理は、具体的には、図６のフローチャートによりなされる。以下、この図６のフローチャートを参照して説明する。
【００５５】
この分離線エッジ点抽出処理では、まずステップＳ３１０にて、基準線の設定を行う。
このステップＳ３１０では、上記ステップＳ２１０で生成された微分画像を読み出し、この微分画像に対し基準線を設定する。
より詳細には、図９の模式図に示すように、この基準線ＶSLは、後方画像上の水平方向における中心位置であって垂直方向に、撮像画像を縦断するように設定される。
【００５６】
この場合、基準線ＶSLは、自車両が走行している分離線５２０及び分離線５３０にて区切られた車線上であって、この車線の水平方向略中心位置に設定される。これは、一般に車両は、分離線で区切られた車線上のほぼ中央を走行するからである。
このように基準線ＶSLを設定した後、ステップＳ３２０に移行する。
【００５７】
ステップＳ３２０では、分離線エッジ候補点の探索を行う。この分離線エッジ候補点の探索処理は、上記ステップＳ３１０にて設定された基準線ＶSLから水平方向側になされる。また、このエッジ点の探索処理は、撮像画像における下方側すなわち自車両に近接した位置から所定距離遠方側の範囲に対してなされる。
【００５８】
より詳細には、図９の模式図に示すように、この微分画像が上述したように５１２画素×５１２画素からなるマトリクス状のメモリから構成されていたとすると、このエッジ点の探索処理は、その最下端にある水平ラインＨ(L0)から垂直方向における１／３の高さに相当する水平ラインＨ(L169)までの範囲Ｈ1/3 が設定されこの範囲Ｈ1/3 に対して処理が行われる。
【００５９】
なお、この探索処理の範囲については、その撮像画像に適した範囲として任意に設定することができる。すなわち、路面に描かれた分離線（分離線５２０及び５３０）を認識可能な範囲であれば、上述した１／３の高さに限定されるものではない。
【００６０】
そして、この探索処理においては、上述したように、画面の下端に位置する水平ラインＨ(L0)から上側の水平ラインＨ(L169)に向けて探索処理を実行する。
すなわち、この探索処理においては、まず、基準線ＶSL上であって最下端の点Ｐ(S0)から、水平方向両端部に向けてエッジ点の探索を行う。そして、図９の例においては、この探索処理により、基準線ＶSLの左側に存在する分離線５２０のエッジを構成する点Ｐ(L0)及び基準線ＶSLの右側に存在する分離線５３０のエッジを構成する点Ｐ(R0)が取得される。
【００６１】
続いて、最下端より２番目に位置する点Ｐ(S1)から、水平方向両端部に向けてエッジ点の探索が行われ、これにより基準線ＶSLの左側に存在する分離線５２０のエッジを構成する点Ｐ(L1)及び基準線ＶSLの右側に存在する分離線５３０のエッジを構成する点Ｐ(R1)が取得される。
【００６２】
このような処理を撮像画像における上方に向けて順次実行すると、その中間位置すなわち基準線ＶSL上の点Ｐ(Sn)にて、基準線ＶSLの左側に存在する分離線５２０の切れ目に遭遇する。この場合、この基準線ＶSLの右側においては分離線５３０のエッジを構成するエッジ点Ｐ(Rn)が取得されるが、基準線ＶSLの左側においては、エッジ点は取得されない。
そして、基準線ＶSL上の点Ｐ(Sm)にて、再度分離線５２０のエッジを構成する点Ｐ(Lm)及び分離線５３０のエッジを構成する点Ｐ(Rm)が取得される。
【００６３】
さらに、この探索処理を順次実行すると、基準線ＶSL上の点Ｐ(S(m+2))にて、他車両２００のタイヤのエッジを構成する点Ｐ(L(m+2))及び点Ｐ(R(m+2))が取得され、基準線ＶSL上の点Ｐ(S(m+4))にて、他車両２００のタイヤのエッジを構成する点Ｐ(L(m+4))及び点Ｐ(R(m+4))が取得される。
そして、この探索処理を監視領域における上端である水平ラインＨ(L169)まで実行すると、図１０に示す分離線エッジ候補点が取得される。
このような分離線エッジ候補点の取得により、ステップＳ３２０の分離線エッジ候補点の探索処理を終了して、ステップＳ３３０に移行する。
【００６４】
ステップＳ３３０では、ハフ変換によるエッジ点の抽出処理を行う。
このハフ変換は、検出したい線を表現する式のパラメータにより構成される空間でエッジ要素のクラスタリングを行うことにより、このパラメータを決定する方法である。
より詳細には、エッジを構成する座標点（ｘ，ｙ）を次式（８）に従ってパラメータ空間（ρ，θ）に写像すると、同一の直線上の座標点は、全てこのパラメータ空間上の一点を通過することを利用し、複数の座標点群から直線上に存在する座標点を抽出する処理である。
ρ ＝ ｘｃｏｓθ ＋ ｙｓｉｎθ ・・・ （８）
【００６５】
従って、このステップＳ３３０では、図１０の分離線候補点について、基準線ＶSLの右側に存在する分離線候補点群〔同図にＰ(R0)乃至Ｐ(R(m+4))にて示す〕と、基準線ＶSLの左側に存在する分離線候補点群〔同図にＰ(L0)乃至Ｐ(L(m+4))にて示す〕について、上述したハフ変換を実行する。
この処理を実行することにより、図１０の分離線候補点群すなわち点Ｐ(R0)乃至Ｐ(R(m+4))及び点Ｐ(L0)乃至Ｐ(L(m+4))から図１１に示す点Ｐ(R0)乃至Ｐ(R(m+1))及び点Ｐ(L0)乃至Ｐ(L(m+1))が分離線を構成するエッジ点（分離線エッジ点）として抽出される。
そして、このステップＳ３３０の処理が終了すると、一連の分離線エッジ抽出処理を終了し、図５のフローチャートにおけるステップＳ２３０に移行する。
【００６６】
以上の説明から明らかなように、この分離線エッジ抽出処理においては、ビデオカメラ１１を車両の後方に向けて取り付けることにより、ビデオカメラ１１により撮像された画像は、車両の進行方向を直視した画像となる。そして、この撮像画像における水平方向中心位置に基準線ＶSLを設定したので、この基準線ＶSLは、車両が走行している走行車線上の水平方向略中心位置に位置する。
そして、この基準線ＶSLより水平方向両端部側にエッジ点を探索するように構成したので、取得されたエッジ点は走行車線を分離する分離線を示すエッジ点となる確率が高くなり、分離線の認識確度を向上させることができる。
【００６７】
ステップＳ２３０では、分離線認識処理を行う。この分離線認識処理では、上記ステップＳ２２０（ステップＳ３１０乃至Ｓ３３０）にて抽出された分離線エッジ点（点Ｐ(R0)乃至Ｐ(R(m+1))及び点Ｐ(L0)乃至Ｐ(L(m+1))）について、最小二乗法による近似直線を生成し、この生成した近似直線を分離線として認識する処理である。
そして、この分離線認識処理により、図１１に符号ＯR で示す右側近似直線（点Ｐ(R0)乃至Ｐ(R(m+1))）及び符号ＯL で示す左側近似直線（点Ｐ(L0)乃至Ｐ(L(m+1))）が生成され、これらの右側近似直線ＯR 及び左側近似直線ＯL が分離線として認識される。
【００６８】
このように、撮像画像から微分画像を生成し、この生成した微分画像から分離線を認識するように構成したので、路面上に描かれた分離線は、この微分画像上において直線状に現れる。そして、この分離線を示す直線を検出することにより、撮像画像上における分離線を認識することができる。
【００６９】
引き続くステップＳ２４０では、上記ステップＳＳ２３０で認識した分離線に基づいて上述したＦＯＥ（消失点）を設定する処理を行う。すなわち、このＦＯＥ設定処理では、図１１に示すように、分離線として認識された右側近似直線ＯR と左側近似直線ＯL に基づき、これらの近似直線の交点座標を算出するとともにこの算出した交点座標をＦＯＥとして設定する。
そして、このステップＳ２４０にてＦＯＥを設定するとステップＳ２５０に移行する。
【００７０】
ステップＳ２５０では、監視領域の分割を行う。この監視領域の分割処理は、上記ステップＳ２３０にて認識された分離線すなわち右側近似直線ＯR 及び左側近似直線ＯL と、上記ステップＳ２４０にて設定されたＦＯＥとに基づきなされる。
そして、この監視領域の分割処理により、図１２に示すように、上記ＦＯＥから水平方向右側に延びる境界線である右側上端線ＨURと、水平方向左側に延びる境界線である左側上端線ＨULとが設定され、これらの右側上端線ＨUR及び左側上端線ＨULと、右側近似直線ＯR 及び左側近似直線ＯL により、監視領域ＳＶは、右側監視領域ＳＶ(R) 、中央監視領域ＳＶ(S) 及び左側監視領域ＳＶ(L) に分割される。
【００７１】
引き続くステップＳ２６０では、拡張する車線の判定を行う。この判定処理は、上記ステップＳ２５０にて分割された監視領域ＳＶ（図１２参照）について、自車両が走行している車線に相当する中央監視領域ＳＶ(S) を基準として、この中央監視領域ＳＶ(S) に右側監視領域ＳＶ(R) あるいは左側監視領域ＳＶ(L) のいずれの領域側に監視領域を拡張するかを判定する。
【００７２】
そして、この具体例においては、分離線の種別に基づいて監視領域の拡張を行うように構成している。
この場合、上記ステップＳ３３０の処理により抽出された分離線エッジ点の配列状態に基づいて分離線の種別を判定する。例えば、図１１に示すように分離線エッジ点が抽出されたとすると、連続線である分離線５３０に対応する右側近似直線ＯR 上の点Ｐ(R0)乃至Ｐ(R(m+1))は各エッジ点が連続した状態に配列されており、破断線である分離線５２０に対応する左側近似直線ＯL 上の点Ｐ(L0)乃至Ｐ(L(m+1))は各エッジ点がその途中で破断した状態に配列されている。
【００７３】
そして、エッジ点の配列状態に基づいて、その途中に破断部分が存在する場合には分離線が破断線であるとみなし、連続した配列状態である場合には分離線が連続線であるとみなしている。さらに、分離線が破断線である場合には、この分離線が車線変更可能な種別であると判定し、分離線が連続線である場合には、この分離線が車線変更を禁止する種別であると判定している。
従って、この判定処理では、分離線が車線変更可能な種別すなわち破断線である側に監視領域を拡張する。例えば、図１１に示す場合においては、分離線５２０に対応する左側近似直線ＯL 上の点Ｐ(L0)乃至Ｐ(L(m+1))側に領域を拡張すると判定する。
【００７４】
このように、分離線が車線変更を禁止する種別（連続線）であることを検出する手段と、分離線が車線変更可能な種別（破断線）であることを検出する手段を設けたので、車両が転回可能な車線の方向を検出することができる
【００７５】
なお、このステップＳ２６０においては、分離線を検出する場合において、エッジ点に破断部分が存在するか否かに基づいて判定する構成を示しているが、この構成では、車両により分離線が隠れた場合にも分離線が破断部分を有すると判定してしまう可能性がある。
このため、この構成においては、破断線を判定するにあたり、破断部分の基準長さを設定し、この基準長さの範囲内である場合に破断線と判定し、基準長さの範囲を超えたものについては車両により分離線が隠れたものと判定するようにしている。このように構成することにより、車両による分離線の誤認識を防ぐことができる。
【００７６】
また、このステップＳ２６０においては、分離線が連続線であるか破線であるかに基づいて車線変更可能な領域を判定し、車線変更可能な側に監視領域を拡張する構成を例示したが、この判定を信号入力部５０の舵角センサ５１及びウインカ検出スイッチ５２からの出力に基づいて行うように構成してもよい。
すなわち、舵角センサ５１により検出されたハンドル舵角あるいは車両の操舵輪（一般には前輪）の操舵角情報、ウインカ検出スイッチ５２により検出された運転者によるウインカ機構の操作状態の情報に基づいて監視領域を拡張するように構成してもよい。
【００７７】
このように、これらの舵角センサ５１及びウインカ検出スイッチ５２からの検出情報に基づいて分割監視領域を選択した場合、車両が実際に転回している方向あるいはこれから転回しようとする方向の監視領域を選択することができ、監視領域を必要な領域に制限することができる。
【００７８】
そして、上述したように、左側に破断線の分離線が存在した場合には、ステップＳ２６２に移行し、中央監視領域ＳＶ(S) に左側監視領域ＳＶ(L) を加えた監視領域を設定し、一方、右側に破断線の分離線が存在した場合には、ステップＳ２６１に移行し、中央監視領域ＳＶ(S) に右側監視領域ＳＶ(R) を加えた監視領域を設定する（図１２参照）。
【００７９】
このように、路面上に描かれた分離線に基づいて監視領域を分割し、この分割された分割監視領域を選択し新たな監視領域を設定するように構成したので、分離線に基づいて車両の走行車線毎に監視領域を設定することができ、他車両が走行しない走行車線領域あるいは自車両が走行しない走行車線領域に関しては監視対象から外すことにより、監視領域を必要な領域に制限することができる。
そして、このステップＳ２６１及びＳ２６２の処理にて監視領域を拡張することにより、一連の監視領域設定処理を終了し、図４のフローチャートにおけるステップＳ１３０に移行する。
【００８０】
ステップＳ１３０では、オプティカルフロー検出処理を行う。このオプティカルフロー検出処理は、上記ステップＳ１２０で設定された監視領域についてなされ、上述したように、左側に破断線の分離線が存在し、中央監視領域ＳＶ(S) に左側監視領域ＳＶ(L) を加えた監視領域が設定された場合には、図１３に示すように、第１フレームメモリ２２に格納された撮像画像に、左側上端線ＨUL及び右側近似直線ＯR により規定される範囲の監視領域が設定される。
【００８１】
また、この第１フレームメモリ２２に格納された撮像画像より所定時間△ｔだけ遅延して撮像され、第２フレームメモリ２３格納された撮像画像に対しても同じ監視領域（中央監視領域ＳＶ(S) 及び左側監視領域ＳＶ(L) ）が設定される。そして、このステップＳ１３０では、図１４に示すように、時刻ｔにおける撮像画像（図１３参照）中の画像構成点と、時刻ｔ＋△ｔの撮像画像中の画像構成点において、互いに対応する各点間の移動方向並びに移動量をオプティカルフローとして検出する。
【００８２】
例えば、車両２００の点２０１及び２０２については、時刻ｔにおける点２０１ａ及び２０２ａと対応する時刻ｔ＋△ｔにおける点２０１ｂ及び２０２ｂ間の移動方向並びに移動量が、オプティカルフロー２０１Ｆ及び２０２Ｆとして検出される。
【００８３】
そして、ステップＳ１４０では、危険度の算出処理を行う。すなわち、このステップＳ１４０では、上記ステップＳ１３０にて取得したオプティカルフローの内、上述したオプティカルフロー２０１Ｆ及び２０２Ｆのように発散方向のオプティカルフローに対し、その大きさ（長さ）に重み付けをし数値化する。
なお、この算出処理において、しきい値を数レベル設定しておき、危険度のレベルを算出するようにしてもよい。
【００８４】
引き続くステップＳ１５０では、上記ステップＳ１４０で算出された危険度に基づき、この危険度が或るしきい値を越えたら危険と判断する。また、危険度のレベルが与えられた場合には、このレベルが規定値以上となった場合に危険と判断する。
そして、この判定処理で危険と判断された場合には、ステップＳ１６０にて警報処理を実行し、一方、危険でないと判断された場合には、一連の処理を終了して再度上述したステップＳ１１０からの処理を実行する（ＲＴＳ）。
【００８５】
このステップＳ１６０の警報処理では、表示警報部４０のスピーカ４２に対し音声信号を送出し、このスピーカ４２から音声ガイダンスあるいは警報音を発生させることにより運転者に対して注意を促し、表示器４１によりメッセージなどを表示して運転者に対して危険を映像で知らせる。
また、危険度のレベルが非常に高い場合には、制動機構４３を作動させ、車両を制動させる動作を行う。
そして、このステップＳ１６０の警報処理が終了すると、一連の処理を終了して再度上述したステップＳ１１０からの処理を実行する（ＲＴＳ）。
【００８６】
なお、以上の説明においては、ビデオカメラ１１が車両の後方に向けて取り付けられた構成を例示したが、このビデオカメラ１１に関し、車両の前方側に取り付けるように構成してもよい。
【００８７】
以上の説明から明らかなように、本発明の基本構成と具体例のフローチャートとは次の対応関係を有している。
すなわち、本発明の基本構成におけるオプティカルフロー検出手段３１ａは、図４のフローチャートにおけるステップＳ１３０に対応し、監視領域分割手段３１ｂは、図５のフローチャートにおけるステップＳ２５０に対応し、領域選択手段３１ｃは、同フローチャートにおけるステップＳ２６０乃至Ｓ２６２に対応している。
【００８８】
また、分離線検出手段３１ｄは、図５のフローチャートにおけるステップＳ２２０及びＳ２３０に対応し、連続線検出手段３１ｅ及び破線検出手段３１ｆは、共に同フローチャートにおけるステップＳ２６０に対応している。
【００８９】
また、画像微分手段（３１ｇ）は、図５のフローチャートにおけるステップＳ２１０に対応し、分離線認識手段（３１ｈ）は、同フローチャートにおけるステップＳ２３０に対応している。
【００９０】
また、分離線候補点取得手段（３１ｉ）は、図６のフローチャートにおけるステップＳ３２０及びＳ３３０に対応し、直線取得手段（３１ｊ）は図５のフローチャートにおけるステップＳ２３０に対応している。
【００９１】
【発明の効果】
以上説明したように、本発明によれば、次の効果を奏する。
すなわち、路面上に描かれた分離線に基づいて監視領域を分割する手段と、この分割された分割監視領域を選択し新たな監視領域を設定する手段とを設けたので、分離線に基づいて車両の走行車線毎に監視領域を設定することができる。そして、他車両が走行しない走行車線領域あるいは自車両が走行しない走行車線領域に関しては監視対象から外すことにより、監視領域を必要な領域に制限することができる。
【００９２】
また、車両の左右側の進行方向である転回方向を検出する手段、運転者が車両を左右側に転回させる際に操作する機構からの転回指示情報を検出する手段、あるいは撮像画像から上記分離線の種別すなわち車線変更可能な分離線であるのか車線変更を禁止する分離線であるのかを判定する手段からの検出情報に基づいて分割監視領域を選択するように構成したので、車両が実際に転回している方向、これから転回しようとする方向あるいは車両が転回可能な車線の方向の監視領域を選択することができ、監視領域を必要な領域に制限することができる。
【００９３】
また、分離線が車線変更を禁止する種別であることを検出する手段及び分離線が車線変更可能な種別であることを検出する手段を設けたので、車両が転回可能な車線の方向を検出することができる。
【００９４】
また、撮像画像を微分することにより、画像上の境界画像すなわちエッジ部分の画像（微分画像）を生成し、この生成した微分画像から分離線を認識するように構成したので、路面上に描かれた分離線は、この微分画像上において直線状に現れる。従って、この分離線を示す直線を検出することにより、撮像画像上における分離線を認識することができる。
【００９５】
また、分離線の種類をエッジ画像に基づいて検出するように構成したので、認識に係る処理を簡単にすることができ処理を高速に行うことができる。
【００９６】
また、撮像手段を車両の前方あるいは後方に向けて取り付けるとともに撮像画像上における水平方向中心位置に基準線を設定するように構成したので、この基準線より水平方向両端部側にエッジ点を探索することにより、取得されたエッジ点が走行車線を分離する分離線を示すエッジ点である確度が高くなり、分離線の認識確度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の基本構成を説明する図である。
【図２】具体例の構成を説明するブロック図である。
【図３】具体例における撮像部の取付構造を示す説明図である。
【図４】具体例における主フローチャートである。
【図５】具体例における監視領域設定処理を説明するフローチャートである
【図６】具体例における分離エッジ抽出処理を説明するフローチャートである。
【図７】ビデオカメラで撮像された画像（後方画像）を説明する図である。
【図８】撮像画像の微分処理により生成された微分画像（エッジ画像）を説明する図である。
【図９】分離線エッジ抽出処理を説明する模式図である。
【図１０】分離線エッジ抽出処理により抽出された分離線エッジ候補点を示す図である。
【図１１】分離線エッジ候補点、分離線認識処理により認識された分離線及びＦＯＥ設定処理により設定されたＦＯＥの関係を説明する模式図である。
【図１２】監視領域分割処理を説明する模式図である。
【図１３】時刻ｔにおける撮像画像をを説明する図である。
【図１４】時刻ｔ＋△ｔにおける撮像画像をを説明する図である。
【図１５】先願装置の構成を示すブロック図である。
【図１６】時間ｔ及び時間ｔ＋△ｔにおける撮像画像、撮像画像から得られるオプティカルフローを示す説明図である。
【図１７】物体などの検出方法の説明図である。
【符号の説明】
１０ 撮像部
１１ ビデオカメラ
２０ 記憶部
２１ 微分画像メモリ
２２ 第１フレームメモリ
２３ 第２フレームメモリ
２４ 発散オプティカルフローメモリ
３０ データ処理部
４０ 表示警報部
４１ 表示器
４２ スピーカ
４３ 制動機構
５０ 信号入力部
５１ 舵角センサ
５２ ウインカ検出スイッチ
１００ 自車両
２００ 他車両
５００ 道路
５１０〜５５０ 分離線
ＦＯＥ 消失点
Claims (6)
- 自車両の所定位置に配設され自車両の周辺領域を撮像する撮像手段と、所定時間相前後する２画像中における同一点について、監視領域内における前記点の無限遠点から発散する方向の移動をオプティカルフローとして検出するオプティカルフロー検出手段とを有し、自車両の周辺を走行する他車両のオプティカルフローのベクトルの大きさに基づいて、前記他車両と自車両との相対情報を取得する車両周辺監視装置において、
路面上に描かれた分離線に基づいて監視領域を複数の分割監視領域に分割する監視領域分割手段と、
前記監視領域分割手段により分割された分割監視領域を選択する領域選択手段とを有し、
前記領域選択手段により選択された分割監視領域を前記オプティカルフロー検出手段による監視領域とすることを特徴とする車両周辺監視装置。 - 前記領域選択手段は、車両の転回方向を検出する転回方向検出手段、運転者による転回指示を検出する転回指示検出手段及び前記分離線の種別を検出する分離線検出手段の少なくとも１つの手段から出力された検出信号に基づき、前記監視領域を選択することを特徴とする請求項１記載の車両周辺監視装置。
- 前記分離線検出手段は、前記分離線が連続した直線であることを検出する連続線検出手段と、前記分離線が破線であることを検出する破線検出手段とを有し、
前記領域選択手段は、監視領域分割手段により分割された分割監視領域の内、破線の分離線側の分割監視領域を選択するように構成したことを特徴とする請求項２記載の車両周辺監視装置。 - 撮像手段により撮像された撮像画像を微分することにより微分画像を生成する画像微分手段と、
前記画像微分手段により生成された微分画像に基づいて分離線を構成する分離線候補点を抽出し、この抽出した分離線候補点から分離線を認識する分離線認識手段とを有し、
前記監視領域分割手段は、前記分離線認識手段により認識された分離線に基づいて監視領域を複数の分割監視領域に分割することを特徴とする請求項１、２または３記載の車両周辺監視装置。 - 前記連続線検出手段及び破線検出手段は、前記分離線認識手段により認識された分離線に基づき、前記分離線が連続した直線であるか破線であるかを検出することを特徴とする請求項４記載の車両周辺監視装置。
- 前記撮像手段は、少なくとも車両の前方あるいは後方のいずれか一方に向けて取り付けられており、
前記分離線認識手段は、撮像画像上における水平方向略中心位置に垂直方向に設定された基準線から、水平方向両端部に向けてエッジ点を探索することにより分離線候補点群を取得する分離線候補点取得手段と、
前記分離線候補点取得手段により取得された分離線候補点群から、最も多くの分離線候補点を含む直線を前記基準線の水平方向両端部側よりそれぞれ取得する直線取得手段とを有し、
前記直線取得手段により取得された直線を分離線として認識することを特徴とする請求項４または５記載の車両周辺監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30024095A JP3635591B2 (ja) | 1995-11-17 | 1995-11-17 | 車両周辺監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30024095A JP3635591B2 (ja) | 1995-11-17 | 1995-11-17 | 車両周辺監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09142209A JPH09142209A (ja) | 1997-06-03 |
| JP3635591B2 true JP3635591B2 (ja) | 2005-04-06 |
Family
ID=17882405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30024095A Expired - Fee Related JP3635591B2 (ja) | 1995-11-17 | 1995-11-17 | 車両周辺監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3635591B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104859540A (zh) * | 2014-02-25 | 2015-08-26 | 马自达汽车株式会社 | 车辆用显示控制装置 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3580475B2 (ja) * | 1998-09-14 | 2004-10-20 | 矢崎総業株式会社 | 周辺監視装置 |
| JP2000276697A (ja) * | 1999-01-18 | 2000-10-06 | Yazaki Corp | 車両用周辺監視装置 |
| JP4377474B2 (ja) * | 1999-03-31 | 2009-12-02 | 株式会社東芝 | 移動体の衝突防止装置、衝突防止方法、および記録媒体 |
| JP4775034B2 (ja) * | 2006-02-28 | 2011-09-21 | トヨタ自動車株式会社 | 画像認識システムおよび画像認識方法 |
| JP4605145B2 (ja) * | 2006-11-14 | 2011-01-05 | トヨタ自動車株式会社 | 車線検出装置 |
| JP5626147B2 (ja) | 2011-07-04 | 2014-11-19 | 株式会社デンソー | 車両接近物検知装置 |
| KR101999333B1 (ko) * | 2017-04-26 | 2019-07-11 | (주)베라시스 | 옵티컬 플로우를 이용한 주차 장애물 검출방법 |
| CN109492609B (zh) * | 2018-11-27 | 2020-05-15 | 上海芯仑光电科技有限公司 | 一种检测车道线的方法和车辆、及计算设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07104160B2 (ja) * | 1986-06-30 | 1995-11-13 | スズキ株式会社 | 車間距離検出方式 |
| JPH02241855A (ja) * | 1989-03-16 | 1990-09-26 | Mikuni Corp | 先行車識別方法 |
| JP3452268B2 (ja) * | 1993-08-06 | 2003-09-29 | 矢崎総業株式会社 | 車両用後側方監視方法 |
| JP3239521B2 (ja) * | 1993-03-30 | 2001-12-17 | トヨタ自動車株式会社 | 移動体認識装置 |
| JP2994170B2 (ja) * | 1993-04-30 | 1999-12-27 | 三菱電機株式会社 | 車両周辺監視装置 |
| JP2888735B2 (ja) * | 1993-06-01 | 1999-05-10 | 松下電器産業株式会社 | 走行レーン検出装置 |
| JPH07250268A (ja) * | 1994-03-14 | 1995-09-26 | Yazaki Corp | 車両周辺監視装置 |
| JPH07302325A (ja) * | 1994-04-30 | 1995-11-14 | Suzuki Motor Corp | 車載用画像認識装置 |
-
1995
- 1995-11-17 JP JP30024095A patent/JP3635591B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104859540A (zh) * | 2014-02-25 | 2015-08-26 | 马自达汽车株式会社 | 车辆用显示控制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09142209A (ja) | 1997-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4287532B2 (ja) | 車両用後側方監視装置 | |
| EP2993654B1 (en) | Method and system for forward collision warning | |
| US9073484B2 (en) | Surrounding area monitoring apparatus for vehicle | |
| JP4692344B2 (ja) | 画像認識装置 | |
| JP4985142B2 (ja) | 画像認識装置および画像認識装置の画像認識処理方法 | |
| JP4173896B2 (ja) | 車両周辺監視装置 | |
| US20110133917A1 (en) | Cross traffic collision alert system | |
| JP4755227B2 (ja) | 物体を認識するための方法 | |
| EP3188156B1 (en) | Object recognition device and vehicle control system | |
| WO2010058821A1 (ja) | 接近物体検知システム | |
| JP4173902B2 (ja) | 車両周辺監視装置 | |
| US20070263902A1 (en) | Imaging environment recognition device | |
| JP2002308030A (ja) | 車両用周辺監視装置 | |
| US9165197B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP2000259998A (ja) | 車両用後側方監視装置 | |
| EP1562147A1 (en) | Mobile body surrounding surveillance | |
| JP2003150938A (ja) | 画像認識装置 | |
| JPH0750769A (ja) | 車両用後側方監視方法 | |
| JP6129268B2 (ja) | 車両用運転支援システムおよび運転支援方法 | |
| JP2002314989A (ja) | 車両用周辺監視装置 | |
| JP3635591B2 (ja) | 車両周辺監視装置 | |
| JP5355209B2 (ja) | ナビゲーション装置、自車の走行車線の判定方法および判定プログラム | |
| JP2007334511A (ja) | 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム | |
| JP2000276697A (ja) | 車両用周辺監視装置 | |
| JP2010282388A (ja) | 車両用歩行者検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041221 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20041224 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041224 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120114 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120114 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130114 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |