JP6006574B2 - 車載環境認識装置 - Google Patents

車載環境認識装置 Download PDF

Info

Publication number
JP6006574B2
JP6006574B2 JP2012168772A JP2012168772A JP6006574B2 JP 6006574 B2 JP6006574 B2 JP 6006574B2 JP 2012168772 A JP2012168772 A JP 2012168772A JP 2012168772 A JP2012168772 A JP 2012168772A JP 6006574 B2 JP6006574 B2 JP 6006574B2
Authority
JP
Japan
Prior art keywords
reliability
road surface
lane marker
vehicle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012168772A
Other languages
English (en)
Other versions
JP2014026608A (ja
Inventor
諒 櫻井
諒 櫻井
雅幸 竹村
雅幸 竹村
今井 正人
正人 今井
彰二 村松
彰二 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2012168772A priority Critical patent/JP6006574B2/ja
Publication of JP2014026608A publication Critical patent/JP2014026608A/ja
Application granted granted Critical
Publication of JP6006574B2 publication Critical patent/JP6006574B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車載カメラでレーンマーカの位置を検出する車載環境認識装置に関するものである。
近年、車両にカメラを搭載して、そのカメラで車両の周辺を観測し、観測された画像の中から、車線の境界に敷設されたレーンマーカの位置を検出して、こうして検出されたレーンマーカの位置に基づいて車両の位置と車線の位置との関係を算出し、車線逸脱の可能性を判断して注意喚起を行う車載レーンマーカ認識装置が実用化されている。
このようなシステムでは、例えば、路面との輝度差が大きいというレーンマーカの特徴を用いて、この路面との輝度差の大きい画素を検出して、検出された画素の列に対してレーン形状を当てはめることによってレーンマーカの位置を検出している。そして、そのような装置の例として、車線認識装置が開示されている(例えば、特許文献1)。
特開2010−211701号公報
特許文献1に記載された車線認識装置では、レーンマーカの検出率が低下したことを検出することによって、車両が、レーンマーカが敷設されていない交差点や分岐路、合流路を走行していると判断して、車両とレーンマーカの相対位置の認識を停止していた。
しかしながら、特許文献1に開示された発明によると、路面に木漏れ日の影があるとき、また、路面に自車両の影があるときなどは、路面上に、レーンマーカとよく似た輝度分布が発生するため、レーンマーカ以外のノイズを検出することによって、レーンマーカの検出率が高いものと誤認識してしまう可能性がある。そして、このような誤認識が発生すると、路面上のノイズをレーンマーカとして検出してしまうという問題があった。
本発明は、上記課題に鑑みてなされたもので、交差点や分岐路、合流路に限定されることなく、様々な路面状態の道路においてレーンマーカを検出することができる車載環境認識装置を提供することを目的とする。
本発明に係る車載環境認識装置は、車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、前記撮像部によって撮像された画像の中から、レーンマーカを構成すると考えられるレーンマーカ特徴点を検出するレーンマーカ特徴点検出部と、前記レーンマーカ特徴点検出部によって検出されたレーンマーカ特徴点に基づいて、レーンマーカの位置を検出するレーンマーカ検出部と、前記車両が走行している路面状態を判定する路面状態判定部と、前記路面状態判定部によって判定された路面状態と、前記レーンマーカ特徴点検出部の検出結果に基づいて、前記レーンマーカ検出部によって検出されたレーンマーカの位置の信頼度を算出する信頼度算出部と、前記レーンマーカ検出部によって検出されたレーンマーカの位置に基づいて、前記車両が走行中の車線から逸脱する可能性を判断する車線逸脱判断部と、前記車線逸脱判断部において、前記車両が走行中の車線から逸脱する可能性があると判断されたときに、前記信頼度に応じて警報を出力する警報出力制御部と、を有することを特徴とする。
このように構成された本発明の請求項1に係る車載環境認識装置によれば、撮像部によって撮像された画像の中から、レーンマーカ特徴点検出部が、レーンマーカを構成すると考えられるレーンマーカ特徴点を検出して、レーンマーカ検出部が、こうして検出されたレーンマーカ特徴点の位置に基づいてレーンマーカを検出するとともに、路面状態判定部が、車両が走行している路面状態を判定して、信頼度算出部が、路面状態判定部の判定結果とレーンマーカ特徴点検出部の検出結果に基づいて、レーンマーカ検出部で検出されたレーンマーカの位置の信頼度を算出して、車線逸脱判断部が、レーンマーカ検出部で検出されたレーンマーカの位置に基づいて、車両が走行中の車線から逸脱する可能性を判断して、車両が走行中の車線から逸脱する可能性があると判断されたときに、警報出力制御部がレーンマーカ検出結果の信頼度に応じた車線逸脱警報を出力するため、路面状態に応じたレーンマーカの検出結果の信頼度が算出されることによって、様々な路面状態の道路においてレーンマーカの検出を行うことができるとともに、レーンマーカの検出結果に応じた的確な車線逸脱警報を出力することができる。
本発明に係る車載環境認識装置は、様々な路面状態の道路において、路面状態に応じた信頼度でレーンマーカを検出することができる。
本発明に係る車載レーンマーカ認識装置が実装された車載システムの一例であるLDW(Lane Departure Warning)システムについて説明する図である。 車両に設置された撮像部で撮像した画像の例を示す図である。 本発明の実施例1に係る車載環境認識装置の概略構成を示すブロック図である。 本発明の実施例1に係る車載環境認識装置の路面状態判定部の詳細構成を示すブロック図である。 本発明の実施例1に係る車載環境認識装置の信頼度算出部の詳細構成を示すブロック図である。 本発明の実施例1に係る車載環境認識装置において実行されるメインルーチンのフローチャートである。 本発明の実施例1に係る車載環境認識装置において、路面状態の判定方法と、路面状態に応じた信頼度の算出方法を説明する図である。 本発明の実施例1において実行されるレーンマーカ特徴点検出処理のうち、レーンマーカ候補検出部で行われる処理の内容を説明する図である。 本発明の実施例1において実行されるレーンマーカ特徴点検出処理のうち、ウインドゥ設定部で行われる処理の内容を説明する図である。 本発明の実施例1において実行されるレーンマーカ特徴点検出処理のうち、レーンマーカ特徴点検出部で行われる処理の内容を説明する図である。 本発明の実施例1において実行されるレーンマーカ検出処理の内容を説明する図である。 本発明の実施例1において実行される視認性算出処理で利用する視認性変換特性を説明する図である。 本発明の実施例1において実行される路面状態判定処理のうち、路面標識認識処理の内容を説明する図であり、(a)は路面標識の検出を行う範囲を説明する図であり、(b)は路面標識度合を検出した結果の一例であり、(c)は路面標識の有無を判定する処理の内容を説明する図である。 本発明の実施例1において実行される路面状態判定処理のうち、横断歩道認識処理の内容を説明する図であり、(a)は横断歩道の検出を行う範囲を説明する図であり、(b)は横断歩道の検出を行う処理の内容を説明する図である。 本発明の実施例1において実行される路面状態判定処理のうち、雪わだち認識処理の内容を説明する図であり、(a)は雪わだちの検出を行う範囲を説明する図であり、(b)は雪わだちがあるときに得られる画像の一例であり、(c)は画像から検出されたエッジ点の頻度分布図であり、(d)は図15(c)の頻度分布の中から、レーンマーカを構成するエッジ点を取り除いた頻度分布図である。 本発明の実施例1において実行される路面状態判定処理のうち、オフロード認識処理の内容を説明する図であり、(a)はオフロードの認識を行う範囲を説明する図であり、(b)はオフロードの認識を行う処理の内容を説明する図である。 本発明の実施例1において実行される路面状態判定処理のうち、木漏れ日認識処理の内容を説明する図であり、(a)は木漏れ日の認識を行う範囲を説明する図であり、(b)は木漏れ日の認識を行う処理の内容を説明する図である。 本発明の実施例1において実行される路面状態判定処理のうち、自車影認識処理の内容を説明する図であり、(a)は自車影の認識を行う範囲を説明する第1の図であり、(b)は自車影の認識を行う範囲を説明する第2の図であり、(c)は図18(a)を用いて行う自車影認識処理の内容を説明する図であり、(d)は図18(b)を用いて行う自車影認識処理の内容を説明する図である。 本発明の実施例1において実行される路面状態判定処理のうち、周期性解析処理の内容を説明する図であり、(a)は周期性解析を行う範囲を説明する図であり、(b)は周期性解析処理の内容を説明する図である。 本発明の実施例1に係る車載環境認識装置において実行される信頼度算出処理の内容を説明する図である。 本発明の実施例1に係る車載環境認識装置において、雪わだちがある道路を走行したときに算出される信頼度推移の一例を説明する図である。 本発明の実施例1に係る車載環境認識装置において、路面標識がある道路を走行したときに算出される信頼度推移の一例を説明する図である。 本発明の実施例1に係る車載環境認識装置において、雪わだちがある道路を走行したときに算出される信頼度推移の別の例を説明する図である。 本発明の実施例1に係る車載環境認識装置において、木漏れ日と路面標識がある道路を走行したときに算出される信頼度推移の一例を説明する図である。
以下、本発明に係る車載レーンマーカ認識装置の実施形態について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値を輝度値と呼ぶ。
本実施例は、本発明の車載環境認識装置を、車両の走行中に、走行車線からの逸脱の可能性を判断して、逸脱の可能性があると判断されたときに、注意喚起や警報、もしくは、車両の挙動を制御して車線逸脱を未然に防止するLDW(Lane Departure Warning)システムが実装された車両に適用した例である。
まず、図1を用いてLDWシステムの動作を説明する。道路2を紙面左に向かって走行している車両5の後方を監視する撮像部10は、車両5の後部に後ろ向きに取り付けられて、車両5が走行している車線Y1を含む範囲ωを撮像する。そして、撮像された画像の中から、画像処理によって車両5が走行している車線Y1の左右両側にある車線境界であるレーンマーカL,Lの位置を検出する。
一般に、車線境界には、その位置を運転者に知らせるマーカが敷設されている。マーカの例としては、白や黄色にペイントされた実線や破線、また、鋲などがある。こうした車線境界の位置を示すマーカを、以下、レーンマーカと呼ぶことにする。そして、以下の説明では、レーンマーカが、白や黄色にペイントされた実線や破線で構成されている場合を例にあげて説明する。
LDWシステムは、車両5が所定車速以上で走行しているときに起動されて、時刻tにおいて撮像部10で撮像された画像I(x,y,t)(以後、単に画像Iと呼ぶ。また、特に(x,y)の値が意味を持つときは画像I(x,y)と呼び、時刻tの値が意味を持つときは画像I(t)と呼ぶ。)の中から、左右のレーンマーカをそれぞれ検出する。ここで、撮像部10で撮像された画像Iの中で左側に映ったレーンマーカをL、右側に映ったレーンマーカをLとする。
左右のレーンマーカL,Lが検出されると、車両5から左側のレーンマーカLまでの距離、または車両5から右側のレーンマーカLまでの距離と、車両5のヨー角、およびそのときの車両5の車速に基づいて、車両5がそのときと同じ状態(同じ車速、同じ操舵角)で進行したときに車線を逸脱するまでの時間である車線逸脱予測時間Fが算出される。
そして、こうして算出された車線逸脱予測時間Fが所定時間以内であるときに、車線逸脱警報を出力して、運転者に注意を喚起する。
本発明に係る車載環境認識装置では、前記撮像部10によって撮像されて、図2に示すように、画像Iの中央から左側の領域(以後、単に画像Iの左側と呼ぶ。)にレーンマーカLが映り、画像Iの中央から右側の領域(以後、単に画像Iの右側と呼ぶ。)にレーンマーカLが映った画像が取得された後、この画像Iが処理されて、レーンマーカL,Lの位置が検出される。
なお、図2において、画像Iの下部に映っている影Kは、車両5のリアバンパーの映り込みである。そして、以後説明する画像処理では、影Kの領域に対しては、画像処理を行わないものとする。
次に、図3から図6を用いて、実施例1に係る車載環境認識装置の構成を説明する。
実施例1に係る車載環境認識装置8は、図3に示すように、図示しない車両5の後部ライセンスプレート付近に設置されて、進行方向後方の画像Iを撮像する、レンズ等の集光機能を有する光学系とC−MOS等の光電変換素子から構成された撮像部10と、撮像部10で撮像された画像の中の所定の領域の中から、前記車両が走行している車線の左右にあるレーンマーカの候補を検出するレーンマーカ候補検出部20と、撮像部10で撮像された画像Iの中の、レーンマーカが映ると考えられる位置にウインドゥを設定するウインドゥ設定部30と、設定されたウインドゥの中から、レーンマーカを構成する特徴点として、画像Iの中から、左右に隣接する画素の間で所定値以上の輝度差を有する画素を検出するレーンマーカ特徴点検出部40と、レーンマーカ特徴点の検出結果に基づいてレーンマーカの位置を検出するレーンマーカ検出部45と、車両5が走行している路面状態を判定する路面状態判定部50と、車両5の車速vと操舵角θとヨーレートφを取得する車両情報取得部60と、レーンマーカ検出部45で検出されたレーンマーカの位置の信頼度を算出する信頼度算出部80と、レーンマーカの検出結果と車両情報取得部60で取得した情報から、車両5の車線逸脱を判断する車線逸脱判断部90と、車線逸脱すると判断されたときに車内に設置されたブザー等を鳴動させて車線逸脱警報を出力するスピーカやブザー等からなる警報出力制御部100を備えている。
前記路面状態判定部50は、図4に示すように、撮像部10で撮像した画像の中から、様々な路面状態を判定する判定モジュールを複数備えている。すなわち、路面にペイントされた標識の有無を認識する路面標識認識部51と、道路上の横断歩道の有無を認識する横断歩道認識部52と、路面の雪わだちを認識する雪わだち認識部53と、走行中の道路がオフロードであるか否かを認識するオフロード認識部54と、道路上の木漏れ日を認識する木漏れ日認識部55と、道路上に生じた車両5の影を認識する自車影認識部56と、撮像部10で異なる時刻に撮像された画像I(t)の中から検出されたレーンマーカ特徴点の総数の時間変化を判定する周期性解析部57を備えている。そして、前記路面状態判定部50は、さらに、車両情報取得部60で取得した車両5の挙動を表す情報や図4に図示しないカーナビゲーションシステムの情報に基づいて急カーブ度合を認識する急カーブ認識部58と、交差点の有無を認識する交差点認識部59を備えている。
前記信頼度算出部80は、図5に示すように、レーンマーカ特徴点検出部40で検出されたレーンマーカ特徴点の総数に基づいて、レーンマーカの視認性を推定する視認性推定部82と、視認性推定部で推定された視認性に応じて信頼度を調整する信頼度換算テーブル84を備えている。
次に、実施例1に係る車載環境認識装置8の一連の動作の流れについて、図6のフローチャートを用いて説明する。
まず、ステップS10において、前記撮像部10で画像Iを撮像する。
次に、ステップS20において、レーンマーカ特徴点検出処理を行う。この処理は、画像Iの中から、横方向に隣り合う画素が所定値以上の輝度差を有しているときに、この画素を、レーンマーカを構成する特徴点であるとして検出する処理である。この処理は、前記レーンマーカ候補検出部20、および、前記ウインドゥ設定部30、前記レーンマーカ特徴点検出部40で行われる。なお、このレーンマーカ特徴点検出処理の詳細については後述する。
次に、ステップS30において、レーンマーカ検出処理を行う。この処理は、レーンマーカ特徴点検出処理によって検出されたレーンマーカ特徴点に直線や曲線を適合させてレーンマーカを検出する処理である。この処理は、前記レーンマーカ検出部45で行われる。なお、このレーンマーカ検出処理の詳細については後述する。
次に、ステップS40において、視認性算出処理を行う。この処理は、レーンマーカ特徴点検出処理で検出されたレーンマーカの特徴点の総数に応じて、レーンマーカの視認性Vを推定する処理である。この処理は、前記視認性推定部82で行われる。なお、この視認性算出処理の詳細については後述する。
次に、ステップS50において、路面状態判定処理を行う。この処理は、予め用意された判定モジュールである路面標識認識部51,横断歩道認識部52,雪わだち認識部53,オフロード認識部54,木漏れ日認識部55,自車影認識部56,周期性解析部57,急カーブ認識部58,交差点認識部59を用いて、走行中の路面の状態を様々な観点から判定する処理である。この処理は、前記路面状態判定部50で行われる。なお、この路面状態判定処理の詳細については後述する。
次に、ステップS60において、信頼度算出処理を行う。この処理は、レーンマーカ検出処理で検出されたレーンマーカの信頼度Rを算出する処理であり、前記信頼度算出部80で行われる。この信頼度算出処理の詳細については後述する。
次に、ステップS70において、車線逸脱判定処理を行う。この処理は、レーンマーカ検出処理で検出されたレーンマーカの位置と、車両5の車速vと、道路の延伸方向と車両5の進行方向とのなす角度であるヨー角ρと、に基づいて、車線逸脱の可能性を判断して、車線逸脱の可能性があるときに車線逸脱警報を出力する処理であり、前記車線逸脱判断部90、および、前記警報出力制御部100で行われる。この車線逸脱判定処理の詳細については後述する。
次に、図7を用いて、本実施例において算出される信頼度Rについて説明する。
走行中の道路には、様々な路面状態が出現する。そして、その路面状態に応じて、撮像部10で撮像された画像Iに映るレーンマーカL,Lは、鮮明さを失ったり、コントラストが小さくなったり、見えなくなったり、途切れが発生したりする。すなわち、路面状態に応じて、レーンマーカL,Lが検出しにくくなる場合がある。
本発明では、路面状態を判定して、その判定結果に基づいて、検出されたレーンマーカL,Lに信頼度Rを付与する。そして、この信頼度Rは、判定された路面状態に応じて設定される。
図7は、走行中の道路に出現することが予想される様々な路面状態の各々に対して、その路面状態が出現したときに、信頼度Rを算出する方法を記載した図である。
以下、図7の内容について説明する。図7の縦軸には、出現することが予想される路面 状態が列挙されている。そして、図7の横軸には、以下の事項を記載している。
(第1列)その路面状態が出現したときに、レーンマーカ特徴点検出処理によって検出された点(図7では、レーンマーカ候補点と呼んでいる。)に、横方向のばたつきが発生するものに「○」印を付与している。すなわち、この項目に該当する路面状態にあるときは、レーンマーカL,Lを検出できたとしても、その位置が時間とともに左右のばたつく可能性があることを示している。
(第2列)その路面状態が出現したときに、レーンマーカ特徴点検出処理によって検出された点に、横位置の横飛びが発生するものに「○」印を付与している。すなわち、この項目に該当する路面状態にあるときは、レーンマーカL,Lを検出できたとしても、その位置が、突然左右に飛ぶ可能性があることを示している。
(第3列)発生した路面状態のうち、撮像部10で撮像した画像Iを処理することによって、その路面状態であることを認識可能なものに「○」印を付与している。そして、本実施例1では、後述するように、路面状態判定部50の中に、「○」印を付与した路面状態を判定できる判定モジュールを実装している。
(第4列)発生した路面状態のうち、車両5の挙動を分析することによって、その路面状態であることを認識可能なものに「○」印を付与している。そして、本実施例1では、後述するように、路面状態判定部50の中に、「○」印を付与した路面状態を判定できる判定モジュールを実装している。
(第5列)発生した路面状態のうち、カーナビゲーションシステムの情報を分析することによって、その路面状態であることを認識可能なものに「○」印を付与している。そして、図3の構成図には記載しないが、路面状態判定部50の中に、カーナビゲーションシステムから出力された情報を入力することによって、「○」印を付与した路面状態であることを認識することができる。
(第6列)その路面状態が継続すると考えられる時間のオーダーを記載している。この情報は、路面状態判定部50の中に備えた各判定モジュールのタスク管理(所定の継続時間毎に処理をリセットする等)に利用することができる。
(第7列)各路面状態が発生したと判定できたときの、信頼度Rの算出方法の一例が記載されている。このうち、「1」が付与された箇所は、レーンマーカ特徴点が横方向ばたついている間は信頼度Rを減算し、信頼度Rの上限も低めに設定することを示す。また、「2」が付与された箇所は、レーンマーカ特徴点が横方向に飛んだ瞬間に、信頼度Rをリセット(0にする)もしくは、車線逸脱警報の出力を抑制することを示す。そして、「3」が付与された箇所は、信頼度Rの減算を抑制することを示す。なお、詳しくは後述する。
次に、図6の各ステップで行われる処理の詳細について、順に説明する。
(レーンマーカ特徴点検出処理)
図8〜図10を用いて、ステップS20で行われるレーンマーカ特徴点検出処理について説明する。まず、前記レーンマーカ候補検出部20によって、図8に示すように、画像I(図8にはI(x,y,t)と記載している)の中の所定の位置に、レーンマーカ特徴点を検出するためのウインドゥが設定される。このウインドゥは、画像Iの中でレーンマーカが映ると考えられるなるべく下部の位置に、画像Iの左側と右側にそれぞれ設定する。ここで、左側のウインドゥをWL0、右側のウインドゥをWR0とする。
次に、ウインドゥWL0とウインドゥWR0の内部でレーンマーカ特徴点を検出する。レーンマーカ特徴点の検出は、ウインドゥWL0の内部に設定した所定の水平ラインm上を右から左に探索しながら、画像I(x,y,t)の中の隣接する画素の輝度値の差分値(I(x,y,t)−I(x+1,y,t))を演算し、差分値が所定値を超える正の値を示す画素S1と、差分値が負の値を示し、その絶対値が所定値を超える画素S2を検出する。
次に、ウインドゥWR0の内部に設定した所定の水平ラインm上を左から右に探索しながら、画像I(x,y,t)の中の隣接する画素の輝度値の差分値(I(x,y,t)−I(x+1,y,t))を演算し、差分値が負の値を示し、その絶対値が所定値を超える画素S3と、差分値が所定値を超える正の値を示す画素S4を検出する。
こうして検出された画素S1,S2,S3,S4のうち、隣り合った画素(ウインドゥWL0内の画素S1と画素S2、ウインドゥWR0内の画素S3と画素S4)は、レーンマーカの位置を示す候補となり、このうち、内側の点である画素S1,S3をレーンマーカ特徴点と呼ぶ。
なお、レーンマーカ特徴点検出の確実性を向上させるために、ウインドゥWL0の内部、およびウインドゥWR0の内部に、複数の水平ラインmLi(i=1,2,…)、および水平ラインmRi(i=1,2,…)を設定して、複数の水平ラインmLi上、およびmRi上で、レーンマーカ特徴点を検出してもよい。
また、異なる時間に撮像された複数の画像I(t),I(t+Δt),…からそれぞれレーンマーカ特徴点を検出してもよい。
次に、前記ウインドゥ設定部30において、画像Iの中の、レーンマーカが映ると推定される領域にウインドゥを設定する。この領域の設定方法について、図9を用いて説明する。
図9に示すように、ウインドゥは、画像Iの左側と右側にそれぞれ設定され、左側に設定されるウインドゥをWとし、右側に設定されるウインドゥをWとする。それぞれウインドゥW,Wは、車両5の直近から遠方に亘って延びる長方形状を有する。そして、その横幅は、先に検出したレーンマーカ特徴点の間隔(画素S1と画素S2の間隔、および画素S3と画素S4の間隔)に所定値を加えた値に設定される。これは、前方の道路線形によっては、レーンマーカが屈曲している場合もあるためである。
次に、前記レーンマーカ特徴点検出部40において、画像Iの中に設定したウインドゥW,Wの内部においてレーンマーカ特徴点の検出を行う。
レーンマーカ特徴点の検出は、先に説明した通り、隣り合った画素の輝度値の差分に基づいて行う。そして、例えば、図10に示すように、先の処理領域設定処理で設定されたウインドゥ(図9のW)の内部で画像Iを右から左に探索して、輝度値の差分値であるI(x,y,t)−I(x+1,y,t)が正の所定値以上となる画素を全て検出する。なお、この探索は、探索位置の上下方向の座標を複数設定して、設定された複数の位置で行う。そして、図10では、検出した画素(レーンマーカ特徴点)の位置に、「+」印を付与している。なお、画像Iの右側に設定したウインドゥ(図9のW)の内部についても、同様の処理を行う。以下、ウインドゥWの内部で検出されたレーンマーカ特徴点をSとし、ウインドゥWの内部で検出されたレーンマーカ特徴点をSとする。
次に、こうして算出されたレーンマーカ特徴点の総数を、ウインドゥW,W内それぞれについて算出する。ウインドゥW内のレーンマーカ特徴点Sの総数をPとし、ウインドゥW内のレーンマーカ特徴点Sの総数をPとする。こうして算出されたレーンマーカ特徴点の総数P,Pは、後述する視認性算出処理で利用される。
(レーンマーカ検出処理)
次に、図11を用いて、ステップS30で行われるレーンマーカ検出処理について説明する。なお、以下の処理は、ウインドゥW,W内それぞれについて行われるが、以下、ウインドゥW内で行う処理についてのみ説明する。ウインドゥW内でも同じ処理が行われるため、説明は省略する。
前記レーンマーカ検出部45において、先にレーンマーカ特徴点検出処理で検出した特徴点の座標を、図11(b)に示す、予め用意したXY平面に投票する。
この投票の様子を、図11(a),(b)を用いて説明する。図11(a)は、画像I(図11(a)にはI(x,y,t)と記載している)の中からレーンマーカ特徴点S,Sを検出した結果を示す。ここで、図11(a)の中に表示した「+」印がレーンマーカ特徴点S,Sを表している。撮像部10の設置レイアウト(高さや俯角)が既知であるため、例えば、道路が平面で構成されており、勾配がないと仮定すると、こうして検出されたレーンマーカ特徴点S,Sの座標から、各レーンマーカ特徴点S,Sの道路上の位置を推定することができる。
図11(b)は、図11(a)の左側のレーンマーカLを構成すると考えられるレーンマーカ特徴点Sに対して上記の推定を行い、推定結果をXY平面に投票した結果を示す。
図11(b)からわかるように、道路左側のレーンマーカLに対応する位置に「+」印が並んでプロットされる。なお、図11(b)ではプロットされた様子をわかり易くするために「+」印を記載しているが、実際は、「+」印に対応する位置のXY平面の値をインクリメントする(投票を行う)。
そして、この投票を、異なる時間に撮影された複数の画像I(t),I(t+Δt),…から検出されたレーンマーカ特徴点Sに対して順次実施する。なお、このとき、時間Δtの間の車両5の移動量を、車両情報取得部60から取得した車速vに基づいて算出し、こうして算出された車両5の移動量の分だけ、XY平面にインクリメントすべき座標位置を移動させた後で、XY平面に投票を行う。これにより、XY平面は、レーンマーカLの右端部が存在する位置において、高い値を有するようになる。
次に、こうして生成されたXY平面の中に、直線や曲線の適合処理を行うことによって、レーンマーカLの位置を検出する。このとき行う適合処理は、最小二乗法を用いる方法等、数学的に提案されているいずれの方法によって行っても構わない。なお、レーンマーカLの位置も、上記したのと同様の方法で検出する。
(視認性算出処理)
次に、図12を用いて、ステップS40で行われる視認性算出処理について説明する。前記視認性推定部82は、前記レーンマーカ特徴点検出部40から、先にレーンマーカ特徴点検出処理の中で算出した特徴点の総数P,Pを受け取って、図12に示す視認性変換特性を用いて、特徴点の総数P,Pから視認性Vを推定する。
図12に示すように、特徴点の総数P,Pには最低閾値Pminと最大閾値Pmaxを設定しておき、特徴点の総数P,Pが最低閾値Pminに満たないときは、視認性Vを0%とし、特徴点の総数P,Pが最大閾値Pmaxを超えるときは、視認性Vを100%とする。そして、特徴点の総数P,Pが最低閾値Pminと最大閾値Pmaxの間にあるときは、図12の視認性変換特性に従って視認性Vを推定する。
ここで推定した視認性Vは、レーンマーカL,Lを構成するレーンマーカ特徴点S,Sが多く検出されたときほど、画像Iの中でレーンマーカL,Lがはっきり見えている状態であると想定して推定した値である。
図12によって推定した視認性Vは、画像I(t)から算出した瞬間的な視認性であるため、異なる時間に撮像した複数の画像I(t),I(t+Δt),…に対して、順次、視認性Vを推定した後、こうして推定された複数の視認性Vに対して、移動平均等の平均化を行うことによって、時間軸方向に亘ってなだらかに変化する平滑化された視認性V’を得る。こうして算出された視認性V’は、以後、信頼度算出処理で利用される。
なお、視認性Vは、レーンマーカ検出処理によってレーンマーカ特徴点S,Sに適合させた直線や曲線の上に載っている、レーンマーカ特徴点S,Sの数に基づいて推定してもよい。
(路面状態判定処理)
次に、図13〜図19を用いて、ステップS50で行われる路面状態判定処理について説明する。なお、この路面状態判定処理は、前記路面状態判定部50の中に備えられた個々の判定モジュールである、路面標識認識部51,横断歩道認識部52,雪わだち認識部53,オフロード認識部54,木漏れ日認識部55,自車影認識部56,周期性解析部57、および、急カーブ認識部58,交差点認識部59において、同時に並行して実行される。
すなわち、路面標識認識部51では路面標識認識処理が行われ、横断歩道認識部52では横断歩道認識処理が行われ、雪わだち認識部53では雪わだち認識処理が行われ、オフロード認識部54ではオフロード認識処理が行われ、木漏れ日認識部55では木漏れ日認識処理が行われ、自車影認識部56では自車影認識処理が行われ、周期性解析部57では周期性解析処理が行われ、急カーブ認識部58では急カーブ認識処理が行われ,交差点認識部59では交差点認識処理が行われる。以下、各判定モジュールで行われる処理の内容を説明する。
なお、前記した全ての処理モジュールが常に路面状態判定処理を行うわけではなく、例えば、夜間は木漏れ日が発生しないため、木漏れ日認識処理を実行しない、冬期以外には雪わだち認識処理を実行しない等の制限がかけられる。そして、そのための条件判断は、例えば、前記撮像部10を構成する光電変換素子が有するゲインの値や、図3の構成図には記載しないが、カーナビゲーションシステムから取得したカレンダー情報や日時情報等が利用される。
<路面標識認識処理>
図13を用いて、路面標識認識処理の内容について説明する。ここで、路面標識とは、路面にペイントされた、制限速度や転回禁止等を示す標識のことである。
図13(a)は、撮像部10で撮像された画像Iの一例であり、さらに、画像Iの中に、路面標識を認識する領域が設定された例である。図13(a)に示すように、画像Iの中には、画像下部(近傍)から画像上部(遠方)に向かって、ウインドゥWe1,We2,…,Wenが設定される。そして、各ウインドゥ、例えばウインドゥWe1は、左から順にサブウインドゥWe11,We12,…,We1kに分割されている。ウインドゥWe2,…,Wenについても同様である。
ここで、各サブウインドゥのサイズは、画像Iを真上から鉛直下向きに見下ろしたとき、全て同じ面積になるように設定されている。
このとき、画像Iの中に設定されたサブウインドゥの中を水平方向に探索しながら、左右に隣接する画素の間の輝度差を算出する。これによって、縦方向に延びるエッジの強度が算出される。図13(a)には、このようにして算出されたエッジ強度の値が各サブウインドゥに格納された様子を表している。
次に、こうして算出されたエッジ強度の値が格納された結果を、画像Iを真上から鉛直下向きに見下ろしたように座標変換して、図13(b)のように変換する。
そして、図13(b)に対して、エッジ強度の値が所定値を超えているサブウインドゥを、路面標識の候補領域と考えて、この条件を満たすサブウインドゥの数を図13(b)の縦軸方向に累積して、図13(c)に示すヒストグラムを作成する。
そして、作成された図13(c)のヒストグラムの中から、路面標識の候補領域と考えられるサブウインドゥが、水平方向に連続する幅である、図13(c)の幅e1,幅e2を求めて、求められた幅が所定値以上であるとき、路面標識ありと判定する。
<横断歩道認識処理>
図14を用いて、横断歩道認識処理の内容について説明する。図14(a)は、撮像部10で撮像された画像Iの一例であり、さらに、画像Iの中に、横断歩道Zを認識する領域であるウインドゥWcを設定した例である。このウインドゥWcは、前回のレーンマーカ検出処理を行ったときに、画像Iの中に設定されたウインドゥW,Wの位置に基づいて設定され、ウインドゥWとWに挟まれた位置に設定される。
このとき、ウインドゥWcの中の各水平ラインを水平方向に探索しながら、左右に隣接する画素の間の輝度差を算出する。これによって、縦方向に延びるエッジの強度が算出される。そして、この輝度差が所定値を超える画素を検出する。なお、エッジの強度は、正(+エッジ)もしくは負(−エッジ)の値を有するため、正の所定値を超えるエッジ強度を有する画素と、負の所定値を下回るエッジ強度を有する画素とを区別して検出する。
こうして算出された画素の個数を、ウインドゥWcの縦方向に沿って累積する。これによって、図14(b)に示すような、縦エッジの出現頻度を表すヒストグラムが生成される。
そして、図14(b)のヒストグラムの中に、+エッジと−エッジが等間隔に出現していることを確認して、画像Iの中に横断歩道が映っていると判定する。なお、+エッジと−エッジが等間隔に出現していることは、図14(b)のヒストグラムの中から各々の山谷の中のピーク位置を算出して、算出されたピーク位置同士の間隔によって判断することができる。
<雪わだち認識処理>
図15を用いて、雪わだち認識処理の内容について説明する。図15(a)は、撮像部10で撮像された画像Iの一例であり、さらに、画像Iの中に、雪わだちを認識する領域であるウインドゥWsを設定した例である。このウインドゥWsは、前回のレーンマーカ検出処理を行ったときに、画像Iの中に設定されたウインドゥW,Wの位置に基づいて設定され、ウインドゥWとWに挟まれた位置に設定される。
図15(b)は、実際に雪わだちが映っている画像Iの一例である。路面に雪わだちがあると、路面上の至る所に雪と路面の境界からなるエッジが多数出現する。本実施例では、このエッジの個数に基づいて雪わだちを検出する。
一方、レーンマーカの検出も、レーンマーカと路面の間に生じる濃淡差、すなわちエッジに基づいて行っているため、レーンマーカによって発生するエッジを取り除いた上で、雪わだちによって発生するエッジの量を算出する。
図15(c),(d)は、レーンマーカによって発生するエッジを取り除く方法を説明する図である。
図15(c)は、異なる時間に撮像された画像I(t)のウインドゥWs内のレーンマーカ特徴点S,Sを、所定時間累積して得たヒストグラムである。このヒストグラムの中には、ウインドゥWsの横位置ω1と横位置ω2の位置にそれぞれピークが立っている。この2つのピークは、レーンマーカの位置を表している。
このレーンマーカを構成するエッジ点は、所定値以上の個数を有しているため、図15(c)の中から、所定値以上の頻度を有し、なおかつ、隣接位置のエッジ個数と所定数以上の差を有しているとき、そのエッジ点を削除する。
図15(d)は、こうしてレーンマーカを構成すると考えられるエッジ点を削除したヒストグラムである。そして、図15(d)の中に残ったエッジ点の個数の総和値を求めて、この総和値を、累積した画像数で割った値によって、雪わだちの有無、あるいは雪わだちの度合を判定する。
<オフロード認識処理>
図16を用いて、オフロード認識処理の内容について説明する。図16(a)は、撮像部10で撮像された画像Iの一例であり、さらに、画像Iの中に、オフロードを検出する領域であるウインドゥWoを設定した例である。このウインドゥWoは、前回のレーンマーカ検出処理を行ったときに、画像Iの中に設定されたウインドゥW,Wの位置に基づいて設定され、ウインドゥWとWに挟まれた位置に設定される。
路面がオフロードであると、エッジの分布が路面全体に散らばり、そのエッジの総数nはそれほど大きくなることはない。本実施例では、この特徴を用いてオフロードの認識を行う。
図16(b)は、ウインドゥWoの内部に出現したエッジ点の総数nを、異なる時間に撮像された画像I(t)から求めて、その結果を時系列にプロットした図である。
図16(b)に示すように、オフロードでは、ウインドゥWo内のエッジ点の総数nが、常に所定値nを下回る。本実施例1では、ウインドゥWo内のエッジ点の総数nが、所定の時間に亘って常に所定値nを下回ることを確認して、オフロードであると判定する。
<木漏れ日認識処理>
図17を用いて、木漏れ日認識処理の内容について説明する。図17(a)は、撮像部10で撮像された画像Iの一例であり、さらに、画像Iの中に、木漏れ日を検出する位置であるラインm1,m2,m3を設定した例である。このラインm1,m2,m3は、前回のレーンマーカ検出処理を行ったときに、画像Iの中に設定されたウインドゥW,Wの位置に基づいて設定され、ウインドゥWとWに挟まれた位置に設定される。
木漏れ日が生じると、木々によって生じる影と、その隙間に差し込む日差しによって、路面上にランダムな明暗模様が生じる。本実施例では、このランダムな明暗模様が生じたことを、ラインm1,m2,m3上の縦エッジの出現状態に基づいて判定する。
図17(b)は、ラインm1,m2,m3のうち、いずれか1つのライン上で検出した縦エッジの強度分布を示している。なお、エッジ強度には正負の値があるため、強度分布は上下方向に広がりを持つ。
次に、図17(b)の中から、同符号で連続するエッジ幅を算出する。図17(b)の例では、エッジ幅ε1,ε2,ε3,ε4が算出される。
そして、各エッジ幅ε1,ε2,ε3,ε4に対応するエッジ強度の総和をそれぞれ算出する。
木漏れ日が生じると、影に覆われた暗い路面と影のない明るい路面がほぼ等しい頻度で発生するため、こうして算出されたエッジ幅ε1,ε2,ε3,ε4と、各エッジ幅に対応するエッジ強度の総和から、各エッジ幅の均一性、正のエッジ強度の総和と負のエッジ強度の総和の偏りのなさ等を判定することによって、木漏れ日の有無や木漏れ日の度合を判定する。
<自車影認識処理>
図18を用いて、自車影認識処理の内容について説明する。自車影とは、路面上に生じた車両5の影のことである。この影が撮像部10で撮像されて画像Iの中に映り込むと、自車影と路面の境界をレーンマーカと誤認識する場合がある。したがって、画像Iの中に自車影が映り込んでいることを認識して、自車影の影響を取り除く必要がある。
図18(a)は、撮像部10で撮像された画像Iの一例であり、自車影Kcが映り込んでいる。そして、画像Iの中に、自車影Kcを検出する領域であるウインドゥWとウインドゥWKL1,WKR1が設定されている。
このウインドゥWは、車両5から所定距離以上遠方の位置に、前回のレーンマーカ検出処理を行ったときに、画像Iの中に設定されたウインドゥW,Wの位置に基づいて設定され、ウインドゥWとWに挟まれた位置に設定される。
また、ウインドゥWKL1,WKR1は、車両5から所定距離以内の位置に、前回のレーンマーカ検出処理を行ったときに、画像Iの中に設定されたウインドゥW,Wの位置に基づいて設定され、それぞれ、ウインドゥWとWの内側の位置に設定される。
さらに、図18(b)は、撮像部10で撮像された画像Iの一例であり、自車影Kcが映り込んでいる。そして、画像Iの中に、自車影を検出する別の領域であるウインドゥWKL2,WKR2が設定されている。ウインドゥWKL2,WKR2は、車両5から所定距離以内の位置に、前回のレーンマーカ検出処理を行ったときに、画像Iの中に設定されたウインドゥW,Wの位置に基づいて設定され、検出されたレーンマーカを跨ぐ位置に設定される。
画像Iの中に自車影Kcが映っていることは、2つの異なる方法で検出する。そして、そのいずれかの方法で自車影Kcが映っていると認識されたときに、自車影が映っていると判定する。
1つめの方法は、図18(a)に示したウインドゥWとウインドゥWKL1,WKR1の中の輝度値の分布を利用する。
具体的には、図18(c)に示すように、ウインドゥWの内部の画素の輝度値のヒストグラムと、ウインドゥWKL1,WKR1の内部の画素の輝度値のヒストグラムを作成し、それぞれのヒストグラムの中の最大頻度を与える輝度差δIを求める。
このとき、画像Iの中に自車影Kcがあると、ウインドゥWKL1,WKR1には自車影Kcが含まれる可能性が高い。したがって、ウインドゥWKL1,WKR1の内部の画素の輝度値のヒストグラムは、自車影Kcの輝度分布を含むため、輝度分布のピーク位置が暗部側に生じる。
一方、遠方に設定したウインドゥWには自車影Kcが含まれる可能性が低い。したがって、ウインドゥWの内部の画素の輝度値のヒストグラムは、自車影Kcの輝度分布を含まないため、輝度分布のピーク位置は、より明るい側に生じる。
したがって、画像Iに自車影Kcが映り込んでいるときには、ウインドゥW内の輝度値のヒストグラムのピークを与える輝度値とウインドゥWKL1,WKR1内の輝度値のヒストグラムのピークを与える輝度値の輝度差δIの値が所定値よりも大きくなる。これを検出して、画像Iの中に自車影Kcが映り込んでいると判定する。
2つめの方法は、図18(b)に示したウインドゥWKL2,WKR2の中のエッジ強度の分布を利用する。
具体的には、ウインドゥWKL2の中で縦エッジ強度を算出して、図18(d)に示すように、その縦エッジ強度のヒストグラムを作成する。
ウインドゥWKL2の中に自車影Kcが映り込んでいないときは、+エッジと−エッジがほぼ同等に出現するため、図18(d)のヒストグラムにおいて、+エッジの強度の総和E2と−エッジの強度の総和E1がほぼ等しくなる。
一方、ウインドゥWKL2の中に自車影Kcが映り込んでいるときは、+エッジと−エッジのうち、自車影Kcが映り込んでいる側に対応するエッジがより多く出現するため、図18(d)のヒストグラムにおいて、+エッジの強度の総和E2と−エッジの強度の総和E1に所定値以上の差が生じる。図18(d)は、ウインドゥWKL2の中に自車影Kcが映り込んでいることによって、+エッジの強度の総和E2が−エッジの強度の総和E1に対して極端の大きくなっている例である。
以上説明した2つの方法のいずれかによって、画像Iの中に自車影Kcが映り込んでいると判定されたときに、画像Iの中に自車影Kcが映り込んでいると判定される。
そして、画像Iの中に自車影Kcが映り込んでいると判定されたときは、ウインドゥWKL1,WKR1の内部、もしくは内部を含む近傍において検出されたレーンマーカ特徴点を、自車影Kcによって生じた特徴点であると判断して、これを除去する。
<周期性解析処理>
図19を用いて、周期性解析処理の内容について説明する。図19(a)は、撮像部10で撮像された画像Iの一例であり、周期性解析を行う領域であるウインドゥW,Wを設定した例である。このウインドゥW,Wは、レーンマーカの検出を行うときに設定されるウインドゥと同じものである。
なお、ここで行う周期性解析とは、前記撮像部10で異なる時間に撮像された複数の画像I(t)のウインドゥW,Wの内部で検出されるレーンマーカ特徴点S,Sの出現頻度の周期性を分析するものである。そして、この分析によって、レーンマーカの検出が確実に行われていることを裏付ける。
具体的には、図19(b)に示すように、ウインドゥWの内部で検出されたレーンマーカ特徴点Sの総数Pを時系列にプロットして、出現する波形の周期性を分析する。周期性の分析は、例えば、スペクトル分析によって行われ、波形の周期性の有無が分析される。なお、周期性の分析方法は、スペクトル分析に限定されるものではなく、数学的に提案されているいずれを用いて行ってもよい。
図19(b)の場合、この周期性分析の結果、周期性があると判断される。なお、図19(b)に見られる周期性は、レーンマーカが破線で構成されている道路を走行したときに、レーンマーカを構成する破線によって生じた周期性である。そして、その周期性が顕著に表れていることから、レーンマーカの検出が良好に行われていると判定される。
この周期性の判定結果は、後段で行う信頼度算出処理で利用されるが、その詳細については後述する。
<急カーブ認識処理>
次に、急カーブ認識処理の内容について説明する。ここでは、車両情報取得部60で取得した車速vと操舵角θ、もしくはヨーレートφを用いて道路の曲率を推定し、推定された曲率が所定値以上のときは、急カーブを走行していると判定する。
そして、急カーブであると判定されると、その情報は、前記視認性算出処理で利用される。
すなわち、急カーブであると判定されると、レーンマーカ検出処理が誤検出を起こす可能性が高くなるため、急カーブ判定がなくなるまでの間、視認性算出処理によって、視認性Vを0にリセットする。
さらに、後述する信頼度算出処理によって、レーンマーク検出結果の信頼度が変更されるが、これは後述する。
なお、急カーブ判定は、先に説明したように車両情報取得部60で取得した情報によって判定するのみならず、カーナビゲーションシステムから得た情報、すなわち、カーナビゲーションシステムから取得した、現在走行中の道路の進行方向前方の道路形状情報を用いて、前方の道路が急カーブであるか否かを判定するようにしてもよい。
<交差点認識処理>
次に、交差点認識処理の内容について説明する。ここでは、車両情報取得部60で取得した車速vと操舵角θ、もしくはヨーレートφを用いて道路の曲率を推定して、推定された曲率が所定値以上であり、なおかつ、車速が所定値以下であるときは、交差点を右左折中であると判定する。
そして、交差点を右左折中であると判定されると、その情報は、後述する信頼度算出処理で利用されるが、これは後述する。
なお、交差点判定は、先に説明したように車両情報取得部60で取得した情報によって判定するのみならず、カーナビゲーションシステムから得た情報、すなわち、カーナビゲーションシステムから取得した、現在走行中の道路の進行方向前方の道路形状情報を用いて、前方に交差点があるか否かを判定するようにしてもよい。このようにカーナビゲーションシステムから得た情報を用いると、交差点を右左折中であることのみならず、交差点を直進中であることも判定することができる。
(信頼度算出処理)
次に、図20を用いて、ステップS60で行われる信頼度算出処理について説明する。
ここでは、まず、視認性算出処理によって推定されて時間方向に亘って平滑化された視認性V’の値が、前記視認性推定部82から読み出される。
さらに、路面状態判定処理によって判定された路面状態の判定結果が、前記路面状態判定部50を構成する各々の判定モジュールから読み出される。
次に、前記信頼度算出部80において、視認性V’、および、各々の判定モジュールの判定結果に基づいて、信頼度Rを算出する。
信頼度Rは、路面状態に応じて、以下に説明する3通りの方法で算出される。以下、その各々について説明する。
<信頼度の補正>
信頼度Rを算出する第1の方法は、前記信頼度換算テーブル84を用いて、信頼度Rを算出するものである。以下、図20を用いて、この第1の方法による信頼度Rの算出方法を説明する。
通常時、すなわち、レーンマーカの検出が良好に行われているときは、信頼度Rと視認性V’は、R=V’の関係にあるものとする。この関係は、図20の特性Rで表される。
これに対し、例えば、雪わだちがあると認識されたときは、検出されるレーンマーカ特徴点S,Sの総数P,Pが減少するため、検出されるレーンマーカの信頼度Rは低下するものと考えられる。そこで、レーンマーカ特徴点S,Sの総数P,Pに基づいて推定された視認性V’に応じて、係数kを用いて、信頼度Rを(式1)で算出するものとする。
R=kV’(0≦k≦1) (式1)
この関係は、図20の特性Rで表される。
前記路面状態判定処理によって、雪わだち,オフロード,木漏れ日,自車影が認識されたときは、この第1の方法によって信頼度Rを算出する。なお、自車影が存在する場合、影と路面の境界をレーンマークとして誤認識し続ける場合があるため、レーンマーカ特徴点の総数が通常よりも多くないときには、この第1の方法によって信頼度Rを算出する。
なお、(式1)における係数kの値は、判定される路面状態毎に適宜設定すればよい。また、視認性V’は、時刻とともに随時出力されるため、それに応じて、信頼度Rも時刻とともに随時算出されて出力される。そして、そのとき、視認性V’は時間軸方向に亘って平滑化された滑らかな波形になっているため、この視認性V’を用いて算出される信頼度Rも、時間軸方向に亘って滑らかに変化する。
先に説明した図7において、第7列に「1」が付与された箇所が、この第1の方法を適用して信頼度Rを算出する箇所を示している。
<信頼度のリセット>
信頼度Rを算出する第2の方法は、所定の路面状態であることが認識されたときに、信頼度を0にする(リセットする)ものである。
例えば、路面標識があると認識されたときには、路面標識を、レーンマーカ特徴点S,Sと誤認識する可能性が高いエッジ点が多数検出される。したがって、路面標識がなくなるまで、一時的に信頼度Rをリセットして0とし、レーンマーカ検出を停止するのが望ましい。
なお、路面状態の継続時間には所定の時間間隔があるため、所定の時間が経過したときに、信頼度Rのリセットを解除して、レーンマーカの検出を再開することができる。例えば、路面標識の継続時間は10秒のオーダーであると考えられるため、10秒のオーダーの所定の時間を設定しておき、その所定の時間が経過したときに再び路面標識の判定を行い、そのときに路面標識が認識されないときには、レーンマーカの検出を再開することができる。
前記路面状態判定処理によって、雪わだち,オフロード,木漏れ日,自車影が認識されたときは、この第2の方法によって信頼度Rを算出する。なお、自車影が存在する場合、レーンマーク検出結果が自車影に引っ張られて、横飛びすることがある。このため、特に、レーンマーカの検出結果が、レーンの内側に向かって横飛びしたときには、信頼度を0にするのが望ましい。
先に説明した図7において、第7列に「2」が付与された箇所が、この第2の方法を適用して信頼度Rを算出する箇所を示している。
<信頼度の補正の抑制>
信頼度Rを算出する第3の方法は、第1の方法で説明した信頼度Rの補正を行う際に、その補正量を抑制するものである。
例えば、周期性解析処理によって、レーンマーカ特徴点S,Sの出現頻度に周期性があると判定されたときには、仮に視認性V’が低い場合であっても、レーンマーカが良好に検出されていると判断して、本来、図20に従って補正すべき信頼度Rの補正量を抑制する。補正量の抑制方法には様々なものが考えられるが、例えば、(式2)によって計算すればよい。
R=(k+Δk)V’(0≦k≦1,0<Δk≦1−k) (式2)
ここで、値Δkは、予め設定された、補正量を抑制するための所定値である。
先に説明した図7において、第7列に「3」が付与された箇所が、この第3の方法を適用して信頼度Rを算出する箇所を示している。
(車線逸脱判定処理)
次に、ステップS70で行われる車線逸脱判定処理について説明する。
車線逸脱判断部90は、まず、画像Iの中から、無限遠点である消失点の位置を検出し、算出された消失点の位置と、レーンマーカ検出処理で検出されたレーンマーカL,またはLの位置から、道路の延伸方向と車両5の進行方向とのなす角度であるヨー角ρと、車両5からレーンマーカL,またはLまでの距離である横偏位量δを算出する。
なお、横偏位量δは、具体的には、検出された消失点を通る、画像Iの中で上下方向に延びる直線と、レーンマーカLまたはLの位置とのずれ量に基づいて算出される。
さらに、車両情報取得部60で取得した車両5の車速vを用いて、(式3)によって車線逸脱予測時間Fを算出する。
F=δ/(vsinρ) (式3)
こうして算出された車線逸脱予測時間Fが、所定値よりも小さいときには、車線逸脱の可能性があると判断する。一方、車線逸脱予測時間Fが、所定値よりも小さいときには、車線逸脱の可能性がないと判断する。
そして、車線逸脱の可能性があると判断されると、警報出力制御部100において車線逸脱警報を出力して、車両5の運転者に注意を喚起する。
このとき、信頼度算出処理で算出された信頼度Rの値を参照して、信頼度Rが所定値以下であるときには、車線逸脱警報の出力を抑制する。これによって、誤警報の発生を抑制することができる。なお、車線逸脱警報の出力を抑制する信頼度Rの値(例えば30%)は、適宜決定すればよい。また、路面状態判定処理によって判定された路面状態に応じて、車線逸脱警報の出力を抑制する信頼度Rの値を変更するようにしてもよい。
一方、車線逸脱の可能性がないと判断されると、全ての処理を終了し、次の画像Iの処理に移る。
次に、図21〜図24を用いて、車載環境認識装置8の実際の場面での動作例を4例説明する。なお、以下に説明する動作例においては、信頼度Rが30%を下回ったときに、車線逸脱警報の出力を抑制するように設定されているものとする。
(動作例1)
図21は、雪わだちがある道路を走行しているときの、車載環境認識装置8の動作例を示す。そして、図21の例は、先に説明した信頼度算出処理のうち、第1の方法として説明した信頼度Rの補正を適用した例である。
図21において、横軸は時刻tを表し、縦軸は信頼度Rを表している。また、図21に記載した信頼度推移C1は、本発明を適用しない場合の信頼度推移を示し、信頼度推移C2は、先に第1の方法として説明した信頼度Rの補正を適用した場合の信頼度推移を示している。
すなわち、本発明を適用しない場合、信頼度推移C1からわかるように、時刻t1から時刻t2の間において、雪わだちをレーンマーカと誤認識して、車線逸脱の可能性があると判断されたときに車線逸脱警報が出力される。
一方、信頼度Rの補正を適用した信頼度推移C2では、算出された信頼度Rが、随時、視認性V’の値に基づいて補正されるため、時刻t1から時刻t2の間において、車線逸脱警報が抑制される。
なお、先に説明したように、信頼度Rは時間軸方向に亘って滑らかに変化するため、車線逸脱警報を行ったときのハンチングの発生を防止することができる。
(動作例2)
図22は、路面標識がある道路を走行しているときの、車載環境認識装置8の動作例を示す。そして、図22の例は、先に説明した信頼度算出処理のうち、第2の方法として説明した信頼度Rのリセットを適用した例である。
図22において、横軸は時刻tを表し、縦軸は信頼度Rを表している。また、図22に記載した信頼度推移C3は、本発明を適用しない場合の信頼度推移を示し、信頼度推移C4は、先に第2の方法として説明した信頼度Rのリセットを適用した場合の信頼度推移を示している。
すなわち、本発明を適用しない場合、信頼度推移C3からわかるように、時刻t5から時刻t6の間において、路面標識をレーンマーカと誤認識して、車線逸脱の可能性があると判断されたときに車線逸脱警報が出力される。
一方、信頼度Rのリセットを適用した信頼度推移C4では、路面状態判定処理によって、路面標識があることが認識されて、時刻t3において車線逸脱警報が抑制された後、時刻t4において信頼度Rが0にリセットされるため、時刻t5から時刻t6の間において、車線逸脱警報が抑制される。
(動作例3)
図23は、破線からなるレーンマーカが敷設された道路を走行しているときの、車載環境認識装置8の動作例を示す。そして、図23の例は、先に説明した信頼度算出処理のうち、第3の方法として説明した信頼度Rの補正の抑制を行う例である。
図23において、横軸は時刻tを表し、縦軸は信頼度Rを表している。また、図23に記載した信頼度推移C5は、先に第1の方法として説明した信頼度Rの補正を行った場合の信頼度推移を示し、信頼度推移C6は、先述した周期性解析処理によって破線の周期性を検出した後で、先に第3の方法として説明した信頼度Rの補正の抑制を適用した場合の信頼度推移を示している。
すなわち、信頼度Rの補正をそのまま適用した場合、信頼度推移C5からわかるように、破線の切れ目ではレーンマーカ特徴点S,Sが見えないために、周期的に信頼度Rが30%を下回る。そして、これによって、レーンマーカがあるにも関わらず、周期的に車線逸脱警報が抑制されてしまう。
一方、信頼度Rの補正の抑制を適用した信頼度推移C6では、周期性解析処理によってレーンマーカの周期性があることが判定されて、破線の切れ目においてレーンマーカが存在しない場合に信頼度Rの低下量が抑制される。したがって、信頼度Rが30%を上回る値となり、車線逸脱警報が抑制されず、レーンマーカの検出結果に基づいて車線逸脱の可能性があると判断されたときに的確な車線逸脱警報を行うことができる。
(動作例4)
図24は、木漏れ日がある道路を走行しているときに、さらに路面標識が出現したときの、車載環境認識装置8の動作例を示す。そして、図24の例は、先に説明した信頼度算出処理のうち、第1の方法として説明した信頼度Rの補正と、第2の方法として説明した信頼度Rのリセットを、ともに適用した例である。
図24において、横軸は時刻tを表し、縦軸は信頼度Rを表している。また、図24に記載した信頼度推移C7は、本発明を適用しない場合の信頼度推移を示し、信頼度推移C8は、先に第1の方法として説明した信頼度Rの補正を適用した場合を示し、信頼度推移C9は、先に第1の方法として説明した信頼度Rの補正と、先に第2の方法として説明した信頼度Rのリセットを両方とも適用した場合を示している。
すなわち、本発明を適用しない場合、信頼度推移C7からわかるように、時刻t9から時刻t12の間において、木漏れ日、もしくは路面標識をレーンマーカと誤認識して、車線逸脱の可能性があると判断されたときに車線逸脱警報が出力される。
これに対して、路面状態判定処理によって木漏れ日があると判定して、信頼度Rの補正を行うと、信頼度推移C8からわかるように、車線逸脱警報の出力範囲が、時刻t10から時刻t11の間に狭まる。これは、木漏れ日をレーンマーカとして誤認識していた部分で車線逸脱警報が抑制されたためである。
また、信頼度推移C7では、時刻0から時刻t8の間で車線逸脱警報が出力されていたが、信頼度推移C8では、その間隔が、時刻0から時刻t7の間に狭まっている。これは、信頼度推移C7において、時刻t7から時刻t8の間は、木漏れ日をレーンマーカであると誤認識してが、信頼度推移C8では、信頼度Rの補正を行うことによって、誤認識していた部分で車線逸脱警報が抑制されためである。
しかし、信頼度推移C8にあっても、路面標識の誤認識が残っているため、時刻t10から時刻t11の間では車線逸脱警報が出力される。
そして、さらに、路面状態判定処理によって路面標識があると判定して、信頼度Rのリセットを行うと、信頼度推移C9からわかるように、時刻t9以降の車線逸脱警報が抑制される。
このように、複数の路面状態が混在している場合であっても、それぞれの路面状態に基づいて算出された複数の信頼度Rを組み合わせることによって、より一層確実にレーンマークを検出することができる。そして、より的確に車線逸脱警報を出力することができる。
なお、動作例4では、複数の信頼度Rが算出されたとき、そのうちいずれか1つの信頼度Rが0であるときは、最終的な信頼度Rを0とした。ただし、複数の信頼度Rが算出されたときに、それらを組み合わせて最終的な信頼度Rを算出する方法はこれに限定されるものではなく、適宜設定された所定の規則を適用することができる。
以上説明したように、このように構成された本発明の車載環境認識装置8によれば、撮像部10によって撮像された画像Iの中から、レーンマーカ特徴点検出部40が、レーンマーカを構成すると考えられるレーンマーカ特徴点S,Sを検出して、レーンマーカ検出部45が、こうして検出されたレーンマーカ特徴点S,Sの位置に基づいてレーンマーカを検出するとともに、路面状態判定部50が、車両5が走行している路面の状態を判定して、信頼度算出部80が、路面状態判定部50の判定結果とレーンマーカ特徴点検出部40の検出結果に基づいて、レーンマーカ検出部45で検出されたレーンマーカの位置の信頼度Rを算出して、車線逸脱判断部90が、レーンマーカ検出部45で検出されたレーンマーカの位置に基づいて、車両5が走行中の車線から逸脱する可能性を判断して、車両5が走行中の車線から逸脱する可能性があると判断されたときに、警報出力制御部100がレーンマーカ検出結果の信頼度Rに応じた警報を出力するため、路面状態に応じたレーンマーカの検出結果の信頼度Rが算出されることによって、様々な路面状態の道路においてレーンマーカの検出を行うことができるとともに、レーンマーカの検出結果に応じた的確な車線逸脱警報を出力することができる。
また、本発明の車載環境認識装置8によれば、信頼度算出部80が、レーンマーカ特徴点検出部40で検出されたレーンマーカ特徴点Sの総数Pと、レーンマーカ特徴点Sの総数Pに基づいて、レーンマーカの視認性Vを推定する視認性推定部82を有し、視認性推定部82で推定された視認性Vと、路面状態判定部50で判定された路面状態と、に基づいて信頼度Rを算出するため、路面状態毎に、レーンマーカの見え方に応じて信頼度Rを算出することができ、これによって、例えば、路面状態毎に的確な車線逸脱警報を出力することができる。
そして、本発明の車載環境認識装置8によれば、視認性推定部82が、レーンマーカ特徴点検出部40において異なる時刻に検出されたレーンマーカ特徴点Sの総数Pと、レーンマーカ特徴点Sの総数Pをそれぞれ時間軸方向に平均化して、こうして平均化されたレーンマーカ特徴点Sの総数Pと、レーンマーカ特徴点Sの総数Pに基づいて視認性V’を推定するため、時間とともに滑らかに変化する視認性V’を得ることができ、これによって、時間軸方向に亘って滑らかに変化する信頼度Rを得ることができる。したがって、例えば、信頼度Rを用いて車線逸脱警報の制御を行ったときに、車線逸脱警報のハンチングを防止することができる。
さらに、本発明の車載環境認識装置8によれば、信頼度算出部80が、路面状態判定部50によって判定された路面状態毎に、視認性推定部82によって推定された視認性Vに応じて信頼度Rを調整する信頼度換算テーブル84を有し、信頼度換算テーブル84に基づいて、視認性推定部82によって推定された視認性Vを信頼度Rに換算するため、路面状態に応じた信頼度Rの算出を簡便に行うことができる。
また、本発明の車載環境認識装置8によれば、信頼度算出部80が、路面状態判定部50で所定の路面状態であることが判定されたときには、視認性Vを信頼度換算テーブル84によって信頼度Rに換算する際に、換算による信頼度Rの補正量を抑制するため、例えば、路面状態に周期性があると判定されたときに、信頼度Rの補正量を抑制することによって、レーンマーカを的確に検出することができる。
そして、本発明の車載環境認識装置8によれば、信頼度算出部80が、路面状態判定部50で所定の路面状態であることが判定されたときには、信頼度Rを所定時間に亘って0とするため、レーンマーカの検出を簡単に抑制することができ、これによって車線逸脱警報の抑制を簡便に行うことができる。
さらに、本発明の車載環境認識装置8によれば、信頼度算出部80が、異なる複数の路面状態毎に、それぞれ信頼度換算テーブル84を有し、信頼度算出部80は、信頼度換算テーブル84の各々によって換算された複数の信頼度Rを、所定の規則に基づいて演算して、信頼度Rを算出するため、複数の路面状態が同時に出現したときであっても、レーンマーカの検出を行うことができるとともに、的確な車線逸脱警報を行うことができる。
また、本発明の車載環境認識装置8によれば、警報出力制御部100が、信頼度Rの値が所定値よりも小さいときに、車線逸脱警報の出力を抑制するため、レーンマーカの誤検出に伴う誤警報の発生を防止することができる。
そして、本発明の車載環境認識装置8によれば、路面状態判定部50は、撮像部10で撮像された画像Iに基づいて行われる、路面標識の有無の判定、横断歩道の有無の判定、雪わだちの度合の判定、オフロードの度合の判定、木漏れ日の度合の判定、前記車両の影の有無の判定、異なる時刻に撮像された画像Iの中のレーンマーカ特徴点Sの総数Pと,レーンマーカ特徴点Sの総数Pの時間変化の判定、および、車両5の挙動や車両5に設置されたカーナビゲーションシステムからの情報に基づいて行われる、急カーブの判定、交差点の有無の判定、のうちの少なくとも1つを含む判定を行うため、様々な路面状態の道路において、レーンマーカの検出を行うことができる。
なお、以上説明した実施例においては、路面状態判定処理の結果に基づいて、信頼度Rを補正したが、これは、例えば、路面状態判定処理の判定結果が算出された後で、レーンマーカ検出結果がばたついたことや、レーンマーカ検出結果の検出位置の横飛びが発生したことを検出したときに、信頼度Rを補正するようにしてもよい。
また、路面状態判定処理で判定する路面状態は、実施例に記載したものに限定されるものではなく、その他の路面状態を判定して、その結果を信頼度Rに反映させることもできる。
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
8 車載環境認識装置
10 撮像部
20 レーンマーカ候補検出部
30 ウインドゥ設定部
40 レーンマーカ特徴点検出部
50 路面状態判定部
60 車両情報取得部
80 信頼度算出部
90 車線逸脱判断部
100 警報出力制御部

Claims (11)

  1. 車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、
    前記撮像部によって撮像された画像の中から、レーンマーカを構成すると考えられるレーンマーカ特徴点を検出するレーンマーカ特徴点検出部と、
    前記レーンマーカ特徴点検出部によって検出されたレーンマーカ特徴点に基づいて、レーンマーカの位置を検出するレーンマーカ検出部と、
    前記撮像部により撮像した画像から、前記車両が走行している路面状態を判定する路面状態判定部と、
    前記路面状態判定部によって判定された路面状態と、前記レーンマーカ特徴点検出部の検出結果に基づいて、前記レーンマーカ検出部によって検出されたレーンマーカの位置の信頼度を算出する信頼度算出部と、
    前記レーンマーカ検出部によって検出されたレーンマーカの位置に基づいて、前記車両が走行中の車線から逸脱する可能性を判断する車線逸脱判断部と、
    前記車線逸脱判断部において、前記車両が走行中の車線から逸脱する可能性があると判断されたときに、前記信頼度に応じて警報を出力する警報出力制御部と、を有することを特徴とする車載環境認識装置。
  2. 前記信頼度算出部は、前記レーンマーカ特徴点検出部で検出されたレーンマーカ特徴点の総数に基づいて、レーンマーカの視認性を推定する視認性推定部を有し、前記視認性推定部によって推定された視認性と、前記路面状態判定部によって判定された路面状態と、に基づいて前記信頼度を算出することを特徴とする請求項1に記載の車載環境認識装置。
  3. 前記視認性推定部は、前記レーンマーカ特徴点検出部において異なる時刻に検出された前記レーンマーカ特徴点の総数を時間軸方向に平均化して、こうして平均化されたレーンマーカ特徴点の総数に基づいて前記視認性を推定することを特徴とする請求項2に記載の車載環境認識装置。
  4. 前記信頼度算出部は、前記路面状態判定部によって判定された路面状態毎に、前記視認性推定部によって推定された視認性に応じて前記信頼度を調整する信頼度換算テーブルを有し、前記信頼度換算テーブルに基づいて、前記視認性推定部によって推定された視認性を前記信頼度に換算することを特徴とする請求項2または請求項3に記載の車載環境認識装置。
  5. 前記信頼度算出部は、前記路面状態判定部で所定の路面状態であることが判定されたときには、前記視認性を前記信頼度換算テーブルによって信頼度に換算する際に、換算による信頼度の補正量を抑制することを特徴とする請求項4に記載の車載環境認識装置。
  6. 前記信頼度算出部は、前記路面状態判定部で所定の路面状態であることが判定されたときには、前記信頼度を所定時間に亘って0とすることを特徴とする請求項2から請求項5のいずれか1項に記載の車載環境認識装置。
  7. 前記信頼度算出部は、異なる複数の路面状態毎に、それぞれ信頼度換算テーブルを有し、前記信頼度算出部は、前記信頼度換算テーブルの各々によって換算された複数の信頼度を、所定の規則に基づいて演算して、信頼度を算出することを特徴とする請求項4から請求項6のいずれか1項に記載の車載環境認識装置。
  8. 前記警報出力制御部は、前記信頼度の値が所定値よりも小さいときに、前記警報の出力を抑制することを特徴とする請求項1から請求項7のいずれか1項に記載の車載環境認識装置。
  9. 前記路面状態判定部は、前記撮像部で撮像された画像に基づいて、特定の路面状態を判定する複数の判定モジュールを備えていることを特徴とする請求項1から請求項8に記載の車載環境認識装置。
  10. 前記車両の挙動を取得する車両情報取得部を備え、
    前記路面状態判定部は、前記車両情報取得部で取得した情報に基づいて、前記車両が走行している路面状態を判定することを特徴とする請求項1から請求項9のいずれか1項に記載の車載環境認識装置。
  11. 前記路面状態判定部は、前記撮像部で撮像された画像に基づいて行われる、路面標識の有無の判定、横断歩道の有無の判定、雪わだちの度合の判定、オフロードの度合の判定、木漏れ日の度合の判定、前記車両の影の有無の判定、異なる時刻に撮像された画像の中の前記レーンマーカ特徴点の総数の時間変化の判定、および、前記車両の挙動や前記車両に設置されたカーナビゲーションシステムからの情報に基づいて行われる、急カーブの判定、交差点の有無の判定、のうちの少なくとも1つを含む判定を行うことを特徴とする請求項10に記載の車載環境認識装置。
JP2012168772A 2012-07-30 2012-07-30 車載環境認識装置 Expired - Fee Related JP6006574B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012168772A JP6006574B2 (ja) 2012-07-30 2012-07-30 車載環境認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012168772A JP6006574B2 (ja) 2012-07-30 2012-07-30 車載環境認識装置

Publications (2)

Publication Number Publication Date
JP2014026608A JP2014026608A (ja) 2014-02-06
JP6006574B2 true JP6006574B2 (ja) 2016-10-12

Family

ID=50200156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012168772A Expired - Fee Related JP6006574B2 (ja) 2012-07-30 2012-07-30 車載環境認識装置

Country Status (1)

Country Link
JP (1) JP6006574B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6140658B2 (ja) * 2014-08-20 2017-05-31 株式会社Soken 走行区画線認識装置、走行区画線認識プログラム
JP6272204B2 (ja) 2014-10-02 2018-01-31 株式会社Soken 道路区画線情報取得装置
CN105788250B (zh) * 2014-12-24 2019-08-02 中国电信股份有限公司 车辆驾驶行为处理方法和装置
CN106339659A (zh) * 2015-07-10 2017-01-18 株式会社理光 检测道路分割物的方法和装置
KR101938145B1 (ko) * 2016-10-26 2019-04-11 주식회사 만도 전방 영상과 네비게이션 정보를 이용한 최적 주행차선 유도 시스템 및 방법
DE102018100292A1 (de) * 2018-01-09 2019-07-11 Connaught Electronics Ltd. Erfassung einer Fahrspurmarkierung durch ein Spurhaltewarnsystem eines Fahrzeugs
CN111523360B (zh) * 2019-09-09 2023-06-13 毫末智行科技有限公司 用于识别路面标记的方法、装置及单目摄像头

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3888166B2 (ja) * 2002-01-16 2007-02-28 三菱自動車工業株式会社 車両用運転支援装置
JP4988786B2 (ja) * 2009-04-09 2012-08-01 株式会社日本自動車部品総合研究所 境界線認識装置
JP5454179B2 (ja) * 2010-02-02 2014-03-26 トヨタ自動車株式会社 運転支援装置
JP2012088756A (ja) * 2010-10-15 2012-05-10 Toyota Motor Corp 走行支援装置及び方法

Also Published As

Publication number Publication date
JP2014026608A (ja) 2014-02-06

Similar Documents

Publication Publication Date Title
JP6006574B2 (ja) 車載環境認識装置
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
US9467687B2 (en) Vehicle-mounted environment recognition device
JP6126094B2 (ja) 車載用画像認識装置
US9690996B2 (en) On-vehicle image processor
EP2843615B1 (en) Device for detecting three-dimensional object and method for detecting three-dimensional object
US8744194B2 (en) Boundary line recognition apparatus
EP2879384B1 (en) Three-dimensional object detection device
JP5220787B2 (ja) 車載白線認識装置
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
US9965690B2 (en) On-vehicle control device
US10127460B2 (en) Lane boundary line information acquiring device
US20150120160A1 (en) Method and device for detecting a braking situation
JP2010218528A (ja) 仮想車線を用いる車線離脱警報方法及びそのシステム
EP2879115B1 (en) Three-dimensional object detection device
JP4991384B2 (ja) 接近物検知装置及び接近物検知プログラム
JP5209656B2 (ja) 車載白線認識装置
JP5997962B2 (ja) 車載レーンマーカ認識装置
JP2010020710A (ja) 路側固定物検出装置
JP6426512B2 (ja) 走行区画線認識装置
JP5204144B2 (ja) 車載白線認識装置
JP6200780B2 (ja) 車線認識判定装置
KR102327342B1 (ko) 차량용 카메라 보정 장치
KR20210031163A (ko) 노면 객체 인식 기반의 차로 검출 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160324

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160909

R150 Certificate of patent or registration of utility model

Ref document number: 6006574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees