JP5817331B2 - 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法 - Google Patents

車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法 Download PDF

Info

Publication number
JP5817331B2
JP5817331B2 JP2011181514A JP2011181514A JP5817331B2 JP 5817331 B2 JP5817331 B2 JP 5817331B2 JP 2011181514 A JP2011181514 A JP 2011181514A JP 2011181514 A JP2011181514 A JP 2011181514A JP 5817331 B2 JP5817331 B2 JP 5817331B2
Authority
JP
Japan
Prior art keywords
light intensity
polarization state
vehicle
camera
state feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011181514A
Other languages
English (en)
Other versions
JP2013045227A (ja
Inventor
鈴木 明
明 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2011181514A priority Critical patent/JP5817331B2/ja
Publication of JP2013045227A publication Critical patent/JP2013045227A/ja
Application granted granted Critical
Publication of JP5817331B2 publication Critical patent/JP5817331B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Description

本発明は、車両運転支援装置および方法に関し、より詳細には、偏光情報を利用した車両運転支援装置および方法に関する。
従来、ドライバーの運転負荷を軽減させるための車両走行支援システムが種々検討されている。この点につき、特開平5−265547号公報(特許文献1)は、車載カメラが撮像した道路画像を画像解析することによって走行レーンを区画する白線を検出して自車の操舵や速度を制御する車両走行支援システムを開示する。このように、従来の車両走行支援システムの多くは、走行可能領域の境界(センターラインや縁石ブロックなど)を撮像画像の輝度解析によって検出するものであった。
しかしながら、これまでの輝度解析によるシステムは、入射光量が不足する曇天・雨天時や、路面上に日向と日陰の境界が存在するような場合に、正確なエッジを検出することができず誤作動する虞があった。
上記従来技術における課題に鑑み、本出願人が先に出願した特願2010−151334号は、車載カメラが受光した光の偏光成分を解析することによって、車道に設けられた縁石ブロック領域を検出する方法を開示する。以下、当該方法の原理について説明する。
一般に、自動車専用道路と歩道の境界(路肩)に所定の高さの縁石ブロック帯を設けることが省令によって定められている。図15は、路肩に縁石ブロック帯が設けられた自動車専用道路を示す。図15に示すように、一般に、縁石ブロック帯102は、直方体のコンクリーブロックが連なって形成されており、縁石ブロック帯102は、その側面である路端面106が路面104に直交するように立設されている。ここで、路面104を形成するアスファルや縁石ブロック帯102を形成するコンクリートなどの不導体への入射光は、反射によって偏光状態が変化することが知られている。この点につき、図16を参照して説明する。
図16(a)に示すように、屈折率の異なる2つの物質の界面に光が所定の入射角θをもって入射する場合、電場の振動方向が入射面に平行な光の成分(p成分)と電場の振動方向が入射面に垂直な光の成分(s成分)は、図16(b)に示すように、反射率の角度依存性が異なるため、入射角θが0以上、ブリュースター角未満の場合、界面からの反射光は、図17に示すように、p成分よりもs成分を多く含む楕円偏光になることが知られている。
ここで、図18(a)を参照して、偏光方向に偏りを持たない無偏光光線が路面104および路端面106に入射するケースを考える。この場合、いずれの反射光も楕円偏光になるが、路端面106と路面104が直交しているため、車両側から見ると2つの楕円偏光の長軸は直交する関係になる。したがって、車両側の観察系において、路面104に平行な成分(すなわち、車軸方向の成分)を水平成分H、路面104に垂直な成分(すなわち、車の高さ方向の成分)を垂直成分Vと定義すれば、路端面反射光の強度比(V/H)と路面反射光の強度比(V/H)は当然異なるものとなる。よって、偏光素子を備える受光素子108を用いて反射光の水平成分Hおよび垂直成分Vを検出することができれば、強度比(V/H)の違いを利用して路端面反射光と路面反射光を区別することができる。
しかしながら、実際の道路の周りには様々な建造物があるため、路面104や路端面106に入射する光は必ずしも無偏光光線ばかりではなく、これらの建造物に反射した楕円偏光を入射光として想定しなければならない。例えば、図18(b)に示すように、路面104に入射する楕円偏光の長軸と路端面106に入射する楕円偏光の長軸が車両側から見て垂直な関係にあった場合、車両側の観察系からみると、路端面反射光の強度比(V/H)と路面反射光の強度比(V/H)の間に有意な差を検出することができないため、路端面反射光と路面反射光を区別することが困難になる。
本発明は、この点に鑑みてなされたものであり、本発明は、楕円偏光が優勢な実際の道路環境においても正確に路肩を検出することができる新規な車両運転支援装置を提供することを目的とする。
本発明者は、楕円偏光が優勢な実際の道路環境においても正確に路肩を検出することができる新規な車両運転支援装置につき鋭意検討した結果、車両の車軸方向(または車両の高さ方向)に2つの偏光カメラを配置してなる撮像系を構築した上で、車軸方向の偏光成分の光強度(H)および当該車両の高さ方向の偏光成分の光強度(V)から算出される偏光状態特徴量を、2つの偏光カメラによって取得された各偏光画像において対をなす画素毎に比較し、その差分が所定の閾値を超える場合に、これを路肩として検出する方法を見出し、本発明に至ったのである。
すなわち、本発明によれば、車両の車軸方向の偏光成分の光強度(H)および該車両の高さ方向の偏光成分の光強度(V)を画素毎に検出する第1および第2のカメラが該車軸方向または該車両の高さ方向に離間して配置してなる偏光画像撮像手段と、前記第1のカメラが検出した前記光強度(H)および前記光強度(V)に基づいて第1の偏光状態特徴量を前記画素毎の算出する第1の偏光状態特徴量算出部と、前記第2のカメラが検出した前記光強度(H)および前記光強度(V)に基いて第2の偏光状態特徴量を前記画素毎の算出する第2の偏光状態特徴量算出部と、画像において対をなす前記第1のカメラの前記画素および前記第2のカメラの前記画素について、前記第1の偏光状態特徴量と前記第2の偏光状態特徴量の差分を求め、該差分が閾値を超える前記画素の座標情報に基づいて道路の路肩の位置情報を取得する路肩検出部と、を含む車両運転支援装置が提供される。
本実施形態の車両運転支援装置の機能ブロック図。 本実施形態における偏光画像撮像手段の構成を説明するための概念図。 比較すべき特徴量Fと特徴量Fの組み合わせを説明するための概念図。 本発明の原理を説明するための概念図。 本発明の原理を説明するための概念図。 本発明の原理を説明するための概念図。 本発明の原理を説明するための概念図。 本実施形態における路肩検出部のマーキング処理を説明するための概念図。 本実施形態における車両運転支援の態様を説明するための概念図。 本実施形態における車両運転支援の態様を説明するための概念図。 第2の実施形態の車両運転支援装置の機能ブロック図。 本実施形態において定義される補正用領域を示す図。 本実施形態において定義される補正係数を説明するための概念図。 本実施形態における補正係数を最適化する方法を示す図。 路肩に縁石ブロック帯が設けられた自動車専用道路を示す図。 反射光における偏光状態の変化を説明するための概念図。 反射光における偏光状態の変化を説明するための概念図。 入射光が無偏光光線である場合のモデルを示す図。
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
図1は、本発明に実施形態である車両運転支援装置10の機能ブロック図を示す。図1に示すように、車両運転支援装置10は、平行等位に配置された2台のカメラ120,120からなる偏光画像撮像手段100を備える。本実施形態においては、2台のカメラ120,120は、車両の車軸方向(すなわち、路面に平行な方向)に離間して配設されることを前提とする。具体的には、図2(a)に示すように、車両のフロントガラスの両端部分に2台のカメラ120,120を取り付けることができる。この場合、偏光画像撮像手段100は、その基線(2台のカメラ120,120のレンズの中心を結ぶ線)が車軸に平行になるように調整される。
カメラ120は、既存の3CCD偏光カメラと同等の構成を備える偏光撮像装置として参照することができ、適切なレンズ光学系122と、偏光素子と受光素子が一体化したマトリックスアレイセンサ130を含んで構成される。図2(b)は、マトリックスアレイセンサ130を拡大して示す。図2(b)に示すように、マトリックスアレイセンサ130は、複数の受光ブロック140がマトリックス状に配列されてなる固体撮像素子として参照することができ、1つの受光ブロック140は、偏光画像撮像手段100が撮像する画像の1つの画素(1ピクセル)に相当する。なお、本実施形態における撮像系は、光強度を取得するためのものであって、画像を描画するためのものではないので、縁石ブロック(高さ15cm位)のようなスケールの構造物を検出することができる程度の解像度を備えていればよく、そのピクセルサイズは、当該解像度を実現することができる必要十分なサイズであればよい。
本実施形態における受光ブロック140は、図2(b)に拡大して示すように直交する2つの偏光方向をもつ2種類の偏光素子142a,142bと、各偏光素子に固有の2つの受光素子144a,144bから構成されている。偏光素子142aは、マトリックスアレイセンサ130のX座標軸方向に偏光方向をもち、偏光素子142bは、Y座標軸方向に偏光方向を持っている。ここで、マトリックスアレイセンサ130のX座標軸およびY座標軸は、それぞれ、車両の車軸方向および高さ方向に対応しており、マトリックスアレイセンサ130の各受光ブロック140は、車両の車軸方向の偏光成分Hおよび高さ方向の偏光成分Vをそれぞれ別個に検出することができるように構成されている。
なお、図2(b)には、理解の容易のために、直交する偏光方向をもつ偏光素子からなる受光ブロック140を示したが、これはあくまで例示であり、本実施形態における受光ブロック140は、入射光の光強度を直交する2つの偏光成分毎に検出することができるものであればどのような構成であってもよく、種々の設計変更が可能であることはいうまでもない。例えば、図2(b)に破線で囲んで示すように、偏光素子として、直交する2方向に加えて、45°の方向にスリットをもつ3種類の偏光フィルタと各偏光フィルタに固有の3つの受光素子から受光ブロック140を構成することによって、楕円偏光をより正確に検出することができる。また、適切な偏光プリズムを偏光素子として用いることによって、直交する偏光成分を2つの受光素子に振り分けるようにしてもよく、液晶シャッタを偏光素子として用いることによって、直交する偏光成分を時分割に検出するようにしてもよい。
再び、図1に戻って説明を続ける。2つのカメラ120(以下、便宜的に主カメラ120および副カメラ120と呼び分ける)のマトリックスアレイセンサ130が検出した車両の車軸方向の偏光成分Hの光強度(H)と高さ方向の偏光成分Vの光強度(V)は、各受光ブロック140のXY座標値に対応づけられて情報処理部200に出力される。
情報処理部200は、主カメラ120および副カメラ120に対応して設けられる偏光状態特徴量算出部210,210と、路肩検出部220と、制御用信号生成部230とを含んで構成される。2つのカメラ120から出力された受光ブロック140毎の光強度(H)および光強度(V)は、それぞれ、偏光状態特徴量算出部210,210に入力される。各偏光状態特徴量算出部210は、入力された光強度(H)および光強度(V)に基づいて受光ブロック140毎に偏光状態特徴量を生成する。
本実施形態における偏光状態特徴量とは、各受光ブロック140が受光した光の偏光状態を表す特徴量Fとして定義されるものであり、本実施形態においては、下記式(1)〜(4)のいずれかの算出式によって特徴量Fを求めることができる。なお、下記式において、H=車両の車軸方向の偏光成分の光強度とし、V=車両の高さ方向の偏光成分の光強度とする。なお、光強度は、デジタルカメラの輝度値に対応する。
各偏光状態特徴量算出部210は、算出した偏光状態特徴量をXY座標系に紐付けたテーブル(以下、偏光状態特徴量テーブルとして参照する)を生成し、これを路肩検出部220に送信する。
路肩検出部220は、偏光状態特徴量比較部221を含んで構成されており、偏光状態特徴量比較部221は、主カメラ120および副カメラ120のそれぞれについて生成された偏光状態特徴量テーブルを用いて、受光ブロック140ごとに偏光状態特徴量を比較する。ここで、主カメラ120の受光ブロック140について算出された偏光状態特徴量を特徴量Fとし、副カメラ120の受光ブロック140について算出された偏光状態特徴量を特徴量Fとした場合、比較すべき特徴量Fと特徴量Fの組み合わせを何らかの方法で決定する必要がある。この点につき、図3に基づいて説明する。
図3(a)に示すように、偏光画像撮像手段100が偏光を検出する路面部分は自動車両の車輪の延長線上であり、一般的な平坦な路面では主カメラ120(左カメラ)および副カメラ120(右カメラ)の画角が睨む領域は何時も同じであるので、左右同一の領域を睨み画角を領域毎に何らかの方法で記憶しておくことで簡単に対応関係が取れる。つまり、図3(b)に示す様に、左右の受光ブロック140の対応関係をテーブル管理しておき、この管理テーブルに基づいて、左右の受光ブロック140ついて算出された偏光状態特徴量を比較すれば良い。またこの様な対応関係を記憶する方法以外に、左右の画像情報の相関を使ったパターンマッチングで対応する受光ブロック140を決定しても良い。これら対応する受光ブロック140の組み合わせを決定する方法は幾つか考えられるが、本発明は、その具体的な構成に限定されるものではなく、必要に応じて最適な方法を用いることができる。
以上、説明したように、偏光状態特徴量比較部221は、主カメラ120および副カメラ120がそれぞれ撮像した2つの偏光画像において対をなす2つの受光ブロックについて算出された特徴量Fと特徴量Fとを比較してその差分を求める。本実施形態の車両運転支援装置10は、当該差分の大きさに基づいて道路の路肩領域を検出することができる。以下、そのメカニズムについて、説明する。
路肩102に沿って縁石ブロック帯が設けられた道路を走行する車両について考える。図4(a)に示すように、路肩102近傍の路面104上の点Pで反射する反射光について考えると、2つのカメラ120,120は、車軸に対して平行等位に設置されており、また、路面104は、車軸に対して平行であると考えられるので、路面104を基準とした2つのカメラ120,120の高さは等しくなる。したがって、図4(b)に示すように、路肩に近い主カメラ120(以下、左カメラ120Lという)で検出される反射光の反射角の余画(θ)と、路端から遠い副カメラ120(以下、右カメラ120Rという)で検出される反射光の反射角の余画(θ)に大きな違いはない。つまり、路面104に対する入射角がほぼ等しい光の反射光が左カメラ120Lおよび右カメラ120Rによって受光されていると考えることができる。ここで、反射光の偏光状態は、入射角に依存するので、左カメラ120Lおよび右カメラ120Rによって受光される2つの反射光の偏光状態は、図5に示すように、ほぼ等しくなる。したがって、路面104上の点Pが結像する受光ブロック140が検出する光強度について考えれば、左カメラ120L側で検出される光強度(H、V)と、右カメラ120R側で検出される光強度(H、V)の特性に大きな違いは生じないので、左右のカメラ120について算出される特徴量Fと特徴量Fの間に有意な差は生じない。
一方、図6(a)に示すように、路肩102の路端面106上の点Qで反射する反射光について考えると、2つのカメラ120L,120Rは、車軸に対して平行等位に設置されており、また、路端面106は、車軸に対してほぼ垂直であると考えられるので、図6(b)に示すように、路端に近い左カメラ120Lで検出される反射光の反射角の余画(θ)は、路端から遠い右カメラ120Rで検出される反射光の反射角の余画(θ)よりも必ず小さくなる。つまり、路端面106に対する入射角について見た場合、右カメラ120Rよりも左カメラ120Lのほうに、より大きな入射角をもった光の反射光が受光されていると考えることができる。ここで、反射光の偏光状態は、入射角に依存するので、左カメラ120Lによって受光される反射光の偏光状態と右カメラ120Rによって受光される反射光の偏光状態は、図7に示すように大きく異なる。したがって、路端面106上の点Qが結像する受光ブロック140が検出する光強度について考えれば、左カメラ120L側で検出される光強度(H、V)と、右カメラ120R側で検出される光強度(H、V)が異なった特性を示すため、左右のカメラ120について算出される特徴量Fと特徴量Fの間に有意な差が生じる。本実施形態は、この特徴量Fと特徴量Fの差分が予め定められた所定の閾値を超える領域を路肩として検出するものである。なお、路肩として検出するための閾値は、適切な予備実験やシミュレーションの結果に基づいて適宜設定することができる。
偏光状態特徴量比較部221は、上述した手順で主カメラ120の受光ブロック140について算出された特徴量Fと、副カメラ120の受光ブロック140について算出された特徴量Fを比較してその差分を求め、その差分が所定の閾値を超えた組につき、主カメラ120の画像座標系上でマーキングする。例えば、図8(a)に示すような道路が偏光画像撮像手段100の視界に入っている場合、画像座標系において、路肩102の路端面106が結像している領域がマーキングされる。図8(b)は、路端面106に対応する画像座標系がマーキングされた様子を概念的に示している。偏光状態特徴量比較部221は、偏光画像撮像手段100が取得する画像の変化に応じてリアルタイムにマーキングを実行し、路肩検出部220は、路肩102としてマーキングされたXY座標値を参照可能なメモリ領域に格納し、常に更新する。
本実施形態の車両運転支援装置10は、さらに、制御用信号生成部230を含んで構成されている。本実施形態における制御用信号生成部230は、路肩検出部220が更新する路肩の位置情報(XY座標値)を監視しており、当該路肩の位置情報に基づいて、車両と路肩の間隔を導出する。この点につき、図9および図10を参照して説明する。
例えば、図9(a)に示すような道路が偏光画像撮像手段100の視界に入っている場合を考えると、偏光画像撮像手段100の画角の左端と撮像系から見て奥行き4mのラインの交点について、特徴量の差分が閾値を超える結果、これが路肩領域として検出される。このような場合、図9(b)に示すように撮像系の水平視野角を90°とすれば、車両と路肩102の間隔が4mであることが導かれる。
一方、図10(a)に示すような道路が偏光画像撮像手段100の視界に入っている場合を考えると、偏光画像撮像手段100の画角の左端と撮像系から見て奥行きが2mのラインの交点について、特徴量の差分が閾値を超える結果、これが路肩領域として検出される。このような場合、図10(b)に示すよう車両と路肩102の間隔が2mであることが導かれる。
制御用信号生成部230は、導出した車両と路肩の間隔の値に基づいて所定の制御ルールを参照し、必要に応じて適切な御用信号を生成して、適宜、操舵制御手段310、走行速度制御手段320、警告手段330に出力する。たとえば、車両と路肩の間隔が所定の閾値を下回ったことに応答して、パワーステアリングとして参照される操舵制御手段310に対して操舵信号を送信し、自動的に操舵をコントロールして車両と路端の間隔を取るようにしたり、運転席のハンドルに適切な操舵を促すフォースフィードバック(路端方向には重く、路端と距離を取る方向には軽くなるような)を行ったりするように構成することができる。また、車両と路肩の間隔が所定の閾値を下回ったことに応答して、燃料噴射装置やブレーキ装置として参照される走行速度制御手段320に対して速度制御信号を送信して制御することによって、自動的に速度を緩めたり、自動的にブレーキをかけたりするように構成することができる。あるいは、音声画像装置として参照される警告手段330に車両と路肩の間隔に関する情報を常に表示させ、車両と路肩の間隔が所定の閾値を下回ったことに応答して、ブザー等で運転者に警告するように構成することもできる。なお、これらはあくまで例示であって、本発明は、その制御対象の構成によって限定されるものではない。
さらに、本発明の好ましい実施形態においては、路肩検出の精度を向上させるための補正手段を備えることができる。以下、この点について、図11〜図13を参照して説明する。
本発明の車両運転支援装置は、偏光画像撮像系を構成する2つのカメラの撮影条件が均等であることを前提としているが、実際の使用状況によっては、必ずしもそうならない場合がある。例えば、車両のフロントガラスの汚れなどが原因で2つのカメラに入射する光量に差が生じる場合などはその一例である。このような場合、本来ならば主カメラ120側で取得される特徴量Fと副カメラ120側で取得される特徴量Fの間に有意な差が生じないはずの路面について、閾値を超える差分量が検出されてしまい、路面を誤って路肩として誤認識してしまう虞がある。この点につき、図11に示す第2の実施形態の車両運転支援装置20は、このような外乱の影響を低減するために、キャリブレーション部240を備える。以下、キャリブレーション部240について説明する。
車両運転支援装置20は、図12(a)に示すように、路面と推定される所定領域(例えば、車両のすぐ前方且つ車幅の内側の領域)を補正用領域Cと定義する。キャリブレーション部240は、図12(b)に示すように、補正用領域Cが撮像される画角に対応する所定の画素領域(補正用領域Cが結像するはずの複数の受光ブロック140)を補正値取得用画素領域として定義し、主カメラ120および副カメラ120のそれぞれについて、当該補正値取得用画素領域の光強度(H)および光強度(V)を取得する。
このとき、仮に、主カメラ120が設置されている側のフロントガラスが汚れていれば、図13(a)に示すように、主カメラ120の補正値取得用画素領域の光強度と副カメラ120補正値取得用画素領域に入射する光強度に差異が生じるはずである。本実施形態においてはこの差異に着目して2つのカメラ120それぞれに固有の補正係数を定義する。すなわち、キャリブレーション部240は、各カメラ120の補正値取得用画素領域について取得された光強度(H)および光強度(V)を適切なルールで正規化した上で、主カメラ120について得られた正規値を副カメラ120用の補正係数Sとして定義し、副カメラ120について得られた値を主カメラ120用の補正係数Mとして定義する。
図13(b)は、2つのカメラ120に入射する走行中の路面の反射光の強度を示す。主カメラ120が設置されている側のフロントガラスが汚れている場合、図13(b)の上段に示すように、主カメラ120の各受光ブロック140で検出される光強度は、副カメラ120のそれよりも小さくなる。本実施形態においては、各カメラ120で検出された光強度の値に対してキャリブレーションモード時に取得した補正係数を乗じられる。すなわち、主カメラ120側の偏光状態特徴量算出部210は、主カメラ120側で検出された光強度(H)および光強度(V)の値に補正係数Mを乗じて得られた値に基づいて偏光状態特徴量を算出し、副カメラ120側の偏光状態特徴量算出部210は、副カメラ120側で検出された光強度(H)および光強度(V)の値に補正係数Sを乗じて得られた値に基づいて偏光状態特徴量を算出する。その結果、図13(b)の下段に示すように、両カメラで検出された光強度の値が外乱の影響をキャンセルするように適正に補正されるので、路面を誤って路肩として検出してしまうことが回避される。
なお、厳密には、図14(a)に示すように、主カメラ120に入射する補正用領域Cの反射光の偏光軸と副カメラ120に入射する補正用領域Cの反射光の偏光軸は内側に傾いているので、キャリブレーション部240は、図14(b)に示すように、いずれか一方のカメラ(例えば、主カメラ120)の出力値を左右反転して両者の偏光軸を合致させた後に補正係数を求めることによって、補正係数をより適切な値とすることができる。
なお、外乱は常に変化するので、適切なタイミングで定期的にキャリブレーションを実行し、補正係数をリアルタイムで更新することが好ましい。ただし、補正用領域Cに障害物があることが推定されるような場合には、補正係数の更新を行わないことが必要である。したがって、車両の走行速度が基準値に満たない場合(停止中も含む)や、超音波ソナーなどによって測距された補正用領域Fの方向の距離が基準値に満たない場合には、補正用領域Cに障害物がある可能性が高いと判断して補正係数の更新を行わないようにすることが好ましい。
以上、説明したように、本発明によれば、楕円偏光が優勢な実際の道路環境においても正確に路肩を検出することができるので、ドライバーに対してより的確な運転支援を行うことができる。なお、これまで本発明につき、偏光画像撮像手段の2台のカメラを車両の車軸方向に離間して配設する実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、2台のカメラを車両の高さ方向(すなわち、車軸方向に垂直な方向)に離間して配設しても良い。この場合、これまで説明した内容と逆になり、偏光状態特徴量の差分が所定の閾値に満たない領域が路肩として検出される。
さらに、上述した実施形態においては、偏光画像撮像系の画角全域に対応する面積のマトリックスアレイセンサ130を設けていたが、危険回避のためには、必要最低限の画角からの偏光情報を得れば事足りるので、上述したマトリックスアレイセンサ130に代えてそのような範囲をカバーすることが可能なラインセンサーを用いても良い。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
上述した実施形態の各機能は、アセンブリ言語、C、Visual C、C++、Visual C++、Java(登録商標)、Java(登録商標)Beans、Java(登録商標)Applet、Java(登録商標)Hcript、Perl、Rubyなど、レガシープログラミング言語やオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、装置可読な記録媒体に格納して頒布することができる。
10…車両運転支援装置
20…車両運転支援装置
100…偏光画像撮像手段
102…路肩(縁石ブロック帯)
104…路面
106…路端面
108…受光素子
120…カメラ
122…レンズ光学系
130…マトリックスアレイセンサ
140…受光ブロック
142…偏光素子
144…受光素子
200…情報処理部
210…偏光状態特徴量算出部
220…路肩検出部
221…偏光状態特徴量比較部
230…制御用信号生成部
240…キャリブレーション部
310…操舵制御手段
320…走行速度制御手段
330…警告手段
特開平5−265547号公報

Claims (10)

  1. 車両の車軸方向の偏光成分の光強度(H)および該車両の高さ方向の偏光成分の光強度(V)を画素毎に検出する第1および第2のカメラが該車軸方向または該車両の高さ方向に離間して配置してなる偏光画像撮像手段と、
    前記第1のカメラが検出した前記光強度(H)および前記光強度(V)に基づいて第1の偏光状態特徴量を前記画素毎の算出する第1の偏光状態特徴量算出部と、
    前記第2のカメラが検出した前記光強度(H)および前記光強度(V)に基いて第2の偏光状態特徴量を前記画素毎の算出する第2の偏光状態特徴量算出部と、
    画像において対をなす前記第1のカメラの前記画素および前記第2のカメラの前記画素について、前記第1の偏光状態特徴量と前記第2の偏光状態特徴量の差分を求め、該差分が所定の閾値を超える前記画素の座標情報に基づいて道路の路肩の位置情報を取得する路肩検出部と、
    路面と推定される領域が撮像される画角に対応する所定の画素領域である補正値取得用画素領域について、前記第1のカメラにおける前記補正値取得用画素領域の前記光強度(H)および前記光強度(V)に基づいて第2の補正係数を算出し、前記第2のカメラにおける前記補正値取得用画素領域の前記光強度(H)および前記光強度(V)に基づいて第1の補正係数を算出するキャリブレーション部とを含み、
    前記第1の偏光状態特徴量算出部は、前記第1の補正係数に基づいて前記第1の偏光状態特徴量を算出し、
    前記第2の偏光状態特徴量算出部は、前記第2の補正係数に基づいて前記第2の偏光状態特徴量を算出する、
    車両運転支援装置。
  2. 前記偏光状態特徴量は、下記式(1)〜(4)に示すいずれか1つの算出式によって算出される、請求項1に記載の車両運転支援装置。
    (上記各式において、車両の車軸方向の偏光成分の光強度をHとし、該車両の高さ方向の偏光成分の光強度をVとし、偏光状態特徴量をFとする)
  3. 前記第1の偏光状態特徴量算出部は、前記第1のカメラ側で検出された前記光強度(H)および前記光強度(V)の値に前記第1の補正係数を乗じて得られた値に基づいて前記第1の偏光状態特徴量を算出し、前記第2の偏光状態特徴量算出部は、前記第2のカメラ側で検出された前記光強度(H)および前記光強度(V)の値に前記第2の補正係数を乗じて得られた値に基づいて前記第1の偏光状態特徴量を算出する、請求項1または2に記載の車両運転支援装置。
  4. 前記キャリブレーション部は、前記第1および第2の補正係数を定期的に更新する、請求項に記載の車両運転支援装置。
  5. 前記キャリブレーション部は、所定のルールに基づいて前記路面と推定される領域に障害物がある可能性が高いと判断した場合には補正係数の更新を行わない、請求項に記載の車両運転支援装置。
  6. 前記路肩検出部が取得した前記路肩の位置情報に基づいて車両搭載装置の制御用信号を生成する制御用信号生成部をさらに含む、請求項1〜のいずれか一項に記載の車両運転支援装置。
  7. 前記車両搭載装置は、操舵制御手段、走行速度制御手段および警告手段のうちの少なくとも1つである、請求項に記載の車両運転支援装置。
  8. 請求項に記載の車両運転支援装置を搭載する自動車。
  9. 車両が走行する道路の路肩を検出する方法であって、
    前記車両の車軸方向の偏光成分の光強度(H)および該車両の高さ方向の偏光成分の光強度(V)を画素毎に検出する第1および第2のカメラを該車軸方向または該高さ方向に離間して偏光画像撮像系を構築するステップと、
    路面と推定される領域が撮像される画角に対応する所定の画素領域である補正値取得用画素領域について、前記第1のカメラにおける前記補正値取得用画素領域の前記光強度(H)および前記光強度(V)に基づいて第2の補正係数を算出し、前記第2のカメラにおける前記補正値取得用画素領域の前記光強度(H)および前記光強度(V)に基づいて第1の補正係数を算出するステップと、
    前記第1のカメラが検出した前記光強度(H)および前記光強度(V)に基づいて第1の偏光状態特徴量を前記画素毎の算出するステップであって、前記第1の補正係数に基づいて該第1の偏光状態特徴量を算出するステップと、
    前記第2のカメラが検出した前記光強度(H)および前記光強度(V)に基いて第2の偏光状態特徴量を前記画素毎の算出するステップであって、前記第2の補正係数に基づいて該第2の偏光状態特徴量を算出するステップと、
    画像において対をなす前記第1のカメラの前記画素および前記第2のカメラの前記画素について、前記第1の偏光状態特徴量と前記第2の偏光状態特徴量の差分を求め、該差分が閾値を超える前記画素の座標情報に基づいて前記路肩の位置情報を取得するステップと、
    を含む、
    方法。
  10. 請求項に記載の方法によって取得された前記路肩の位置情報に基づいて、操舵制御手段、走行速度制御手段および警告手段から選択される少なくとも1つの車両搭載装置を制御して車両の運転支援を行う方法。
JP2011181514A 2011-08-23 2011-08-23 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法 Expired - Fee Related JP5817331B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011181514A JP5817331B2 (ja) 2011-08-23 2011-08-23 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011181514A JP5817331B2 (ja) 2011-08-23 2011-08-23 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法

Publications (2)

Publication Number Publication Date
JP2013045227A JP2013045227A (ja) 2013-03-04
JP5817331B2 true JP5817331B2 (ja) 2015-11-18

Family

ID=48009102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011181514A Expired - Fee Related JP5817331B2 (ja) 2011-08-23 2011-08-23 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法

Country Status (1)

Country Link
JP (1) JP5817331B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6477350B2 (ja) * 2015-08-10 2019-03-06 日産自動車株式会社 路面検出装置の制御方法および路面検出装置
EP3859273B1 (en) * 2018-09-30 2023-09-06 Great Wall Motor Company Limited Method for constructing driving coordinate system, and application thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3897337B2 (ja) * 2002-02-08 2007-03-22 株式会社東芝 路肩検出装置及び方法
JP5440927B2 (ja) * 2009-10-19 2014-03-12 株式会社リコー 測距カメラ装置
JP5664152B2 (ja) * 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置

Also Published As

Publication number Publication date
JP2013045227A (ja) 2013-03-04

Similar Documents

Publication Publication Date Title
US11340071B2 (en) Calibration system and calibration apparatus
CN102782720B (zh) 对象识别装置、移动主体控制装置及信息提供装置
US9975499B2 (en) Wading apparatus for a vehicle and method of use
US10300852B2 (en) Water depth estimation apparatus and method
CN103080978B (zh) 对象识别装置
US10365462B2 (en) Distance measurement system and mobile object system
KR101265110B1 (ko) 랜드마크를 이용한 조향 제어 장치 및 방법
KR101245906B1 (ko) 차량 탑재 카메라의 교정에 사용할 수 있는 교정 지표와, 교정 지표를 사용한 차량 탑재 카메라의 교정 방법, 및 교정 지표를 사용한 차량 탑재 카메라의 교정 장치를 위한 프로그램
JP2008523417A (ja) 車両速度を求める方法及び装置
CN104057882A (zh) 基于双摄像机的前方路缘观察系统
JP5513327B2 (ja) 車線推定装置
CN104802710B (zh) 一种智能汽车倒车辅助系统及辅助方法
JP5967463B2 (ja) 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
WO2019116687A1 (ja) 道路地図生成システム及び道路地図生成方法
CN113297895A (zh) 道路标记检测
CN103370224A (zh) 具有用于监控车辆周边环境的装置的车辆
JP2011150688A (ja) 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
US11663831B2 (en) Image processing device and image processing method
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
JP5817331B2 (ja) 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法
JP4650687B2 (ja) 周辺監視装置
JP5857528B2 (ja) 車両運転支援装置、道路の路肩を検出する方法および該方法に基づく車両運転支援方法
US11897384B2 (en) System and method for vehicle lighting-based roadway obstacle notification
KR20160091083A (ko) 이미지 센서 및 이를 이용한 스테레오 카메라
CN107423659B (zh) 车辆的控制方法、系统及具有其的车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150914

R151 Written notification of patent or utility model registration

Ref document number: 5817331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees