JP4714827B2 - 車両運転支援装置 - Google Patents

Description

本発明は、車両が走行中の道路に設けられているレーンマークを認識することにより、この車両の運転を支援するための装置に関する。

車載カメラにより撮像された車両の前方画像から、この車両が走行中の道路に設けられた白線等のレーンマークを認識する技術が提案されている。たとえば、第１先行技術によれば、撮像画像において走査方向に輝度が大きく変化する点または画素がエッジ点として抽出され、連続性があるエッジ点群を結ぶ線がレーンマークとして認識される（特許文献１参照）。また、第２先行技術によれば、撮像画像が車両からの遠近に応じて複数の領域に分割され、各分割領域においてハフ変換により抽出された直線成分がベジェ法により滑らかに接続されることにより曲率が高い白線が認識される（非特許文献１参照）。
特開２００６−３０９６０５号公報 田岡ほか「車両用白線認識アルゴリズムの一実現」信学技報 ｖｏｌ．１０６，ｎｏ．３１４（ＳＩＰ），３１６（ＩＣＤ），３１８（ＩＥ），ＳＩＰ２００６−９４，ＩＣＤ２００６−１２０，ＩＥ２００６−７２，ｐｐ．６３−６８，２００６年１０月

しかし、第１先行技術によれば、レーンマークの認識に際して対向し合うエッジ点列のペアリングが必要とされるため、レーンマークの認識のための演算処理の負荷が高くなる可能性がある。また、第２先行技術によれば、各分割領域におけるハフ変換処理のほか、ハフ変換処理により抽出された直線成分の円滑接続のための演算処理が必要であるため、演算処理負荷が高くなる可能性がある。

そこで、本発明は演算処理負荷の軽減を図りながら、レーンマークの認識精度の向上を図ることができる装置を提供することを目的とする。

第１発明の車両運転支援装置は、車両に搭載され、前記車両の前方の様子を撮像する撮像装置と、前記撮像装置による撮像画像の座標系を鉛直方向上側から俯瞰した実空間座標系に変換することにより、前記撮像装置の撮像範囲を鉛直方向上側から俯瞰した場合における、前記撮像装置の撮像範囲に存在する指定色を有する領域を指定俯瞰領域として認識する指定俯瞰領域認識手段と、前記指定俯瞰領域認識手段により認識された前記指定俯瞰領域の輪郭線上にある３つの点を結ぶ３つの弦を３つの辺として有する複数の三角形領域を認識する三角形領域認識手段と、前記三角形領域認識手段により認識された前記複数の三角形領域のうち、前記他の輪郭線上にある２つの点を両端点とする底辺からの高さがレーンマークの標準的な幅範囲に含まれる三角形領域群により構成される領域を前記車両が走行中の道路に設けられているレーンマークとして認識するレーンマーク認識手段とを備えていることを特徴とする。

第１発明の車両運転支援装置によれば、指定俯瞰領域の輪郭線上に配置された３つの点を指定俯瞰領域の内側において結ぶ３つの弦を３つの辺として有する複数の三角形領域が認識される。指定俯瞰領域は撮像装置の撮像範囲を鉛直方向上側から俯瞰された場合における、当該範囲に存在する指定色を有する領域である。このため、高さがレーンマークの標準的な幅範囲に含まれる三角形領域群がレーンマークとして認識されることにより、レーンマークの認識精度の向上を図ることができる。さらに、レーンマークとしての線の曲率が高い場合でも車両からの遠近に応じて撮像画像が分割されることなく、前記手法にしたがってレーンマークが認識されうる。したがって、レーンマークの認識に際して対向し合うエッジ点列のペアリングのための演算処理が不要となり、かつ、各分割画像を対象とする演算処理結果を合成または統合するための演算処理が不要となるので、その分だけ演算処理負荷の軽減を図ることができる。

第２発明の車両支援装置は、第１発明の車両運転支援装置において、前記レーンマーク認識手段が前記指定俯瞰領域のうち面積が閾値未満の前記指定俯瞰領域を除外した上で、前記レーンマークを認識することを特徴とする。

第２発明の車両運転支援装置によれば、面積に鑑みてレーンマークに該当しないような指定俯瞰領域がノイズとして除去される。このため、ノイズとして除去された指定俯瞰領域については三角形領域への分割および高さ測定等が省略されうる。したがって、演算処理負荷の軽減を図りながらもレーンマークの認識精度の向上を図ることができる。

第３発明の車両運転支援装置は、第１または第２発明の車両運転支援装置において、前記三角形領域認識手段が異なる前記三角形領域の前記対辺同士が前記指定俯瞰領域の内側において交差しないように前記複数の三角形領域を認識することを特徴とする。

第３発明の車両運転支援装置によれば、認識される三角形領域の数の低減が図られるので、演算処理負荷の軽減を図りながらもレーンマークの認識精度の向上を図ることができる。

第４発明の車両運転支援装置は、第１〜第３発明のうちいずれか１つの車両運転支援装置において、前記三角形領域認識手段が前記弦の長さの和が最小になるように前記三角形領域を認識することを特徴とする。

第４発明の車両運転支援装置によれば、３つの辺を構成する３つの弦の長さの和が最小になるように三角形領域が認識されることにより、当該条件を満たしていない三角形領域までもが認識される事態が回避される。したがって、演算処理負荷の軽減を図りながらも、レーンマークの幅のばらつきの影響が軽減されることによってレーンマークの認識精度の向上を図ることができる。

第５発明の車両運転支援装置は、第１〜第４発明のうちいずれか１つの車両運転支援装置において、前記三角形領域認識手段が相互に離反する前記三角形領域を認識することを特徴とする。

第５発明の車両運転支援装置によれば、レーンマークの幅のばらつきの影響が軽減された演算処理負荷の軽減を図りながらもレーンマークの認識精度の向上を図ることができる。

本発明の車両運転支援装置の実施形態について説明する。まず、車両素行支援装置の構成について説明する。図１に示されている車両運転支援装置１００は車両１に搭載されているＥＣＵ（電子制御ユニット。ＣＰＵ，ＲＯＭ，ＲＡＭおよびこれらを接続するバスライン等により構成されている。）により構成されている。車両１にはＣＣＤカメラ、カラービデオカメラ等のカメラ１０が搭載されている。カメラ１０はその前方の様子をフロントウィンドウ越しに撮像するように車内空間に取り付けられている。なお、カメラ１０の設置箇所は車両１のフロント部分等に適宜変更されてもよい。車両１には車速センサ１０１、加速度センサ１０２およびヨーレートセンサ１０３等のセンサと、操舵装置１１と、制動装置１２とがさらに搭載されている。車速センサ１０１、加速度センサ１０２およびヨーレートセンサ１０３のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。操舵装置１１はステアリングホイールの操作により駆動される前輪操舵機構をアクチュエータにより駆動するように構成されている。なお、操舵装置１１により前輪駆動機構に代えてまたは加えて後輪操舵機構が駆動されてもよい。

車両運転支援装置１００は俯瞰指定領域認識手段１１０と、三角形領域認識手段１２０と、レーンマーク認識手段１３０とを備えている。各手段は物理的にはメモリと、このメモリから該当するプログラムを読み出して担当する演算処理を実行する演算処理装置（ＣＰＵ）とにより構成されている。俯瞰指定領域認識手段１１０はカメラ１０による撮像画像の座標系を鉛直方向上側から俯瞰した実空間座標系に変換することにより、カメラ１０の撮像範囲を鉛直方向上側から俯瞰した場合における、当該撮像範囲に存在する白色（指定色）を有する領域を「指定俯瞰領域」として認識する。三角形領域認識手段１２０は俯瞰指定領域認識手段１１０により認識された指定俯瞰領域の指定俯瞰領域の輪郭線上にある３つの点を結ぶ３つの弦を３つの辺として有する複数の「三角形領域」を認識する。レーンマーク認識手段１３０は三角形領域認識手段１２０により認識された複数の三角形領域のうち他の輪郭線上にある２つの点を両端点とする底辺からの高さがレーンマークの標準的な幅範囲に含まれる三角形領域群により構成される領域を車両１が走行中の道路に設けられている「レーンマーク」として認識する。車両運転支援装置１００はレーンマーク認識手段１３０により認識されたレーンマークにより左右両側が画定される走行帯を認識し、車両１がこの走行帯の内側を走行するように操舵装置１１および制動装置１２の動作を制御する。

前記構成の車両運転支援装置１００の機能について説明する。俯瞰指定領域認識手段１１０がカメラ１０により撮像されたカラー画像を取得する（図２／Ｓ００２）。これにより、たとえば図３に示されているように車両１の前方の様子を表わすカラー画像が取得される。また、俯瞰指定領域認識手段１１０は撮像画像の座標系（２次元）を鉛直方向上側から俯瞰した実空間座標系（２次元）に変換する（図２／Ｓ００４）。さらに、俯瞰指定領域認識手段１１０は座標変換された画像から白色（指定色）を有する領域を指定俯瞰領域として抽出する（図２／Ｓ００６）。これにより、たとえば図４（ａ）に示されている斜線付領域が指定俯瞰領域として抽出される。なお、カメラ１０による撮像画像から指定色を有する領域が抽出された上で、当該抽出領域が画像座標系から鉛直方向上側から俯瞰した実空間座標系に座標変換されることにより指定俯瞰領域が認識されてもよい。指定色として白色以外に黄色、青色等を有する領域が指定俯瞰領域として認識されてもよい。

次に三角形領域認識手段１２０が俯瞰指定領域認識手段１１０により抽出された指定俯瞰領域のうち、面積またはひとまとまりの画素数が閾値未満の指定俯瞰領域をノイズとして除去する（図２／Ｓ００８）。また、三角形領域認識手段１２０は各指定俯瞰領域の輪郭線上に配置された複数の点のうち３つの点を、指定俯瞰領域の内側において結ぶ３つの弦を３つの辺として有する複数の三角形領域を認識する（図２／Ｓ０１０）。具体的には、（１）当該弦が相互に交差しないように、かつ、（２）隣り合う三角形領域が共通の対辺を有するように、すなわち、対辺において接するように、かつ、（３）３つの辺を構成する３つの弦の長さの和が最短になるように三角形領域が認識される。

これにより、たとえば、図４（ａ）に示されている指定俯瞰領域において、図４（ｂ）に示されている複数の三角形領域が認識される。具体的には、図５（ａ）に示されているように指定俯瞰領域の対向しあう一対の輪郭線Ｃ１およびＣ２のそれぞれに配置された複数の点｛‥，ｐ（ｋ−１），ｐ（ｋ＋１），‥｝および｛‥，ｐ（ｋ−２），ｐ（ｋ），ｐ（ｋ＋２），‥｝が認識される。そして、一の輪郭線Ｃ１にある点ｐ（ｋ−１）と、他の輪郭線Ｃ２において点ｐ（ｋ−１）からの距離が１番目および２番目に短い点ｐ（ｋ−２）およびｐ（ｋ）を頂点とする高さｈ（ｋ−１）の三角形領域、および、一の輪郭線Ｃ２にある点ｐ（ｋ）と、他の輪郭線Ｃ１において点ｐ（ｋ）からの距離が１番目および２番目に短い点ｐ（ｋ−１）およびｐ（ｋ＋１）を頂点とする高さｈ（ｋ）の三角形領域等、相互に隣接し合う複数の三角形領域が認識される。これは、図５（ｂ）に示されているように指定俯瞰領域の曲率が高い場合でも同様である。このような領域分割法は「動的計画法」の一種として知られており、ここでは詳細な説明を省略する（浅野哲夫「計算幾何学」朝倉書店（１９９２年４月）第９５頁〜第１０２頁参照）。

なお、前記条件（１）〜（３）のうち一部または全部を満たしていない形態で複数の三角形領域が認識されてもよい。たとえば、弦または辺が相互に交差するように複数の三角形領域が認識されてもよい。また、一の輪郭線にある点と、他の輪郭線においてこの点からの距離とは無関係に選定された任意の２つの点とを頂点とする三角形領域が認識されてもよい。たとえば、図５（ａ）において前記のような三角形領域に代えてまたは加えて点ｐ（ｋ−３）（またはｐ（ｋ−１））と、点ｐ（ｋ）と、点ｐ（ｋ＋２）とを頂点とする三角形領域が認識されてもよい。さらに、隣り合う三角形領域が共通の対辺を有しないように、すなわち、相互に離反するように（または部分的に間引きされているように）複数の三角形領域が認識されてもよい。たとえば、点ｐ（ｋ−３）〜ｐ（ｋ−１）を頂点とする三角形領域に隣り合う三角形領域として、点ｐ（ｋ−１）〜ｐ（ｋ＋１）または点ｐ（ｋ）〜ｐ（ｋ＋２）を頂点とする三角形領域が認識されてもよい。また、対向し合う輪郭線のそれぞれに配置された１つの点および２つの点を頂点とする三角形領域ではなく、折れ曲がって連続する異なる輪郭線のそれぞれに配置された１つの点および２つの点を頂点とする三角形領域が認識されてもよい。

さらに、レーンマーク認識手段１３０は三角形領域の高さの頻度分布を表わす高さヒストグラムを作成する（図２／Ｓ０１２）。これにより、たとえば図６に示されているように三角形領域の高さと、各高さの頻度分布を示すヒストグラムが作成される。レーンマーク認識手段１３０はこのヒストグラムにおいてレーンマークの標準的幅範囲に含まれる高さを有する三角形領域群を選定し（図２／Ｓ０１４）、選定した三角形領域群により構成される指定俯瞰領域を白線（レーンマーク）として認識する（図２／Ｓ０１６）。これにより、図４（ｂ）において破線で囲まれている指定俯瞰領域が白線として認識される。なお、連続線または断続的に切れ目のある連続線のほか、道路鋲（Ｂｏｔｔｓ Ｄｏｔｓ）およびキャッツアイ等、異なる種類のレーンマークが認識されてもよい。そして、車両運転支援装置１００がレーンマークにより左右両側が画定される走行帯を認識し（図２／Ｓ０１８）、必要に応じて車両１がこの走行帯から外れないように操舵装置１１および制動装置１２のうち一方または両方の動作を制御する（図２／Ｓ０２０）。

前記機能を発揮する車両運転支援装置１００によれば、指定俯瞰領域の一対の対向しあう輪郭線のそれぞれに配置された点を指定俯瞰領域の内側において結ぶ弦を対辺として有する複数の三角形領域が認識される（図２／Ｓ０１０，図５（ａ）（ｂ）参照）。指定俯瞰領域はカメラ１０の撮像範囲を鉛直方向上側から俯瞰された場合における、当該範囲に存在する白色等の指定色を有する領域である。したがって、高さがレーンマークの標準的な幅範囲に含まれる三角形領域群がレーンマークとして認識されることにより、レーンマークの認識精度の向上を図ることができる（図２／Ｓ０１４，Ｓ０１６，図６参照）。また、レーンマークとしての線の曲率が高い場合でも車両からの遠近に応じて撮像画像が分割されることなく、前記手法にしたがってレーンマークが認識されうる（図５（ｂ）参照）。したがって、レーンマークの認識に際して対向し合うエッジ点列のペアリングのための演算処理が不要となり、かつ、各分割画像を対象とする演算処理結果を合成または統合するための演算処理が不要となるので、その分だけ演算処理負荷の軽減を図ることができる。

さらに、異なる三角形領域の対辺が相互に交差しないように複数の三角形領域が認識されている分だけ、認識される三角形領域の低減、さらにはレーンマークの認識に要する演算処理の負荷軽減が図られる。また、隣り合う三角形領域が相互に離反するように複数の三角形領域が認識されることにより、認識される三角形領域の数の更なる低減、さらにはレーンマークの認識に要する演算処理の負荷軽減が図られる。

また、面積に鑑みてレーンマークに該当しないような指定俯瞰領域がノイズとして除去される（図２／Ｓ００８参照）。このため、ノイズとして除去された指定俯瞰領域については三角形領域への分割および高さ測定等が省略されうる。したがって、演算処理負荷の軽減を図りながらもレーンマークの認識精度の向上を図ることができる。

本発明の車両運転支援装置の構成説明図 レーンマーク認識処理の手順を表わすフローチャート 撮像画像に関する説明図 指定俯瞰領域に関する説明図 指定俯瞰領域の分割方法に関する説明図 三角形領域の高さヒストグラムに関する説明図

符号の説明

１‥車両、１０‥カメラ（撮像装置）、１００‥車両運転支援装置、１１０‥俯瞰指定領域認識手段、１２０‥三角形領域認識手段、１３０‥レーンマーク認識手段

Claims (5)

1. 車両に搭載され、前記車両の前方の様子を撮像する撮像装置と、
   前記撮像装置による撮像画像の座標系を鉛直方向上側から俯瞰した実空間座標系に変換することにより、前記撮像装置の撮像範囲を鉛直方向上側から俯瞰した場合における、前記撮像装置の撮像範囲に存在する指定色を有する領域を指定俯瞰領域として認識する指定俯瞰領域認識手段と、
   前記指定俯瞰領域認識手段により認識された前記指定俯瞰領域の輪郭線上にある３つの点を結ぶ３つの弦を３つの辺として有する複数の三角形領域を認識する三角形領域認識手段と、
   前記三角形領域認識手段により認識された前記複数の三角形領域のうち、前記輪郭線上にある２つの点を両端点とする底辺からの高さがレーンマークの標準的な幅範囲に含まれる三角形領域群により構成される領域を前記車両が走行中の道路に設けられているレーンマークとして認識するレーンマーク認識手段とを備えていることを特徴とする車両運転支援装置。
2. 請求項１記載の車両運転支援装置において、
   前記レーンマーク認識手段が前記指定俯瞰領域のうち面積が閾値未満の前記指定俯瞰領域を除外した上で、前記レーンマークを認識することを特徴とする車両運転支援装置。
3. 請求項１または２記載の車両運転支援装置において、
   前記三角形領域認識手段が異なる前記三角形領域の前記辺同士が前記指定俯瞰領域の内側において交差しないように前記複数の三角形領域を認識することを特徴とする車両運転支援装置。
4. 請求項１〜３のうちいずれか１つに記載の車両運転支援装置において、前記三角形領域認識手段が前記弦の長さの和が最小になるように前記三角形領域を認識することを特徴とする車両運転支援装置。
5. 請求項１〜４のうちいずれか１つに記載の車両運転支援装置において、前記三角形領域認識手段が相互に離反する前記三角形領域を認識することを特徴とする車両運転支援装置。

Images