WO2014027478A1 - 道路環境認識装置 - Google Patents

道路環境認識装置 Download PDF

Info

Publication number
WO2014027478A1
WO2014027478A1 PCT/JP2013/061353 JP2013061353W WO2014027478A1 WO 2014027478 A1 WO2014027478 A1 WO 2014027478A1 JP 2013061353 W JP2013061353 W JP 2013061353W WO 2014027478 A1 WO2014027478 A1 WO 2014027478A1
Authority
WO
WIPO (PCT)
Prior art keywords
branch point
candidate
connection line
point
determination unit
Prior art date
Application number
PCT/JP2013/061353
Other languages
English (en)
French (fr)
Inventor
坂本洋介
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to DE112013004044.1T priority Critical patent/DE112013004044T5/de
Priority to JP2013547738A priority patent/JP5466342B1/ja
Priority to US14/420,917 priority patent/US9355322B2/en
Priority to CN201380038681.4A priority patent/CN104508708B/zh
Publication of WO2014027478A1 publication Critical patent/WO2014027478A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Abstract

 本発明に係る道路環境認識装置は、車両に近い位置の候補点(81、86)を始点とし、車両から遠ざかる方向である第1の方向(D1)に沿って2以上の候補点(81-84、86-89)を順次接続することで、レーンマークが標示する1次接続線(85、90)を決定する接続線決定部と、1次接続線(85、90)及び1次接続線(85、90)を構成しない残余候補点(100)の間の位置関係に基づいて、1次接続線(85、90)上に分岐点(96)が存在するか否かを判別する分岐点判別部を備える。

Description

道路環境認識装置
 本発明は、車両に搭載された撮像部による画像から、道路に設けられたレーンマークを認識する道路環境認識装置に関する。
 従来から、車両の前後方を撮像した画像に基づいて、道路上の各レーン(車線)を区画するレーンマークを認識する装置が種々提案されている。
 特許第4631197号公報には、2本の白線間における距離の位置依存性を一次式で近似し、その直線の勾配に応じて分岐点の存否を判定する装置が提案されている。
 また、特許第4162618号公報には、抽出された各エッジ線の位置及び方向を少なくとも2以上の変数からなる実数パラメータで定式化し、前記実数パラメータにより算出される2本のエッジ線間の特性差分ベクトルが所定の適正範囲内に収まるか否かに基づいて、これらの交点が車線の分岐点であり得るか否かを判定する装置が提案されている。
 ところで、上記した特許第4631197号公報及び特許第4162618号公報に記載された装置では、直線部位を検出するために画像全体にわたって直線特徴量を求める必要があり、演算量が多くなるという問題があった。
 本発明は上記した課題を解決するためになされたもので、レーンマークの認識処理に要する演算量の大幅な低減を図りつつも、分岐レーンの認識精度を向上可能な道路環境認識装置を提供することを目的とする。
 本発明に係る道路環境認識装置は、車両に搭載され、前記車両が走行する道路を含む画像を撮像する撮像部と、前記撮像部により撮像された前記画像の中から、断続的な線状のレーンマークの候補位置を示す複数の候補点を抽出する候補点抽出部と、前記車両に近い位置の候補点を始点とし、前記車両から遠ざかる方向である第1の方向に沿って2以上の候補点を順次接続することで、前記レーンマークが標示する1次接続線を決定する接続線決定部と、前記接続線決定部により決定された前記1次接続線、及び前記1次接続線を構成しない残余の候補点の間の位置関係に基づいて、前記1次接続線上に分岐点が存在するか否かを判別する分岐点判別部とを備え、前記接続線決定部は、前記分岐点判別部により前記分岐点が存在すると判別された場合、前記分岐点を始点とし、前記第1の方向と交差する第2の方向に沿って、前記残余の候補点のうちの2以上の候補点を順次接続することで、前記レーンマークが標示する2次接続線を更に決定することを特徴とする。
 このように、第1及び第2の方向に沿って2以上の候補点を順次接続することで、レーンマークが標示する1次及び2次接続線を決定する接続線決定部を設けたので、レーンマークの認識処理に要する演算量を大幅に低減できる。そして、前記1次接続線、及び前記1次接続線を構成しない残余の候補点の間の位置関係に基づいて、前記1次接続線上に分岐点が存在するか否かを判別する分岐点判別部を更に設けたので、前記1次接続線との位置関係から前記分岐点(すなわち2次接続線)の存否を判別する確度が高くなる。これにより、レーンマークの認識処理に要する演算量の大幅な低減を図りつつも、分岐レーンの認識精度を向上できる。
 また、前記分岐点判別部は、前記1次接続線上の分岐点候補における接線方向と、前記残余の候補点のうち前記分岐点候補に最も近い候補点及び前記分岐点候補の間を結ぶ方向とのなす角度に基づいて、前記分岐点候補が前記分岐点であるか否かを判別することが好ましい。これにより、各接続線の交差角度の観点から分岐点の特徴を的確に捉えることができ、分岐点の存否を判別する確度が更に高くなる。
 更に、前記分岐点判別部は、前記残余の候補点のうち前記分岐点候補に最も近い候補点及び前記分岐点候補の間の距離に基づいて、前記分岐点候補が前記分岐点であるか否かを判別することが好ましい。これにより、各候補点の距離の観点から分岐点の特徴を的確に捉えることができ、分岐点の存否を判別する確度が更に高くなる。
 本発明に係る道路環境認識装置によれば、第1及び第2の方向に沿って2以上の候補点を順次接続することで、レーンマークが標示する1次及び2次接続線を決定する接続線決定部を設けたので、レーンマークの認識処理に要する演算量を大幅に低減できる。そして、前記1次接続線、及び前記1次接続線を構成しない残余の候補点の間の位置関係に基づいて、前記1次接続線上に分岐点が存在するか否かを判別する分岐点判別部を更に設けたので、前記1次接続線との位置関係から前記分岐点(すなわち2次接続線)の存否を判別する確度が高くなる。これにより、レーンマークの認識処理に要する演算量の大幅な低減を図りつつも、分岐レーンの認識精度を向上できる。
本実施形態に係る道路環境認識装置としての運転支援装置の構成を示す電気ブロック図である。 図1に示す運転支援装置が組み込まれた車両の概略斜視図である。 図1に示す運転支援装置の動作説明に供されるフローチャートである。 図4Aは、カメラを用いた撮像により取得された撮像画像の例示図である。図4Bは、図4Aの撮像画像を俯瞰的に表した模式図である。 図5Aは、図4Aの撮像画像におけるエッジ検出画像を俯瞰的に表した模式図である。図5Bは、レーンマークの候補位置を示す模式図である。 1次接続線の決定方法に関する概略説明図である。 図7A及び図7Bは、分岐点の判別方法に関する概略説明図である。 図8A及び図8Bは、2次接続線の決定方法に関する概略説明図である。 図4Aの撮像画像上におけるレーンマークの認識結果を表す概略説明図である。 図5Aと異なるエッジ検出画像を俯瞰的に表した模式図である。 図10に示すエッジ検出画像に対する変換処理の結果を示す模式図である。
 以下、本発明に係る道路環境認識装置について好適な実施形態を挙げ、添付の図面を参照しながら説明する。
[運転支援装置10の構成]
 図1は、本実施形態に係る道路環境認識装置としての運転支援装置10の構成を示す電気ブロック図である。図2は、図1に示す運転支援装置10が搭載された車両12の概略斜視図である。
 本実施形態に係る運転支援装置10は、走行中の車両12がレーン(車線)から逸脱しないように支援する機能を担う。各レーンは、道路上に設けられた連続的又は断続的な線状のレーンマークを介して区画されている。レーンマークとして、いわゆる白線等の連続線の他、略等間隔で複数配された線分パターン、ボッツドッツ、キャッツアイ等からなる断続線であってもよい。
 図1に示すように、運転支援装置10は、車両12の周辺を撮像するカメラ14(撮像部)と、車両12の速度を検出する速度センサ16と、車両12のヨーレートを検出するヨーレートセンサ17と、車両12のステアリングの操舵角を検出する舵角センサ18と、カメラ14から撮像された画像からレーンマークを認識するECU20(Electronic Control Unit;電子制御ユニット)と、操舵装置22と、制動装置24と、加速装置26とを備える。
 図2に示すように、カメラ14は、車両12のフロントウインドシールド上部に搭載され、該フロントウインドシールドを通して、車両12が走行する道路を含む画像(図4Aの撮像画像60)を撮像する。カメラ14は、具体的には、デジタルビデオカメラであり、所定のフレームクロック間隔(例えば1秒あたり30フレーム)毎に画像を撮像可能である。カメラ14上では、その搭載位置を原点とし、車両12の車幅方向(水平方向)をX軸、車軸方向(進行方向)をY軸、車高方向(垂直方向、鉛直方向)をZ軸とする実空間座標系が定義される。
 ECU20は、マイクロコンピュータ等からなる計算機である。本実施形態において、ECU20は、入出力部30、演算部32、及び記憶部34として機能する。
 カメラ14、速度センサ16、ヨーレートセンサ17、及び舵角センサ18からの各信号は、入出力部30を介してECU20側に入力される。また、ECU20からの各信号は、入出力部30を介して操舵装置22、制動装置24、及び加速装置26側に出力される。入出力部30は、入力されたアナログ信号をデジタル信号に変換する図示しないA/D変換回路を備える。
 演算部32は、カメラ14、速度センサ16、ヨーレートセンサ17及び舵角センサ18からの各信号に基づく演算を実行し、演算結果に基づき操舵装置22、制動装置24、及び加速装置26に対する信号を生成する。演算部32は、エッジ検出部36、候補点抽出部38、接続線決定部40、分岐点判別部42、及びレーン認識部44として機能する。
 演算部32における各部の機能は、記憶部34に記憶されているプログラムを読み出して実行することにより実現される。或いは、前記プログラムは、図示しない無線通信装置(携帯電話機、スマートフォン等)を介して外部から供給されてもよい。
 記憶部34は、デジタル信号に変換された撮像信号、各種演算処理に供される一時データ等を記憶するRAM(Random Access Memory)、及び、実行プログラム、テーブル又はマップ等を記憶するROM(Read Only Memory)等で構成される。
[運転支援装置10の動作]
 本実施形態に係る運転支援装置10は、基本的には、以上のように構成される。以下、この運転支援装置10の動作、具体的にはレーンマークの認識処理について、図3のフローチャートを参照しながら説明する。
 ステップS1において、ECU20は、フレーム毎に、カメラ14により撮像された車両12の前方(所定画角範囲)の出力信号である撮像画像60(図4A参照)を取得する。そして、ECU20は、取得した撮像画像60を記憶部34に一時的に記憶させる。例えば、カメラ14としてRGBカメラを用いる場合、得られた撮像画像60は、3つのカラーチャンネルからなる多階調画像である。
 図4Aは、カメラ14を用いた撮像により取得された撮像画像60の例示図である。図4Bは、図4Aの撮像画像60を俯瞰的に表した模式図である。
 図4Aに示すように、撮像画像60には、車両12が走行する道路の投影像(以下、単に道路62)が映されている。すなわち、道路62上には、道路環境を記すマーク群(以下、道路標示64という)が配されている。以下、道路標示64を構成する各要素のことを「標示要素」と称する。本図例では、車両12に最も近い2つの道路標示に参照符号65、66を付している。図4Bに示す俯瞰画像70は、カメラ14の画角範囲内の空間領域を上方から(図2に示すZ軸に沿って)俯瞰的に表した画像である。
 以下、発明の理解を容易にするため、俯瞰画像70を用いてこの認識処理の手順を説明する。また、一般的には、道路62上又はその他の場所に別のオブジェクトが存在するが、説明の便宜のためその記載を省略している。
 ステップS2において、エッジ検出部36は、ステップS1で取得した撮像画像60に対して公知のエッジ検出処理を実行することでエッジ検出画像72を得る。図5Aに示すように、エッジ検出画像72上には、道路標示64の形状に対応するエッジ群74が存在している。なお、矩形状であり短尺なエッジ部位75は標示要素65に対応すると共に、矩形状であり長尺なエッジ部位76は標示要素66に対応する。
 ステップS3において、候補点抽出部38は、ステップS2で得たエッジ検出画像72に基づいて、レーンマークの候補位置をそれぞれ示す複数の候補点78を抽出する。候補点抽出部38は、具体的には、エッジ部位75、76等が示す領域の代表点(詳細には、重心位置、端点等)を各候補点78として抽出する。この結果、図5Bに示すように、エッジ群74を構成するエッジ部位と同数、すなわち14個の候補点78が抽出される。
 ステップS4において、接続線決定部40は、ステップS3で抽出された複数の候補点78のうち、車両12に近い側(撮像画像60の下方側)に存在する候補点78を、後述する1次接続線の始点として選択する。
 ステップS5において、接続線決定部40は、ステップS4で選択された始点から矢印D1方向(第1の方向)に沿った1次接続線85、90(図6参照)を決定する。ここで、1次接続線85、90は、2以上の候補点78を順次接続した線であり、レーンマークが標示する線である。以下、1次接続線85、90を構成する点として確定された候補点78のことを「1次確定点」と称する。
 1次接続線85、90を決定する手法として、例えば、エッジ部位75等の形状・向きを参照し、同一の方向を指向する候補点78同士を接続する手法、距離が最も短い候補点78を順次選択する手法等を適用してもよい。また、速度センサ16、ヨーレートセンサ17、又は舵角センサ18の各信号を更に参照してもよい。
 図6に示すように、1次確定点81を始点として1次確定点82、83、84を順次接続することで1次接続線85が決定される。同様にして、1次確定点86を始点として1次確定点87、88、89を順次接続することで1次接続線90が決定される。以下、図6及び後述する図7A~図8Bにおいて、複数の候補点78のうち1次接続線85、90を構成しない残余の候補点のことを「残余候補点100」と称する。
 ステップS6において、分岐点判別部42は、ステップS5で決定された1次接続線85、90のうちのいずれかを選択する。先ずは、1次接続線85が選択されたとする。
 ステップS7において、分岐点判別部42は、ステップS6で選択された1次接続線85上に分岐点が存在するか否かを判別する。分岐点判別部42は、具体的には、1次接続線85上に分岐点が存在すると仮定した場合、その分岐点と、1次接続線85を構成しない残余候補点100との間で、第1の位置関係を満たすか否かを遂次判別する。ここで、第1の位置関係は、分岐点との距離が上限値rthを超えないことである。
 以下、分岐点判別部42による判別方法について図7A~図8Bを参照しながら説明する。例えば、分岐点は、1次接続線85を構成する1次確定点81~84のいずれかに一致することを前提とする。
 図7Aに示すように、1次確定点81が分岐点候補92であると仮定する場合、近隣点94aは、分岐点候補92からの距離r1が上限値rthを超えない位置に存在し、第1の位置関係を満たす。
 そして、分岐点判別部42は、分岐点候補92及び近隣点94aの間で、第2の位置関係を満たすか否かを判別する。ここで、第2の位置関係は、交差角θ1がθmin(任意の下限値)≦θ1≦θmax(任意の上限値)を満たすことである。なお、交差角θ1は、1次接続線85上の分岐点候補92における接線方向(矢印D1方向)と、分岐点候補92及び近隣点94aの間を結ぶ方向とのなす角である。
 換言すれば、分岐点判別部42は、交差角θ1がθmin≦θ1≦θmaxを満たす場合に1次確定点81が分岐点であると判別すると共に、それ以外の場合に1次確定点81が分岐点ではないと判別する。図7A例では、θ1<θminであり、第2の位置関係を満たさないので、分岐点判別部42は、近隣点94aとの関係において1次確定点81が分岐点でないと判別する。
 図7Bに示すように、1次確定点82が分岐点候補92であると仮定する場合、近隣点94bは、分岐点候補92からの距離r2が上限値rthを超えない位置に存在し、第1の位置関係を満たす。交差角θ2は、1次接続線85上の分岐点候補92における接線方向(矢印D1方向)と、分岐点候補92及び近隣点94bの間を結ぶ方向とのなす角である。本図例では、θ2>θmaxであり、第2の位置関係を満たさないので、分岐点判別部42は、近隣点94bとの関係において1次確定点82が分岐点でないと判別する。
 図8Aに示すように、1次確定点82が分岐点候補92であると仮定する場合、近隣点94cは、分岐点候補92からの距離r3が上限値rthを超えない位置に存在し、第1の位置関係を満たす。交差角θ3は、1次接続線85上の分岐点候補92における接線方向(矢印D1方向)と、分岐点候補92及び近隣点94cの間を結ぶ方向とのなす角である。本図例では、θmin≦θ3≦θmaxであり、第2の位置関係を満たすので、分岐点判別部42は、近隣点94cとの関係において1次確定点82が分岐点であると判別する。
 以下、残りの1次確定点83、84に関して上記と同様の判別処理が行われる。その結果、分岐点判別部42は、1次接続線85上に1つの分岐点96(1次確定点82)が存在すると判別する。
 ステップS8において、接続線決定部40は、ステップS7での判別結果に応じて追加的な処理を実行する。分岐点96が存在すると判別された場合(ステップS8:YES)、接続線決定部40は、始点としての分岐点96から矢印D2方向(第2の方向)に沿った2次接続線99を決定する(ステップS9)。ここで、2次接続線99は、1次接続線85上の分岐点96、及び2以上の残余候補点100を順次接続した線であり、レーンマークが標示する線である。以下、2次接続線99を構成する点として確定された候補点78(分岐点96を除く)のことを「2次確定点」と称する。なお、2次接続線99を決定する手法としては、1次接続線85、90の場合と同一の又は異なる手法を種々適用してもよい。
 図8Bに示すように、分岐点96(1次確定点82)を始点として2次確定点97、98を順次接続することで2次接続線99が決定される。ステップS9で決定される2次接続線99の本数は、分岐点96の個数に一致する。すなわち、分岐点が複数存在する場合、接続線決定部40は、各分岐点を始点とする2次接続線をそれぞれ決定する。
 ステップS8に戻って、分岐点96が存在しないと判別された場合(ステップS8:NO)、ステップS9を省略して次のステップ(S10)に進む。
 ステップS10において、接続線決定部40は、接続処理が完了したか否かについて判別する。接続線決定部40は、具体的には、ステップS6において1次接続線85、90がすべて選択された場合に接続処理が完了したと判別する。ここでは、1次接続線90が未だ選択されていないので、接続線決定部40は、接続処理が完了していないと判別する(ステップS10:NO)。そして、ステップS6に戻って、ステップS6~S10を順次繰り返す。
 ステップS6において1次接続線90が選択された場合、図6から理解されるように、分岐点判別部42は、1次接続線90上に分岐点が存在しないと判別する(ステップS7)。その後、ステップS8を経て、接続線決定部40は、1次接続線85、90がすべて選択されたので、接続処理が完了したと判別する(ステップS10:YES)。
 ステップS11において、レーン認識部44は、ステップS1で取得した撮像画像60(図4A参照)から各レーンを認識する。レーン認識部44は、具体的には、ステップS5で決定された1次接続線85、90、及びステップS9で決定された2次接続線99をレーンマークとして認識する。
 図9に示すように、レーン認識部44は、1次接続線85に対応するレーンマーク102と、1次接続線90に対応するレーンマーク104との間の領域を直進レーン108として認識する。また、レーン認識部44は、1次接続線85に対応するレーンマーク102と、2次接続線99に対応するレーンマーク106との間の領域を分岐レーン110として認識する。
 このようにして、運転支援装置10は、車両12に搭載されたカメラ14による撮像画像60から、道路62に設けられたレーンマーク102、104、106をそれぞれ認識する。
 そして、運転支援装置10は、ECU20により認識されたレーンマーク102等に基づき、操舵装置22、制動装置24、及び加速装置26(図1参照)を所定条件下で制御することにより、車両12がレーンの中心を走れるように運転者の走行支援を実行する。
 以上のように、本実施形態に係る道路環境認識装置としての運転支援装置10は、車両12に近い位置の候補点78(1次確定点81、86)を始点とし、車両12から遠ざかる方向である矢印D1方向に沿って2以上の候補点78(1次確定点81~84、86~89)を順次接続することで、レーンマーク102、104が標示する1次接続線85、90を決定する接続線決定部40と、1次接続線85、90及び1次接続線85、90を構成しない残余候補点100の間の位置関係に基づいて、1次接続線85、90上に分岐点96が存在するか否かを判別する分岐点判別部42とを備える。
 矢印D1方向及び矢印D2方向に沿って2以上の候補点78を順次接続することで、レーンマーク102、104、106が標示する1次接続線85、90及び2次接続線99を決定する接続線決定部40を設けたので、レーンマーク102等の認識処理に要する演算量を大幅に低減できる。そして、1次接続線85、90、及び1次接続線85、90を構成しない残余候補点100の間の位置関係に基づいて、1次接続線85、90上に分岐点96が存在するか否かを判別する分岐点判別部42を更に設けたので、1次接続線85、90との位置関係から分岐点96(すなわち2次接続線99)の存否を判別する確度が高くなる。これにより、レーンマーク102等の認識処理に要する演算量の大幅な低減を図りつつも、分岐レーン110の認識精度を向上できる。
 また、分岐点判別部42は、1次接続線85、90上の分岐点候補92における接線方向と、残余候補点100のうち分岐点候補92に最も近い近隣点94a~94c及び分岐点候補92の間を結ぶ方向とのなす角度に基づいて、分岐点候補92が分岐点96であるか否かを判別するので、各接続線の交差角度の観点から分岐点96の特徴を的確に捉えることができ、分岐点96の存否を判別する確度が更に高くなる。
 更に、分岐点判別部42は、近隣点94a~94c及び分岐点候補92の間の距離に基づいて、分岐点候補92が分岐点96であるか否かを判別するので、各候補点78の距離の観点から分岐点96の特徴を的確に捉えることができ、分岐点96の存否を判別する確度が更に高くなる。
[別の動作例]
 続いて、別の形態のレーンマークを認識する処理方法について説明する。
 図10は、図5Aと異なるエッジ検出画像118を俯瞰的に表した模式図である。エッジ検出画像118上のエッジ群120は、短尺なエッジ部位75(図5A参照)に代替して、環状のエッジ部位122から構成されている。なお、このエッジ部位122は、ボッツドッツの形状に対応している。
 ここで、上記ステップS3と同様に、エッジ検出画像118に基づいて複数の候補点を抽出すると、分岐点の認識精度が低下する場合がある。なぜならば、エッジ部位122の形状からその指示方向が特定できず、どのマークが隣接しているのか、換言すればどのレーンを示しているのか判別が困難だからである。
 そこで、図11に示すように、エッジ検出部36は、エッジ部位122を含むエッジ群120から、エッジ部位122を含まないエッジ群124に変換する。エッジ群124は、環状のエッジ部位122に代替して、矩形状のエッジ部位126から構成されている。各エッジ部位126は、隣接するエッジ部位122を結ぶ線分上に設けられている。
 このようにして得たエッジ検出画像128に基づいて複数の候補点を抽出することで、上記した方法と同様の手順で、レーンマークの認識処理を実行できる。ハッチングを付したエッジ部位126は、ステップS6及びS9(図3参照)における接続線の決定処理の際、選択されずに除外される。
 なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
 本実施形態では、1次接続線85、90の形状が確定した後に分岐点96の存否を判別しているが、判別処理の順番はこれに限られない。例えば、接続線決定部40により1次確定点83が決定された直後に、分岐点判別部42は、1次確定点82が分岐点96であるか否かを判別してもよい。

Claims (3)

  1.  車両(12)に搭載され、前記車両(12)が走行する道路を含む画像(60)を撮像する撮像部(14)と、
     前記撮像部(14)により撮像された前記画像(60)の中から、断続的な線状のレーンマーク(102、104、106)の候補位置を示す複数の候補点(78)を抽出する候補点抽出部(38)と、
     前記車両(12)に近い位置の候補点(81、86)を始点とし、前記車両(12)から遠ざかる方向である第1の方向(D1)に沿って2以上の候補点(81-84、86-89)を順次接続することで、前記レーンマーク(102、104)が標示する1次接続線(85、90)を決定する接続線決定部(40)と、
     前記接続線決定部(40)により決定された前記1次接続線(85、90)、及び前記1次接続線(85、90)を構成しない残余の候補点(100)の間の位置関係に基づいて、前記1次接続線(85、90)上に分岐点(96)が存在するか否かを判別する分岐点判別部(42)と
     を備え、
     前記接続線決定部(40)は、前記分岐点判別部(42)により前記分岐点(96)が存在すると判別された場合、前記分岐点(96)を始点とし、前記第1の方向(D1)と交差する第2の方向(D2)に沿って、前記残余の候補点(100)のうちの2以上の候補点(96-98)を順次接続することで、前記レーンマーク(106)が標示する2次接続線(99)を更に決定する
     ことを特徴とする道路環境認識装置(10)。
  2.  請求項1記載の道路環境認識装置(10)において、
     前記分岐点判別部(42)は、前記1次接続線(85、90)上の分岐点候補(92)における接線方向と、前記残余の候補点(100)のうち前記分岐点候補(92)に最も近い候補点(94a、94b、94c)及び前記分岐点候補(92)の間を結ぶ方向とのなす角度に基づいて、前記分岐点候補(92)が前記分岐点(96)であるか否かを判別することを特徴とする道路環境認識装置(10)。
  3.  請求項2記載の道路環境認識装置(10)において、
     前記分岐点判別部(42)は、前記残余の候補点(100)のうち前記分岐点候補(92)に最も近い候補点(94a、94b、94c)及び前記分岐点候補(92)の間の距離に基づいて、前記分岐点候補(92)が前記分岐点(96)であるか否かを判別することを特徴とする道路環境認識装置(10)。
PCT/JP2013/061353 2012-08-13 2013-04-17 道路環境認識装置 WO2014027478A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112013004044.1T DE112013004044T5 (de) 2012-08-13 2013-04-17 Straßenumgebungs-Erkennungsvorrichtung
JP2013547738A JP5466342B1 (ja) 2012-08-13 2013-04-17 道路環境認識装置
US14/420,917 US9355322B2 (en) 2012-08-13 2013-04-17 Road environment recognition device
CN201380038681.4A CN104508708B (zh) 2012-08-13 2013-04-17 道路环境识别装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-179219 2012-08-13
JP2012179219 2012-08-13

Publications (1)

Publication Number Publication Date
WO2014027478A1 true WO2014027478A1 (ja) 2014-02-20

Family

ID=50685517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/061353 WO2014027478A1 (ja) 2012-08-13 2013-04-17 道路環境認識装置

Country Status (4)

Country Link
US (1) US9355322B2 (ja)
CN (1) CN104508708B (ja)
DE (1) DE112013004044T5 (ja)
WO (1) WO2014027478A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005618A (ja) * 2016-07-04 2018-01-11 株式会社Soken 道路認識装置
JP2018040692A (ja) * 2016-09-07 2018-03-15 株式会社Soken 自車位置推定装置、自車位置推定方法
KR102501889B1 (ko) * 2022-08-01 2023-02-21 주식회사 카비 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780605B (zh) * 2016-03-02 2021-10-29 三菱电机株式会社 自动行驶辅助装置、路边设备及自动行驶辅助系统
EP3285243A1 (en) * 2016-08-17 2018-02-21 Continental Automotive GmbH Method for determining a course of a road, driver assistance system and vehicle
EP3324330A1 (en) * 2016-11-16 2018-05-23 Continental Automotive GmbH Method for determining a course of lanes, driver assistance system, and vehicle
JP6583252B2 (ja) * 2016-12-27 2019-10-02 トヨタ自動車株式会社 運転支援装置
KR20180084556A (ko) * 2017-01-17 2018-07-25 팅크웨어(주) 카메라의 촬영 영상을 이용한 운전 안내 제공 방법, 운전 안내 제공 장치, 전자 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN108319895B (zh) * 2017-12-29 2021-09-17 百度在线网络技术(北京)有限公司 用于识别电子地图中的路口的方法和装置
KR102553247B1 (ko) * 2018-04-27 2023-07-07 주식회사 에이치엘클레무브 전방 차량 추종 제어 시 안전성을 향상할 수 있는 차선 유지 보조 시스템 및 방법
US11801726B2 (en) * 2018-11-01 2023-10-31 ClearMotion, Inc. Vehicle control based on localization and road data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830770A (ja) * 1994-07-12 1996-02-02 Honda Motor Co Ltd 車両の走行路画像処理装置
JPH11232467A (ja) * 1998-02-18 1999-08-27 Aqueous Reserch:Kk 分岐認識装置及び分岐認識方法
JP2002312797A (ja) * 2001-04-09 2002-10-25 Denso Corp 分岐路判定装置、プログラム及び記録媒体
JP2009003795A (ja) * 2007-06-22 2009-01-08 Fuji Heavy Ind Ltd 分岐路進入判定装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4162618B2 (ja) * 2004-03-12 2008-10-08 株式会社豊田中央研究所 車線境界判定装置
US20090210151A1 (en) * 2006-03-24 2009-08-20 Pioneer Corporation Information generation system and information generation method
JP4861850B2 (ja) * 2007-02-13 2012-01-25 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定方法
JP2009036651A (ja) * 2007-08-02 2009-02-19 Panasonic Corp ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム
JP4697480B2 (ja) * 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
CN102150015B (zh) * 2008-10-17 2013-09-25 三菱电机株式会社 导航装置
JP5276637B2 (ja) * 2010-09-08 2013-08-28 富士重工業株式会社 車線推定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830770A (ja) * 1994-07-12 1996-02-02 Honda Motor Co Ltd 車両の走行路画像処理装置
JPH11232467A (ja) * 1998-02-18 1999-08-27 Aqueous Reserch:Kk 分岐認識装置及び分岐認識方法
JP2002312797A (ja) * 2001-04-09 2002-10-25 Denso Corp 分岐路判定装置、プログラム及び記録媒体
JP2009003795A (ja) * 2007-06-22 2009-01-08 Fuji Heavy Ind Ltd 分岐路進入判定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005618A (ja) * 2016-07-04 2018-01-11 株式会社Soken 道路認識装置
JP2018040692A (ja) * 2016-09-07 2018-03-15 株式会社Soken 自車位置推定装置、自車位置推定方法
KR102501889B1 (ko) * 2022-08-01 2023-02-21 주식회사 카비 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법

Also Published As

Publication number Publication date
DE112013004044T5 (de) 2015-05-13
CN104508708A (zh) 2015-04-08
CN104508708B (zh) 2017-06-16
US9355322B2 (en) 2016-05-31
US20150206017A1 (en) 2015-07-23

Similar Documents

Publication Publication Date Title
WO2014027478A1 (ja) 道路環境認識装置
CN106981082B (zh) 车载摄像头标定方法、装置及车载设备
US10712747B2 (en) Data processing method, apparatus and terminal
JP6538547B2 (ja) 道路曲率計測装置
JP4832321B2 (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
US9953227B2 (en) In-vehicle image processing device
JP2008021196A (ja) 車両の周囲環境認識装置及びシステム
JP6756101B2 (ja) 物体認識装置
JP2007034989A (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
US20170318279A1 (en) Stereo camera apparatus and vehicle comprising the same
JP6515704B2 (ja) 車線検出装置及び車線検出方法
JP2018092596A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム
JP2010170488A (ja) 車線認識装置、及び車線認識方法
JP2014106739A (ja) 車載画像処理装置
JP6044084B2 (ja) 移動物体位置姿勢推定装置及び方法
KR101720649B1 (ko) 자동주차 방법 및 시스템
US20190135341A1 (en) Driving support system
JP4397573B2 (ja) 画像処理装置
US20190003822A1 (en) Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium
JP2015067030A (ja) 運転支援装置
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
JP6768554B2 (ja) キャリブレーション装置
JP5466342B1 (ja) 道路環境認識装置
JP2019053685A (ja) 画像処理装置
US11403770B2 (en) Road surface area detection device

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013547738

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13879549

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14420917

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112013004044

Country of ref document: DE

Ref document number: 1120130040441

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13879549

Country of ref document: EP

Kind code of ref document: A1