JP6141788B2 - レーンマーク認識装置 - Google Patents

レーンマーク認識装置 Download PDF

Info

Publication number
JP6141788B2
JP6141788B2 JP2014083219A JP2014083219A JP6141788B2 JP 6141788 B2 JP6141788 B2 JP 6141788B2 JP 2014083219 A JP2014083219 A JP 2014083219A JP 2014083219 A JP2014083219 A JP 2014083219A JP 6141788 B2 JP6141788 B2 JP 6141788B2
Authority
JP
Japan
Prior art keywords
lane mark
image
broken line
candidate
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014083219A
Other languages
English (en)
Other versions
JP2015203992A (ja
Inventor
洋介 坂本
洋介 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2014083219A priority Critical patent/JP6141788B2/ja
Priority to US14/659,818 priority patent/US9489585B2/en
Priority to CN201510169599.6A priority patent/CN104978563B/zh
Priority to DE102015206546.4A priority patent/DE102015206546A1/de
Publication of JP2015203992A publication Critical patent/JP2015203992A/ja
Application granted granted Critical
Publication of JP6141788B2 publication Critical patent/JP6141788B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、車両に搭載されたカメラの撮像画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置に関する。
従来より、車載カメラにより撮像された車両前方の道路の画像から、道路に設けられた走行車線区分用の白線等のレーンマークを認識するレーンマーク認識装置が知られている(例えば、特許文献1参照)。
特許文献1に記載されたレーンマーク認識装置は、隣の車線との間に複数の白線群(例えば、連続した白線と破線の白線群)が平行に設けられている場合に、この白線群の左右端の位置(最外郭位置)を検出するものであり、マトリックスのサイズをレーンマーク間の隙間よりも小さくした第1のオペレータにより第1の輪郭線情報を抽出している。また、マトリックスのサイズをレーンマーク間の隙間よりも大きくした第2のオペレータにより第2の輪郭線情報を抽出している。
そして、第1の輪郭線情報と第2の輪郭線情報の合計値を、対応する画素毎に算出して白線群の最外郭情報を求め、この最外郭情報に基づいて車線境界位置を設定している。
特許第3854143号公報
特許文献1に記載された発明によれば、白線群の間の隙間に対応するエッジの情報を含まない最外郭情報を求めることによって、この隙間のエッジがノイズとなってレーンマークの認識精度が低下することを防止している。しかしながら、白線群の間の隙間以外に起因するノイズの影響により、レーンマークの認識精度が低下する場合もある。
本発明はかかる背景に鑑みてなされたものであり、レーンマークの認識精度を高めたレーンマーク認識装置を提供することを目的とする。
本発明は上記目的を達成するためになされたものであり、車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置、車両、及びレーンマーク認識方法に関する。
そして、本発明の第1態様のレーンマーク認識装置は、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、破線レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
前記候補画像部分のうち、対応する実空間での長さが所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて、破線レーンマークを認識する破線レーンマーク認識部と、を備え、前記破線レーンマーク認識部は、一定方向に連続した前記候補画像部分を接続した仮想線の方向が、前記車両の進行方向として不適当であるときには、前記所定範囲よりも短い画像部分を前記候補画像部分として、前記一定方向の連続性を再判断することを特徴とする。
かかる本発明のレーンマーク認識装置によれば、前記破線レーンマーク認識部により、対応する実空間での長さが前記所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて破線レーンマークが認識される。そのため、対応する実空間での長さが前記所定範囲から外れているため、或いは一定方向に連続していないために、破線レーンマークの画像部分である可能性が低い前記候補画像部分を除外して、破線レーンマークを精度良く認識することができる。さらに、対応する実空間での長さが前記所定範囲内である前記候補画像部分からは、適当な破線レーンマークの画像部分が抽出できなかった場合に、抽出条件を緩和して、かすれ等により短くなった破線レーンマークの画像部分を抽出することができる。
また、前記所定範囲は、破線レーンマークについての規定長に基づいて設定されていることを特徴とする。
この構成によれば、前記所定範囲を交通法規等により定められた破線レーンマークの長さに基づいて設定することにより、破線レーンマークの画像部分の認識精度を高めることができる。
また、前記所定範囲は、前記破線レーンマーク認識部により、既に破線レーンマークの画像部分であると認識された前記候補画像部分の対応する実空間での長さに基づいて設定されることを特徴とする。
この構成によれば、実際の破線レーンマークの長さに応じて、前記所定範囲を設定することができる。
また、前記破線レーンマーク認識部は、前記候補画像部分のうち、対応する実空間での位置が前記車両に最も近い候補画像部分を起点として、前記一定方向の連続性を判断することを特徴とする。
この構成によれば、前記車両に最も近いために、認識精度が高くなることが期待できる候補画像部分を起点とすることによって、前記一定方向の連続性の判断を容易に行うことができる。
また、前記候補画像部分抽出部は、所定サイズ以下の画像部分を除外して、前記エッジ画像から前記候補画像部分を抽出することを特徴とする。
この構成によれば、破線レーンマークの画像部分ではないと想定されるサイズが小さい画像部分を除外することによって、前記候補画像部分の抽出に要する演算量を減らして、破線レーンマークの認識速度を高めることができる。
また、前記破線レーンマーク認識部は、破線レーンマークが道路鋲であるときには、、前記一定方向を前記車両の進行方向に基づいて設定することを特徴とする。
この構成によれば、長さが短いためにノイズの影響を受けやすい道路鋲(ボッツドッツ等)の認識精度を高めることができる。
また、前記エッジ画像生成部は、所定の制御周期毎に前記カメラにより撮像される前記車両周囲の画像から、該制御周期毎に前記エッジ画像を生成し、
前記破線レーンマーク認識部は、前記エッジ画像生成部により生成される連続した時系列のエッジ画像間における、同一のレーンマークの画像部分であると想定される前記候補画像部分の移動方向を、前記一定方向として設定することを特徴とする。
この構成によれば、時系列画像から破線レーンマークの方向を推定することによって、破線レーンマークの画像部分の連続性判断の精度を高めることができる。
本発明の第2態様のレーンマーク認識装置は、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、破線レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
前記候補画像部分のうち、対応する実空間での長さが所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて、破線レーンマークを認識する破線レーンマーク認識部と、を備え、
前記カメラの撮像画像から連続線レーンマークを認識する連続線レーンマーク認識部と、
前記連続線レーンマーク認識部により、車線の左右レーンマークの一方が直線状の連続線レーンマークとして認識されると共に、前記破線レーンマーク認識部により、車線の左右のレーンマークのうちの他方が直線状の破線レーンマークとして認識されたときに、該破線レーンマークの認識信頼性が所定レベル以下あるときには、該連続線レーンマークの認識結果のみを用いて車線を認識する車線認識部と、を備えたことを特徴とする
この構成によれば、車線が破線レーンマークと連続線レーンマークとにより区画されている場合に、認識が容易であって認識精度が高いと想定される連続線レーンマークの認識結果を優先的に用いることで、車線の認識精度を高めることができる。
本発明の第3態様のレーンマーク認識装置は、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、破線レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
前記候補画像部分のうち、対応する実空間での長さが所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて、破線レーンマークを認識する破線レーンマーク認識部と、を備え、
前記カメラの撮像画像から連続線レーンマークを認識する連続線レーンマーク認識部と、
前記破線レーンマーク認識部又は前記連続線レーンマーク認識部により認識されたレーンマークにより区画された車線内を前記車両が走行するように、前記車両の操舵制御を行い、車線が破線レーンマークにより区画されていると認識された場合における前記車両と該破線レーンマークとの間の許容間隔を、車線が連続線レーンマークにより区画されていると認識された場合における前記車両と該連続線レーンマークとの間の許容間隔よりも狭く設定して、前記操舵制御を行う操舵制御部と、を備えたことを特徴とする。
この構成によれば、車線変更が許容される破線レーンマークと車両間の許容間隔を、車線変更が禁止されることが多い連続線レーンマークと車両間の許容間隔よりも狭く設定することにより、車両の運転者にとって過剰な操舵アシストがなされることを抑制することができる。
次に、本発明の車両は、
周囲を撮像するカメラと、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、破線レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
前記候補画像部分のうち、対応する実空間の長さが所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて、破線レーンマークを認識する破線レーンマーク認識部とを備え
前記破線レーンマーク認識部は、一定方向に連続した前記候補画像部分を接続した仮想線の方向が、前記車両の進行方向として不適当であるときには、前記所定範囲よりも短い画像部分を前記候補画像部分として、前記一定方向の連続性を再判断することを特徴とする。
かかる本発明の車両によれば、前記破線レーンマーク認識部により、対応する実空間での長さが前記所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて破線レーンマークが認識される。そのため、対応する実空間での長さが前記所定範囲から外れているため、或いは一定方向に連続していないために、破線レーンマークの画像部分である可能性が低い前記候補画像部分を除外して、破線レーンマークを精度良く認識することができる。
次に、本発明のレーンマーク認識方法は、
車両に搭載されたカメラにより撮像された該車両の周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識方法であって、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、
前記エッジ画像から、破線レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出工程と、
前記候補画像部分のうち、対応する実空間の長さが所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて、破線レーンマークを認識する破線レーンマーク認識工程と
一定方向に連続した前記候補画像部分を接続した仮想線の方向が、前記車両の進行方向として不適当であるときには、前記所定範囲よりも短い画像部分を前記候補画像部分として、前記一定方向の連続性を再判断する工程と、を含むことを特徴とする。
かかる本発明のレーンマーク認識方法によれば、前記レーンマーク認識工程により、対応する実空間での長さが前記所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて破線レーンマークが認識される。そのため、対応する実空間での長さが前記所定範囲から外れているため、或いは一定方向に連続していないために、破線レーンマークの画像部分である可能性が低い前記候補画像部分を除外して、破線レーンマークを精度良く認識することができる。
レーンマーク認識装置の構成図。 レーンマーク認識処理のフローチャート。 撮像画像とエッジ画像の説明図。 破線レーンマークの認識処理の説明図。 破線の一定方向の連続性判断の説明図。 破線レーンマークと連続線レーンマークによって車線が区画されている場合の操舵制御の説明図。 破線レーンマークの認識精度が低い場合の処理の説明図。
本発明のレーンマーク認識装置の実施形態について、図1〜図7を参照して説明する。
図1を参照して、レーンマーク認識装置10は、カメラ2(カラーカメラ)、スピーカ5、表示器6、及び操舵機構7を備えた車両1(本発明の車両に相当する)に搭載されている。
レーンマーク認識装置10は、図示しないCPU、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持されたレーンマーク認識及び操舵制御用のプログラムをCPUで実行することにより、撮像画像取得部11、エッジ画像生成部12、候補画像部分抽出部13、破線レーンマーク認識部14、連続線レーンマーク認識部15、車線認識部16、及び操舵制御部17として機能する。また、レーンマーク認識装置10により、本発明のレーンマーク認識方法が実施される。
以下、図2に示したフローチャートに従って、レーンマーク認識装置10により、道路に設けられたレーンマークを認識する処理について説明する。レーンマーク認識装置10は、所定の制御周期毎に図2に示したフローチャートによる処理を実行して、車両1が走行している道路のレーンマーク(連続線レーンマーク、及び破線レーンマーク)を認識する。
図2のSTEP1は撮像画像取得部11による処理である。撮像画像取得部11は、カメラ2から出力される車両1の前方(本発明の車両周囲に相当する)の映像信号を入力して、この映像信号のカラー成分(R値,G値,B値)をデモザイキングし、各画素のデータとしてR値,G値,B値を有するカラーの撮像画像21を取得する。そして、この撮像画像21のデータを画像メモリ20に保持する。
続くSTEP2はエッジ画像生成部12による処理である。なお、エッジ画像生成部12による処理工程は、本発明のレーンマーク認識方法におけるエッジ画像生成工程に相当する。
エッジ画像生成部12は、撮像画像21の各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像(多値画像)を生成する。そして、エッジ画像生成部12は、グレースケール画像からエッジ点(周囲の画素(画像部分)との輝度差(輝度の変化量)が所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む)を抽出して、エッジ画像22(図1参照)を生成する。
なお、カメラ2がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるで、上述したカラーの撮像画像からグレースケール画像を生成する処理は不要である。
ここで、図3(a)に示したIm1は撮像画像21から生成されたグレースケール画像の例であり、車両1(自車両)が走行している車線を区画する連側線レーンマーク50a及び破線レーンマーク51a〜54aの画像部分が含まれている。
図3(b)に示したIm2は、グレースケール画像Im1に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Im2において、連続線レーンマーマークの画像部分50bと、破線レーンマークの画像部分51b〜54bとが、直線的に連続したエッジ点を多く含む画像部分となる。
続くSTEP3は、候補画像部分抽出部13による処理である。候補画像部分抽出部13は、エッジ画像Im2に対して、ひとかたまりになっているエッジ点(以下、エッジ部分という)にラベルを付するラべリングと、近接したエッジ部分を同一物体の画像部分であるとして関連付けるクラスタリングを行う。
なお、候補画像部分抽出部13による処理工程は、本発明のレーンマーク認識方法における候補画像部分抽出工程に相当する。
続くSTEP4〜STEP6は破線レーンマーク認識部14による処理である。また、STEP4〜STEP6の処理と並行して、連続線レーンマーク認識部15によるSTEP20の連続線レーンマークの認識処理が実行される。
なお、破線レーンマーク認識部14による処理工程は、本発明のレーンマーク認識方法における破線レーンマーク認識工程に相当する。
破線レーンマーク認識部14は、STEP4で、エッジ画像22においてクラスタリングされた各画像部分に対して、カメラ座標から実空間座標への逆射影変換を行って、各画像部分に対応する実空間での物体の位置を算出する。なお、大きさが所定サイズ(破線レーンマークの画像部分ではないと想定されるサイズ)以下である画像部分を除外してもよい。
そして、破線レーンマーク認識部14は、対応する実空間での長さが所定範囲(法規で定められた破線レーンマークの長さ(規定長)を基準として設定される)内である画像部分を、破線レーンマークの画像部分の候補である候補画像部分として抽出する。以下では、候補画像部分に対応する実空間での物体を破線レーンマーク候補という。
ここで、図4を参照して、STEP4の処理により、候補画像部分を抽出する処理について説明する。図4はクラスタリングされた各画像部分を逆射影変換により実空間での物体に変換して示したものであり、車両1(自車両)の前方の物体71〜74、81〜84、及び91〜97が示されている。
物体71〜74、81〜84、及び91〜97のうち、長さ(車両1の進行方向Zの方向の長さ)が所定範囲よりも短い物体91〜94,96が除外され、長さが所定範囲内である物体71〜74,81〜84,95,97が、破線レーンマーク候補として抽出される。
続くSTEP5で、破線レーンマーク認識部14は、車両1から最も近い破線レーンマーク候補(最近傍レーンマーク候補)を検出する。図4の例では、右側の破線レーンマーク候補については71が検出され、左側の破線レーンマーク候補については81が検出される。
次のSTEP6で、破線レーンマーク認識部14は、右側の最近傍レーンマーク候補71を起点として、一定方向に連続する破線レーンマーク候補を検索し、Z1の方向に連続した複数の破線レーンマーク候補72,73,74を破線レーンマークとして認識する。
同様に、破線レーンマーク認識部14は、左側の最近傍レーンマーク候補81を起点として、一定方向に連続する破線レーンマーク候補を検索し、Z2の方向に連続した複数の破線レーンマーク候補82,83,84を破線レーンマークとして認識する。この場合、Z2の方向に連続していない破線レーンマーク候補95,97が、破線レーンマークではないと判断される。
なお、連続性の判断は、図4に示したように実空間座標に変換した後に行ってもよいし、エッジ画像22における候補画像部分について行ってもよい。また、最近傍レーンマーク候補ではなく、中間位置にあるレーンマーク候補を起点として一定方向の連続性を判断するようにしてもよい。
また、図5に示したように、長さが所定範囲内にある左側の破線レーンマーク111,123,124が連続する方向C1(本発明の一定方向に連続した候補画像部分を接続した仮想線の方向に相当する)が、右側の破線レーンマーク101〜104に向かっていて、レーンマークの敷設態様として不適当であるときには、破線レーンマーク認識部14は、破線レーンマークの抽出条件を緩和して、他の破線レーンマーク候補を探索する。
具体的には、破線レーンマーク認識部14は、長さが所定範囲よりも短い破線レーンマーク候補についても、一定方向の連続性を再判断する。図5の例では、破線レーンマーク認識部14は、Z4方向に連続した破線レーンマーク候補111,112,113,114を、破線レーンマークとして認識する。
また、車線が連続線レーンマーク(白線、黄線等)で区画されているときには、STEP20の処理によって、連続線レーンマークが認識される。連続線レーンマークの認識処理は、例えば特開平11−219435号公報に記載された公知の手法による。
STEP7は車線認識部16による処理である。車線認識部16は、破線レーンマーク認識部14により認識された破線レーンマーク、又は連続線レーンマーク認識部15により認識された連続線レーンマークにより、車両1が走行している車線を認識する。
車線認識部16は、図6に示したように、車両1が走行している車線を区画している連続線レーンマーク141(左レーンマーク)と、破線レーンマーク131〜134(右レーンマーク)とが、共に精度良く認識されているときは、車両1の左右方向(車両1の進行方向と直交する方向)について、左レーンマーク141の内側の位置XLと、右レーンマーク131〜134の内側の位置XRとの間の中心位置Xcを算出する。
続くSTEP8は、操舵制御部17による処理である。操舵制御部17は、車線内の中心位置Xc付近を走行するように、操舵機構7を作動させて車両1の運転者の運転操作をアシストする。
ここで、操舵制御部17は、車両1と中心位置Xcとのずれが大きくなって、車両1と右レーンマーク131〜134との間隔WR、又は車両1と左レーンマーク141との間隔WLが予め設定された判定値以下になったときに、操舵機構7を作動させて車両1を中心位置Xcに近づける制御を行う。
そして、破線レーンマーク側については、隣車線への車線変更が許されるのに対し、連続線レーンマーク側については車線変更が禁止される規定になっている場合、運転者は、破線レーンマーク側に接近することについては抵抗がない。そのため、操舵制御部17は、破線レーンマーク側の許容間隔(図6では右側の許容間隔WR)を、連続線レーンマーク側の許容間隔(図6では左側の許容間隔WL)よりも狭く設定する。
このように、車両1とレーンマーク間の許容間隔を設定することにより、運転者がさほど抵抗を覚えることなく破線レーンマークに接近したときに、操舵制御によるアシストがなされて、運転者にとってわずらわしい過剰なアシストがなされることを抑制することができる。
[変形形態1]
図7に示したように、車両1が走行している車線が連続線レーンマーク161と破線レーンマーク151〜154とにより区画され、破線レーンマーク152,153の長さが所定範囲よりも短いために、破線レーンマーク151〜154の認識精度が所定レベル以下であるときには、車線認識部16が、連続線レーンマーク161のみを用いて車線を認識するようにしてもよい。
この場合、車線認識部16は、連続線レーンマーク161の内側の位置XLから間隔WSだけ離れた位置Xcを、車線の中央部に設定する。間隔WSは車線の幅のデータに基づいて設定され、車線の幅のデータは、車両1に備えられたナビゲーション装置(図示しない)の地図データから取得してもよく、一般的な道路幅のデータとして予めメモリに保持しておいてもよい。
[変形形態2]
破線レーンマークがボッツドッツ等の道路鋲であると想定されるときには、図3のSTEP6の破線レーンマークの連続性を判断する際の一定方向を、車両1の進行方向としてもよい。
[変形形態3]
カメラ2により撮像される時系列の画像間で、同一の破線レーンマークの画像部分であると想定される画像部分を抽出し、両画像間におけるこの画像部分の移動方向を、図3のSTEP6の破線レーンマークの連続性を判断する際の一定方向としてもよい。
[変形形態4]
図2のSTEP4で用いる所定範囲を、エッジ画像22から抽出された候補画像のうち、車両1に最も近い候補画像の対応する実空間での長さ(破線レーンマークの実際の長さ)を基準にして設定してもよい。この場合、以前の制御周期で破線レーンマークの画像部分であると認識された候補画像部分の対応する実空間での長さに基づいて、所定範囲を設定してもよい。
1…車両(自車両)、2…カメラ、7…操舵機構、10…レーンマーク認識装置、11…撮像画像取得部、12…エッジ画像生成部、13…候補画像部分抽出部、14…破線レーンマーク認識部、15…連続線レーンマーク認識部、16…車線認識部、17…操舵制御部、20…画像メモリ、21…撮像画像、22…エッジ画像。

Claims (11)

  1. 車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置であって、
    前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
    前記エッジ画像から、破線レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
    前記候補画像部分のうち、対応する実空間での長さが所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて、破線レーンマークを認識する破線レーンマーク認識部と、を備え
    前記破線レーンマーク認識部は、一定方向に連続した前記候補画像部分を接続した仮想線の方向が、前記車両の進行方向として不適当であるときには、前記所定範囲よりも短い画像部分を前記候補画像部分として、前記一定方向の連続性を再判断することを特徴とするレーンマーク認識装置。
  2. 請求項1に記載のレーンマーク認識装置において、
    前記所定範囲は、破線レーンマークについての規定長に基づいて設定されていることを特徴とするレーンマーク認識装置。
  3. 請求項1に記載のレーンマーク認識装置において、
    前記所定範囲は、前記破線レーンマーク認識部により、既に破線レーンマークの画像部分であると認識された前記候補画像部分の対応する実空間での長さに基づいて設定されることを特徴とするレーンマーク認識装置。
  4. 請求項1又は請求項2に記載のレーンマーク認識装置において、
    前記破線レーンマーク認識部は、前記候補画像部分のうち、対応する実空間での位置が前記車両に最も近い候補画像部分を起点として、前記一定方向の連続性を判断することを特徴とするレーンマーク認識装置。
  5. 請求項1から請求項4のうちのいずれか1項に記載のレーンマーク認識装置において、
    前記候補画像部分抽出部は、所定サイズ以下の画像部分を除外して、前記エッジ画像から前記候補画像部分を抽出することを特徴とするレーンマーク認識装置。
  6. 請求項1から請求項のうちのいずれか1項に記載のレーンマーク認識装置において、
    前記破線レーンマーク認識部は、破線レーンマークが道路鋲であるときには、前記一定方向を前記車両の進行方向に基づいて設定することを特徴とするレーンマーク認識装置。
  7. 請求項1から請求項のうちのいずれか1項に記載のレーンマーク認識装置において、
    前記エッジ画像生成部は、所定の制御周期毎に前記カメラにより撮像される前記車両周囲の画像から、該制御周期毎に前記エッジ画像を生成し、
    前記破線レーンマーク認識部は、前記エッジ画像生成部により生成された連続した時系列のエッジ画像間における、同一のレーンマークの画像部分であると想定される前記候補画像部分の移動方向を、前記一定方向として設定することを特徴とするレーンマーク認識装置。
  8. 車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置であって、
    前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
    前記エッジ画像から、破線レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
    前記候補画像部分のうち、対応する実空間での長さが所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて、破線レーンマークを認識する破線レーンマーク認識部と、
    前記カメラの撮像画像から連続線レーンマークを認識する連続線レーンマーク認識部と、
    前記連続線レーンマーク認識部により、車線の左右レーンマークの一方が直線状の連続線レーンマークとして認識されると共に、前記破線レーンマーク認識部により、車線の左右のレーンマークのうちの他方が直線状の破線レーンマークとして認識されたときに、該破線レーンマークの認識信頼性が所定レベル以下あるときには、該連続線レーンマークの認識結果のみを用いて車線を認識する車線認識部と、を備えたことを特徴とするレーンマーク認識装置。
  9. 車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置であって、
    前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
    前記エッジ画像から、破線レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
    前記候補画像部分のうち、対応する実空間での長さが所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて、破線レーンマークを認識する破線レーンマーク認識部と、
    前記カメラの撮像画像から連続線レーンマークを認識する連続線レーンマーク認識部と、
    前記破線レーンマーク認識部又は前記連続線レーンマーク認識部により認識されたレーンマークにより区画された車線内を前記車両が走行するように、前記車両の操舵制御を行い、車線が破線レーンマークにより区画されていると認識された場合における前記車両と該破線レーンマークとの間の許容間隔を、車線が連続線レーンマークにより区画されていると認識された場合における前記車両と該連続線レーンマークとの間の許容間隔よりも狭く設定して、前記操舵制御を行う操舵制御部と、を備えたことを特徴とするレーンマーク認識装置。
  10. 周囲を撮像するカメラと、
    前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
    前記エッジ画像から、破線レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
    前記候補画像部分のうち、対応する実空間の長さが所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて、破線レーンマークを認識する破線レーンマーク認識部とを備え
    前記破線レーンマーク認識部は、一定方向に連続した前記候補画像部分を接続した仮想線の方向が、前記車両の進行方向として不適当であるときには、前記所定範囲よりも短い画像部分を前記候補画像部分として、前記一定方向の連続性を再判断することを特徴とする車両。
  11. 車両に搭載されたカメラにより撮像された該車両の周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識方法であって、
    前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、
    前記エッジ画像から、破線レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出工程と、
    前記候補画像部分のうち、対応する実空間の長さが所定範囲内であり、且つ、一定方向に連続した複数の候補画像部分に基づいて、破線レーンマークを認識する破線レーンマーク認識工程と
    一定方向に連続した前記候補画像部分を接続した仮想線の方向が、前記車両の進行方向として不適当であるときには、前記所定範囲よりも短い画像部分を前記候補画像部分として、前記一定方向の連続性を再判断する工程と、を含むことを特徴とするレーンマーク認識方法。
JP2014083219A 2014-04-14 2014-04-14 レーンマーク認識装置 Expired - Fee Related JP6141788B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014083219A JP6141788B2 (ja) 2014-04-14 2014-04-14 レーンマーク認識装置
US14/659,818 US9489585B2 (en) 2014-04-14 2015-03-17 Lane mark recognition device
CN201510169599.6A CN104978563B (zh) 2014-04-14 2015-04-10 行车线标识识别装置
DE102015206546.4A DE102015206546A1 (de) 2014-04-14 2015-04-13 Fahrbahnmarkierungserkennungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014083219A JP6141788B2 (ja) 2014-04-14 2014-04-14 レーンマーク認識装置

Publications (2)

Publication Number Publication Date
JP2015203992A JP2015203992A (ja) 2015-11-16
JP6141788B2 true JP6141788B2 (ja) 2017-06-07

Family

ID=54193461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014083219A Expired - Fee Related JP6141788B2 (ja) 2014-04-14 2014-04-14 レーンマーク認識装置

Country Status (4)

Country Link
US (1) US9489585B2 (ja)
JP (1) JP6141788B2 (ja)
CN (1) CN104978563B (ja)
DE (1) DE102015206546A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830518B2 (en) * 2012-08-30 2017-11-28 Honda Motor Co., Ltd. Lane mark recognition device
JP6087858B2 (ja) * 2014-03-24 2017-03-01 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
JP6348758B2 (ja) 2014-04-15 2018-06-27 本田技研工業株式会社 画像処理装置
EP3435353B1 (en) * 2016-03-24 2022-03-02 Nissan Motor Co., Ltd. Travel path detection method and travel path detection device
KR101878490B1 (ko) 2017-03-10 2018-07-13 만도헬라일렉트로닉스(주) 차선 인식 시스템 및 방법
JP2018173834A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御装置
DE102017216802A1 (de) * 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
JP2022010577A (ja) * 2020-06-29 2022-01-17 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219435A (ja) 1998-02-03 1999-08-10 Honda Motor Co Ltd 自動車用白線検出装置
JP3854143B2 (ja) * 2001-12-18 2006-12-06 アイシン精機株式会社 車線境界検出装置
JP2004326559A (ja) * 2003-04-25 2004-11-18 Nissan Motor Co Ltd 車線区分線検出装置
JP2005157731A (ja) * 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車線認識装置および車線認識方法
JP3912416B2 (ja) * 2005-05-31 2007-05-09 トヨタ自動車株式会社 車両逸脱防止制御装置
JP4603970B2 (ja) * 2005-12-15 2010-12-22 トヨタ自動車株式会社 道路区画線検出装置
JP4607193B2 (ja) * 2005-12-28 2011-01-05 本田技研工業株式会社 車両及びレーンマーク検出装置
JP4950858B2 (ja) * 2007-11-29 2012-06-13 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識プログラム
JP5014237B2 (ja) * 2008-04-23 2012-08-29 本田技研工業株式会社 レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
JP4714827B2 (ja) * 2008-07-25 2011-06-29 本田技研工業株式会社 車両運転支援装置
JP5399775B2 (ja) * 2009-05-22 2014-01-29 富士重工業株式会社 車線認識装置
JP2012155612A (ja) * 2011-01-27 2012-08-16 Denso Corp 車線検出装置
JP5810654B2 (ja) * 2011-06-13 2015-11-11 トヨタ自動車株式会社 区画線認識装置、区画線認識方法、プログラム及び媒体
JP5466342B1 (ja) * 2012-08-13 2014-04-09 本田技研工業株式会社 道路環境認識装置
CN102951159B (zh) * 2012-11-07 2016-06-15 浙江吉利汽车研究院有限公司杭州分公司 车道偏离预警系统

Also Published As

Publication number Publication date
DE102015206546A1 (de) 2015-10-15
CN104978563B (zh) 2018-10-16
CN104978563A (zh) 2015-10-14
JP2015203992A (ja) 2015-11-16
US20150294164A1 (en) 2015-10-15
US9489585B2 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
JP6141788B2 (ja) レーンマーク認識装置
JP5999127B2 (ja) 画像処理装置
US9690994B2 (en) Lane recognition device
JP6202635B2 (ja) 運転者支援システムのためのレーン相対位置推定の方法及びシステム
JP5014237B2 (ja) レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
JP6141787B2 (ja) レーンマーク認識装置
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
KR20200060194A (ko) 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치
JP2009237706A (ja) 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP4937844B2 (ja) 歩行者検出装置
JP6230498B2 (ja) 対象物認識装置
US9824449B2 (en) Object recognition and pedestrian alert apparatus for a vehicle
WO2018074330A1 (ja) 車両制御装置、車両制御方法
JP5345999B2 (ja) レーンマーク認識装置
JP6132807B2 (ja) レーンマーク認識装置
JP6173962B2 (ja) レーンマーク認識装置
JP6293570B2 (ja) レーンマーク認識装置及び方法並びに車両
JP2015215235A (ja) 物体検出装置及び物体検出方法
JP5724473B2 (ja) 車両用画像認識装置、車両用画像認識方法、プログラム及び媒体
JP6270604B2 (ja) 対象物認識装置
JP2020101935A (ja) 画像認識装置
JP6130326B2 (ja) 車線認識装置
JP2023148241A (ja) 区画線認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170508

R150 Certificate of patent or registration of utility model

Ref document number: 6141788

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees