JP6512920B2 - レーン検出装置及びその方法、並びにレーン表示装置及びその方法 - Google Patents

レーン検出装置及びその方法、並びにレーン表示装置及びその方法 Download PDF

Info

Publication number
JP6512920B2
JP6512920B2 JP2015086639A JP2015086639A JP6512920B2 JP 6512920 B2 JP6512920 B2 JP 6512920B2 JP 2015086639 A JP2015086639 A JP 2015086639A JP 2015086639 A JP2015086639 A JP 2015086639A JP 6512920 B2 JP6512920 B2 JP 6512920B2
Authority
JP
Japan
Prior art keywords
lane
block
blocks
bright
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015086639A
Other languages
English (en)
Other versions
JP2016206881A (ja
Inventor
洋介 坂本
洋介 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2015086639A priority Critical patent/JP6512920B2/ja
Priority to US15/133,622 priority patent/US20160314359A1/en
Publication of JP2016206881A publication Critical patent/JP2016206881A/ja
Application granted granted Critical
Publication of JP6512920B2 publication Critical patent/JP6512920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/1755—Brake regulation specially adapted to control the stability of the vehicle, e.g. taking into account yaw rate or transverse acceleration in a curve
    • B60T8/17557—Brake regulation specially adapted to control the stability of the vehicle, e.g. taking into account yaw rate or transverse acceleration in a curve specially adapted for lane departure prevention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

この発明は、車載の撮像装置により撮像された前方画像から、車両が走行する路面に形成されているレーンマーク（車線境界を示すマーク）を検出し、検出したレーンマークに基づきレーン（車線）を認識するレーン検出装置及びその方法、並びに検出したレーンを表示するレーン表示装置及びその方法に関する。
公知のように、車両が走行する路面に形成されているレーンマークを検出し認識する際には、車載カメラで撮像した車両前方の輝度信号からなる画像に対し、路面とレーンマークのコントラストの違い（レーンマーク輝度＞路面輝度）に基づき輝度閾値を設定し、前記画像（輝度信号）を前記輝度閾値で２値化処理した後、エッジ検出処理を行うことで、前記画像からレーンマークを検出してレーンを認識するように構成されている。
この場合、前記レーンマークを検出するために２値化処理を行う前記輝度閾値は、例えば、画像の輝度ヒストグラムを作成する等、環境光の明るさに応じて変更されている。
例えば、特許文献１には、ヘッドライトを点灯しているトンネル内での画像に対する２値化閾値を、太陽光下の画像に対する通常の２値化閾値より高い閾値にして、白線を検出し認識することが開示されている（特許文献１の［００１３］〜［００１５］及び図４、図５）。
特開２００７−２５７２４２号公報
しかしながら、例えば、太陽光下で、路面の一部を横切って高い建物等の影がある場合等には、特許文献１に開示された技術では、影の有無に拘わらず通常の２値化閾値が適用されるために、そのような高い建物等の影がかかっているレーンマークは、撮像された画像中のレーンマークに対応する部分が比較的に低い輝度信号であるにも拘わらず、高い２値化閾値が適用されることから検出することができないという課題がある。
この発明は、このような課題を考慮してなされたものであり、路面の一部を横切って影がある場合であっても、レーンマークを確実に検出し認識することを可能とするレーン検出装置及びその方法、並びにレーン表示装置及びその方法を提供することを目的とする。
この発明に係るレーン検出装置は、路面を含む車両の前方を撮像する撮像装置と、前記撮像装置により撮像された画像を２値化閾値により２値化処理して前記路面に形成されたレーンマークを検出するレーンマーク検出部と、を備えるレーン検出装置において、前記レーンマーク検出部は、撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、分割したブロックの輝度値に基づき、複数の前記ブロックを、相対的に輝度値が高い明部ブロックと低い暗部ブロックに振り分け、前記明部ブロックと前記暗部ブロックとで前記２値化閾値の値を変更して、撮像された前記画像を２値化処理する。
この発明によれば、撮像された画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロックを明部ブロックと暗部ブロックに振り分け、前記明部ブロックと前記暗部ブロックとで２値化閾値の値を変更して、撮像された前記画像を２値化処理するようにしたので、公知の固定の２値化閾値や画像全体の輝度に基づく２値化閾値の値の変更では検出できないレーンマークを検出することができる。
この結果、例えば、路面の一部を横切って跨道橋（橋梁）等の影がある場合や、高い建物の影がある場合に対応する暗部ブロックでは、この暗部ブロックに対応した２値化閾値に変更することで、暗部ブロック（ブロックを構成する画像中の大部分に、影がかかっている暗部下）中のレーンマークであっても、明部ブロック（ブロックを構成する画像中の大部分に、影がかかっていない明部下）中のレーンマークであっても、レーンマークを確実に検出できる。
より具体的に、前記レーンマーク検出部は、撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に輝度平均値を算出し、各前記ブロック毎の前記輝度平均値に基づき、各前記ブロックを前記明部ブロックと前記暗部ブロックとに振り分け、前記暗部ブロックの２値化閾値の値を、前記明部ブロックの２値化閾値の値より小さい値として、撮像された前記画像を２値化処理するようにしてもよい。
この発明によれば、撮像された画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に（ブロック単位で）輝度平均値を算出し、各前記ブロック毎の前記輝度平均値に基づき、各前記ブロックを明部ブロックと暗部ブロックとに振り分け、前記暗部ブロックの２値化閾値の値を、前記明部ブロックの２値化閾値の値より小さい値として、撮像された前記画像を２値化処理したので、同一画像上の、明部下のレーンマークはもちろんのこと、従来検出できなかった暗部下のレーンマークをも検出することができる。
この結果、例えば、路面の一部を横切って跨道橋（橋梁）の影がある場合や、高い建物の影がある場合であっても、レーンマークを確実に検出することができる。
なお、前記レーンマーク検出部は、前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割する際、さらに、各前記ブロックを左右のブロックに分割し、分割したブロック毎に輝度平均値を算出することが好ましい。
例えば、太陽が走行路上にある場合には、レーンマークが形成された路面を映出した画像中、橋梁影が、水平方向に帯状にかかるが、太陽が走行路上から右側又は左側に離れている場合、橋梁影が、水平斜め方向に帯状にかかる場合が多くなる。この場合には、画像中、左右で輝度平均値が異なることになり、一部のレーンマークを検出することができなくなる可能性がある。
そこで、この発明では、前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割する際、さらに、各前記ブロックを左右のブロックに分割し、分割した各ブロック毎に輝度平均値を算出することで、検出できなかったレーンマークが検出できるようになる。
また、前記輝度平均値は、左右に延びる複数のブロックに対し、下方向から上方向に向かって順次算出するようにすることで、例えば、橋梁影が、画像の中程、水平方向に帯状にある場合、下側から明部ブロック、暗部ブロック、及び明部ブロックの順に振り分けることができ、安定したレーンマーク検出処理を行うことができる。
なお、前記２値化閾値は、前記画像の下側からの明部ブロック、暗部ブロック、及び明部ブロックの順に、明部ブロックの２値化閾値、明部ブロックの２値化閾値より小さい値の暗部ブロックの２値化閾値、及び明部ブロックの２値化閾値の順に設定されているようにすることが好ましい。これにより、明部ブロックと暗部ブロックに対する２値化閾値を簡易且つ適切に設定することができる。
また、前記レーンマーク検出部が、前記レーンマークを検出しているとき、このレーンマークを検出していることを表示する表示部をさらに備えることが好ましい。
この発明によれば、表示部上のレーンマークを検出していることの表示により、乗員は、レーン検出装置によりレーン（車線）がきちんと検出されていることを視認することができる。
さらにまた、前記表示部がヘッドアップディスプレイであり、前記表示を、レーンマークを模したレーン状の表示とすることで、レーン（車線）がきちんと検出されていることを運転者が認識でき、運転を補助することができる。
この発明に係るレーン検出方法は、路面を含む車両の前方を撮像する撮像装置により撮像された画像を２値化閾値により２値化処理してレーンを検出し認識するレーン検出方法において、前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に輝度平均値を算出するブロック輝度算出ステップと、各前記ブロック毎の前記輝度平均値にもとづき、各前記ブロックを明部ブロックと暗部ブロックとに振り分ける明暗部ブロック振り分けステップと、前記暗部ブロックの２値化閾値の値を、前記明部ブロックの２値化閾値の値より小さい値に決定する閾値決定ステップと、撮像された前記画像を前記２値化閾値にて２値化処理してレーンマークを検出するレーンマーク検出ステップと、を備える。
この発明によれば、撮像された画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に（ブロック単位で）輝度平均値を算出し、各前記ブロック毎の前記輝度平均値に基づき、各前記ブロックを明部ブロックと暗部ブロックとに振り分け、前記暗部ブロックの２値化閾値の値を、前記明部ブロックの２値化閾値の値より小さい値として、撮像された前記画像を２値化処理したので、同一画像上の、明部下のレーンマークはもちろんのこと、従来検出できなかった暗部下のレーンマークをも検出することができる。
この結果、例えば、路面の一部を横切って跨道橋（橋梁）の影がある場合や、高い建物の影がある場合であっても、レーンマークを確実に検出することができる。
この場合、さらに、レーン検出方法において検出したレーンマークを模したレーン状の表示を、車両のフロントウインドに表示する表示ステップを備えることで、レーン（車線）がきちんと検出されていることを運転者が認識でき、運転を補助することができる。
この発明によれば、路面の一部を横切って影がある場合であっても、レーンマークを確実に検出し認識することができるという効果が達成される。
この発明に係る装置及び方法の一実施形態に係るレーン検出装置が搭載された車両の概略的構成を示すブロック図である。 レーン検出装置を搭載する車両の動作説明に供されるフローチャートである。 メモリに取り込まれた撮像画像の模式図である。 画像をブロックにより９分割した状態の説明図である。 図５Ａは、画像を９分割した際の、明部ブロックと暗部ブロックの説明図である。図５Ｂは、図５Ａの状態において、さらに左右に分割し、１８分割した際の明部ブロックと暗部ブロックの説明図である。 ９分割ブロックにより検出されたレーンマークの説明図である。 画像をブロックにより１８分割した状態の説明図である。 １８分割ブロックにより検出されたレーンマークの説明図である。 ヘッドアップディスプレイ上の表示の説明図である。
以下、この発明の好適な実施形態について、添付の図面を参照して詳細に説明する。
図１は、この実施形態に係るレーン検出装置及びその方法、並びにレーン表示装置及びその方法を実施するレーン検出装置１０が搭載された車両１２の概略的構成を示すブロック図である。
レーン検出装置１０は、走行路上に設けられた車線境界線（以下、レーンマークという。）に沿って走行する車両１２の運転者によるステアリングの操舵操作やブレーキペダル等による制動操作等を支援するために車両（自車両ともいう。）１２に搭載された運転支援装置１４の機能の一部として構成されている。
なお、この実施形態では、レーン検出装置１０を運転支援装置１４に適用した例を示しているが、自動運転装置に適用してもよい。
レーンマークは、車線境界（車線区画）を示すマークであり、レーンマークには、間隔を持って設けられた破線の白線（線分）からなる連続線（みなし連続線ともいう。）、実線の白線等の連続線の他、ボッツドットやキャッツアイ等からなる連続マーク（みなし連続線と考えることもできる。）も含まれる。
この実施形態に係るレーン検出装置１０は、基本的には、車両１２の前方を撮像するカメラ１６（撮像装置）と、カメラ１６により撮像された画像からレーンマークを認識し、レーンマークからレーンを検出する電子制御ユニット２０（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：以下、ＥＣＵ２０という。）とから構成される。
カメラ１６は、例えば、ビデオカメラであり、車両１２内のフロントウインドシールド上部に搭載され、車両１２の前方を、前記フロントウインドシールドを通して撮像し、車両前方の走行路を含む画像を１秒間に複数枚（複数フレーム）撮像し、画像信号（映像信号）Ｓｉを出力する。この場合、カメラ１６には、その取付部を原点位置Ｏとし、車両１２の車幅方向（水平方向）をＸ軸、車軸方向（進行方向、前方方向）をＹ軸、車高方向（垂直方向、鉛直方向）をＺ軸とする実空間座標系が定義されている。
レーン検出装置１０及び運転支援装置１４は、上記したカメラ１６及びＥＣＵ２０の他に、車両１２の車速ｖ［ｍ／ｓ］を検出する速度センサ２２、車両１２の操舵装置５０の舵角θ［ｄｅｇ］を検出する舵角センサ２６及びフロントウインドシールド上等に速度表示等の車両情報等を表示するヘッドアップディスプレイを含む表示部２８等を備える。
ＥＣＵ２０は、マイクロコンピュータを含む計算機であり、ＣＰＵ（中央処理装置）、メモリであるＲＯＭ（ＥＥＰＲＯＭも含む。）、ＲＡＭ（ランダムアクセスメモリ）、その他、Ａ／Ｄ変換器、Ｄ／Ａ変換器等の入出力装置、計時部としてのタイマ等を有しており、ＣＰＵがＲＯＭに記録されているプログラムを読み出し実行することで各種機能実現部（機能実現手段）として機能する。
この実施形態において、ＥＣＵ２０は、撮像された画像を複数のブロックに分割するブロック化部３２、分割されたブロック毎に輝度平均値を算出する輝度平均値算出部３４、前記ブロックを明部ブロックと暗部ブロックに振り分ける明暗部ブロック振り分け部（明暗ブロック振り分け部）３６、振り分けられた明暗部ブロックの各２値化閾値を決定する閾値決定部４０、撮像された画像からレーンマークを検出するエッジ検出部４２、レーンマークからレーンを推定するレーン推定部４４、及び推定したレーンを表示部２８に表示する表示制御部４６等として機能する。
運転支援装置１４は、上記したレーン検出装置１０に、速度センサ２２及び舵角センサ２６を備えて構成される。舵角センサ２６の出力、すなわち舵角θから車両１２の進行方向が検出される。
運転支援装置１４は、レーン検出装置１０により認識されたレーンに基づき、運転者がステアリング（不図示）を把持している等の所定条件下に、操舵装置５０と制動装置５２と加速装置５４を制御することにより、車両１２が、車両１２の幅方向の両側のレーンマークに挟まれる走行路、すなわちレーン（車線）から逸脱しないように、換言すれば車両１２が車線の概ね中心を走れるよう、且つカーブ（カーブ開始点）の手前で制動装置５２や図示しないアクセルペダル反力付与機構（不図示）を働かせる等、運転者の走行支援を実行する。
次に、基本的には、以上のように構成される車両１２の動作について、図２のフローチャートを参照して説明する。フローチャートに係るプログラムの実行主体はＥＣＵ２０（のＣＰＵ）であるが、処理の都度、ＥＣＵ２０を実行主体として説明すると煩雑になるので必要に応じて説明する。
ステップＳ１にて、ＥＣＵ２０は、所定時間であるフレーム時間［ｓ］毎に、つまり、カメラ１６による車両前方の画像の撮像毎（フレーム毎）に、撮像された画像｛多値画像であるグレースケール画像（輝度信号）｝をメモリ３０に取り込む（記憶する。）（前方画像撮像ステップ）。
図３は、メモリ３０にデジタルデータで取り込まれた、例としての画像（グレースケール画像）６０を示している。画像６０には、路面（走行路）６２と、この路面６２上に形成された車両１２の原点位置（カメラ１６の取付位置）Ｏから見て左側のレーンマーク７０と、右側のレーンマーク８０、先行車両８６等が映出されている。
左側のレーンマーク７０は、画像６０の下部（車両位置）左側から上部（前方遠方方向）中央に向かうレーンマーク７１、７２、７３として映出され、右側のレーンマーク８０は、画像６０の下部（車両位置）右側から上部（前方遠方方向）中央に向かうレーンマーク８１、８２、８３として映出されている。
また、画像６０には、道路を跨ぐ一定幅員の橋梁（以下、跨道橋という。）の影（橋梁影という。）８８が映出され、橋梁影８８が、レーンマーク７０、８０中、一部のレーンマーク７２、７３、８２、８３にかかっている。
次に、ステップＳ２にて、ブロック化部３２は、撮像された画像６０を、ブロック化（ブロック分け、区画化、区画分け）する（ブロック輝度算出ステップの前半部分）。
図４は、画像６０中、レーンマーク７０、８０が含まれている車両１２が走行する路面６２部分を含む画像を、上下方向（Ｙ方向）には連続し、左右方向（水平方向：Ｘ方向と−Ｘ方向）には延びる９個のブロックｂｌｋ（ブロックＢ１〜Ｂ９）からなるブロックＢαに分割した状態を示している。上下方向に連続するブロックＢ１〜Ｂ９の数は、９個に限らず、カメラ１６やＥＣＵ２０の性能に応じて適宜選択することができる。
次に、ステップＳ３にて、輝度平均値算出部３４は、各ブロックｂｌｋを構成する画素の輝度値の平均値を算出する。つまり、各ブロックｂｌｋを構成する各画素の輝度値を合計して画素数で除することで、各ブロックｂｌｋ、すなわちブロックＢ１〜Ｂ９毎の９個の各輝度平均値Ｂｍｅａｎを算出する（ブロック輝度算出ステップの後半部分）。なお、ブロックｂｌｋの輝度平均値Ｂｍｅａｎは、橋梁影８８がかかっている面積が多いブロックｂｌｋ程、小さい値になる。
次に、ステップＳ４にて、明暗部ブロック振り分け部３６は、各ブロックｂｌｋの輝度平均値Ｂｍｅａｎと、予め実験乃至シミュレーションにより決定している閾値Ｔｈとの大小を比較し、Ｂｍｅａｎ＞Ｔｈである場合には、明部ブロックｂｌｋｗとし、Ｂｍｅａｎ≦Ｔｈである場合には、暗部ブロックｂｌｋｂとして振り分ける（明暗部ブロック振り分けステップ）。この振り分け処理は、画像６０の下側（車両１２に近い側）から上側（車両１２から遠い側）に向かってブロックＢ１、Ｂ２、…Ｂ９の順に行うことが好ましい。すなわち、通常輝度の画像のブロックｂｌｋ、つまり影のかかっていない画像のブロックｂｌｋから先に輝度平均値Ｂｍｅａｎを算出することになるので、上部のブロックｂｌｋで影がかかっていればその影を認識し易くなり、影がかかっていなければ通常の処理を行うことができるという理由で好ましい。
図５Ａに示すように、図４例の橋梁影８８が映出された画像６０では、ステップＳ４にて、下側から順にブロックＢ１〜ブロックＢ５の各ｂｌｋが明部ブロックｂｌｋｗに振り分けられ、ブロックＢ６〜Ｂ８の各ブロックｂｌｋがハッチングしたように暗部ブロックｂｌｋｂに振り分けられ、ブロックＢ９が明部ブロックｂｌｋｗに振り分けられる。
次に、ステップＳ５にて、閾値決定部４０は、明部ブロックｂｌｋｗの２値化閾値Ｔｈｗを、予め実験乃至シミュレーションにより決定している前記の２値化閾値Ｔｈ（通常の閾値であり、明部閾値Ｔｈｗという。Ｔｈ＝Ｔｈｗ）に決定し、暗部ブロックｂｌｋｂの２値化閾値Ｔｈｂ（暗部閾値Ｔｈｂという。Ｔｈ＝Ｔｈｂ）を、明部閾値Ｔｈｗより小さい値の予め実験乃至シミュレーションにより決定している２値化閾値Ｔｈｂ（Ｔｈｂ＜Ｔｈｗ）に決定する（閾値決定ステップ）。
次いで、ステップＳ６にて、各ブロックｂｌｋを構成する画素の画素値と２値化閾値（明部ブロックｂｌｋｗであれば明部閾値Ｔｈｗ、暗部ブロックｂｌｋｂであれば暗部閾値Ｔｈｂ）とを比較して、画像６０の水平方向の一列の画素毎に２値化処理を行う（明部ブロックｂｌｋｗを構成する画素値が明部閾値Ｔｈｗより大きければ１：検出、小さければ０：非検出、暗部ブロックｂｌｋｂを構成する画素値が暗部閾値Ｔｈｂより大きければ１：検出、小さければ０：非検出）（レーンマーク検出ステップ）。
図６は、ステップＳ６のレーン検出２値化処理により検出されたレーンマーク候補を黒く塗りつぶして示している。レーンマーク７１、７２、７３、８１、８２、８３中、黒く塗りつぶした部分をレーンマーク候補として抽出することができる。
このように、暗部ブロックｂｌｋｂの２値化処理用の暗部閾値Ｔｈｂを、明部ブロックｂｌｋｗの２値化処理用の明部閾値Ｔｈｗよりも小さな値とすることで、従来検出することができなかった、暗部ブロックｂｌｋｂ中の橋梁影８８がかかっているレーンマーク７２、７３、８２、８３の一部（図６例では、半分以上の領域）を検出することができる。
ただし、この処理を行うことにより、従来であれば、検出することができていたレーンマーク７２中、破線で描いた比較的に長さの長いレーンマーク７２ａの部分（図６）、及びレーンマーク８３中の破線で描いた比較的に長さの長いレーンマーク８３ａの部分（図６）を検出することができなくなる。
そこで、例えば、図７に示すように、画像６０を、中心線６５でさらに左右の合計１８個のブロックＢβ｛ブロックＢβａ（ブロックＢ１ａ〜Ｂ９ａ）、ブロックＢβｂ（ブロックＢ１ｂ〜Ｂ９ｂ）｝に分割し（ブロック化：ステップＳ２）、分割した上下左右１８個の各ｂｌｋの輝度平均値を算出し（ステップＳ３）、明暗部ブロックに再振り分けする（ステップＳ４）ことで、図５Ｂに示すように明暗部ブロックが得られることが分かる。
そして、上述したステップＳ５と同様に、閾値（明部閾値Ｔｈｗと暗部閾値Ｔｈｂ、Ｔｈｂ＜Ｔｈｗ）を決定し、ステップＳ６にて、分割された各ｂｌｋ毎の画像を２値化処理することにより、図８に示すように、レーンマーク７２中、図６にて破線で描いた比較的に長さの長いレーンマーク７２ａの部分、及びレーンマーク８３中、図６にて破線で描いた比較的に長さの長いレーンマーク８３ａの部分を検出することができるようになる。
レーンマーク候補を検出した後は、さらに、ステップＳ６にて、公知のように、検出（抽出）されたレーンマーク候補（水平方向で、方形波状）をエッジ検出部４２により微分処理して上下に延びるエッジを検出し、レーン推定部４４が、上下に延びるエッジの幅が実際のレーンマークの幅に近似するレーンマーク候補をレーンマーク７１、７２、７３、８１、８２、８３として特定する。その後、レーン推定部（レーン認識部）４４は、特定したレーンマーク７１、７２、７３、８１、８２、８３を鳥瞰図に射影変換し、二次曲線やクロソイド曲線等を利用した最小二乗法による曲線近似を行い、近似直線及び近似曲線をレーン（車線）として検出（認識）する。なお、地図情報等により路面（走行路）６２が直線路であることが分かっている場合には、直線近似を行ってもよい。
これにより、運転支援装置１４は、検出（推定）したレーン（車線）に沿って、車両１２がレーン（車線）間から逸脱しないように、換言すれば、車両１２がレーン（車線）間の中心線やカーブ車線の中心を走れるように操舵装置５０、制動装置５２及び加速装置５４等を制御して運転者の走行支援を実行する。
同時に、ステップＳ７にて、表示制御部４６は、図９に示すように、ダッシュボード７６の前方の表示部２８であるフロントウインドシールド７８上（ヘッドアップディスプレイ）に、速度センサ２２で検出している車速ｖの表示９０（８０ｋｍ／ｈ）の他に、レーンを検出できていることを示すレーンを模したレーン状の表示９２を映す（表示ステップ）ことで、レーンが検出できていることを、ステアリング７４を操作する運転者（不図示）に知らせることができる。
なお、ヘッドアップディスプレイ非装着車両である場合には、マルチインフォメーションディスプレイ等に、レーン状の表示９２をしてもよい。
［実施形態のまとめ］
以上説明したように上述した実施形態に係るレーン検出装置１０は、路面６２を含む車両１２の前方を撮像するカメラ１６（撮像装置）と、カメラ１６により撮像された画像６０（図３）を２値化閾値により２値化処理して路面６２に形成されたレーンマーク７０（７１、７２、７３）、８０（８１、８２、８３）を検出するレーンマーク検出部としてのＥＣＵ２０と、を備える。
この場合、前記レーンマーク検出部としてのＥＣＵ２０は、撮像された画像６０を、上下方向には連続し、左右方向には延びる複数のブロックｂｌｋに分割し、分割したブロックｂｌｋの輝度値に基づき、複数の前記ブロックｂｌｋを、相対的に輝度値が高い明部ブロックｂｌｋｗ（図５Ａ等）と低い暗部ブロックｂｌｋｂに振り分け、明部ブロックｂｌｋｗと暗部ブロックｂｌｋｂとで２値化閾値Ｔｈの値を変更して、撮像された画像６０を２値化処理している。
この実施形態によれば、撮像された画像６０を、上下方向には連続し、左右方向には延びる複数のブロックＢ１〜Ｂ９に分割し、各前記ブロックＢ１〜Ｂ９を明部ブロックｂｌｋｗと暗部ブロックｂｌｋｂに振り分け、明部ブロックｂｌｋｗと暗部ブロックｂｌｋｂとで２値化閾値Ｔｈの値を変更して、撮像された画像６０を２値化処理するようにしたので、公知の固定の２値化閾値や画像全体の輝度に基づく２値化閾値の値の変更では検出できないレーンマーク８２等を検出することができる。
この結果、例えば、路面６２の一部を横切って跨道橋（橋梁）等の橋梁影８８がある場合や、高い建物の影がある場合に対応する暗部ブロックｂｌｋｂでは、この暗部ブロックｂｌｋｂに対応した２値化閾値Ｔｈｂに変更することで、暗部ブロックｂｌｋｂ（ブロックを構成する画像中の大部分に、影がかかっている暗部下）中のレーンマーク７２、７３、８２、８３であっても、明部ブロックｂｌｋｗ（ブロックを構成する画像中の大部分に、影がかかっていない明部下）中のレーンマーク７１、８１等であっても、レーンマークを確実に検出できる。
この場合、前記レーンマーク検出部としてのＥＣＵ２０は、撮像された画像６０を、上下方向には連続し、左右方向には延びる複数のブロックＢ１〜Ｂ９（図４）に分割し、各ブロックＢ１〜Ｂ９毎に輝度平均値Ｂｍｅａｎを算出し、各ブロックｂｌｋ毎の輝度平均値Ｂｍｅａｎに基づき、各ブロックｂｌｋを明部ブロックｂｌｋｗと暗部ブロックｂｌｋｂとに振り分け、暗部ブロックｂｌｋｂの２値化閾値Ｔｈｂの値を、明部ブロックｂｌｋｗの２値化閾値Ｔｈｗの値より小さい値（Ｔｈｂ＜Ｔｈｗ）として、撮像された画像６０を２値化処理することが好ましい。
この構成によれば、撮像された画像６０を、上下方向には連続し、左右方向には延びる複数のブロックＢ１〜Ｂ９に分割し、各ブロックｂｌｋ毎に（ブロック単位で）輝度平均値Ｂｍｅａｎを算出し、各ブロックｂｌｋ毎の輝度平均値Ｂｍｅａｎに基づき、各ブロックｂｌｋを明部ブロックｂｌｋｗと暗部ブロックｂｌｋｂとに振り分け、暗部ブロックｂｌｋｂの２値化閾値Ｔｈｂの値を、明部ブロックｂｌｋｗの２値化閾値Ｔｈｗの値より小さい値（Ｔｈｂ＜Ｔｈｗ）として、撮像された画像６０を２値化処理したので、同一画像６０上の、明部下のレーンマーク８１等はもちろんのこと、従来検出できなかった暗部下のレーンマーク８２等をも検出することができる。
この結果、例えば、路面６２の一部を横切って跨道橋（橋梁）の影（橋梁影８８）がある場合や、高い建物の影がある場合であっても、レーンマークを確実に検出することができる。
この場合、前記レーンマーク検出部としてのＥＣＵ２０は、画像６０を、上下方向には連続し、左右方向には延びる複数のブロックｂｌｋに分割する際、さらに、各前記ブロックｂｌｋを左右のブロックに分割し、分割したブロックＢβａ（Ｂ１ａ〜Ｂ９ａ）、Ｂβｂ（Ｂ１ｂ〜Ｂ９ｂ）毎に輝度平均値Ｂｍｅａｎを算出することがより好ましい。
例えば、太陽が走行路上にある場合には、レーンマーク７０、８０が形成された路面６２を映出した画像６０中、橋梁影８８が、水平方向に帯状にかかるが、太陽が走行路上から右側又は左側に離れている場合、橋梁影８８が、水平斜め方向に帯状にかかる場合が多くなる。この場合には、画像６０中、左右で輝度平均値Ｂｍｅａｎが異なることになり、一部のレーンマークを検出することができなくなる可能性がある。そこで、この構成によれば、画像６０を、上下方向には連続し、左右方向には延びる複数のブロックｂｌｋに分割する際、さらに、各前記ブロックｂｌｋを原点位置Ｏから上方に延びる中心線６５（図７）により左右のブロックＢβａ、Ｂβｂに分割し、分割した各ブロックｂｌｋ毎に輝度平均値Ｂｍｅａｎを算出することで、検出できなかったレーンマーク７２ａ（図６、図８）等が検出できるようになる。
なお、輝度平均値Ｂｍｅａｎは、左右に延びる複数のブロックｂｌｋに対し、下方向から上方向に向かって順次算出するようにすることで、例えば、橋梁影８８が、画像６０の中程、水平方向に帯状にある場合、下側から明部ブロックｂｌｋｗ、暗部ブロックｂｌｋｂ、及び明部ブロックｂｌｋｗの順に振り分けることができ、安定したレーンマーク検出処理を行うことができる。
また、２値化閾値Ｔｈは、画像６０の下側からの明部ブロックｂｌｋｗ、暗部ブロックｂｌｋｂ、及び明部ブロックｂｌｋｗの順に、明部ブロックｂｌｋｗの２値化閾値Ｔｈｗ、明部ブロックｂｌｋｗの２値化閾値Ｔｈｗより小さい値の暗部ブロックｂｌｋｂの２値化閾値Ｔｈｂ（Ｔｈｂ＜Ｔｈｗ）、及び明部ブロックｂｌｋｗの２値化閾値Ｔｈｗの順に設定することで、明部ブロックｂｌｋｗと暗部ブロックｂｌｋｂに対する２値化閾値Ｔｈｗ、Ｔｈｂを簡易且つ適切に設定することができる。
なお、レーン検出部としてのＥＣＵ２０が、レーンマーク７０、８０を検出しているとき、このレーンマーク７０、８０を検出していることを表示する表示部２８を備える構成とすれば、表示部２８上のレーンマーク７０、８０を検出していることの表示により、乗員は、車載のレーン検出装置１０によりレーン（車線）がきちんと検出されていることを視認することができる。
ここで、ヘッドアップディスプレイとしての表示部２８（図９）にレーンマークを模したレーン状の表示９２をすることで、レーン（車線）がきちんと検出されていることを運転者が認識でき、運転を補助することができる。
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
１０…レーン検出装置 １２…車両
１４…運転支援装置 １６…カメラ
２０…ＥＣＵ ２２…速度センサ
２６…舵角センサ ２８…表示部
３０…メモリ ３２…ブロック化部
３４…輝度平均値算出部 ３６…明暗部ブロック振り分け部
４０…閾値決定部 ４２…エッジ検出部
４４…レーン推定部 ４６…表示制御部
５０…操舵装置 ５２…制動装置
５４…加速装置

Claims (9)

  1. 路面を含む車両の前方を撮像する撮像装置と、
    前記撮像装置により撮像された画像を２値化閾値により２値化処理して前記路面に形成されたレーンマークを検出するレーンマーク検出部と、を備えるレーン検出装置において、
    前記レーンマーク検出部は、
    撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、分割したブロックの輝度値に基づき、複数の前記ブロックを、相対的に輝度値が高い明部ブロックと低い暗部ブロックに振り分け、前記明部ブロックと前記暗部ブロックとで前記２値化閾値の値を変更して、撮像された前記画像を２値化処理する
    ことを特徴とするレーン検出装置。
  2. 請求項１に記載のレーン検出装置において、
    前記レーンマーク検出部は、
    撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に輝度平均値を算出し、
    各前記ブロック毎の前記輝度平均値に基づき、各前記ブロックを前記明部ブロックと前記暗部ブロックとに振り分け、
    前記暗部ブロックの２値化閾値の値を、前記明部ブロックの２値化閾値の値より小さい値として、撮像された前記画像を２値化処理する
    ことを特徴とするレーン検出装置。
  3. 請求項１又は２に記載のレーン検出装置において、
    前記レーンマーク検出部は、
    前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割する際、さらに、各前記ブロックを左右のブロックに分割し、分割したブロック毎に輝度平均値を算出する
    ことを特徴とするレーン検出装置。
  4. 請求項２又は３に記載のレーン検出装置において、
    前記輝度平均値は、左右に延びる複数のブロックに対し、下方向から上方向に向かって順次算出する
    ことを特徴とするレーン検出装置。
  5. 請求項４に記載のレーン検出装置において、
    前記２値化閾値は、
    前記画像の下側からの明部ブロック、暗部ブロック、及び明部ブロックの順に、明部ブロックの２値化閾値、明部ブロックの２値化閾値より小さい値の暗部ブロックの２値化閾値、及び明部ブロックの２値化閾値の順に設定されている
    ことを特徴とするレーン検出装置。
  6. 請求項１〜５のいずれか１項に記載のレーン検出装置と、
    前記レーンマーク検出部が、前記レーンマークを検出しているとき、このレーンマークを検出していることを表示する表示部を
    さらに備えることを特徴とするレーン表示装置。
  7. 請求項６に記載のレーン表示装置において、
    前記表示部がヘッドアップディスプレイであり、前記表示を、レーンマークを模したレーン状の表示とする
    ことを特徴とするレーン表示装置。
  8. 路面を含む車両の前方を撮像する撮像装置により撮像された画像を２値化閾値により２値化処理してレーンを検出し認識するレーン検出方法において、
    前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に輝度平均値を算出するブロック輝度算出ステップと、
    各前記ブロック毎の前記輝度平均値にもとづき、各前記ブロックを明部ブロックと暗部ブロックとに振り分ける明暗部ブロック振り分けステップと、
    前記暗部ブロックの２値化閾値の値を、前記明部ブロックの２値化閾値の値より小さい値に決定する閾値決定ステップと、
    撮像された前記画像を前記２値化閾値にて２値化処理してレーンマークを検出するレーンマーク検出ステップと、
    を備えることを特徴とするレーン検出方法。
  9. 請求項８に記載のレーン検出方法において検出したレーンマークを模したレーン状の表示を、車両のフロントウインドに表示する表示ステップを
    備えることを特徴とするレーン表示方法。
JP2015086639A 2015-04-21 2015-04-21 レーン検出装置及びその方法、並びにレーン表示装置及びその方法 Active JP6512920B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015086639A JP6512920B2 (ja) 2015-04-21 2015-04-21 レーン検出装置及びその方法、並びにレーン表示装置及びその方法
US15/133,622 US20160314359A1 (en) 2015-04-21 2016-04-20 Lane detection device and method thereof, and lane display device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015086639A JP6512920B2 (ja) 2015-04-21 2015-04-21 レーン検出装置及びその方法、並びにレーン表示装置及びその方法

Publications (2)

Publication Number Publication Date
JP2016206881A JP2016206881A (ja) 2016-12-08
JP6512920B2 true JP6512920B2 (ja) 2019-05-15

Family

ID=57146903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015086639A Active JP6512920B2 (ja) 2015-04-21 2015-04-21 レーン検出装置及びその方法、並びにレーン表示装置及びその方法

Country Status (2)

Country Link
US (1) US20160314359A1 (ja)
JP (1) JP6512920B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101782362B1 (ko) * 2015-12-14 2017-10-13 현대자동차주식회사 차량, 및 그 제어방법
JP6902899B2 (ja) * 2017-03-30 2021-07-14 株式会社日立情報通信エンジニアリング レーン線認識装置およびレーン線認識プログラム
US10633027B2 (en) * 2017-06-21 2020-04-28 Toyota Research Institute, Inc. Enhanced virtual lane marker data for conveying a vehicle operational state
KR102499398B1 (ko) 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
CN108162867A (zh) * 2017-12-21 2018-06-15 宁波吉利汽车研究开发有限公司 一种车道识别系统及车道识别方法
DE102018100292A1 (de) * 2018-01-09 2019-07-11 Connaught Electronics Ltd. Erfassung einer Fahrspurmarkierung durch ein Spurhaltewarnsystem eines Fahrzeugs
JP6971177B2 (ja) 2018-03-09 2021-11-24 フォルシアクラリオン・エレクトロニクス株式会社 区画線認識装置
CN110428660A (zh) * 2019-08-12 2019-11-08 中车株洲电力机车研究所有限公司 一种自导向车辆线路运行方向的识别及控制方法、装置、系统以及计算机可读存储介质
US11079857B2 (en) * 2019-09-03 2021-08-03 Pixart Imaging Inc. Optical detecting device
CN113386773A (zh) * 2021-07-30 2021-09-14 蔚来汽车科技(安徽)有限公司 视觉识别可靠度的判断方法及设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3196559B2 (ja) * 1995-03-31 2001-08-06 三菱自動車工業株式会社 ライン認識方法
JPH1042274A (ja) * 1996-07-25 1998-02-13 Babcock Hitachi Kk 異常監視方法および装置
JP2986439B2 (ja) * 1998-01-12 1999-12-06 松下電器産業株式会社 車両用画像処理装置
JP2005067369A (ja) * 2003-08-22 2005-03-17 Nissan Motor Co Ltd 車両用表示装置
KR100970883B1 (ko) * 2008-10-08 2010-07-20 한국과학기술원 영역 특성을 고려한 영상 보정 장치 및 그 방법
US20110301813A1 (en) * 2010-06-07 2011-12-08 Denso International America, Inc. Customizable virtual lane mark display
JP2014123301A (ja) * 2012-12-21 2014-07-03 Toyota Motor Corp 白線検出装置
KR101605514B1 (ko) * 2014-02-28 2016-04-01 주식회사 코아로직 차선 인식 장치 및 방법
KR101517181B1 (ko) * 2014-02-28 2015-05-04 주식회사 코아로직 차선 이탈 경보 시스템 및 방법

Also Published As

Publication number Publication date
JP2016206881A (ja) 2016-12-08
US20160314359A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
JP6512920B2 (ja) レーン検出装置及びその方法、並びにレーン表示装置及びその方法
JP4992990B2 (ja) 区画線検出装置
JP4697101B2 (ja) 車両検出装置、およびライト制御装置
EP3070928B1 (en) Surrounding environment recognition device
EP2958054B1 (en) Hazard detection in a scene with moving shadows
US9076046B2 (en) Lane recognition device
US9047518B2 (en) Method for the detection and tracking of lane markings
US10268902B2 (en) Outside recognition system, vehicle and camera dirtiness detection method
US7920721B2 (en) Vehicle-use image processing system, vehicle-use image processing method, vehicle-use image processing program, vehicle, and method of formulating vehicle-use image processing system
US9544546B2 (en) Cruising lane recognition in a tunnel
US20070211919A1 (en) Vehicle surroundings monitoring apparatus
US20160305785A1 (en) Road surface detection device and road surface detection system
JP4539415B2 (ja) 画像処理装置
US20090052742A1 (en) Image processing apparatus and method thereof
JP5855756B2 (ja) レーンマーク認識装置
US8520898B2 (en) Method and system for determining a region of interest in an image
JP2016133838A (ja) 複合線判定装置及び複合線判定方法
CN100369071C (zh) 车辆行驶状态判定装置
US20130266226A1 (en) Temporal coherence in clear path detection
JP6408935B2 (ja) 走行区画線認識装置
EP4060640B1 (en) Traffic signal recognition method and traffic signal recognition device
US20170124880A1 (en) Apparatus for recognizing vehicle location
JP4225242B2 (ja) 走行路認識装置
US7388967B2 (en) Vehicle running state judging apparatus
JP4847303B2 (ja) 障害物検出方法、障害物検出プログラムおよび障害物検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190409

R150 Certificate of patent or registration of utility model

Ref document number: 6512920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150