WO2007000911A1 - 車両及び車線認識装置 - Google Patents

車両及び車線認識装置 Download PDF

Info

Publication number
WO2007000911A1
WO2007000911A1 PCT/JP2006/312290 JP2006312290W WO2007000911A1 WO 2007000911 A1 WO2007000911 A1 WO 2007000911A1 JP 2006312290 W JP2006312290 W JP 2006312290W WO 2007000911 A1 WO2007000911 A1 WO 2007000911A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
lane mark
data
candidate data
defines
Prior art date
Application number
PCT/JP2006/312290
Other languages
English (en)
French (fr)
Inventor
Naoki Mori
Sachio Kobayashi
Tomoyoshi Aoki
Takuma Nakamori
Original Assignee
Honda Motor Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co., Ltd. filed Critical Honda Motor Co., Ltd.
Priority to DE602006018919T priority Critical patent/DE602006018919D1/de
Priority to CA2609335A priority patent/CA2609335C/en
Priority to US11/919,641 priority patent/US8144926B2/en
Priority to EP06766951A priority patent/EP1898357B1/en
Publication of WO2007000911A1 publication Critical patent/WO2007000911A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping

Definitions

  • Vehicle and lane recognition device
  • the present invention relates to a vehicle and a lane recognition device that process a road image acquired via imaging means such as a camera and recognize a road lane mark.
  • an imaging means such as a CCD camera is mounted on a vehicle, the road surface of the road on which the vehicle is traveling is imaged, and the obtained image is processed to provide a lane for lane classification provided on the road.
  • Lane mark recognition devices that detect marks are known.
  • a linear lane mark such as a running division line (white line) and a discrete scatter mark such as Botts Dots (No nretroreflective Raised Pavement Marker) are used.
  • Botts Dots No nretroreflective Raised Pavement Marker
  • the travel path recognition device of Patent Document 1 includes a line detection processing unit that performs detection based on a line component of a captured image, and pattern matching that performs detection based on a pattern corresponding to the shape of a lane mark such as a metal rod. And a processing unit, and detects the travel path based on the detection result by the straight line detection processing unit or the pattern matching processing unit designated as the application detecting means.
  • the travel path recognition device is configured such that when one of the straight line detection processing unit or the pattern matching processing unit is designated as the application detection unit and the lane mark cannot be accurately detected, the other is detected. Is designated as the application detection means and switched.
  • lane marks may have different shapes, such as white lines and yellow lines, even though they have the same shape. If the colors are different in this way, even if the shapes are the same, it may be difficult to detect the lane mark with the same recognition algorithm. For example, since the yellow line has a smaller luminance difference from the road surface portion where the luminance is lower than the white line, the algorithm that detects the white line using the luminance may not recognize the yellow line as a lane mark.
  • Lanema Since the mark may have different meanings in terms of road regulations depending on its color, it is desirable to recognize each lane mark appropriately. However, in Patent Document 1, since the color of the lane mark is not considered when the lane mark is recognized, the lane mark of each color cannot be properly recognized. was there.
  • the present invention eliminates the inconvenient problem, and even when there are multiple types of lane marks on the road, the lanes of the respective colors are obtained from the color image of the road acquired through the imaging means such as a camera. It is an object of the present invention to provide a vehicle and a lane recognition device that can appropriately recognize a mark.
  • the vehicle of the present invention includes an imaging unit, an image acquisition unit that acquires a color image of a road via the imaging unit, and the road based on color information of the color image.
  • Lane mark detection means for detecting a plurality of different lane marks of a predetermined color and outputting the result of the process as lane mark candidate data; and at least each of the lane mark detection means output from the lane mark detection means
  • the lane mark candidate data corresponding to the lane mark that defines the actual lane is selected from the lane mark candidate data of a predetermined color, and the actual lane is selected based on the selected lane mark candidate data.
  • sorting means for determining and outputting lane data indicating the above information.
  • the lane recognition device of the present invention is based on image acquisition means for acquiring a color image of a road via an imaging means mounted on the vehicle, and based on the color information of the color image.
  • a lane mark detection unit that executes a process of detecting a plurality of lane marks of a predetermined color different from each other and outputs a result of the process as a plurality of lane mark candidate data, and at least each output from the lane mark detection unit Lane candidate data corresponding to a lane mark that defines an actual lane in which the vehicle is traveling is selected from lane mark candidate data of a predetermined color, and based on the selected lane mark candidate data, the actual lane And sorting means for determining and outputting lane data indicating information (first invention).
  • the lane mark detection means includes Each of them executes a process of detecting a plurality of different lane marks of a predetermined color on the road based on the color information of the color image, and outputs the result of the process as lane mark candidate data.
  • a plurality of types of colors such as white lines and yellow lines may be used for the lane mark.
  • the lane mark detection means detects the lane mark based on the color information of the color image according to each color, so that the process of detecting the lane mark of each color with high accuracy is executed.
  • the candidate lane mark data output as a result of detection includes data corresponding to the lane mark that defines the actual lane in which the vehicle is traveling. For example, if the lane mark is a yellow line, the lane mark candidate data output as a result of the process of detecting the yellow lane mark is the data corresponding to the lane mark that defines the actual lane. Therefore, the selecting means selects the lane mark candidate data corresponding to the lane mark that defines the actual lane in which the vehicle is traveling from the lane mark candidate data of each predetermined color that is output, and the selected lane mark By determining the lane data indicating the actual lane information based on the mark candidate data, the lane data of the lane in which the vehicle is traveling can be appropriately determined.
  • the vehicle and the lane recognition device of the first invention can accurately recognize the lane marks of each color even when a plurality of types of lane marks exist on the road, and the vehicle travels. It is possible to properly recognize the lane in which it is located.
  • the lane mark provided on the road includes, for example, a linear lane mark such as a travel line (white line), and a saddle type lane mark provided discretely such as Botts Dots and Cat's Eye. It is possible.
  • the vehicle and the lane recognition device detect the saddle-shaped lane mark on the road on which the vehicle travels from the color image based on the pattern of the saddle-shaped lane mark shape.
  • a roadway detection means for outputting the result of the processing as lane mark candidate data, and the selecting means includes lane mark candidate data for each predetermined color output from the lane mark detection means, and the road The output from the boat detection means It is preferable to select candidate lane mark data corresponding to the lane mark that defines the actual lane from which the vehicle travels (second invention).
  • the road boat detecting means is configured to select a boat type lane mark on the road on which the vehicle travels from the color image based on a pattern of the shape of the boat type lane mark. ! / Is executed, and the result of the process is output as lane mark candidate data. Therefore, a process for accurately detecting a boat-shaped lane mark having a characteristic shape is executed. At this time, when the boat-shaped lane mark has a characteristic color, the road boat detecting means may further detect the lane mark using the color information. .
  • the lane mark candidate data power output as a result of the detection is added to the lane mark candidate data of each predetermined color output from the lane mark detection means. Then, the selecting means selects, from these lane mark candidate data, lane mark candidate data corresponding to the lane mark that defines the actual lane in which the vehicle is traveling.
  • the vehicle and the lane recognition device of the second invention can accurately detect each lane mark even when a boat-shaped lane mark having a characteristic shape exists on the road in addition to the lane mark of a plurality of colors. It is possible to recognize well and properly recognize the lane in which the vehicle is traveling.
  • each of the lane mark candidate data includes lane mark position data indicating the position of the lane mark, color information of the lane mark
  • the lane data output by the sorting means includes the actual lane shape information, the lane mark color information that defines the actual lane, and the actual lane.
  • the sorting means determines shape information in the lane data based on the lane mark position data in the sorted lane mark candidate data, and determines the sorting information. Based on the color information in the selected lane mark candidate data, the color information in the lane data is determined, and on the basis of the type information in the selected lane mark candidate data. It is preferable to determine the type information of the lane data.
  • U (Third invention).
  • each of the lane mark candidate data is the lane mark respectively.
  • Lane mark position data indicating the mark position, color information of the lane mark, and type information of the lane mark are included.
  • the lane data output by the sorting means includes the actual lane shape information, the lane mark color information that defines the actual lane, and the lane mark type information that defines the actual lane. Have.
  • the vehicle and lane recognition device of the third invention when there are a plurality of types of lane marks on the road, together with the shape information of the recognized lane, the color information and type information of the lane mark that defines the lane These information can be used when controlling the vehicle and informing the driver.
  • the meaning of the lane mark in road regulations may differ depending on the color of the lane mark that defines the lane. For example, in Japan, the white road center line and the yellow road center line have different road regulations. Therefore, the vehicle and the lane recognition device of the third invention perform a process of determining the meaning of the lane mark that defines the lane based on the color information and the type information in the lane data output by the sorting means. It is preferable to include a meaning determining means that executes and outputs the result of the processing together with the lane data.
  • the meaning determining means determines the meaning of the lane mark that defines the lane based on the color information and the type information in the lane data output from the sorting means. Since the process of judging is executed, the meaning of the lane mark in the road regulations can be judged appropriately. Then, the meaning judging means outputs the result of the processing together with the lane data, so that the vehicle and the lane recognition device of the fourth invention can control the vehicle according to the meaning of the lane mark and notify the driver. It can be performed.
  • the lane mark position data of the lane mark candidate data is composed of coordinate data of a point sequence indicating a path of the lane mark.
  • the sorting means obtains a second-order or higher order polynomial that approximates the point sequence based on the coordinate data of the point sequence for each lane mark candidate data, and uses the polynomial based on the polynomial.
  • a determination coefficient which is a coefficient indicating the degree of approximation of the point sequence, is calculated, and the lane mark candidate data having the highest determination coefficient is defined as the lane mark candidate data corresponding to the lane mark that defines the actual lane.
  • the selecting means has a predetermined order of a second order or higher that approximates the point sequence based on the coordinate data of the point sequence for each lane mark candidate data. Find the polynomial. At this time, since the shape of the lane is generally smooth, the point sequence indicating the position of the lane mark that defines the lane is considered to be appropriately approximated by the polynomial. Therefore, the selecting means calculates a determination coefficient that is a coefficient indicating the degree of approximation of the point sequence by the polynomial, and uses the lane mark candidate data having the highest determination coefficient as a lane mark that defines the actual lane. By selecting the corresponding lane mark candidate data, the lane mark candidate data corresponding to the lane mark defining the actual lane can be appropriately selected.
  • the selecting means determines the shape information in the lane data based on the polynomial that approximates the point sequence of the selected lane mark candidate data.
  • the selecting means determines the shape information in the lane data based on the polynomial that approximates the point sequence of the selected lane mark candidate data.
  • the shape information of the lane in which the vehicle is traveling can be accurately determined.
  • the lane in which the vehicle is traveling is generally composed of a left side line that defines the left side of the lane and a right side line that defines the right side. Defined by the lane mark.
  • each of the lane mark candidate data includes left lane mark candidate data that is lane mark candidate data that defines the left side of the lane, and It also serves as right lane mark candidate data, which is lane mark candidate data that defines the right side of the lane.
  • the left lane mark candidate data is a lane mark indicating the position of the lane mark that defines the left side of the lane. It has position data, color information of the lane mark, and type information of the lane mark.
  • the right lane mark candidate data includes lane mark position data indicating the position of the lane mark that defines the right side of the lane, color information of the lane mark, and type information of the lane mark.
  • the lane data output by the sorting means includes left shape information that is shape information of a left line that defines the left side of the actual lane, and left color information that is color information of a lane mark that defines the left side line.
  • the selecting means selects left lane mark candidate data corresponding to a lane mark defining the left side of the actual lane from the left lane mark candidate data.
  • the selecting means selects right lane mark candidate data corresponding to the lane mark defining the right side of the actual lane from the right lane mark candidate data.
  • the selecting means determines left shape information in the lane data based on lane mark position data in the selected left lane mark candidate data, and selects the selected left lane mark candidate data.
  • the left color information of the lane data is determined based on the color information
  • the left type information of the lane data is determined based on the type information of the selected left lane mark candidate data. To do.
  • the selecting means determines right shape information in the lane data based on lane mark position data in the selected right lane mark candidate data, and selects the selected right lane mark candidate data.
  • the right color information of the lane data is determined based on the color information of the right lane data
  • the right type information of the lane data is determined based on the type information of the selected right lane mark candidate data.
  • the lane data output by the sorting means includes left shape information that is shape information of the left line and left color that is color information of a lane mark that defines the left line.
  • Information and left type information which is type information of a lane mark that defines the left line.
  • the lane data output by the sorting means is a right information that is shape information of the right line. It includes shape information, right color information that is color information of the lane mark that defines the right line, and right type information that is type information of the lane mark that defines the right line.
  • the vehicle and lane recognition device of the invention has a plurality of types of lane marks on the road, the color information of the lane marks that define the left and right lines together with the shape information of the recognized left and right lines. And type information can be acquired, respectively, and this information can be used when controlling the vehicle or notifying the driver.
  • the vehicle and the lane recognition device include Based on the left color information, the right color information, the left type information, and the right type information in the output lane data, a process for determining the meaning of the lane mark that defines the left line and the right line is performed. It is preferable to include means for executing meaning and outputting the result of the processing together with the lane data (eighth invention).
  • the meaning determining means is based on left color information, right color information, left type information, and right type information in the lane data output by the selecting means. Since the process of determining the meaning of the lane mark that defines the left side line and the right side line is executed, it is possible to appropriately determine the meaning of the lane mark in terms of road regulations. Then, the meaning determining means outputs the result of the processing together with the lane data, so that the vehicle and the lane recognition device according to the eighth aspect of the invention control the vehicle according to the meaning of the lane mark and notify the driver. You can do it.
  • the lane mark position data of the left lane mark candidate data each represents a lane mark path that defines the left side of the lane.
  • the coordinate data force of the left point sequence which is the sequence of points shown is also obtained.
  • the lane mark position data among the right lane mark candidate data is composed of coordinate data of a right point sequence which is a point sequence indicating the path of the lane mark that defines the right side of the lane.
  • the selecting unit obtains a polynomial of a predetermined order of a second order or higher that approximates the left point sequence based on the coordinate data of the left point sequence for each left lane mark candidate data. And a coefficient indicating the degree of approximation of the left point sequence by the polynomial.
  • the left lane mark candidate data having the highest determination coefficient is selected as left lane mark candidate data corresponding to the lane mark that defines the left side of the actual lane, and each right lane mark candidate data is calculated.
  • a second order or higher order polynomial that approximates the right point sequence is obtained based on the coordinate data of the right point sequence.
  • a determination coefficient that is a coefficient indicating the degree of approximation of the right point sequence by the polynomial is calculated, and the determination coefficient is the highest, and the right lane mark candidate data is used as a lane mark that defines the right side of the actual lane. It is preferable to select it as the corresponding right lane mark candidate data.
  • the selecting means is a second or higher order approximation of the left point sequence based on the coordinate data of the left point sequence for each left lane mark candidate data.
  • a polynomial of a predetermined degree is obtained, and a polynomial of a predetermined degree or higher that approximates the right point sequence is obtained for each right lane mark candidate data based on the coordinate data of the right point sequence.
  • the selecting means calculates a determination coefficient that is a coefficient indicating the degree of approximation of the left dot sequence by the polynomial, and the left lane mark candidate data having the highest determination coefficient is used as the lane mark that defines the left line. Is selected as the left lane mark candidate data corresponding to.
  • the selecting means calculates a determination coefficient that is a coefficient indicating the degree of approximation of the right point sequence by the polynomial, and selects the right lane mark candidate data having the highest determination coefficient as the lane mark that defines the right line. Is selected as the right lane mark candidate data corresponding to.
  • the selecting means can appropriately select the left lane mark candidate data corresponding to the lane mark defining the left line and the right lane mark candidate data corresponding to the lane mark defining the right line. it can
  • the selecting means uses the left shape information in the lane data based on a polynomial that approximates the left point sequence of the selected left lane mark candidate data.
  • the right shape information in the lane data is determined based on a polynomial that approximates the right point sequence of the selected right lane mark candidate data (the tenth invention).
  • the left shape information is determined based on a polynomial that approximates the left point sequence of the selected left lane mark candidate data
  • the right shape information Is determined based on a polynomial that approximates the right point sequence of the selected right lane mark candidate data. Therefore, a polynomial that approximates the left point sequence and the right point sequence calculated when selecting the lane mark candidate is determined. By utilizing this, it is possible to accurately determine the shape information of the lane where the vehicle is traveling.
  • FIG. 1 is a functional block diagram of a lane recognition device according to this embodiment.
  • FIG. 2 is a flowchart showing a lane recognition process of the lane recognition device of FIG.
  • FIG. 3 is a flowchart showing white line detection processing in the lane recognition processing of the lane recognition device of FIG.
  • FIG. 4 is a flowchart showing a yellow line detection process in the lane recognition process of the lane recognition device of FIG.
  • FIG. 5 is a flow chart showing a roadside detection process in the lane recognition process of the lane recognition device of FIG.
  • FIG. 6 is a view showing an example of a processed image in the lane recognition process of the lane recognition device of FIG.
  • FIG. 1 is a functional block diagram of the lane recognition device according to this embodiment.
  • 2 to 5 are flowcharts of the lane recognition processing in the lane recognition device of FIG.
  • FIGS. 6 (a) and 6 (b) are illustrations of processing images in the lane recognition process of the lane recognition device of FIG.
  • a lane recognition device 1 is an electronic device composed of a microcomputer or the like.
  • the image acquisition means 2 for acquiring road images, the acquired image power, the white line detection means 3 for detecting white lines among the lane marks on the road, and the acquired image power on the road
  • the yellow line detection means 4 for detecting the yellow line in the lane mark, the acquired image power, the road boat detection means 5 for detecting the road anchor among the lane marks on the road, and each of the detection means 3, 4 and 5
  • sorting means 6 that sorts the lane marks that define the actual lane in which the vehicle is traveling from the detection result, and semantic judgment means 7 that judges the meaning of the sorted lane marks.
  • the lane mark provided on the road is one of a white line, a yellow line, and a road fence.
  • the types of lane marks are classified into linear type (white line, yellow line) and vertical type (road fence).
  • the image acquisition means 2 is attached to the front portion of the vehicle 8 and from a video signal output from a color video camera 9 (a CCD camera or the like, the imaging means of the present invention) that images the road ahead of the vehicle 8, A color image 10 composed of pixel data is acquired. At this time, the color component of the pixel data consists of R, G, and B values.
  • the vehicle of the present invention is configured by including the color video camera 9 and the lane recognition device 1.
  • the white line detection means 3 executes a process of detecting a white line from the color image 10 of the road acquired by the image acquisition means 2, and outputs the detection result as white line candidate data.
  • the white line candidate data includes detected white line position data, color information, and type information.
  • the color information of the white line candidate data is always “white”, and the type information is always “line”.
  • the yellow line detection means 4 performs a process of detecting a yellow line from the road color image 10 acquired by the image acquisition means 2, and outputs the detection result as yellow line candidate data.
  • the yellow line candidate data includes the detected yellow line position data, color information, and type information.
  • the color information of the yellow line candidate data is always “yellow”, and the type information is always “line”.
  • the road boat detection means 5 executes a process of detecting a road rod (corresponding to the boat-shaped lane mark of the present invention) from the color image 10 of the road acquired by the image acquisition means 2, The result is output as road tack candidate data.
  • the roadway candidate data includes roadway position data, color information, and type information. Note that the type information of the road dredge candidate data is always “ ⁇ ”.
  • the selection means 6 includes the white line candidate data output from the white line detection means 3 and the yellow line detection means 4 The candidate for the lane mark corresponding to the lane mark that defines the actual lane from which the vehicle 8 travels based on the candidate yellow line data output from the road and the road candidate data output from the road anchor detection means 5 Select data. Then, the sorting means 6 determines and outputs the lane data of the actual lane in which the vehicle 8 is traveling based on the sorted lane mark candidate data.
  • the lane data includes shape information of an actual lane in which the vehicle 8 is traveling, lane mark color information that defines the lane, and lane mark type information that defines the lane.
  • the meaning judging means 7 uses the color information and the type information in the lane data output from the sorting means 6, and the meaning of the lane mark that defines the actual lane in which the vehicle 8 travels. Judge (meaning in the road regulations). Then, the meaning judging means 7 outputs the judgment result together with the lane data.
  • the white line detection means 3 and the yellow line detection means 4 correspond to the lane mark detection means of the present invention.
  • FIGS. Fig. 2 is a flowchart showing the overall operation of the lane recognition processing (main routine processing of the lane recognition device 1)
  • Fig. 3 is a flowchart showing processing for detecting white lines (subroutine processing)
  • Fig. 4 is for detecting yellow lines.
  • FIG. 5 is a flowchart showing processing (subroutine processing) for detecting a roadway.
  • FIG. 5 is a flowchart showing processing (subroutine processing). In the following, as illustrated in Fig.
  • the left side of the actual lane in which the vehicle 8 is traveling is defined by the white line AO, and the right side of the lane is defined by the yellow line A1.
  • the left side of the actual lane in which the vehicle 8 is traveling is defined by road A2
  • the right side of the lane is defined by road A3.
  • image acquisition means 2 acquires a road color image 10 from a video signal output from color video camera 7 (STEP001).
  • the color image 10 is an image composed of m X n pixels.
  • Each pixel PO of the color image 10 has R value, G value, and B value data as color components.
  • the R value, G value, and B value of each pixel PO (i, j) are represented by R, G, and B, respectively.
  • i and j are the addresses of each pixel, and 0 ⁇ i ⁇ An integer such that m, 0 ⁇ j ⁇ n.
  • the white line detection means 3 executes processing for detecting a white line from the acquired color image 10 (STEP002).
  • the process of detecting the white line is executed as shown in FIG.
  • the white line detection means 3 generates a monochrome image II from the color image 10 (STEP 101).
  • the white line detection means 3 uses the R value, G value, B value (R, G, B) of each pixel PO (i, j) of the color image 10.
  • the luminance value ⁇ calculated by Y a X R + j8 X G + ⁇ X B is used as the ij ⁇ ⁇ ⁇ ⁇ of each pixel PI (i, j)
  • a black and white image II having m ⁇ n pixel powers is generated.
  • the white line detection means 3 extracts edge points from the monochrome image II (STEP 102).
  • the data from which the edge points have been extracted is subjected to OFF transformation (STEP 103).
  • the white line detection means 3 searches for and extracts a straight line component from the Hough transformed data (STEP 104).
  • the extracted straight line component includes a plurality of straight line components constituting a white line (indicating a part of the white line).
  • the white line detection means 3 determines and outputs white line candidate data from the extracted straight line component.
  • the output white line candidate data includes left white line candidate data D ⁇ 1 that is candidate data of the lane mark that defines the left side of the lane, and right white line candidate data D_R1 that is candidate data of the lane mark that defines the right side of the lane.
  • the left white line candidate data D ⁇ 1 is the coordinate data P ⁇ 1 of the point sequence indicated by a plurality of points included in the white line that is the candidate of the lane mark that defines the left side of the lane, the color information of the white line, and the type of the white line Information.
  • right white line candidate data D_R1 is coordinate data P_R1 of a point sequence indicated by a plurality of points included in a white line that is a lane mark candidate that defines the right side of the lane, white line color information, and white line type information. And have.
  • the coordinate data P ⁇ 1 of the point sequence of the left white line candidate data D ⁇ 1 is a plurality of white lines constituting the white line
  • This is a set of coordinate data P ⁇ 1 [L1] of a point sequence indicated by multiple points included in (N ⁇ 1) linear components for all the linear components (inside [] L1 is an integer of L 1 1 to N L1 ).
  • the coordinate data P_R1 of the right white line candidate data D_R1 is the coordinate data- ⁇ P_R1 [R1] of the point sequence indicated by the multiple points included in the multiple (N_R1) straight line components that make up the white line.
  • Left white line candidate data D ⁇ 1 is determined as follows. First, the white line detection means 3 selects a straight line component included in the candidate lane mark that defines the left side of the lane from the extracted straight line component. At this time, the number of linear components selected is N ⁇ 1. Then, the white line detection means 3 uses the coordinate data ⁇ (XI, Yl), (X2.Y2), ⁇ , ( ⁇ , ⁇ ) of a plurality (n) points included in each selected linear component ⁇ Is set as the coordinate data ⁇ ⁇ 1 [L1] of the point sequence of the left white line candidate data D ⁇ 1, respectively. Further, the white line detection means 3 sets “white” as the color information of the left white line candidate data D ⁇ 1 and sets “line” as the type information.
  • the white line detection means 3 determines right white line candidate data D_Rl in the same manner as the left white line candidate data D ⁇ 1.
  • the white line detection means 3 selects a straight line component included in a lane mark candidate that defines the right side of the lane from the extracted straight line component.
  • N_R1 linear components are selected.
  • the white line detecting means 3 uses the coordinate data ⁇ ( ⁇ , ⁇ ), ( ⁇ 2, ⁇ 2), ⁇ , ( ⁇ , ⁇ ) of a plurality (n) points included in each selected linear component ⁇ Is set as the coordinate data P_R1 [R1] of the point sequence of the right white line candidate data D_R1.
  • Sarakuko white line detection means 3 sets “white” in the color information of right white line candidate data D_R1 and “line” in the type information.
  • a white line is accurately detected from the color image 10 and is output as white line candidate data.
  • the white line A 0 data becomes the left white line candidate data D ⁇ ⁇ ⁇ 1.
  • the yellow line detecting means 4 executes a process of detecting a yellow line from the acquired color image 10 (STEP003).
  • the process of detecting the yellow line is executed as shown in FIG.
  • the yellow line detection means 4 generates an image 12 obtained by extracting a yellow component from the color image 10 (STEP 201).
  • An image 12 having mX n pixel forces is generated with the quantity KY as the data of each pixel P2 (i, j).
  • the difference R ⁇ B between the R value and the B value is a value that markedly shows the characteristics of the yellow component. Therefore, since the feature quantity KY is a feature quantity corresponding to yellow (yellow component), the image 12 is generated by appropriately extracting the yellow component.
  • the yellow line detection means 4 extracts edge points from the image 12 (STEP 202).
  • the yellow line detection means 4 performs a knee transform on the image data from which the edge points have been extracted (STEP 203).
  • the yellow line detecting means 4 searches for and extracts the Hough-transformed data force straight line component (STEP 204). At this time, the extracted straight line component includes a plurality of straight line components constituting the yellow line (showing a part of the yellow line)!
  • the yellow line detection means 4 determines and outputs yellow line candidate data from the extracted linear component.
  • the output yellow line candidate data is the left yellow line candidate data D ⁇ 2 which is the candidate data of the lane mark that defines the left side of the lane, and the right yellow line candidate data that is the candidate data of the lane mark that defines the left side of the lane D R2 .
  • Left yellow line candidate data is the left yellow line candidate data D ⁇ 2 which is the candidate data of the lane mark that defines the left side of the lane, and the right yellow line candidate data that is the candidate data of the lane mark that defines the left side of the lane D R2 .
  • D ⁇ 2 is the coordinate data P ⁇ 2 of the point sequence indicated by a plurality of points included in the yellow line that is a candidate for the lane mark that defines the left side of the lane, the color information of the yellow line, and the type information of the yellow line And have.
  • right yellow line candidate data D_R2 includes coordinate data P_R2 of a point sequence indicated by a plurality of points included in a yellow line that is a lane mark candidate that defines the right side of the lane, yellow line color information, and yellow Line type information.
  • the coordinate data P ⁇ 2 of the point sequence of the left yellow line candidate data D ⁇ 2 includes a plurality of pieces constituting the yellow line.
  • a set of coordinate data P ⁇ 2 [L2] of point sequences indicated by multiple points included in (N ⁇ 2) linear components for all of the multiple linear components (however, within [] L2 is an integer of L 2 l to N 2).
  • the coordinate data P_R2 of the point sequence of the right yellow line candidate data D_R2 is the coordinate data P_R2 [R2] of the sequence of points indicated by the multiple points included in the multiple (N_R2) linear components that make up the yellow line
  • Left yellow line candidate data D ⁇ 2 is determined as follows. First, the yellow line detection means 4 selects a straight line component included in the candidate lane mark that defines the left side of the lane from the extracted straight line component. At this time, the number of linear components selected is N ⁇ 2. Then, the yellow line detection means 4 uses the coordinate data ⁇ (XI, YD, (X2.Y2), ⁇ , ( ⁇ , ⁇ ) of a plurality of (n) points included in each selected linear component ⁇ Is set as the coordinate data ⁇ 1 [L1] of the point sequence of the left yellow line candidate data D ⁇ 2.
  • the yellow line detection means 4 uses the left yellow line candidate data D ⁇ 2 “Yellow” is set in the color information and “Line” is set in the type information. [0058] Next, the yellow line detection means 4 determines the right yellow line candidate data D_R2 in the same manner as the left yellow line candidate data D ⁇ 2. First, the yellow line detection means 4 selects a straight line component included in a lane mark candidate that defines the right side of the lane from the extracted straight line component. At this time, N_R2 line components are selected.
  • the yellow line detection means 4 uses the coordinate data ⁇ ( ⁇ , ⁇ ), ( ⁇ 2, ⁇ 2), ⁇ , ( ⁇ , ⁇ ) of a plurality (n) points included in each selected linear component ⁇ Are set as the coordinate data P_R2 [R2] of the point sequence of the right yellow line candidate data D_R2. Further, the yellow line detection means 4 sets “yellow” in the color information of each right yellow line candidate data D_R2 [R2], and sets “line” in the type information.
  • a yellow line is accurately detected from the color image 10 and is output as yellow line candidate data.
  • the yellow line A 1 data becomes the right yellow line candidate data D_R2.
  • the road tack detecting means 5 executes a process for detecting the road tack from the acquired color image 10 (STEP 004).
  • the process for detecting road dredging is performed as shown in Fig. 5.
  • the road boat detection means 5 generates a black and white image 13 from the color image 10 (STEP 301).
  • the road ridge detection means 5 performs the R value, G value, B value (R 1, G 2, R 4) of each pixel PO (i, j) of the color image 10. From B)
  • Y a XR + j8 X G + ⁇ X B
  • the luminance value ⁇ calculated by XB is used as data for each pixel P3 (i, j), and a black and white image 13 having mX n pixel forces is generated.
  • the roadside detection means 5 calculates a correlation value with a roadway pattern (reference shape for pattern matching) stored in advance at each point in the black and white image 13 (STEP 302). That is, the road boat detection means 5 calculates the correlation value between the pattern in the predetermined area centered on each point and the road boat pattern.
  • the road boat detection means 5 extracts a point having a high correlation value as a road anchor candidate point (STEP 303). At this time, the extracted road fence candidate point indicates the center point of the road fence.
  • a detailed method of pattern matching a general method as described in Patent Document 1 described above can be used.
  • the roadside detection means 5 uses the R value, G value, and B value (R) of the pixel PO (i, j) of the color image 10 corresponding to the extracted pixel P3 (i, j) of the roadside candidate point. , G, B), the color information of the extracted road anchor candidate points is specified (STEP 304).
  • the road boat detection means 5 determines and outputs road boat candidate data.
  • the road boat candidate data that is output includes left road boat candidate data D ⁇ 3, which is the lane mark candidate data that defines the left side of the lane, and the right road, which is the lane mark candidate data that defines the left side of the lane. It has candidate data D_R3.
  • the left road candidate data D ⁇ 3 is the coordinate data P ⁇ 3 of the road boat candidate point indicating the multiple road anchors that are candidates for the lane mark that defines the left side of the lane, the color information of the road anchor, the road anchor Type information.
  • the right road boat candidate data D_R3 is the coordinate data P-R3 of points indicating multiple road fences that are candidates for the lane mark that defines the right side of the lane, the color information of the road fence, and the type of road fence. Information.
  • a road fence in the United States is assumed. In this case, the color of the road fence when viewed from the vehicle is classified into one of “red”, “yellow”, and “others”.
  • Left road boat candidate data D ⁇ 3 is determined as follows. First, the road boat detection means 5 selects a plurality (n) of road boat candidate points that are candidates for the lane mark that defines the left side of the lane from the extracted road boat candidate points. Then, the road 5 detection means 5 uses the selected n road boat candidate point coordinate data ⁇ ( ⁇ , ⁇ ), ( ⁇ 2, ⁇ 2), ⁇ , ( ⁇ , ⁇ ) ⁇ Candidate data Set as coordinate data ⁇ 3 of the point sequence of D ⁇ 3.
  • the road boat detection means 5 classifies the colors into “yellow”, “red” and “others” according to the color information of the selected ⁇ road anchor candidate points, and obtains “yellow” and “ Either “red” or “other” is set in the color information of each left road boat candidate data D ⁇ 3. Further, “ ⁇ ” is set in the type information.
  • the road ridge detection means 5 determines right road ridge candidate data D_R3 in the same manner as the left road ridge candidate data D-3.
  • the road anchor detection means 5 selects a plurality (n) of road boat candidate points that are candidates for the lane mark that defines the right side of the lane from the extracted road anchor candidate points.
  • the road ⁇ detection means 5 uses the coordinate data ⁇ (XI, YD, (X2.Y2),..., ( ⁇ , ⁇ ) ⁇ of the selected n road ⁇ candidate points as the right road ⁇ candidate data.
  • the road fence is detected from the color image 10 with high accuracy. And output as road dredge candidate data.
  • the data of road boat A2 is left road boat candidate data D ⁇ 3
  • the data of road boat A3 is right road boat candidate data D_R3.
  • the sorting unit 6 outputs the white line candidate data output from the white line detection unit 3, the yellow line candidate data output from the yellow line detection unit 4, and the roadway detection unit 5.
  • the lane mark candidate data corresponding to the lane mark data defining the actual lane is selected from the road boat candidate data, and the lane data of the actual lane in which the vehicle 8 is traveling is selected. Determine and output (STEP005).
  • the output lane data includes left shape information indicating the shape of the left line defining the left side of the actual lane in which the vehicle 8 is traveling, left color information indicating the color of the lane mark defining the left line, and Left type information indicating the type of lane mark that defines the left line, right shape information indicating the shape of the right line that defines the right side of the actual lane on which the vehicle 8 travels, and the right line It has right color information indicating the color of the lane mark, and right type information indicating the type of the lane mark that defines the right line.
  • the sorting means 6 performs coordinate data P ⁇ 1, for each point sequence for the left white line candidate data D ⁇ 1, the left yellow line candidate data D ⁇ 2, and the left road candidate data D ⁇ 3. Use P ⁇ 2 and P ⁇ 3 to find a quadratic equation that approximates the sequence. At this time, the least square method is used as an approximation method. Next, the selecting means 6 obtains a determination coefficient that is a coefficient indicating the degree of approximation between the coordinate data of each point sequence and the obtained quadratic expression. Next, the sorting means 6 selects the candidate with the highest determination coefficient value from the left white line candidate data D ⁇ 1, left yellow line candidate data D ⁇ 2, and left road candidate data D ⁇ 3.
  • the data is selected as left white line candidate data D ⁇ ⁇ ⁇ 1 (data indicating white line AO) 1S lane mark candidate data D ⁇ 4.
  • the left road candidate data D ⁇ 3 (data indicating the road A2) is selected as the lane mark candidate data D ⁇ 4.
  • the lane mark candidate data D-4 is appropriately selected.
  • the selecting means 6 uses the coordinate data P_R1, P_R2, P_R3 of each point sequence for the right white line candidate data D_R1, the right yellow line candidate data D_R2, and the right roadside candidate data D_R3. To obtain a quadratic equation that approximates the sequence. At this time, the least square method is used as an approximation method. Next, the sorting means 6 obtains each determination coefficient from the coordinate data of each point sequence and the obtained quadratic expression. Next, the sorting means 6 selects the candidate with the highest determination coefficient value from among the right white line candidate data D_R1, the right yellow line candidate data D_R2, and the right roadside candidate data D_R3, and the lane mark that defines the actual right line.
  • right yellow line candidate data D_R 2 (data indicating yellow line A1) is selected as power lane mark candidate data D_R4.
  • right road dredge candidate data D_R3 (data indicating road dredge A3) is selected as 1S lane mark candidate data D_R4.
  • the lane mark candidate data D_R4 is appropriately selected.
  • the sorting means 6 determines and outputs lane data from the sorted lane mark candidate data D ⁇ 4, D_R4.
  • the sorting means 6 sets a quadratic expression that approximates the point sequence of the lane mark candidate data D ⁇ 4 to the left shape information, and at the same time sets a quadratic expression that approximates the point sequence of the lane mark candidate data D_R4 to the right Set to shape information.
  • the selecting means 6 sets the color information of the lane mark candidate data D ⁇ 4 to the left color information, and sets the type information of the lane mark candidate data D ⁇ 4 to the left type information. Further, the selection means 6 sets the color information of the lane mark candidate data D_R4 to the right color information, and sets the type information of the lane mark candidate data D_R4 to the right type information. Then, the sorting means 6 outputs the determined lane data. As a result, the color information and type information of the lane mark that defines the left and right lines are acquired together with the shape information of the left and right lines, and are output as lane data.
  • the semantic judgment means 7 uses the left color information, right color information, left type information, and right type information of the lane data output from the selection means 6, and the actual vehicle 8 is traveling. Processing to determine the meaning of the lane mark that defines the lane is executed, and the processing result is output as additional information together with the lane data (STEP006).
  • the additional information that is output includes the left additional information that is the result of determining the meaning of the lane mark that defines the left line, and the lane that defines the right line. Right additional information that is the result of determining the meaning of the mark.
  • the meaning judging means 7 judges the meaning of the lane mark based on judgment data stored in advance, and sets the judgment result as left additional information and right additional information.
  • the judgment data is determined according to the combination of left color information, right color information, left type information, and right type information.
  • the right type information is “Line” or “ ⁇ ” and the right color information power S “Yellow”, it is determined that the right line is not allowed to step over and the right additional information is set to “No Step Over”. To do. If the left color information is “white” or “other” and the right color information is “white” or “other”, nothing should be set in the left additional information and right additional information.
  • the meaning determining means 6 is provided. However, the meaning determining means 6 is not provided, and the lane data output from the sorting means 6 is directly used for the control and operation of the vehicle 8. Use it to inform people. Further, in the present embodiment, the road boat detection means 5 is provided, but the road boat detection means 5 is not provided, and the selection means 6 includes the white line detection means 3 and the yellow line detection means 4. Among the output lane mark candidate data, the power lane mark data may be selected.
  • the road boats A3 and A4 are detected by the road boat detection means 5 based on the shape pattern.
  • the road boats A3 and A4 have a characteristic color.
  • the color information corresponding to the characteristic color is used, or only the color information corresponding to the characteristic color is used. , A4 may be detected.
  • the lane mark detection means 3 and 4 detect white and yellow lane marks.
  • the lane mark detection means 3 and 4 correspond to the other colors.
  • Lane mark detecting means for detecting a lane mark based on the color information may be provided.
  • the present invention can process the color image of the road ahead of the vehicle and appropriately recognize the lane mark of each color. Useful for control.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　車両８に搭載された撮像手段９を介して道路のカラー画像を取得する画像取得手段２と、前記カラー画像の色情報に基づいて前記道路上の互いに異なる複数の所定色のレーンマークを検出する処理を実行し、該処理の結果をレーンマーク候補データとして出力するレーンマーク検出手段３，４と、少なくともレーンマーク検出手段３，４から出力される各所定色のレーンマーク候補データから、車両８が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別し、該選別したレーンマーク候補データに基づき、前記実際の車線の情報を示す車線データを決定して出力する選別手段６とを有する。これにより、道路上に複数種類の色のレーンマークが存在する場合でも、カメラ等の撮像手段を介して取得された道路のカラー画像から、各色のレーンマークを適切に認識することができる。

Description

明 細 書
車両及び車線認識装置
技術分野
[0001] 本発明は、カメラ等の撮像手段を介して取得された道路の画像を処理して、道路の レーンマークを認識する車両及び車線認識装置に関する。
背景技術
[0002] 近年、車両に CCDカメラ等の撮像手段を搭載して、走行している道路の路面を撮 像し、得られた画像を処理して道路上に設けられた走行車線区分用のレーンマーク を検出するレーンマーク認識装置が知られている。このとき、道路上に設けられるレ ーンマークとして、走行区分線（白線）のような線型のレーンマークと、 Botts Dots (No nretroreflective Raised Pavement Marker;ゃャャッッァィ (Retroreflective Raised Pav ement Marker)のように離散的に設けられる鉅型のレーンマークとが使用されて！、る 。このため、レーンマークの形状により認識アルゴリズムを切り替えることで、複数種類 の形状のレーンマークを精度良く検出する技術が提案されて 、る (例えば日本国公 開特許公報 2003 - 317106号 (以下、特許文献 1と!ヽぅ）参照)。
[0003] 特許文献 1の走行路認識装置は、撮像画像の線成分に基づき検出を行う直線検 出処理部と、金属鉅等のレーンマークの形状に相当するパターンに基づき検出を行 うパターンマッチング処理部とを備え、適用検出手段として指定された直線検出処理 部又はパターンマッチング処理部による検出結果に基づいて走行路検出を行う。こ のとき、前記走行路認識装置は、直線検出処理部又はパターンマッチング処理部の 一方が適用検出手段として指定されて 、る状態で、レーンマークを的確に検出する ことができなくなったときには、他方を適用検出手段として指定して切り換える。
[0004] 一方、レーンマークには、白線や黄線等、形状は同じでも異なる色が用いられる場 合がある。このように色が異なる場合には、形状は同じであっても、同じ認識アルゴリ ズムではレーンマークの検出が困難になる場合がある。例えば、黄線は白線に比べ て輝度が低ぐ路面部分との輝度差が少ないため、輝度を用いて白線を検出するァ ルゴリズムでは、黄線をレーンマークとして認識できないことがある。さらに、レーンマ ークは、その色によって道路法規上の意味が異なることがあるため、各色のレーンマ ークを適切に認識することが望ましい。し力しながら、特許文献 1のものにおいては、 レーンマークを認識する際に、レーンマークの色は考慮されていないため、各色のレ ーンマークを適切に認識することができな 、と ヽぅ不都合があった。
発明の開示
発明が解決しょうとする課題
[0005] 本発明は、力かる不都合を解消し、道路上に複数種類の色のレーンマークが存在 する場合でも、カメラ等の撮像手段を介して取得された道路のカラー画像から、各色 のレーンマークを適切に認識することができる車両及び車線認識装置を提供すること を目的とする。
課題を解決するための手段
[0006] かかる目的を達成するために、本発明の車両は、撮像手段と、該撮像手段を介して 道路のカラー画像を取得する画像取得手段と、該カラー画像の色情報に基づいて 該道路上の互いに異なる複数の所定色のレーンマークを検出する処理を実行し、該 処理の結果をレーンマーク候補データとして出力するレーンマーク検出手段と、少な くとも該レーンマーク検出手段から出力される各所定色のレーンマーク候補データか ら、車両が走行して 、る実際の車線を規定するレーンマークに対応するレーンマーク 候補データを選別し、該選別したレーンマーク候補データに基づき、該実際の車線 の情報を示す車線データを決定して出力する選別手段とを有する。
[0007] また、本発明の車線認識装置は、車両に搭載された撮像手段を介して道路のカラ 一画像を取得する画像取得手段と、該カラー画像の色情報に基づ!、て該道路上の 互いに異なる複数の所定色のレーンマークを検出する処理を実行し、該処理の結果 を複数のレーンマーク候補データとして出力するレーンマーク検出手段と、少なくとも 該レーンマーク検出手段から出力される各所定色のレーンマーク候補データから、 該車両が走行している実際の車線を規定するレーンマークに対応するレーンマーク 候補データを選別し、該選別したレーンマーク候補データに基づき、該実際の車線 の情報を示す車線データを決定して出力する選別手段とを有する（第 1発明）。
[0008] この第 1発明の車両及び車線認識装置によれば、前記レーンマーク検出手段は、 それぞれ、前記カラー画像の色情報に基づいて前記道路上の互いに異なる複数の 所定色のレーンマークを検出する処理を実行し、該処理の結果をレーンマーク候補 データとして出力する。ここで、レーンマークには、白線や黄線等のように複数種類の 色が用いられる場合がある。このとき、前記レーンマーク検出手段は、各色に応じて、 前記カラー画像の色情報に基づいてレーンマークを検出するので、各色のレーンマ ークをそれぞれ精度良く検出する処理が実行される。
[0009] そして、検出の結果として出力されるレーンマーク候補データには、車両が走行し ている実際の車線を規定するレーンマークに対応するデータが含まれることとなる。 例えば、レーンマークが黄線であれば、黄色のレーンマークを検出する処理の結果 として出力されるレーンマーク候補データが、実際の車線を規定するレーンマークに 対応するデータとなる。よって、前記選別手段は、出力される各所定色のレーンマー ク候補データから、前記車両が走行している実際の車線を規定するレーンマークに 対応するレーンマーク候補データを選別し、該選別したレーンマーク候補データに 基づき、前記実際の車線の情報を示す車線データを決定することにより、車両が走 行している車線の車線データを適切に決定することができる。
[0010] これにより、第 1発明の車両及び車線認識装置は、道路上に複数種類の色のレー ンマークが存在する場合でも、各色のレーンマークを精度良く認識することができ、 車両が走行している車線を適切に認識することができる。なお、道路上に設けられる レーンマークとしては、例えば、走行区分線（白線)のような線型のレーンマークや、 B otts Dotsやキャッツアイのように離散的に設けられる鉅型のレーンマークが挙げられ る。
[0011] また、艇型のレーンマークのように形状に特徴があるレーンマークを画像処理によ つて検出する際には、形状のパターンに基づいて検出することもできる。よって、第 1 発明の車両及び車線認識装置は、前記カラー画像から前記車両が走行する道路上 の鉅型のレーンマークを、該鉅型のレーンマークの形状のパターンに基づ 、て検出 する処理を実行し、該処理の結果をレーンマーク候補データとして出力する道路鉅 検出手段をさらに備え、前記選別手段は、前記レーンマーク検出手段から出力され る各所定色のレーンマーク候補データと、前記道路艇検出手段から出力されるレー ンマーク候補データとから、前記車両が走行して 、る実際の車線を規定するレーン マークに対応するレーンマーク候補データを選別することが好ましい (第 2発明）。
[0012] この第 2発明によれば、前記道路艇検出手段は、前記カラー画像から前記車両が 走行する道路上の艇型のレーンマークを、該艇型のレーンマークの形状のパターン に基づ!/、て検出する処理を実行し、該処理の結果をレーンマーク候補データとして 出力するので、形状に特徴のある艇型のレーンマークを精度良く検出する処理が実 行される。なお、このとき、前記道路艇検出手段は、艇型のレーンマークに特徴的な 色が付されている場合には、その色情報をさらに用いて該レーンマークを検出するよ うにしてもよい。
[0013] そして、その検出の結果として出力されるレーンマーク候補データ力 前記レーン マーク検出手段から出力される各所定色のレーンマーク候補データに加えられる。 そして、前記選別手段は、これらのレーンマーク候補データから、前記車両が走行し ている実際の車線を規定するレーンマークに対応するレーンマーク候補データを選 別する。これにより、第 2発明の車両及び車線認識装置は、道路上に、複数種類の 色のレーンマークに加えて、形状に特徴のある艇型のレーンマークが存在する場合 でも、各レーンマークを精度良く認識することができ、車両が走行している車線を適 切に認識することができる。
[0014] また、第 1又は第 2発明の車両及び車線認識装置において、前記各レーンマーク 候補データは、それぞれ、前記レーンマークの位置を示すレーンマーク位置データ と、該レーンマークの色情報と、該レーンマークの種別情報とを有し、前記選別手段 が出力する車線データは、前記実際の車線の形状情報と、該実際の車線を規定す るレーンマークの色情報と、該実際の車線を規定するレーンマークの種別情報とを有 し、前記選別手段は、前記選別したレーンマーク候補データのうちのレーンマーク位 置データに基づいて、前記車線データのうちの形状情報を決定し、該選別したレー ンマーク候補データのうちの色情報に基づいて、該車線データのうちの色情報を決 定し、該選別したレーンマーク候補データのうちの種別情報に基づいて、該車線デ ータのうちの種別情報を決定することが好ま U、 (第 3発明）。
[0015] この第 3発明によれば、前記各レーンマーク候補データは、それぞれ、前記レーン マークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レー ンマークの種別情報とを有する。また、前記選別手段が出力する車線データは、前 記実際の車線の形状情報と、該実際の車線を規定するレーンマークの色情報と、該 実際の車線を規定するレーンマークの種別情報とを有する。これにより、第 3発明の 車両及び車線認識装置は、道路上に複数種類のレーンマークがある場合に、認識さ れた車線の形状情報と共に、該車線を規定するレーンマークの色情報と種別情報と を取得することができ、これらの情報を車両の制御や運転者への報知の際に用いる ことができる。
[0016] さらに、前記車線を規定するレーンマークの色によって、レーンマークの道路法規 上の意味が異なることがある。例えば、 日本において、白い車道中央線と黄色い車 道中央線とでは、道路法規上の意味が異なる。よって、第 3発明の車両及び車線認 識装置は、前記選別手段が出力する車線データのうちの色情報と種別情報とに基づ いて、前記車線を規定するレーンマークの意味を判断する処理を実行し、該処理の 結果を該車線データと共に出力する意味判断手段を備えることが好ましい (第 4発明
) o
[0017] この第 4発明によれば、前記意味判断手段は、前記選別手段が出力する車線デー タのうちの色情報と種別情報とに基づいて、前記車線を規定するレーンマークの意 味を判断する処理を実行するので、レーンマークの道路法規上の意味を適切に判断 することができる。そして、前記意味判断手段は、該処理の結果を該車線データと共 に出力するので、第 4発明の車両及び車線認識装置は、レーンマークの意味に応じ た車両の制御や運転者への報知を行うことができる。
[0018] また、第 3又は第 4発明の車両及び車線認識装置において、前記各レーンマーク 候補データのうちのレーンマーク位置データは、それぞれ、前記レーンマークの経路 を示す点列の座標データからなり、前記選別手段は、前記各レーンマーク候補デー タに対して、それぞれ、前記点列の座標データに基づき、前記点列を近似する 2次 以上の所定次数の多項式を求めると共に、該多項式による該点列の近似の度合を 示す係数である決定係数を算出し、該決定係数が最も高いレーンマーク候補データ を、前記実際の車線を規定するレーンマークに対応するレーンマーク候補データとし て選別することが好ま 、 (第 5発明）。
[0019] この第 5発明によれば、前記選別手段は、前記各レーンマーク候補データに対して 、それぞれ、前記点列の座標データに基づき、前記点列を近似する 2次以上の所定 次数の多項式を求める。このとき、車線の形状は一般的に滑らかであるので、車線を 規定するレーンマークの位置を示す点列は、前記多項式によって適切に近似される と考えられる。よって、前記選別手段は、前記多項式による前記点列の近似の度合を 示す係数である決定係数を算出し、該決定係数が最も高いレーンマーク候補データ を、前記実際の車線を規定するレーンマークに対応するレーンマーク候補データとし て選別することで、前記実際の車線を規定するレーンマークに対応するレーンマーク 候補データを適切に選別することができる。
[0020] このとき、前記選別したレーンマーク候補データの前記点列を近似する前記多項式 は、レーンマークの経路を近似するものであり、すなわち、該レーンマークによって規 定される車線の形状を的確に示すものである。よって、第 5発明の車両及び車線認 識装置において、前記選別手段は、前記車線データのうちの形状情報を、前記選別 したレーンマーク候補データの前記点列を近似する前記多項式に基づいて決定す ることが好ましい (第 6発明）。
[0021] この第 6発明によれば、前記選別手段は、前記車線データのうちの形状情報を、前 記選別したレーンマーク候補データの前記点列を近似する前記多項式に基づいて 決定するので、レーンマーク候補を選別する際に算出した前記多項式を活用して、 車両が走行している車線の形状情報を的確に決定することができる。
[0022] ここで、車両が走行してる車線は、一般的に、車線の左側を規定する左側線と右側 を規定する右側線とによって構成されるものであり、左側線及び右側線が、それぞれ レーンマークによって規定されて 、る。
[0023] よって、第 1又は第 2発明の車両及び車線認識装置において、前記各レーンマーク 候補データは、それぞれ、前記車線の左側を規定するレーンマークの候補データで ある左レーンマーク候補データと、前記車線の右側を規定するレーンマークの候補 データである右レーンマーク候補データと力もなる。前記左レーンマーク候補データ は、それぞれ、前記車線の左側を規定するレーンマークの位置を示すレーンマーク 位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有する。 また、前記右レーンマーク候補データは、それぞれ、前記車線の右側を規定するレ ーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該 レーンマークの種別情報とを有する。さらに、前記選別手段の出力する車線データは 、前記実際の車線の左側を規定する左側線の形状情報である左形状情報と、該左 側線を規定するレーンマークの色情報である左色情報と、該左側線を規定するレー ンマークの種別情報である左種別情報と、前記実際の車線の右側を規定する右側 線の形状情報である右形状情報と、該右側線を規定するレーンマークの色情報であ る右色情報と、該右側線を規定するレーンマークの種別情報である右種別情報とを 有する。
[0024] そして、前記選別手段は、前記左レーンマーク候補データから、前記実際の車線 の左側を規定するレーンマークに対応する左レーンマーク候補データを選別する。こ れと共に、前記選別手段は、前記右レーンマーク候補データから、前記実際の車線 の右側を規定するレーンマークに対応する右レーンマーク候補データを選別する。さ らに、前記選別手段は、前記選別した左レーンマーク候補データのうちのレーンマー ク位置データに基づいて、前記車線データのうちの左形状情報を決定し、該選別し た左レーンマーク候補データのうちの色情報に基づいて、該車線データのうちの左 色情報を決定し、該選別した左レーンマーク候補データのうちの種別情報に基づい て、該車線データのうちの左種別情報を決定する。これと共に、前記選別手段は、前 記選別した右レーンマーク候補データのうちのレーンマーク位置データに基づいて、 前記車線データのうちの右形状情報を決定し、該選別した右レーンマーク候補デー タのうちの色情報に基づいて、該車線データのうちの右色情報を決定し、該選別した 右レーンマーク候補データのうちの種別情報に基づいて、該車線データのうちの右 種別情報を決定することが好まし 、 (第 7発明)。
[0025] この第 7発明によれば、前記選別手段が出力する車線データは、前記左側線の形 状情報である左形状情報と、該左側線を規定するレーンマークの色情報である左色 情報と、該左側線を規定するレーンマークの種別情報である左種別情報とを有する 。さらに、前記選別手段が出力する車線データは、前記右側線の形状情報である右 形状情報と、該右側線を規定するレーンマークの色情報である右色情報と、該右側 線を規定するレーンマークの種別情報である右種別情報とを有する。これにより、第
7発明の車両及び車線認識装置は、道路上に複数種類のレーンマークがある場合 に、認識された左側線及び右側線の形状情報と共に、該左側線及び右側線を規定 するレーンマークの色情報と種別情報とをそれぞれ取得することができ、これらの情 報を車両の制御や運転者への報知の際に用いることができる。
[0026] さらに、前記左側線及び右側線を規定するレーンマークの色によって、レーンマー クの道路法規上の意味が異なることがあるので、第 7発明の車両及び車線認識装置 は、前記選別手段の出力する車線データのうちの左色情報と右色情報と左種別情 報と右種別情報とに基づ!、て、前記左側線及び右側線を規定するレーンマークの意 味を判断する処理を実行し、該処理の結果を該車線データと共に出力する意味判 断手段を備えることが好まし 、 (第 8発明)。
[0027] この第 8発明によれば、前記意味判断手段は、前記選別手段が出力する車線デー タのうちの左色情報と右色情報と左種別情報と右種別情報とに基づ 、て、前記左側 線及び右側線を規定するレーンマークの意味を判断する処理を実行するので、レー ンマークの道路法規上の意味を適切に判断することができる。そして、前記意味判断 手段は、該処理の結果を該車線データと共に出力するので、第 8発明の車両及び車 線認識装置は、レーンマークの意味に応じた車両の制御や運転者への報知を行うこ とがでさる。
[0028] また、第 7又は第 8発明の車両及び車線認識装置において、前記各左レーンマー ク候補データのうちのレーンマーク位置データは、それぞれ、前記車線の左側を規 定するレーンマークの経路を示す点列である左点列の座標データ力もなる。また、前 記各右レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前記 車線の右側を規定するレーンマークの経路を示す点列である右点列の座標データ からなる。
[0029] そして、前記選別手段は、前記各左レーンマーク候補データに対して、それぞれ、 前記左点列の座標データに基づき、前記左点列を近似する 2次以上の所定次数の 多項式を求めると共に、該多項式による該左点列の近似の度合を示す係数である決 定係数を算出し、該決定係数が最も高い左レーンマーク候補データを、前記実際の 車線の左側を規定するレーンマークに対応する左レーンマーク候補データとして選 別し、前記各右レーンマーク候補データに対して、それぞれ、前記右点列の座標デ ータに基づき、前記右点列を近似する 2次以上の所定次数の多項式を求めると共に
、該多項式による該右点列の近似の度合を示す係数である決定係数を算出し、該決 定係数が最も高 、右レーンマーク候補データを、前記実際の車線の右側を規定する レーンマークに対応する右レーンマーク候補データとして選別することが好まし ヽ（第
9発明)。
[0030] この第 9発明によれば、前記選別手段は、前記各左レーンマーク候補データに対し て、それぞれ、前記左点列の座標データに基づき、前記左点列を近似する 2次以上 の所定次数の多項式を求めると共に、前記各右レーンマーク候補データに対して、 それぞれ、前記右点列の座標データに基づき、前記右点列を近似する 2次以上の所 定次数の多項式を求める。
[0031] このとき、車線の形状は一般的に滑らかであるので、左側線及び右側線を規定する レーンマークの位置を示す左点列及び右点列は、それぞれ、前記多項式によって適 切に近似されると考えられる。よって、前記選別手段は、前記多項式による前記左点 列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高い左レ ーンマーク候補データを、前記左側線を規定するレーンマークに対応する左レーン マーク候補データとして選別する。また、前記選別手段は、前記多項式による前記右 点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高い右 レーンマーク候補データを、前記右側線を規定するレーンマークに対応する右レー ンマーク候補データとして選別する。これにより、前記選別手段は、前記左側線を規 定するレーンマークに対応する左レーンマーク候補データ及び前記右側線を規定す るレーンマークに対応する右レーンマーク候補データを適切に選別することができる
[0032] このとき、前記選別した左レーンマーク候補データの前記左点列を近似する多項式 及び前記選別した右レーンマーク候補データの前記右点列を近似する多項式は、 それぞれ、レーンマークの経路を近似するものであり、すなわち、該レーンマークによ つて規定される左側線及び右側線の形状を的確に示すものである。よって、第 9発明 の車両及び車線認識装置において、前記選別手段は、前記車線データのうちの左 形状情報を、前記選別した左レーンマーク候補データの前記左点列を近似する多項 式に基づいて決定すると共に、前記車線データのうちの右形状情報を、前記選別し た右レーンマーク候補データの前記右点列を近似する多項式に基づいて決定する ことが好ましい (第 10発明）。
[0033] この第 10発明によれば、前記左形状情報を、前記選別した左レーンマーク候補デ ータの前記左点列を近似する多項式に基づ!、て決定すると共に、前記右形状情報 を、前記選別した右レーンマーク候補データの前記右点列を近似する多項式に基づ いて決定するので、レーンマーク候補を選別する際に算出した前記左点列及び右点 列を近似する多項式を活用して、車両が走行して 、る車線の形状情報を的確に決 定することができる。
図面の簡単な説明
[0034] [図 1]本実施形態である車線認識装置の機能ブロック図。
[図 2]図 1の車線認識装置の車線認識処理を示すフローチャート。
[図 3]図 1の車線認識装置の車線認識処理における白線検出処理を示すフローチヤ ート。
[図 4]図 1の車線認識装置の車線認識処理における黄線検出処理を示すフローチヤ ート。
[図 5]図 1の車線認識装置の車線認識処理における道路鉅検出処理を示すフローチ ヤート。
[図 6]図 1の車線認識装置の車線認識処理における処理画像の例示図。
発明を実施するための最良の形態
[0035] 本発明の一実施形態を添付の図面を参照して説明する。図 1は、本実施形態であ る車線認識装置の機能ブロック図である。また、図 2〜図 5は、図 1の車線認識装置に おける車線認識処理のフローチャートである。また、図 6 (a) , (b)は、図 1の車線認識 装置の車線認識処理における処理画像の例示図である。
[0036] 図 1を参照して、車線認識装置 1は、マイクロコンピュータ等により構成された電子 ユニットであり、その処理機能として、道路の画像を取得する画像取得手段 2と、取得 した画像力 道路上のレーンマークのうちの白線を検出する白線検出手段 3と、取得 した画像力 道路上のレーンマークのうちの黄線を検出する黄線検出手段 4と、取得 した画像力 道路上のレーンマークのうちの道路鉅を検出する道路艇検出手段 5と、 各検出手段 3, 4, 5の検出結果から、車両が走行している実際の車線を規定するレ ーンマークを選別する選別手段 6と、選別したレーンマークの意味を判断する意味判 断手段 7とを備えて、車両 8に搭載される。なお、本実施形態では、道路上に設けら れているレーンマークは、白線、黄線、道路鉅のいずれかであるとする。また、レーン マークの種別は、線型のもの（白線、黄線）と鉅型のもの (道路鉅）とに分類される。
[0037] 画像取得手段 2は、車両 8のフロント部分に取り付けられて車両 8の前方道路を撮 像するカラービデオカメラ 9 (CCDカメラ等、本発明の撮像手段)から出力される映像 信号から、画素データにより構成されるカラー画像 10を取得する。このとき、画素デー タのカラー成分は、 R値， G値， B値で構成されている。なお、カラービデオカメラ 9と 車線認識装置 1とを備えることにより、本発明の車両が構成される。
[0038] 白線検出手段 3は、画像取得手段 2により取得された道路のカラー画像 10から、白 線を検出する処理を実行し、検出の結果を白線候補データとして出力する。白線候 補データは、検出した白線の位置データと、色情報と、種別情報とを有する。なお、 白線候補データの色情報は常に「白」で、種別情報は常に「線」である。
[0039] 黄線検出手段 4は、画像取得手段 2により取得された道路のカラー画像 10から、黄 線を検出する処理を実行し、検出の結果を黄線候補データとして出力する。黄線候 補データは、検出した黄線の位置データと、色情報と、種別情報とを有する。なお、 黄線候補データの色情報は常に「黄」であり、種別情報は常に「線」である。
[0040] 道路艇検出手段 5は、画像取得手段 2により取得された道路のカラー画像 10から、 道路鉅 (本発明の艇型のレーンマークに相当する）を検出する処理を実行し、検出の 結果を道路鉅候補データとして出力する。道路鉅候補データは、道路鉅の位置デー タと、色情報と、種別情報とを有する。なお、道路鉅候補データの種別情報は常に「 鉅」である。
[0041] 選別手段 6は、白線検出手段 3から出力された白線候補データと、黄線検出手段 4 から出力された黄線候補データと、道路鉅検出手段 5から出力された道路鉅候補デ ータとから、車両 8が走行して 、る実際の車線を規定するレーンマークに対応するレ ーンマーク候補データを選別する。そして、選別手段 6は、選別したレーンマーク候 補データに基づいて、車両 8が走行している実際の車線の車線データを決定して出 力する。車線データは、車両 8が走行している実際の車線の形状情報と、該車線を 規定するレーンマークの色情報と、該車線を規定するレーンマークの種別情報とを 有する。
[0042] 意味判断手段 7は、選別手段 6から出力された車線データのうちの色情報と種別情 報とを用いて、車両 8が走行して 、る実際の車線を規定するレーンマークの意味 (道 路法規上の意味)を判断する。そして、意味判断手段 7は、判断した結果を、車線デ ータと共に出力する。
[0043] なお、白線検出手段 3及び黄線検出手段 4は、本発明のレーンマーク検出手段に 相当する。
[0044] 次に、本実施形態の車線認識装置 1の作動（車線認識処理)を、図 2〜図 5に示し たフローチャートに従って説明する。図 2は車線認識処理の全体的な作動（車線認 識装置 1のメインルーチン処理)を示すフローチャート、図 3は白線を検出する処理（ サブルーチン処理）を示すフローチャート、図 4は黄線を検出する処理 (サブルーチ ン処理)を示すフローチャート、図 5は道路鉅を検出する処理 (サブルーチン処理)を 示すフローチャートである。なお、以下では、図 6 (a)に例示したように、車両 8が走行 している実際の車線の左側が白線 AOで規定され、車線の右側が黄線 A1で規定さ れる場合と、図 6 (b)で例示したように、車両 8が走行している実際の車線の左側が道 路鉅 A2で規定され、車線の右側が道路鉅 A3で規定される場合とを例にして説明す る。
[0045] 図 2を参照して、まず、画像取得手段 2は、カラービデオカメラ 7から出力される映像 信号から、道路のカラー画像 10を取得する（STEP001)。ここで、カラー画像 10は、 m X n個の画素からなる画像である。カラー画像 10の各画素 POは、カラー成分として R値， G値， B値のデータを有するものである。以下、各画素 PO (i, j)の R値， G値， B 値は、それぞれ R , G , Bで表される。ただし、 i, jは、各画素の番地であり、 0≤i< m, 0≤j < nとなる整数である。
[0046] 次に、白線検出手段 3は、取得されたカラー画像 10から白線を検出する処理を実 行する（STEP002)。白線を検出する処理は、図 3に示す如く実行される。まず、白 線検出手段 3は、カラー画像 10から白黒画像 IIを生成する（STEP101)。このとき、 白線検出手段 3は、カラー画像 10の各画素 PO (i, j)の R値， G値， B値 (R , G , B )
1J 1J 1J から、 Y = a X R + j8 X G + γ X Bにより算出した輝度値 Υを各画素 PI (i, j)のデ ij ϋ ϋ ϋ ϋ
ータとする、 m X n個の画素力もなる白黒画像 IIを生成する。ただし、 α , β , γは、 α + β + y = 1となるような所定の係数である。
[0047] 次に、白線検出手段 3は、白黒画像 IIからエッジ点を抽出する（STEP102)。次に 、エッジ点を抽出したデータをノヽフ変換する（STEP103)。次に、白線検出手段 3は 、ハフ変換したデータから、直線成分を探索して抜き出す (STEP104)。このとき、抜 き出された直線成分には、白線を構成する（白線の一部分を示す)複数の直線成分 が含まれている。
[0048] 次に、 STEP105で、白線検出手段 3は、抜き出した直線成分から、白線候補デー タを決定して出力する。出力される白線候補データは、車線の左側を規定するレー ンマークの候補データである左白線候補データ D丄 1と、車線の右側を規定するレー ンマークの候補データである右白線候補データ D_R1とを有する。左白線候補データ D丄 1は、車線の左側を規定するレーンマークの候補である白線に含まれる複数の点 で示される点列の座標データ P丄 1と、白線の色情報と、白線の種別情報とを有する。 同様に、右白線候補データ D_R1は、車線の右側を規定するレーンマークの候補で ある白線に含まれる複数の点で示される点列の座標データ P_R1と、白線の色情報と 、白線の種別情報とを有する。
[0049] ここで、左白線候補データ D丄 1の点列の座標データ P丄 1は、白線を構成する複数
(N丄 1個）の直線成分に含まれる複数の点で示される点列の座標データ P丄 1 [L1]を 、当該複数の直線成分の全てについて合わせた集合である（ただし、 []内の L1は、 L 1 = 1〜N L1の整数)。同様に、右白線候補データ D_R1の座標データ P_R1は、白線 を構成する複数 (N_R1個）の直線成分に含まれる複数の点で示される点列の座標デ -^P_R1 [R1]を、当該複数の直線成分の全てにっ ヽて合わせた集合である（ただし 、 []内の Rlは、 R1 = 1〜N_R1の整数）。
[0050] 左白線候補データ D丄 1は、以下のように決定される。まず、白線検出手段 3は、抜 き出した直線成分から、車線の左側を規定するレーンマークの候補に含まれる直線 成分を選抜する。このとき、選抜される直線成分は、 N丄 1個である。そして、白線検 出手段 3は、選抜された各直線成分に含まれる複数 (n個）の点の座標データ { (XI, Yl) , (X2.Y2) ,· ··, (Χη,Υη) }を、それぞれ、左白線候補データ D丄 1の点列の座標デ ータ Ρ丄 1[L1]として設定する。さらに、白線検出手段 3は、左白線候補データ D丄 1の 色情報に「白」を設定し、種別情報に「線」を設定する。
[0051] 次に、白線検出手段 3は、左白線候補データ D丄 1と同様に、右白線候補データ D_ Rlを決定する。まず、白線検出手段 3は、抜き出した直線成分から、車線の右側を規 定するレーンマークの候補に含まれる直線成分を選抜する。このとき、選抜される直 線成分は、 N_R1個である。そして、白線検出手段 3は、選抜された各直線成分に含 まれる複数 (n個）の点の座標データ { (ΧΙ,ΥΙ) , (Χ2,Υ2) ,· ··, (Χη,Υη) }を、それぞれ 、右白線候補データ D_R1の点列の座標データ P_R1 [R1]として設定する。さら〖こ、白 線検出手段 3は、右白線候補データ D_R1の色情報に「白」を設定し、種別情報に「線 」を設定する。
[0052] 以上の STEP101〜105の処理により、カラー画像 10から、白線が精度良く検出さ れ、白線候補データとして出力される。例えば、図 6 (a)に例示した場合では、白線 A 0のデータが左白線候補データ D丄 1となる。
[0053] 次に、図 2に戻り、黄線検出手段 4は、取得されたカラー画像 10から黄線を検出す る処理を実行する（STEP003)。黄線を検出する処理は、図 4に示す如く実行される 。まず、黄線検出手段 4は、カラー画像 10から黄色成分を抽出した画像 12を生成する (STEP201)。このとき、黄線検出手段 4は、カラー画像 10の各画素 PO (i, j)のカラ 一成分の R値， B値 (R , B )を用いて、 KY =R— Bにより算出した特徴量 KYを各 画素 P2 (i, j)のデータとする、 mX n個の画素力もなる画像 12を生成する。ここで、黄 色は、 R値が高く B値が低い傾向を持つので、 R値と B値との差 R— Bは、黄色成分 の特徴を顕著に示す値となる。よって、特徴量 KYは、黄色に対応した特徴量 (黄色 成分)であるので、黄色成分を適切に抽出して画像 12が生成される。 [0054] 次に、黄線検出手段 4は、画像 12からエッジ点を抽出する（STEP202)。次に、黄 線検出手段 4は、エッジ点を抽出した画像データをノヽフ変換する（STEP203)。次に 、黄線検出手段 4は、ハフ変換したデータ力 直線成分を探索して抜き出す (STEP 204)。このとき、抜き出された直線成分には、黄線を構成する (黄線の一部分を示す )複数の直線成分が含まれて!/ヽる。
[0055] 次に、 STEP205で、黄線検出手段 4は、抜き出した直線成分から、黄線候補デー タを決定して出力する。出力される黄線候補データは、車線の左側を規定するレー ンマークの候補データである左黄線候補データ D丄 2と、車線の左側を規定するレー ンマークの候補データである右黄線候補データ D R2とを有する。左黄線候補データ
D丄 2は、車線の左側を規定するレーンマークの候補である黄線に含まれる複数の点 で示される点列の座標データ P丄 2と、黄線の色情報と、黄線の種別情報とを有する。 同様に、右黄線候補データ D_R2は、車線の右側を規定するレーンマークの候補で ある黄線に含まれる複数の点で示される点列の座標データ P_R2と、黄線の色情報と 、黄線の種別情報とを有する。
[0056] さらに、左黄線候補データ D丄 2の点列の座標データ P丄 2は、黄線を構成する複数
(N丄 2個）の直線成分に含まれる複数の点で示される点列の座標データ P丄 2 [L2]を 、当該複数の直線成分の全てについて合わせた集合である（ただし、 []内の L2は、 L 2 = l〜N 2の整数)。同様に、右黄線候補データ D_R2の点列の座標データ P_R2は 、黄線を構成する複数 (N_R2個）の直線成分に含まれる複数の点で示される点列の 座標データ P_R2 [R2]を、当該複数の直線成分の全てにつ!ヽて合わせた集合である (ただし、 []内の R2は、 R2 = 1〜N_R2の整数）。
[0057] 左黄線候補データ D丄 2は、以下のように決定される。まず、黄線検出手段 4は、抜 き出した直線成分から、車線の左側を規定するレーンマークの候補に含まれる直線 成分を選抜する。このとき、選抜される直線成分は、 N丄 2個である。そして、黄線検 出手段 4は、選抜された各直線成分に含まれる複数 (n個）の点の座標データ { (XI, YD , (X2.Y2) ,· ··, (Χη,Υη) }を、それぞれ、左黄線候補データ D丄 2の点列の座標デ ータ Ρ丄 1 [L1]として設定する。さら〖こ、黄線検出手段 4は、左黄線候補データ D丄 2 の色情報に「黄」を設定し、種別情報に「線」を設定する。 [0058] 次に、黄線検出手段 4は、左黄線候補データ D丄 2と同様に、右黄線候補データ D_ R2を決定する。まず、黄線検出手段 4は、抜き出した直線成分から、車線の右側を規 定するレーンマークの候補に含まれる直線成分を選抜する。このとき、選抜される直 線成分は N_R2個である。そして、黄線検出手段 4は、選抜された各直線成分に含ま れる複数 (n個）の点の座標データ { (ΧΙ,ΥΙ) , (Χ2,Υ2) ,· ··, (Χη,Υη) }を、それぞれ、 右黄線候補データ D_R2の点列の座標データ P_R2 [R2]として設定する。さらに、黄線 検出手段 4は、各右黄線候補データ D_R2 [R2]の色情報に「黄」を設定し、種別情報 に「線」を設定する。
[0059] 以上の STEP201〜205の処理により、カラー画像 10から、黄線が精度良く検出さ れ、黄線候補データとして出力される。例えば、図 6 (a)に例示した場合では、黄線 A 1のデータが右黄線候補データ D_R2となる。
[0060] 次に、図 2に戻り、道路鉅検出手段 5は、取得されたカラー画像 10から道路鉅を検 出する処理を実行する（STEP004)。道路鉅を検出する処理は、図 5に示す如く実 行される。まず、道路艇検出手段 5は、カラー画像 10から白黒画像 13を生成する（ST EP301)。このとき、図 3の白線を検出する処理における STEP101と同様に、道路 鉅検出手段 5は、カラー画像 10の各画素 PO (i, j)の R値， G値， B値 (R , G , B )から
, Y = a XR + j8 X G + γ X Bにより算出した輝度値 Υを各画素 P3 (i, j)のデー タとする、 mX n個の画素力もなる白黒画像 13を生成する。
[0061] 次に、道路鉅検出手段 5は、白黒画像 13内の各点で、予め記憶された道路鉅パタ ーン (パターンマッチング用の基準形状)との相関値を計算する（STEP302)。すな わち、道路艇検出手段 5は、各点を中心とする所定領域内のパターンと道路艇パタ ーンとの相関値を計算する。次に、道路艇検出手段 5は、相関値の高い点を道路鉅 候補点として抽出する（STEP303)。このとき、抽出された道路鉅候補点は、道路鉅 の中心点を示すものである。なお、パターンマッチングの詳細な手法としては、上述 した特許文献 1に記載されているような一般的な手法を用いることができる。次に、道 路鉅検出手段 5は、抽出した道路鉅候補点の画素 P3 (i, j)に対応するカラー画像 10 の画素 PO (i, j)の R値， G値， B値 (R , G , B )から、抽出した道路鉅候補点の色情 報を特定する（STEP304)。 [0062] 次に、 STEP305で、道路艇検出手段 5は、道路艇候補データを決定して出力する 。出力される道路艇候補データは、車線の左側を規定するレーンマークの候補デー タである左道路艇候補データ D丄 3と、車線の左側を規定するレーンマークの候補デ ータである右道路鉅候補データ D_R3とを有する。左道路鉅候補データ D丄 3は、車 線の左側を規定するレーンマークの候補である複数の道路鉅を示す道路艇候補点 の座標データ P丄 3と、道路鉅の色情報と、道路鉅の種別情報とを有する。同様に、 右道路艇候補データ D_R3は、車線の右側を規定するレーンマークの候補である複 数の道路鉅を示す点の座標データ P—R3と、道路鉅の色情報と、道路鉅の種別情報と を有する。なお、本実施形態では、米国における道路鉅を想定しており、この場合、 車両から見たときの道路鉅の色は、「赤」「黄」「その他」のいずれかに分類される。
[0063] 左道路艇候補データ D丄 3は、以下のように決定する。まず、道路艇検出手段 5は、 抽出した道路艇候補点から、車線の左側を規定するレーンマークの候補となる複数（ n個）の道路鉅候補点を選抜する。そして、道路鉅検出手段 5は、選抜した n個の道 路艇候補点の座標データ { (ΧΙ,ΥΙ) , (Χ2,Υ2) ,· ··, (Χη,Υη) }を、左道路艇候補デー タ D丄 3の点列の座標データ Ρ丄 3として設定する。さらに、道路艇検出手段 5は、選抜 した η個の道路鉅候補点の色情報に応じて、色を「黄」「赤」「その他」に分類し、分類 して得られた「黄」「赤」「その他」のいずれかを、各左道路艇候補データ D丄 3の色情 報に設定する。さらに、種別情報に「鉅」を設定する。
[0064] 次に、道路鉅検出手段 5は、左道路鉅候補データ D丄 3と同様に、右道路鉅候補デ ータ D_R3を決定する。まず、道路鉅検出手段 5は、抽出した道路鉅候補点から、車 線の右側を規定するレーンマークの候補となる複数 (n個）の道路艇候補点を選抜す る。そして、道路鉅検出手段 5は、選抜した n個の道路鉅候補点の座標データ { (XI, YD , (X2.Y2) ,· ··, (Χη,Υη) }を、右道路鉅候補データ D_R3の点列の座標データ P_R 3として設定する。さらに、選抜した n個の道路艇候補点の色情報に応じて、色を「黄」 「赤」「その他」に分類し、分類して得られた「黄」「赤」「その他」のいずれかを、各右道 路艇候補データ D_R3の色情報に設定する。さらに、道路艇検出手段 5は、種別情報 に「鉅」を設定する。
[0065] 以上の STEP301〜305の処理により、カラー画像 10から、道路鉅が精度良く検出 され、道路鉅候補データとして出力される。例えば、図 6 (b)に例示した場合では、道 路艇 A2のデータが左道路艇候補データ D丄 3となり、道路艇 A3のデータが右道路 鉅候補データ D_R3となる。
[0066] 次に、図 2に戻り、選別手段 6は、白線検出手段 3から出力された白線候補データ、 黄線検出手段 4から出力された黄線候補データ、道路鉅検出手段 5から出力された 道路艇候補データから、車両 8が走行して 、る実際の車線を規定するレーンマーク のデータに対応するレーンマーク候補データを選別し、車両 8が走行している実際の 車線の車線データを決定して出力する（STEP005)。出力する車線データは、車両 8が走行している実際の車線の左側を規定する左側線の形状を示す左形状情報と、 該左側線を規定するレーンマークの色を示す左色情報と、該左側線を規定するレー ンマークの種別を示す左種別情報と、車両 8が走行して ヽる実際の車線の右側を規 定する右側線の形状を示す右形状情報と、該右側線を規定するレーンマークの色を 示す右色情報と、該右側線を規定するレーンマークの種別を示す右種別情報とを有 する。
[0067] まず、選別手段 6は、左白線候補データ D丄 1、左黄線候補データ D丄 2、左道路鉅 候補データ D丄 3に対して、それぞれの点列の座標データ P丄 1, P丄 2, P丄 3を用い て、その点列を近似する 2次式を求める。このとき、近似法としては、最小二乗法を用 いる。次に、選別手段 6は、それぞれの点列の座標データと求めた 2次式とが近似す る度合を示す係数である決定係数をそれぞれ求める。次に、選別手段 6は、左白線 候補データ D丄 1、左黄線候補データ D丄 2、左道路鉅候補データ D丄 3のうちから、 決定係数の値が最も高い候補を、実際の左側線を規定するレーンマークに対応する レーンマーク候補データ D丄 4として選別する。例えば、図 6 (a)に例示した場合では 、左白線候補データ D丄 1 (白線 AOを示すデータ） 1S レーンマーク候補データ D丄 4 として選別される。また、図 6 (b)に例示した場合では、左道路鉅候補データ D丄 3 (道 路鉅 A2を示すデータ）力 レーンマーク候補データ D丄 4として選別される。これによ り、レーンマーク候補データ D丄 4が適切に選別される。
[0068] 次に、選別手段 6は、右白線候補データ D_R1、右黄線候補データ D_R2、右道路鉅 候補データ D_R3に対して、それぞれの点列の座標データ P_R1, P_R2, P_R3を用い て、その点列を近似する 2次式を求める。このとき、近似法としては、最小二乗法を用 いる。次に、選別手段 6は、それぞれの点列の座標データと、求めた 2次式とから、そ れぞれの決定係数を求める。次に、選別手段 6は、右白線候補データ D_R1、右黄線 候補データ D_R2、右道路鉅候補データ D_R3のうちから、決定係数の値が最も高い 候補を、実際の右側線を規定するレーンマークに対応するレーンマーク候補データ D_R4として選別する。例えば、図 6 (a)に例示した場合では、右黄線候補データ D_R 2 (黄線 A1を示すデータ）力 レーンマーク候補データ D_R4として選別される。また、 図 6 (b)に例示した場合では、右道路鉅候補データ D_R3 (道路鉅 A3を示すデータ） 1S レーンマーク候補データ D_R4として選別される。これにより、レーンマーク候補デ ータ D_R4が適切に選別される。
[0069] 次に、選別手段 6は、選別したレーンマーク候補データ D丄 4, D_R4から、車線デー タを決定して出力する。まず、選別手段 6は、レーンマーク候補データ D丄 4の点列を 近似する 2次式を、左形状情報に設定すると共に、レーンマーク候補データ D_R4の 点列を近似する 2次式を、右形状情報に設定する。これにより、レーンマーク候補 D_ L4, D_R4を選別する際に算出した 2次式を活用して、車両 8が走行している実際の 車線の形状情報を的確に決定することができる。
[0070] 次に、選別手段 6は、レーンマーク候補データ D丄 4の色情報を、左色情報に設定 し、レーンマーク候補データ D丄 4の種別情報を、左種別情報に設定する。また、選 別手段 6は、レーンマーク候補データ D_R4の色情報を、右色情報に設定し、レーン マーク候補データ D_R4の種別情報を、右種別情報に設定する。そして、選別手段 6 は、決定した車線データを出力する。これにより、左側線及び右側線の形状情報と共 に、該左側線及び右側線を規定するレーンマークの色情報と種別情報とが取得され 、車線データとして出力される。
[0071] 次に、意味判断手段 7は、選別手段 6から出力された車線データの左色情報、右色 情報、左種別情報、右種別情報を用いて、車両 8が走行している実際の車線を規定 するレーンマークの意味を判断する処理を実行し、処理の結果を付加情報として車 線データと共に出力する（STEP006)。出力される付加情報は、左側線を規定する レーンマークの意味を判断した結果である左付加情報と、右側線を規定するレーン マークの意味を判断した結果である右付加情報とを有する。
[0072] 意味判断手段 7は、予め記憶された判断データに基づいて、前記レーンマークの 意味を判断し、判断の結果を左付加情報及び右付加情報に設定する。判断データ は、左色情報、右色情報、左種別情報、右種別情報の組み合わせに応じて決められ ているものである。
[0073] 例えば、米国においては、道路鉅がレーンマークとして設置された道路を車両が逆 走している場合 (正しい向きと逆向きに走行している場合）には、車両側から道路鉅 が赤く見えるようになつている。このため、左種別情報が「鉅」で且つ左色情報が「赤」 の場合、及び右種別情報が「鉅」で且つ右色情報が「赤」の場合には、車両 8が道路 を逆走していると判断し、左付加情報及び右付加情報に「逆走中」と設定する。また、 左種別情報が「線」又は「鉅」で、且つ左色情報が「黄」の場合には、左側線は踏み 越え禁止であると判断し、左付加情報に「踏み越え禁止」と設定する。また、右種別 情報が「線」又は「鉅」で、且つ右色情報力 S「黄」の場合には、右側線は踏み越え禁止 であると判断し、右付加情報に「踏み越え禁止」と設定する。また、左色情報が「白」 又は「その他」で、且つ右色情報が「白」又は「その他」の場合には、左付加情報及び 右付加情報に何も設定しな ヽ。
[0074] このとき、例えば、図 6 (a)に例示した場合では、左付加情報に「踏み越え禁止」と 設定され、右付加情報には何も設定されない。また、図 6 (b)に例示した場合では、 左付加情報及び右付加情報に「逆走中」と設定される。これにより、車両 8が走行して いる実際の車線を規定するレーンマークの道路法規上の意味を適切に判断すること ができ、出力される判断の結果を用いて、該レーンマークの意味に応じた車両 8の制 御や運転者への報知を行うことができる。
[0075] 以上の処理によって、道路のカラー画像から、各色のレーンマークが適切に認識さ れる。これにより、道路上に複数種類の色のレーンマークが存在する場合でも、車両
8が走行している実際の車線を適切に認識することができる。
[0076] なお、本実施形態においては、意味判断手段 6を備えるものとしたが、意味判断手 段 6を備えず、選別手段 6から出力される車線データを、そのまま車両 8の制御や運 転者への報知の際に用いてもょ 、。 [0077] また、本実施形態においては、道路艇検出手段 5を備えるものとしたが、道路艇検 出手段 5を備えず、選別手段 6は、白線検出手段 3と黄線検出手段 4とから出力され るレーンマーク候補データのうち力 レーンマークのデータを選別してもよい。
[0078] また、本実施形態においては、道路艇 A3, A4を、道路艇検出手段 5によって、形 状パターンに基づいて検出するものとした力 例えば、道路艇 A3, A4に特徴的な色 が付されて ヽる場合には、形状パターンに加えてさらに該特徴的な色に対応した色 情報を用いるか、又は該特徴的な色に対応した色情報のみを用いることによって、道 路鉅 A3, A4を検出するようにしてもよい。
[0079] また、本実施形態において、レーンマーク検出手段 3, 4は、白色及び黄色のレー ンマークを検出したが、他色のレーンマークを検出対象とする場合には、該他色に対 応した色情報に基づいてレーンマークを検出するレーンマーク検出手段を備えるよう にしてもよい。
産業上の利用可能性
[0080] 以上のように、本発明は、車両前方の道路のカラー画像を処理して、各色のレーン マークを適切に認識することができることから、車両における運転者への情報提示や 車両挙動の制御のために有用である。

Claims

請求の範囲
[1] 撮像手段と、
前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、 前記カラー画像の色情報に基づいて前記道路上の互いに異なる複数の所定色の レーンマークを検出する処理を実行し、該処理の結果をレーンマーク候補データとし て出力するレーンマーク検出手段と、
少なくとも前記レーンマーク検出手段から出力される各所定色のレーンマーク候補 データから、車両が走行している実際の車線を規定するレーンマークに対応するレ ーンマーク候補データを選別し、該選別したレーンマーク候補データに基づき、前記 実際の車線の情報を示す車線データを決定して出力する選別手段とを有する車両。
[2] 前記カラー画像から前記車両が走行する道路上の鉅型のレーンマークを、該鉅型 のレーンマークの形状のパターンに基づ 、て検出する処理を実行し、該処理の結果 をレーンマーク候補データとして出力する道路艇検出手段をさらに備え、
前記選別手段は、前記レーンマーク検出手段から出力される各所定色のレーンマ ーク候補データと、前記道路艇検出手段から出力されるレーンマーク候補データとか ら、前記車両が走行して 、る実際の車線を規定するレーンマークに対応するレーン マーク候補データを選別することを特徴とする請求項 1記載の車両。
[3] 前記各レーンマーク候補データは、それぞれ、前記レーンマークの位置を示すレ ーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報と を有し、
前記選別手段が出力する車線データは、前記実際の車線の形状情報と、該実際 の車線を規定するレーンマークの色情報と、該実際の車線を規定するレーンマーク の種別情報とを有し、
前記選別手段は、前記選別したレーンマーク候補データのうちのレーンマーク位置 データに基づいて、前記車線データのうちの形状情報を決定し、該選別したレーン マーク候補データのうちの色情報に基づいて、該車線データのうちの色情報を決定 し、該選別したレーンマーク候補データのうちの種別情報に基づいて、該車線データ のうちの種別情報を決定することを特徴とする請求項 1記載の車両。 [4] 前記選別手段が出力する車線データのうちの色情報と種別情報とに基づいて、前 記車線を規定するレーンマークの意味を判断する処理を実行し、該処理の結果を該 車線データと共に出力する意味判断手段を備えることを特徴とする請求項 3記載の 車両。
[5] 前記各レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前 記レーンマークの経路を示す点列の座標データ力 なり、
前記選別手段は、前記各レーンマーク候補データに対して、それぞれ、前記点列 の座標データに基づき、前記点列を近似する 2次以上の所定次数の多項式を求める と共に、該多項式による該点列の近似の度合を示す係数である決定係数を算出し、 該決定係数が最も高 、レーンマーク候補データを、前記実際の車線を規定するレー ンマークに対応するレーンマーク候補データとして選別することを特徴とする請求項 3又は 4記載の車両。
[6] 前記選別手段は、前記車線データのうちの形状情報を、前記選別したレーンマー ク候補データの前記点列を近似する前記多項式に基づいて決定することを特徴とす る請求項 5記載の車両。
[7] 前記各レーンマーク候補データは、それぞれ、前記車線の左側を規定するレーン マークの候補データである左レーンマーク候補データと、前記車線の右側を規定す るレーンマークの候補データである右レーンマーク候補データと力 なり、前記左レ ーンマーク候補データは、それぞれ、前記車線の左側を規定するレーンマークの位 置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの 種別情報とを有し、前記右レーンマーク候補データは、それぞれ、前記車線の右側 を規定するレーンマークの位置を示すレーンマーク位置データと、該レーンマークの 色情報と、該レーンマークの種別情報とを有し、
前記選別手段が出力する車線データは、前記実際の車線の左側を規定する左側 線の形状情報である左形状情報と、該左側線を規定するレーンマークの色情報であ る左色情報と、該左側線を規定するレーンマークの種別情報である左種別情報と、 前記実際の車線の右側を規定する右側線の形状情報である右形状情報と、該右側 線を規定するレーンマークの色情報である右色情報と、該右側線を規定するレーン マークの種別情報である右種別情報とを有し、
前記選別手段は、前記左レーンマーク候補データから、前記実際の車線の左側を 規定するレーンマークに対応する左レーンマーク候補データを選別すると共に、前 記右レーンマーク候補データから、前記実際の車線の右側を規定するレーンマーク に対応する右レーンマーク候補データを選別し、前記選別した左レーンマーク候補 データのうちのレーンマーク位置データに基づいて、前記車線データのうちの左形 状情報を決定し、該選別した左レーンマーク候補データのうちの色情報に基づいて 、該車線データのうちの左色情報を決定し、該選別した左レーンマーク候補データの うちの種別情報に基づいて、該車線データのうちの左種別情報を決定すると共に、 前記選別した右レーンマーク候補データのうちのレーンマーク位置データに基づい て、前記車線データのうちの右形状情報を決定し、該選別した右レーンマーク候補 データのうちの色情報に基づいて、該車線データのうちの右色情報を決定し、該選 別した右レーンマーク候補データのうちの種別情報に基づ 、て、該車線データのう ちの右種別情報を決定することを特徴とする請求項 1記載の車両。
[8] 前記選別手段が出力する車線データのうちの左色情報と右色情報と左種別情報と 右種別情報とに基づいて、前記左側線及び右側線を規定するレーンマークの意味 を判断する処理を実行し、該処理の結果を該車線データと共に出力する意味判断 手段を備えることを特徴とする請求項 7記載の車両。
[9] 前記各左レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、 前記車線の左側を規定するレーンマークの経路を示す点列である左点列の座標デ ータからなり、前記各右レーンマーク候補データのうちのレーンマーク位置データは 、それぞれ、前記車線の右側を規定するレーンマークの経路を示す点列である右点 列の座標データからなり、
前記選別手段は、前記各左レーンマーク候補データに対して、それぞれ、前記左 点列の座標データに基づき、前記左点列を近似する 2次以上の所定次数の多項式 を求めると共に、該多項式による該左点列の近似の度合を示す係数である決定係数 を算出し、該決定係数が最も高い左レーンマーク候補データを、前記実際の車線の 左側を規定するレーンマークに対応する左レーンマーク候補データとして選別し、前 記各右レーンマーク候補データに対して、それぞれ、前記右点列の座標データに基 づき、前記右点列を近似する 2次以上の所定次数の多項式を求めると共に、該多項 式による該右点列の近似の度合を示す係数である決定係数を算出し、該決定係数 が最も高 、右レーンマーク候補データを、前記実際の車線の右側を規定するレーン マークに対応する右レーンマーク候補データとして選別することを特徴とする請求項 7記載の車両。
[10] 前記選別手段は、前記車線データのうちの左形状情報を、前記選別した左レーン マーク候補データの前記左点列を近似する多項式に基づ 、て決定すると共に、前 記車線データのうちの右形状情報を、前記選別した右レーンマーク候補データの前 記右点列を近似する多項式に基づいて決定することを特徴とする請求項 9記載の車 両。
[11] 車両に搭載された撮像手段を介して道路のカラー画像を取得する画像取得手段と 前記カラー画像の色情報に基づいて前記道路上の互いに異なる複数の所定色の レーンマークを検出する処理を実行し、該処理の結果をレーンマーク候補データとし て出力するレーンマーク検出手段と、
少なくとも前記レーンマーク検出手段から出力される各所定色のレーンマーク候補 データから、前記車両が走行している実際の車線を規定するレーンマークに対応す るレーンマーク候補データを選別し、該選別したレーンマーク候補データに基づき、 前記実際の車線の情報を示す車線データを決定して出力する選別手段とを有する 車線認識装置。
[12] 前記カラー画像から前記車両が走行する道路上の鉅型のレーンマークを、該鉅型 のレーンマークの形状のパターンに基づ 、て検出する処理を実行し、該処理の結果 をレーンマーク候補データとして出力する道路艇検出手段をさらに備え、
前記選別手段は、前記レーンマーク検出手段から出力される各所定色のレーンマ ーク候補データと、前記道路艇検出手段から出力されるレーンマーク候補データとか ら、前記車両が走行して 、る実際の車線を規定するレーンマークに対応するレーン マーク候補データを選別することを特徴とする請求項 11記載の車線認識装置。 [13] 前記各レーンマーク候補データは、それぞれ、前記レーンマークの位置を示すレ ーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報と を有し、
前記選別手段が出力する車線データは、前記実際の車線の形状情報と、該実際 の車線を規定するレーンマークの色情報と、該実際の車線を規定するレーンマーク の種別情報とを有し、
前記選別手段は、前記選別したレーンマーク候補データのうちのレーンマーク位置 データに基づいて、前記車線データのうちの形状情報を決定し、該選別したレーン マーク候補データのうちの色情報に基づいて、該車線データのうちの色情報を決定 し、該選別したレーンマーク候補データのうちの種別情報に基づいて、該車線データ のうちの種別情報を決定することを特徴とする請求項 11記載の車線認識装置。
[14] 前記選別手段が出力する車線データのうちの色情報と種別情報とに基づいて、前 記車線を規定するレーンマークの意味を判断する処理を実行し、該処理の結果を該 車線データと共に出力する意味判断手段を備えることを特徴とする請求項 13記載の 車線認識装置。
[15] 前記各レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前 記レーンマークの経路を示す点列の座標データ力 なり、
前記選別手段は、前記各レーンマーク候補データに対して、それぞれ、前記点列 の座標データに基づき、前記点列を近似する 2次以上の所定次数の多項式を求める と共に、該多項式による該点列の近似の度合を示す係数である決定係数を算出し、 該決定係数が最も高 、レーンマーク候補データを、前記実際の車線を規定するレー ンマークに対応するレーンマーク候補データとして選別することを特徴とする請求項 13又は 14記載の車線認識装置。
[16] 前記選別手段は、前記車線データのうちの形状情報を、前記選別したレーンマー ク候補データの前記点列を近似する前記多項式に基づいて決定することを特徴とす る請求項 15記載の車線認識装置。
[17] 前記各レーンマーク候補データは、それぞれ、前記車線の左側を規定するレーン マークの候補データである左レーンマーク候補データと、前記車線の右側を規定す るレーンマークの候補データである右レーンマーク候補データと力 なり、前記左レ ーンマーク候補データは、それぞれ、前記車線の左側を規定するレーンマークの位 置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの 種別情報とを有し、前記右レーンマーク候補データは、それぞれ、前記車線の右側 を規定するレーンマークの位置を示すレーンマーク位置データと、該レーンマークの 色情報と、該レーンマークの種別情報とを有し、
前記選別手段が出力する車線データは、前記実際の車線の左側を規定する左側 線の形状情報である左形状情報と、該左側線を規定するレーンマークの色情報であ る左色情報と、該左側線を規定するレーンマークの種別情報である左種別情報と、 前記実際の車線の右側を規定する右側線の形状情報である右形状情報と、該右側 線を規定するレーンマークの色情報である右色情報と、該右側線を規定するレーン マークの種別情報である右種別情報とを有し、
前記選別手段は、前記左レーンマーク候補データから、前記実際の車線の左側を 規定するレーンマークに対応する左レーンマーク候補データを選別すると共に、前 記右レーンマーク候補データから、前記実際の車線の右側を規定するレーンマーク に対応する右レーンマーク候補データを選別し、前記選別した左レーンマーク候補 データのうちのレーンマーク位置データに基づいて、前記車線データのうちの左形 状情報を決定し、該選別した左レーンマーク候補データのうちの色情報に基づいて 、該車線データのうちの左色情報を決定し、該選別した左レーンマーク候補データの うちの種別情報に基づいて、該車線データのうちの左種別情報を決定すると共に、 前記選別した右レーンマーク候補データのうちのレーンマーク位置データに基づい て、前記車線データのうちの右形状情報を決定し、該選別した右レーンマーク候補 データのうちの色情報に基づいて、該車線データのうちの右色情報を決定し、該選 別した右レーンマーク候補データのうちの種別情報に基づ 、て、該車線データのう ちの右種別情報を決定することを特徴とする請求項 11記載の車線認識装置。
前記選別手段が出力する車線データのうちの左色情報と右色情報と左種別情報と 右種別情報とに基づいて、前記左側線及び右側線を規定するレーンマークの意味 を判断する処理を実行し、該処理の結果を該車線データと共に出力する意味判断 手段を備えることを特徴とする請求項 17記載の車線認識装置。
[19] 前記各左レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、 前記車線の左側を規定するレーンマークの経路を示す点列である左点列の座標デ ータからなり、前記各右レーンマーク候補データのうちのレーンマーク位置データは 、それぞれ、前記車線の右側を規定するレーンマークの経路を示す点列である右点 列の座標データからなり、
前記選別手段は、前記各左レーンマーク候補データに対して、それぞれ、前記左 点列の座標データに基づき、前記左点列を近似する 2次以上の所定次数の多項式 を求めると共に、該多項式による該左点列の近似の度合を示す係数である決定係数 を算出し、該決定係数が最も高い左レーンマーク候補データを、前記実際の車線の 左側を規定するレーンマークに対応する左レーンマーク候補データとして選別し、前 記各右レーンマーク候補データに対して、それぞれ、前記右点列の座標データに基 づき、前記右点列を近似する 2次以上の所定次数の多項式を求めると共に、該多項 式による該右点列の近似の度合を示す係数である決定係数を算出し、該決定係数 が最も高 、右レーンマーク候補データを、前記実際の車線の右側を規定するレーン マークに対応する右レーンマーク候補データとして選別することを特徴とする請求項 17記載の車線認識装置。
[20] 前記選別手段は、前記車線データのうちの左形状情報を、前記選別した左レーン マーク候補データの前記左点列を近似する多項式に基づ 、て決定すると共に、前 記車線データのうちの右形状情報を、前記選別した右レーンマーク候補データの前 記右点列を近似する多項式に基づいて決定することを特徴とする請求項 19記載の 車線認識装置。
PCT/JP2006/312290 2005-06-27 2006-06-20 車両及び車線認識装置 WO2007000911A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE602006018919T DE602006018919D1 (de) 2005-06-27 2006-06-20 Fahrzeug und spurerkennungsvorrichtung
CA2609335A CA2609335C (en) 2005-06-27 2006-06-20 Vehicle and lane recognition device
US11/919,641 US8144926B2 (en) 2005-06-27 2006-06-20 Vehicle and lane recognition device
EP06766951A EP1898357B1 (en) 2005-06-27 2006-06-20 Vehicle and lane recognition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-186382 2005-06-27
JP2005186382A JP4365350B2 (ja) 2005-06-27 2005-06-27 車両及び車線認識装置

Publications (1)

Publication Number Publication Date
WO2007000911A1 true WO2007000911A1 (ja) 2007-01-04

Family

ID=37595165

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/312290 WO2007000911A1 (ja) 2005-06-27 2006-06-20 車両及び車線認識装置

Country Status (6)

Country Link
US (1) US8144926B2 (ja)
EP (1) EP1898357B1 (ja)
JP (1) JP4365350B2 (ja)
CA (1) CA2609335C (ja)
DE (1) DE602006018919D1 (ja)
WO (1) WO2007000911A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031418A1 (ja) * 2011-08-30 2013-03-07 株式会社メガチップス 線分および円弧検出装置
JP2013050762A (ja) * 2011-08-30 2013-03-14 Mega Chips Corp 線分および円弧検出装置
JP2013069043A (ja) * 2011-09-21 2013-04-18 Mega Chips Corp 線分および円弧検出装置
WO2014129474A1 (ja) * 2013-02-25 2014-08-28 株式会社デンソー 区画線を認識する装置及びその方法
JP2016004459A (ja) * 2014-06-18 2016-01-12 富士重工業株式会社 画像処理装置
CN107901907A (zh) * 2017-09-30 2018-04-13 惠州市德赛西威汽车电子股份有限公司 一种基于色块统计的车道线检测方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5076836B2 (ja) * 2007-11-26 2012-11-21 トヨタ自動車株式会社 逆走防止装置
US9123242B2 (en) * 2007-12-05 2015-09-01 Nec Corporation Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
JP4962865B2 (ja) * 2007-12-14 2012-06-27 トヨタ自動車株式会社 運転支援装置
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP5014237B2 (ja) * 2008-04-23 2012-08-29 本田技研工業株式会社 レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
US8311283B2 (en) * 2008-07-06 2012-11-13 Automotive Research&Testing Center Method for detecting lane departure and apparatus thereof
DE102009007342A1 (de) * 2009-02-04 2010-08-05 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung
KR101121777B1 (ko) * 2010-04-14 2012-06-12 숭실대학교산학협력단 차선 감지 방법
WO2012014627A1 (ja) 2010-07-29 2012-02-02 本田技研工業株式会社 車両周辺監視装置
JP2012155612A (ja) * 2011-01-27 2012-08-16 Denso Corp 車線検出装置
KR101279712B1 (ko) * 2011-09-09 2013-06-27 연세대학교 산학협력단 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
EP2629243A1 (de) * 2012-02-15 2013-08-21 Delphi Technologies, Inc. Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
KR101428165B1 (ko) * 2012-06-29 2014-08-07 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
KR101252015B1 (ko) * 2012-08-16 2013-04-09 주식회사 피엘케이 테크놀로지 차량의 경로 변경을 판정하는 내비게이션 시스템
DE102014210411A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
JP2015121954A (ja) * 2013-12-24 2015-07-02 株式会社デンソー 輝度値算出装置及び車線検出システム
JP6230482B2 (ja) * 2014-05-19 2017-11-15 本田技研工業株式会社 レーンマーク認識装置、車両及びレーンマーク認識方法
US9321461B1 (en) * 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
JP6389119B2 (ja) * 2014-12-25 2018-09-12 株式会社デンソー 車線境界線認識装置
JP2017111554A (ja) * 2015-12-15 2017-06-22 株式会社リコー 自動走行装置、サーバ及びプログラム
EP3291133B1 (en) * 2016-08-31 2021-09-29 Veoneer Sweden AB Vision system and method for a motor vehicle
KR102407815B1 (ko) 2016-12-22 2022-06-13 삼성전자주식회사 영상 처리 장치 및 방법
JP6702849B2 (ja) * 2016-12-22 2020-06-03 株式会社Ｓｏｋｅｎ 区画線認識装置
JP6450413B2 (ja) * 2017-03-31 2019-01-09 本田技研工業株式会社 車両制御装置
KR101912853B1 (ko) * 2017-07-21 2018-10-30 팅크웨어(주) 전자 기기 및 전자 기기의 차선 안내 방법
US10703363B2 (en) * 2017-10-13 2020-07-07 Ford Global Technologies, Llc In-vehicle traffic assist
EP3764321A4 (en) * 2018-03-09 2021-10-27 Pioneer Corporation LINE DETECTION DEVICE, LINE DETECTION METHOD, PROGRAM AND STORAGE MEDIA
CN109214334B (zh) * 2018-09-03 2020-12-29 百度在线网络技术（北京）有限公司 车道线处理方法和装置
CN111523471B (zh) * 2020-04-23 2023-08-04 阿波罗智联(北京)科技有限公司 车辆所在车道的确定方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62221800A (ja) * 1985-12-11 1987-09-29 株式会社デンソー 路面上の車線認識装置
JPH05151341A (ja) * 1991-11-28 1993-06-18 Nissan Motor Co Ltd 車両用走行路検出装置
JPH11213155A (ja) * 1998-01-27 1999-08-06 Denso Corp レーンマーク認識装置、車両走行制御装置および記録媒体
JP2003123058A (ja) * 2001-10-17 2003-04-25 Hitachi Ltd 走行レーン認識装置
JP2003317106A (ja) * 2002-04-26 2003-11-07 Nissan Motor Co Ltd 走行路認識装置
JP2004139338A (ja) 2002-10-17 2004-05-13 Nissan Motor Co Ltd レーンマーカ認識装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3374570B2 (ja) * 1995-01-31 2003-02-04 いすゞ自動車株式会社 車線逸脱警報装置
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
US6526352B1 (en) * 2001-07-19 2003-02-25 Intelligent Technologies International, Inc. Method and arrangement for mapping a road
KR100325144B1 (ko) * 1999-12-03 2002-02-21 이계안 차량 전용 씨씨디 카메라 장치
JP3630100B2 (ja) * 2000-12-27 2005-03-16 日産自動車株式会社 車線検出装置
JP4143521B2 (ja) * 2003-11-12 2008-09-03 三菱電機株式会社 車載用カメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62221800A (ja) * 1985-12-11 1987-09-29 株式会社デンソー 路面上の車線認識装置
JPH05151341A (ja) * 1991-11-28 1993-06-18 Nissan Motor Co Ltd 車両用走行路検出装置
JPH11213155A (ja) * 1998-01-27 1999-08-06 Denso Corp レーンマーク認識装置、車両走行制御装置および記録媒体
JP2003123058A (ja) * 2001-10-17 2003-04-25 Hitachi Ltd 走行レーン認識装置
JP2003317106A (ja) * 2002-04-26 2003-11-07 Nissan Motor Co Ltd 走行路認識装置
JP2004139338A (ja) 2002-10-17 2004-05-13 Nissan Motor Co Ltd レーンマーカ認識装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GEHRIG S K ET AL.: "Lane recognition on poorly structured roads - the bots dot problem in Califomia", INTELLIGENT TRANSPORTATION SYSTEMS, 2002. PROCEEDINGS. THE IEEE 5TH IN TERNATIONAL CONFERENCE ON SEPT. 3-6, 2002, PISCATAWAY, NJ, USA,IEEE, 3 September 2002 (2002-09-03), pages 67 - 71, XP010608263
See also references of EP1898357A4
THORPE C: "TOWARD AUTONOMOUS DRIVING: THE CMU NAVLAB. OPART I-PERCEPTION", IEEE EXPERT, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 6, no. 4, 1 August 1991 (1991-08-01), pages 31 - 42

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031418A1 (ja) * 2011-08-30 2013-03-07 株式会社メガチップス 線分および円弧検出装置
JP2013050762A (ja) * 2011-08-30 2013-03-14 Mega Chips Corp 線分および円弧検出装置
US9443318B2 (en) 2011-08-30 2016-09-13 Megachips Corporation Line segment and arc detection apparatus
US9721179B2 (en) 2011-08-30 2017-08-01 Megachips Corporation Line segment and arc detection apparatus
JP2013069043A (ja) * 2011-09-21 2013-04-18 Mega Chips Corp 線分および円弧検出装置
WO2014129474A1 (ja) * 2013-02-25 2014-08-28 株式会社デンソー 区画線を認識する装置及びその方法
JP2016004459A (ja) * 2014-06-18 2016-01-12 富士重工業株式会社 画像処理装置
CN107901907A (zh) * 2017-09-30 2018-04-13 惠州市德赛西威汽车电子股份有限公司 一种基于色块统计的车道线检测方法
CN107901907B (zh) * 2017-09-30 2019-12-20 惠州市德赛西威汽车电子股份有限公司 一种基于色块统计的车道线检测方法

Also Published As

Publication number Publication date
CA2609335A1 (en) 2007-01-04
EP1898357A1 (en) 2008-03-12
US8144926B2 (en) 2012-03-27
CA2609335C (en) 2013-07-16
US20090080704A1 (en) 2009-03-26
JP4365350B2 (ja) 2009-11-18
DE602006018919D1 (de) 2011-01-27
EP1898357B1 (en) 2010-12-15
JP2007004668A (ja) 2007-01-11
EP1898357A4 (en) 2008-09-17

Similar Documents

Publication Publication Date Title
WO2007000911A1 (ja) 車両及び車線認識装置
JP5679461B2 (ja) 有効車線区分線を確定する方法及び装置
US8340866B2 (en) Vehicle and steering control device for vehicle
JP4321821B2 (ja) 画像認識装置及び画像認識方法
EP1524638B9 (en) Information display apparatus and method
US7403219B2 (en) Driving lane recognizer and driving lane recognizing method
JP4568637B2 (ja) 道路認識装置
EP1304607A1 (en) Lane recognition system
US20130266175A1 (en) Road structure detection and tracking
US9352746B2 (en) Lane relative position estimation method and system for driver assistance systems
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
JP7359715B2 (ja) 道路形状推定装置
JP2003228711A (ja) レーンマーク認識方法
JP2001092970A (ja) 車線認識装置
JPWO2014017302A1 (ja) 車載用周囲環境認識装置
KR101922852B1 (ko) 영상 기반 색상정보를 이용한 초지 경계 검출 방법
JP3748811B2 (ja) 車線境界判定装置
JP5355209B2 (ja) ナビゲーション装置、自車の走行車線の判定方法および判定プログラム
JP2014164492A (ja) 区画線認識装置
JPH10300494A (ja) 車輌位置検出装置および方法ならびに経路案内装置および方法
JP6608664B2 (ja) 自車位置認識装置
CN111066024B (zh) 用于识别车道的方法和装置、驾驶员辅助系统以及车辆
CN116134492A (zh) 用于对至少部分自动行驶的交通工具的环境进行环境感知的方法和装置
US20210232832A1 (en) Method for Lane and Roadway Detection

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11919641

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2609335

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2006766951

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE