WO2006101004A1 - 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、車両、および車両用画像処理システムの構成方法 - Google Patents

車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、車両、および車両用画像処理システムの構成方法 Download PDF

Info

Publication number
WO2006101004A1
WO2006101004A1 PCT/JP2006/305257 JP2006305257W WO2006101004A1 WO 2006101004 A1 WO2006101004 A1 WO 2006101004A1 JP 2006305257 W JP2006305257 W JP 2006305257W WO 2006101004 A1 WO2006101004 A1 WO 2006101004A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane mark
road surface
vehicle
luminance
image processing
Prior art date
Application number
PCT/JP2006/305257
Other languages
English (en)
French (fr)
Inventor
Kiyozumi Unoura
Original Assignee
Honda Motor Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co., Ltd. filed Critical Honda Motor Co., Ltd.
Priority to EP06729250.8A priority Critical patent/EP1862972B1/en
Priority to US11/886,566 priority patent/US7920721B2/en
Publication of WO2006101004A1 publication Critical patent/WO2006101004A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Definitions

  • Vehicular image processing system Vehicular image processing system, vehicular image processing method, vehicular image processing program, vehicle, and vehicular image processing system configuration method
  • the present invention relates to a vehicle image processing system, a vehicle image processing method, a vehicle image processing program, a vehicle, and a method of configuring the system.
  • a technical method for detecting a lane mark such as a white line from a road surface image in front of the vehicle taken by a camera mounted on the vehicle has been proposed (for example, Japanese Patent Laid-Open No. 11 147481 and Japanese Patent Application Laid-Open No. 11-147481). (See Kaihei 11 147473).
  • the detection result of the lane mark is used, for example, to control the lateral position of the vehicle with reference to the positions of the lane marks on the left and right of the vehicle.
  • the white line is detected by utilizing the property that the luminance of the white line included in the road surface image is higher than that of other road surface portions.
  • the guardrail G extends along the road on the left side of the vehicle, and light such as left oblique upward force sunlight is applied.
  • the white line M similarly to the white line M, it can be detected that the luminance of the road surface portion M ′ sandwiched between the pair of parallel shadows S of the guardrail G is higher than the left and right shadow S portions. Therefore, this road surface portion (pseudo white line) M ′ may be erroneously detected as a white line.
  • the lateral position control of the vehicle based on the detection result of the white line may be inappropriate to make the driver feel uncomfortable considering the actual white line.
  • the present invention suppresses erroneous detection of a pseudo lane mark as a true lane mark, and can detect the lane mark with higher accuracy, such as a system, method, vehicle, and lane mark detection.
  • the problem to be solved is to provide a program for providing a function to a computer and a method for configuring the system. Means for solving the problem
  • An image processing system for a vehicle for solving the above-described problem is an image processing system for a vehicle that executes image processing based on a road surface image captured by an imaging device mounted on the vehicle, In the road image captured by the imaging device, the reference area setting unit that sets a reference area corresponding to a road surface portion other than the lane mark, and the luminance of each pixel of the road image in the reference area set by the reference area setting unit By measuring the frequency, a histogram creation unit that creates a histogram, and a road surface cluster extraction that extracts from the histogram created by the histogram creation unit a group of parts whose width, height, or area is greater than or equal to a threshold value as a road surface cluster Lane mark candidate for detecting lane mark candidates based on the road surface image taken by the A luminance parameter calculation unit that calculates a luminance parameter based on the luminance of the lane mark candidate detected by the detection unit and the lane mark candidate detection unit, and the luminance parameter calculated
  • the brightness parameter calculated by the brightness parameter calculation unit deviates from the brightness range of the road surface cluster extracted by the road surface cluster extraction unit.
  • a lane mark detection unit that detects a lane mark candidate as a true lane mark.
  • a “road surface cluster” is extracted from the “histogram” of the luminance of each pixel of the “reference region” in the road image. Only the “lane mark candidates” whose “brightness parameter” value deviates from the luminance range of the “road surface cluster” can be detected as a true lane mark.
  • the "reference area” corresponds to a road surface portion other than the lane mark, a group of pieces having a width, height, or area equal to or greater than a threshold value extracted from the "histogram" of luminance at each point.
  • the brightness range of the “road surface cluster” corresponds to the brightness distribution of the road surface part excluding the lane mark.
  • the fact that the brightness parameter of “lane mark candidate” is included in the brightness range of “road surface cluster” means that this lane mark candidate has a brightness distribution almost the same as the road portion excluding the lane mark. Will be.
  • the value of “luminance parameter” is included in the luminance range of “road surface cluster” in “lane mark candidates”.
  • the detected lane mark (pseudo lane mark) is prevented from being detected as a true lane mark, so that erroneous detection (false detection) of the lane mark can be suppressed. Thereby, a true lane mark can be detected with high accuracy.
  • the reference area setting unit includes a pair of offset lines that are offset closer to the center of the lane than the pair of left and right true lane marks detected by the lane mark detection unit. It is characterized in that an area in which left and right are defined is set as a reference area.
  • the left and right sides of the reference area are demarcated by the offset lines offset toward the center of the lane from the pair of left and right true lane marks.
  • the reference area can be accurately associated with the road surface portion excluding the true lane mark.
  • a true lane mark can be detected with higher accuracy.
  • the vehicle image processing system of the present invention is characterized in that the reference region setting unit sets a reference region whose upper and lower sides are defined by lines offset from the upper and lower edges of the road surface image. .
  • the vehicle image processing system of the present invention it is possible to save the resources required for image processing by suppressing the area of the reference region. Also, when the image processing result (lane mark detection result) is used for vehicle lateral position control, the vehicle lateral position is controlled based on the detection result. By defining the upper and lower sides of the reference area, the lateral position control of the vehicle can be made appropriate.
  • the road surface cluster extracting unit first extracts a block of parts having a shape in which the middle part is raised from both end parts from the histogram created by the histogram creating part. It is extracted as a road surface cluster candidate, and a primary road surface cluster candidate whose area is equal to or greater than the threshold is extracted as a road surface cluster.
  • a road surface cluster having an appropriate luminance range can be extracted as representing the luminance distribution of the road surface portion excluding the lane mark. This As described above, the true lane mark can be detected with high accuracy.
  • the road surface cluster extraction unit includes a noise component in which both end portions of a plurality of primary road surface cluster candidates overlap and a valley portion formed in the overlap portion is included in the histogram. If it is shallow, the multiple primary road surface cluster candidates are integrated and extracted as a group of secondary road surface cluster candidates, and secondary road surface cluster candidates whose area is equal to or greater than the threshold value are extracted as road surface clusters. It is characterized by.
  • road surface clusters having an appropriate luminance range are extracted as representing the luminance distribution of the road surface portion excluding the lane mark by reducing or eliminating the influence of the noise component. Can be done. As a result, the true lane mark can be detected with higher accuracy.
  • the vehicle image processing system of the present invention is detected by a primary lane mark candidate detection unit that detects all lane mark candidates as primary lane mark candidates and a primary lane mark candidate detection unit.
  • the lane mark candidate detection unit detects a secondary lane mark candidate detection unit that detects a point whose distance on the center line of the vehicle driving lane is equal to or less than a threshold value as a secondary lane mark candidate detection unit.
  • the luminance parameter calculation unit is configured to calculate a luminance parameter based on the luminance of the secondary lane mark candidate detected by the secondary lane mark candidate detection unit.
  • the distance from the point on the center line of the vehicle travel lane is less than or equal to the threshold value.
  • the secondary lane mark candidates those whose luminance parameters are included in the luminance range of the road surface cluster are not erroneously detected as true lane marks as described above.
  • secondary lane mark candidate reinforcement By narrowing the distance of point power on the center line of the vehicle lane to a threshold value or less, it is possible to eliminate those that are unlikely to be true lane marks. In addition, by narrowing down the primary lane mark candidates to secondary lane marks, the load of the brightness parameter calculation process can be reduced.
  • the vehicle image processing system of the present invention includes a primary lane mark candidate detection unit that detects all lane mark candidates as primary lane mark candidates, and a primary lane mark candidate.
  • a primary lane mark candidate detection unit that detects all lane mark candidates as primary lane mark candidates, and a primary lane mark candidate.
  • the secondary lane mark candidate detection unit detects the lane mark candidate.
  • a detection unit is configured, and the luminance parameter calculation unit calculates a luminance parameter based on the luminance of the secondary lane mark candidate detected by the secondary lane mark candidate detection unit.
  • all lane mark candidates that is, "primary lane mark candidates" that overlap with the reference region are detected as “secondary lane mark candidates”.
  • those whose luminance parameters are included in the luminance range of the road surface cluster are not erroneously detected as true lane marks as described above.
  • narrowing down the secondary lane mark candidates to those that overlap the reference area it is possible to eliminate those that are unlikely to be true lane marks.
  • the load of the brightness parameter calculation process can be reduced.
  • the luminance parameter calculation unit overlaps the reference region by the reference region setting unit among the secondary lane mark candidates detected by the secondary lane mark candidate detection unit. It is characterized by calculating the luminance parameter based on the luminance of the part.
  • the “road histogram” is extracted according to the brightness of the road image in the reference area, whereas the “brightness parameter” is the reference area. It is calculated according to the brightness of the road surface image. Accordingly, the true lane mark can be detected with higher accuracy depending on whether or not the power is included in the luminance range of the road surface histogram of the luminance parameter reference region.
  • the lane mark detection unit detects the lane mark that has been detected first as the true lane mark. It detects as.
  • the vehicle image processing system of the present invention is characterized in that the lane mark candidate detection unit detects an edge or an edge point near the center of the lane as a lane mark candidate.
  • an edge or edge point near the center of the lane mark is detected as a lane mark.
  • a vehicle image processing method of the present invention for solving the above-described problem is a vehicle image processing method for executing image processing based on a road surface image captured by an imaging device mounted on a vehicle.
  • a reference area setting step for setting a reference area corresponding to a road surface portion other than the lane mark, and each pixel of the road image in the reference area set in the reference area setting step
  • a histogram creation step that creates a histogram, and a portion of the histogram whose width, height, or area exceeds the threshold from the histogram created in the histogram creation step is defined as a road surface cluster.
  • the lane mark A lane mark candidate detecting step for detecting Based on the road surface cluster extraction step to be extracted and the road surface image taken by the imaging device, the lane mark A lane mark candidate detecting step for detecting, a luminance parameter calculating step for calculating a luminance parameter based on the luminance of the lane mark candidate detected in the lane mark candidate detecting step, and a luminance parameter calculated in the luminance parameter calculating step.
  • the lane mark candidate included in the luminance range of the road surface cluster extracted in the road surface cluster extraction step is detected as a pseudo lane mark, while the luminance parameter calculated in the luminance parameter calculation step is the road surface extracted in the road surface cluster extraction step.
  • a “lane mark candidate” that includes a “brightness parameter” value in the luminance range of the “road surface cluster” (pseudo lane mark) is a true label.
  • An image processing program for a vehicle according to the present invention for solving the above-described problems has a function of executing image processing based on a road surface image captured by an imaging device mounted on the vehicle.
  • a vehicle image processing program to be applied to a computer wherein a reference area setting function for setting a reference area corresponding to a road surface portion other than a lane mark is set on a road surface image picked up by an imaging device, and a reference area setting function
  • a reference area setting function for setting a reference area corresponding to a road surface portion other than a lane mark is set on a road surface image picked up by an imaging device
  • a reference area setting function By measuring the frequency of brightness of each pixel of the road surface image in the reference area set by, the histogram creation function that creates a histogram, and the width, height, or area from the histogram created by the histogram creation function
  • a road surface cluster extraction function that extracts a portion of a cluster whose road surface is equal to or greater than a threshold value
  • a "lane mark candidate" that includes a "brightness parameter” value in the luminance range of the "road surface cluster” (pseudo lane mark) is true.
  • the method of the present invention for solving the above problem is characterized in that a part or all of the vehicle periphery monitoring program is downloaded to an in-vehicle computer in order to constitute a vehicle periphery monitoring system.
  • the system capable of detecting a true lane mark with high accuracy is provided.
  • It can be configured by downloading a part or all of the program to the in-vehicle computer at an arbitrary timing.
  • a vehicle according to the present invention for solving the above-mentioned problems is characterized in that the vehicle image system is mounted.
  • a highly accurate detection result of the lane mark by the vehicle image system can be used.
  • the lateral position of the vehicle is appropriately controlled based on the detection result. be able to.
  • the vehicle image processing system 100 shown in FIG. 1 provides the electronic control unit 12 as a hardware mounted on the vehicle 10 and a reference area setting processing function to the electronic control unit. It is configured by the “vehicle image processing program” of the present invention as software.
  • the vehicle periphery monitoring program may be initially stored in the memory of the in-vehicle computer, but a part or all of it may be downloaded from a predetermined sano at any time, such as when a driver or in-vehicle computer power request is received. May be.
  • the vehicle image processing system 100 executes image processing based on a road surface image captured by a camera 14 mounted on the vehicle 10.
  • the vehicle image processing system 100 includes a luminance measurement unit 102, a reference region setting unit 110, a histogram creation unit 120, a road surface cluster extraction unit 130, and a white line edge point detection unit (lane mark detection unit) 140.
  • Each part is composed of CPU, ROM, RAM, I / O (input Z output circuit) and so on.
  • the luminance measurement unit 102 measures the luminance of the road surface image captured by the camera 14 for each pixel.
  • the luminance measured for each pixel by the luminance measuring unit 102 is stored in a memory (not shown).
  • the reference area setting unit 110 sets a “reference area” corresponding to a road surface portion other than the lane mark in the road surface image captured by the camera 12.
  • the histogram creating unit 120 creates a “histogram” of luminance by measuring the frequency of luminance of each pixel of the road surface image in the reference region set by the reference region setting unit 110.
  • the road surface cluster extraction unit 130 determines whether the histogram created by the histogram creation unit 120 is a histogram. Then, a group of portions whose width, height, or area is equal to or greater than a threshold is extracted as a “road surface cluster”.
  • the primary white line candidate edge point detection unit 141 detects all white line candidate edge points as “primary white line candidate edge points (primary lane mark candidates)”.
  • the secondary white line candidate edge point detection unit 142 overlaps the reference region set by the reference region setting unit 110 among the primary white line candidate edge points detected by the primary white line edge point detection unit 141 (included) Are detected as “secondary white line candidate edge points (secondary lane mark candidates)”.
  • the luminance parameter calculation unit 143 is a portion that overlaps the reference region set by the reference region setting unit 110 among the white line candidates including the secondary white line candidate edge point detected by the secondary white line candidate edge point detection unit 142.
  • the “brightness parameter” calculated by the luminance parameter calculation unit 143 deviates from the luminance range of the “road surface cluster” extracted by the road surface cluster extraction unit 130! /, Only secondary white line candidate edge points are detected as true white line edge points.
  • the reference area setting unit 110 executes “reference area setting processing” (FIG. 2ZS 110).
  • the presence / absence of a white line edge point detection result (white line edge point information) in the previous control cycle by the white line edge point detection unit 140 is determined (FIG. 3ZS111).
  • the secondary formula Y aX 2 + bX + and curve type, such as c, coordinates and the basis of a plurality of white line edge points identified by the white line edge point information read from the memory Then, the values of parameters ⁇ a '', ⁇ b '', ⁇ c '', etc. are calculated by a method such as least square approximation. Approximate expression. Here, “point” means “pixel”, and “coordinate” means “pixel position”. Note that the approximate expression force of the white line edge may be corrected based on the output of a speed sensor or a speed sensor (not shown) mounted on the vehicle 10.
  • a “reference area” is set in the road image captured by the camera 14 (FIG. 3 / S114) 0 Specifically, left and right lines (offset lines) that are offset toward the center of the lane are set from two straight lines or curves that represent the white line edges on the left and right sides. Then, the left and right sides are demarcated by the offset line, and the upper and lower regions are demarcated by a pair of line segments extending in the horizontal direction (X direction) as a “reference region”.
  • the offset line shape may be corrected based on the output from the correct sensor or vehicle speed sensor (not shown) and set as the “reference area”!
  • the histogram creation unit 120 executes “histogram creation processing” (FIG. 2ZS 120
  • each point the luminance of each point (each pixel) of the road surface image measured by the luminance measuring unit 102 and stored in the memory is included in the reference region set by the reference region setting unit 110.
  • the brightness of each point is read from the memory.
  • luminance section B (k 0, 1, ..., (NZ k
  • HIST—DEN—STEP 1 (N: maximum luminance, HIST—DEN—STEP: width of each luminance interval)), the number of pixels that contain the measured luminance is accumulated ( The frequency of measurement brightness is measured).
  • N maximum luminance
  • HIST—DEN—STEP width of each luminance interval
  • the frequency h of each brightness interval B is stored in memory.
  • the road surface cluster extraction unit 130 executes “road surface cluster extraction processing” based on the histogram generated by the histogram generation unit 120 (FIG. 2 ZS 130).
  • a luminance interval B in which the cumulative frequency h is less than the threshold is detected as a “low frequency interval”, while a luminance space B in which the cumulative frequency h is greater than or equal to the threshold is It is detected as “several intervals” (Fig. 4ZS131).
  • “Definition 1) to (Definition 3) “left end section” and “right end section” of road surface cluster candidates are detected (Fig. 4ZS132).
  • Frequency section B force “Left end section” of road surface cluster candidates.
  • Frequency section B force This is the “rightmost section” of the road surface cluster candidate.
  • the low altitude section is the “right end section” of the left road cluster candidate and the right road class. This is the “leftmost section” of the star candidate.
  • the leftmost section of cluster candidate C is section B and matches.
  • the constant in equation (1) corresponds to a time constant that determines the characteristics of a filter that removes noise, and can be set as appropriate according to the degree to which noise is removed.
  • the primary road surface cluster candidate, or the primary and secondary road cluster candidates C force whether or not the force satisfying (condition 3) is determined for the cumulative frequency V and the number of sections s (Fig. 4ZS 136) (Condition 3)
  • condition 3 the force satisfying (condition 3) is determined for the cumulative frequency V and the number of sections s (Fig. 4ZS 136) (Condition 3)
  • candidate road surface clusters satisfying (Condition 3) are extracted as “road surface clusters” (04 / S157).
  • the coefficient “CLUSTER_SET_RATIO” in inequality (3a) determines the height (rough shape in the vertical direction) of the road surface cluster that can be extracted.
  • the coefficient “CLUSTER_SECTION_N” in inequality (3b) determines the width (rough shape in the horizontal direction) of the “road surface cluster” that can be extracted. For example, the longer the coefficient CLUSTER_SET_RATIO is set and the smaller the coefficient CLUSTER_SECTION_N is, the more vertically elongated road surface cluster is extracted.
  • the coefficient CLUSTER_SET_RATIO is set smaller and the coefficient CLUSTER_SECTION_N is set larger, the horizontally elongated road surface cluster is extracted.
  • the white line edge point detection unit 140 executes “white line edge point detection processing” (FIG. 2 ZS140).
  • the primary white line candidate edge point detecting unit 141 performs all white line ( And the edge point of the pseudo white line) are detected as “primary white line candidate edge points” (FIG. 5ZS141).
  • a method for detecting an edge point for example, a method disclosed in Japanese Patent Application Laid-Open No. 11-85999 may be adopted, and detailed description thereof is omitted in this specification. For example, based on the road image with the shadow S of the guardrail G as shown in Fig. 10! /, As shown in Fig.
  • the left and right white lines M at the point on the edge E near the center of the lane are detected as “primary white line candidate edge points”.
  • points on the edge E near the lane center of each white line M based on the road surface image that includes the left and right white lines M and does not include the pseudo white line due to the shadow of the guardrail, etc. are detected as “primary white line candidate edge points”.
  • the road surface image changes from high luminance (bright) to low luminance (dark).
  • the edge point of the right white line M is detected as a “negative edge point”, and is detected as a “positive edge point” where the road surface image changes from low luminance (dark) to high luminance (bright).
  • (Condition 4) is satisfied when an edge and, further, a primary white line candidate having this edge overlap the reference region. If it is determined that (Condition 4) is satisfied (Fig. 5 ZS14 la- ⁇ YES), the secondary white line candidate edge point detection unit 142 determines that the point on the edge is the "secondary white line candidate edge point" (Fig. 5ZS 142).
  • the white line edge point detection unit 140 detects a point on the edge as a “true white line edge point”. (Fig. 5ZS145).
  • the luminance parameter calculation unit 143 calculates a “luminance parameter” (FIG. 5ZS143).
  • the edges included in the reference region are “negative edges”.
  • the total N of this negative edge point p (x, y) and the point on the left side (point included in the white line candidate) as shown in FIG. Point set ⁇ , ..., p, p
  • ⁇ ( ⁇ , y), ⁇ , ( ⁇ , y), ( ⁇ , y) ⁇ luminances are read from the memory.
  • this positive edge point p ( X, y) and a set of N points ⁇ p, p,..., P ⁇ from the right point (points included in the candidate white line)
  • the luminance of ⁇ ( ⁇ , y), ( ⁇ , y), ⁇ , ( ⁇ , y) ⁇ is read from the memory.
  • the edge point of this white line candidate is a true white line edge.
  • the white line edge point detection process ends without being detected as a point.
  • the "true white line edge point" detected by the edge point detection unit 140 is stored in the memory as white line edge point information, and from the memory in the reference area setting process (ZS110 in FIG. 2) in the next control cycle. It is read and used as the basis for the reference area.
  • the "reference area” corresponds to the vehicle travel lane sandwiched between a pair of left and right white lines (lane marks)
  • the "histogram" of the brightness at each point is the lane mark (this embodiment). In this case, it can be regarded as equivalent to the histogram of the brightness of each point on the road surface part excluding “white line edge points” or “edges” including them.
  • the luminance range of a group of “road surface clusters” having an area (or height, width) equal to or greater than the threshold extracted from the “histogram” corresponds to the luminance distribution of the road surface portion excluding the lane mark. .
  • the fact that the brightness parameter of “lane mark candidate” is included in the brightness range of “road surface cluster” means that this lane mark candidate has almost the same brightness distribution as the road portion excluding the lane mark. It will be.
  • those in which the value of the “brightness parameter” is included in the luminance range of the “road surface cluster” can be detected as a true lane mark. By preventing this, erroneous detection (false detection) of the lane mark can be suppressed. This allows true lane marks to be detected with high accuracy (see Figure 5ZS145).
  • the left and right sides of the reference area are demarcated by offset lines that are offset from the pair of right and left true lane marks toward the center of the lane (see FIG. 11).
  • the reference area can be accurately associated with the road surface portion excluding the true lane mark.
  • the true lane mark can be detected with higher accuracy.
  • the reference area setting unit 110 controls the area of the reference area by defining the upper and lower sides of the reference area by lines offset from the upper edge and the lower edge of the road surface image, thereby performing image processing.
  • the required resources can be saved.
  • the image processing result white line edge point detection result
  • the lateral position control of the vehicle 10 can be made appropriate. Togashi.
  • a part of the cluster having a shape in which the intermediate portion is raised from both end portions is extracted as a "primary road surface cluster candidate" (see Fig. 4ZS133, Fig. 9). Furthermore, if both end portions of a plurality of “primary road surface cluster candidates” overlap and the valley portion formed in the overlapping portion is shallow in view of noise components included in the histogram, the plurality of primary road surface cluster candidates are They are integrated and extracted as a group of “secondary road surface cluster candidates” (see Fig. 4ZS135, Fig. 9).
  • road surface cluster candidates whose area is equal to or greater than the threshold value are extracted as “road surface clusters”.
  • the influence of the noise component can be reduced or eliminated, and a road surface cluster having an appropriate luminance range can be extracted as representing the brightness distribution of the road surface portion excluding the lane mark. Thereby, a true lane mark can be detected with higher accuracy.
  • a continuous or intermittent “white line” edge or edge point near the center of the lane is detected as a “lane mark”.
  • lane marks yellow, blue, etc.
  • edges or edge points of lines of different colors or edges or edge lines such as V, reflectors and Botts Dots that are installed intermittently along the road are detected as “lane marks”.
  • the edge S near the center of the lane of the streaky road surface portion sandwiched between a pair of shadows of the guardrail is detected as “primary and secondary white line candidate edge points” (see FIG. 10, see FIG. 11), as another embodiment, double tire marks such as trucks, edge marks of streaky road surface portions sandwiched by shadows such as tire marks and guard rails, etc.
  • Any road surface edge point that may be erroneously detected as a mark (edge point) may be detected as a “primary or primary and secondary lane mark candidate”.
  • the edge point near the center of the lane among the white lines is detected as a point on the "lane mark”.
  • the white line deviates from the edge point near the center of the lane.
  • a point that is offset outside the lane within a range may be detected as a point on the “lane mark”.
  • a group of areas is set as the reference area A, but as another embodiment, a plurality of areas are set as shown in FIG. It may be set as the reference area A.
  • the reference area A is set on the road surface portion corresponding to the vehicle traveling lane (vehicle lane) sandwiched between a pair of left and right white lines (lane marks) M.
  • the reference area may be set on the road surface portion deviated from the own vehicle lane.
  • FIG. 1 is a diagram illustrating the configuration of a vehicle image processing system according to an embodiment of the present invention.
  • FIG. 2 is a functional explanatory diagram of the vehicle image processing system according to the embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

 擬似レーンマークが真のレーンマークとして誤検出されることを抑制して、レーンマークをより精度よく検出し得るシステム等を提供する。  本発明の車両用画像処理システム100によれば、路面画像における「基準領域」の各画素の輝度の「ヒストグラム」から「路面クラスタ」が抽出される。また「1次レーンマーク候補」のうち「基準領域」に重なるものが「2次レーンマーク候補」として検出される。そして「2次レーンマーク候補」のうち「路面クラスタ」の輝度範囲に「輝度パラメータ」の値が含まれるものは、真のレーンマークとして検出されない。これにより、レーンマークの誤検出(誤検出)が抑制され得る。これにより、真のレーンマークのみがより精度よく検出され得る。

Description

明 細 書
車両用画像処理システム、車両用画像処理方法、車両用画像処理プロ グラム、車両、および車両用画像処理システムの構成方法
技術分野
[0001] 本発明は、車両用画像処理システム、車両用画像処理方法、車両用画像処理プロ グラム、車両、および当該システムの構成法方法に関する。
背景技術
[0002] 従来、車両に搭載されたカメラにより撮像された車両前方の路面画像から、白線等 のレーンマークを検出するための技術手法が提案されている(たとえば、特開平 11 147481号公報および特開平 11 147473号公報参照)。レーンマークの検出 結果は、たとえば、車両の横位置を、車両の左右にあるレーンマークの位置を基準と して制御するために利用される。
[0003] 先行技術によれば、路面画像に含まれる白線の輝度が他の路面部分よりも高くな るという性質を利用してその白線が検出される。
発明の開示
発明が解決しょうとする課題
[0004] しかし、当該先行技術によれば、図 10に示されているように車両の左側において道 路に沿ってガードレール Gが延び、かつ、左斜め上方力 太陽光等の光が差してい る場合、白線 Mと同様に、ガードレール Gの並行する一対の影 Sに挟まれた路面部 分 M'の輝度が、左右の影 Sの部分よりも高いと検出されうる。したがって、この路面 部分 (擬似白線) M'が、白線であると誤検出される可能性がある。また、白線の検出 結果に基づく車両の横位置制御が実際の白線に鑑みてドライバに違和感を覚えさ せる不適切なものになるおそれがある。
[0005] そこで、本発明は、擬似レーンマークが真のレーンマークとして誤検出されることを 抑制して、レーンマークをより高い精度で検出しうるシステム、方法、車両、レーンマ 一クの当該検出機能をコンピュータに付与するプログラム、および当該システムの構 成方法を提供することを解決課題とする。 課題を解決するための手段
[0006] 前記課題を解決するための本発明の車両用画像処理システムは、車両に搭載され た撮像装置により撮像された路面画像に基づき、画像処理を実行する車両用画像 処理システムであって、撮像装置により撮像された路面画像において、レーンマーク 以外の路面部分に対応する基準領域を設定する基準領域設定部と、基準領域設定 部により設定された基準領域における、路面画像の各画素の輝度の頻度を計測する ことで、ヒストグラムを作成するヒストグラム作成部と、ヒストグラム作成部により作成され たヒストグラムから、幅、高さまたは面積が閾値以上となるひとかたまりの部分を、路面 クラスタとして抽出する路面クラスタ抽出部と、撮像装置により撮影された路面画像に 基づき、レーンマーク候補を検出するレーンマーク候補検出部と、レーンマーク候補 検出部により検出されたレーンマーク候補の輝度に基づく輝度パラメータを算出する 輝度パラメータ算出部と、輝度パラメータ算出部により算出された輝度パラメータが、 路面クラスタ抽出部により抽出された路面クラスタの輝度範囲に含まれるレーンマー ク候補を擬似レーンマークとして検出する一方、輝度パラメータ算出部により算出さ れた輝度パラメータが、路面クラスタ抽出部により抽出された路面クラスタの輝度範囲 力 外れているレーンマーク候補を真のレーンマークとして検出するレーンマーク検 出部とを備えて 、ることを特徴とする。
[0007] 本発明の車両用画像処理システムによれば、路面画像における「基準領域」の各 画素の輝度の「ヒストグラム」から「路面クラスタ」が抽出される。そして「レーンマーク候 補」のうち「路面クラスタ」の輝度範囲から「輝度パラメータ」の値が外れるもののみが、 真のレーンマークとして検出されうる。
[0008] 「基準領域」はレーンマーク以外の路面部分に対応するものであるので、その各点 の輝度の「ヒストグラム」から抽出された閾値以上の幅、高さ、または面積を有するひと かたまりの「路面クラスタ」の輝度範囲は、レーンマークを除く路面部分の輝度分布に 対応したものとなる。また「レーンマーク候補」の輝度パラメータが「路面クラスタ」の輝 度範囲に含まれるということは、このレーンマーク候補がレーンマークを除く道路部分 とほぼ同様の輝度分布を有していることを意味することとなる。そして、前記のように「 レーンマーク候補」のうち「路面クラスタ」の輝度範囲に「輝度パラメータ」の値が含ま れるもの(擬似レーンマーク)は、真のレーンマークとして検出されることが防止される ことで、レーンマークの誤検出(誤検出)が抑制されうる。これにより、真のレーンマー クが高い精度で検出されうる。
[0009] また、本発明の車両用画像処理システムは、基準領域設定部が、レーンマーク検 出部により検出された左右一対の真のレーンマークよりもレーン中央寄りにオフセット した一対のオフセットラインにより左右が画定される領域を基準領域として設定するこ とを特徴とする。
[0010] 本発明の車両用画像処理システムによれば、基準領域の左右が、左右一対の真の レーンマークからレーン中央寄りにオフセットしたオフセットラインにより画定される。こ れにより、当該基準領域を真のレーンマークを除いた路面部分に正確に対応させる ことができる。そして「ヒストグラム」および「路面クラスタ」を、レーンマークを除いた路 面部分の輝度分布により正確に対応させることで、さらに高い精度で真のレーンマー クが検出されうる。
[0011] さらに、本発明の車両用画像処理システムは、基準領域設定部が、路面画像の上 縁および下縁からオフセットしたラインにより上下が画定される基準領域を設定するこ とを特徴とする。
[0012] 本発明の車両用画像処理システムによれば、基準領域の面積を抑制して、画像処 理に要する資源を節約することができる。また、画像処理結果 (レーンマークの検出 結果)が車両の横位置制御に用いられる場合、車両の横位置が当該検出結果に基 づき制御されることになる、車両の進行方向についての範囲に対応して当該基準領 域の上下が画定されることで、当該車両の横位置制御を適切なものとすることができ る。
[0013] また、本発明の車両用画像処理システムは、路面クラスタ抽出部が、ヒストグラム作 成部により作成されたヒストグラムから、中間部分が両端部分よりも盛り上がった形状 を有するひとかたまりの部分を 1次路面クラスタ候補として抽出し、面積が前記閾値 以上となる 1次路面クラスタ候補を、路面クラスタとして抽出することを特徴とする。
[0014] 本発明の車両用画像処理システムによれば、レーンマークを除く路面部分の輝度 分布を表すものとして適切な輝度範囲を有する路面クラスタが抽出されうる。これによ り、前記のように真のレーンマークが高!、精度で検出されうる。
[0015] さらに、本発明の車両用画像処理システムは、路面クラスタ抽出部が、複数の 1次 路面クラスタ候補の両端部分が重なり合い、当該重なり部分にできた谷部分がヒスト グラムに含まれるノイズ成分に鑑みて浅い場合、当該複数の 1次路面クラスタ候補を 統合してひとかたまりの 2次路面クラスタ候補として抽出し、面積が前記閾値以上とな る 2次路面クラスタ候補を、路面クラスタとして抽出することを特徴とする。
[0016] 本発明の車両用画像処理システムによれば、ノイズ成分の影響を低減または解消 して、レーンマークを除く路面部分の輝度分布を表すものとして適切な輝度範囲を有 する路面クラスタが抽出されうる。これにより、真のレーンマークがさらに高い精度で 検出されうる。
[0017] また、本発明の車両用画像処理システムは、全てのレーンマーク候補を 1次レーン マーク候補として検出する 1次レーンマーク候補検出部と、 1次レーンマーク候補検 出部により検出された 1次レーンマーク候補のうち、車両走行レーンの中央線上の点 力 の距離が閾値以下であるものを 2次レーンマーク候補として検出する 2次レーン マーク候補検出部とにより、レーンマーク候補検出部が構成され、輝度パラメータ算 出部が、 2次レーンマーク候補検出部により検出された 2次レーンマーク候補の輝度 に基づく輝度パラメータを算出することを特徴とする。
[0018] 本発明の車両用画像処理システムによれば、全てのレーンマーク候補、すなわち「 1次レーンマーク候補」のうち、車両走行レーンの中央線上の点からの距離が閾値以 下であるものが「2次レーンマーク候補」として検出される。そして、 2次レーンマーク 候補のうち、その輝度パラメータが路面クラスタの輝度範囲に含まれているものは、前 記のように真のレーンマークとして誤検出されることはない。また、 2次レーンマーク候 補力 車両走行レーンの中央線上の点力 の距離が閾値以下であるものに絞り込ま れることで、真のレーンマークである可能性が低いものを排除することができる。さら に、 1次レーンマーク候補から 2次レーンマークへの絞込みにより、輝度パラメータ算 出処理の負荷を軽減することができる。
[0019] さらに、本発明の車両用画像処理システムは、全てのレーンマーク候補を 1次レー ンマーク候補として検出する 1次レーンマーク候補検出部と、 1次レーンマーク候補 検出部により検出された 1次レーンマーク候補のうち、基準領域設定部により設定さ れた基準領域に重なるものを 2次レーンマーク候補として検出する 2次レーンマーク 候補検出部とにより、レーンマーク候補検出部が構成され、輝度パラメータ算出部が 、 2次レーンマーク候補検出部により検出された 2次レーンマーク候補の輝度に基づ く輝度パラメータを算出することを特徴とする。
[0020] 本発明の車両用画像処理システムによれば、全てのレーンマーク候補、すなわち「 1次レーンマーク候補」のうち、基準領域に重なるものが「2次レーンマーク候補」とし て検出される。そして、 2次レーンマーク候補のうち、その輝度パラメータが路面クラス タの輝度範囲に含まれているものは、前記のように真のレーンマークとして誤検出さ れることはない。また、 2次レーンマーク候補が、基準領域に重なるものに絞り込まれ ることで、真のレーンマークである可能性が低いものを排除することができる。さらに、 1次レーンマーク候補から 2次レーンマークへの絞込みにより、輝度パラメータ算出処 理の負荷を軽減することができる。
[0021] また、本発明の車両用画像処理システムは、輝度パラメータ算出部が、 2次レーン マーク候補検出部により検出された 2次レーンマーク候補のうち、基準領域設定部に より基準領域に重なる部分の輝度に基づく輝度パラメータを算出することを特徴とす る。
[0022] 本発明の車両用画像処理システムによれば、前記のように「路面ヒストグラム」が基 準領域における路面画像の輝度に応じて抽出されるのに対して、「輝度パラメータ」 が基準領域における路面画像の輝度に応じて算出される。これにより、輝度パラメ一 タカ 基準領域の路面ヒストグラムの輝度範囲に含まれる力否かに応じて、真のレー ンマークがより高い精度で検出されうる。
[0023] さらに、本発明の車両用画像処理システムは、レーンマーク候補検出部によりレー ンマーク候補が検出されな力つた場合、レーンマーク検出部が先に検出済みのレー ンマークを、真のレーンマークとして検出することを特徴とする。
[0024] 本発明の車両用画像処理システムによれば、基準領域に重なるレーンマーク候補
(または擬似レーンマーク)がない場合、先に検出済みのレーンマークが、そのまま真 のレーンマークとして検出されうる。 [0025] また、本発明の車両用画像処理システムは、レーンマーク候補検出部が、レーンマ ークの、レーン中央寄りのエッジまたはエッジ点をレーンマーク候補として検出するこ とを特徴とする。
[0026] 本発明の車両用画像処理システムによれば、レーンマークのレーン中央寄りのエツ ジまたはエッジ点がレーンマークとして検出される。
[0027] 前記課題を解決するための本発明の車両用画像処理方法は、車両に搭載された 撮像装置により撮像された路面画像に基づき、画像処理を実行する車両用画像処 理方法であって、撮像装置により撮像された路面画像において、レーンマーク以外 の路面部分に対応する基準領域を設定する基準領域設定ステップと、基準領域設 定ステップにおいて設定された基準領域における、路面画像の各画素の輝度の頻 度を計測することで、ヒストグラムを作成するヒストグラム作成ステップと、ヒストグラム作 成ステップにおいて作成されたヒストグラムから、幅、高さまたは面積が閾値以上とな るひとかたまりの部分を、路面クラスタとして抽出する路面クラスタ抽出ステップと、撮 像装置により撮影された路面画像に基づき、レーンマーク候補を検出するレーンマ ーク候補検出ステップと、レーンマーク候補検出ステップにおいて検出されたレーン マーク候補の輝度に基づく輝度パラメータを算出する輝度パラメータ算出ステップと 、輝度パラメータ算出ステップにおいて算出された輝度パラメータが、路面クラスタ抽 出ステップにおいて抽出された路面クラスタの輝度範囲に含まれるレーンマーク候補 を擬似レーンマークとして検出する一方、輝度パラメータ算出ステップにおいて算出 された輝度パラメータが、路面クラスタ抽出ステップにおいて抽出された路面クラスタ の輝度範囲力も外れているレーンマーク候補を真のレーンマークとして検出するレー ンマーク検出ステップとを備えていることを特徴とする。
[0028] 本発明の車両用画像処理方法によれば、「レーンマーク候補」のうち「路面クラスタ」 の輝度範囲に「輝度パラメータ」の値が含まれるもの(擬似レーンマーク)は、真のレ ーンマークとして検出されることが防止されることで、レーンマークの誤検出(誤検出) が抑制されうる。これにより、真のレーンマークがより高い精度で検出されうる。
[0029] 前記課題を解決するための本発明の車両用画像処理プログラムは、車両に搭載さ れた撮像装置により撮像された路面画像に基づき、画像処理を実行する機能をコン ピュータに付与する車両用画像処理プログラムであって、撮像装置により撮像された 路面画像にぉ 、て、レーンマーク以外の路面部分に対応する基準領域を設定する 基準領域設定機能と、基準領域設定機能により設定された基準領域における、路面 画像の各画素の輝度の頻度を計測することで、ヒストグラムを作成するヒストグラム作 成機能と、ヒストグラム作成機能により作成されたヒストグラムから、幅、高さまたは面 積が閾値以上となるひとかたまりの部分を、路面クラスタとして抽出する路面クラスタ 抽出機能と、撮像装置により撮影された路面画像に基づき、レーンマーク候補を検 出するレーンマーク候補検出機能と、レーンマーク候補検出機能により検出されたレ ーンマーク候補の輝度に基づく輝度パラメータを算出する輝度パラメータ算出機能と 、輝度パラメータ算出機能により算出された輝度パラメータが、路面クラスタ抽出機能 により抽出された路面クラスタの輝度範囲に含まれるレーンマーク候補を擬似レーン マークとして検出する一方、輝度パラメータ算出機能により算出された輝度パラメータ 力 路面クラスタ抽出機能により抽出された路面クラスタの輝度範囲から外れている レーンマーク候補を真のレーンマークとして検出するレーンマーク検出機能とをコン ピュータに与えることを特徴とする。
[0030] 本発明の車両用画像処理プログラムによれば、「レーンマーク候補」のうち「路面ク ラスタ」の輝度範囲に「輝度パラメータ」の値が含まれるもの (擬似レーンマーク)は、 真のレーンマークとして検出されることが防止されることで、レーンマークの誤検出( 誤検出)が抑制されうる。これにより、コンピュータに真のレーンマークがより高い精度 で検出されうる。
[0031] 前記課題を解決するための本発明の方法は、車両周辺監視システムを構成するた めに前記車両周辺監視プログラムのうち一部または全部を車載コンピュータにダウン ロードすることを特徴とする。
[0032] 本発明の方法によれば、真のレーンマークを高い精度で検出しうる前記システムが
、車載コンピュータへの任意のタイミングでの前記プログラムの一部または全部のダ ゥンロード〖こよって構成されうる。
[0033] 前記課題を解決するための本発明の車両は、前記車両用画像システムが搭載され ていることを特徴とする。 [0034] 本発明の車両によれば、車両用画像システムによる、レーンマークの精度の高い検 出結果を利用することができ、たとえば、当該検出結果に基づいて車両の横位置を 適当に制御することができる。
発明を実施するための最良の形態
[0035] 本発明の車両用画像処理システム、車両用画像処理方法、車両用画像処理プロ グラム、および車両の実施形態について図面を用いて説明する。
[0036] 図 1に示されている車両用画像処理システム 100は、車両 10に搭載されているハ 一ドウ アとしての電子制御部 12と、基準領域設定処理機能等を電子制御部に付与 するソフトウェアとしての本発明の「車両用画像処理プログラム」とにより構成されてい る。車両周辺監視プログラムは最初力も車載コンピュータのメモリに格納されていても よいが、その一部または全部が運転手または車載コンピュータ力 のリクエストがあつ たとき等、任意のタイミングで所定のサーノからダウンロードされてもよい。車両用画 像処理システム 100は、車両 10に搭載されているカメラ 14により撮像された路面画 像に基づき、画像処理を実行する。
[0037] 車両用画像処理システム 100は、輝度測定部 102と、基準領域設定部 110と、ヒス トグラム作成部 120と、路面クラスタ抽出部 130と、白線エッジ点検出部(レーンマー ク検出部) 140と、 1次白線候補エッジ点検出部(1次レーンマーク候補検出部) 141 と、 2次白線候補エッジ点検出部(2次レーンマーク候補検出部) 142と、輝度パラメ ータ算出部 143とを備えている。各部は、 CPU, ROM, RAM, I/O (入力 Z出力 回路)等により構成されている。
[0038] 輝度測定部 102は、カメラ 14により撮像された路面画像の輝度を画素ごとに測定 する。輝度測定部 102による画素ごとの測定輝度は、メモリ(図示略)に格納される。
[0039] 基準領域設定部 110は、カメラ 12により撮像された路面画像において、レーンマー ク以外の路面部分に対応する「基準領域」を設定する。
[0040] ヒストグラム作成部 120は、基準領域設定部 110により設定された基準領域におけ る、路面画像の各画素の輝度の頻度を計測することにより、輝度の「ヒストグラム」を作 成する。
[0041] 路面クラスタ抽出部 130は、ヒストグラム作成部 120により作成されたヒストグラムか ら、幅、高さ、または面積が閾値以上となるひとかたまりの部分を「路面クラスタ」として 抽出する。
[0042] 1次白線候補エッジ点検出部 141は、全ての白線候補エッジ点を「1次白線候補ェ ッジ点(1次レーンマーク候補)」として検出する。
[0043] 2次白線候補エッジ点検出部 142は、 1次白線エッジ点検出部 141により検出され た 1次白線候補エッジ点のうち、基準領域設定部 110により設定された基準領域に 重なる (含まれる)ものを「2次白線候補エッジ点(2次レーンマーク候補)」として検出 する。
[0044] 輝度パラメータ算出部 143は、 2次白線候補エッジ点検出部 142により検出された 2次白線候補エッジ点を含む白線候補のうち、基準領域設定部 110により設定され た基準領域に重なる部分の輝度に基づく「輝度パラメータ」を算出する。
[0045] 白線エッジ点検出部 140は、輝度パラメータ算出部 143により算出された「輝度パ ラメータ」が、路面クラスタ抽出部 130により抽出された「路面クラスタ」の輝度範囲か ら外れて!/、る 2次白線候補エッジ点のみを真の白線エッジ点として検出する。
[0046] 前記構成の車両用画像処理システムの機能(車両用画像処理方法)につ 、て、図 2〜図 12を用いて説明する。
[0047] まず、基準領域設定部 110が「基準領域設定処理」を実行する(図 2ZS 110)。
[0048] 具体的には、まず、白線エッジ点検出部 140による、前回の制御サイクルにおける 白線エッジ点の検出結果(白線エッジ点情報)の有無が判定される(図 3ZS111)。
[0049] 前回の制御サイクルにおける白線エッジ点の検出結果があると判定された場合(図 3/S111 - -YES) ,当該白線エッジ点情報カ モリから読み出され、当該白線エッジ 点情報に基づき、エッジが直線または曲線により近似表現される(図 3ZS112)。た とえば、直線(1次式) Y=aX+b (X:路面画像における横位置、 Y:路面画像におけ る縦位置)と、メモリから読み出された白線エッジ点情報により特定される複数の白線 エッジ点の座標とに基づき、最小二乗近似等の手法によってパラメータ「a」および「b 」の値が算出されることで、これらパラメータの算出値により特定される 1次式により白 線エッジが近似表現される。また、 2次式 Y=aX2 + bX+c等の曲線式と、メモリから 読み出された白線エッジ点情報により特定される複数の白線エッジ点の座標とに基 づき、最小二乗近似等の手法によってパラメータ「a」「b」および「c」等の値が算出さ れることで、これらパラメータの算出値により特定される 2次式等の曲線式により白線 エッジが近似表現される。ここで「点」とは「画素」を意味し、「座標」は「画素の位置」を 表す。なお、白線エッジの近似表現式力 車両 10に搭載されているョーレートセンサ や速度センサ等(図示略)の出力に基づき、補正されてもよい。
[0050] 一方、前回の制御サイクルにおける白線エッジ点の検出結果がないと判定された 場合 (図 3ZS111 - ·ΝΟ)、基準領域が設定されないまま、基準領域設定処理が終 了する。
[0051] 続いて、左右両側の白線エッジの近似表現の適否が判定される(図 3ZS 113)。た とえば、前記 1次式のパラメータ aおよび bの関数 g (a, b)の値が、レーンマークとして の白線の位置および向き、かすれ具合等に鑑みて設定された許容範囲に収まって いる力否か等に応じて、当該 1次式の適否が判定される。
[0052] そして、左右両側の白線エッジの近似表現が適当であると判定された場合(図 3Z S113 - -YES)、カメラ 14により撮像された路面画像に「基準領域」が設定される(図 3/S114) 0具体的には、左右両側の白線エッジを表現する 2つの直線または曲線 から、それぞれレーン中央寄りにオフセットされた左右のライン (オフセットライン)が設 定される。そして、当該オフセットラインにより左右が画定されるとともに、横 (X方向) に延びる一対の線分により上下が画定される領域が「基準領域」として設定される。
[0053] たとえば、図 6に示されているように左右の白線 Mのそれぞれのエッジ E上の点が エッジ点として検出されている場合、これら左右のエッジ Eのそれぞれよりレーン中央 寄りに、オフセットライン Fが設定される。そして、図 6に示されているように、当該一対 のオフセットライン Fにより左右が画定されるとともに、 Y座標が「ROAD_DEN_SY」であ る線分、および Y座標が「ROAD_DEN_EY」である線分によりそれぞれ上下が画定さ れるおおよそ台形状の領域 Aが「基準領域」として検出される。
[0054] 一方、レーンの左右両側の白線エッジのうち一方または両方の近似表現が不適当 であると判定された場合 (図 3ZS113- ·ΝΟ)、基準領域が設定されないまま基準領 域設定処理が終了する。
[0055] なお、レーンマークのエッジ点情報がないと判定された場合(図 3ZS111 · -NO) や、左右のエッジのうち一方または両方の近似表現が不適当であると判定された場 合(図 3ZS113 - ·ΝΟ)、あら力じめメモリに格納されている領域が読み出され、必要 に応じてョーレートセンサや車速センサ(図示略)からの出力に基づいてオフセットラ インの形状が補正された上で「基準領域」として設定されてもよ!、。
[0056] 続いて、ヒストグラム作成部 120が「ヒストグラム作成処理」を実行する(図 2ZS 120
) ο
[0057] 具体的には、輝度測定部 102により測定されメモリに格納されている路面画像の各 点 (各画素)の輝度のうち、基準領域設定部 110により設定された基準領域に含まれ る各点の輝度が当該メモリから読み出される。また、輝度区間 B (k = 0, 1, · · , (NZ k
HIST— DEN— STEP)— 1 (N :輝度の最大値、 HIST— DEN— STEP:各輝度区間の幅))のそ れぞれについて、そこに測定輝度が含まれる画素数が累積される (測定輝度の頻度 が計測される)。これにより、図 7に示されているように縦軸を当該累積画素数 (度数) とし、横軸を輝度 (または輝度区間)とするヒストグラムが作成される。それぞれの輝度 区間 Bの度数 hは、メモリに保存される。
k k
[0058] 続いて、路面クラスタ抽出部 130がヒストグラム作成部 120により作成されたヒストグ ラムに基づいて「路面クラスタ抽出処理」を実行する(図 2ZS 130)。
[0059] 具体的にはヒストグラムにお 、て累積度数 hが閾値未満である輝度区間 Bが「低度 数区間」として検出される一方、累積度数 hが閾値以上である輝度空間 Bが「高度数 区間」として検出される(図 4ZS131)。その上で、次の(定義 1)〜(定義 3)にしたが つて、路面クラスタ候補の「左端区間」および「右端区間」が検出される(図 4ZS132)
(定義 1)図 8 (a)に示されているように右側 (高輝度側)で高度数区間 Bと隣接する低 k
度数区間 B 力 路面クラスタ候補の「左端区間」である。
k-1
(定義 2)図 8 (b)に示されて 、るように左側 (低輝度側)で高度数区間 Bと隣接する低 k
度数区間 B 力 路面クラスタ候補の「右端区間」である。
k+1
(定義 3)図 8 (c)に示されているように左側で高度数区間 B に隣接する一方、右側 k-1
で高度数区間 B に隣接するとともに、高度数区間 B および B のいずれよりも度 k+1 k-1 k+1
数が低い高度数区間が、左側の路面クラスタ候補の「右端区間」かつ右側の路面クラ スタ候補の「左端区間」である。
[0060] 次に、ヒストグラムから、左端区間から右端区間までにいたるひとかたまりの部分が「
1次路面クラスタ候補」として抽出される(図 4ZS133)。
[0061] 続いて、隣り合う複数の 1次路面クラスタ候補について、次の(条件 1)および (条件
2)が満たされる力否かが判定される(図 4ZS 134)。
(条件 1)図 9に示されているように、 1次路面クラスタ候補 Cの右端区間と、 1次路面
1
クラスタ候補 Cの左端区間とがともに区間 Bであり一致する。
2 k
(条件 2)図 9に示されているように、 1次路面クラスタ候補 Cおよび Cの重なり区間 B
1 2 k およびその両隣 2つずつの輝度区間を含む合計 5つの輝度区分 B 〜B のそれぞ k-2 k+2 れの度数 h 〜h に基づき、次式(1)にしたがって gが逐次算出された後、次式(2 k-2 k+2 n
)が成立する。
[0062] g = { ( τ - ΐ) / ( τ + l) }g + { ΐ/ ( τ + l) } (h +h )
n n - 1 n— 1 n
(但し k—l≤n≤k+2、g =h 、 τ :定数) ' '(I)
k-2 k-2
I g -h I ≤ δ - - (2)
k+2 k+2
(条件 2)は、隣り合う 1次路面クラスタ候補の間にある谷が浅い場合に満たされる傾 向がある。(条件 2)は、ノイズによりヒストグラムに凹凸が生じている場合、このノイズの 影響を除去してひとかたまりの路面クラスタを抽出するためのものである。したがって
、式(1)における定数ては、ノイズを除去するフィルタの特性をきめる時定数に相当し 、どの程度までノイズを除去するかに応じて適宜設定されうる。
[0063] そして (条件 1)および (条件 2)が満たされていると判定された場合(図 4ZS134- - YES) ,当該複数の路面クラスタ候補が統合され、「2次路面クラスタ候補」として抽出 される(図 4ZS135)。たとえば、図 9に示されている 1次路面クラスタ候補 Cおよび C
1 の間の谷が浅い場合 (輝度区間 Bの度数 hがその両隣 2つの輝度区間 B , B ,
2 k k k-2 k-1
B , B の度数 h , h , h , h からの落差が小さい場合)、これら 1次路面クラス k+1 k+2 k-2 k-1 k+1 k+2
タ候補 Cおよび Cが統合されて、ひとかたまりの「2次路面クラスタ候補」として抽出さ
1 2
れる。
[0064] 次に、 1次路面クラスタ候補、または 1次および 2次路面クラスタ候補 C力 その累積 度数 Vおよび区間数 sにつ 、て (条件 3)を満たす力否かが判定される(図 4ZS 136) (条件 3)次の不等式 (3a)および不等式 (3b)が成立する。
[0065] v≥s 'CLUSTER— SET— RATIO · · (3a)
s≥ CLUSTER— SECTION— N · · (3b)
そして (条件 3)を満たす路面クラスタ候補が「路面クラスタ」として抽出される (04/ S157)。不等式(3a)における係数「CLUSTER_SET_RATIO」は、抽出されうる路面ク ラスタの高さ(縦方向のおおまかな形状)を決定するものである。一方、不等式(3b) における係数「CLUSTER_SECTION_N」は、抽出されうる「路面クラスタ」の幅 (横方向 のおおまかな形状)を決定するものである。たとえば係数 CLUSTER_SET_RATIOが大 きく設定され、かつ、係数 CLUSTER_SECTION_Nが小さく設定されるほど、縦長形状 の路面クラスタが抽出される。また、係数 CLUSTER_SET_RATIOが小さく設定され、か つ、係数 CLUSTER_SECTION_Nが大きく設定されるほど、横長形状の路面クラスタが 抽出される。
[0066] 次に、路面クラスタ抽出部 130により抽出された路面クラスタに基づき、白線エッジ 点検出部 140が「白線エッジ点検出処理」を実行する(図 2ZS140)。
[0067] 具体的には、まず、輝度測定部 102により測定され、メモリに格納されている路面画 像の各点の輝度に基づき、 1次白線候補エッジ点検出部 141が、全ての白線 (およ び擬似白線)のエッジ点を「1次白線候補エッジ点」として検出する(図 5ZS141)。 エッジ点の検出方法としては、たとえば特開平 11— 85999号公報に開示されている 手法が採用されればよいので、本願明細書では詳細な説明を省略する。たとえば、 図 10に示されて!/、るようにガードレール Gの影 Sがある路面画像に基づき、図 11に 示されているように左右の白線 Mのレーン中央寄りのエッジ E上の点に加えて、影 S に挟まれた路面部分 (擬似白線) M,のレーン中央寄りのエッジ E,上の点が「1次白 線候補エッジ点」として検出される。また、図 6に示されているように左右の白線 Mが 含まれ、ガードレールの影等による擬似白線が含まれていない路面画像に基づき、 それぞれの白線 Mのレーン中央寄りのエッジ E上の点が「1次白線候補エッジ点」とし て検出される。
[0068] なお、左の白線 Mのエッジ点は、路面画像が高輝度(明)から低輝度(暗)に転じる 「負エッジ点」として検出され、右の白線 Mのエッジ点は、路面画像が低輝度(暗)か ら高輝度(明)に転じる「正エッジ点」として検出される。
[0069] 次に、路面画像の原点(下縁中央)からエッジ点により特定されるエッジ (前記のよう に近似表現されたものも含む。)までの距離 」と、原点力も基準領域 (図 6参照)の し
左右を画定するオフセットラインまでの距離「 p
inner」とに基づき、 1次白線候補エッジ 点により特定されるエッジが次の(条件 4)を満たす力否かが判定される(図 5ZS141 a) 0
(条件 4)次の不等式 (4)が成立するようなエッジが存在する。
[0070] p - p >INNER_MIN_RO · · (4)
inner し
(条件 4)は、エッジ、さらにはこのエッジを有する 1次白線候補が基準領域に重なる 場合に満たされる。そして、(条件 4)が満たされていると判定された場合 (図 5ZS14 la - · YES)、 2次白線候補エッジ点検出部 142が当該エッジ上の点を「2次白線候 補エッジ点」として検出する(図 5ZS 142)。
[0071] たとえば、図 11に示されている原点 O力 擬似白線 M,のエッジ E,までの距離が、 原点 O力も左のオフセットライン Fまでの距離よりも小さくなつて、(条件 4)を満たす場 合、擬似白線 M,のエッジ E,上の点が「2次白線候補エッジ点」として検出される。
[0072] 一方、(条件 4)が満たされていないと判定された場合(図 5ZS141a' -NO)、白線 エッジ点検出部 140が、当該エッジ上の点を「真の白線エッジ点」として検出する(図 5ZS145)。
[0073] たとえば、図 6に示されているように左右の白線 Mのみが路面画像に含まれている 場合、原点 Oからの距離が、原点 O力 左右のオフセットライン Fまでの距離よりも大 きい左右の白線 Mのエッジ Eが検出されるにしか過ぎない。したがって、この場合、( 条件 4)は満たされず、この白線 Mのエッジ E上の点が「真の白線エッジ点」として検 出される(図 5ZS145)。
[0074] 続いて、 2次白線候補検出部 142により検出された 2次白線候補エッジ点のそれぞ れに基づき、輝度パラメータ算出部 143が「輝度パラメータ」を算出する(図 5ZS143
) o
[0075] 具体的には、 2次白線候補エッジ点のうち基準領域に含まれるエッジが「負エッジ 点」である場合、図 12(a)に示されているようにこの負エッジ点 p = (x, y)と、それよ り左側の点(当該白線候補に含まれる点)との合計 N個の点集合 {ρ , ··, p , p
} = { (χ , y), · ·, (χ , y), (χ, y) }の輝度が前記メモリから読み出される。
[0076] その一方、 2次白線候補エッジ点のうち基準領域に含まれるエッジが「正エッジ点」 である場合、図 12(b)に示されているように、この正エッジ点 p = (X, y)と、それより 右側の点(当該白線候補に含まれる点)との合計 N個の点集合 {p , p , ··, p }
= { (χ, y), (χ , y), · ·, (χ , y) }の輝度が前記メモリから読み出される。
[0077] このように輝度の読み出し処理力 白線候補のそれぞれについて基準領域の下縁
(Y=ROAD_DEN_SY)力 上縁 (Y=ROAD_DEN_EY)に至るまで順に繰り返される。 そして、各白線候補について全ての輝度の読み出し処理が完了した後、各白線候補 の輝度の平均値が各白線候補の「輝度パラメータ」として算出される。なお、 X方向に っ 、てエッジからの距離、または Y方向につ 、て基準領域の下縁からの距離等に応 じて重み係数が異なる輝度の重み付き平均値が「輝度パラメータ」として算出されて ちょい。
[0078] 続いて、白線候補の輝度パラメータがいずれかの路面クラスタの輝度範囲に含まれ るか否かが判定される(図 5ZS144)。
[0079] そして、白線候補の輝度パラメータがいずれかの路面クラスタの輝度範囲に含まれ ると判定された場合(図 5ZS 144· -YES)、この白線候補のエッジ点は真の白線ェ ッジ点として検出されず、白線エッジ点検出処理が終了する。
[0080] 一方、白線候補の輝度パラメータがいずれの路面クラスタの輝度範隨こも含まれな いと判定された場合(図 5ZS144- · NO)、この 2次白線候補エッジ点が「真の白線 エッジ点」として検出される(図 5ZS145)。
[0081] エッジ点検出部 140により検出された「真の白線エッジ点」は、白線エッジ点情報と してメモリに格納され、次の制御サイクルにおける基準領域設定処理(図 2ZS110) に際して当該メモリから読み出されて、基準領域の基礎として使用される。
[0082] 前記機能を発揮する車両用画像処理システムによれば、路面画像における「基準 領域(図 2ZS110,図 11参照)」の各画素の輝度の「ヒストグラム(図 2ZS120,図 7 参照)」から「路面クラスタ(図 2ZS130参照)」が抽出される。また「1次白線候補エツ ジ点」のうち「基準領域」に重なるものが「2次白線候補エッジ点」として検出される(図 11参照)。そして「2次白線候補エッジ点」のうち「路面クラスタ」の輝度範囲に「輝度 ノ ラメータ」の値が含まれないもののみ力 「真の白線エッジ点」として検出されうる( 05/S144, S 145参照)。
[0083] 「基準領域」は左右一対の白線 (レーンマーク)により挟まれた車両走行レーンに対 応するものであるので、その各点の輝度の「ヒストグラム」は、レーンマーク(本実施形 態では「白線エッジ点」またはこれを含む「エッジ」 )を除く路面部分の各点の輝度のヒ ストグラムと同等視されうる。このため、当該「ヒストグラム」から抽出された閾値以上の 面積 (または高さ、幅)を有するひとかたまりの「路面クラスタ」の輝度範囲は、レーン マークを除く路面部分の輝度分布に対応したものとなる。また「レーンマーク候補」の 輝度パラメータが「路面クラスタ」の輝度範囲に含まれるということは、このレーンマー ク候補がレーンマークを除く道路部分とほぼ同様の輝度分布を有していることを意味 することとなる。そして、前記のように「2次レーンマーク候補」のうち「路面クラスタ」の 輝度範囲に「輝度パラメータ」の値が含まれるもの (擬似レーンマーク)は、真のレー ンマークとして検出されることが防止されることで、レーンマークの誤検出(誤検出)が 抑制されうる。これにより、真のレーンマークが高い精度で検出されうる(図 5ZS145 参照)。
[0084] また、基準領域の左右が、左右一対の真のレーンマークからレーン中央寄りにオフ セットしたオフセットラインにより画定される(図 11参照)。これにより、当該基準領域を 真のレーンマークを除 、た路面部分に正確に対応させることができる。そして「ヒスト グラム」および「路面クラスタ」を、レーンマークを除いた路面部分の輝度分布により正 確に対応させることで、さらに高 、精度で真のレーンマークが検出されうる。
[0085] さらに、基準領域設定部 110が、路面画像の上縁および下縁からオフセットしたラ インにより基準領域の上下が画定されることで、基準領域の面積を抑制して、画像処 理に要する資源を節約することができる。また、画像処理結果(白線エッジ点の検出 結果)が車両の横位置制御に用いられる場合、車両 10の横位置が当該検出結果に 基づき制御されることになる、車両 10の進行方向についての範囲に対応して当該基 準領域の上下が画定されることで、当該車両 10の横位置制御を適切なものとするこ とがでさる。
[0086] また、ヒストグラム(図 7参照)から、中間部分が両端部分よりも盛り上がった形状を 有するひとかたまりの部分が「1次路面クラスタ候補」として抽出される(図 4ZS133, 図 9参照)。さらに、複数の「1次路面クラスタ候補」の両端部分が重なり合い、当該重 なり部分にできた谷部分がヒストグラムに含まれるノイズ成分に鑑みて浅 、場合、当 該複数の 1次路面クラスタ候補が統合されてひとかたまりの「2次路面クラスタ候補」と して抽出される(図 4ZS135,図 9参照)。そして、前記 (条件 3)を満たすもの、いうな れば面積が閾値以上となる路面クラスタ候補が「路面クラスタ」として抽出される。これ により、ノイズ成分の影響を低減または解消して、レーンマークを除く路面部分の輝 度分布を表すものとして適切な輝度範囲を有する路面クラスタが抽出されうる。これ により、真のレーンマークがさらに高い精度で検出されうる。
[0087] さらに、全てのレーンマーク候補、すなわち「1次レーンマーク候補」のうち、基準領 域に重なるものが「2次レーンマーク候補」として検出される(図 5ZS142参照)。そし て、 2次レーンマーク候補のうち、その輝度パラメータが路面クラスタの輝度範囲に含 まれて 、るものは、前記のように真のレーンマークとして誤検出されることはな 、(図 5 /S144 - .YES参照)。また、 2次レーンマーク候補力 基準領域に重なるものに絞り 込まれることで、真のレーンマークである可能性が低 、ものを排除することができる。 さらに、 1次レーンマーク候補から 2次レーンマークへの絞込みにより、輝度パラメ一 タ算出処理の負荷を軽減することができる。
[0088] なお、前記実施形態では連続的または断続的な「白線」のレーン中央寄りのエッジ またはエッジ点が「レーンマーク」として検出されたが、他の実施形態として黄や青等 、白とは異なる色の線のエッジまたはエッジ点や、道路に沿って断続的に設置されて V、るリフレクタや Botts Dots等のエッジまたはエッジ線が「レーンマーク」として検出 されてちょい。
[0089] また、前記実施形態ではガードレールの一対の影により挟まれた筋状の路面部分 のレーン中央寄りのエッジ点が「1次および 2次白線候補エッジ点」として検出された 力 S (図 10、図 11参照)、他の実施形態としてトラック等のダブルタイヤ痕ゃ、タイヤ痕 およびガードレール等の影によって挟まれた筋状の路面部分のエッジ点等、レーン マーク (エッジ点)として誤検出される可能性があるあらゆる路面部分のエッジ点が「1 次、または 1次および 2次レーンマーク候補」として検出されてもよい。
[0090] 前記実施形態では白線のうちレーン中央寄りのエッジ点が「レーンマーク」上の点と して検出された力 他の実施形態として白線のレーン中央寄りのエッジ点から、その 白線を外れない範囲でレーン外側にオフセットされた点が「レーンマーク」上の点とし て検出されてもよい。
[0091] 前記実施形態では図 11に示されて 、るようにひとまとまりの領域が基準領域 Aとし て設定されたが、他の実施形態として図 13に示されているように複数の領域が基準 領域 Aとして設定されてもよい。また、前記実施形態では図 11に示されているように 左右一対の白線(レーンマーク) Mにより挟まれて 、る車両走行レーン(自車レーン) に対応する路面部分に基準領域 Aが設定されたが、他の実施形態として図 14に示 されて ヽるように自車レーンから外れた路面部分に基準領域が設定されてもょ ヽ。 図面の簡単な説明
[0092] [図 1]本発明の一実施形態における車両用画像処理システムの構成説明図
[図 2]本発明の一実施形態における車両用画像処理システムの機能説明図
[図 3]基準領域設定処理の説明図
[図 4]路面クラスタ抽出処理の説明図
[図 5]白線エッジ点検出処理の説明図
[図 6]基準領域の例示図
[図 7]輝度の頻度を計測したヒストグラムの例示図
[図 8]路面クラスタ候補の左右両端区間の説明図
[図 9]統合される 2つの路面クラスタの例示図
[図 10]路面画像の例示図
[図 11]白線候補エッジ点、白線エッジ点、および基準領域の例示図
[図 12]輝度パラメータの基礎となる画素の例示図
[図 13]基準領域の他の例示図
[図 14]基準領域の他の例示図

Claims

請求の範囲
[1] 車両に搭載された撮像装置により撮像された路面画像に基づき、画像処理を実行 する車両用画像処理システムであって、
撮像装置により撮像された路面画像において、レーンマーク以外の路面部分に対 応する基準領域を設定する基準領域設定部と、
基準領域設定部により設定された基準領域における、路面画像の各画素の輝度の 頻度を計測することで、ヒストグラムを作成するヒストグラム作成部と、
ヒストグラム作成部により作成されたヒストグラムから、幅、高さまたは面積が閾値以 上となるひとかたまりの部分を、路面クラスタとして抽出する路面クラスタ抽出部と、 撮像装置により撮影された路面画像に基づき、レーンマーク候補を検出するレーン マーク候補検出部と、
レーンマーク候補検出部により検出されたレーンマーク候補の輝度に基づく輝度パ ラメータを算出する輝度パラメータ算出部と、
輝度パラメータ算出部により算出された輝度パラメータが、路面クラスタ抽出部によ り抽出された路面クラスタの輝度範囲に含まれるレーンマーク候補を擬似レーンマー クとして検出する一方、輝度パラメータ算出部により算出された輝度パラメータが、路 面クラスタ抽出部により抽出された路面クラスタの輝度範囲力 外れているレーンマ ーク候補を真のレーンマークとして検出するレーンマーク検出部とを備えていることを 特徴とする車両用画像処理システム。
[2] 基準領域設定部が、レーンマーク検出部により検出された左右一対の真のレーン マークよりもレーン中央寄りにオフセットした一対のオフセットラインにより左右が画定 される領域を基準領域として設定することを特徴とする請求項 1記載の車両用画像処 理システム。
[3] 基準領域設定部が、路面画像の上縁及び下縁からオフセットしたラインにより上下 が画定される基準領域を設定することを特徴とする請求項 1記載の車両用画像処理 システム。
[4] 路面クラスタ抽出部が、ヒストグラム作成部により作成されたヒストグラムから、中間部 分が両端部分よりも盛り上がった形状を有するひとかたまりの部分を 1次路面クラスタ 候補として抽出し、面積が前記閾値以上となる 1次路面クラスタ候補を、路面クラスタ として抽出することを特徴とする請求項 1記載の車両用画像処理システム。
[5] 路面クラスタ抽出部が、複数の 1次路面クラスタ候補の両端部分が重なり合い、当 該重なり部分にできた谷部分がヒストグラムに含まれるノイズ成分に鑑みて浅い場合 、当該複数の 1次路面クラスタ候補を統合してひとかたまりの 2次路面クラスタ候補と して抽出し、面積が前記閾値以上となる 2次路面クラスタ候補を、路面クラスタとして 抽出することを特徴とする請求項 4記載の車両用画像処理システム。
[6] 全てのレーンマーク候補を 1次レーンマーク候補として検出する 1次レーンマーク候 補検出部と、
1次レーンマーク候補検出部により検出された 1次レーンマーク候補のうち、車両走 行レーンの中央線上の点からの距離が閾値以下であるものを 2次レーンマーク候補 として検出する 2次レーンマーク候補検出部とにより、レーンマーク候補検出部が構 成され、
輝度パラメータ算出部が、 2次レーンマーク候補検出部により検出された 2次レーン マーク候補の輝度に基づく輝度パラメータを算出することを特徴とする請求項 1記載 の車両用画像処理システム。
[7] 全てのレーンマーク候補を 1次レーンマーク候補として検出する 1次レーンマーク候 補検出部と、
1次レーンマーク候補検出部により検出された 1次レーンマーク候補のうち、基準領 域設定部により設定された基準領域に重なるものを 2次レーンマーク候補として検出 する 2次レーンマーク候補検出部とにより、レーンマーク候補検出部が構成され、 輝度パラメータ算出部が、 2次レーンマーク候補検出部により検出された 2次レーン マーク候補の輝度に基づく輝度パラメータを算出することを特徴とする請求項 2記載 の車両用画像処理システム。
[8] 輝度パラメータ算出部が、 2次レーンマーク候補検出部により検出された 2次レーン マーク候補のうち、基準領域設定部により基準領域に重なる部分の輝度に基づく輝 度パラメータを算出することを特徴とする請求項 7記載の車両用画像処理システム。
[9] レーンマーク候補検出部によりレーンマーク候補が検出されな力つた場合、レーン マーク検出部が、先に検出済みのレーンマークを、真のレーンマークとして検出する ことを特徴とする請求項 1記載の車両用画像処理システム。
[10] レーンマーク候補検出部が、レーンマークの、レーン中央寄りのエッジまたはエッジ 点をレーンマーク候補として検出することを特徴とする請求項 1記載の車両用画像処 理システム。
[11] 車両に搭載された撮像装置により撮像された路面画像に基づき、画像処理を実行 する車両用画像処理方法であって、
撮像装置により撮像された路面画像において、レーンマーク以外の路面部分に対 応する基準領域を設定する基準領域設定ステップと、
基準領域設定ステップにおいて設定された基準領域における、路面画像の各画素 の輝度の頻度を計測することで、ヒストグラムを作成するヒストグラム作成ステップと、 ヒストグラム作成ステップにおいて作成されたヒストグラムから、幅、高さまたは面積 が閾値以上となるひとかたまりの部分を、路面クラスタとして抽出する路面クラスタ抽 出ステップと、
撮像装置により撮影された路面画像に基づき、レーンマーク候補を検出するレーン マーク候補検出ステップと、
レーンマーク候補検出ステップにおいて検出されたレーンマーク候補の輝度に基 づく輝度パラメータを算出する輝度パラメータ算出ステップと、
輝度パラメータ算出ステップにおいて算出された輝度パラメータが、路面クラスタ抽 出ステップにおいて抽出された路面クラスタの輝度範囲に含まれるレーンマーク候補 を擬似レーンマークとして検出する一方、輝度パラメータ算出ステップにおいて算出 された輝度パラメータが、路面クラスタ抽出ステップにおいて抽出された路面クラスタ の輝度範囲力も外れているレーンマーク候補を真のレーンマークとして検出するレー ンマーク検出ステップとを備えていることを特徴とする車両用画像処理システム。
[12] 車両に搭載された撮像装置により撮像された路面画像に基づき、画像処理を実行 する機能をコンピュータに付与する車両用画像処理プログラムであって、
撮像装置により撮像された路面画像において、レーンマーク以外の路面部分に対 応する基準領域を設定する基準領域設定機能と、 基準領域設定機能により設定された基準領域における、路面画像の各画素の輝度 の頻度を計測することで、ヒストグラムを作成するヒストグラム作成機能と、
ヒストグラム作成機能により作成されたヒストグラムから、幅、高さまたは面積が閾値 以上となるひとかたまりの部分を、路面クラスタとして抽出する路面クラスタ抽出機能 と、
撮像装置により撮影された路面画像に基づき、レーンマーク候補を検出するレーン マーク候補検出機能と、
レーンマーク候補検出機能により検出されたレーンマーク候補の輝度に基づく輝 度パラメータを算出する輝度パラメータ算出機能と、
輝度パラメータ算出機能により算出された輝度パラメータが、路面クラスタ抽出機能 により抽出された路面クラスタの輝度範囲に含まれるレーンマーク候補を擬似レーン マークとして検出する一方、輝度パラメータ算出機能により算出された輝度パラメータ 力 路面クラスタ抽出機能により抽出された路面クラスタの輝度範囲から外れている レーンマーク候補を真のレーンマークとして検出するレーンマーク検出機能とをコン ピュータに与えることを特徴とする車両用画像処理プログラム。
[13] 請求項 1記載の車両用画像処理システムを構成するために、請求項 12記載の車 両用画像処理プログラムのうち一部または全部を車載コンピュータにダウンロードす ることを特徴とする方法。
[14] 請求項 1〜: LOのうちいずれか 1つ記載の車両用画像システムが搭載されていること を特徴とする車両。
PCT/JP2006/305257 2005-03-22 2006-03-16 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、車両、および車両用画像処理システムの構成方法 WO2006101004A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP06729250.8A EP1862972B1 (en) 2005-03-22 2006-03-16 Vehicle-use image processing system, vehicle-use image processing method, vehicle-use image processing program, vehicle, and method of setting-up vehicle-use image processing system
US11/886,566 US7920721B2 (en) 2005-03-22 2006-03-16 Vehicle-use image processing system, vehicle-use image processing method, vehicle-use image processing program, vehicle, and method of formulating vehicle-use image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-082826 2005-03-22
JP2005082826A JP4616046B2 (ja) 2005-03-22 2005-03-22 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両

Publications (1)

Publication Number Publication Date
WO2006101004A1 true WO2006101004A1 (ja) 2006-09-28

Family

ID=37023665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305257 WO2006101004A1 (ja) 2005-03-22 2006-03-16 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、車両、および車両用画像処理システムの構成方法

Country Status (4)

Country Link
US (1) US7920721B2 (ja)
EP (1) EP1862972B1 (ja)
JP (1) JP4616046B2 (ja)
WO (1) WO2006101004A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019013253A1 (ja) * 2017-07-14 2019-01-17 株式会社デンソー 検出装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4166253B2 (ja) * 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム
US8599257B2 (en) * 2006-08-18 2013-12-03 Nec Corporation Vehicle detection device, vehicle detection method, and vehicle detection program
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP5180126B2 (ja) * 2009-03-24 2013-04-10 富士重工業株式会社 道路認識装置
JP5189556B2 (ja) * 2009-05-22 2013-04-24 富士重工業株式会社 車線検出装置
JP5363920B2 (ja) 2009-08-31 2013-12-11 富士重工業株式会社 車両用白線認識装置
DE102010045511A1 (de) * 2010-09-15 2012-03-15 Daimler Ag Verfahren und Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild
KR20130015746A (ko) * 2011-08-04 2013-02-14 엘지전자 주식회사 차선 인식 장치 및 그 방법
JP5971020B2 (ja) * 2011-08-22 2016-08-17 日産自動車株式会社 レーン認識装置
TWI438729B (zh) 2011-11-16 2014-05-21 Ind Tech Res Inst 車道偏移警示方法及系統
US8996036B2 (en) 2012-02-09 2015-03-31 Southwest Research Institute Autonomous location of objects in a mobile reference frame
US8725413B2 (en) 2012-06-29 2014-05-13 Southwest Research Institute Location and motion estimation using ground imaging sensor
KR102058001B1 (ko) 2012-09-03 2020-01-22 엘지이노텍 주식회사 차선 보정 시스템, 차선 보정 장치 및 이의 차선 보정 방법
US9218529B2 (en) 2012-09-11 2015-12-22 Southwest Research Institute 3-D imaging sensor based location estimation
US9349056B2 (en) * 2013-02-15 2016-05-24 Gordon Peckover Method of measuring road markings
JP2014219960A (ja) 2013-04-08 2014-11-20 トヨタ自動車株式会社 走路検出装置及び走路検出方法
KR20150042417A (ko) * 2013-10-11 2015-04-21 주식회사 만도 촬영부를 이용한 차선검출방법 및 차선검출시스템
JP6141787B2 (ja) * 2014-04-01 2017-06-07 本田技研工業株式会社 レーンマーク認識装置
MX2018011509A (es) * 2016-03-24 2019-01-10 Nissan Motor Metodo de deteccion de carril de circulacion y dispositivo de deteccion de carril de circulacion.
JP6710190B2 (ja) 2017-09-29 2020-06-17 クラリオン株式会社 区画線認識装置
CN109034047B (zh) * 2018-07-20 2021-01-22 京东方科技集团股份有限公司 一种车道线检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11147481A (ja) 1997-11-18 1999-06-02 Mitsubishi Motors Corp 車線逸脱防止装置
JPH11147473A (ja) 1997-11-18 1999-06-02 Mitsubishi Motors Corp 保舵力補助装置
JP2001092970A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd 車線認識装置
JP2001256484A (ja) * 1996-08-28 2001-09-21 Matsushita Electric Ind Co Ltd 道路領域抽出装置および方法
US6590521B1 (en) 1999-11-04 2003-07-08 Honda Giken Gokyo Kabushiki Kaisha Object recognition system
JP2005157731A (ja) * 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車線認識装置および車線認識方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521633A (en) * 1992-09-25 1996-05-28 Yazaki Corporation Motor vehicle obstacle monitoring system using optical flow processing
US5889878A (en) * 1994-07-29 1999-03-30 Kabushiki Kaisha Toshiba Moving object image pickup apparatus
WO1996034363A1 (fr) * 1995-04-26 1996-10-31 Hitachi, Ltd. Processeur d'images pour vehicule
DE69736764T2 (de) * 1996-08-28 2007-01-25 Matsushita Electric Industrial Co., Ltd., Kadoma Lokales Positionierungsgerät und Verfahren dafür
JP3733875B2 (ja) 2000-09-29 2006-01-11 日産自動車株式会社 道路白線認識装置
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
JP4258385B2 (ja) * 2004-01-14 2009-04-30 株式会社デンソー 路面反射検出装置
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256484A (ja) * 1996-08-28 2001-09-21 Matsushita Electric Ind Co Ltd 道路領域抽出装置および方法
JPH11147481A (ja) 1997-11-18 1999-06-02 Mitsubishi Motors Corp 車線逸脱防止装置
JPH11147473A (ja) 1997-11-18 1999-06-02 Mitsubishi Motors Corp 保舵力補助装置
JP2001092970A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd 車線認識装置
US6590521B1 (en) 1999-11-04 2003-07-08 Honda Giken Gokyo Kabushiki Kaisha Object recognition system
JP2005157731A (ja) * 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車線認識装置および車線認識方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1862972A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019013253A1 (ja) * 2017-07-14 2019-01-17 株式会社デンソー 検出装置

Also Published As

Publication number Publication date
US20080317282A1 (en) 2008-12-25
EP1862972B1 (en) 2016-06-08
JP2006268199A (ja) 2006-10-05
JP4616046B2 (ja) 2011-01-19
EP1862972A8 (en) 2008-02-20
EP1862972A1 (en) 2007-12-05
EP1862972A4 (en) 2011-03-09
US7920721B2 (en) 2011-04-05

Similar Documents

Publication Publication Date Title
WO2006101004A1 (ja) 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、車両、および車両用画像処理システムの構成方法
US9047518B2 (en) Method for the detection and tracking of lane markings
JP4607193B2 (ja) 車両及びレーンマーク検出装置
JP2001101415A (ja) 画像認識装置および画像処理装置
US9257043B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
EP1890264B1 (en) Vehicle, image processing system, image processing method, image processing program, image processing system configuration method, and server
CN105096655B (zh) 物体检测装置、驾驶辅助装置、物体检测方法
CN111149131B (zh) 区划线识别装置
US10891738B2 (en) Boundary line recognition apparatus and branch road determination apparatus
US20190370566A1 (en) Image based lane marking classification
US9990549B2 (en) Complex marking determining device and complex marking determining method
JP5402828B2 (ja) 車線境界検出装置、車線境界検出プログラム
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
JP2007179386A (ja) 白線認識方法及び白線認識装置
US10235579B2 (en) Vanishing point correction apparatus and method
EP3690847A1 (en) Lift-up determining device and lift-up determining method
JP2016170708A (ja) 道路状態判定装置および道路状態判定方法
US10614321B2 (en) Travel lane detection method and travel lane detection device
JP2012175483A (ja) 車線認識装置及び車線認識方法
JP4225242B2 (ja) 走行路認識装置
JP2004326559A (ja) 車線区分線検出装置
JPWO2020095549A1 (ja) 撮像装置
JP2015215235A (ja) 物体検出装置及び物体検出方法
JP5023363B2 (ja) 車両走行支援装置、車両、車両走行支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006729250

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11886566

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006729250

Country of ref document: EP