WO2019172059A1 - 区画線認識装置 - Google Patents

区画線認識装置 Download PDF

Info

Publication number
WO2019172059A1
WO2019172059A1 PCT/JP2019/007736 JP2019007736W WO2019172059A1 WO 2019172059 A1 WO2019172059 A1 WO 2019172059A1 JP 2019007736 W JP2019007736 W JP 2019007736W WO 2019172059 A1 WO2019172059 A1 WO 2019172059A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
lane marking
image
lane
pixels
Prior art date
Application number
PCT/JP2019/007736
Other languages
English (en)
French (fr)
Inventor
待井 君吉
健人 緒方
清水 直樹
彩乃 宮下
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP19763894.3A priority Critical patent/EP3764322A4/en
Priority to US16/979,147 priority patent/US11482016B2/en
Publication of WO2019172059A1 publication Critical patent/WO2019172059A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Definitions

  • the present invention relates to an apparatus for recognizing a lane marking on a road.
  • a technique for recognizing a marking line (white line) on a road from a captured image of the road and using it for vehicle control or the like is known.
  • the feature point of the edge may appear not only in the boundary portion of the lane marking but also in the lane marking.
  • it is difficult to determine whether a point indicates a boundary of a lane marking if the brightness value of the lane line decreases due to the influence of the shadow of the vehicle or the brightness value of the road surface increases due to reflection of strong light on the road surface, it is difficult to distinguish the lane line from the road surface. There was also a problem that there was.
  • Patent Document 1 is known as a background technique for solving the above-described problems.
  • an imaging device that images the front of a vehicle including a road surface, and binarization processing of an image captured by the imaging device using a binarization threshold value is performed to detect a lane mark formed on the road surface.
  • a lane mark detection unit wherein the lane mark detection unit divides the captured image into a plurality of blocks that are continuous in the vertical direction and extend in the horizontal direction. Based on the luminance value, the plurality of blocks are divided into a bright part block and a low dark part block having a relatively high luminance value, and the value of the binarization threshold is changed between the bright part block and the dark part block, It describes that the captured image is binarized.
  • Patent Document 1 it is difficult to appropriately determine the lane marking when the lane marking and the brightness value of the road surface cannot be locally distinguished. Therefore, there is room for improvement in the recognition accuracy of lane markings on the road.
  • a lane marking recognition device is a device for recognizing a lane marking on a road from an image taken by a camera, a processing area setting unit for setting a processing area for the image, and the processing area in the processing area.
  • a statistic calculation unit that calculates the statistic of the image, a threshold setting unit that sets a plurality of thresholds based on the statistic, and a plurality of pixels included in the image based on the plurality of thresholds as a road surface and a white line
  • the lane line feature point extraction unit that classifies the distinction and extracts the feature points of the lane line based on the classification result of the plurality of pixels
  • a lane marking determining unit that determines the lane marking.
  • the recognition accuracy of lane markings on the road can be improved.
  • category The figure which shows the example of a classification image.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of a lane marking recognition device according to an embodiment of the present invention.
  • a lane marking recognition device 1 shown in FIG. 1 is used by being mounted on a vehicle, and recognizes a lane marking on a road from an image captured by a camera.
  • a CAN I / F 106 is provided.
  • the lane marking recognition device 1 includes a front camera 101-Fr for monitoring the front of the vehicle, a rear camera 101-Rr for monitoring the rear of the vehicle, and a left side camera 101-SL for monitoring the left side of the vehicle. And a right side camera 101-SR for monitoring the right side of the vehicle.
  • a vehicle control unit 108 is connected via the CAN bus 107.
  • the above four cameras are connected to the lane marking recognition device 1.
  • the recognizing device 1 can recognize a lane marking on the road from each image. Therefore, in the following description, the above four cameras will be described as a single camera 101 without distinguishing them.
  • the storage device 103 stores various information and programs necessary for the operation of the lane marking recognition device 1.
  • the CPU 104 executes a predetermined program stored in the storage device 103, performs image processing using an image input from the camera 101, and recognizes lane markings on the road existing around the vehicle.
  • the memory 105 is a volatile storage medium.
  • the memory 105 is used as a work area when the CPU 104 executes image processing, and the recognition result of the lane markings obtained by the image processing is accumulated.
  • Information on the recognition results of the lane markings accumulated in the memory 105 is output to the CAN bus 107 via the CAN I / F 106 and sent to the vehicle control unit 108.
  • the vehicle control unit 108 uses the lane marking recognition result sent from the lane marking recognition device 1 to control the steering of the vehicle so that the vehicle does not deviate from the driving lane. Vehicle control.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the lane marking recognition apparatus according to the embodiment of the present invention.
  • the lane marking recognition device 1 illustrated in FIG. 2 functionally includes a processing region setting unit 201, a statistic calculation unit 202, a threshold setting unit 203, a lane line feature point extraction unit 205, and a lane line determination unit 206.
  • the threshold setting unit 203 includes a white line threshold setting unit 203-1 and a road surface threshold setting unit 203-2.
  • the lane marking feature point extraction unit 205 includes a classification unit 205-1, a feature point candidate extraction unit 205-2, and a feature point determination unit 205-3.
  • the lane marking recognition apparatus 1 implements each of these functional blocks by executing a predetermined program by the CPU 104.
  • Images taken by the camera 101 are sent to the processing area setting unit 201 at predetermined time intervals.
  • each image input from the camera 101 every predetermined time may be referred to as a “frame”.
  • a processing area setting unit 201 sets a processing area for an image input from the camera 101.
  • the processing area set here is an image area used for extracting a lane marking (white line) on a road from an image. Therefore, the processing area is set around a place where a white line is considered to exist, and if the white line is recognized in the previous frame, it can be set based on the position.
  • the processing area can be set by setting a predefined margin above and below the white line recognition position in the previous frame. If there is no detection in the previous frame, a predefined area may be used.
  • the purpose of setting a processing area for an image is to shorten the processing time by narrowing down the processing area, because it takes time to process the entire image when the processing capacity of the CPU 104 is not sufficient. However, when the processing capacity of the CPU 104 is sufficient, the entire image may be set as the processing area.
  • the lane marking is a white line, but the same applies to lane markings other than the white line.
  • the processing area setting unit 201 sets the processing area in the current frame based on, for example, the position of the white line in the previous frame, that is, the position of the white line recognized from the previous processing target image.
  • the processing area may be set based on the position of the white line in the previous frame, or the default processing area may be set at a predetermined position. Good. As a result, it is possible to prevent the processing time from being increased without setting the processing area.
  • the processing region can be set based on the position of the white line in the frame in which the white line was last recognized.
  • the statistic calculation unit 202 calculates the statistic of the image in the processing area set by the processing area setting unit 201. Specifically, for example, an average value and a standard deviation of luminance values of each pixel of the image in the processing region are calculated as image statistics.
  • the setting unit 203-2 sets the white line threshold and the road surface threshold.
  • the white line threshold is a threshold for recognizing a white line portion from an image in the processing region, and corresponds to the lowest luminance value of the pixels belonging to the white line. That is, pixels having a luminance value equal to or higher than the white line threshold are extracted as white line candidates.
  • the road surface threshold value is a threshold value for recognizing a road surface portion from an image in the processing region, and corresponds to the highest luminance value of pixels belonging to the road surface other than the white line.
  • pixels having a luminance value equal to or lower than the road surface threshold are extracted as road surface candidates.
  • portions other than the white line on the road are collectively referred to as “road surface”. A specific method for setting the white line threshold and the road surface threshold will be described later.
  • the lane marking feature point extraction unit 205 uses the classification unit 205-1, the feature point candidate extraction unit 205-2, and the feature point determination unit 205-3 based on the white line threshold and the road surface threshold set by the threshold setting unit 203. Extract white line feature points from the image.
  • the classification unit 205-1 classifies each pixel included in the image in the processing region as one of “road surface”, “white line”, and “undefined” using the white line threshold value and the road surface threshold value. That is, the luminance value of each pixel is compared with the white line threshold value and the road surface threshold value to determine whether it belongs to “white line” or “road surface”, and when it is determined that none of them belongs, it is classified as “undefined”.
  • a white line edge is extracted from an image in the processing region using a known edge extraction method, for example, a differential filter such as a Sobel filter, and the classification unit 205-1 targets pixels existing in the vicinity of the white line edge. Each pixel may be classified. In this case, pixels that are not classified are excluded from subsequent processing targets.
  • a known edge extraction method for example, a differential filter such as a Sobel filter
  • the feature point candidate extraction unit 205-2 extracts a feature point candidate which is a feature point candidate indicating the outline of the white line based on the classification result of each pixel by the classification unit 205-1. Specifically, a boundary where the pixel classification changes is obtained, and a point corresponding to the boundary is extracted as a feature point candidate.
  • the feature point determination unit 205-3 determines a feature point from the feature point candidates based on the positional relationship between the plurality of feature point candidates extracted by the feature point candidate extraction unit 205-2. Specifically, by referring to the lane line standard data 204 stored in the storage device 103 and collating the distances between the extracted feature point candidates with the lane line standard data 204, which feature point candidates are Judge whether the combination is probable as the outline of the white line.
  • the lane marking standard data 204 is a database that stores standard values such as the thickness and length of white lines, and is stored in the storage device 103 in advance.
  • the lane line determination unit 206 recognizes a white line drawn on the road based on the feature points extracted by the lane line feature point extraction unit 205, and determines the position of the white line in the image. For example, coordinate conversion to a predetermined coordinate system in which image distortion is corrected is performed on all feature points in the processing area, and then a white line is recognized using a method such as oblique projection. Specifically, while changing the angle of the coordinate axis with a certain width, the coordinate-converted feature points are projected onto the x and y coordinate axes, and the accumulated values of the edge strengths are tabulated. A white line can be recognized by obtaining the angle and position at which the edge strength is maximized.
  • the coordinate conversion of the feature points requires camera parameters such as the angle of view and the shooting direction of the camera 101, so it is preferable to store the camera parameters for coordinate conversion in the storage device 103 or the like in advance. If the white line can be recognized in this way, the lane marking determination unit 206 may determine the type of road marking represented by the white line by identifying whether the white line is a solid line or a broken line.
  • FIG. 3 is a diagram showing a processing flow of the lane marking recognition apparatus according to the first embodiment of the present invention.
  • the processing flow in FIG. 3 shows processing for one image frame. That is, in the lane marking recognition apparatus 1 of this embodiment, every time an image is input from the camera 101 at a predetermined frame rate, the CPU 104 executes processing for recognizing the lane marking from the image according to the processing flow of FIG.
  • step 301 a camera image, that is, an image input from the camera 101 is acquired.
  • step 302 the processing area setting unit 201 sets a processing area in the image acquired in step 301.
  • the position of the processing region in the image is determined based on the position of the white line in the previous frame.
  • step 303 the statistic calculation unit 202 obtains the statistic of the luminance value in the processing area set in step 302.
  • the average value and the standard deviation of the luminance values of the pixels in the processing region are calculated as image statistics.
  • step 304 the threshold value setting unit 203 sets the threshold value of the luminance value based on the statistic obtained in step 303.
  • the white line threshold value setting unit 203-1 sets the white line threshold value
  • the road surface threshold value setting unit 203-2 sets the road surface threshold value. Details of the threshold setting method in step 304 will be described later with reference to FIGS.
  • step 305 the lane marking feature point extraction unit 205 extracts lane markings, that is, white line feature points from the image in the processing region set in step 302 based on the threshold value set in step 304. Details of the feature point extraction method in step 305 will be described later with reference to FIGS.
  • step 306 the lane marking unit 206 determines a lane marking (white line) on the road from the feature points extracted in step 305.
  • step 306 the CPU 104 ends the processing flow of FIG.
  • FIG. 4 is a diagram illustrating an example of a threshold setting method by the threshold setting unit 203.
  • the road surface threshold value setting unit 203-2 sets the average value ⁇ as the road surface threshold value 404, for example, as shown in FIG. Accordingly, each pixel included in the region 401 having a luminance value smaller than the road surface threshold 404 is classified as “road surface” in the lane marking feature point extraction unit 205.
  • the white line threshold value setting unit 203-1 sets ⁇ + ⁇ obtained by adding the standard deviation ⁇ to the average value ⁇ as the white line threshold value 405, for example, as shown in FIG.
  • each pixel included in the region 403 having a luminance value larger than the white line threshold value 405 is classified as a “white line” in the lane marking feature point extraction unit 205.
  • pixels that are not classified as either “road surface” or “white line”, that is, each pixel included in the region 402 corresponding to a luminance value that is greater than or equal to the road surface threshold value 404 and less than or equal to the white line threshold value 405 are defined as a lane marking feature point extraction unit 205. Is classified as “undefined”.
  • the method of FIG. 4 is established on the assumption that the luminance value follows a normal distribution, but it is considered that there are many cases where this is not the case in practice. In such a case, it is effective to use a statistic that is not easily affected by a distribution deviation such as median or median absolute deviation (Median Absolute Deviation).
  • FIG. 16 is a diagram illustrating another example of the threshold setting method by the threshold setting unit 203.
  • the median M and the median absolute deviation MAD are calculated by the statistic calculator 202 as the statistic of the luminance value of each pixel in the processing region.
  • the road surface threshold value setting unit 203-2 sets the median value M as the road surface threshold value 404, for example, as shown in FIG. Accordingly, each pixel included in the region 401 having a luminance value smaller than the road surface threshold 404 is classified as “road surface” in the lane marking feature point extraction unit 205.
  • the white line threshold setting unit 203-1 sets M + MAD obtained by adding the median absolute deviation MAD to the median M as the white line threshold 405, as shown in FIG.
  • each pixel included in the region 403 having a luminance value larger than the white line threshold value 405 is classified as a “white line” in the lane marking feature point extraction unit 205.
  • pixels that are not classified as either “road surface” or “white line”, that is, each pixel included in the region 402 corresponding to a luminance value that is greater than or equal to the road surface threshold value 404 and less than or equal to the white line threshold value 405 are defined as a lane marking feature point extraction unit 205. Is classified as “undefined”.
  • each pixel having a relatively high luminance value in the processing region can be extracted as a white line candidate. Also, by using statistics, even if the brightness of the frame changes due to changes in the surrounding environment of the vehicle, it is possible to set the white line threshold value and the road surface threshold value and to extract white line candidates without being affected by it. It is.
  • the setting method of a white line threshold value and a road surface threshold value is not restricted to said method. Any method can be used as long as the white line threshold and the road surface threshold can be appropriately set based on the statistic of the luminance value of each pixel in the processing region.
  • FIG. 5 is a diagram showing a processing flow of the lane marking feature point extraction unit 205 in step 305.
  • step 501 the classification unit 205-1 determines the classification of each pixel in the processing area.
  • the classification unit 205-1 executes the classification process shown in the processing flow of FIG. 6 to classify each pixel in the processing region into one of “road surface”, “white line”, and “undefined”. Details of the processing flow of FIG. 6 will be described later.
  • the feature point candidate extraction unit 205-2 performs the following processing for each pixel in the processing region using the classification result in step 501.
  • the x-axis is defined as the left-to-right direction of the image
  • the y-axis is defined as the top-down direction of the image.
  • step 502 for a pixel to be processed, a pair of pixels having the same x-coordinate and a y-coordinate difference of 1 in the processing area are selected.
  • the camera 101 is the left side camera 101-SL or the right side camera 101-SR.
  • the extending direction of the lane markings in the image changes by about 90 degrees, so the y coordinate is the same and the x coordinate difference is 1. It is preferable to select a certain pair of pixels. As a result, the same processing as in the case of the left side camera 101-SL or the right side camera 101-SR is possible.
  • step 503 the classification results in step 501 are compared for the pair of pixels selected in step 502. As a result, the same x coordinate is scanned in the direction of increasing y coordinate, and the classification of these pixels is either “undefined” to “white line”, “road surface” to “white line”, or “road surface” to “undefined”. If it has changed, in step 504, one pixel, for example, the pixel having the larger y-coordinate value is regarded as the rising point and buffered. The rising point is a point at which the luminance value changes in an increasing direction, and corresponds to a feature point candidate indicating the outline of a white line. If buffering is performed using the pixel as a rising point, the process returns to step 502 to proceed to the next pixel process. On the other hand, if the above condition is not satisfied, the process proceeds to step 505.
  • step 505 as in step 503, the classification results in step 501 are compared for the pair of pixels selected in step 502. As a result, the y-coordinate is scanned in the same x-coordinate direction, and the classification of these pixels is either “undefined” to “road surface”, “white line” to “road surface”, or “white line” to “undefined”. If it has changed, in step 506, one pixel, for example, the pixel with the larger y-coordinate value is regarded as the falling point and buffered.
  • the falling point is a point at which the luminance value changes in a decreasing direction, and corresponds to a feature point candidate indicating the outline of a white line.
  • step 502 When the pixel is buffered as a falling point, the process returns to step 502 to move to the next pixel process. On the other hand, if the above condition is not satisfied, nothing is done and the process returns to step 502 to proceed to the next pixel process.
  • steps 502 to 506 whether or not all the pixels in the processing region correspond to the rising point or the falling point that are candidate feature points by executing the above-described processing on each pixel in the processing region. Determine whether or not.
  • steps 502 to 506 is executed for all the pixels in the processing area, the process proceeds to step 507.
  • step 507 the feature point determination unit 205-3 collates the respective feature point candidates determined in steps 502 to 506, that is, the positions of the rising point and the falling point, and determines the feature point.
  • the feature point determination unit 205-3 executes the feature point determination process shown in the processing flow of FIG. 7, and based on the positional relationship between a plurality of feature point candidates extracted from the image in the processing region, A feature point is determined from the feature point candidates. Details of the processing flow of FIG. 7 will be described later.
  • step 305 in FIG. 3 is terminated and the process proceeds to the next step 306.
  • FIG. 6 is a diagram showing a processing flow of the classification unit 205-1 in step 501 of FIG.
  • the classification unit 205-1 performs the processing of steps 601 to 606 described below for each pixel in the processing region.
  • step 601 the luminance value of the pixel to be processed in the image is acquired.
  • step 602 the luminance value acquired in step 601 is compared with the road surface threshold set by the road surface threshold setting unit 203-2 in step 304 of FIG. As a result, if the luminance value is smaller than the road surface threshold, in step 604, the pixel is classified as “road surface”, and the process proceeds to the next pixel. On the other hand, if the luminance value is equal to or greater than the road surface threshold value, the process proceeds to step 603.
  • Step 603 the luminance value acquired in Step 601 is compared with the white line threshold set by the white line threshold setting unit 203-1 in Step 304 of FIG. As a result, if the luminance value is greater than the white line threshold value, the pixel is classified as a “white line” in step 605 and the process proceeds to the next pixel. On the other hand, if the luminance value is less than or equal to the white line threshold value, the pixel is classified as “indefinite” in step 606 and the process proceeds to the next pixel.
  • steps 601 to 606 the above processing is executed for each pixel in the processing area, so that all the pixels in the processing area are classified as “road surface”, “white line”, or “undefined”. To do.
  • step 501 in FIG. 5 is terminated, and the process proceeds to the next step 502.
  • FIG. 7 is a diagram showing a processing flow of the feature point determination unit 205-3 in step 507 of FIG.
  • lane width data that is, data representing the width of the white line is acquired from the storage device 103.
  • the lane width data stored in the storage device 103 as part of the lane marking standard data 204 is acquired.
  • a road type on which the vehicle is currently traveling is acquired from a navigation device (not shown) connected to the lane marking recognition device 1 via the CAN bus 107, and the lane width data corresponding to the road type is determined as the lane line. You may search and acquire from the specification data 204.
  • the lane marking recognition device 1 also serves as a navigation device, lane width data corresponding to the type of road on which the vehicle is traveling can be acquired in the same manner as described above.
  • the initial value of the minimum lane width error is set.
  • the minimum lane width error value is used to determine whether or not the positional relationship between the rising point and the falling point is likely to be a characteristic point in the subsequent processing, and is stored in the memory 105 and processed. Updated as needed.
  • 20 cm is set as the initial value of the minimum lane width error.
  • 20 cm is an example, and an arbitrary numerical value can be set as the initial value of the minimum lane width error as long as it is equal to or larger than the actual width of the white line.
  • step 703 the distance between the rising point to be processed and the falling point having the same x coordinate and the rising point are calculated. That is, among a plurality of feature point candidates extracted from the image in the processing region, a pair of rising and falling points having the same x coordinate and a difference of y coordinate of 1 are selected, and depending on their positional relationship Find the distance.
  • step 704 the distance obtained in step 703 is compared with the width of the white line represented by the lane width data acquired in step 701, and an error (difference) between them is calculated.
  • step 705 the error obtained in step 704 is compared with the current minimum lane width error value. As a result, if the error is smaller than the minimum lane width error value, the minimum lane width error value is replaced by the error value in step 706, and then in step 707, the feature point information is updated using the falling point as a feature point.
  • the feature point information is information representing the feature point determined by the feature point determination unit 205-3, and is recorded in the feature point buffer provided in the memory 105 so that the x coordinate does not overlap. That is, even when there are a plurality of falling points having the same x-coordinate, at most one falling point is recorded as feature points in the feature point information.
  • step 705 determines whether there is no feature point corresponding to the x coordinate, and feature point information is not recorded.
  • the process returns to step 703, and the process proceeds to the process for the next combination of rising point and falling point.
  • the process returns to step 502 without doing anything, and the process proceeds to the process for the next combination of rising and falling points.
  • steps 703 to 707 the above-described processing is executed for each combination of rising point and falling point, so that the positional relationship between the feature point candidates is obtained for all the feature point candidates extracted from the processing region.
  • the feature point can be extracted from the feature point candidate. Can be determined.
  • the falling point is recorded as the feature point information.
  • the rising point may be recorded as the feature point information, or both the rising point and the falling point are recorded as the feature point information. May be.
  • FIG. 8 is a diagram showing an example of the data structure of the feature point candidate buffer used when buffering the rising point and the falling point in steps 504 and 506 of FIG.
  • the feature point candidate buffer shown in FIG. 8 is realized by using the memory 105, and stores each data of the number of rising points 801, the rising point information 802, the number of falling points 804, and the falling point information 805.
  • the number of rising points 801 is data representing the number of rising points, and is equal to the number of data of the rising point information 802. That is, the same number of rising point information 802 as the number indicated by the rising point number 801 is stored in the feature point candidate buffer.
  • the rising point information 802 is data indicating the position of the rising point in the image, and is composed of an x coordinate 802-1 and a y coordinate 802-2 representing the x coordinate value and the y coordinate value of the rising point in the image coordinate system, respectively.
  • the falling point number 804 is data representing the number of falling points, and is equal to the data number of the falling point information 805. That is, the same number of falling point information 805 as the number indicated by the falling point number 804 is stored in the feature point candidate buffer.
  • the falling point information 805 is data indicating the position of the falling point in the image, and an x coordinate 805-1 and a y coordinate 805 representing the x coordinate value and the y coordinate value of the falling point in the image coordinate system, respectively. It consists of two.
  • FIG. 9 is a diagram showing an example of the data structure of the feature point buffer used when buffering feature point information in step 707 of FIG.
  • the feature point buffer shown in FIG. 9 is realized by using the memory 105, and stores each data of the number of feature points 901 and feature point information 902.
  • the feature point number 901 is data representing the number of feature points, and is equal to the data number of the feature point information 902. That is, the same number of feature point information 902 as the number indicated by the feature point number 901 is stored in the feature point buffer.
  • the feature point information 902 is data indicating the position and classification of the feature point in the image, and the x coordinate 902-1 and the y coordinate 902-2 representing the x coordinate value and the y coordinate value of the feature point in the image coordinate system, respectively.
  • FIG. 10 is a diagram illustrating an example of an image before classification.
  • the processing area setting unit 201 sets the processing area 1002 in a range surrounded by a white frame in the figure for the image 1001 input from the camera 101, for example.
  • the processing area 1002 includes a white line that is a recognition target, and the shadow of the grass is partially covered by the white line.
  • the processing area 1002 is determined based on the white line position in the previous frame as described above, for example.
  • the statistic calculation unit 202 calculates the statistic of the luminance value of each pixel in the processing area 1002 set in the image 1001.
  • the threshold setting unit 203 sets a white line threshold and a road surface threshold based on the statistics calculated by the statistics calculation unit 202.
  • the classification unit 205-1 classifies each pixel of the image 1001 as one of “road surface”, “white line”, and “undefined” using the white line threshold value and the road surface threshold value set by the threshold value setting unit 203.
  • FIG. 11 is a diagram showing an example of a classified image 1101 obtained by classifying each pixel of the image 1001 in FIG.
  • the classification result of each pixel is represented by three types of black, white, and gray.
  • Black corresponds to the “road surface”
  • white corresponds to the “white line”
  • gray corresponds to the “indefinite” classification result.
  • most of the pixels corresponding to the white line in the image 1001 in FIG. 10 are classified as “white lines” in the classified image 1101 in FIG. 11, but some of the pixels are partially shaded because the shadows of the grass overlap. It can be seen that it is classified as “undefined”.
  • the classification result for the entire area of the image 1001 is shown as the classification image 1101 for easy understanding, but in practice, only the pixels in the processing area 1002 may be classified as described above.
  • Feature point candidate extraction section 205-2 extracts rising points and falling points that are feature point candidates from classification image 1101, based on the classification result of each pixel shown in classification image 1101.
  • FIG. 12 is a diagram for explaining an example of extraction of rising points and falling points by the feature point candidate extraction unit 205-2.
  • a part of the classification image 1101 corresponding to the processing region 1002 is extracted and shown.
  • the feature point candidate extraction unit 205-2 sequentially selects a pair of pixels having the same x coordinate and a difference of y coordinate of 1, and extracts a point where the classification result changes as a rising point or a falling point. To do.
  • FIG. 12 when a point whose classification result changes along the scan direction 1200 is searched for each pixel whose x coordinate value is x1, a rising point 1201, a falling point 1202, and a falling point are detected.
  • a point 1203 is extracted.
  • the rising point 1201 is a point where the classification changes from “road surface” to “white line”.
  • the falling point 1202 is a point where the classification changes from “white line” to “indefinite”.
  • the falling point 1203 is a point where the classification changes from “undefined” to “road surface”. Note that the falling point 1202 corresponds to a shaded portion on the white line. As described above, the falling point may be extracted not only at the boundary between the white line and the road surface but also at the shadow portion on the white line. In this way, the lower end of the processing area 1002, that is, the rising point and the falling point that are extracted by scanning to the point where the y coordinate is maximized, are respectively buffered as feature point candidates.
  • FIG. 13 is a diagram illustrating an example of extraction results of rising points and falling points.
  • the rising point and the falling point extracted in the processing area 1002 in the classified image 1101 are represented by black dots represented by the point indicated by reference numeral 1301.
  • the feature point determination unit 205-3 collates the positional relationship of each rising point and falling point extracted as the feature point candidate from the classification image 1101 with the lane marking standard data 204, and determines the feature point from these. For example, regarding the rising point 1201, the falling point 1202, and the falling point 1203 shown in FIG. 12, the positional relationship between the rising point 1201 and the falling point 1202 and the positional relationship between the rising point 1201 and the falling point 1203 are divided into sections. The white line width (thickness) indicated by the line standard data 204 is collated.
  • the information of the falling point 1202 is the feature point. Not recorded in information.
  • the distance between the rising point 1201 and the falling point 1203 substantially matches the width of the white line, it is determined that this combination is appropriate as representing the outline of the white line, and the information of the falling point 1203 is included in the feature point information.
  • the information of the falling point located closer to the own vehicle is recorded in the feature point information.
  • the rising point is recorded. May be recorded in the feature point information, and information on both the rising point and the falling point may be recorded in the feature point information.
  • FIG. 14 is a diagram illustrating an example of the feature point determination result in the entire processing region 1002 in the classification image 1101.
  • the feature points determined by the falling points whose distance from the corresponding rising points substantially coincide with the width of the white line are represented by black points represented by the points indicated by reference numeral 1401.
  • the lane marking recognition device 1 is a device that recognizes a lane marking on a road from an image captured by the camera 101.
  • the lane marking recognition device 1 includes a processing region setting unit 201 that sets a processing region for an image, a statistic calculation unit 202 that calculates a statistic of an image in the processing region, and a plurality of thresholds based on the statistic, that is,
  • a threshold value setting unit 203 that sets a white line threshold value and a road surface threshold value, classifies a plurality of pixels included in the image based on the white line threshold value and the road surface threshold value, and extracts feature points of the partition line based on a classification result of the plurality of pixels.
  • a lane line feature point extraction unit 205 and a lane line determination unit 206 that determines a lane line based on the feature points extracted by the lane line feature point extraction unit 205 are provided. Since it did in this way, the recognition accuracy of the lane marking on a road can be improved.
  • the statistic calculation unit 202 calculates the average value and the standard deviation of the luminance values of the pixels of the image in the processing region as the statistic (step 303 in FIG. 3). Since it did in this way, the statistic required in order to set a white line threshold value and a road surface threshold value appropriately can be calculated.
  • the lane marking feature point extraction unit 205 causes the feature point candidate extraction unit 205-2 to extract points corresponding to boundaries where the classification of a plurality of pixels included in the image changes as feature point candidates (FIG. 5). Steps 502 to 506). Since this is done, an appropriate point can be extracted as a feature point candidate using the result of pixel classification performed by the classification unit 205-1.
  • the lane marking feature point extraction unit 205 classifies the plurality of pixels included in the image into at least three types, that is, “road surface”, “white line”, and “undefined” by the classification unit 205-1. (Steps 601 to 606 in FIG. 6). Since it did in this way, it can be set as the classification suitable for extracting the candidate of a feature point from the some pixel contained in the image using the some threshold value which the threshold value setting part 203 set.
  • the lane marking feature point extraction unit 205 uses the feature point candidate extraction unit 205-2 to extract a plurality of feature point candidates based on the classification result of the plurality of pixels included in the image (steps 502 to FIG. 5). 506), the feature point determination unit 205-3 determines a feature point from the feature point candidates based on the positional relationship between the extracted feature point candidates (steps 701 to 707 in FIG. 7). Since it did in this way, the point which seems to represent the outline of a white line among the feature point candidates extracted from the image can be determined as the feature point.
  • FIG. 15 is a diagram showing a processing flow of the lane marking recognition apparatus according to the second embodiment of the present invention.
  • the CPU 104 executes the processing flow shown in FIG. 15 following the processing of step 305 in FIG.
  • the images acquired in the past are statistically processed to identify pixels where each classification of “road surface”, “white line”, and “indeterminate” is likely to appear, and collated with the classification result of the current frame. Then, it is determined whether or not the classification result of the current frame is probable.
  • the statistic calculation unit 202 obtains a deviation value of the luminance of each pixel in a plurality of images acquired in the past.
  • the deviation value of the luminance of each pixel is obtained for each frame for a predetermined distance that the vehicle on which the lane marking recognition device 1 has traveled in the past, for example, all frames for the past 10 m.
  • the luminance deviation value of each pixel can be calculated by, for example, the following equation using an average value and a standard deviation calculated from the luminance value of each pixel in the processing region set in the frame.
  • Deviation value (luminance value-average value) / standard deviation
  • the statistic calculation unit 202 calculates the average deviation value of each pixel using the luminance deviation value of each pixel obtained for each frame in step 1501.
  • the average deviation value of each pixel is obtained by averaging the luminance deviation values in all the frames for all the past 10 m frames for which the luminance deviation value of each pixel is obtained in step 1501. Is calculated.
  • the statistic calculation unit 202 normalizes the luminance value of each pixel in a plurality of images acquired in the past using the average deviation value of each pixel calculated in step 1502.
  • the luminance value of each pixel is normalized according to the range of values that the luminance value of each pixel can take in all the frames for the past 10 m. Thereby, for example, within the range of 0 to 255, the luminance value of each pixel in all frames for the past 10 m is normalized.
  • the white line threshold value and the road surface threshold value are set using the normalized luminance value of each pixel.
  • step 1504 the statistic calculation unit 202 applies the processing area of the current frame to all the past 10 m frames whose luminance values are normalized in step 1503. Then, the average and standard deviation of the normalized luminance values obtained in step 1503 are obtained for a plurality of pixels included in the processing region. Thereby, the statistic of the image in the processing region is calculated using a plurality of images taken at different times by the camera 101.
  • the threshold value setting unit 203 sets the white line threshold value and the road surface threshold value using the statistics of the normalized luminance values obtained in step 1504, that is, the average and the standard deviation.
  • the white line threshold value and the road surface threshold value for the normalized luminance value are set based on the average and standard deviation of the normalized luminance value of each pixel by the same method as described in the first embodiment.
  • step 1506 the lane marking feature point extraction unit 205 uses the white line threshold and the road surface threshold set in step 1504 to normalize and classify each pixel in the processing region in all frames for the past 10 m.
  • the classification unit 205-1 uses the normalized luminance value of each pixel in the processing region obtained in step 1503 to perform the same processing as in steps 601 to 606 of FIG. 6 described in the first embodiment. As a result, each pixel is classified into one of “road surface”, “white line”, and “undefined”.
  • the same classification result as that of the current frame can be obtained as the normalized classification result of each pixel for frames of a predetermined distance that the vehicle has traveled in the past.
  • it is determined whether or not each feature point can be trusted by comparing the normalized classification result with the classification result of each feature point extracted in the current frame.
  • the feature point determination unit 205-3 performs the following processing for each feature point extracted in the current frame.
  • step 1507 the coordinates and classification of the feature point to be processed are obtained.
  • the feature point information finally obtained by the processing of FIG. 7 is acquired from the feature point buffer of FIG. 9, and the feature point information corresponding to the feature point to be processed is extracted. Get the coordinates and classification of feature points.
  • step 1508 based on the coordinates of the feature points of the current frame acquired in step 1507, a normalized classification at the same coordinates is obtained.
  • the normalized classification results obtained in step 1506 the one corresponding to the coordinates of the feature point of the current frame is selected and acquired.
  • step 1509 the feature point classification of the current frame acquired in step 1507 is compared with the normalized classification acquired in step 1508. As a result, if the two classifications are different, the feature point information is deleted from the feature point buffer in step 1510, and then the process returns to step 1507 to move to processing for the next feature point. On the other hand, if it is determined in step 1509 that the two classifications are the same, the process returns to step 1507 without doing anything, so that the feature point information remains in the feature point buffer and the next feature point is processed. Move on.
  • steps 1507 to 1510 the above processing is executed for each feature point extracted from the current frame, so that the classification result of each feature point is compared with the past frame.
  • the tendency of which classification is likely to appear at each coordinate on the image is known, and when a feature point different from the tendency is extracted from the current frame, it can be removed as noise.
  • the lane marking feature point extraction unit 205 classifies a plurality of pixels respectively included in a plurality of images taken at different times by the camera 101, and obtains the same classification result between corresponding pixels of the plurality of images. If so, the feature points of the lane markings are extracted using the classification result of the pixels. Specifically, the statistic calculation unit 202 calculates the statistic for a plurality of past images (steps 1501 to 1504 in FIG. 15).
  • the lane marking feature point extraction unit 205 classifies a plurality of pixels included in a plurality of past images based on the statistic calculated by the statistic calculation unit 202 (step 1506), the classification result, and a plurality of past A result of classifying a plurality of pixels included in the image of the current frame taken by the camera 101 after the image is compared (steps 1507 to 1509).
  • the same classification result is obtained between the corresponding pixels (step 1509: Yes)
  • the information on the pixel is not deleted from the feature point buffer, and the classification result of the pixel is used. Extract feature points of lane markings. Since it did in this way, the feature point of a division line can be extracted more correctly from the present flame
  • the lane marking recognition device 1 mounted on a vehicle has been described as an example, but the present invention is not limited to this.
  • the present invention can also be applied to a case where an image taken by a camera mounted on a vehicle is transmitted to a server, and the image is received by the server to recognize a lane marking on a road.
  • a server not mounted on the vehicle functions as the lane marking recognition device of the present invention.
  • the present invention can be realized in any form.
  • the function of the lane marking recognition apparatus 1 is realized by the CPU 104 executing a program, but the present invention is not limited to this.
  • some or all of the functions of the lane marking recognition apparatus 1 may be realized using an FPGA (Field-Programmable Gate Array).
  • FPGA Field-Programmable Gate Array
  • each pixel in the image is classified as one of “road surface”, “white line”, and “undefined” by using the white line threshold value and the road surface threshold value has been described. It is not limited. If each pixel in the image can be classified into at least two types, preferably three or more types, an arbitrary number of threshold values are set, and each pixel in the image is classified into an arbitrary classification number according to the threshold value. It is possible.
  • Marking line recognition device 101 Camera 103: Storage device 104: CPU 105: Memory 106: CAN I / F 107: CAN bus 108: Vehicle control unit 201: Processing region setting unit 202: Statistics amount calculation unit 203: Threshold value setting unit 204: Marking line standard data 205: Marking line feature point extraction unit 206: Marking line determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本発明の課題は、道路上の区画線の認識精度を改善することである。本発明の区画線認識装置は、カメラ101で撮影された画像から道路上の区画線を認識する装置であり、画像に対して処理領域を設定する処理領域設定部201と、処理領域における画像の統計量を算出する統計量算出部202と、統計量に基づいて複数の閾値、すなわち白線閾値および路面閾値を設定する閾値設定部203と、白線閾値および路面閾値に基づいて画像に含まれる複数の画素を分類し、複数の画素の分類結果に基づいて区画線の特徴点を抽出する区画線特徴点抽出部205と、区画線特徴点抽出部205により抽出された特徴点に基づいて区画線を決定する区画線決定部206と、を備える。

Description

区画線認識装置
 本発明は、道路上の区画線を認識する装置に関する。
 従来、道路の撮影画像から道路上の区画線(白線)を認識し、車両制御等に利用する技術が知られている。このような技術では、撮影画像の輝度値をそのまま用いて区画線の認識を行うと、区画線の境界部分だけでなく、区画線内でもエッジの特徴点が出現することがあるため、どの特徴点が区画線の境界を示すかの判断が困難であるという課題があった。また、車両の影等の影響で区画線の輝度値が低下したり、強い光が路面で反射することで路面の輝度値が上昇したりした場合には、区画線と路面の区別が困難であるという課題もあった。
 上記の課題を解決する背景技術として、下記の特許文献1が知られている。特許文献1には、路面を含む車両の前方を撮像する撮像装置と、前記撮像装置により撮像された画像を2値化閾値により2値化処理して前記路面に形成されたレーンマークを検出するレーンマーク検出部と、を備えるレーン検出装置において、前記レーンマーク検出部は、撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、分割したブロックの輝度値に基づき、複数の前記ブロックを、相対的に輝度値が高い明部ブロックと低い暗部ブロックに振り分け、前記明部ブロックと前記暗部ブロックとで前記2値化閾値の値を変更して、撮像された前記画像を2値化処理することが記載されている。
特開2016-206881号公報
 特許文献1に記載の技術では、区画線と路面の輝度値が局所的に区別できない状況のときには、区画線を適切に判断することが困難である。したがって、道路上の区画線の認識精度において改善の余地がある。
 本発明による区画線認識装置は、カメラで撮影された画像から道路上の区画線を認識する装置であって、前記画像に対して処理領域を設定する処理領域設定部と、前記処理領域における前記画像の統計量を算出する統計量算出部と、前記統計量に基づいて複数の閾値を設定する閾値設定部と、前記複数の閾値に基づいて前記画像に含まれる複数の画素を路面と白線を区別するように分類し、前記複数の画素の分類結果に基づいて前記区画線の特徴点を抽出する区画線特徴点抽出部と、前記区画線特徴点抽出部により抽出された前記特徴点に基づいて前記区画線を決定する区画線決定部と、を備える。
 本発明によれば、道路上の区画線の認識精度を改善することができる。
本発明の一実施形態に係る区画線認識装置のハードウェア構成の例を示す図。 本発明の一実施形態に係る区画線認識装置の機能構成の例を示す図。 本発明の第1の実施形態に係る区画線認識装置の処理フローを示す図。 閾値設定部による閾値設定方法の一例を示す図。 区画線特徴点抽出部の処理フローを示す図。 分類部の処理フローを示す図。 特徴点決定部の処理フローを示す図。 特徴点候補バッファのデータ構造の一例を示す図。 特徴点バッファのデータ構造の一例を示す図。 分類前の画像の例を示す図。 分類画像の例を示す図。 立上がり点および立下がり点の抽出例を説明する図。 立上がり点および立下がり点の抽出結果の例を示す図。 処理領域の全体における特徴点決定結果の例を示す図。 本発明の第2の実施形態に係る区画線認識装置の処理フローを示す図。 閾値設定部による閾値設定方法の一例を示す図。 分類前の画像の例を示す図。
(第1の実施形態)
 図1は、本発明の一実施形態に係る区画線認識装置のハードウェア構成の例を示す図である。図1に示す区画線認識装置1は、車両に搭載されて使用されることで、カメラで撮影された画像から道路上の区画線を認識するものであり、記憶装置103、CPU104、メモリ105、CAN I/F106を備える。区画線認識装置1には、車両前方を監視するためのフロントカメラ101-Frと、車両後方を監視するためのリアカメラ101-Rrと、車両左側方を監視するための左サイドカメラ101-SLと、車両右側方を監視するための右サイドカメラ101-SRとが接続されている。また、CANバス107を介して車両制御ユニット108が接続されている。なお、図1の例では上記の4つのカメラが区画線認識装置1に接続されているが、任意の台数のカメラでそれぞれ撮影された画像を区画線認識装置1に入力することで、区画線認識装置1において各画像から道路上の区画線を認識することができる。したがって以下では、上記の4つのカメラを区別せずに、一台のカメラ101として説明する。
 記憶装置103には、区画線認識装置1の動作に必要な各種の情報やプログラムが記憶されている。CPU104は、記憶装置103に記憶されている所定のプログラムを実行することで、カメラ101から入力された画像を用いて画像処理を行い、車両の周辺に存在する道路上の区画線を認識する。メモリ105は揮発性の記憶媒体であり、CPU104が画像処理を実行する際の作業領域として用いられると共に、画像処理で得られた区画線の認識結果が蓄積される。メモリ105に蓄積された区画線の認識結果の情報は、CAN I/F106を介してCANバス107に出力され、車両制御ユニット108に送られる。車両制御ユニット108は、区画線認識装置1から送られた区画線の認識結果を用いて、たとえば車両が走行車線から逸脱しないように車両のステアリングを制御するなど、車両の走行状態に応じた各種の車両制御を行う。
 図2は、本発明の一実施形態に係る区画線認識装置の機能構成の例を示す図である。図2に示す区画線認識装置1は、処理領域設定部201、統計量算出部202、閾値設定部203、区画線特徴点抽出部205、区画線決定部206を機能的に有する。閾値設定部203は、白線閾値設定部203-1および路面閾値設定部203-2により構成されている。区画線特徴点抽出部205は、分類部205-1、特徴点候補抽出部205-2、特徴点決定部205-3により構成されている。区画線認識装置1は、CPU104で所定のプログラムを実行することにより、これらの各機能ブロックを実現する。
 カメラ101により撮影された画像は、所定の時間間隔で処理領域設定部201に送られる。以下では、カメラ101から所定時間ごとに入力される画像の各々を「フレーム」と称することもある。処理領域設定部201は、カメラ101から入力された画像に対して処理領域を設定する。ここで設定される処理領域とは、画像から道路上の区画線(白線)を抽出するために用いられる画像領域のことである。したがって、処理領域は白線が存在すると思われる場所の周辺に設定するものであり、前フレームにおいて白線が認識されていればその位置を基準に設定することが可能である。例えば右サイドカメラ101-SRや左サイドカメラ101-SLの場合は、予め定義されたマージンを前フレームにおける白線認識位置の上下に設定することで処理領域を設定することが可能である。もし前フレームにおいて不検知であった場合には、予め定義された領域を使ってもよい。画像に処理領域を設定する目的は、CPU104の処理能力が十分でない場合は画像全体を処理するのに時間がかかるため、処理を行う領域を絞ることで処理時間を短縮することである。
 ただし、CPU104の処理能力が十分である場合は、画像全体を処理領域に設定してもよい。なお、以下では区画線が白線であるものとして説明するが、白線以外の区画線であっても同様である。
 処理領域設定部201は、たとえば前フレームにおける白線の位置、すなわち前回の処理対象とした画像から認識された白線の位置に基づいて、現フレームにおける処理領域を設定する。なお、前フレームで白線を認識できなかった場合は、さらに前のフレームにおける白線の位置に基づいて処理領域を設定してもよいし、予め決められた位置にデフォルトの処理領域を設定してもよい。これにより、処理領域を設定できずに処理時間が増大するのを防ぐことが可能である。また、白線が破線である場合は、最後に白線が認識されたフレームにおける白線の位置に基づいて、処理領域を設定することが可能である。
 統計量算出部202は、処理領域設定部201で設定された処理領域における画像の統計量を算出する。具体的には、たとえば処理領域における画像の各画素の輝度値の平均値および標準偏差を、画像の統計量として算出する。
 閾値設定部203は、統計量算出部202で求められた画像の統計量、すなわち処理領域内の各画素の輝度値の平均値と標準偏差に基づいて、白線閾値設定部203-1および路面閾値設定部203-2により、白線閾値と路面閾値をそれぞれ設定する。白線閾値とは、処理領域内の画像から白線部分を認識するための閾値であり、白線に属する画素の最低輝度値に相当する。すなわち、白線閾値以上の輝度値を持つ画素は、白線の候補として抽出される。また、路面閾値とは、処理領域内の画像から路面部分を認識するための閾値であり、白線以外の路面に属する画素の最高輝度値に相当する。すなわち、路面閾値以下の輝度値を持つ画素は、路面の候補として抽出される。なお、以下の説明では、道路上の白線以外の部分を総称して、「路面」と表現する。白線閾値および路面閾値の具体的な設定方法については後述する。
 区画線特徴点抽出部205は、閾値設定部203で設定された白線閾値および路面閾値に基づいて、分類部205-1、特徴点候補抽出部205-2および特徴点決定部205-3により、画像から白線の特徴点を抽出する。分類部205-1は、白線閾値および路面閾値を用いて、処理領域内の画像に含まれる各画素を、「路面」、「白線」、「不定」のいずれかに分類する。すなわち、各画素の輝度値を白線閾値および路面閾値と比較して、「白線」と「路面」のいずれに属するかを判別し、いずれでもないと判別された場合は「不定」に分類する。なお、周知のエッジ抽出手法、たとえばソーベルフィルタ等の微分フィルタを用いて処理領域内の画像から白線エッジを抽出し、その白線エッジの付近に存在する画素を対象として、分類部205-1が各画素を分類してもよい。この場合、分類されなかった画素は以降の処理対象から除外される。
 特徴点候補抽出部205-2は、分類部205-1による各画素の分類結果に基づいて、白線の輪郭を示す特徴点の候補である特徴点候補を抽出する。具体的には、画素の分類が変化する境界を求め、その境界に対応する点を特徴点候補として抽出する。
 特徴点決定部205-3は、特徴点候補抽出部205-2で抽出された複数の特徴点候補同士の位置関係に基づいて、特徴点候補から特徴点を決定する。具体的には、記憶装置103に記憶されている区画線規格データ204を参照し、抽出された複数の特徴点候補同士の距離を区画線規格データ204と照合することで、どの特徴点候補の組み合わせが白線の輪郭として確からしいかを判断する。なお、区画線規格データ204は、白線の太さや長さ等の規格値が格納されているデータベースであり、記憶装置103において予め記憶されている。
 区画線決定部206は、区画線特徴点抽出部205で抽出された特徴点に基づいて、道路上に描かれた白線を認識し、画像における白線の位置を確定する。たとえば、処理領域内の全ての特徴点に対して、画像の歪みを補正した所定の座標系への座標変換を行い、その後に斜方投影等の手法を用いて、白線を認識する。具体的には、座標軸の角度を一定の幅で変化させながら、座標変換された各特徴点をx,yの各座標軸上に投影し、エッジ強度の累積値を集計する。そして、エッジ強度が最大となる角度と位置を求めることで、白線を認識することが可能となる。なお、特徴点の座標変換ではカメラ101の画角や撮影方向等のカメラパラメータが必要であるため、予め記憶装置103等に座標変換用のカメラパラメータを記憶させておくことが好ましい。こうして白線を認識できたら、区画線決定部206は、白線が実線か破線かを識別することで、白線が表す道路標示の種別を判断することとしてもよい。
 次に、区画線認識装置1の処理フローについて説明する。図3は、本発明の第1の実施形態に係る区画線認識装置の処理フローを示す図である。図3の処理フローは、画像1フレーム分の処理を示している。すなわち、本実施形態の区画線認識装置1において、CPU104は、カメラ101から所定のフレームレートで画像が入力される度に、図3の処理フローに従って画像から区画線を認識する処理を実行する。
 ステップ301では、カメラ画像、すなわちカメラ101から入力された画像を取得する。
 ステップ302では、処理領域設定部201により、ステップ301で取得した画像内に処理領域を設定する。ここでは前述のように、たとえば前フレームにおける白線の位置に基づいて、画像内で処理領域の位置を決定する。
 ステップ303では、統計量算出部202により、ステップ302で設定した処理領域における輝度値の統計量を求める。ここでは前述のように、処理領域における各画素の輝度値の平均値および標準偏差を、画像の統計量として算出する。
 ステップ304では、閾値設定部203により、ステップ303で求めた統計量に基づいて、輝度値の閾値を設定する。ここでは前述のように、白線閾値設定部203-1により白線閾値を設定し、路面閾値設定部203-2により路面閾値を設定する。なお、ステップ304における閾値の設定方法の詳細は、後で図4と図16を参照して説明する。
 ステップ305では、区画線特徴点抽出部205により、ステップ304で設定した閾値に基づいて、ステップ302で設定した処理領域内の画像から区画線すなわち白線の特徴点を抽出する。なお、ステップ305における特徴点の抽出方法の詳細は、後で図5~図9を参照して説明する。
 ステップ306では、区画線決定部206により、ステップ305で抽出した特徴点から道路上の区画線(白線)を決定する。ステップ306を実行したら、CPU104は図3の処理フローを終了する。
 次に、ステップ304における閾値の設定方法の詳細について説明する。図4は、閾値設定部203による閾値設定方法の一例を示す図である。
 統計量算出部202により、処理領域における各画素の輝度値の統計量として、平均値μと標準偏差σが算出されたとする。この場合、路面閾値設定部203-2は、たとえば図4に示すように、平均値μを路面閾値404として設定する。これにより、路面閾値404よりも輝度値が小さい領域401に含まれる各画素が、区画線特徴点抽出部205において「路面」に分類される。一方、白線閾値設定部203-1は、たとえば図4に示すように、平均値μに標準偏差σを加えたμ+σを白線閾値405として設定する。これにより、白線閾値405よりも輝度値が大きい領域403に含まれる各画素が、区画線特徴点抽出部205において「白線」に分類される。なお、「路面」と「白線」のいずれにも分類されない画素、すなわち路面閾値404以上でかつ白線閾値405以下の輝度値に対応する領域402に含まれる各画素は、区画線特徴点抽出部205において「不定」に分類される。
 図4の方法は、輝度値が正規分布にしたがっているという前提があって成立するものであるが、実際にはそうでないことも多いと考えられる。このような場合には中央値や中央絶対偏差(Median Absolute Deviation)等、分布の偏りがあってもその影響を受けにくい統計量を用いる方法が有効である。
 図16は、閾値設定部203による閾値設定方法の別の例を示す図である。統計量算出部202により、処理領域における各画素の輝度値の統計量として、中央値Mと中央絶対偏差MADが算出されたとする。この場合、路面閾値設定部203-2は、たとえば図16に示すように、中央値Mを路面閾値404として設定する。これにより、路面閾値404よりも輝度値が小さい領域401に含まれる各画素が、区画線特徴点抽出部205において「路面」に分類される。一方、白線閾値設定部203-1は、たとえば図16に示すように、中央値Mに中央絶対偏差MADを加えたM+MADを白線閾値405として設定する。これにより、白線閾値405よりも輝度値が大きい領域403に含まれる各画素が、区画線特徴点抽出部205において「白線」に分類される。なお、「路面」と「白線」のいずれにも分類されない画素、すなわち路面閾値404以上でかつ白線閾値405以下の輝度値に対応する領域402に含まれる各画素は、区画線特徴点抽出部205において「不定」に分類される。
 上記のようにして白線閾値と路面閾値をそれぞれ設定することにより、処理領域内で相対的に輝度値が高い各画素を白線の候補として抽出することが可能である。また、統計量を用いることにより、車両の周辺環境の変化によってフレームの明るさが変化しても、その影響を受けずに白線閾値および路面閾値を設定し、白線の候補を抽出することが可能である。なお、白線閾値および路面閾値の設定方法は上記の方法に限られない。処理領域における各画素の輝度値の統計量に基づいて、白線閾値および路面閾値をそれぞれ適切に設定できるものであれば、任意の方法を用いることができる。
 また、処理領域全体を対象として統計量を求めるのではなく、処理領域を適当な数に分割し、それぞれの分割領域ごとに統計量を求めて路面閾値404と白線閾値405を設定することも可能である。例えば、図17のように処理領域を3分割し、それぞれの分割領域において統計量と閾値を設定することで、より適切な閾値を設定することが可能となる。
 次に、図3のステップ305における特徴点の抽出方法の詳細について説明する。図5は、ステップ305における区画線特徴点抽出部205の処理フローを示す図である。
 ステップ501では、分類部205-1により、処理領域内の各画素の分類を判定する。ここでは、図6の処理フローに示す分類処理を分類部205-1が実行することで、処理領域内の各画素を「路面」、「白線」、「不定」のいずれかに分類する。なお、図6の処理フローの詳細については後述する。
 ステップ502~506では、特徴点候補抽出部205-2により、処理領域内の各画素について、ステップ501の分類結果を用いて以下の処理を行う。ここでは、x軸を画像の左から右方向、y軸を画像の上から下方向と定義する。
 ステップ502では、処理対象の画素に対して、処理領域内でx座標が同一でy座標の差が1である一対の画素を選択する。なお、これはカメラ101が左サイドカメラ101-SLまたは右サイドカメラ101-SRである場合である。一方、カメラ101がフロントカメラ101-Frまたはリアカメラ101-Rrである場合は、画像内での区画線の延伸方向が約90度変化するため、y座標が同一でx座標の差が1である一対の画素を選択することが好ましい。これにより、左サイドカメラ101-SLまたは右サイドカメラ101-SRの場合と同様の処理が可能である。
 ステップ503では、ステップ502で選択した一対の画素について、ステップ501での分類結果を比較する。その結果、同一x座標でy座標が大きくなる方向に走査してこれらの画素の分類が「不定」から「白線」、または「路面」から「白線」、または「路面」から「不定」のいずれかに変化している場合は、ステップ504で一方の画素、たとえばy座標の値が大きい方の画素を立上がり点とみなしてバッファリングする。なお、立上がり点とは、輝度値が増大方向に変化する点のことであり、白線の輪郭を示す特徴点の候補に相当する。当該画素を立上がり点としてバッファリングしたら、ステップ502に戻って次の画素の処理に移る。一方、上記の条件を満たさない場合は、ステップ505に進む。
 ステップ505では、ステップ503と同様に、ステップ502で選択した一対の画素について、ステップ501での分類結果を比較する。その結果、同一x座標でy座標が大きくなる方向に走査してこれらの画素の分類が「不定」から「路面」、または「白線」から「路面」、または「白線」から「不定」のいずれかに変化している場合は、ステップ506で一方の画素、たとえばy座標の値が大きい方の画素を立下がり点とみなしてバッファリングする。なお、立下がり点とは、輝度値が減少方向に変化する点のことであり、白線の輪郭を示す特徴点の候補に相当する。当該画素を立下がり点としてバッファリングしたら、ステップ502に戻って次の画素の処理に移る。一方、上記の条件を満たさない場合は、何もせずにステップ502に戻って次の画素の処理に移る。
 ステップ502~506では、上記のような処理を処理領域内の各画素に対して実行することで、処理領域内の全ての画素について、特徴点候補である立上がり点または立下がり点に該当するか、あるいはいずれでもないかを判定する。処理領域内の全ての画素についてステップ502~506の処理を実行したら、ステップ507に進む。
 ステップ507では、特徴点決定部205-3により、ステップ502~506で判定された各特徴点候補、すなわち立上がり点および立下がり点のそれぞれの位置を照合し、特徴点を決定する。ここでは、図7の処理フローに示す特徴点決定処理を特徴点決定部205-3が実行することで、処理領域内の画像から抽出された複数の特徴点候補同士の位置関係に基づいて、特徴点候補から特徴点を決定する。なお、図7の処理フローの詳細については後述する。ステップ507の処理を実行したら、図3のステップ305を終了し、次のステップ306に進む。
 図6は、図5のステップ501における分類部205-1の処理フローを示す図である。分類部205-1は、処理領域内の各画素について、以下で説明するステップ601~606の処理をそれぞれ行う。
 ステップ601では、画像における処理対象の画素の輝度値を取得する。
 ステップ602では、ステップ601で取得した輝度値を、図3のステップ304で路面閾値設定部203-2が設定した路面閾値と比較する。その結果、輝度値が路面閾値よりも小さければ、ステップ604で当該画素を「路面」に分類して次の画素の処理に移る。一方、輝度値が路面閾値以上であれば、ステップ603に進む。
 ステップ603では、ステップ601で取得した輝度値を、図3のステップ304で白線閾値設定部203-1が設定した白線閾値と比較する。その結果、輝度値が白線閾値よりも大きければ、ステップ605で当該画素を「白線」に分類して次の画素の処理に移る。一方、輝度値が白線閾値以下であれば、ステップ606で当該画素を「不定」に分類して次の画素の処理に移る。
 ステップ601~606では、上記のような処理を処理領域内の各画素に対して実行することで、処理領域内の全ての画素を「路面」、「白線」、「不定」のいずれかに分類する。処理領域内の全ての画素についてステップ601~606の処理を実行したら、図5のステップ501を終了し、次のステップ502に進む。
 図7は、図5のステップ507における特徴点決定部205-3の処理フローを示す図である。
 ステップ701では、記憶装置103から車線幅データ、すなわち白線の幅を表すデータを取得する。ここでは、たとえば記憶装置103に区画線規格データ204の一部として格納されている車線幅データを取得する。このとき、CANバス107を介して区画線認識装置1に接続された不図示のナビゲーション装置等から、車両が現在走行中の道路種別を取得し、その道路種別に対応する車線幅データを区画線規格データ204から検索して取得してもよい。なお、区画線認識装置1がナビゲーション装置を兼ねている場合も、上記と同様に、車両が走行中の道路種別に対応する車線幅データを取得することが可能である。
 ステップ702では、車線幅誤差最小値の初期値を設定する。車線幅誤差最小値とは、以降の処理において、立上がり点と立下がり点の位置関係が特徴点として確からしいか否かを判別するために用いられるものであり、メモリ105に記憶され、処理状態に応じて随時更新される。ここでは、たとえば20cmを車線幅誤差最小値の初期値として設定する。ただし20cmは一例であり、実際の白線の幅以上であれば、任意の数値を車線幅誤差最小値の初期値として設定することが可能である。
 ステップ703~707では、図5のステップ502~506で特徴点候補抽出部205-2が処理領域内の画像から抽出した各特徴点候補、すなわちステップ504、506でバッファリングされた各立上がり点および立下がり点について、以下の処理をそれぞれ行う。
 ステップ703では、処理対象の立上がり点と、当該立上がり点とx座標が同一の立下がり点とについて、これらの点間の距離を計算する。すなわち、処理領域内の画像から抽出された複数の特徴点候補の中で、x座標が同一でy座標の差が1の一対の立上がり点および立下がり点を選択し、これらの位置関係に応じた距離を求める。
 ステップ704では、ステップ703で求めた距離を、ステップ701で取得した車線幅データが表す白線の幅と比較し、これらの間の誤差(差分)を計算する。
 ステップ705では、ステップ704で求めた誤差を現在の車線幅誤差最小値と比較する。その結果、誤差が車線幅誤差最小値より小さければ、ステップ706で当該誤差の値により車線幅誤差最小値を置き換えた後、ステップ707で当該立下がり点を特徴点として特徴点情報を更新する。なお、特徴点情報は、特徴点決定部205-3により決定された特徴点を表す情報であり、メモリ105に設けられた特徴点バッファにおいてx座標が重複しないように記録される。すなわち、x座標が同一の立下がり点が複数存在する場合でも、そのうち多くても1つの立下がり点のみが特徴点として特徴点情報に記録される。
 ただし、いずれの立下がり点についてもステップ705の条件が満たされない場合は、当該x座標に対応する特徴点が存在しないとみなされて特徴点情報が記録されない。ステップ707で特徴点情報を更新したら、ステップ703に戻り、次の立上がり点と立下がり点の組み合わせを対象とした処理に移る。一方、ステップ705で誤差が車線幅誤差最小値以上と判定された場合は、何もせずにステップ502に戻り、次の立上がり点と立下がり点の組み合わせを対象とした処理に移る。
 ステップ703~707では、上記のような処理を各立上がり点および立下がり点の組み合わせに対して実行することで、処理領域から抽出された全ての特徴点候補について、特徴点候補同士の位置関係を照合し、白線の輪郭としての整合性を確認する。その結果、処理領域内で白線の幅にもっとも近い立上がり点と立下がり点の組み合わせをx座標ごとに特定し、その立下がり点の情報を特徴点情報として残すことで、特徴点候補から特徴点を決定することができる。なお、図7の例では立下がり点を特徴点情報として記録することとしたが、立上がり点を特徴点情報として記録してもよいし、立上がり点と立下がり点の両方を特徴点情報として記録してもよい。処理領域内で抽出された全ての立上がり点および立下がり点についてステップ703~707の処理を実行したら、図5のステップ507を終了し、区画線特徴点抽出部205の処理フローを完了する。
 図8は、図5のステップ504、506で立上がり点と立下がり点をそれぞれバッファリングする際に用いられる特徴点候補バッファのデータ構造の一例を示す図である。図8に示す特徴点候補バッファは、メモリ105を用いて実現され、立上がり点数801、立上がり点情報802、立下がり点数804、立下がり点情報805の各データが格納される。立上がり点数801は、立上がり点の数を表すデータであり、立上がり点情報802のデータ数と等しい。すなわち、立上がり点数801が示す数と同数の立上がり点情報802が特徴点候補バッファに格納される。立上がり点情報802は、画像内での立上がり点の位置を示すデータであり、画像座標系における立上がり点のx座標値とy座標値をそれぞれ表すx座標802-1およびy座標802-2から成る。立下がり点についても同様に、立下がり点数804は、立下がり点の数を表すデータであり、立下がり点情報805のデータ数と等しい。すなわち、立下がり点数804が示す数と同数の立下がり点情報805が特徴点候補バッファに格納される。立下がり点情報805は、画像内での立下がり点の位置を示すデータであり、画像座標系における立下がり点のx座標値とy座標値をそれぞれ表すx座標805-1およびy座標805-2から成る。
 図9は、図7のステップ707で特徴点情報をバッファリングする際に用いられる特徴点バッファのデータ構造の一例を示す図である。図9に示す特徴点バッファは、メモリ105を用いて実現され、特徴点数901、特徴点情報902の各データが格納される。特徴点数901は、特徴点の数を表すデータであり、特徴点情報902のデータ数と等しい。すなわち、特徴点数901が示す数と同数の特徴点情報902が特徴点バッファに格納される。特徴点情報902は、画像内での特徴点の位置や分類を示すデータであり、画像座標系における特徴点のx座標値とy座標値をそれぞれ表すx座標902-1およびy座標902-2と、分類902-3から成る。
 次に、以上で述べた処理の具体例について、図10~図14を参照して説明する。なお、以下の説明では、右サイドカメラ101-SRで撮影された画像を対象に処理を行った場合の具体例を説明するが、他のカメラで撮影された画像についても同様である。
 図10は、分類前の画像の例を示す図である。処理領域設定部201は、カメラ101から入力された画像1001に対して、たとえば図中の白枠で囲われた範囲に処理領域1002を設定する。処理領域1002内には、認識対象である白線が含まれており、草むらの影が部分的に白線にかかっている。なお、処理領域1002は、たとえば前述のように前フレームでの白線位置に基づいて定められる。
 統計量算出部202は、画像1001に設定された処理領域1002内の各画素の輝度値の統計量を算出する。閾値設定部203は、統計量算出部202が算出した統計量に基づいて、白線閾値および路面閾値を設定する。分類部205-1は、閾値設定部203が設定した白線閾値および路面閾値を用いて、画像1001の各画素を「路面」、「白線」、「不定」のいずれかに分類する。
 図11は、図10の画像1001の各画素を分類して得られた分類画像1101の例を示す図である。分類画像1101では、各画素の分類結果を黒、白、グレーの3種類で表している。黒は「路面」、白は「白線」、グレーは「不定」の分類結果にそれぞれ対応する。ここで、図10の画像1001において白線に対応する各画素は、図11の分類画像1101ではほとんどが「白線」に分類されているが、一部の画素については草むらの影が重なったために部分的に「不定」に分類されていることが分かる。また、図10の画像1001において路面に対応する各画素は、図11の分類画像1101では多くの部分が「不定」に分類されていることが分かる。なお、図11では分かりやすさのために画像1001の全領域についての分類結果を分類画像1101として示したが、実際には前述のように処理領域1002内の画素のみを分類すればよい。
 特徴点候補抽出部205-2は、分類画像1101で示した各画素の分類結果に基づいて、分類画像1101から特徴点候補である立上がり点および立下がり点を抽出する。
 図12は、特徴点候補抽出部205-2による立上がり点および立下がり点の抽出例を説明する図である。図12では、分類画像1101のうち処理領域1002に対応する部分の一部を抜粋して示している。特徴点候補抽出部205-2は、前述のようにx座標が同一でy座標の差が1の一対の画素を順次選択し、その分類結果が変化する点を立上がり点または立下がり点として抽出する。これにより、たとえば図12に示すにように、x座標値がx1である各画素について、スキャン方向1200に沿って分類結果が変化する点を探索すると、立上がり点1201、立下がり点1202、立下がり点1203が抽出される。立上がり点1201は、分類が「路面」から「白線」へと変化する点である。立下がり点1202は、分類が「白線」から「不定」へと変化する点である。立下がり点1203は、分類が「不定」から「路面」へと変化する点である。なお、立下がり点1202は、白線上の影の部分に対応する。このように、白線と路面の境界だけでなく、白線上の影の部分でも立下がり点が抽出される場合がある。こうして処理領域1002の下端、すなわちy座標が最大となる点までスキャンして抽出された立上がり点と立下がり点が、特徴点の候補としてそれぞれバッファリングされる。
 分類画像1101のうち処理領域1002の全体に対して、上記のような立上がり点および立下がり点の抽出処理が終了すると、図13のような結果が得られる。図13は、立上がり点および立下がり点の抽出結果の例を示す図である。図13では、分類画像1101のうち処理領域1002内で抽出された立上がり点および立下がり点を、符号1301で示した点に代表される各黒点で表している。
 特徴点決定部205-3は、分類画像1101から特徴点候補として抽出された各立上がり点および立下がり点の位置関係を区画線規格データ204と照合し、これらの中から特徴点を決定する。たとえば、図12で示した立上がり点1201、立下がり点1202および立下がり点1203について、立上がり点1201と立下がり点1202の位置関係、および、立上がり点1201と立下がり点1203の位置関係を、区画線規格データ204が表す白線の幅(太さ)とそれぞれ照合する。その結果、立上がり点1201と立下がり点1202の間の距離は白線の幅とつじつまが合わないため、この組み合わせは白線の輪郭を表すものとして不適と判断され、立下がり点1202の情報は特徴点情報に記録されない。一方、立上がり点1201と立下がり点1203の間の距離は白線の幅とほぼ一致するため、この組み合わせが白線の輪郭を表すものとして適切と判断され、立下がり点1203の情報が特徴点情報に記録される。なお、ここでは適切と判断された立上がり点と立下がり点の組み合わせのうち、自車両からより近くに位置する立下がり点の情報を特徴点情報に記録しているが、前述のように立上がり点の情報を特徴点情報に記録してもよいし、立上がり点と立下がり点の両方の情報を特徴点情報に記録してもよい。
 図14は、分類画像1101のうち処理領域1002の全体における特徴点決定結果の例を示す図である。図14では、対応する立上がり点との距離が白線の幅とほぼ一致する立下がり点によって決定された特徴点を、符号1401で示した点に代表される各黒点で表している。
 以上説明した本発明の第1の実施形態によれば、以下の作用効果を奏する。
(1)区画線認識装置1は、カメラ101で撮影された画像から道路上の区画線を認識する装置である。区画線認識装置1は、画像に対して処理領域を設定する処理領域設定部201と、処理領域における画像の統計量を算出する統計量算出部202と、統計量に基づいて複数の閾値、すなわち白線閾値および路面閾値を設定する閾値設定部203と、白線閾値および路面閾値に基づいて画像に含まれる複数の画素を分類し、複数の画素の分類結果に基づいて区画線の特徴点を抽出する区画線特徴点抽出部205と、区画線特徴点抽出部205により抽出された特徴点に基づいて区画線を決定する区画線決定部206と、を備える。このようにしたので、道路上の区画線の認識精度を改善することができる。
(2)統計量算出部202は、処理領域における画像の各画素の輝度値の平均値および標準偏差を統計量として算出する(図3のステップ303)。このようにしたので、白線閾値および路面閾値を適切に設定するのに必要な統計量を算出することができる。
(3)区画線特徴点抽出部205は、特徴点候補抽出部205-2により、画像に含まれる複数の画素の分類が変化する境界に対応する点を特徴点の候補として抽出する(図5のステップ502~506)。このようにしたので、分類部205-1が行った画素の分類結果を用いて、適切な点を特徴点の候補として抽出することができる。
(4)区画線特徴点抽出部205は、分類部205-1により、画像に含まれる複数の画素を少なくとも3種類に、すなわち「路面」、「白線」、「不定」のいずれかに分類する(図6のステップ601~606)。このようにしたので、閾値設定部203が設定した複数の閾値を用いて、画像に含まれる複数の画素から特徴点の候補を抽出するのに適した分類とすることができる。
(5)区画線特徴点抽出部205は、特徴点候補抽出部205-2により、画像に含まれる複数の画素の分類結果に基づいて複数の特徴点候補を抽出し(図5のステップ502~506)、特徴点決定部205-3により、抽出した複数の特徴点候補同士の位置関係に基づいて、特徴点候補から特徴点を決定する(図7のステップ701~707)。このようにしたので、画像から抽出された特徴点候補の中で白線の輪郭を表すものとして確からしい点を特徴点に決定することができる。
(第2の実施形態)
 次に本発明の第2の実施形態について説明する。本実施形態では、時系列で撮影された複数の画像を用いて道路上の区画線を認識する例を説明する。なお、本実施形態に係る区画線認識装置のハードウェア構成および機能構成は、第1の実施形態で説明したものとそれぞれ同一であるため、以下ではこれらの説明を省略する。
 図15は、本発明の第2の実施形態に係る区画線認識装置の処理フローを示す図である。本実施形態の区画線認識装置1において、CPU104は、図3のステップ305の処理に続けて、図15に示す処理フローを実行する。この処理フローでは、過去に取得した画像を統計処理することで、「路面」、「白線」、「不定」の各分類が出現しやすい画素を特定し、現フレームの分類結果と照合することで、現フレームの分類結果が確からしいか否かを判断する。
 ステップ1501では、統計量算出部202により、過去に取得した複数の画像における各画素の輝度の偏差値を求める。ここでは、区画線認識装置1が搭載されている車両が過去に走行した所定距離分、たとえば過去10m分の全フレームを対象に、各画素の輝度の偏差値をフレームごとに求める。各画素の輝度の偏差値は、当該フレームで設定された処理領域内の各画素の輝度値から計算した平均値と標準偏差を用いて、たとえば以下の式により算出することができる。
 偏差値=(輝度値-平均値)/標準偏差
 ステップ1502では、統計量算出部202により、ステップ1501でフレームごとに求めた各画素の輝度の偏差値を用いて、各画素の偏差値平均を算出する。ここでは、ステップ1501で各画素の輝度の偏差値を求めた過去10m分の全フレームを対象に、その全フレームにおける輝度の偏差値を画素ごとに平均化することで、各画素の偏差値平均を算出する。
 ステップ1503では、統計量算出部202により、ステップ1502で算出した各画素の偏差値平均を用いて、過去に取得した複数の画像における各画素の輝度値を正規化する。ここでは、過去10m分の全フレームで各画素の輝度値がとり得る値の範囲に応じて、各画素の輝度値を正規化する。これにより、たとえば0~255の範囲内で、過去10m分の全フレームにおける各画素の輝度値が正規化される。以降の処理では、こうして正規化された各画素の輝度値を用いて、白線閾値と路面閾値の設定を行う。
 ステップ1504では、統計量算出部202により、ステップ1503で輝度値を正規化した過去10m分の全フレームに対して、現フレームの処理領域を当てはめる。そして、その処理領域内に含まれる複数の画素について、ステップ1503で求めた正規化輝度値の平均と標準偏差を求める。これにより、カメラ101で異なる時刻にそれぞれ撮影された複数の画像を用いて、処理領域における画像の統計量が算出される。
 ステップ1505では、閾値設定部203により、ステップ1504で求めた正規化輝度値の統計量、すなわち平均と標準偏差を用いて、白線閾値および路面閾値を設定する。
ここでは、各画素の正規化輝度値の平均と標準偏差に基づいて、第1の実施形態で説明したのと同様の方法により、正規化輝度値に対する白線閾値および路面閾値を設定する。
 ステップ1506では、区画線特徴点抽出部205により、ステップ1504で設定した白線閾値および路面閾値を用いて、過去10m分の全フレームにおける処理領域内の各画素を正規化分類する。ここでは、分類部205-1において、ステップ1503で求めた処理領域内の各画素の正規化輝度値を用いて、第1の実施形態で説明した図6のステップ601~606と同様の処理を行うことにより、各画素を「路面」、「白線」、「不定」のいずれかに分類する。
 以上説明したステップ1501~1506の処理により、車両が過去に走行した所定距離分のフレームについて、現フレームと同様の分類結果を各画素の正規化分類結果として得ることができる。以降の処理では、この正規化分類結果を現フレームで抽出された各特徴点の分類結果と比較することで、各特徴点が信用できるか否かを判断する。
 ステップ1507~1510では、特徴点決定部205-3により、現フレームで抽出された各特徴点について、以下の処理をそれぞれ行う。
 ステップ1507では、処理対象の特徴点の座標と分類を得る。ここでは、図7の処理によって最終的に得られた特徴点情報を図9の特徴点バッファから取得し、その特徴点情報のうち処理対象の特徴点に対応するものを抽出することで、当該特徴点の座標と分類を取得する。
 ステップ1508では、ステップ1507で取得した現フレームの特徴点の座標に基づいて、同じ座標における正規化分類を得る。ここでは、ステップ1506で得られた正規化分類結果のうち、現フレームの特徴点の座標に対応するものを選択して取得する。
 ステップ1509では、ステップ1507で取得した現フレームの特徴点の分類と、ステップ1508で取得した正規化分類とを比較する。その結果、両者の分類が異なっていれば、ステップ1510で当該特徴点の情報を特徴点バッファから削除した後、ステップ1507に戻って次の特徴点を対象とした処理に移る。一方、ステップ1509で両者の分類が同じと判断された場合は、何もせずにステップ1507に戻ることで、当該特徴点の情報を特徴点バッファに残して、次の特徴点を対象とした処理に移る。
 ステップ1507~1510では、上記のような処理を現フレームから抽出された各特徴点に対して実行することで、各特徴点の分類結果を過去のフレームと比較する。これにより、画像上の各座標においてどの分類が出現しやすいかの傾向が分かり、その傾向とは異なる特徴点が現フレームから抽出された場合は、それをノイズとして除去することが可能となる。
 以上説明した本発明の第2の実施形態によれば、第1の実施形態で説明した(1)~(5)の各作用効果に加えて、さらに以下の作用効果を奏する。
(6)区画線特徴点抽出部205は、カメラ101で異なる時刻に撮影された複数の画像にそれぞれ含まれる複数の画素を分類し、複数の画像の対応する画素間で同一の分類結果が得られた場合に、当該画素の分類結果を用いて区画線の特徴点を抽出する。具体的には、統計量算出部202は、過去の複数の画像について統計量を算出する(図15のステップ1501~1504)。区画線特徴点抽出部205は、統計量算出部202が算出した統計量に基づいて過去の複数の画像に含まれる複数の画素を分類し(ステップ1506)、その分類結果と、過去の複数の画像よりも後にカメラ101で撮影された現フレームの画像に含まれる複数の画素を分類した結果とを比較する(ステップ1507~1509)。その結果、対応する画素間で同一の分類結果が得られた場合に(ステップ1509:Yes)、当該画素の情報を特徴点バッファから削除せずに残すことで、当該画素の分類結果を用いて区画線の特徴点を抽出する。このようにしたので、過去に撮影された画像を用いて、現フレームから区画線の特徴点をより正確に抽出することができる。
 なお、以上説明した実施形態では、車両に搭載される区画線認識装置1を例として説明したが、本発明はこれに限定されない。たとえば、車両に搭載されたカメラで撮影された画像をサーバに送信し、その画像をサーバにおいて受信して道路上の区画線を認識する場合にも、本発明を適用可能である。この場合、車両に搭載されていないサーバが本発明の区画線認識装置として機能することになる。これ以外にも、任意の形態により本発明を実現可能である。
 また、以上説明した実施形態では、CPU104がプログラムを実行することで区画線認識装置1の機能を実現しているが、本発明はこれに限定されない。たとえば、FPGA(Field-Programmable Gate Array)を用いて区画線認識装置1の一部または全部の機能を実現してもよい。これ以外にも、任意のハードウェア構成により本発明の区画線認識装置を実現することが可能である。
 以上説明した実施形態では、白線閾値および路面閾値を用いることで画像内の各画素を「路面」、「白線」、「不定」のいずれかに分類する例を説明したが、本発明はこれに限定されない。画像内の各画素を少なくとも2種類、好ましくは3種類以上に分類できるものであれば、任意の数で閾値を設定し、その閾値に応じて画像内の各画素を任意の分類数に分類することが可能である。
 以上説明した実施形態や各種の変形例はあくまで一例である。本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
 1:区画線認識装置
 101:カメラ
 103:記憶装置
 104:CPU
 105:メモリ
 106:CAN I/F
 107:CANバス
 108:車両制御ユニット
 201:処理領域設定部
 202:統計量算出部
 203:閾値設定部
 204:区画線規格データ
 205:区画線特徴点抽出部
 206:区画線決定部

Claims (8)

  1.  カメラで撮影された画像から道路上の区画線を認識する装置であって、
     前記画像に対して処理領域を設定する処理領域設定部と、
     前記処理領域における前記画像の統計量を算出する統計量算出部と、
     前記統計量に基づいて複数の閾値を設定する閾値設定部と、
     前記複数の閾値に基づいて前記画像に含まれる複数の画素を路面と白線を区別するように分類し、前記複数の画素の分類結果に基づいて前記区画線の特徴点を抽出する区画線特徴点抽出部と、
     前記区画線特徴点抽出部により抽出された前記特徴点に基づいて前記区画線を決定する区画線決定部と、を備える区画線認識装置。
  2.  請求項1に記載の区画線認識装置において、
     前記区画線特徴点抽出部は、前記路面と前記白線のいずれにも分類できない前記画素を分類不定と定義し、前記画像の走査方向における前記画素の分類変化に応じて前記分類不定の前記画素を前記路面または前記白線とみなす区画線認識装置。
  3.  請求項1または請求項2に記載の区画線認識装置において、
     前記統計量算出部は、前記画像の一部または全部を処理領域と定義し、前記処理領域内の各画素の輝度値の平均値および標準偏差を前記統計量として算出する区画線認識装置。
  4.  請求項1または請求項2に記載の区画線認識装置において、
     前記統計量算出部は、前記画像の一部または全部を処理領域と定義し、前記処理領域内の各画素の輝度値の中央値および中央絶対偏差を前記統計量として算出する区画線認識装置。
  5.  請求項1から請求項4のいずれか一項に記載の区画線認識装置において、
     前記区画線特徴点抽出部は、前記複数の画素の分類が変化する境界に対応する点を前記特徴点の候補として抽出する区画線認識装置。
  6.  請求項1から請求項5のいずれか一項に記載の区画線認識装置において、
     前記区画線特徴点抽出部は、前記複数の画素の分類結果に基づいて複数の特徴点候補を抽出し、抽出した前記複数の特徴点候補同士の位置関係に基づいて、前記特徴点候補から前記特徴点を決定する区画線認識装置。
  7.  請求項1から請求項6のいずれか一項に記載の区画線認識装置において、
     前記区画線特徴点抽出部は、前記カメラで異なる時刻に撮影された複数の画像にそれぞれ含まれる複数の画素を分類し、前記複数の画像の対応する画素間で同一の分類結果が得られた場合に、当該画素の分類結果を用いて前記区画線の特徴点を抽出する区画線認識装置。
  8.  請求項7に記載の区画線認識装置において、
     前記統計量算出部は、過去の複数の画像について前記統計量を算出し、
     前記区画線特徴点抽出部は、前記統計量算出部が算出した統計量に基づいて前記過去の複数の画像に含まれる複数の画素を分類した結果と、前記過去の複数の画像よりも後に前記カメラで撮影された画像に含まれる複数の画素を分類した結果とを比較し、対応する画素間で同一の分類結果が得られた場合に、当該画素の分類結果を用いて前記区画線の特徴点を抽出する区画線認識装置。
PCT/JP2019/007736 2018-03-09 2019-02-28 区画線認識装置 WO2019172059A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19763894.3A EP3764322A4 (en) 2018-03-09 2019-02-28 LANE MARKER RECOGNITION DEVICE
US16/979,147 US11482016B2 (en) 2018-03-09 2019-02-28 Division line recognition apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018043554A JP6971177B2 (ja) 2018-03-09 2018-03-09 区画線認識装置
JP2018-043554 2018-03-09

Publications (1)

Publication Number Publication Date
WO2019172059A1 true WO2019172059A1 (ja) 2019-09-12

Family

ID=67847127

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007736 WO2019172059A1 (ja) 2018-03-09 2019-02-28 区画線認識装置

Country Status (4)

Country Link
US (1) US11482016B2 (ja)
EP (1) EP3764322A4 (ja)
JP (1) JP6971177B2 (ja)
WO (1) WO2019172059A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551459B1 (en) * 2022-06-27 2023-01-10 Plusai, Inc. Ambiguous lane detection event miner

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158060B2 (en) 2017-02-01 2021-10-26 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11176675B2 (en) * 2017-02-01 2021-11-16 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
JP7046279B1 (ja) * 2020-10-30 2022-04-01 三菱電機株式会社 ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム
CN112633151B (zh) * 2020-12-22 2024-04-12 浙江大华技术股份有限公司 一种确定监控图像中斑马线的方法、装置、设备及介质
CN112863194B (zh) * 2021-01-20 2022-08-23 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质
CN113298839B (zh) * 2021-05-18 2023-08-15 中国矿业大学 一种sar影像半自动阈值提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272933A (ja) * 1995-03-31 1996-10-18 Mitsubishi Motors Corp ライン認識方法
JP2007179386A (ja) * 2005-12-28 2007-07-12 Fujitsu Ten Ltd 白線認識方法及び白線認識装置
JP2011165050A (ja) * 2010-02-12 2011-08-25 Denso Corp 白線認識装置
JP2013122739A (ja) * 2011-12-12 2013-06-20 Fujitsu Ltd 解析装置、解析プログラムおよび解析方法
JP2016206721A (ja) * 2015-04-15 2016-12-08 日産自動車株式会社 路面標示検出装置及び路面標示検出方法
JP2016206881A (ja) 2015-04-21 2016-12-08 本田技研工業株式会社 レーン検出装置及びその方法、並びにレーン表示装置及びその方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3780922B2 (ja) * 2001-11-30 2006-05-31 日産自動車株式会社 道路白線認識装置
JP2005157731A (ja) * 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車線認識装置および車線認識方法
JP2009015611A (ja) * 2007-07-05 2009-01-22 Figla Co Ltd 充電システム、充電ユニットおよび移動ロボットの自動充電システム
JP5441549B2 (ja) 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
US9077958B2 (en) * 2010-08-30 2015-07-07 Honda Motor Co., Ltd. Road departure warning system
US9971944B2 (en) * 2013-08-23 2018-05-15 Harman International Industries, Incorporated Unstructured road boundary detection
JP6362442B2 (ja) * 2014-06-13 2018-07-25 富士通株式会社 車線境界線抽出装置、車線境界線抽出方法、及びプログラム
JP2017021747A (ja) 2015-07-15 2017-01-26 クラリオン株式会社 車両用駐車支援装置
JP6291144B2 (ja) * 2015-09-11 2018-03-14 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
CN106997466B (zh) * 2017-04-12 2021-05-04 百度在线网络技术(北京)有限公司 用于检测道路的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272933A (ja) * 1995-03-31 1996-10-18 Mitsubishi Motors Corp ライン認識方法
JP2007179386A (ja) * 2005-12-28 2007-07-12 Fujitsu Ten Ltd 白線認識方法及び白線認識装置
JP2011165050A (ja) * 2010-02-12 2011-08-25 Denso Corp 白線認識装置
JP2013122739A (ja) * 2011-12-12 2013-06-20 Fujitsu Ltd 解析装置、解析プログラムおよび解析方法
JP2016206721A (ja) * 2015-04-15 2016-12-08 日産自動車株式会社 路面標示検出装置及び路面標示検出方法
JP2016206881A (ja) 2015-04-21 2016-12-08 本田技研工業株式会社 レーン検出装置及びその方法、並びにレーン表示装置及びその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3764322A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551459B1 (en) * 2022-06-27 2023-01-10 Plusai, Inc. Ambiguous lane detection event miner
US20230419688A1 (en) * 2022-06-27 2023-12-28 Plusai, Inc. Ambiguous Lane Detection Event Miner

Also Published As

Publication number Publication date
US11482016B2 (en) 2022-10-25
US20200410257A1 (en) 2020-12-31
EP3764322A1 (en) 2021-01-13
JP6971177B2 (ja) 2021-11-24
EP3764322A4 (en) 2021-12-08
JP2019159606A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
WO2019172059A1 (ja) 区画線認識装置
US10943131B2 (en) Image based lane marking classification
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US8184859B2 (en) Road marking recognition apparatus and method
US8902053B2 (en) Method and system for lane departure warning
JP5747549B2 (ja) 信号機検出装置及びプログラム
US20160314368A1 (en) System and a method for the detection of multiple number-plates of moving cars in a series of 2-d images
CN110502983B (zh) 一种检测高速公路中障碍物的方法、装置及计算机设备
KR101935010B1 (ko) 영상 기반 차량 번호판 인식 장치 및 방법
US20180039843A1 (en) Detecting device, detecting method, and program
JP6710190B2 (ja) 区画線認識装置
JP2007179386A (ja) 白線認識方法及び白線認識装置
US11244194B2 (en) System and method for object recognition using local binarization
US11210548B2 (en) Railroad track recognition device, program, and railroad track recognition method
JP6255944B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
CN113239733B (zh) 一种多车道车道线检测方法
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
US11069049B2 (en) Division line detection device and division line detection method
Lu A lane detection, tracking and recognition system for smart vehicles
JP2006155126A (ja) 車両番号認識装置
JP2898562B2 (ja) ナンバープレート決定方法
JP4842301B2 (ja) 歩行者検出装置及びプログラム
JP2019087166A (ja) 撮影画像に含まれる境界線を検出するための装置、方法、及びプログラム
JP2005250786A (ja) 画像認識方法
WO2023127000A1 (ja) 認識システム及び物体認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19763894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019763894

Country of ref document: EP