WO2019172059A1 - 区画線認識装置 - Google Patents

区画線認識装置 Download PDF

Info

Publication number
WO2019172059A1
WO2019172059A1 PCT/JP2019/007736 JP2019007736W WO2019172059A1 WO 2019172059 A1 WO2019172059 A1 WO 2019172059A1 JP 2019007736 W JP2019007736 W JP 2019007736W WO 2019172059 A1 WO2019172059 A1 WO 2019172059A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
lane marking
image
lane
pixels
Prior art date
Application number
PCT/JP2019/007736
Other languages
English (en)
French (fr)
Inventor
待井　君吉
健人 緒方
清水　直樹
彩乃 宮下
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP19763894.3A priority Critical patent/EP3764322A4/en
Priority to US16/979,147 priority patent/US11482016B2/en
Publication of WO2019172059A1 publication Critical patent/WO2019172059A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Definitions

  • the present invention relates to an apparatus for recognizing a lane marking on a road.
  • a technique for recognizing a marking line (white line) on a road from a captured image of the road and using it for vehicle control or the like is known.
  • the feature point of the edge may appear not only in the boundary portion of the lane marking but also in the lane marking.
  • it is difficult to determine whether a point indicates a boundary of a lane marking if the brightness value of the lane line decreases due to the influence of the shadow of the vehicle or the brightness value of the road surface increases due to reflection of strong light on the road surface, it is difficult to distinguish the lane line from the road surface. There was also a problem that there was.
  • Patent Document 1 is known as a background technique for solving the above-described problems.
  • an imaging device that images the front of a vehicle including a road surface, and binarization processing of an image captured by the imaging device using a binarization threshold value is performed to detect a lane mark formed on the road surface.
  • a lane mark detection unit wherein the lane mark detection unit divides the captured image into a plurality of blocks that are continuous in the vertical direction and extend in the horizontal direction. Based on the luminance value, the plurality of blocks are divided into a bright part block and a low dark part block having a relatively high luminance value, and the value of the binarization threshold is changed between the bright part block and the dark part block, It describes that the captured image is binarized.
  • Patent Document 1 it is difficult to appropriately determine the lane marking when the lane marking and the brightness value of the road surface cannot be locally distinguished. Therefore, there is room for improvement in the recognition accuracy of lane markings on the road.
  • a lane marking recognition device is a device for recognizing a lane marking on a road from an image taken by a camera, a processing area setting unit for setting a processing area for the image, and the processing area in the processing area.
  • a statistic calculation unit that calculates the statistic of the image, a threshold setting unit that sets a plurality of thresholds based on the statistic, and a plurality of pixels included in the image based on the plurality of thresholds as a road surface and a white line
  • the lane line feature point extraction unit that classifies the distinction and extracts the feature points of the lane line based on the classification result of the plurality of pixels
  • a lane marking determining unit that determines the lane marking.
  • the recognition accuracy of lane markings on the road can be improved.
  • category The figure which shows the example of a classification image.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of a lane marking recognition device according to an embodiment of the present invention.
  • a lane marking recognition device 1 shown in FIG. 1 is used by being mounted on a vehicle, and recognizes a lane marking on a road from an image captured by a camera.
  • a CAN I / F 106 is provided.
  • the lane marking recognition device 1 includes a front camera 101-Fr for monitoring the front of the vehicle, a rear camera 101-Rr for monitoring the rear of the vehicle, and a left side camera 101-SL for monitoring the left side of the vehicle. And a right side camera 101-SR for monitoring the right side of the vehicle.
  • a vehicle control unit 108 is connected via the CAN bus 107.
  • the above four cameras are connected to the lane marking recognition device 1.
  • the recognizing device 1 can recognize a lane marking on the road from each image. Therefore, in the following description, the above four cameras will be described as a single camera 101 without distinguishing them.
  • the storage device 103 stores various information and programs necessary for the operation of the lane marking recognition device 1.
  • the CPU 104 executes a predetermined program stored in the storage device 103, performs image processing using an image input from the camera 101, and recognizes lane markings on the road existing around the vehicle.
  • the memory 105 is a volatile storage medium.
  • the memory 105 is used as a work area when the CPU 104 executes image processing, and the recognition result of the lane markings obtained by the image processing is accumulated.
  • Information on the recognition results of the lane markings accumulated in the memory 105 is output to the CAN bus 107 via the CAN I / F 106 and sent to the vehicle control unit 108.
  • the vehicle control unit 108 uses the lane marking recognition result sent from the lane marking recognition device 1 to control the steering of the vehicle so that the vehicle does not deviate from the driving lane. Vehicle control.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the lane marking recognition apparatus according to the embodiment of the present invention.
  • the lane marking recognition device 1 illustrated in FIG. 2 functionally includes a processing region setting unit 201, a statistic calculation unit 202, a threshold setting unit 203, a lane line feature point extraction unit 205, and a lane line determination unit 206.
  • the threshold setting unit 203 includes a white line threshold setting unit 203-1 and a road surface threshold setting unit 203-2.
  • the lane marking feature point extraction unit 205 includes a classification unit 205-1, a feature point candidate extraction unit 205-2, and a feature point determination unit 205-3.
  • the lane marking recognition apparatus 1 implements each of these functional blocks by executing a predetermined program by the CPU 104.
  • Images taken by the camera 101 are sent to the processing area setting unit 201 at predetermined time intervals.
  • each image input from the camera 101 every predetermined time may be referred to as a “frame”.
  • a processing area setting unit 201 sets a processing area for an image input from the camera 101.
  • the processing area set here is an image area used for extracting a lane marking (white line) on a road from an image. Therefore, the processing area is set around a place where a white line is considered to exist, and if the white line is recognized in the previous frame, it can be set based on the position.
  • the processing area can be set by setting a predefined margin above and below the white line recognition position in the previous frame. If there is no detection in the previous frame, a predefined area may be used.
  • the purpose of setting a processing area for an image is to shorten the processing time by narrowing down the processing area, because it takes time to process the entire image when the processing capacity of the CPU 104 is not sufficient. However, when the processing capacity of the CPU 104 is sufficient, the entire image may be set as the processing area.
  • the lane marking is a white line, but the same applies to lane markings other than the white line.
  • the processing area setting unit 201 sets the processing area in the current frame based on, for example, the position of the white line in the previous frame, that is, the position of the white line recognized from the previous processing target image.
  • the processing area may be set based on the position of the white line in the previous frame, or the default processing area may be set at a predetermined position. Good. As a result, it is possible to prevent the processing time from being increased without setting the processing area.
  • the processing region can be set based on the position of the white line in the frame in which the white line was last recognized.
  • the statistic calculation unit 202 calculates the statistic of the image in the processing area set by the processing area setting unit 201. Specifically, for example, an average value and a standard deviation of luminance values of each pixel of the image in the processing region are calculated as image statistics.
  • the setting unit 203-2 sets the white line threshold and the road surface threshold.
  • the white line threshold is a threshold for recognizing a white line portion from an image in the processing region, and corresponds to the lowest luminance value of the pixels belonging to the white line. That is, pixels having a luminance value equal to or higher than the white line threshold are extracted as white line candidates.
  • the road surface threshold value is a threshold value for recognizing a road surface portion from an image in the processing region, and corresponds to the highest luminance value of pixels belonging to the road surface other than the white line.
  • pixels having a luminance value equal to or lower than the road surface threshold are extracted as road surface candidates.
  • portions other than the white line on the road are collectively referred to as “road surface”. A specific method for setting the white line threshold and the road surface threshold will be described later.
  • the lane marking feature point extraction unit 205 uses the classification unit 205-1, the feature point candidate extraction unit 205-2, and the feature point determination unit 205-3 based on the white line threshold and the road surface threshold set by the threshold setting unit 203. Extract white line feature points from the image.
  • the classification unit 205-1 classifies each pixel included in the image in the processing region as one of “road surface”, “white line”, and “undefined” using the white line threshold value and the road surface threshold value. That is, the luminance value of each pixel is compared with the white line threshold value and the road surface threshold value to determine whether it belongs to “white line” or “road surface”, and when it is determined that none of them belongs, it is classified as “undefined”.
  • a white line edge is extracted from an image in the processing region using a known edge extraction method, for example, a differential filter such as a Sobel filter, and the classification unit 205-1 targets pixels existing in the vicinity of the white line edge. Each pixel may be classified. In this case, pixels that are not classified are excluded from subsequent processing targets.
  • a known edge extraction method for example, a differential filter such as a Sobel filter
  • the feature point candidate extraction unit 205-2 extracts a feature point candidate which is a feature point candidate indicating the outline of the white line based on the classification result of each pixel by the classification unit 205-1. Specifically, a boundary where the pixel classification changes is obtained, and a point corresponding to the boundary is extracted as a feature point candidate.
  • the feature point determination unit 205-3 determines a feature point from the feature point candidates based on the positional relationship between the plurality of feature point candidates extracted by the feature point candidate extraction unit 205-2. Specifically, by referring to the lane line standard data 204 stored in the storage device 103 and collating the distances between the extracted feature point candidates with the lane line standard data 204, which feature point candidates are Judge whether the combination is probable as the outline of the white line.
  • the lane marking standard data 204 is a database that stores standard values such as the thickness and length of white lines, and is stored in the storage device 103 in advance.
  • the lane line determination unit 206 recognizes a white line drawn on the road based on the feature points extracted by the lane line feature point extraction unit 205, and determines the position of the white line in the image. For example, coordinate conversion to a predetermined coordinate system in which image distortion is corrected is performed on all feature points in the processing area, and then a white line is recognized using a method such as oblique projection. Specifically, while changing the angle of the coordinate axis with a certain width, the coordinate-converted feature points are projected onto the x and y coordinate axes, and the accumulated values of the edge strengths are tabulated. A white line can be recognized by obtaining the angle and position at which the edge strength is maximized.
  • the coordinate conversion of the feature points requires camera parameters such as the angle of view and the shooting direction of the camera 101, so it is preferable to store the camera parameters for coordinate conversion in the storage device 103 or the like in advance. If the white line can be recognized in this way, the lane marking determination unit 206 may determine the type of road marking represented by the white line by identifying whether the white line is a solid line or a broken line.
  • FIG. 3 is a diagram showing a processing flow of the lane marking recognition apparatus according to the first embodiment of the present invention.
  • the processing flow in FIG. 3 shows processing for one image frame. That is, in the lane marking recognition apparatus 1 of this embodiment, every time an image is input from the camera 101 at a predetermined frame rate, the CPU 104 executes processing for recognizing the lane marking from the image according to the processing flow of FIG.
  • step 301 a camera image, that is, an image input from the camera 101 is acquired.
  • step 302 the processing area setting unit 201 sets a processing area in the image acquired in step 301.
  • the position of the processing region in the image is determined based on the position of the white line in the previous frame.
  • step 303 the statistic calculation unit 202 obtains the statistic of the luminance value in the processing area set in step 302.
  • the average value and the standard deviation of the luminance values of the pixels in the processing region are calculated as image statistics.
  • step 304 the threshold value setting unit 203 sets the threshold value of the luminance value based on the statistic obtained in step 303.
  • the white line threshold value setting unit 203-1 sets the white line threshold value
  • the road surface threshold value setting unit 203-2 sets the road surface threshold value. Details of the threshold setting method in step 304 will be described later with reference to FIGS.
  • step 305 the lane marking feature point extraction unit 205 extracts lane markings, that is, white line feature points from the image in the processing region set in step 302 based on the threshold value set in step 304. Details of the feature point extraction method in step 305 will be described later with reference to FIGS.
  • step 306 the lane marking unit 206 determines a lane marking (white line) on the road from the feature points extracted in step 305.
  • step 306 the CPU 104 ends the processing flow of FIG.
  • FIG. 4 is a diagram illustrating an example of a threshold setting method by the threshold setting unit 203.
  • the road surface threshold value setting unit 203-2 sets the average value ⁇ as the road surface threshold value 404, for example, as shown in FIG. Accordingly, each pixel included in the region 401 having a luminance value smaller than the road surface threshold 404 is classified as “road surface” in the lane marking feature point extraction unit 205.
  • the white line threshold value setting unit 203-1 sets ⁇ + ⁇ obtained by adding the standard deviation ⁇ to the average value ⁇ as the white line threshold value 405, for example, as shown in FIG.
  • each pixel included in the region 403 having a luminance value larger than the white line threshold value 405 is classified as a “white line” in the lane marking feature point extraction unit 205.
  • pixels that are not classified as either “road surface” or “white line”, that is, each pixel included in the region 402 corresponding to a luminance value that is greater than or equal to the road surface threshold value 404 and less than or equal to the white line threshold value 405 are defined as a lane marking feature point extraction unit 205. Is classified as “undefined”.
  • the method of FIG. 4 is established on the assumption that the luminance value follows a normal distribution, but it is considered that there are many cases where this is not the case in practice. In such a case, it is effective to use a statistic that is not easily affected by a distribution deviation such as median or median absolute deviation (Median Absolute Deviation).
  • FIG. 16 is a diagram illustrating another example of the threshold setting method by the threshold setting unit 203.
  • the median M and the median absolute deviation MAD are calculated by the statistic calculator 202 as the statistic of the luminance value of each pixel in the processing region.
  • the road surface threshold value setting unit 203-2 sets the median value M as the road surface threshold value 404, for example, as shown in FIG. Accordingly, each pixel included in the region 401 having a luminance value smaller than the road surface threshold 404 is classified as “road surface” in the lane marking feature point extraction unit 205.
  • the white line threshold setting unit 203-1 sets M + MAD obtained by adding the median absolute deviation MAD to the median M as the white line threshold 405, as shown in FIG.
  • each pixel included in the region 403 having a luminance value larger than the white line threshold value 405 is classified as a “white line” in the lane marking feature point extraction unit 205.
  • pixels that are not classified as either “road surface” or “white line”, that is, each pixel included in the region 402 corresponding to a luminance value that is greater than or equal to the road surface threshold value 404 and less than or equal to the white line threshold value 405 are defined as a lane marking feature point extraction unit 205. Is classified as “undefined”.
  • each pixel having a relatively high luminance value in the processing region can be extracted as a white line candidate. Also, by using statistics, even if the brightness of the frame changes due to changes in the surrounding environment of the vehicle, it is possible to set the white line threshold value and the road surface threshold value and to extract white line candidates without being affected by it. It is.
  • the setting method of a white line threshold value and a road surface threshold value is not restricted to said method. Any method can be used as long as the white line threshold and the road surface threshold can be appropriately set based on the statistic of the luminance value of each pixel in the processing region.
  • FIG. 5 is a diagram showing a processing flow of the lane marking feature point extraction unit 205 in step 305.
  • step 501 the classification unit 205-1 determines the classification of each pixel in the processing area.
  • the classification unit 205-1 executes the classification process shown in the processing flow of FIG. 6 to classify each pixel in the processing region into one of “road surface”, “white line”, and “undefined”. Details of the processing flow of FIG. 6 will be described later.
  • the feature point candidate extraction unit 205-2 performs the following processing for each pixel in the processing region using the classification result in step 501.
  • the x-axis is defined as the left-to-right direction of the image
  • the y-axis is defined as the top-down direction of the image.
  • step 502 for a pixel to be processed, a pair of pixels having the same x-coordinate and a y-coordinate difference of 1 in the processing area are selected.
  • the camera 101 is the left side camera 101-SL or the right side camera 101-SR.
  • the extending direction of the lane markings in the image changes by about 90 degrees, so the y coordinate is the same and the x coordinate difference is 1. It is preferable to select a certain pair of pixels. As a result, the same processing as in the case of the left side camera 101-SL or the right side camera 101-SR is possible.
  • step 503 the classification results in step 501 are compared for the pair of pixels selected in step 502. As a result, the same x coordinate is scanned in the direction of increasing y coordinate, and the classification of these pixels is either “undefined” to “white line”, “road surface” to “white line”, or “road surface” to “undefined”. If it has changed, in step 504, one pixel, for example, the pixel having the larger y-coordinate value is regarded as the rising point and buffered. The rising point is a point at which the luminance value changes in an increasing direction, and corresponds to a feature point candidate indicating the outline of a white line. If buffering is performed using the pixel as a rising point, the process returns to step 502 to proceed to the next pixel process. On the other hand, if the above condition is not satisfied, the process proceeds to step 505.
  • step 505 as in step 503, the classification results in step 501 are compared for the pair of pixels selected in step 502. As a result, the y-coordinate is scanned in the same x-coordinate direction, and the classification of these pixels is either “undefined” to “road surface”, “white line” to “road surface”, or “white line” to “undefined”. If it has changed, in step 506, one pixel, for example, the pixel with the larger y-coordinate value is regarded as the falling point and buffered.
  • the falling point is a point at which the luminance value changes in a decreasing direction, and corresponds to a feature point candidate indicating the outline of a white line.
  • step 502 When the pixel is buffered as a falling point, the process returns to step 502 to move to the next pixel process. On the other hand, if the above condition is not satisfied, nothing is done and the process returns to step 502 to proceed to the next pixel process.
  • steps 502 to 506 whether or not all the pixels in the processing region correspond to the rising point or the falling point that are candidate feature points by executing the above-described processing on each pixel in the processing region. Determine whether or not.
  • steps 502 to 506 is executed for all the pixels in the processing area, the process proceeds to step 507.
  • step 507 the feature point determination unit 205-3 collates the respective feature point candidates determined in steps 502 to 506, that is, the positions of the rising point and the falling point, and determines the feature point.
  • the feature point determination unit 205-3 executes the feature point determination process shown in the processing flow of FIG. 7, and based on the positional relationship between a plurality of feature point candidates extracted from the image in the processing region, A feature point is determined from the feature point candidates. Details of the processing flow of FIG. 7 will be described later.
  • step 305 in FIG. 3 is terminated and the process proceeds to the next step 306.
  • FIG. 6 is a diagram showing a processing flow of the classification unit 205-1 in step 501 of FIG.
  • the classification unit 205-1 performs the processing of steps 601 to 606 described below for each pixel in the processing region.
  • step 601 the luminance value of the pixel to be processed in the image is acquired.
  • step 602 the luminance value acquired in step 601 is compared with the road surface threshold set by the road surface threshold setting unit 203-2 in step 304 of FIG. As a result, if the luminance value is smaller than the road surface threshold, in step 604, the pixel is classified as “road surface”, and the process proceeds to the next pixel. On the other hand, if the luminance value is equal to or greater than the road surface threshold value, the process proceeds to step 603.
  • Step 603 the luminance value acquired in Step 601 is compared with the white line threshold set by the white line threshold setting unit 203-1 in Step 304 of FIG. As a result, if the luminance value is greater than the white line threshold value, the pixel is classified as a “white line” in step 605 and the process proceeds to the next pixel. On the other hand, if the luminance value is less than or equal to the white line threshold value, the pixel is classified as “indefinite” in step 606 and the process proceeds to the next pixel.
  • steps 601 to 606 the above processing is executed for each pixel in the processing area, so that all the pixels in the processing area are classified as “road surface”, “white line”, or “undefined”. To do.
  • step 501 in FIG. 5 is terminated, and the process proceeds to the next step 502.
  • FIG. 7 is a diagram showing a processing flow of the feature point determination unit 205-3 in step 507 of FIG.
  • lane width data that is, data representing the width of the white line is acquired from the storage device 103.
  • the lane width data stored in the storage device 103 as part of the lane marking standard data 204 is acquired.
  • a road type on which the vehicle is currently traveling is acquired from a navigation device (not shown) connected to the lane marking recognition device 1 via the CAN bus 107, and the lane width data corresponding to the road type is determined as the lane line. You may search and acquire from the specification data 204.
  • the lane marking recognition device 1 also serves as a navigation device, lane width data corresponding to the type of road on which the vehicle is traveling can be acquired in the same manner as described above.
  • the initial value of the minimum lane width error is set.
  • the minimum lane width error value is used to determine whether or not the positional relationship between the rising point and the falling point is likely to be a characteristic point in the subsequent processing, and is stored in the memory 105 and processed. Updated as needed.
  • 20 cm is set as the initial value of the minimum lane width error.
  • 20 cm is an example, and an arbitrary numerical value can be set as the initial value of the minimum lane width error as long as it is equal to or larger than the actual width of the white line.
  • step 703 the distance between the rising point to be processed and the falling point having the same x coordinate and the rising point are calculated. That is, among a plurality of feature point candidates extracted from the image in the processing region, a pair of rising and falling points having the same x coordinate and a difference of y coordinate of 1 are selected, and depending on their positional relationship Find the distance.
  • step 704 the distance obtained in step 703 is compared with the width of the white line represented by the lane width data acquired in step 701, and an error (difference) between them is calculated.
  • step 705 the error obtained in step 704 is compared with the current minimum lane width error value. As a result, if the error is smaller than the minimum lane width error value, the minimum lane width error value is replaced by the error value in step 706, and then in step 707, the feature point information is updated using the falling point as a feature point.
  • the feature point information is information representing the feature point determined by the feature point determination unit 205-3, and is recorded in the feature point buffer provided in the memory 105 so that the x coordinate does not overlap. That is, even when there are a plurality of falling points having the same x-coordinate, at most one falling point is recorded as feature points in the feature point information.
  • step 705 determines whether there is no feature point corresponding to the x coordinate, and feature point information is not recorded.
  • the process returns to step 703, and the process proceeds to the process for the next combination of rising point and falling point.
  • the process returns to step 502 without doing anything, and the process proceeds to the process for the next combination of rising and falling points.
  • steps 703 to 707 the above-described processing is executed for each combination of rising point and falling point, so that the positional relationship between the feature point candidates is obtained for all the feature point candidates extracted from the processing region.
  • the feature point can be extracted from the feature point candidate. Can be determined.
  • the falling point is recorded as the feature point information.
  • the rising point may be recorded as the feature point information, or both the rising point and the falling point are recorded as the feature point information. May be.
  • FIG. 8 is a diagram showing an example of the data structure of the feature point candidate buffer used when buffering the rising point and the falling point in steps 504 and 506 of FIG.
  • the feature point candidate buffer shown in FIG. 8 is realized by using the memory 105, and stores each data of the number of rising points 801, the rising point information 802, the number of falling points 804, and the falling point information 805.
  • the number of rising points 801 is data representing the number of rising points, and is equal to the number of data of the rising point information 802. That is, the same number of rising point information 802 as the number indicated by the rising point number 801 is stored in the feature point candidate buffer.
  • the rising point information 802 is data indicating the position of the rising point in the image, and is composed of an x coordinate 802-1 and a y coordinate 802-2 representing the x coordinate value and the y coordinate value of the rising point in the image coordinate system, respectively.
  • the falling point number 804 is data representing the number of falling points, and is equal to the data number of the falling point information 805. That is, the same number of falling point information 805 as the number indicated by the falling point number 804 is stored in the feature point candidate buffer.
  • the falling point information 805 is data indicating the position of the falling point in the image, and an x coordinate 805-1 and a y coordinate 805 representing the x coordinate value and the y coordinate value of the falling point in the image coordinate system, respectively. It consists of two.
  • FIG. 9 is a diagram showing an example of the data structure of the feature point buffer used when buffering feature point information in step 707 of FIG.
  • the feature point buffer shown in FIG. 9 is realized by using the memory 105, and stores each data of the number of feature points 901 and feature point information 902.
  • the feature point number 901 is data representing the number of feature points, and is equal to the data number of the feature point information 902. That is, the same number of feature point information 902 as the number indicated by the feature point number 901 is stored in the feature point buffer.
  • the feature point information 902 is data indicating the position and classification of the feature point in the image, and the x coordinate 902-1 and the y coordinate 902-2 representing the x coordinate value and the y coordinate value of the feature point in the image coordinate system, respectively.
  • FIG. 10 is a diagram illustrating an example of an image before classification.
  • the processing area setting unit 201 sets the processing area 1002 in a range surrounded by a white frame in the figure for the image 1001 input from the camera 101, for example.
  • the processing area 1002 includes a white line that is a recognition target, and the shadow of the grass is partially covered by the white line.
  • the processing area 1002 is determined based on the white line position in the previous frame as described above, for example.
  • the statistic calculation unit 202 calculates the statistic of the luminance value of each pixel in the processing area 1002 set in the image 1001.
  • the threshold setting unit 203 sets a white line threshold and a road surface threshold based on the statistics calculated by the statistics calculation unit 202.
  • the classification unit 205-1 classifies each pixel of the image 1001 as one of “road surface”, “white line”, and “undefined” using the white line threshold value and the road surface threshold value set by the threshold value setting unit 203.
  • FIG. 11 is a diagram showing an example of a classified image 1101 obtained by classifying each pixel of the image 1001 in FIG.
  • the classification result of each pixel is represented by three types of black, white, and gray.
  • Black corresponds to the “road surface”
  • white corresponds to the “white line”
  • gray corresponds to the “indefinite” classification result.
  • most of the pixels corresponding to the white line in the image 1001 in FIG. 10 are classified as “white lines” in the classified image 1101 in FIG. 11, but some of the pixels are partially shaded because the shadows of the grass overlap. It can be seen that it is classified as “undefined”.
  • the classification result for the entire area of the image 1001 is shown as the classification image 1101 for easy understanding, but in practice, only the pixels in the processing area 1002 may be classified as described above.
  • Feature point candidate extraction section 205-2 extracts rising points and falling points that are feature point candidates from classification image 1101, based on the classification result of each pixel shown in classification image 1101.
  • FIG. 12 is a diagram for explaining an example of extraction of rising points and falling points by the feature point candidate extraction unit 205-2.
  • a part of the classification image 1101 corresponding to the processing region 1002 is extracted and shown.
  • the feature point candidate extraction unit 205-2 sequentially selects a pair of pixels having the same x coordinate and a difference of y coordinate of 1, and extracts a point where the classification result changes as a rising point or a falling point. To do.
  • FIG. 12 when a point whose classification result changes along the scan direction 1200 is searched for each pixel whose x coordinate value is x1, a rising point 1201, a falling point 1202, and a falling point are detected.
  • a point 1203 is extracted.
  • the rising point 1201 is a point where the classification changes from “road surface” to “white line”.
  • the falling point 1202 is a point where the classification changes from “white line” to “indefinite”.
  • the falling point 1203 is a point where the classification changes from “undefined” to “road surface”. Note that the falling point 1202 corresponds to a shaded portion on the white line. As described above, the falling point may be extracted not only at the boundary between the white line and the road surface but also at the shadow portion on the white line. In this way, the lower end of the processing area 1002, that is, the rising point and the falling point that are extracted by scanning to the point where the y coordinate is maximized, are respectively buffered as feature point candidates.
  • FIG. 13 is a diagram illustrating an example of extraction results of rising points and falling points.
  • the rising point and the falling point extracted in the processing area 1002 in the classified image 1101 are represented by black dots represented by the point indicated by reference numeral 1301.
  • the feature point determination unit 205-3 collates the positional relationship of each rising point and falling point extracted as the feature point candidate from the classification image 1101 with the lane marking standard data 204, and determines the feature point from these. For example, regarding the rising point 1201, the falling point 1202, and the falling point 1203 shown in FIG. 12, the positional relationship between the rising point 1201 and the falling point 1202 and the positional relationship between the rising point 1201 and the falling point 1203 are divided into sections. The white line width (thickness) indicated by the line standard data 204 is collated.
  • the information of the falling point 1202 is the feature point. Not recorded in information.
  • the distance between the rising point 1201 and the falling point 1203 substantially matches the width of the white line, it is determined that this combination is appropriate as representing the outline of the white line, and the information of the falling point 1203 is included in the feature point information.
  • the information of the falling point located closer to the own vehicle is recorded in the feature point information.
  • the rising point is recorded. May be recorded in the feature point information, and information on both the rising point and the falling point may be recorded in the feature point information.
  • FIG. 14 is a diagram illustrating an example of the feature point determination result in the entire processing region 1002 in the classification image 1101.
  • the feature points determined by the falling points whose distance from the corresponding rising points substantially coincide with the width of the white line are represented by black points represented by the points indicated by reference numeral 1401.
  • the lane marking recognition device 1 is a device that recognizes a lane marking on a road from an image captured by the camera 101.
  • the lane marking recognition device 1 includes a processing region setting unit 201 that sets a processing region for an image, a statistic calculation unit 202 that calculates a statistic of an image in the processing region, and a plurality of thresholds based on the statistic, that is,
  • a threshold value setting unit 203 that sets a white line threshold value and a road surface threshold value, classifies a plurality of pixels included in the image based on the white line threshold value and the road surface threshold value, and extracts feature points of the partition line based on a classification result of the plurality of pixels.
  • a lane line feature point extraction unit 205 and a lane line determination unit 206 that determines a lane line based on the feature points extracted by the lane line feature point extraction unit 205 are provided. Since it did in this way, the recognition accuracy of the lane marking on a road can be improved.
  • the statistic calculation unit 202 calculates the average value and the standard deviation of the luminance values of the pixels of the image in the processing region as the statistic (step 303 in FIG. 3). Since it did in this way, the statistic required in order to set a white line threshold value and a road surface threshold value appropriately can be calculated.
  • the lane marking feature point extraction unit 205 causes the feature point candidate extraction unit 205-2 to extract points corresponding to boundaries where the classification of a plurality of pixels included in the image changes as feature point candidates (FIG. 5). Steps 502 to 506). Since this is done, an appropriate point can be extracted as a feature point candidate using the result of pixel classification performed by the classification unit 205-1.
  • the lane marking feature point extraction unit 205 classifies the plurality of pixels included in the image into at least three types, that is, “road surface”, “white line”, and “undefined” by the classification unit 205-1. (Steps 601 to 606 in FIG. 6). Since it did in this way, it can be set as the classification suitable for extracting the candidate of a feature point from the some pixel contained in the image using the some threshold value which the threshold value setting part 203 set.
  • the lane marking feature point extraction unit 205 uses the feature point candidate extraction unit 205-2 to extract a plurality of feature point candidates based on the classification result of the plurality of pixels included in the image (steps 502 to FIG. 5). 506), the feature point determination unit 205-3 determines a feature point from the feature point candidates based on the positional relationship between the extracted feature point candidates (steps 701 to 707 in FIG. 7). Since it did in this way, the point which seems to represent the outline of a white line among the feature point candidates extracted from the image can be determined as the feature point.
  • FIG. 15 is a diagram showing a processing flow of the lane marking recognition apparatus according to the second embodiment of the present invention.
  • the CPU 104 executes the processing flow shown in FIG. 15 following the processing of step 305 in FIG.
  • the images acquired in the past are statistically processed to identify pixels where each classification of “road surface”, “white line”, and “indeterminate” is likely to appear, and collated with the classification result of the current frame. Then, it is determined whether or not the classification result of the current frame is probable.
  • the statistic calculation unit 202 obtains a deviation value of the luminance of each pixel in a plurality of images acquired in the past.
  • the deviation value of the luminance of each pixel is obtained for each frame for a predetermined distance that the vehicle on which the lane marking recognition device 1 has traveled in the past, for example, all frames for the past 10 m.
  • the luminance deviation value of each pixel can be calculated by, for example, the following equation using an average value and a standard deviation calculated from the luminance value of each pixel in the processing region set in the frame.
  • Deviation value (luminance value-average value) / standard deviation
  • the statistic calculation unit 202 calculates the average deviation value of each pixel using the luminance deviation value of each pixel obtained for each frame in step 1501.
  • the average deviation value of each pixel is obtained by averaging the luminance deviation values in all the frames for all the past 10 m frames for which the luminance deviation value of each pixel is obtained in step 1501. Is calculated.
  • the statistic calculation unit 202 normalizes the luminance value of each pixel in a plurality of images acquired in the past using the average deviation value of each pixel calculated in step 1502.
  • the luminance value of each pixel is normalized according to the range of values that the luminance value of each pixel can take in all the frames for the past 10 m. Thereby, for example, within the range of 0 to 255, the luminance value of each pixel in all frames for the past 10 m is normalized.
  • the white line threshold value and the road surface threshold value are set using the normalized luminance value of each pixel.
  • step 1504 the statistic calculation unit 202 applies the processing area of the current frame to all the past 10 m frames whose luminance values are normalized in step 1503. Then, the average and standard deviation of the normalized luminance values obtained in step 1503 are obtained for a plurality of pixels included in the processing region. Thereby, the statistic of the image in the processing region is calculated using a plurality of images taken at different times by the camera 101.
  • the threshold value setting unit 203 sets the white line threshold value and the road surface threshold value using the statistics of the normalized luminance values obtained in step 1504, that is, the average and the standard deviation.
  • the white line threshold value and the road surface threshold value for the normalized luminance value are set based on the average and standard deviation of the normalized luminance value of each pixel by the same method as described in the first embodiment.
  • step 1506 the lane marking feature point extraction unit 205 uses the white line threshold and the road surface threshold set in step 1504 to normalize and classify each pixel in the processing region in all frames for the past 10 m.
  • the classification unit 205-1 uses the normalized luminance value of each pixel in the processing region obtained in step 1503 to perform the same processing as in steps 601 to 606 of FIG. 6 described in the first embodiment. As a result, each pixel is classified into one of “road surface”, “white line”, and “undefined”.
  • the same classification result as that of the current frame can be obtained as the normalized classification result of each pixel for frames of a predetermined distance that the vehicle has traveled in the past.
  • it is determined whether or not each feature point can be trusted by comparing the normalized classification result with the classification result of each feature point extracted in the current frame.
  • the feature point determination unit 205-3 performs the following processing for each feature point extracted in the current frame.
  • step 1507 the coordinates and classification of the feature point to be processed are obtained.
  • the feature point information finally obtained by the processing of FIG. 7 is acquired from the feature point buffer of FIG. 9, and the feature point information corresponding to the feature point to be processed is extracted. Get the coordinates and classification of feature points.
  • step 1508 based on the coordinates of the feature points of the current frame acquired in step 1507, a normalized classification at the same coordinates is obtained.
  • the normalized classification results obtained in step 1506 the one corresponding to the coordinates of the feature point of the current frame is selected and acquired.
  • step 1509 the feature point classification of the current frame acquired in step 1507 is compared with the normalized classification acquired in step 1508. As a result, if the two classifications are different, the feature point information is deleted from the feature point buffer in step 1510, and then the process returns to step 1507 to move to processing for the next feature point. On the other hand, if it is determined in step 1509 that the two classifications are the same, the process returns to step 1507 without doing anything, so that the feature point information remains in the feature point buffer and the next feature point is processed. Move on.
  • steps 1507 to 1510 the above processing is executed for each feature point extracted from the current frame, so that the classification result of each feature point is compared with the past frame.
  • the tendency of which classification is likely to appear at each coordinate on the image is known, and when a feature point different from the tendency is extracted from the current frame, it can be removed as noise.
  • the lane marking feature point extraction unit 205 classifies a plurality of pixels respectively included in a plurality of images taken at different times by the camera 101, and obtains the same classification result between corresponding pixels of the plurality of images. If so, the feature points of the lane markings are extracted using the classification result of the pixels. Specifically, the statistic calculation unit 202 calculates the statistic for a plurality of past images (steps 1501 to 1504 in FIG. 15).
  • the lane marking feature point extraction unit 205 classifies a plurality of pixels included in a plurality of past images based on the statistic calculated by the statistic calculation unit 202 (step 1506), the classification result, and a plurality of past A result of classifying a plurality of pixels included in the image of the current frame taken by the camera 101 after the image is compared (steps 1507 to 1509).
  • the same classification result is obtained between the corresponding pixels (step 1509: Yes)
  • the information on the pixel is not deleted from the feature point buffer, and the classification result of the pixel is used. Extract feature points of lane markings. Since it did in this way, the feature point of a division line can be extracted more correctly from the present flame
  • the lane marking recognition device 1 mounted on a vehicle has been described as an example, but the present invention is not limited to this.
  • the present invention can also be applied to a case where an image taken by a camera mounted on a vehicle is transmitted to a server, and the image is received by the server to recognize a lane marking on a road.
  • a server not mounted on the vehicle functions as the lane marking recognition device of the present invention.
  • the present invention can be realized in any form.
  • the function of the lane marking recognition apparatus 1 is realized by the CPU 104 executing a program, but the present invention is not limited to this.
  • some or all of the functions of the lane marking recognition apparatus 1 may be realized using an FPGA (Field-Programmable Gate Array).
  • FPGA Field-Programmable Gate Array
  • each pixel in the image is classified as one of “road surface”, “white line”, and “undefined” by using the white line threshold value and the road surface threshold value has been described. It is not limited. If each pixel in the image can be classified into at least two types, preferably three or more types, an arbitrary number of threshold values are set, and each pixel in the image is classified into an arbitrary classification number according to the threshold value. It is possible.
  • Marking line recognition device 101 Camera 103: Storage device 104: CPU 105: Memory 106: CAN I / F 107: CAN bus 108: Vehicle control unit 201: Processing region setting unit 202: Statistics amount calculation unit 203: Threshold value setting unit 204: Marking line standard data 205: Marking line feature point extraction unit 206: Marking line determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本発明の課題は、道路上の区画線の認識精度を改善することである。本発明の区画線認識装置は、カメラ１０１で撮影された画像から道路上の区画線を認識する装置であり、画像に対して処理領域を設定する処理領域設定部２０１と、処理領域における画像の統計量を算出する統計量算出部２０２と、統計量に基づいて複数の閾値、すなわち白線閾値および路面閾値を設定する閾値設定部２０３と、白線閾値および路面閾値に基づいて画像に含まれる複数の画素を分類し、複数の画素の分類結果に基づいて区画線の特徴点を抽出する区画線特徴点抽出部２０５と、区画線特徴点抽出部２０５により抽出された特徴点に基づいて区画線を決定する区画線決定部２０６と、を備える。

Description

区画線認識装置
　本発明は、道路上の区画線を認識する装置に関する。
　従来、道路の撮影画像から道路上の区画線（白線）を認識し、車両制御等に利用する技術が知られている。このような技術では、撮影画像の輝度値をそのまま用いて区画線の認識を行うと、区画線の境界部分だけでなく、区画線内でもエッジの特徴点が出現することがあるため、どの特徴点が区画線の境界を示すかの判断が困難であるという課題があった。また、車両の影等の影響で区画線の輝度値が低下したり、強い光が路面で反射することで路面の輝度値が上昇したりした場合には、区画線と路面の区別が困難であるという課題もあった。
　上記の課題を解決する背景技術として、下記の特許文献１が知られている。特許文献１には、路面を含む車両の前方を撮像する撮像装置と、前記撮像装置により撮像された画像を２値化閾値により２値化処理して前記路面に形成されたレーンマークを検出するレーンマーク検出部と、を備えるレーン検出装置において、前記レーンマーク検出部は、撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、分割したブロックの輝度値に基づき、複数の前記ブロックを、相対的に輝度値が高い明部ブロックと低い暗部ブロックに振り分け、前記明部ブロックと前記暗部ブロックとで前記２値化閾値の値を変更して、撮像された前記画像を２値化処理することが記載されている。
特開２０１６－２０６８８１号公報
　特許文献１に記載の技術では、区画線と路面の輝度値が局所的に区別できない状況のときには、区画線を適切に判断することが困難である。したがって、道路上の区画線の認識精度において改善の余地がある。
　本発明による区画線認識装置は、カメラで撮影された画像から道路上の区画線を認識する装置であって、前記画像に対して処理領域を設定する処理領域設定部と、前記処理領域における前記画像の統計量を算出する統計量算出部と、前記統計量に基づいて複数の閾値を設定する閾値設定部と、前記複数の閾値に基づいて前記画像に含まれる複数の画素を路面と白線を区別するように分類し、前記複数の画素の分類結果に基づいて前記区画線の特徴点を抽出する区画線特徴点抽出部と、前記区画線特徴点抽出部により抽出された前記特徴点に基づいて前記区画線を決定する区画線決定部と、を備える。
　本発明によれば、道路上の区画線の認識精度を改善することができる。
本発明の一実施形態に係る区画線認識装置のハードウェア構成の例を示す図。 本発明の一実施形態に係る区画線認識装置の機能構成の例を示す図。 本発明の第１の実施形態に係る区画線認識装置の処理フローを示す図。 閾値設定部による閾値設定方法の一例を示す図。 区画線特徴点抽出部の処理フローを示す図。 分類部の処理フローを示す図。 特徴点決定部の処理フローを示す図。 特徴点候補バッファのデータ構造の一例を示す図。 特徴点バッファのデータ構造の一例を示す図。 分類前の画像の例を示す図。 分類画像の例を示す図。 立上がり点および立下がり点の抽出例を説明する図。 立上がり点および立下がり点の抽出結果の例を示す図。 処理領域の全体における特徴点決定結果の例を示す図。 本発明の第２の実施形態に係る区画線認識装置の処理フローを示す図。 閾値設定部による閾値設定方法の一例を示す図。 分類前の画像の例を示す図。
（第１の実施形態）
　図１は、本発明の一実施形態に係る区画線認識装置のハードウェア構成の例を示す図である。図１に示す区画線認識装置１は、車両に搭載されて使用されることで、カメラで撮影された画像から道路上の区画線を認識するものであり、記憶装置１０３、ＣＰＵ１０４、メモリ１０５、ＣＡＮ　Ｉ／Ｆ１０６を備える。区画線認識装置１には、車両前方を監視するためのフロントカメラ１０１－Ｆｒと、車両後方を監視するためのリアカメラ１０１－Ｒｒと、車両左側方を監視するための左サイドカメラ１０１－ＳＬと、車両右側方を監視するための右サイドカメラ１０１－ＳＲとが接続されている。また、ＣＡＮバス１０７を介して車両制御ユニット１０８が接続されている。なお、図１の例では上記の４つのカメラが区画線認識装置１に接続されているが、任意の台数のカメラでそれぞれ撮影された画像を区画線認識装置１に入力することで、区画線認識装置１において各画像から道路上の区画線を認識することができる。したがって以下では、上記の４つのカメラを区別せずに、一台のカメラ１０１として説明する。
　記憶装置１０３には、区画線認識装置１の動作に必要な各種の情報やプログラムが記憶されている。ＣＰＵ１０４は、記憶装置１０３に記憶されている所定のプログラムを実行することで、カメラ１０１から入力された画像を用いて画像処理を行い、車両の周辺に存在する道路上の区画線を認識する。メモリ１０５は揮発性の記憶媒体であり、ＣＰＵ１０４が画像処理を実行する際の作業領域として用いられると共に、画像処理で得られた区画線の認識結果が蓄積される。メモリ１０５に蓄積された区画線の認識結果の情報は、ＣＡＮ　Ｉ／Ｆ１０６を介してＣＡＮバス１０７に出力され、車両制御ユニット１０８に送られる。車両制御ユニット１０８は、区画線認識装置１から送られた区画線の認識結果を用いて、たとえば車両が走行車線から逸脱しないように車両のステアリングを制御するなど、車両の走行状態に応じた各種の車両制御を行う。
　図２は、本発明の一実施形態に係る区画線認識装置の機能構成の例を示す図である。図２に示す区画線認識装置１は、処理領域設定部２０１、統計量算出部２０２、閾値設定部２０３、区画線特徴点抽出部２０５、区画線決定部２０６を機能的に有する。閾値設定部２０３は、白線閾値設定部２０３－１および路面閾値設定部２０３－２により構成されている。区画線特徴点抽出部２０５は、分類部２０５－１、特徴点候補抽出部２０５－２、特徴点決定部２０５－３により構成されている。区画線認識装置１は、ＣＰＵ１０４で所定のプログラムを実行することにより、これらの各機能ブロックを実現する。
　カメラ１０１により撮影された画像は、所定の時間間隔で処理領域設定部２０１に送られる。以下では、カメラ１０１から所定時間ごとに入力される画像の各々を「フレーム」と称することもある。処理領域設定部２０１は、カメラ１０１から入力された画像に対して処理領域を設定する。ここで設定される処理領域とは、画像から道路上の区画線（白線）を抽出するために用いられる画像領域のことである。したがって、処理領域は白線が存在すると思われる場所の周辺に設定するものであり、前フレームにおいて白線が認識されていればその位置を基準に設定することが可能である。例えば右サイドカメラ１０１－ＳＲや左サイドカメラ１０１－ＳＬの場合は、予め定義されたマージンを前フレームにおける白線認識位置の上下に設定することで処理領域を設定することが可能である。もし前フレームにおいて不検知であった場合には、予め定義された領域を使ってもよい。画像に処理領域を設定する目的は、ＣＰＵ１０４の処理能力が十分でない場合は画像全体を処理するのに時間がかかるため、処理を行う領域を絞ることで処理時間を短縮することである。
　ただし、ＣＰＵ１０４の処理能力が十分である場合は、画像全体を処理領域に設定してもよい。なお、以下では区画線が白線であるものとして説明するが、白線以外の区画線であっても同様である。
　処理領域設定部２０１は、たとえば前フレームにおける白線の位置、すなわち前回の処理対象とした画像から認識された白線の位置に基づいて、現フレームにおける処理領域を設定する。なお、前フレームで白線を認識できなかった場合は、さらに前のフレームにおける白線の位置に基づいて処理領域を設定してもよいし、予め決められた位置にデフォルトの処理領域を設定してもよい。これにより、処理領域を設定できずに処理時間が増大するのを防ぐことが可能である。また、白線が破線である場合は、最後に白線が認識されたフレームにおける白線の位置に基づいて、処理領域を設定することが可能である。
　統計量算出部２０２は、処理領域設定部２０１で設定された処理領域における画像の統計量を算出する。具体的には、たとえば処理領域における画像の各画素の輝度値の平均値および標準偏差を、画像の統計量として算出する。
　閾値設定部２０３は、統計量算出部２０２で求められた画像の統計量、すなわち処理領域内の各画素の輝度値の平均値と標準偏差に基づいて、白線閾値設定部２０３－１および路面閾値設定部２０３－２により、白線閾値と路面閾値をそれぞれ設定する。白線閾値とは、処理領域内の画像から白線部分を認識するための閾値であり、白線に属する画素の最低輝度値に相当する。すなわち、白線閾値以上の輝度値を持つ画素は、白線の候補として抽出される。また、路面閾値とは、処理領域内の画像から路面部分を認識するための閾値であり、白線以外の路面に属する画素の最高輝度値に相当する。すなわち、路面閾値以下の輝度値を持つ画素は、路面の候補として抽出される。なお、以下の説明では、道路上の白線以外の部分を総称して、「路面」と表現する。白線閾値および路面閾値の具体的な設定方法については後述する。
　区画線特徴点抽出部２０５は、閾値設定部２０３で設定された白線閾値および路面閾値に基づいて、分類部２０５－１、特徴点候補抽出部２０５－２および特徴点決定部２０５－３により、画像から白線の特徴点を抽出する。分類部２０５－１は、白線閾値および路面閾値を用いて、処理領域内の画像に含まれる各画素を、「路面」、「白線」、「不定」のいずれかに分類する。すなわち、各画素の輝度値を白線閾値および路面閾値と比較して、「白線」と「路面」のいずれに属するかを判別し、いずれでもないと判別された場合は「不定」に分類する。なお、周知のエッジ抽出手法、たとえばソーベルフィルタ等の微分フィルタを用いて処理領域内の画像から白線エッジを抽出し、その白線エッジの付近に存在する画素を対象として、分類部２０５－１が各画素を分類してもよい。この場合、分類されなかった画素は以降の処理対象から除外される。
　特徴点候補抽出部２０５－２は、分類部２０５－１による各画素の分類結果に基づいて、白線の輪郭を示す特徴点の候補である特徴点候補を抽出する。具体的には、画素の分類が変化する境界を求め、その境界に対応する点を特徴点候補として抽出する。
　特徴点決定部２０５－３は、特徴点候補抽出部２０５－２で抽出された複数の特徴点候補同士の位置関係に基づいて、特徴点候補から特徴点を決定する。具体的には、記憶装置１０３に記憶されている区画線規格データ２０４を参照し、抽出された複数の特徴点候補同士の距離を区画線規格データ２０４と照合することで、どの特徴点候補の組み合わせが白線の輪郭として確からしいかを判断する。なお、区画線規格データ２０４は、白線の太さや長さ等の規格値が格納されているデータベースであり、記憶装置１０３において予め記憶されている。
　区画線決定部２０６は、区画線特徴点抽出部２０５で抽出された特徴点に基づいて、道路上に描かれた白線を認識し、画像における白線の位置を確定する。たとえば、処理領域内の全ての特徴点に対して、画像の歪みを補正した所定の座標系への座標変換を行い、その後に斜方投影等の手法を用いて、白線を認識する。具体的には、座標軸の角度を一定の幅で変化させながら、座標変換された各特徴点をｘ，ｙの各座標軸上に投影し、エッジ強度の累積値を集計する。そして、エッジ強度が最大となる角度と位置を求めることで、白線を認識することが可能となる。なお、特徴点の座標変換ではカメラ１０１の画角や撮影方向等のカメラパラメータが必要であるため、予め記憶装置１０３等に座標変換用のカメラパラメータを記憶させておくことが好ましい。こうして白線を認識できたら、区画線決定部２０６は、白線が実線か破線かを識別することで、白線が表す道路標示の種別を判断することとしてもよい。
　次に、区画線認識装置１の処理フローについて説明する。図３は、本発明の第１の実施形態に係る区画線認識装置の処理フローを示す図である。図３の処理フローは、画像１フレーム分の処理を示している。すなわち、本実施形態の区画線認識装置１において、ＣＰＵ１０４は、カメラ１０１から所定のフレームレートで画像が入力される度に、図３の処理フローに従って画像から区画線を認識する処理を実行する。
　ステップ３０１では、カメラ画像、すなわちカメラ１０１から入力された画像を取得する。
　ステップ３０２では、処理領域設定部２０１により、ステップ３０１で取得した画像内に処理領域を設定する。ここでは前述のように、たとえば前フレームにおける白線の位置に基づいて、画像内で処理領域の位置を決定する。
　ステップ３０３では、統計量算出部２０２により、ステップ３０２で設定した処理領域における輝度値の統計量を求める。ここでは前述のように、処理領域における各画素の輝度値の平均値および標準偏差を、画像の統計量として算出する。
　ステップ３０４では、閾値設定部２０３により、ステップ３０３で求めた統計量に基づいて、輝度値の閾値を設定する。ここでは前述のように、白線閾値設定部２０３－１により白線閾値を設定し、路面閾値設定部２０３－２により路面閾値を設定する。なお、ステップ３０４における閾値の設定方法の詳細は、後で図４と図１６を参照して説明する。
　ステップ３０５では、区画線特徴点抽出部２０５により、ステップ３０４で設定した閾値に基づいて、ステップ３０２で設定した処理領域内の画像から区画線すなわち白線の特徴点を抽出する。なお、ステップ３０５における特徴点の抽出方法の詳細は、後で図５～図９を参照して説明する。
　ステップ３０６では、区画線決定部２０６により、ステップ３０５で抽出した特徴点から道路上の区画線（白線）を決定する。ステップ３０６を実行したら、ＣＰＵ１０４は図３の処理フローを終了する。
　次に、ステップ３０４における閾値の設定方法の詳細について説明する。図４は、閾値設定部２０３による閾値設定方法の一例を示す図である。
　統計量算出部２０２により、処理領域における各画素の輝度値の統計量として、平均値μと標準偏差σが算出されたとする。この場合、路面閾値設定部２０３－２は、たとえば図４に示すように、平均値μを路面閾値４０４として設定する。これにより、路面閾値４０４よりも輝度値が小さい領域４０１に含まれる各画素が、区画線特徴点抽出部２０５において「路面」に分類される。一方、白線閾値設定部２０３－１は、たとえば図４に示すように、平均値μに標準偏差σを加えたμ＋σを白線閾値４０５として設定する。これにより、白線閾値４０５よりも輝度値が大きい領域４０３に含まれる各画素が、区画線特徴点抽出部２０５において「白線」に分類される。なお、「路面」と「白線」のいずれにも分類されない画素、すなわち路面閾値４０４以上でかつ白線閾値４０５以下の輝度値に対応する領域４０２に含まれる各画素は、区画線特徴点抽出部２０５において「不定」に分類される。
　図４の方法は、輝度値が正規分布にしたがっているという前提があって成立するものであるが、実際にはそうでないことも多いと考えられる。このような場合には中央値や中央絶対偏差（Median Absolute Deviation）等、分布の偏りがあってもその影響を受けにくい統計量を用いる方法が有効である。
　図１６は、閾値設定部２０３による閾値設定方法の別の例を示す図である。統計量算出部２０２により、処理領域における各画素の輝度値の統計量として、中央値Ｍと中央絶対偏差ＭＡＤが算出されたとする。この場合、路面閾値設定部２０３－２は、たとえば図１６に示すように、中央値Ｍを路面閾値４０４として設定する。これにより、路面閾値４０４よりも輝度値が小さい領域４０１に含まれる各画素が、区画線特徴点抽出部２０５において「路面」に分類される。一方、白線閾値設定部２０３－１は、たとえば図１６に示すように、中央値Ｍに中央絶対偏差ＭＡＤを加えたＭ＋ＭＡＤを白線閾値４０５として設定する。これにより、白線閾値４０５よりも輝度値が大きい領域４０３に含まれる各画素が、区画線特徴点抽出部２０５において「白線」に分類される。なお、「路面」と「白線」のいずれにも分類されない画素、すなわち路面閾値４０４以上でかつ白線閾値４０５以下の輝度値に対応する領域４０２に含まれる各画素は、区画線特徴点抽出部２０５において「不定」に分類される。
　上記のようにして白線閾値と路面閾値をそれぞれ設定することにより、処理領域内で相対的に輝度値が高い各画素を白線の候補として抽出することが可能である。また、統計量を用いることにより、車両の周辺環境の変化によってフレームの明るさが変化しても、その影響を受けずに白線閾値および路面閾値を設定し、白線の候補を抽出することが可能である。なお、白線閾値および路面閾値の設定方法は上記の方法に限られない。処理領域における各画素の輝度値の統計量に基づいて、白線閾値および路面閾値をそれぞれ適切に設定できるものであれば、任意の方法を用いることができる。
　また、処理領域全体を対象として統計量を求めるのではなく、処理領域を適当な数に分割し、それぞれの分割領域ごとに統計量を求めて路面閾値４０４と白線閾値４０５を設定することも可能である。例えば、図１７のように処理領域を３分割し、それぞれの分割領域において統計量と閾値を設定することで、より適切な閾値を設定することが可能となる。
　次に、図３のステップ３０５における特徴点の抽出方法の詳細について説明する。図５は、ステップ３０５における区画線特徴点抽出部２０５の処理フローを示す図である。
　ステップ５０１では、分類部２０５－１により、処理領域内の各画素の分類を判定する。ここでは、図６の処理フローに示す分類処理を分類部２０５－１が実行することで、処理領域内の各画素を「路面」、「白線」、「不定」のいずれかに分類する。なお、図６の処理フローの詳細については後述する。
　ステップ５０２～５０６では、特徴点候補抽出部２０５－２により、処理領域内の各画素について、ステップ５０１の分類結果を用いて以下の処理を行う。ここでは、ｘ軸を画像の左から右方向、ｙ軸を画像の上から下方向と定義する。
　ステップ５０２では、処理対象の画素に対して、処理領域内でｘ座標が同一でｙ座標の差が１である一対の画素を選択する。なお、これはカメラ１０１が左サイドカメラ１０１－ＳＬまたは右サイドカメラ１０１－ＳＲである場合である。一方、カメラ１０１がフロントカメラ１０１－Ｆｒまたはリアカメラ１０１－Ｒｒである場合は、画像内での区画線の延伸方向が約９０度変化するため、ｙ座標が同一でｘ座標の差が１である一対の画素を選択することが好ましい。これにより、左サイドカメラ１０１－ＳＬまたは右サイドカメラ１０１－ＳＲの場合と同様の処理が可能である。
　ステップ５０３では、ステップ５０２で選択した一対の画素について、ステップ５０１での分類結果を比較する。その結果、同一ｘ座標でｙ座標が大きくなる方向に走査してこれらの画素の分類が「不定」から「白線」、または「路面」から「白線」、または「路面」から「不定」のいずれかに変化している場合は、ステップ５０４で一方の画素、たとえばｙ座標の値が大きい方の画素を立上がり点とみなしてバッファリングする。なお、立上がり点とは、輝度値が増大方向に変化する点のことであり、白線の輪郭を示す特徴点の候補に相当する。当該画素を立上がり点としてバッファリングしたら、ステップ５０２に戻って次の画素の処理に移る。一方、上記の条件を満たさない場合は、ステップ５０５に進む。
　ステップ５０５では、ステップ５０３と同様に、ステップ５０２で選択した一対の画素について、ステップ５０１での分類結果を比較する。その結果、同一ｘ座標でｙ座標が大きくなる方向に走査してこれらの画素の分類が「不定」から「路面」、または「白線」から「路面」、または「白線」から「不定」のいずれかに変化している場合は、ステップ５０６で一方の画素、たとえばｙ座標の値が大きい方の画素を立下がり点とみなしてバッファリングする。なお、立下がり点とは、輝度値が減少方向に変化する点のことであり、白線の輪郭を示す特徴点の候補に相当する。当該画素を立下がり点としてバッファリングしたら、ステップ５０２に戻って次の画素の処理に移る。一方、上記の条件を満たさない場合は、何もせずにステップ５０２に戻って次の画素の処理に移る。
　ステップ５０２～５０６では、上記のような処理を処理領域内の各画素に対して実行することで、処理領域内の全ての画素について、特徴点候補である立上がり点または立下がり点に該当するか、あるいはいずれでもないかを判定する。処理領域内の全ての画素についてステップ５０２～５０６の処理を実行したら、ステップ５０７に進む。
　ステップ５０７では、特徴点決定部２０５－３により、ステップ５０２～５０６で判定された各特徴点候補、すなわち立上がり点および立下がり点のそれぞれの位置を照合し、特徴点を決定する。ここでは、図７の処理フローに示す特徴点決定処理を特徴点決定部２０５－３が実行することで、処理領域内の画像から抽出された複数の特徴点候補同士の位置関係に基づいて、特徴点候補から特徴点を決定する。なお、図７の処理フローの詳細については後述する。ステップ５０７の処理を実行したら、図３のステップ３０５を終了し、次のステップ３０６に進む。
　図６は、図５のステップ５０１における分類部２０５－１の処理フローを示す図である。分類部２０５－１は、処理領域内の各画素について、以下で説明するステップ６０１～６０６の処理をそれぞれ行う。
　ステップ６０１では、画像における処理対象の画素の輝度値を取得する。
　ステップ６０２では、ステップ６０１で取得した輝度値を、図３のステップ３０４で路面閾値設定部２０３－２が設定した路面閾値と比較する。その結果、輝度値が路面閾値よりも小さければ、ステップ６０４で当該画素を「路面」に分類して次の画素の処理に移る。一方、輝度値が路面閾値以上であれば、ステップ６０３に進む。
　ステップ６０３では、ステップ６０１で取得した輝度値を、図３のステップ３０４で白線閾値設定部２０３－１が設定した白線閾値と比較する。その結果、輝度値が白線閾値よりも大きければ、ステップ６０５で当該画素を「白線」に分類して次の画素の処理に移る。一方、輝度値が白線閾値以下であれば、ステップ６０６で当該画素を「不定」に分類して次の画素の処理に移る。
　ステップ６０１～６０６では、上記のような処理を処理領域内の各画素に対して実行することで、処理領域内の全ての画素を「路面」、「白線」、「不定」のいずれかに分類する。処理領域内の全ての画素についてステップ６０１～６０６の処理を実行したら、図５のステップ５０１を終了し、次のステップ５０２に進む。
　図７は、図５のステップ５０７における特徴点決定部２０５－３の処理フローを示す図である。
　ステップ７０１では、記憶装置１０３から車線幅データ、すなわち白線の幅を表すデータを取得する。ここでは、たとえば記憶装置１０３に区画線規格データ２０４の一部として格納されている車線幅データを取得する。このとき、ＣＡＮバス１０７を介して区画線認識装置１に接続された不図示のナビゲーション装置等から、車両が現在走行中の道路種別を取得し、その道路種別に対応する車線幅データを区画線規格データ２０４から検索して取得してもよい。なお、区画線認識装置１がナビゲーション装置を兼ねている場合も、上記と同様に、車両が走行中の道路種別に対応する車線幅データを取得することが可能である。
　ステップ７０２では、車線幅誤差最小値の初期値を設定する。車線幅誤差最小値とは、以降の処理において、立上がり点と立下がり点の位置関係が特徴点として確からしいか否かを判別するために用いられるものであり、メモリ１０５に記憶され、処理状態に応じて随時更新される。ここでは、たとえば２０ｃｍを車線幅誤差最小値の初期値として設定する。ただし２０ｃｍは一例であり、実際の白線の幅以上であれば、任意の数値を車線幅誤差最小値の初期値として設定することが可能である。
　ステップ７０３～７０７では、図５のステップ５０２～５０６で特徴点候補抽出部２０５－２が処理領域内の画像から抽出した各特徴点候補、すなわちステップ５０４、５０６でバッファリングされた各立上がり点および立下がり点について、以下の処理をそれぞれ行う。
　ステップ７０３では、処理対象の立上がり点と、当該立上がり点とｘ座標が同一の立下がり点とについて、これらの点間の距離を計算する。すなわち、処理領域内の画像から抽出された複数の特徴点候補の中で、ｘ座標が同一でｙ座標の差が１の一対の立上がり点および立下がり点を選択し、これらの位置関係に応じた距離を求める。
　ステップ７０４では、ステップ７０３で求めた距離を、ステップ７０１で取得した車線幅データが表す白線の幅と比較し、これらの間の誤差（差分）を計算する。
　ステップ７０５では、ステップ７０４で求めた誤差を現在の車線幅誤差最小値と比較する。その結果、誤差が車線幅誤差最小値より小さければ、ステップ７０６で当該誤差の値により車線幅誤差最小値を置き換えた後、ステップ７０７で当該立下がり点を特徴点として特徴点情報を更新する。なお、特徴点情報は、特徴点決定部２０５－３により決定された特徴点を表す情報であり、メモリ１０５に設けられた特徴点バッファにおいてｘ座標が重複しないように記録される。すなわち、ｘ座標が同一の立下がり点が複数存在する場合でも、そのうち多くても１つの立下がり点のみが特徴点として特徴点情報に記録される。
　ただし、いずれの立下がり点についてもステップ７０５の条件が満たされない場合は、当該ｘ座標に対応する特徴点が存在しないとみなされて特徴点情報が記録されない。ステップ７０７で特徴点情報を更新したら、ステップ７０３に戻り、次の立上がり点と立下がり点の組み合わせを対象とした処理に移る。一方、ステップ７０５で誤差が車線幅誤差最小値以上と判定された場合は、何もせずにステップ５０２に戻り、次の立上がり点と立下がり点の組み合わせを対象とした処理に移る。
　ステップ７０３～７０７では、上記のような処理を各立上がり点および立下がり点の組み合わせに対して実行することで、処理領域から抽出された全ての特徴点候補について、特徴点候補同士の位置関係を照合し、白線の輪郭としての整合性を確認する。その結果、処理領域内で白線の幅にもっとも近い立上がり点と立下がり点の組み合わせをｘ座標ごとに特定し、その立下がり点の情報を特徴点情報として残すことで、特徴点候補から特徴点を決定することができる。なお、図７の例では立下がり点を特徴点情報として記録することとしたが、立上がり点を特徴点情報として記録してもよいし、立上がり点と立下がり点の両方を特徴点情報として記録してもよい。処理領域内で抽出された全ての立上がり点および立下がり点についてステップ７０３～７０７の処理を実行したら、図５のステップ５０７を終了し、区画線特徴点抽出部２０５の処理フローを完了する。
　図８は、図５のステップ５０４、５０６で立上がり点と立下がり点をそれぞれバッファリングする際に用いられる特徴点候補バッファのデータ構造の一例を示す図である。図８に示す特徴点候補バッファは、メモリ１０５を用いて実現され、立上がり点数８０１、立上がり点情報８０２、立下がり点数８０４、立下がり点情報８０５の各データが格納される。立上がり点数８０１は、立上がり点の数を表すデータであり、立上がり点情報８０２のデータ数と等しい。すなわち、立上がり点数８０１が示す数と同数の立上がり点情報８０２が特徴点候補バッファに格納される。立上がり点情報８０２は、画像内での立上がり点の位置を示すデータであり、画像座標系における立上がり点のｘ座標値とｙ座標値をそれぞれ表すｘ座標８０２－１およびｙ座標８０２－２から成る。立下がり点についても同様に、立下がり点数８０４は、立下がり点の数を表すデータであり、立下がり点情報８０５のデータ数と等しい。すなわち、立下がり点数８０４が示す数と同数の立下がり点情報８０５が特徴点候補バッファに格納される。立下がり点情報８０５は、画像内での立下がり点の位置を示すデータであり、画像座標系における立下がり点のｘ座標値とｙ座標値をそれぞれ表すｘ座標８０５－１およびｙ座標８０５－２から成る。
　図９は、図７のステップ７０７で特徴点情報をバッファリングする際に用いられる特徴点バッファのデータ構造の一例を示す図である。図９に示す特徴点バッファは、メモリ１０５を用いて実現され、特徴点数９０１、特徴点情報９０２の各データが格納される。特徴点数９０１は、特徴点の数を表すデータであり、特徴点情報９０２のデータ数と等しい。すなわち、特徴点数９０１が示す数と同数の特徴点情報９０２が特徴点バッファに格納される。特徴点情報９０２は、画像内での特徴点の位置や分類を示すデータであり、画像座標系における特徴点のｘ座標値とｙ座標値をそれぞれ表すｘ座標９０２－１およびｙ座標９０２－２と、分類９０２－３から成る。
　次に、以上で述べた処理の具体例について、図１０～図１４を参照して説明する。なお、以下の説明では、右サイドカメラ１０１－ＳＲで撮影された画像を対象に処理を行った場合の具体例を説明するが、他のカメラで撮影された画像についても同様である。
　図１０は、分類前の画像の例を示す図である。処理領域設定部２０１は、カメラ１０１から入力された画像１００１に対して、たとえば図中の白枠で囲われた範囲に処理領域１００２を設定する。処理領域１００２内には、認識対象である白線が含まれており、草むらの影が部分的に白線にかかっている。なお、処理領域１００２は、たとえば前述のように前フレームでの白線位置に基づいて定められる。
　統計量算出部２０２は、画像１００１に設定された処理領域１００２内の各画素の輝度値の統計量を算出する。閾値設定部２０３は、統計量算出部２０２が算出した統計量に基づいて、白線閾値および路面閾値を設定する。分類部２０５－１は、閾値設定部２０３が設定した白線閾値および路面閾値を用いて、画像１００１の各画素を「路面」、「白線」、「不定」のいずれかに分類する。
　図１１は、図１０の画像１００１の各画素を分類して得られた分類画像１１０１の例を示す図である。分類画像１１０１では、各画素の分類結果を黒、白、グレーの３種類で表している。黒は「路面」、白は「白線」、グレーは「不定」の分類結果にそれぞれ対応する。ここで、図１０の画像１００１において白線に対応する各画素は、図１１の分類画像１１０１ではほとんどが「白線」に分類されているが、一部の画素については草むらの影が重なったために部分的に「不定」に分類されていることが分かる。また、図１０の画像１００１において路面に対応する各画素は、図１１の分類画像１１０１では多くの部分が「不定」に分類されていることが分かる。なお、図１１では分かりやすさのために画像１００１の全領域についての分類結果を分類画像１１０１として示したが、実際には前述のように処理領域１００２内の画素のみを分類すればよい。
　特徴点候補抽出部２０５－２は、分類画像１１０１で示した各画素の分類結果に基づいて、分類画像１１０１から特徴点候補である立上がり点および立下がり点を抽出する。
　図１２は、特徴点候補抽出部２０５－２による立上がり点および立下がり点の抽出例を説明する図である。図１２では、分類画像１１０１のうち処理領域１００２に対応する部分の一部を抜粋して示している。特徴点候補抽出部２０５－２は、前述のようにｘ座標が同一でｙ座標の差が１の一対の画素を順次選択し、その分類結果が変化する点を立上がり点または立下がり点として抽出する。これにより、たとえば図１２に示すにように、ｘ座標値がｘ１である各画素について、スキャン方向１２００に沿って分類結果が変化する点を探索すると、立上がり点１２０１、立下がり点１２０２、立下がり点１２０３が抽出される。立上がり点１２０１は、分類が「路面」から「白線」へと変化する点である。立下がり点１２０２は、分類が「白線」から「不定」へと変化する点である。立下がり点１２０３は、分類が「不定」から「路面」へと変化する点である。なお、立下がり点１２０２は、白線上の影の部分に対応する。このように、白線と路面の境界だけでなく、白線上の影の部分でも立下がり点が抽出される場合がある。こうして処理領域１００２の下端、すなわちｙ座標が最大となる点までスキャンして抽出された立上がり点と立下がり点が、特徴点の候補としてそれぞれバッファリングされる。
　分類画像１１０１のうち処理領域１００２の全体に対して、上記のような立上がり点および立下がり点の抽出処理が終了すると、図１３のような結果が得られる。図１３は、立上がり点および立下がり点の抽出結果の例を示す図である。図１３では、分類画像１１０１のうち処理領域１００２内で抽出された立上がり点および立下がり点を、符号１３０１で示した点に代表される各黒点で表している。
　特徴点決定部２０５－３は、分類画像１１０１から特徴点候補として抽出された各立上がり点および立下がり点の位置関係を区画線規格データ２０４と照合し、これらの中から特徴点を決定する。たとえば、図１２で示した立上がり点１２０１、立下がり点１２０２および立下がり点１２０３について、立上がり点１２０１と立下がり点１２０２の位置関係、および、立上がり点１２０１と立下がり点１２０３の位置関係を、区画線規格データ２０４が表す白線の幅（太さ）とそれぞれ照合する。その結果、立上がり点１２０１と立下がり点１２０２の間の距離は白線の幅とつじつまが合わないため、この組み合わせは白線の輪郭を表すものとして不適と判断され、立下がり点１２０２の情報は特徴点情報に記録されない。一方、立上がり点１２０１と立下がり点１２０３の間の距離は白線の幅とほぼ一致するため、この組み合わせが白線の輪郭を表すものとして適切と判断され、立下がり点１２０３の情報が特徴点情報に記録される。なお、ここでは適切と判断された立上がり点と立下がり点の組み合わせのうち、自車両からより近くに位置する立下がり点の情報を特徴点情報に記録しているが、前述のように立上がり点の情報を特徴点情報に記録してもよいし、立上がり点と立下がり点の両方の情報を特徴点情報に記録してもよい。
　図１４は、分類画像１１０１のうち処理領域１００２の全体における特徴点決定結果の例を示す図である。図１４では、対応する立上がり点との距離が白線の幅とほぼ一致する立下がり点によって決定された特徴点を、符号１４０１で示した点に代表される各黒点で表している。
　以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。
（１）区画線認識装置１は、カメラ１０１で撮影された画像から道路上の区画線を認識する装置である。区画線認識装置１は、画像に対して処理領域を設定する処理領域設定部２０１と、処理領域における画像の統計量を算出する統計量算出部２０２と、統計量に基づいて複数の閾値、すなわち白線閾値および路面閾値を設定する閾値設定部２０３と、白線閾値および路面閾値に基づいて画像に含まれる複数の画素を分類し、複数の画素の分類結果に基づいて区画線の特徴点を抽出する区画線特徴点抽出部２０５と、区画線特徴点抽出部２０５により抽出された特徴点に基づいて区画線を決定する区画線決定部２０６と、を備える。このようにしたので、道路上の区画線の認識精度を改善することができる。
（２）統計量算出部２０２は、処理領域における画像の各画素の輝度値の平均値および標準偏差を統計量として算出する（図３のステップ３０３）。このようにしたので、白線閾値および路面閾値を適切に設定するのに必要な統計量を算出することができる。
（３）区画線特徴点抽出部２０５は、特徴点候補抽出部２０５－２により、画像に含まれる複数の画素の分類が変化する境界に対応する点を特徴点の候補として抽出する（図５のステップ５０２～５０６）。このようにしたので、分類部２０５－１が行った画素の分類結果を用いて、適切な点を特徴点の候補として抽出することができる。
（４）区画線特徴点抽出部２０５は、分類部２０５－１により、画像に含まれる複数の画素を少なくとも３種類に、すなわち「路面」、「白線」、「不定」のいずれかに分類する（図６のステップ６０１～６０６）。このようにしたので、閾値設定部２０３が設定した複数の閾値を用いて、画像に含まれる複数の画素から特徴点の候補を抽出するのに適した分類とすることができる。
（５）区画線特徴点抽出部２０５は、特徴点候補抽出部２０５－２により、画像に含まれる複数の画素の分類結果に基づいて複数の特徴点候補を抽出し（図５のステップ５０２～５０６）、特徴点決定部２０５－３により、抽出した複数の特徴点候補同士の位置関係に基づいて、特徴点候補から特徴点を決定する（図７のステップ７０１～７０７）。このようにしたので、画像から抽出された特徴点候補の中で白線の輪郭を表すものとして確からしい点を特徴点に決定することができる。
（第２の実施形態）
　次に本発明の第２の実施形態について説明する。本実施形態では、時系列で撮影された複数の画像を用いて道路上の区画線を認識する例を説明する。なお、本実施形態に係る区画線認識装置のハードウェア構成および機能構成は、第１の実施形態で説明したものとそれぞれ同一であるため、以下ではこれらの説明を省略する。
　図１５は、本発明の第２の実施形態に係る区画線認識装置の処理フローを示す図である。本実施形態の区画線認識装置１において、ＣＰＵ１０４は、図３のステップ３０５の処理に続けて、図１５に示す処理フローを実行する。この処理フローでは、過去に取得した画像を統計処理することで、「路面」、「白線」、「不定」の各分類が出現しやすい画素を特定し、現フレームの分類結果と照合することで、現フレームの分類結果が確からしいか否かを判断する。
　ステップ１５０１では、統計量算出部２０２により、過去に取得した複数の画像における各画素の輝度の偏差値を求める。ここでは、区画線認識装置１が搭載されている車両が過去に走行した所定距離分、たとえば過去１０ｍ分の全フレームを対象に、各画素の輝度の偏差値をフレームごとに求める。各画素の輝度の偏差値は、当該フレームで設定された処理領域内の各画素の輝度値から計算した平均値と標準偏差を用いて、たとえば以下の式により算出することができる。
　偏差値＝（輝度値－平均値）／標準偏差
　ステップ１５０２では、統計量算出部２０２により、ステップ１５０１でフレームごとに求めた各画素の輝度の偏差値を用いて、各画素の偏差値平均を算出する。ここでは、ステップ１５０１で各画素の輝度の偏差値を求めた過去１０ｍ分の全フレームを対象に、その全フレームにおける輝度の偏差値を画素ごとに平均化することで、各画素の偏差値平均を算出する。
　ステップ１５０３では、統計量算出部２０２により、ステップ１５０２で算出した各画素の偏差値平均を用いて、過去に取得した複数の画像における各画素の輝度値を正規化する。ここでは、過去１０ｍ分の全フレームで各画素の輝度値がとり得る値の範囲に応じて、各画素の輝度値を正規化する。これにより、たとえば０～２５５の範囲内で、過去１０ｍ分の全フレームにおける各画素の輝度値が正規化される。以降の処理では、こうして正規化された各画素の輝度値を用いて、白線閾値と路面閾値の設定を行う。
　ステップ１５０４では、統計量算出部２０２により、ステップ１５０３で輝度値を正規化した過去１０ｍ分の全フレームに対して、現フレームの処理領域を当てはめる。そして、その処理領域内に含まれる複数の画素について、ステップ１５０３で求めた正規化輝度値の平均と標準偏差を求める。これにより、カメラ１０１で異なる時刻にそれぞれ撮影された複数の画像を用いて、処理領域における画像の統計量が算出される。
　ステップ１５０５では、閾値設定部２０３により、ステップ１５０４で求めた正規化輝度値の統計量、すなわち平均と標準偏差を用いて、白線閾値および路面閾値を設定する。
ここでは、各画素の正規化輝度値の平均と標準偏差に基づいて、第１の実施形態で説明したのと同様の方法により、正規化輝度値に対する白線閾値および路面閾値を設定する。
　ステップ１５０６では、区画線特徴点抽出部２０５により、ステップ１５０４で設定した白線閾値および路面閾値を用いて、過去１０ｍ分の全フレームにおける処理領域内の各画素を正規化分類する。ここでは、分類部２０５－１において、ステップ１５０３で求めた処理領域内の各画素の正規化輝度値を用いて、第１の実施形態で説明した図６のステップ６０１～６０６と同様の処理を行うことにより、各画素を「路面」、「白線」、「不定」のいずれかに分類する。
　以上説明したステップ１５０１～１５０６の処理により、車両が過去に走行した所定距離分のフレームについて、現フレームと同様の分類結果を各画素の正規化分類結果として得ることができる。以降の処理では、この正規化分類結果を現フレームで抽出された各特徴点の分類結果と比較することで、各特徴点が信用できるか否かを判断する。
　ステップ１５０７～１５１０では、特徴点決定部２０５－３により、現フレームで抽出された各特徴点について、以下の処理をそれぞれ行う。
　ステップ１５０７では、処理対象の特徴点の座標と分類を得る。ここでは、図７の処理によって最終的に得られた特徴点情報を図９の特徴点バッファから取得し、その特徴点情報のうち処理対象の特徴点に対応するものを抽出することで、当該特徴点の座標と分類を取得する。
　ステップ１５０８では、ステップ１５０７で取得した現フレームの特徴点の座標に基づいて、同じ座標における正規化分類を得る。ここでは、ステップ１５０６で得られた正規化分類結果のうち、現フレームの特徴点の座標に対応するものを選択して取得する。
　ステップ１５０９では、ステップ１５０７で取得した現フレームの特徴点の分類と、ステップ１５０８で取得した正規化分類とを比較する。その結果、両者の分類が異なっていれば、ステップ１５１０で当該特徴点の情報を特徴点バッファから削除した後、ステップ１５０７に戻って次の特徴点を対象とした処理に移る。一方、ステップ１５０９で両者の分類が同じと判断された場合は、何もせずにステップ１５０７に戻ることで、当該特徴点の情報を特徴点バッファに残して、次の特徴点を対象とした処理に移る。
　ステップ１５０７～１５１０では、上記のような処理を現フレームから抽出された各特徴点に対して実行することで、各特徴点の分類結果を過去のフレームと比較する。これにより、画像上の各座標においてどの分類が出現しやすいかの傾向が分かり、その傾向とは異なる特徴点が現フレームから抽出された場合は、それをノイズとして除去することが可能となる。
　以上説明した本発明の第２の実施形態によれば、第１の実施形態で説明した（１）～（５）の各作用効果に加えて、さらに以下の作用効果を奏する。
（６）区画線特徴点抽出部２０５は、カメラ１０１で異なる時刻に撮影された複数の画像にそれぞれ含まれる複数の画素を分類し、複数の画像の対応する画素間で同一の分類結果が得られた場合に、当該画素の分類結果を用いて区画線の特徴点を抽出する。具体的には、統計量算出部２０２は、過去の複数の画像について統計量を算出する（図１５のステップ１５０１～１５０４）。区画線特徴点抽出部２０５は、統計量算出部２０２が算出した統計量に基づいて過去の複数の画像に含まれる複数の画素を分類し（ステップ１５０６）、その分類結果と、過去の複数の画像よりも後にカメラ１０１で撮影された現フレームの画像に含まれる複数の画素を分類した結果とを比較する（ステップ１５０７～１５０９）。その結果、対応する画素間で同一の分類結果が得られた場合に（ステップ１５０９：Ｙｅｓ）、当該画素の情報を特徴点バッファから削除せずに残すことで、当該画素の分類結果を用いて区画線の特徴点を抽出する。このようにしたので、過去に撮影された画像を用いて、現フレームから区画線の特徴点をより正確に抽出することができる。
　なお、以上説明した実施形態では、車両に搭載される区画線認識装置１を例として説明したが、本発明はこれに限定されない。たとえば、車両に搭載されたカメラで撮影された画像をサーバに送信し、その画像をサーバにおいて受信して道路上の区画線を認識する場合にも、本発明を適用可能である。この場合、車両に搭載されていないサーバが本発明の区画線認識装置として機能することになる。これ以外にも、任意の形態により本発明を実現可能である。
　また、以上説明した実施形態では、ＣＰＵ１０４がプログラムを実行することで区画線認識装置１の機能を実現しているが、本発明はこれに限定されない。たとえば、ＦＰＧＡ（Field-Programmable Gate Array）を用いて区画線認識装置１の一部または全部の機能を実現してもよい。これ以外にも、任意のハードウェア構成により本発明の区画線認識装置を実現することが可能である。
　以上説明した実施形態では、白線閾値および路面閾値を用いることで画像内の各画素を「路面」、「白線」、「不定」のいずれかに分類する例を説明したが、本発明はこれに限定されない。画像内の各画素を少なくとも２種類、好ましくは３種類以上に分類できるものであれば、任意の数で閾値を設定し、その閾値に応じて画像内の各画素を任意の分類数に分類することが可能である。
　以上説明した実施形態や各種の変形例はあくまで一例である。本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
　１：区画線認識装置
　１０１：カメラ
　１０３：記憶装置
　１０４：ＣＰＵ
　１０５：メモリ
　１０６：ＣＡＮ　Ｉ／Ｆ
　１０７：ＣＡＮバス
　１０８：車両制御ユニット
　２０１：処理領域設定部
　２０２：統計量算出部
　２０３：閾値設定部
　２０４：区画線規格データ
　２０５：区画線特徴点抽出部
　２０６：区画線決定部

Claims (8)

  1. 　カメラで撮影された画像から道路上の区画線を認識する装置であって、
    　前記画像に対して処理領域を設定する処理領域設定部と、
    　前記処理領域における前記画像の統計量を算出する統計量算出部と、
    　前記統計量に基づいて複数の閾値を設定する閾値設定部と、
    　前記複数の閾値に基づいて前記画像に含まれる複数の画素を路面と白線を区別するように分類し、前記複数の画素の分類結果に基づいて前記区画線の特徴点を抽出する区画線特徴点抽出部と、
    　前記区画線特徴点抽出部により抽出された前記特徴点に基づいて前記区画線を決定する区画線決定部と、を備える区画線認識装置。
  2. 　請求項１に記載の区画線認識装置において、
    　前記区画線特徴点抽出部は、前記路面と前記白線のいずれにも分類できない前記画素を分類不定と定義し、前記画像の走査方向における前記画素の分類変化に応じて前記分類不定の前記画素を前記路面または前記白線とみなす区画線認識装置。
  3. 　請求項１または請求項２に記載の区画線認識装置において、
    　前記統計量算出部は、前記画像の一部または全部を処理領域と定義し、前記処理領域内の各画素の輝度値の平均値および標準偏差を前記統計量として算出する区画線認識装置。
  4. 　請求項１または請求項２に記載の区画線認識装置において、
    　前記統計量算出部は、前記画像の一部または全部を処理領域と定義し、前記処理領域内の各画素の輝度値の中央値および中央絶対偏差を前記統計量として算出する区画線認識装置。
  5. 　請求項１から請求項４のいずれか一項に記載の区画線認識装置において、
    　前記区画線特徴点抽出部は、前記複数の画素の分類が変化する境界に対応する点を前記特徴点の候補として抽出する区画線認識装置。
  6. 　請求項１から請求項５のいずれか一項に記載の区画線認識装置において、
    　前記区画線特徴点抽出部は、前記複数の画素の分類結果に基づいて複数の特徴点候補を抽出し、抽出した前記複数の特徴点候補同士の位置関係に基づいて、前記特徴点候補から前記特徴点を決定する区画線認識装置。
  7. 　請求項１から請求項６のいずれか一項に記載の区画線認識装置において、
    　前記区画線特徴点抽出部は、前記カメラで異なる時刻に撮影された複数の画像にそれぞれ含まれる複数の画素を分類し、前記複数の画像の対応する画素間で同一の分類結果が得られた場合に、当該画素の分類結果を用いて前記区画線の特徴点を抽出する区画線認識装置。
  8. 　請求項７に記載の区画線認識装置において、
    　前記統計量算出部は、過去の複数の画像について前記統計量を算出し、
    　前記区画線特徴点抽出部は、前記統計量算出部が算出した統計量に基づいて前記過去の複数の画像に含まれる複数の画素を分類した結果と、前記過去の複数の画像よりも後に前記カメラで撮影された画像に含まれる複数の画素を分類した結果とを比較し、対応する画素間で同一の分類結果が得られた場合に、当該画素の分類結果を用いて前記区画線の特徴点を抽出する区画線認識装置。
PCT/JP2019/007736 2018-03-09 2019-02-28 区画線認識装置 WO2019172059A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19763894.3A EP3764322A4 (en) 2018-03-09 2019-02-28 LANE MARKER RECOGNITION DEVICE
US16/979,147 US11482016B2 (en) 2018-03-09 2019-02-28 Division line recognition apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018043554A JP6971177B2 (ja) 2018-03-09 2018-03-09 区画線認識装置
JP2018-043554 2018-03-09

Publications (1)

Publication Number Publication Date
WO2019172059A1 true WO2019172059A1 (ja) 2019-09-12

Family

ID=67847127

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007736 WO2019172059A1 (ja) 2018-03-09 2019-02-28 区画線認識装置

Country Status (4)

Country Link
US (1) US11482016B2 (ja)
EP (1) EP3764322A4 (ja)
JP (1) JP6971177B2 (ja)
WO (1) WO2019172059A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551459B1 (en) * 2022-06-27 2023-01-10 Plusai, Inc. Ambiguous lane detection event miner

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158060B2 (en) 2017-02-01 2021-10-26 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11176675B2 (en) * 2017-02-01 2021-11-16 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
JP7046279B1 (ja) * 2020-10-30 2022-04-01 三菱電機株式会社 ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム
CN112633151B (zh) * 2020-12-22 2024-04-12 浙江大华技术股份有限公司 一种确定监控图像中斑马线的方法、装置、设备及介质
CN112863194B (zh) * 2021-01-20 2022-08-23 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质
CN113298839B (zh) * 2021-05-18 2023-08-15 中国矿业大学 一种sar影像半自动阈值提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272933A (ja) * 1995-03-31 1996-10-18 Mitsubishi Motors Corp ライン認識方法
JP2007179386A (ja) * 2005-12-28 2007-07-12 Fujitsu Ten Ltd 白線認識方法及び白線認識装置
JP2011165050A (ja) * 2010-02-12 2011-08-25 Denso Corp 白線認識装置
JP2013122739A (ja) * 2011-12-12 2013-06-20 Fujitsu Ltd 解析装置、解析プログラムおよび解析方法
JP2016206721A (ja) * 2015-04-15 2016-12-08 日産自動車株式会社 路面標示検出装置及び路面標示検出方法
JP2016206881A (ja) 2015-04-21 2016-12-08 本田技研工業株式会社 レーン検出装置及びその方法、並びにレーン表示装置及びその方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3780922B2 (ja) * 2001-11-30 2006-05-31 日産自動車株式会社 道路白線認識装置
JP2005157731A (ja) * 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車線認識装置および車線認識方法
JP2009015611A (ja) * 2007-07-05 2009-01-22 Figla Co Ltd 充電システム、充電ユニットおよび移動ロボットの自動充電システム
JP5441549B2 (ja) 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
US9077958B2 (en) * 2010-08-30 2015-07-07 Honda Motor Co., Ltd. Road departure warning system
US9971944B2 (en) * 2013-08-23 2018-05-15 Harman International Industries, Incorporated Unstructured road boundary detection
JP6362442B2 (ja) * 2014-06-13 2018-07-25 富士通株式会社 車線境界線抽出装置、車線境界線抽出方法、及びプログラム
JP2017021747A (ja) 2015-07-15 2017-01-26 クラリオン株式会社 車両用駐車支援装置
JP6291144B2 (ja) * 2015-09-11 2018-03-14 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
CN106997466B (zh) * 2017-04-12 2021-05-04 百度在线网络技术（北京）有限公司 用于检测道路的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272933A (ja) * 1995-03-31 1996-10-18 Mitsubishi Motors Corp ライン認識方法
JP2007179386A (ja) * 2005-12-28 2007-07-12 Fujitsu Ten Ltd 白線認識方法及び白線認識装置
JP2011165050A (ja) * 2010-02-12 2011-08-25 Denso Corp 白線認識装置
JP2013122739A (ja) * 2011-12-12 2013-06-20 Fujitsu Ltd 解析装置、解析プログラムおよび解析方法
JP2016206721A (ja) * 2015-04-15 2016-12-08 日産自動車株式会社 路面標示検出装置及び路面標示検出方法
JP2016206881A (ja) 2015-04-21 2016-12-08 本田技研工業株式会社 レーン検出装置及びその方法、並びにレーン表示装置及びその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3764322A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551459B1 (en) * 2022-06-27 2023-01-10 Plusai, Inc. Ambiguous lane detection event miner
US20230419688A1 (en) * 2022-06-27 2023-12-28 Plusai, Inc. Ambiguous Lane Detection Event Miner

Also Published As

Publication number Publication date
US11482016B2 (en) 2022-10-25
US20200410257A1 (en) 2020-12-31
EP3764322A1 (en) 2021-01-13
JP6971177B2 (ja) 2021-11-24
EP3764322A4 (en) 2021-12-08
JP2019159606A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
WO2019172059A1 (ja) 区画線認識装置
US10943131B2 (en) Image based lane marking classification
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US8184859B2 (en) Road marking recognition apparatus and method
US8902053B2 (en) Method and system for lane departure warning
JP5747549B2 (ja) 信号機検出装置及びプログラム
US20160314368A1 (en) System and a method for the detection of multiple number-plates of moving cars in a series of 2-d images
CN110502983B (zh) 一种检测高速公路中障碍物的方法、装置及计算机设备
KR101935010B1 (ko) 영상 기반 차량 번호판 인식 장치 및 방법
US20180039843A1 (en) Detecting device, detecting method, and program
JP6710190B2 (ja) 区画線認識装置
JP2007179386A (ja) 白線認識方法及び白線認識装置
US11244194B2 (en) System and method for object recognition using local binarization
US11210548B2 (en) Railroad track recognition device, program, and railroad track recognition method
JP6255944B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
CN113239733B (zh) 一种多车道车道线检测方法
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
US11069049B2 (en) Division line detection device and division line detection method
Lu A lane detection, tracking and recognition system for smart vehicles
JP2006155126A (ja) 車両番号認識装置
JP2898562B2 (ja) ナンバープレート決定方法
JP4842301B2 (ja) 歩行者検出装置及びプログラム
JP2019087166A (ja) 撮影画像に含まれる境界線を検出するための装置、方法、及びプログラム
JP2005250786A (ja) 画像認識方法
WO2023127000A1 (ja) 認識システム及び物体認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19763894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019763894

Country of ref document: EP