WO2013186903A1 - 車線区分標示検出装置、運転支援システム - Google Patents

車線区分標示検出装置、運転支援システム Download PDF

Info

Publication number
WO2013186903A1
WO2013186903A1 PCT/JP2012/065275 JP2012065275W WO2013186903A1 WO 2013186903 A1 WO2013186903 A1 WO 2013186903A1 JP 2012065275 W JP2012065275 W JP 2012065275W WO 2013186903 A1 WO2013186903 A1 WO 2013186903A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane marking
image data
lane
road
white line
Prior art date
Application number
PCT/JP2012/065275
Other languages
English (en)
French (fr)
Inventor
嘉修 竹前
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to CN201280073463.XA priority Critical patent/CN104335264A/zh
Priority to PCT/JP2012/065275 priority patent/WO2013186903A1/ja
Priority to EP12879087.0A priority patent/EP2863374A4/en
Priority to US14/407,645 priority patent/US20150165973A1/en
Priority to JP2014521066A priority patent/JP5880703B2/ja
Publication of WO2013186903A1 publication Critical patent/WO2013186903A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius

Definitions

  • the present invention relates to a lane marking detection device that detects a lane marking marked on a road surface.
  • a stereo camera capable of acquiring distance information is used as a camera for photographing a white line.
  • the white line detection device detects the white line as follows: (1) A method of fixing an image for white line detection to either an image taken by the left camera or an image taken by the right camera. (2) A method of detecting from an image area taken in common by the left and right cameras.
  • Patent Document 1 discloses an image processing apparatus that calculates three-dimensional position information from an image captured by a stereo camera and detects a white line existing on a road surface from each of left and right images.
  • the white line detection camera when the white line detection camera is fixed to the left as in (1) above, if the road is curved to the right, the area where the white line on the right side is captured becomes narrow, and the white line detection camera When is fixed to the right, if the road curves to the left, the area where the white line on the left is captured becomes narrower.
  • the white line detection device detects from an image area photographed in common by the left and right cameras, and when the road curves to the right or left, The area in which the white line is photographed in the image area photographed in common becomes narrow.
  • FIG. 1 shows an example of images taken by each of the right camera and the left camera when the road curves to the left.
  • 1A shows an image of the left camera
  • FIG. 1B shows an image of the right camera.
  • an image captured by the right camera is fixed to an image for white line detection, a far white line on the left side cannot be detected.
  • the areas within the dotted lines of the left camera image and the right camera image are areas that were taken in common by the left and right cameras. Therefore, when detecting a white line from an image area photographed in common by the left and right cameras, similarly, a far white line on the left side cannot be detected.
  • the left and right cameras are arranged apart from each other in the vehicle width direction (the left and right cameras have a predetermined baseline length), and the right camera is located on the right side from the center in the vehicle width direction. This occurs because the cameras are arranged on the left side of the center in the vehicle width direction.
  • an object of the present invention is to provide a lane marking detection device capable of improving the detection accuracy of a lane marking regardless of the road shape.
  • the present invention detects a lane marking from at least one image data among a plurality of photographing means for photographing a lane marking that divides a lane in which the host vehicle is traveling, and image data respectively generated by the plurality of photographing means.
  • the road shape estimation means for estimating the road shape from the lane classification indication detected by the lane classification indication detection means,
  • a lane marking detection apparatus having image data determining means for determining image data used by the detecting means to detect a lane marking.
  • FIG. 2 is an example of a diagram illustrating the schematic features of the white line detection device of the present embodiment.
  • a camera for white line detection among the left and right cameras is preset (S3).
  • S3 a camera for white line detection among the left and right cameras.
  • the right camera is a white line detection camera, a white line is detected from an image captured by the right camera.
  • the white line detection device estimates the road parameter from the detected white line (S2). Since the road parameter includes, for example, the curvature and radius of the road, the white line detection device causes the road to bend in a direction opposite to the side where the current white line detection (for example, initial setting) camera is disposed (hereinafter referred to as a curve). ) Is determined (S3). That is, when the right camera is a current white line detection camera, the white line detection device 100 determines whether or not the road is curved in the left direction.
  • the white line detection device switches the white line detection camera (S4). That is, when the right camera is the current white line detection camera, an image taken by the left camera from the next image is set as the white line detection image.
  • the camera that captures the image for detecting the white line is set to either the right camera or the left camera, and the road curves in a direction opposite to the side where the camera for detecting the white line is arranged. Can detect the far white line.
  • the white line detection device continues to determine whether or not the road is curved. If the road is curved in the direction opposite to the side where the current white line detection camera is arranged, the white line detection device Switch cameras. By repeating this process, a distant white line can be detected from an image taken by either the left or right camera regardless of the road shape.
  • FIG. 3 shows an example of a schematic configuration diagram of a driving support system including the white line detection device 100.
  • the driving support system 500 includes a white line detection device 100, a driving support ECU (Electronic Control Unit) 200, and an operation device 300 that are connected to each other via an in-vehicle LAN such as a CAN (Controller Area Network) bus.
  • the white line detection device 100 corresponds to the lane marking detection device in the claims.
  • the white line detection device 100 transmits target information up to the obstacle to the driving support ECU 200 in addition to the road parameter described later.
  • the driving support ECU 200 determines the necessity of driving support based on the road parameter and target information, and requests the operation device 300 to operate.
  • the operation device 300 is, for example, an alarm device for a meter panel, an electric power steering device, a brake actuator, or the like.
  • the runway parameters are, for example, the curvature (radius) of the road, the lane width of the road, the lateral position of the host vehicle in the lane, the yaw angle of the host vehicle with respect to the road, and the like.
  • the driving assistance ECU 200 performs driving assistance using information (for example, wheel speed, steering angle, yaw rate, etc.) detected by another ECU connected to the in-vehicle LAN or a sensor.
  • LDW Likane
  • LKA Li ⁇ ⁇ Keeping Assist
  • LDW refers to driving assistance that alerts the driver with a warning sound or vibration when there is a risk of deviating from the lane from the lateral position, yaw angle, and vehicle speed.
  • LKA is a driving support mode in which the electric power steering device is controlled to apply steering torque to the steering shaft, and braking and engine output for each wheel are controlled so that the host vehicle travels on a target driving line in the lane. .
  • LKA In addition to controlling the steering torque, braking for each wheel, and engine output so as to travel on the target travel line, there is also an LKA that controls to maintain the lane when there is a risk of departure from the lane. In this way, various driving assistances are possible by detecting the white line.
  • the target information is, for example, distance information, relative speed, and direction (lateral position).
  • the driving assistance ECU 200 extracts an obstacle that may cause a collision from the direction (lateral position), and when the TTC (Time To Collation) calculated from the distance information and the relative speed falls below a predetermined value, it sounds an alarm sound or decelerates.
  • TTC Time To Collation
  • the white line detection apparatus 100 includes a right camera 11, a left camera 12, and a camera computer 13.
  • the right camera 11 and the left camera 12 are one stereo camera.
  • the stereo camera is arranged on the rear-view mirror with the optical axis facing the front of the vehicle, but may be arranged at another place such as a roof top.
  • the right camera 11 and the left camera 12 are arranged at a predetermined interval (base line length), spaced apart in the vehicle width direction or the horizontal direction. The front and rear positions or height positions of the right camera 11 and the left camera 12 do not have to match.
  • Each of the right camera 11 and the left camera 12 has a solid-state image sensor such as a CCD or CMOS or a backside-illuminated CMOS.
  • the right camera 11 and the left camera 12 may be a monochrome camera that acquires only luminance information or a color camera.
  • the right camera 11 and the left camera 12 periodically photograph a predetermined range in front of the vehicle almost simultaneously.
  • a white line is marked on the road surface
  • a white line is captured in the image.
  • the white line in this embodiment corresponds to the lane marking in the claims.
  • the lane markings are not limited to those that are marked with a white color on the road surface, but include, for example, linear signs with a chromatic color such as yellow or orange.
  • the white line is not limited to the linear marking indicated by the continuous solid line, but is a dotted line in which many points continue to be linear, and the solid line is broken at equal intervals (or at different intervals). It may be a broken line.
  • a dotted line it can be converted into a straight line by, for example, Hough transform.
  • the white line is not limited to a planar sign, and may have a convex portion with respect to the road surface, such as a botsdot. Since botsdots are continuous (for example, equally spaced) points, they can be regarded as lines like dotted lines.
  • a road fence that reflects the light of the host vehicle or emits light and marks the boundary between the lanes, such as a cat's eye, can be regarded as a line as well as a dotted line if it is continuously laid.
  • the camera computer 13 is a computer provided with a CPU, ROM, RAM, CAN controller, input / output I / F, and other general circuits. As will be described later, the camera computer 13 performs distortion correction / parallelization, white line detection, runway parameter estimation, and switching of an image for camera or white line detection.
  • FIG. 4 shows an example of a functional block diagram of the camera computer 13.
  • the camera computer 13 includes a stereo image acquisition unit 21, a distortion correction / parallelization unit 22, an edge extraction unit 23, a white line detection unit 24, a runway parameter estimation unit 25, a processed image switching unit 26, and a parallax calculation unit 27.
  • the stereo image acquisition unit 21 acquires the image data of the images periodically captured by the right camera 11 and the images periodically captured by the left camera 12, and stores them in a buffer or the like.
  • the distortion correction / parallelization unit 22 corrects and parallelizes the distortion of the left and right images using the external parameters and internal parameters of the camera acquired in advance.
  • the internal parameters are, for example, lens distortion and distortion aberration of the right camera 11 and the left camera 12, image sensor distortion, focal length, and the like.
  • Lens distortion is reduced by, for example, correcting image data with reference to a correction conversion table generated based on a lens design value.
  • Distortion is reduced by correcting image data based on parameter estimation using a radial distortion aberration model.
  • External parameters are, for example, values obtained by quantifying the camera mounting position and orientation. Since there is a slight difference in the mounting positions (for example, height) and orientations (pitch, roll, yaw) of the left and right cameras, the optical axes of the right camera 11 and the left camera 12 are perfectly matched and parallel. It may not be possible. For this reason, for example, the imaging system of the right camera 11 and the left camera 12 may rotate relatively around the optical axis due to the difference in the external parameters. In order to reduce such rotation, the stereo camera is calibrated by a vehicle manufacturer before shipment. In calibration, the right camera 11 and the left camera 12 respectively shoot a distortion calibration chart.
  • the proofreading chart has a checkered pattern in which square white cells and black cells are reversed.
  • the correspondence between the pixels is specified so that the black and white square of the image of the left camera 12 matches the black and white square of the image of the right camera 11.
  • the correspondence relationship is registered in the table, and for example, it is set to which pixel position the pixel position before correction is converted in correspondence with all the pixels of the right camera 11.
  • data for correcting and collimating the left and right images based on the internal parameters and the external parameters is used as a lookup table 28. In this way, efficient parallax search is possible by correcting and collimating the distortion.
  • FIG. 5A is a diagram showing an example of parallelized image data of the right camera 11 and image data of the left camera 12.
  • the vehicle width direction is the X axis
  • the vehicle height direction is the Y axis
  • the traveling direction is the Z axis.
  • the coordinates P (x, y, z) are reflected in the pixel Pl of the left camera 12 and the pixel Pr of the right camera 11, respectively. These correspondences will be described later.
  • the parallax search may be performed on the left and right image data parallelized by the distortion correcting / parallelizing unit 22, but the search is facilitated by performing the parallax search after performing the edge enhancement processing. Therefore, the edge extraction unit 23 extracts edges from the left and right images.
  • Various types of edge extraction filters are known. For example, a sobel filter is used.
  • FIG. 5B is a diagram illustrating an example of the filtering process.
  • the upper part of FIG. 5B is an image of the right camera 11, and the lower part of FIG. 5B is an image of the left camera 12.
  • Each edge image generated from the luminance image is shown.
  • white lines, guardrails, trees, and the like are photographed, but the edge lines of the right camera 11 and the left camera 12 are emphasized in the white lines, guardrails, or ends of the trees by the filter processing (in the figure).
  • the image is shown with white pixels.
  • FIG. 6A is an example of a diagram illustrating a parallax search.
  • the parallax calculation unit 27 calculates SAD (Sum of Absolute Difference) or SSD (Sum of Squared Differences) for each region including the pixel of interest (hereinafter referred to as a window).
  • SAD is the sum of absolute values of pixel value differences for each pixel
  • SSD is the sum of squares of pixel value differences for each pixel. It means that the smaller the value is, the higher the matching degree of images included in the window.
  • the parallax calculation unit 27 calculates the SAD or SSD in the left image window and the right image window, calculates the SAD or SSD by shifting the entire right image window to the right by one pixel. repeat. In other words, since they are parallelized, it is only necessary to shift the window by one pixel in the U direction without shifting the window in the V-axis direction in the right image.
  • FIG. 6B shows an example of the relationship between the shift amount (parallax) in the U direction and SAD.
  • the SAD shows a minimum value with respect to the shift amount.
  • the shift amount of the pixel indicating the minimum value is the parallax at the pixel (u, v) focused on the left image.
  • the parallax calculation unit 27 may obtain SAD or SSD for all the pixels in the U direction of the right image, or when the SAD or SSD indicates a minimum value that is equal to or less than the threshold without defining a search range.
  • the calculation of SAD or SSD may be discontinued. In the former, the most certain parallax can be obtained, and in the latter, a certain degree of certain parallax can be efficiently obtained.
  • the parallax may be obtained from the luminance image as described above. Further, the parallax may be obtained from both the edge image and the luminance image. When both an edge image and a luminance image are used, the parallax is determined by setting an average of pixel shift amounts at which SAD or SSD is minimized, or by weighting the edge image and the luminance image. In this way, the parallax can be obtained more accurately.
  • the parallax calculation unit 27 calculates sub-pixel parallax in addition to the integer parallax in units of pixels. For obtaining sub-pixel parallax, equiangular fitting, parabolic fitting or the like is known.
  • the distance to the object shown in the pixels can be calculated in units of pixels.
  • Distance (f ⁇ m) / (n ⁇ d)
  • f the focal length of the lens
  • m the baseline length
  • n the parallax (number of pixels)
  • d the pixel pitch of the image sensor.
  • the white line detection unit 24 detects a white line from an image captured by the right camera 11 or the left camera 12. Which image the white line is detected from is set as follows. (i) Immediately after starting the white line detection device 100 (initial setting), when the image of the right camera 11 is used as an image for white line detection. When a straight line or a right curve is detected from the runway parameters: the right camera 11 ⁇ If a left curve is detected from the road parameter: Left camera 12 Thereafter, when the left curve is no longer detected from the runway parameter, it may be returned to the right camera 11 or the left camera 12 may be left as it is.
  • FIG. 7 is an example of a diagram illustrating a coordinate system in white line detection.
  • the above-described road coordinate system in the X, Y, and Z directions and a plane coordinate system for designating plane coordinates of image data are used.
  • the horizontal direction from left to right is the X axis
  • the vehicle height direction is the Y axis
  • the vehicle traveling direction is the Z axis.
  • the planar coordinate system is assumed to be a coordinate system having an origin on the Z axis of the road coordinate system, a U axis parallel to the X axis, and a V axis planar to the Y axis.
  • the distance information z of each pixel is obtained by a stereo camera. Therefore, if a known z is used for each pixel, x and y can be obtained uniquely.
  • either the right camera 11 or the left camera 12 may be used for white line detection.
  • FIG. 8 is an example of a diagram schematically illustrating detection of a white line.
  • FIG. 8A schematically shows image data (white line in the plane coordinate system).
  • the white line detection unit 24 identifies a pixel having an edge strength equal to or higher than a threshold among the edges extracted by the edge extraction unit 23.
  • FIG. 8A for each of the left and right white lines, an edge that changes from the brightness of the road to the brightness of the white line and an edge that changes from the brightness of the white line to the brightness of the road are obtained.
  • the white line detection area may be limited to a part on the right side and a part on the left side of the image. Thereby, the processing load of the camera computer 13 can be reduced.
  • the white line detection unit 24 searches for pixels whose edge intensity is greater than or equal to a threshold value from the bottom to the top of the screen. Even if the white line is a straight line, the image is taken in the shape of a letter “C” (two straight lines with a wide lower gap and a wide upper gap). repeat. If there is a white line, an edge is obtained from the bottom of the screen upward in each of the left and right white lines. This edge is detected continuously if a solid white line is captured well, and is detected at intervals if it is a dot or a broken line.
  • the white line detection unit 24 determines whether the edges are detected as being part of the white line by determining whether the edges are detected almost continuously, or if the edges are not evenly detected. Determine if you can. If it is determined that the edge is a part of the white line, the width of the two edge lines on the left and right is compared with the width of the general white line. To detect. Note that there are not necessarily white lines on the left and right, and only one of the white lines may be detected.
  • the white line detection unit 24 plots the edge on the XZ plane by using a correspondence formula between the road coordinate system and the plane coordinate system (it is a process for facilitating the explanation without having to plot the actual process).
  • FIG. 8B is an example of a diagram schematically showing an edge converted into coordinates (x, z) on the XZ plane. “X” corresponds to an edge.
  • edges are detected at both ends of one white line, but approximation accuracy may be better if one edge is approximated to the road model.
  • the white line detection unit 24 calculates the inner point of one white line, the outer side, or the midpoint of two edges in the X direction, and plots them on the XZ plane.
  • the runway parameter estimation unit 25 estimates the runway parameters from the edges in FIG. There are several methods for estimating runway parameters. Using road model equations, the coordinates of multiple edge lines are substituted, and the road parameter is estimated using a method that specifies the coefficient of the road model by the least squares method or a maximum likelihood value estimation method such as Kalman filter or particle filter. There is a way to do it.
  • x x 0 + ⁇ ⁇ z + 0.5 ⁇ c ⁇ z 2
  • x 0 is the case of obtaining the track parameters of the right white line, the distance x or from the origin in the XZ plane to the right of the white line, the case of obtaining the track parameters on the left of the white line, the white line from the origin in the XZ plane of the left Xol .
  • ⁇ is an angle formed by the optical axis of the right camera 11 or the left camera 12 and the white line direction (the yaw angle of the vehicle). ⁇ is positive in the right direction with respect to the front direction.
  • c is the curvature of the road.
  • Equation (1) starting from the x 0, to correct the deviation by the yaw angle (if the vehicle has a yaw right white line is corrected correspondingly so are photographed inclined to the left), The curvature c is caused to act as the square of z.
  • the runway parameter estimation unit 25 substitutes the coordinates (x, z) of the edge line of the XZ plane in the equation (1), and obtains ⁇ and c by the least square method. Thereby, it is possible to obtain the yaw angle ⁇ and the road curvature c (radius R) among the runway parameters.
  • the lane width W of the road may be obtained from x or + x ol or may be obtained from the x value of the white line at an arbitrary z coordinate. (If the right positive) position of the vehicle lane, for example a center position of the lane in the zero (reference), W / 2-x or can be represented by.
  • the processing image switching unit 26 determines whether the curve is a right curve or a left curve based on the road curvature, and if necessary, instructs the white line detection unit 24 to use an image for white line detection.
  • the processed image switching unit 26 determines whether or not the following condition is satisfied. If the absolute value of curvature is greater than zero, it can be estimated that the curve is curved. a. Having detected a left curve b. The absolute value of the curvature of the left curve is greater than or equal to the threshold value 1. If the threshold value 1 is included in the condition b, it is not necessary to switch the white line detection camera if the curve is a gentle left curve.
  • the runway parameter estimation unit 25 obtains a runway parameter using, for example, a Kalman filter or the like, several frames of image data are required before the runway parameter can be stably estimated, and therefore the white line detection camera should not be switched. Thus, stable road parameter detection can be continued.
  • the processed image switching unit 26 determines whether the following condition is satisfied. c. Detected right curve d. The absolute value of the curvature of the right curve is greater than or equal to the threshold value 1. According to the above conditions a to d, after switching to the left camera 12, the image of the left camera 12 is continuously used for white line detection. It becomes easy. After switching to the right camera 11 again, the image of the right camera 11 is easily used continuously for white line detection. Therefore, frequent switching of the white line detection camera can be prevented.
  • Threshold 1 may be fixed, but it is also effective to make it variable according to the vehicle speed.
  • the white line detection device 100 is set with a threshold value 1 that is smaller as the vehicle speed is higher. Therefore, when the vehicle speed is high, the white line detection image can be switched at an early stage.
  • the white line detection unit 24 preferentially uses the image of the right camera 11 for white line detection, the condition of d is ignored (or the threshold 1 is made smaller). ), The image of the right camera 11 may be switched to white line detection only by “c. That a straight line or a right curve has been detected”. The conditions of a and b remain unchanged. Thereby, for example, in a country or region where detection is relatively difficult because the left white line is not a solid line but a dotted line or a broken line, or is thin, the image of the right camera 11 is used for white line detection under the condition b. It can be used preferentially.
  • the conditions of ab and cd are reversed. That is, the image of the left camera 12 is switched to white line detection only by ignoring the condition of b and only “a. Detecting a straight line or a left curve” is established.
  • the white line detection unit 24 detects both white lines if there are left and right white lines of the host vehicle. If there is no left or right white line, the white line identification information that cannot be detected is sent to the processing image switching unit 26. Notice. In this case, the processed image switching unit 26 does not instruct the white line detection unit 24 to switch to the left camera 12 if the left white line is not detected even if the left curve is detected. Similarly, the processed image switching unit 26 does not instruct the white line detection unit 24 to switch to the right camera 11 if the right white line is not detected even if the right curve is detected.
  • the white line on the left or right is interrupted in confluence lanes, it is difficult to detect the white line in rainy weather, the white line is difficult to detect due to deterioration, or other vehicles are parked Therefore, it is possible to prevent the white line detection camera from being switched.
  • the processed image switching unit 26 does not determine whether to switch the white line detection camera.
  • FIG. 9 is an example of a flowchart illustrating a procedure in which the white line detection apparatus 100 detects a white line and switches a white line detection camera.
  • the stereo image acquisition unit 21 acquires images taken by the right camera 11 and the left camera 12 of the stereo camera almost simultaneously (S10).
  • the stereo camera may have three or more cameras.
  • the white line detection device 100 identifies an image in which the white line is detected well among the three cameras, calculates the parallax, and estimates the road parameter.
  • the distortion correction / parallelization unit 22 performs distortion correction and parallelization processing on the image of the right camera 11 and the image of the left camera 12 using, for example, the lookup table 28 (S20).
  • the edge extraction unit 23 performs edge extraction processing on each of the image of the right camera 11 and the image of the left camera 12, and the white line detection unit 24 applies a white line from either the image of the right camera 11 or the image of the left camera 12. Is detected (S30). Note that it is not necessary to prohibit the detection of the white line from both the image of the left camera 12 and the image of the right camera 11.
  • the parameter may be estimated. Examples of an image that has been favorably subjected to white line detection include an image having a larger number of edges and an image having a short distance interpolated when converting the edge into a line in the V-axis direction.
  • the road parameter estimation unit 25 estimates the road parameter from the detected white line edge (S40).
  • the processing image switching unit 26 determines whether or not the road ahead is curved to the right or left, and switches the white line detection image from the next image (S50). That is, when the image of the right camera 11 is an image for white line detection, when the left curve is detected, the image of the left camera 12 is switched to an image for white line detection.
  • one or more of the steering direction, steering speed, and yaw rate by the driver may be added to the determination of the road curve direction.
  • the steering is slowly started and the steering speed is gradually increased along the clothoid curve. Therefore, when the steering speed gradually increases in the uniform steering direction, it can be estimated that the front curve in the steering direction.
  • the curve direction can be estimated not only by the driver's steering but also by the steering angle of the vehicle itself, such as the steering angle by the electric power steering device when the LKA or the like is activated.
  • the white line detection device 100 can capture a far white line even if the road is curved by switching the white line detection image according to the road shape. Can be detected. Since the far white line can be detected, the accuracy of the runway parameter can be improved.
  • the presence / absence of the curve and the curve direction are determined from the runway parameters, but in this embodiment, the white line detection device 100 that determines the presence / absence of the curve and the curve direction based on the white line length will be described.
  • FIG. 10 is an example of a diagram for comparing the lengths of the outer and inner white lines.
  • r be the radius of the inner circle
  • ⁇ be the predetermined angle that looks into the arc.
  • the length of the inner arc is r ⁇
  • the length of the outer arc is (r + W) ⁇ . Therefore, when the road is curved, the length of the outer white line is expected to be longer by W ⁇ . Therefore, the curve direction can be estimated by comparing the lengths of the left and right white lines.
  • FIG. 11 shows an example of a functional block diagram of the camera computer 13.
  • the camera computer 13 of this embodiment has a white line length calculation unit 29.
  • the white line length calculation unit 29 searches the edge position converted into the XZ plane as shown in FIG. 8B from the first edge to the last edge in the Z direction, and calculates the length of the white line equivalent part. That is, the edges detected as white lines are detected while increasing the Z coordinate from the bottom to the top, and the distance between the edges is calculated. Then, the distances between the edges are summed. By performing this for the left and right white lines, the length of the left and right white lines can be obtained.
  • the distance between the edges is not calculated and summed, but the length of the white line can be obtained using the road model of the first embodiment.
  • the road parameter is known from the road model and the coordinates of the edge
  • the road shape can be expressed by a function such as equation (1).
  • the processed image switching unit 26 detects that there is a curve ahead if the lengths of the left and right white lines are different from each other by a threshold value 2 or more.
  • a camera for detecting a white line can be weighted.
  • the length of the white line on the UV plane may be compared instead of comparing on the XZ plane.
  • the curve on the outer peripheral side is photographed on the diagonal line of the screen, so that the white line outside the curve also becomes longer in this case.
  • FIG. 12 is an example of a flowchart illustrating a procedure in which the white line detection apparatus 100 detects a white line and switches a white line detection camera.
  • step S40 in FIG. 9 is replaced with step S42.
  • step S42 the white line length calculation unit 29 calculates the lengths of the left and right white lines (S42).
  • the processed image switching unit 26 compares the lengths of the left and right white lines, and switches the white line detection image from the next image (S50). That is, when the image of the right camera 11 is an image for white line detection, when the left curve is detected, the image of the left camera 12 is switched to an image for white line detection.
  • the white line detection camera may be switched.
  • the white line detection apparatus 100 can switch the white line detection image by estimating the road shape by calculating the length of the white line. Further, the method for switching the image for detecting the white line has been described by way of the embodiment. However, the present invention is not limited to the above embodiment, and various modifications and improvements can be made within the scope of the present invention.

Abstract

　自車両が走行する車線を区分する車線区分標示を撮影する複数の撮影手段１１，１２と、複数の前記撮影手段によりそれぞれ生成された画像データのうち少なくとも１つの画像データから車線区分標示を検出する車線区分標示検出手段２４と、前記車線区分標示検出手段が検出した車線区分標示から道路形状を推定する道路形状推定手段２５と、前記道路形状推定手段が推定した道路形状に応じて、前記車線区分標示検出手段が車線区分標示を検出するために使用する画像データを決定する画像データ決定手段２６と、を有する車線区分標示検出装置１００を提供する。

Description

車線区分標示検出装置、運転支援システム
　本発明は、路面に標示された車線区分標示を検出する車線区分標示検出装置に関する。
　車載されたカメラで撮影した白線を利用して車線からの逸脱防止などの様々な運転支援を行う技術が知られている。また、白線を撮影するためのカメラとして距離情報を取得可能なステレオカメラが用いられる場合がある。ステレオカメラで撮影された白線を検出する場合、白線検出装置が白線を検出する方法として、
（１）白線検出用の画像を左のカメラが撮影した画像又は右のカメラが撮影した画像のいずれかに固定する方法
（２）左右のカメラで共通に撮影された画像領域から検出する方法
の２つの方法がある（例えば、特許文献１参照。）。特許文献１には、ステレオカメラにより撮影された画像から三次元位置情報を計算し、左右画像のそれぞれから道路面上に存在する白線を検出する画像処理装置が開示されている。
　しかしながら、ステレオカメラを用いた場合の従来の白線検出方法では、道路が湾曲（以下、「カーブ」という）している場合に、画像にて白線が撮影されている領域が狭くなるという問題がある。
　すなわち、上記の（１）のように、白線検出用のカメラを左に固定した場合、道路が右にカーブしていると右側の白線が撮影されている領域が狭くなり、白線検出用のカメラを右に固定した場合、道路が左にカーブしていると左側の白線が撮影されている領域が狭くなる。
　また、上記の（２）のように、白線検出装置が左右のカメラで共通に撮影された画像領域から検出する場合も同様であり、道路が右又は左のどちらかにカーブしていると、共通に撮影された画像領域において白線が撮影されている領域が狭くなる。
　図を用いて説明する。図１は、道路が左にカーブしている場合に、右カメラと左カメラのそれぞれで撮影された画像の一例を示す。図１（ａ）は左カメラの画像を、図１（ｂ）は右カメラの画像をそれぞれ示す。図示する状況で、右カメラが撮影した画像を白線検出用の画像に固定した場合、左側の遠方の白線を検出できない。
　また、左カメラの画像と右カメラの画像それぞれの点線内の領域が、左右のカメラで共通に撮影された領域である。したがって、左右のカメラで共通に撮影された画像領域から白線を検出する場合、同様に、左側の遠方の白線を検出できない。
　なお、このような問題は、ステレオカメラでは左右のカメラが車幅方向に離して配置され（左右のカメラが所定の基線長を有し）、右カメラは車幅方向の中央より右側に、左カメラは車幅方向の中央より左側にそれぞれ配置されるために生じている。
特開２００９－０４１９７２号公報
　本発明は上記課題に鑑み、道路形状によらず車線区分標示の検出精度を向上できる車線区分標示検出装置を提供することを目的とする。
　本発明は、自車両が走行する車線を区分する車線区分標示を撮影する複数の撮影手段と、複数の前記撮影手段によりそれぞれ生成された画像データのうち少なくとも１つの画像データから車線区分標示を検出する車線区分標示検出手段と、前記車線区分標示検出手段が検出した車線区分標示から道路形状を推定する道路形状推定手段と、前記道路形状推定手段が推定した道路形状に応じて、前記車線区分標示検出手段が車線区分標示を検出するために使用する画像データを決定する画像データ決定手段と、を有する車線区分標示検出装置を提供する。
　本発明によれば、道路形状によらず白線検出精度を向上できる車線区分標示検出装置を提供することができる。
道路が左にカーブしている場合に左右のカメラで撮影された画像の一例を示す図である。 白線検出装置の概略的な特徴を説明する図の一例である。 白線検出装置を含む運転支援システムの概略構成図の一例である。 カメラコンピュータの機能ブロック図の一例である。 平行化された右カメラの画像データと左カメラの画像データの一例を示す図である。 視差の探索を説明する図の一例である。 座標系を説明する図の一例である。 白線の検出を模式的に説明する図の一例である。 白線検出装置が白線を検出し、白線検出用のカメラを切り替える手順を示すフローチャート図の一例である。 外側と内側の白線の長さの比較する示す図の一例である。 カメラコンピュータの機能ブロック図の一例である。 白線検出装置が白線を検出し、白線検出用のカメラを切り替える手順を示すフローチャート図の一例である。
　１１　　右カメラ
　１２　　左カメラ
　１３　　カメラコンピュータ
　２１　　ステレオ画像取得部
　２２　　歪補正・平行化部
　２３　　エッジ抽出部
　２４　　白線検出部
　２５　　走路パラメータ推定部
　２６　　処理画像切り換え部
　２７　　視差算出部
　２９　　白線長さ算出部
　１００　白線検出装置
　２００　運転支援ＥＣＵ
　３００　作動デバイス
　以下、本発明を実施するための形態について図面を参照しながら説明する。
　図２は、本実施形態の白線検出装置の概略的な特徴を説明する図の一例である。白線検出装置では、初期設定として、左右のカメラのうち白線検出用のカメラが予め設定されている（Ｓ３）。例えば、初期設定として、右カメラを白線検出用のカメラとした場合、右カメラが撮影した画像から白線が検出されている。
　白線検出装置は、検出した白線から走路パラメータを推定する（Ｓ２）。走路パラメータには例えば道路の曲率や半径が含まれるので、白線検出装置は、現在の白線検出用（例えば初期設定）のカメラが配置されている側と反対方向に道路が湾曲（以下、カーブという）しているか否かを判定する（Ｓ３）。つまり、右カメラが現在の白線検出用のカメラである場合、白線検出装置１００は道路が左方向にカーブしているか否かを判定する。
　現在の白線検出用のカメラが配置されている側と反対方向に道路がカーブしている場合（Ｓ３のＹｅｓ）、白線検出装置は白線検出用のカメラを切り替える（Ｓ４）。つまり、右カメラが現在の白線検出用のカメラである場合、次の画像から左カメラが撮影した画像を白線検出用の画像とする。
　これにより、白線検出用の画像を撮影するカメラが右カメラ又は左カメラのいずれかに設定されており、道路が、現在の白線検出用のカメラが配置されている側と逆方向にカーブしても遠方の白線を検出することができる。なお、白線検出装置は、道路がカーブしているか否かの判定を継続し、現在の白線検出用のカメラが配置されている側と逆方向に道路がカーブしている場合、白線検出用のカメラを切り替える。この処理を繰り返すことで、道路形状に関係なく左右いずれかのカメラで撮影した画像から遠方の白線を検出できる。
　以下、実施例を挙げて説明する。なお、以下の実施例では、白線検出用のカメラを切り替えることと、白線検出用の画像を切り替えることを特に区別せずに記載している。
　〔構成例〕
　図３は、白線検出装置１００を含む運転支援システムの概略構成図の一例を示す。運転支援システム５００では、ＣＡＮ（Controller Area Network）バスなどの車載ＬＡＮを介して互いに接続された白線検出装置１００、運転支援ＥＣＵ（Electronic Control Unit）２００及び作動デバイス３００を有している。白線検出装置１００は、特許請求の範囲の車線区分標示検出装置に相当する。
　白線検出装置１００は、後述する走路パラメータに加え、障害物までのターゲット情報などを運転支援ＥＣＵ２００に送信する。運転支援ＥＣＵ２００は走路パラメータやターゲット情報に基づき運転支援の必要性を判断し、作動デバイス３００に作動を要求する。作動デバイス３００は例えば、メータパネルの警報装置、電動パワーステアリング装置、及び、ブレーキアクチュエータなどである。
　走路パラメータは、例えば、道路の曲率（半径）、道路の車線幅、車線内での自車両の横位置、道路に対する自車両のヨー角等、である。運転支援ＥＣＵ２００は、車載ＬＡＮに接続された他のＥＣＵ、又は、センサーが検出した情報（例えば、車輪速、操舵角、ヨーレート等）を用いて運転支援を行う。走路パラメータを用いた運転支援としては、ＬＤＷ（Lane Departure Warning）やＬＫＡ（Lane Keeping Assist）などが知られている。ＬＤＷは、横位置、ヨー角及び車速から車線を逸脱するおそれがある場合に警報音や振動などで運転者に注意喚起する運転支援をいう。ＬＫＡは、自車両が車線内の目標走行線を走行するように、電動パワーステアリング装置を制御してステアリングシャフトに操舵トルクを加えたり、車輪毎の制動やエンジン出力を制御する運転支援形態である。目標走行線を走行するように操舵トルク、又は、車輪毎の制動やエンジン出力を制御する以外に、車線から逸脱するおそれがある際に車線を維持するように制御するＬＫＡもある。このように、白線を検出することで多様な運転支援が可能になる。
　また、ターゲット情報は、例えば、距離情報、相対速度、及び、方位（横位置）である。運転支援ＥＣＵ２００は、方位（横位置）から衝突のおそれがある障害物を抽出し、距離情報と相対速度から計算されたＴＴＣ（Ｔｉｍｅ　Ｔｏ　Ｃｏｌｌｉｓｉｏｎ）が所定値以下になると警報音を吹鳴したり減速するなどの運転支援を行う。
　白線検出装置１００は、右カメラ１１、左カメラ１２、及び、カメラコンピュータ１３を有している。右カメラ１１と左カメラ１２で１つのステレオカメラである。ステレオカメラは、例えば、光軸を車両前方に向けてルームミラーに配置されるが、ルーフトップなど別の場所に配置することもできる。右カメラ１１と左カメラ１２は、所定間隔（基線長）、車幅方向又は水平方向に離間して配置されている。右カメラ１１と左カメラ１２の前後位置、又は、高さ位置が一致していなくてもよい。右カメラ１１と左カメラ１２はそれぞれＣＣＤ又はＣＭＯＳ、裏面照射ＣＭＯＳなどの個体撮像素子を有している。右カメラ１１と左カメラ１２は輝度情報だけを取得するモノクロのカメラでも、カラーのカメラでもよい。
　右カメラ１１と左カメラ１２は、それぞれほぼ同時に車両前方の所定範囲を周期的に撮影する。路面に白線が標示されている場合、画像には白線が撮影されている。なお、本実施形態の白線とは、特許請求の範囲の車線区分標示に相当する。車線区分標示は、路面に白い色で標示されているものに限られず、例えば黄色や橙などの有彩色の線状標示を含む。また、白線は、切れ目なく続いている実線で標示されている線状標示に限られず、多くの点が続いて線状になっている点線、等間隔（又は異なる間隔毎）に実線に切れ目が入っている破線、などでもよい。点線の場合、例えばハフ変換することで直線に変換できる。また、白線は、平面的な標示に限られず、ボッツドッツなどのように路面に対し凸部を有していてもよい。ボッツドッツは、連続した（例えば等間隔の）点なので、点線と同様に線と見なせる。また、キャッツアイのように自車両のライトを反射したり自発光して車線間の境界を標示する道路鋲も、連続的に敷設されていれば、点線と同様に線と見なせる。
　カメラコンピュータ１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＡＮコントローラ、入出力Ｉ／Ｆ、及び、その他の一般的な回路を備えたコンピュータである。カメラコンピュータ１３は、後述するように、歪み補正・平行化、白線検出、走路パラメータの推定、及び、カメラ若しくは白線検出用の画像の切り替えなどを行う。
　〔カメラコンピュータの機能について〕
　図４は、カメラコンピュータ１３の機能ブロック図の一例を示す。カメラコンピュータ１３は、ステレオ画像取得部２１、歪補正・平行化部２２、エッジ抽出部２３、白線検出部２４、走路パラメータ推定部２５、処理画像切り換え部２６、及び、視差算出部２７を有する。ステレオ画像取得部２１は、右カメラ１１が周期的に撮影した画像及び左カメラ１２が周期的に撮影した画像の画像データをそれぞれ取得し、バッファなどに記憶する。
　〔歪補正・平行化〕
　歪補正・平行化部２２は、予め取得してあるカメラの外部パラメータ、及び、内部パラメータを用いて左右の画像の歪みを補正し、平行化する。内部パラメータは、例えば右カメラ１１と左カメラ１２それぞれのレンズの歪みや歪曲収差、撮像素子の歪み、焦点距離などをいう。レンズの歪みは、例えば、レンズの設計値に基づき生成された補正変換テーブルを参照して、画像データを補正することで低減される。歪曲収差は半径方向の歪曲収差のモデルを用いたパラメータ推定に基づき画像データを補正することで低減される。
　外部パラメータは、例えばカメラの取り付け位置と向きを数値化したものである。左右のカメラの取り付け位置（例えば高さ）及び向き（ピッチ、ロール、ヨー）にはわずかな違いがあるので、右カメラ１１と左カメラ１２の光軸も完全に高さが一致しかつ平行とならない場合がある。このため、この外部パラメータの違いによって、例えば、右カメラ１１と左カメラ１２の撮像系が光軸を中心に相対的に回転する場合がある。このような回転を低減するため、ステレオカメラでは、出荷前に車両メーカなどによりキャリブレーションされている。キャリブレーションでは、右カメラ１１と左カメラ１２でそれぞれ歪み校正用のチャートを撮影する。校正用のチャートは、市松模様状に正方形の白マスと黒マスが反転した格子が描かれている。例えば、左カメラ１２の画像の白黒のマスに、右カメラ１１の画像の白黒のマスが一致するように、画素同士の対応関係を特定する。対応関係はテーブルに登録され、例えば右カメラ１１の全画素に対応づけて、補正前の画素位置がどの画素位置に変換されるかが設定されている。
　図では、内部パラメータと外部パラメータに基づく左右の画像の歪み補正及び平行化するためのデータをルックアップテーブル２８としている。このように、歪補正及び平行化することで効率的な視差の探索が可能になる。
　図５（ａ）は、平行化された右カメラ１１の画像データと左カメラ１２の画像データの一例を示す図である。本実施形態では、道路座標系として、車幅方向をＸ軸、車高方向をＹ軸、及び、進行方向をＺ軸とする。座標Ｐ（ｘ，ｙ，ｚ）は左カメラ１２の画素Ｐｌと右カメラ１１の画素Ｐｒにそれぞれ映る。これらの対応については後述する。
　〔エッジ抽出〕
　視差を検出する際には、画素Ｐｌに画素Ｐｒが対応することを探索する。２つの画像が平行化されていることが分かっているので、白線検出装置１００は、水平方向と平行にのみ画像データを探索すればよい。
　なお、視差探索は、歪補正・平行化部２２が平行化した左右の画像データに対し行ってもよいが、エッジ強調処理を行ってから視差探索することで探索が容易になる。そこで、エッジ抽出部２３は左右の画像からエッジを抽出する。エッジ抽出のフィルタは各種知られているが、例えばｓｏｂｅｌフィルタを使用する。
　図５（ｂ）はフィルタ処理の一例を示す図である。図５（ｂ）の上段は右カメラ１１の画像であり、図５（ｂ）の下段は左カメラ１２の画像である。それぞれ輝度画像から生成されたエッジ画像が図示されている。輝度画像には、白線、ガードレール、及び、木々などが撮影されているが、フィルタ処理により、右カメラ１１と左カメラ１２のエッジ画像は白線、ガードレール又は木々の端部が強調された（図では白い画素で示されている）画像になる。
　〔視差の検出〕
　図６（ａ）は、視差の探索を説明する図の一例である。ここでは左の画像データの画素に着目して、右の画像データから左の画像データと一致する（相関性が最も高い又は一定以上の相関性を有する）領域を特定する。視差算出部２７は、着目している画素を含む領域（以下、ウィンドウという）毎に、ＳＡＤ（Sum of Absolute Difference）又はＳＳＤ（Sum of Squared Differences）を計算する。ＳＡＤは画素毎の画素値の差の絶対値の合計であり、ＳＳＤは画素毎の画素値の差の二乗和である。いずれも小さいほど、ウィンドウに含まれる画像の一致度が高いことを意味する。
　図示するように、（ｕ、ｖ）の画素に着目している場合、（ｕ、ｖ）の画素を中心とする矩形のウィンドウを生成し、右の画像からも（ｕ、ｖ）の画素を中心とするウィンドウを生成する。視差算出部２７は、左の画像のウィンドウと右の画像のウィンドウでＳＡＤ又はＳＳＤを算出すると、右の画像のウィンドウの全体を右に１ピクセル（画素）ずらしてＳＡＤ又はＳＳＤを算出することを繰り返す。つまり、平行化されているので、右の画像においてウィンドウをＶ軸方向にずらすことなく、１ピクセルずつU方向にずらせばよい。
　図６（ｂ）はU方向のずらし量（視差）とＳＡＤの関係の一例を示す。ずらし量に対しＳＡＤが極小値を示している。極小値を示す画素のずらし量が、左の画像で着目した画素（ｕ、ｖ）における視差である。
　U方向の探索範囲は予め定められているものとする。しかし、視差算出部２７は、右の画像のU方向の全ての画素に対してＳＡＤ又はＳＳＤを求めてもよいし、探索範囲を定めずにＳＡＤ又はＳＳＤが閾値以下の極小値を示した場合に、ＳＡＤ又はＳＳＤの算出を打ち切ってもよい。前者では最も確かな視差を求めることでき、後者ではある程度確からしい視差を効率的に求めることができる。
　なお、上記のように輝度画像から視差を求めてもよい。また、エッジ画像と輝度画像の両方から視差を求めてもよい。エッジ画像と輝度画像の両方を用いた場合、ＳＡＤ又はＳＳＤが極小となる画素のずらし量の平均を視差とするか、又は、エッジ画像と輝度画像に重み付けして視差を決定する。こうすることで、より正確に視差を求めることができる。
　視差算出部２７は、画素単位の整数視差に加え、サブピクセル視差を算出する。サブピクセル視差の求め方には、等角フィッティングやパラボラフィッティングなどが知られている。
　このように画素単位で視差が求められると、画素単位で、画素に映っている物までの距離を算出することができる。
距離＝（ｆ×ｍ）／（ｎ×ｄ）
　ｆはレンズの焦点距離、ｍは基線長、ｎは視差（画素数）、ｄは撮像素子の画素ピッチである。
　〔白線検出〕
　白線検出部２４は、右カメラ１１又は左カメラ１２が撮影した画像から白線を検出する。どちらの画像から白線を検出するかは、以下のように設定されている。
(i)　白線検出装置１００の起動直後（初期設定）、右カメラ１１の画像を白線検出用の画像とする場合
・走路パラメータから直線又は右カーブが検出された場合：右カメラ１１
・走路パラメータから左カーブが検出された場合：左カメラ１２
　その後、走路パラメータから左カーブが検出されなくなった場合は、右カメラ１１に戻してもよいし左カメラ１２のままでもよい。
(ii)　白線検出装置１００の起動直後（初期設定）、左カメラ１２の画像を白線検出用の画像とする場合
・走路パラメータから直線又は左カーブが検出された場合：左カメラ１２
・走路パラメータから右カーブが検出された場合：右カメラ１１
　その後、走路パラメータから右カーブが検出されなくなった場合は、左カメラ１２に戻してもよいし右カメラ１１のままでもよい。
　図７は、白線検出における座標系を説明する図の一例である。本実施形態では、上記のＸ，Ｙ，Ｚ方向の道路座標系と、画像データの平面座標を指定する平面座標系とを用いる。例えば、左カメラ１２のレンズの中心を原点として、左から右の水平方向をＸ軸、車両の高さ方向をＹ軸、車両の進行方向をＺ軸とする。平面座標系は、原点が道路座標系のＺ軸上にあり、Ｘ軸に平行なU軸、Ｙ軸に平面なＶ軸を有する座標系であるとする。
　焦点距離をｆ、座標を小文字ｘ、ｙ、ｚで表すと、道路座標系と平面座標系の変換式は以下のようになる。なお、物体までの距離ｚは焦点距離ｆよりも無視できる程度に大きいと仮定した。
ｖ＝－（ｙ／ｚ）・ｆ
ｕ＝（ｘ／ｚ）・ｆ
　ステレオカメラの高さは固定なので、白線が標示されている路面までの高さも一定と見なすことができ、平面座標のｖから道路座標系のｚを求めることができる。また、ｖから求めたｚにおけるｘは、平面座標系のｕを用いて算出できる。
　また、白線検出には１つの画像しか用いないとしても、ステレオカメラにより各画素の距離情報ｚが求められるので、画素毎に既知のｚを用いれば、ｘ，ｙは一意に求めることができる。
　なお、本実施形態では右カメラ１１又は左カメラ１２のどちらも白線検出に用いられる可能性がある。このため、例えば、右カメラ１１又は左カメラ１２を基準に道路座標系と平面座標系を対応づけておき、基準でない方のカメラの画像を白線検出の対象とする場合は、基線長だけ道路座標系のＸ座標を補正する。すなわち、左カメラ１２を基準とした場合、右カメラ１１の画像を白線検出の対象とする場合、ｘ＝ｘ＋基線長とする。こうすることで、白線検出用のカメラを切り替えても、道路形状にずれが生じることを抑制できる。
　図８は、白線の検出を模式的に説明する図の一例である。図８（ａ）では、画像データ（平面座標系の白線）を模式的に示している。白線検出部２４は、エッジ抽出部２３が抽出したエッジのうち、エッジ強度が閾値以上の画素を特定する。図８（ａ）では左右の白線のそれぞれで、道路の輝度から白線の輝度に変化するエッジと、白線の輝度から道路の輝度に変化するエッジが求められている。なお、道路の中央には白線がないと推定して、白線の検出領域を画像の右側の一部と左側の一部にそれぞれ制限してもよい。これにより、カメラコンピュータ１３の処理負荷を低減できる。
　白線検出部２４は、画面の下から上にエッジ強度が閾値以上の画素を探索する。白線が直線でも画像には「ハ」の字状（下方の間隔が広く、上方の間隔が広い２本の直線状）に撮影されるので、それまで探索した複数のエッジを延長して探索を繰り返す。白線が存在すれば、左右の白線のそれぞれで画面の下から上方向にエッジが得られる。このエッジは、実線の白線が良好に撮影されていれば連続して検出され、点や破線であれば、間隔を置いて検出される。
　白線検出部２４は、ほぼ連続してエッジが検出されるか否か、又は、検出されない場合にはエッジの間隔が等間隔か否かなどを判定することで、エッジが白線の一部と推定できる否かを判定する。エッジが白線の一部であると判定した場合、左右それぞれの２本のエッジ線の幅を一般的な白線の幅と比較するなどして白線でないものを削除することで、左右にそれぞれ白線を検出する。なお、必ずしも左右に白線があるとは限らず、どちらかの白線しか検出されない場合がある。
　白線検出部２４は、道路座標系と平面座標系の対応式を用いて、エッジをＸＺ平面にプロットする（実際の処理でプロットする必要はなく、説明を容易にするための処理である）。図８（ｂ）は、ＸＺ平面の座標（ｘ，ｚ）に変換されたエッジを模式的に示す図の一例である。"×"がエッジに相当する。なお、図８（ａ）では１本の白線の両端でそれぞれエッジが検出されるが、道路モデルに近似されるエッジは１つとした方が、近似精度がよい場合がある。この場合、白線検出部２４は、１本の白線の内側、外側、又は、Ｘ方向の２つのエッジの中点などを算出し、ＸＺ平面にプロットする。
　〔走路パラメータの推定〕
　走路パラメータ推定部２５は図８（ｂ）のエッジから走路パラメータを推定する。走路パラメータの推定にはいくつか方法がある。道路モデル式を用いて、複数のエッジ線の座標を代入し、最小二乗法により道路モデルの係数を特定する方法や、カルマンフィルタやパーティクルフィルタ等の最尤値推定手法を用いて、走路パラメータを推定する方法がある。
　道路モデルの一例として例えば以下のように定義する。
ｘ＝ｘ０＋θ×ｚ＋０．５×ｃ×ｚ２　…（１）
　ｘ０は、右側の白線の走路パラメータを求める場合は、ＸＺ平面の原点から右側の白線までの距離ｘorであり、左側の白線の走路パラメータを求める場合は、ＸＺ平面の原点から左側の白線までの距離ｘolである。θは、右カメラ１１又は左カメラ１２の光軸と白線方向とのなす角（車両のヨー角）である。θは正面方向に対し右向きを正とする。ｃは道路の曲率である。ｃはＸＺ平面の定義から左カーブで負、右カーブで正となる。式（１）によれば、ｘ０を起点に、ヨー角によるずれを補正し（車両が右向きのヨーを有する場合、白線は左方向に傾斜して撮影されるのでその分を補正する）、曲率ｃをｚの二乗で作用させている。
　走路パラメータ推定部２５は、式（１）にＸＺ平面のエッジ線の座標（ｘ、ｚ）を代入し、最小二乗法でθとｃを求める。これにより、走路パラメータの内、ヨー角θと道路の曲率ｃ（半径Ｒ）を求めることができる。また、道路の車線幅Ｗは、ｘor＋ｘolから求めてもよいし、任意のｚ座標における白線のｘ値から求められる。車線の自車両の位置は、例えばレーンの中央位置をゼロ（基準）にして、Ｗ／２－ｘoｒにより表すことができる（右側を正とする場合）。
　なお、道路モデルを表す式としては、クロソイドモデル、Ｂ－スプラインモデルなど種々の式がある。本実施形態でもこれらを適用することができるが、右カーブか左カーブかを判別できる道路モデルを用いればよい。
　〔白線検出用の画像の切り替え〕
　走路パラメータを求められた場合、処理画像切り換え部２６は道路曲率に基づき右カーブか左カーブかを判定し、切り替える必要があれば、白線検出部２４に白線検出に用いる画像を指示する。
　例えば、白線検出部２４が右カメラ１１の画像を白線検出に用いている場合、処理画像切り換え部２６は以下の条件が成立したか否かを判定する。曲率の絶対値がゼロより大きい場合はカーブしていると推定できる。
a．左カーブを検出したこと
b．左カーブの曲率の絶対値が閾値１以上であること
　ｂの条件に閾値１がふくまれることで、緩やかな左カーブであれば、白線検出用のカメラを切り替える必要がない。走路パラメータ推定部２５が、例えばカルマンフィルタなどで走路パラメータを求めている場合、走路パラメータを安定して推定できるまでに何フレームかの画像データを必要とするので、白線検出用のカメラを切り替えないことで、安定した走路パラメータの検出を継続できる。
　上記の条件が成立して、白線検出部２４が左カメラ１２の画像を白線検出に用いている場合、処理画像切り換え部２６は以下の条件が成立したか否かを判定する。
c．右カーブを検出したこと
d．右カーブの曲率の絶対値が閾値１以上であること
　以上のａ～ｄのような条件によれば、左カメラ１２に切り替えた後は左カメラ１２の画像が白線検出用に継続して使用されやすくなる。再度、右カメラ１１に切り替えた後は右カメラ１１の画像が白線検出用に継続して使用されやすくなる。したがって、白線検出用のカメラが頻繁に切り替わることを防止できる。
　閾値１は、固定でもよいが、車速に応じて可変とすることも有効である。車速が大きい場合、遅い場合よりも早期にカーブに接近するので、白線検出装置１００には予め車速が大きいほど小さい閾値１が設定されている。よって、車速が大きい場合には、早期に、白線検出用の画像を切り替えることができる。
　また、メーカなどにより、白線検出部２４が優先的に右カメラ１１の画像を白線検出に用いることが好ましいと判断されている場合、ｄの条件を無視して（又は閾値１をより小さくして）、「c.直線又は右カーブを検出したこと」が成立したことだけで、右カメラ１１の画像を白線検出用に切り替えてもよい。ａ、ｂの条件は元のままである。これにより、例えば、左側の白線が実線でなく点線や破線であったり、細いなどの理由で検出が比較的、困難な国や地域では、ｂの条件により右カメラ１１の画像を白線検出用に優先的に用いることができる。
　逆に、優先的に左カメラ１２の画像を白線検出に用いることが好ましいとメーカなどにより判断されている場合、abとcdの条件が逆になる。すなわち、ｂの条件を無視して「a．直線又は左カーブを検出したこと」が成立したことだけで、左カメラ１２の画像を白線検出用に切り替える。
　また、白線検出部２４は、自車両の左右の白線があれば両方の白線を検出するが、左右の白線のいずれかがない場合、検出できない左右の白線の識別情報を処理画像切り換え部２６に通知する。この場合、処理画像切り換え部２６は、左カーブが検出されていても左の白線が検出されなければ、白線検出部２４に左カメラ１２への切り換えを指示しない。同様に、処理画像切り換え部２６は、右カーブが検出されていても右の白線が検出されなければ、白線検出部２４に右カメラ１１への切り換えを指示しない。こうすることで、合流レーンなどで左又は右の白線が途切れていたり、雨天で白線の検出が困難であったり、白線が劣化により検出困難であったり、他車両が駐車しているような状況で、白線検出用のカメラを切り替えることを防止できる。
　なお、左右の白線の両方が検出されない場合、処理画像切り換え部２６は白線検出用のカメラを切り替えるか否かを判定しない。
　〔動作手順〕
　図９は、白線検出装置１００が白線を検出し、白線検出用のカメラを切り替える手順を示すフローチャート図の一例である。
　ステレオ画像取得部２１は、ステレオカメラの右カメラ１１と左カメラ１２がほぼ同時に撮影した画像を取得する（Ｓ１０）。なお、ステレオカメラが３つ以上のカメラを有していてもよい。この場合、白線検出装置１００は、３つのカメラのうち、白線が良好に検出された画像を特定し、視差を算出したり、走路パラメータを推定する。
　歪補正・平行化部２２は、例えばルックアップテーブル２８を用いて、右カメラ１１の画像及び左カメラ１２の画像に歪補正、及び、平行化処理を施す（Ｓ２０）。
　次に、エッジ抽出部２３は右カメラ１１の画像と左カメラ１２の画像のそれぞれにエッジの抽出処理を施し、白線検出部２４が右カメラ１１の画像又は左カメラ１２の画像のいずれかから白線を検出する（Ｓ３０）。なお、左カメラ１２の画像及び右カメラ１１の画像の両方から白線を検出することを禁止する必要はなく、両方の画像から白線を検出し、白線検出が良好に行われた方の画像から走路パラメータを推定してもよい。白線検出が良好に行われた画像とは、例えば、エッジ数が多い方の画像、エッジをＶ軸方向の線に変換する際に補間した距離が短い画像などである。
　次に、走路パラメータ推定部２５は検出された白線のエッジから走路パラメータを推定する（Ｓ４０）。
　処理画像切り換え部２６は、前方の道路が右又は左にカーブしているか否かを判定して、次の画像から白線検出用の画像を切り替える（Ｓ５０）。すなわち、右カメラ１１の画像が白線検出用の画像である場合、左カーブを検出すると左カメラ１２の画像を白線検出用の画像に切り替える。
　なお、走路パラメータに加え、運転者による操舵方向、操舵速度、及び、ヨーレートの１つ以上を道路のカーブ方向の判定に加えてもよい。運転者が道路に沿ってステアリングホイールを操舵する場合、ゆっくりと操舵を開始しクロソイド曲線に沿って徐々に操舵速度を大きくする。よって、一様な操舵方向に操舵速度が徐々に大きくなった場合に、前方が操舵方向にカーブしていることを推定できる。また、運転者の操舵による以外に、ＬＫＡ等が作動した場合の電動パワーステアリング装置による舵角等、車両自体の舵角によってもカーブ方向を推定できる。
　以上説明したように、本実施例の白線検出装置１００は、道路形状に応じて白線検出用の画像を切り替えることで、道路がカーブしていてもより遠方の白線を撮影でき、遠方の白線を検出することができる。遠方の白線を検出できるので走路パラメータの精度も向上させることができる。
　実施例１では走路パラメータからカーブの有無とカーブ方向を判定したが、本実施例では白線長に基づきカーブの有無とカーブ方向を判定する白線検出装置１００について説明する。
　道路がカーブしている場合、左右の白線のうち外側の白線は内側の白線より長い。
図１０は、外側と内側の白線の長さの比較する図の一例である。内周の円の半径をｒ、円弧を見込む所定の角度をφとする。内周の円弧の長さはｒφ、外周の円弧の長さは（ｒ＋Ｗ）φである。したがって、道路がカーブしている場合、外側の白線の長さはＷφだけ長いと予想される。よって、左右の白線の長さを比較すれば、カーブ方向を推定できる。
　図１１は、カメラコンピュータ１３の機能ブロック図の一例を示す。図１１では図４と異なる機能のうち主要な機能を説明する。本実施例のカメラコンピュータ１３は、白線長さ算出部２９を有している。
　白線長さ算出部２９は、図８（ｂ）のようにＸＺ平面に変換されたエッジ位置をＺ方向の最初のエッジから最後のエッジまで探索し、白線相当部分の長さを算出する。すなわち、白線として検出したエッジを下から上方向にＺ座標を大きくしながら検出し、エッジ間の距離を算出する。そして、各エッジ間の距離を合計する。これを左右の白線について行うことで、左右の白線の長さを求めることができる。
　このように、エッジ間の距離を算出して合計するのでなく、実施例１の道路モデルを利用して白線の長さを求めることもできる。道路モデルとエッジの座標から走路パラメータが分かっている場合、道路形状が（１）式のような関数で表せているので、次式から白線の長さが求められる。なお、積分範囲はＺ方向の最初のエッジから最後のエッジまである。
Ｌ＝∫√｛１＋（dx／dz）2｝dz
　処理画像切り換え部２６は、左右の白線の長さが閾値２以上、異なる場合、前方にカーブがあることを検出する。すなわち、左側の白線の方が右側の白線よりも閾値２以上長い場合、右カーブであると判定し、右側の白線の方が左側の白線よりも閾値２以上長い場合、左カーブであると判定する。なお、実施例１と同様に、白線検出用とするカメラは重み付けしておくことができる。
　また、ＸＺ平面で比較するのでなく、ＵＶ平面の白線の長さを比較してもよい。道路がカーブしている場合、外周側のカーブは画面の対角線上に撮影されるので、この場合もカーブの外側の白線は長くなる。
　図１２は、白線検出装置１００が白線を検出し、白線検出用のカメラを切り替える手順を示すフローチャート図の一例である。図１２では、図９でのステップＳ４０が、ステップＳ４２に置き換わっている。
　ステップＳ４２において、白線長さ算出部２９は左右の白線の長さを算出する（Ｓ４２）。処理画像切り換え部２６は、左右の白線の長さを比較して、次の画像から白線検出用の画像を切り替える（Ｓ５０）。すなわち、右カメラ１１の画像が白線検出用の画像である場合、左カーブを検出すると左カメラ１２の画像を白線検出用の画像に切り替える。なお、実施例１と組み合わせ、走路パラメータと白線の長さの少なくとも一方から道路がカーブしていると判定された場合に、白線検出用のカメラを切り替えてもよい。
　以上説明したように、本実施例の白線検出装置１００は、白線の長さを算出することで道路形状を推定し白線検出用の画像を切り替えることができる。また、白線検出用の画像の切り替え方法を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

Claims (8)

  1. 　自車両が走行する車線を区分する車線区分標示を撮影する複数の撮影手段と、
    　複数の前記撮影手段によりそれぞれ生成された画像データのうち少なくとも１つの画像データから車線区分標示を検出する車線区分標示検出手段と、
    　前記車線区分標示検出手段が検出した車線区分標示から道路形状を推定する道路形状推定手段と、
    　前記道路形状推定手段が推定した道路形状に応じて、前記車線区分標示検出手段が車線区分標示を検出するために使用する画像データを決定する画像データ決定手段と、
    　を有する車線区分標示検出装置。
  2. 　前記画像データ決定手段は、前記道路形状推定手段が推定した道路形状が前方の道路が湾曲していることを示す場合、車幅方向に離間して車載された複数の前記撮影手段のうち湾曲方向に最も近い前記撮影手段が生成した画像データを前記車線区分標示検出手段が車線区分標示を検出するために使用する画像データに決定する、
    　ことを特徴とする請求項１記載の車線区分標示検出装置。
  3. 　前記道路形状推定手段は道路形状として道路の曲率を推定し、
    　前記画像データ決定手段は、道路の前記曲率が閾値以上の場合、複数の前記撮影手段のうち湾曲方向に最も近い前記撮影手段が生成した画像データを前記車線区分標示検出手段が車線区分標示を検出するために使用する画像データに決定する、
    　ことを特徴とする請求項２記載の車線区分標示検出装置。
  4. 　前記道路形状推定手段は道路形状として道路の曲率を推定し、
    　複数の前記撮影手段によりそれぞれ生成される複数の画像データのうち、前記車線区分標示検出手段が車線区分標示を検出するために優先的に使用する画像データが予め定められており、
    　前記車線区分標示検出手段が優先的に使用する画像データから車線区分標示を検出している場合、前記画像データ決定手段は、道路の前記曲率が閾値以上の場合、複数の前記撮影手段のうち湾曲方向に最も近い前記撮影手段が生成した画像データを前記車線区分標示検出手段が車線区分標示を検出するために使用する画像データに決定し、
    　前記車線区分標示検出手段が優先的に使用する画像データでない画像データから車線区分標示を検出している場合、道路の前記曲率が直線道路と見なせる程度に小さい場合、前記車線区分標示検出手段が優先的に使用する画像データを、車線区分標示を検出する画像データに決定する、
    　ことを特徴とする請求項２記載の車線区分標示検出装置。
  5. 　前記画像データ決定手段は、車線区分標示検出手段が検出した車線区分標示に加え、車両の舵角に基づき道路形状を推定する、
    　ことを特徴とする請求項１～４いずれか１項記載の車線区分標示検出装置。
  6. 　前記車線区分標示検出手段が検出した車線区分標示の長さを算出する長さ算出手段を有し、
    　前記画像データ決定手段は、前記長さ算出手段が算出した自車両の左右の車線区分標示の長さの比較結果に応じて道路形状を推定する、
    　ことを特徴とする請求項１記載の車線区分標示検出装置。
  7. 　前記道路形状推定手段は、道路の幅、前記幅方向の自車両の位置、及び、車線区分標示に対するヨー角を推定する、
    　ことを特徴とする請求項１項記載の車線区分標示検出装置。
  8. 　車線区分標示検出装置と、運転支援装置とが車載ネットワークを介して接続された運転支援システムであって、
    　前記車線区分標示検出装置は、自車両が走行する車線を区分する車線区分標示を撮影する複数の撮影手段と、
    　複数の前記撮影手段によりそれぞれ生成された画像データのうち少なくとも１つの画像データから車線区分標示を検出する車線区分標示検出手段と、
    　前記車線区分標示検出手段が検出した車線区分標示から道路形状を推定する道路形状推定手段と、
    　前記道路形状推定手段が推定した道路形状に応じて、前記車線区分標示検出手段が車線区分標示を検出するために使用する画像データを決定する画像データ決定手段と、を有し、
    　前記運転支援装置は、前記道路形状推定手段が推定した、道路の幅、前記幅方向の自車両の位置、及び、車線区分標示に対するヨー角に基づき、自車両の車線逸脱防止支援を行う、ことを特徴とする運転支援システム。
PCT/JP2012/065275 2012-06-14 2012-06-14 車線区分標示検出装置、運転支援システム WO2013186903A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201280073463.XA CN104335264A (zh) 2012-06-14 2012-06-14 车道划分标示检测装置、驾驶辅助系统
PCT/JP2012/065275 WO2013186903A1 (ja) 2012-06-14 2012-06-14 車線区分標示検出装置、運転支援システム
EP12879087.0A EP2863374A4 (en) 2012-06-14 2012-06-14 CIRCULATION PATH SEPARATION MARKING DETECTION APPARATUS, AND DRIVER ASSISTANCE SYSTEM
US14/407,645 US20150165973A1 (en) 2012-06-14 2012-06-14 Lane Separation Mark Detection Apparatus and Drive Support System
JP2014521066A JP5880703B2 (ja) 2012-06-14 2012-06-14 車線区分標示検出装置、運転支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/065275 WO2013186903A1 (ja) 2012-06-14 2012-06-14 車線区分標示検出装置、運転支援システム

Publications (1)

Publication Number Publication Date
WO2013186903A1 true WO2013186903A1 (ja) 2013-12-19

Family

ID=49757765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/065275 WO2013186903A1 (ja) 2012-06-14 2012-06-14 車線区分標示検出装置、運転支援システム

Country Status (5)

Country Link
US (1) US20150165973A1 (ja)
EP (1) EP2863374A4 (ja)
JP (1) JP5880703B2 (ja)
CN (1) CN104335264A (ja)
WO (1) WO2013186903A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210764A (ja) * 2014-04-30 2015-11-24 日産自動車株式会社 走行車線認識装置、走行車線認識方法
JP2015219569A (ja) * 2014-05-14 2015-12-07 株式会社デンソー 境界線認識装置および境界線認識プログラム
JP2017102928A (ja) * 2015-12-03 2017-06-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 二輪車における傾斜検出
JP2021508901A (ja) * 2018-05-31 2021-03-11 上▲海▼商▲湯▼智能科技有限公司Ｓｈａｎｇｈａｉ Ｓｅｎｓｅｔｉｍｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器
JP7437512B2 (ja) 2020-01-06 2024-02-22 ルミナー，エルエルシー 撮像システムのための車線の検出および追跡方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA031127B1 (ru) * 2011-03-29 2018-11-30 Юра Трейд, Лимитед Способ и устройство для создания и аутентификации защищенных документов
CN104736416B (zh) * 2012-10-04 2016-08-24 日产自动车株式会社 转轮控制装置
DE102012112104A1 (de) * 2012-12-11 2014-06-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur befahrbarkeitsanalyse
US9424475B1 (en) * 2014-09-17 2016-08-23 Google Inc. Construction object detection
DE112015006622T5 (de) * 2015-06-15 2018-03-29 Mitsubishi Electric Corporation Fahrspurbestimmungsvorrichtung und Fahrspurbestimmungsverfahren
KR20190012370A (ko) * 2017-07-27 2019-02-11 삼성에스디에스 주식회사 차선 변경 지원 방법 및 장치
JP6965739B2 (ja) * 2017-12-27 2021-11-10 株式会社デンソー 車両制御装置
KR102595897B1 (ko) 2018-08-27 2023-10-30 삼성전자 주식회사 차선 결정 방법 및 장치
KR102442230B1 (ko) * 2018-09-30 2022-09-13 그레이트 월 모터 컴퍼니 리미티드 주행 좌표계의 구축 방법 및 응용
KR20200040374A (ko) * 2018-10-10 2020-04-20 삼성전자주식회사 거리 추정 방법 및 장치
US10735716B2 (en) * 2018-12-04 2020-08-04 Ford Global Technologies, Llc Vehicle sensor calibration
FR3094317B1 (fr) * 2019-04-01 2021-03-05 Renault Sas Module anticipateur, dispositif de contrôle en temps réel de trajectoire et procédé associés
KR20210148756A (ko) * 2020-06-01 2021-12-08 삼성전자주식회사 경사 추정 장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250199A (ja) * 2000-03-07 2001-09-14 Toyota Central Res & Dev Lab Inc 走行コース推定装置
JP2005343417A (ja) * 2004-06-07 2005-12-15 Auto Network Gijutsu Kenkyusho:Kk 駐車アシスト装置
JP2008225822A (ja) * 2007-03-13 2008-09-25 Toyota Motor Corp 道路区画線検出装置
JP2009041972A (ja) 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
JP2010069922A (ja) * 2008-09-16 2010-04-02 Toyota Motor Corp 車線認識装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69635569T2 (de) * 1995-04-25 2006-08-10 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum Bestimmen der lokalen Position eines Autos auf einer Strasse
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
US7038577B2 (en) * 2002-05-03 2006-05-02 Donnelly Corporation Object detection system for vehicle
JP4134939B2 (ja) * 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
WO2006121087A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
US7561032B2 (en) * 2005-09-26 2009-07-14 Gm Global Technology Operations, Inc. Selectable lane-departure warning system and method
CN1804928A (zh) * 2005-11-24 2006-07-19 上海交通大学 基于机器视觉的车道局部几何结构和车辆位置估计方法
JP5124875B2 (ja) * 2008-03-12 2013-01-23 本田技研工業株式会社 車両走行支援装置、車両、車両走行支援プログラム
US8311283B2 (en) * 2008-07-06 2012-11-13 Automotive Research&Testing Center Method for detecting lane departure and apparatus thereof
JP4730406B2 (ja) * 2008-07-11 2011-07-20 トヨタ自動車株式会社 走行支援制御装置
US8364334B2 (en) * 2008-10-30 2013-01-29 Honeywell International Inc. System and method for navigating an autonomous vehicle using laser detection and ranging
US9459515B2 (en) * 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP5286214B2 (ja) * 2009-09-30 2013-09-11 日立オートモティブシステムズ株式会社 車両制御装置
DE102011014139B4 (de) * 2010-03-17 2023-04-06 Hl Klemove Corp. Verfahren und system für eine spurhalteregelung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250199A (ja) * 2000-03-07 2001-09-14 Toyota Central Res & Dev Lab Inc 走行コース推定装置
JP2005343417A (ja) * 2004-06-07 2005-12-15 Auto Network Gijutsu Kenkyusho:Kk 駐車アシスト装置
JP2008225822A (ja) * 2007-03-13 2008-09-25 Toyota Motor Corp 道路区画線検出装置
JP2009041972A (ja) 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
JP2010069922A (ja) * 2008-09-16 2010-04-02 Toyota Motor Corp 車線認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2863374A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210764A (ja) * 2014-04-30 2015-11-24 日産自動車株式会社 走行車線認識装置、走行車線認識方法
JP2015219569A (ja) * 2014-05-14 2015-12-07 株式会社デンソー 境界線認識装置および境界線認識プログラム
JP2017102928A (ja) * 2015-12-03 2017-06-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 二輪車における傾斜検出
JP7179440B2 (ja) 2015-12-03 2022-11-29 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 二輪車における傾斜検出
JP2021508901A (ja) * 2018-05-31 2021-03-11 上▲海▼商▲湯▼智能科技有限公司Ｓｈａｎｇｈａｉ Ｓｅｎｓｅｔｉｍｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器
JP7024115B2 (ja) 2018-05-31 2022-02-22 上▲海▼商▲湯▼智能科技有限公司 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器
US11314973B2 (en) 2018-05-31 2022-04-26 Shanghai Sensetime Intelligent Technology Co., Ltd. Lane line-based intelligent driving control method and apparatus, and electronic device
JP7437512B2 (ja) 2020-01-06 2024-02-22 ルミナー，エルエルシー 撮像システムのための車線の検出および追跡方法

Also Published As

Publication number Publication date
EP2863374A1 (en) 2015-04-22
JPWO2013186903A1 (ja) 2016-02-01
JP5880703B2 (ja) 2016-03-09
CN104335264A (zh) 2015-02-04
EP2863374A4 (en) 2016-04-20
US20150165973A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
JP5880703B2 (ja) 車線区分標示検出装置、運転支援システム
JP5829980B2 (ja) 路側物検出装置
JP5276637B2 (ja) 車線推定装置
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
JP6459659B2 (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
JP3822515B2 (ja) 障害物検知装置及びその方法
JP4930046B2 (ja) 路面判別方法および路面判別装置
TWI401175B (zh) Dual vision front vehicle safety warning device and method thereof
JP5561064B2 (ja) 車両用対象物認識装置
EP1403615A2 (en) Apparatus and method for processing stereoscopic images
KR20200000953A (ko) 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
JP2015148887A (ja) 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム
WO2011016257A1 (ja) 車両用距離算出装置
JP7229032B2 (ja) 車外物体検出装置
JP2007310591A (ja) 画像処理装置及び駐車場判定方法
CN110659553A (zh) 车辆用标线检测装置
JP4900377B2 (ja) 画像処理装置
WO2020121758A1 (ja) 撮像部制御装置
US20240103525A1 (en) Vehicle and control method thereof
JP5129094B2 (ja) 車両周辺監視装置
JP7166096B2 (ja) 画像処理装置および画像処理方法
JP4381394B2 (ja) 障害物検知装置及びその方法
JP4471881B2 (ja) 障害物認識装置及び障害物認識方法
JP2014181957A (ja) 車載カメラ校正装置、車載カメラ校正方法、プログラム及び媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12879087

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014521066

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012879087

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012879087

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14407645

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE