WO2013190719A1 - 路側物検出装置 - Google Patents

路側物検出装置 Download PDF

Info

Publication number
WO2013190719A1
WO2013190719A1 PCT/JP2012/077808 JP2012077808W WO2013190719A1 WO 2013190719 A1 WO2013190719 A1 WO 2013190719A1 JP 2012077808 W JP2012077808 W JP 2012077808W WO 2013190719 A1 WO2013190719 A1 WO 2013190719A1
Authority
WO
WIPO (PCT)
Prior art keywords
roadside object
line
search range
edge
object detection
Prior art date
Application number
PCT/JP2012/077808
Other languages
English (en)
French (fr)
Inventor
嘉修 竹前
章弘 渡邉
史也 一野
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to EP12879593.7A priority Critical patent/EP2863358A4/en
Priority to CN201280073243.7A priority patent/CN104520894A/zh
Priority to US14/402,197 priority patent/US9676330B2/en
Publication of WO2013190719A1 publication Critical patent/WO2013190719A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/25—Road altitude
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a roadside object detection device that detects a roadside object using a plurality of captured images.
  • Patent Document 1 discloses an image recognition device that detects a curb by using the change in the length of the side portion of the curb and the change in the length of a parallel part parallel to the road surface according to the distance from the camera. Has been.
  • Patent Document 1 has a problem that it is difficult to detect a curb relatively far from the vehicle.
  • FIG.26 (a) is an example of the figure which shows the distant curbstone and the adjacent curbstone which were image
  • FIG.26 (b) is an example of the figure which shows the photograph of Fig.26 (a) typically.
  • an object of the present invention is to provide a roadside object detection device that can also detect roadside objects such as distant curbs.
  • the present invention is a roadside object detection device that detects a roadside object using a plurality of photographed images, and analyzes a plurality of the photographed images to detect a height of a subject to be photographed in a nearby region whose distance from the host vehicle is less than a threshold value.
  • Feature point extrapolation means for extrapolating the feature point to a distant area whose distance from the host vehicle is equal to or greater than the threshold according to a road model
  • the feature point extrapolation means Roadside object detection means for setting a search range of the roadside object based on an imaginary line obtained by extrapolating points and detecting the roadside object in the distant area from the search range.
  • a roadside object detection device capable of detecting roadside objects such as distant curbs can be provided.
  • FIG. 1 It is an example of the figure which illustrates the detection of the roadside object by a roadside object detection apparatus roughly. It is an example of the schematic block diagram of the driving assistance system containing a roadside object detection apparatus. It is an example of the functional block diagram of a camera computer. It is an example of the flowchart figure explaining the operation point order of a roadside object detection apparatus. It is a figure which shows an example of a filter process. It is an example of the figure explaining search of parallax. It is a figure which shows an example of the method of calculating
  • Example 3 which is an example of the flowchart figure which shows the procedure in which a roadside object detection apparatus detects a curbstone and a sidewalk belt edge from an image. It is an example of the figure which illustrates detection of a white line typically. It is an example of the figure explaining the setting of the search range by a search range setting part. It is an example of the flowchart figure which shows the procedure in which an edge line segment detection part detects an edge line segment.
  • Example 4 which is an example of the functional block diagram of a camera computer.
  • Example 4 which is an example of the flowchart figure which shows the procedure in which a roadside object detection apparatus detects a curbstone and a sidewalk belt edge from an image. It is an example of the figure explaining the setting of the search range by a search range setting part. It is an example of the figure which shows the distant curbstone image
  • FIG. 1 is an example of a diagram schematically illustrating detection of a roadside object by a roadside object detection device.
  • the roadside object detection device captures the traveling direction of the vehicle with a stereo camera and acquires three-dimensional information. Although the three-dimensional information can be obtained from the entire screen, the roadside object detection apparatus estimates the road surface structure only in the vicinity region. The reason for using the image of only the vicinity region is that the disparity error is likely to be included as the distance increases.
  • the roadside object detection device detects feature points having a certain level difference or more in the height direction from the neighboring region using the three-dimensional information or the road surface structure. For example, the image data is scanned in the horizontal direction, and a level difference that can be regarded as a curb is detected. Since the height of the pixel on the curb is different from the pixel on the curb like the point A and the pixel other than the curb like the point B in the figure, the step formed by the curb can be detected.
  • the roadside object is, for example, a curb or a sidewalk margin, but includes a feature that is higher than the road surface and laid along the road.
  • the road model is a road shape expression format that expresses the shape of the road by a mathematical expression and its coefficient. If the road model is determined, it is possible to estimate the range where the curb is located by extrapolating the road model in a distant image from which three-dimensional information is not detected. The extrapolation of the road model means that a point determined by the road model formula is calculated in the far field. Although this collection of points becomes a line, in the present embodiment, this line is called a virtual line.
  • the edge search range is set by moving the virtual line to the left and right in the horizontal direction.
  • the roadside object detection device detects the edge of the curb from this search range (triangular mark in the figure).
  • the roadside object detection device extracts a line segment from the edge, for example, by converting the edge into a straight line.
  • the curbstone is detected when three substantially parallel straight lines are detected within a certain distance in the horizontal direction
  • the sidewalk belt edge is detected when two approximately parallel straight lines are detected within a certain distance in the horizontal direction. To detect.
  • FIG. 2 shows an example of a schematic configuration diagram of a driving support system 500 including the roadside object detection device 100.
  • the driving support system 500 includes a roadside object detection device 100, a driving support ECU (Electronic Control Unit) 200, and an operation device 300 that are connected to each other via an in-vehicle LAN such as a CAN (Controller Area Network) bus.
  • a driving support ECU Electronic Control Unit
  • an operation device 300 that are connected to each other via an in-vehicle LAN such as a CAN (Controller Area Network) bus.
  • CAN Controller Area Network
  • the roadside object detection device 100 transmits target information up to the obstacle to the driving support ECU 200 in addition to the road parameter described later.
  • the driving support ECU 200 determines the necessity of driving support based on the road parameter and target information, and requests the operation device 300 to operate.
  • the operation device 300 is, for example, an alarm device for a meter panel, an electric power steering device, a brake actuator, or the like.
  • the runway parameters are, for example, the curvature (radius) of the road, the lane width of the road, the lateral position of the host vehicle in the lane, the yaw angle of the host vehicle with respect to the road, and the like.
  • the driving assistance ECU 200 performs driving assistance using information (for example, wheel speed, steering angle, yaw rate, etc.) detected by another ECU connected to the in-vehicle LAN or a sensor.
  • LDW Likane
  • LKA Li ⁇ ⁇ Keeping Assist
  • LDW refers to driving assistance that alerts the driver with a warning sound or vibration when there is a risk of deviating from the lane from the lateral position, yaw angle, and vehicle speed.
  • LKA is a driving support mode in which the electric power steering device is controlled to apply steering torque to the steering shaft, and braking and engine output for each wheel are controlled so that the host vehicle travels on a target driving line in the lane. .
  • LKA In addition to controlling the steering torque, braking for each wheel, and engine output so as to travel on the target travel line, there is also an LKA that controls to maintain the lane when there is a risk of departure from the lane.
  • the runway parameter can be detected from the white line, and when it is difficult to detect the white line, it can be detected from the curb or the sidewalk belt edge.
  • the target information is, for example, distance information, relative speed, and direction (lateral position).
  • the driving assistance ECU 200 extracts obstacles that may cause a collision from the azimuth (lateral position).
  • the driving assistance ECU 200 sounds an alarm sound or decelerates.
  • Provide driving assistance such as
  • the roadside object detection device 100 includes a right camera 11, a left camera 12, and a camera computer 13.
  • the right camera 11 and the left camera 12 are one stereo camera.
  • the stereo camera is arranged on the rear-view mirror with the optical axis facing the front of the vehicle, but may be arranged at another place such as a roof top.
  • the right camera 11 and the left camera 12 are spaced apart by a predetermined distance (baseline length).
  • Each of the right camera 11 and the left camera 12 has a solid-state image sensor such as a CCD or CMOS or a backside-illuminated CMOS.
  • the right camera 11 and the left camera 12 may be a monochrome camera that acquires only luminance information or a color camera.
  • the right camera 11 and the left camera 12 periodically photograph a predetermined range in front of the vehicle almost simultaneously.
  • a white line is marked on the road surface, a curb (or a sidewalk rim) and a white line are photographed in the image.
  • the white line is merely an example of a road marking that divides the lane.
  • a white line it is not limited to a white line, but includes a chromatic line marking, a dotted line, a broken line, a botsdot, a cat's eye, and the like.
  • the camera computer 13 is a computer provided with a CPU, ROM, RAM, CAN controller, input / output I / F, and other general circuits. As will be described later, the camera computer 13 performs distortion correction / parallelization, step detection, runway parameter estimation, line segment detection in a distant region, and the like.
  • FIG. 3 shows an example of a functional block diagram of the camera computer 13.
  • the camera computer 13 includes a stereo image acquisition unit 21, a distortion correction / parallelization unit 22, an edge extraction unit 23, a parallax detection unit 24, a road surface detection unit 25, a road surface structure estimation unit 26, a step determination unit 27, and a runway parameter estimation unit 28.
  • the stereo image acquisition unit 21 acquires the image data of the images periodically captured by the right camera 11 and the images periodically captured by the left camera 12, and stores them in a buffer or the like.
  • the distortion correction / parallelization unit 22 corrects and parallelizes the distortion of the left and right images using the external parameters and internal parameters of the camera acquired in advance.
  • the internal parameters are, for example, lens distortion and distortion aberration of the right camera 11 and the left camera 12, image sensor distortion, focal length, and the like.
  • Lens distortion is reduced by, for example, correcting image data with reference to a correction conversion table generated based on a lens design value. Distortion is reduced by correcting image data based on parameter estimation using a radial distortion aberration model.
  • External parameters are, for example, values obtained by quantifying the camera mounting position and orientation. Since there is a slight difference in the mounting positions (for example, height) and orientations (pitch, roll, yaw) of the left and right cameras, the optical axes of the right camera 11 and the left camera 12 are perfectly matched and parallel. It may not be possible. For this reason, for example, the imaging system of the right camera 11 and the left camera 12 may rotate relatively around the optical axis due to the difference in the external parameters. In order to reduce such rotation, the stereo camera is calibrated by a vehicle manufacturer before shipment. In calibration, the right camera 11 and the left camera 12 respectively shoot a distortion calibration chart.
  • the proofreading chart has a checkered pattern in which square white cells and black cells are reversed.
  • the correspondence between the pixels is specified so that the black and white square of the image of the left camera 12 matches the black and white square of the image of the right camera 11.
  • the correspondence relationship is registered in the table, and for example, it is set to which pixel position the pixel position before correction is converted in correspondence with all the pixels of the right camera 11.
  • FIG. 5A is a diagram showing an example of parallelized image data of the right camera 11 and image data of the left camera 12.
  • the vehicle width direction is the X axis
  • the vehicle height direction is the Y axis
  • the traveling direction is the Z axis.
  • the coordinates P (X, Y, Z) are reflected in the pixel Pl of the left camera 12 and the pixel Pr of the right camera 11, respectively.
  • the parallax search may be performed on the left and right image data parallelized by the distortion correcting / parallelizing unit 22, but the search is facilitated by performing the parallax search after performing the edge enhancement processing. Therefore, the edge extraction unit 23 extracts edges from the left and right images.
  • Various types of edge extraction filters are known. For example, a sobel filter is used.
  • FIG. 5B is a diagram showing an example of the result of the filter processing.
  • white lines, guardrails, trees, and the like are photographed, but the images of the right camera 11 and the left camera 12 are emphasized by white lines, guardrails, or ends of the trees by the filter processing (in the figure).
  • the image is shown with white pixels.
  • FIG. 6A is an example of a diagram for explaining a search for parallax.
  • the parallax calculation unit 27 calculates SAD (Sum of Absolute Difference) or SSD (Sum of Squared Differences) for each region including the pixel of interest (hereinafter referred to as a window).
  • SAD is the sum of absolute values of pixel value differences for each pixel
  • SSD is the sum of squares of pixel value differences for each pixel. It means that the smaller the value is, the higher the matching degree of images included in the window.
  • a rectangular window centered on the pixel (x, y) is generated, and the pixel (x, y) is also selected from the right image. Create a center window.
  • the parallax calculation unit 27 calculates the SAD or SSD in the left image window and the right image window, the parallax calculation unit 27 calculates the SAD or SSD by shifting the entire right image window to the right by one pixel. repeat. That is, since they are parallelized, it is only necessary to shift the window by one pixel in the x direction without shifting the window in the y-axis direction in the right image.
  • FIG. 6B shows an example of the relationship between the shift amount (parallax) in the x direction and SAD.
  • the SAD shows a minimum value with respect to the shift amount.
  • the shift amount of the pixel indicating the minimum value among several minimum values is the parallax at the pixel (x, y) focused on the right image.
  • the parallax calculation unit 27 may obtain SAD or SSD for all the pixels in the x direction of the right image, or when the SAD or SSD shows a minimum value that is equal to or less than the threshold without defining a search range.
  • the calculation of SAD or SSD may be discontinued. In the former, the most certain parallax can be obtained, and in the latter, a certain degree of certain parallax can be efficiently obtained.
  • the parallax may be obtained from the luminance image as described above. Further, the parallax may be obtained from both the edge image and the luminance image. When both an edge image and a luminance image are used, the parallax is determined by setting an average of pixel shift amounts at which SAD or SSD is minimized, or by weighting the edge image and the luminance image. In this way, the parallax can be obtained more accurately.
  • the parallax calculation unit 27 calculates sub-pixel parallax in addition to the integer parallax in units of pixels. For obtaining sub-pixel parallax, equiangular fitting, parabolic fitting or the like is known.
  • the parallax may be acquired for the entire screen, or may be acquired only in the vicinity area in consideration of being used only in the vicinity area.
  • FIG. 7 is a diagram illustrating an example of how to obtain sub-pixel parallax by equiangular fitting.
  • FIG. 7 shows the parallax where the SAD of FIG. 6B has the minimum value and the SAD values before and after that.
  • Let the SAD value of the parallax at which the SAD is the minimum value be c, the SAD value on the side with the smaller parallax than the minimum value be a, and the SAD value on the side with the larger parallax be b. If a b, the parallax at which the SAD is the minimum value is the parallax in units of subpixels.
  • the parallax calculation unit 27 determines the sum of the integer parallax and the sub-pixel parallax SP as the parallax of the target pixel.
  • the road surface detection unit 25 estimates the structure of the road surface from the parallax image. For this reason, first, only the road area is estimated from the image.
  • the road surface region is a road surface region as long as it is a flat region without a three-dimensional object without distinguishing between a region where a pedestrian such as a curb or a sidewalk belt travels and a roadway on which the vehicle travels.
  • FIG. 8 is an example of a diagram illustrating estimation of a road surface area.
  • parallax information is superimposed on the image. Pixels with the same parallax are processed so as to have the same level of brightness by associating luminance with parallax and superimposing it with image data.
  • the parallax in the y direction varies depending on the y value. Therefore, when the image is scanned upward from the lower end of the y-coordinate of the image (the arrow in the figure) and pixels within a predetermined parallax difference are consecutive, it can be determined as a three-dimensional object. When pixels within a predetermined value of the difference in parallax do not continue, it is determined that the road surface is (parallax). Note that the predetermined value can be set to less than one pixel because parallax in units of subpixels is detected in this embodiment.
  • the road surface structure estimation unit 26 estimates the road surface structure using the disparity information of only the vicinity region with respect to the vehicle. By using image data of only the vicinity region, it is possible to estimate the road surface structure without using disparity information in a distant place that easily includes errors.
  • the neighborhood area is an area where the accuracy of the parallax information is reliable and depends on the quality and design of the stereo camera. Also, if the accuracy of parallax information is affected by the difference between daytime and nighttime, or the difference between fine weather and rainy weather, the neighborhood area will not be constant even with the same stereo camera mounted on a certain vehicle There is a case.
  • the neighboring area is an area in which a predetermined margin is provided in consideration of a case where the condition deteriorates with respect to an area where the accuracy of the parallax information is equal to or greater than a threshold (a predetermined number of pixels from the lower end of the y coordinate of the image) A region whose accuracy of information is slightly narrower than a region having a threshold value or more).
  • the neighborhood region may be variably set by detecting whether it is daytime or nighttime using an illuminance sensor or the like, and detecting the weather using a rain sensor or the like. By doing so, it is possible to use disparity information far away to the maximum according to the situation that affects the accuracy of the disparity information.
  • the road surface structure estimation unit 26 calculates the distance D to the road surface in the vicinity region using the parallax information.
  • D (f ⁇ B) / ( ⁇ d)
  • f the focal length of the lens
  • B the base length
  • ⁇ d the parallax (number of pixels ⁇ pixel pitch of the image sensor).
  • the road coordinate system is taken as shown in FIG. With the center of the lens as the origin, the horizontal direction from left to right is the X axis, the height direction of the vehicle is the Y axis, and the traveling direction of the vehicle is the Z axis.
  • a plane coordinate system that is a coordinate system of points in the image is a coordinate system having an origin on the Z axis of the road coordinate system, an x axis parallel to the X axis, and a y axis parallel to the Y axis. To do. When the distance from the lens to the image is so long that the focal length f can be ignored, the height Y and the lateral position X of the object at the distance D can be obtained from the following equations.
  • FIG. 9B is an example of a diagram illustrating the formulation of the road surface structure.
  • the road surface is generally flat, and the upper limit of the road design gradient is determined by laws and regulations except for the original special terrain. Therefore, it can be approximated by the number of first order or the quadratic function.
  • the road surface structure is represented by the following formula, for example, where a is the cross-sectional curvature, b is the pitch, and c is the camera height.
  • Y a ⁇ Z 2 + b ⁇ Z + c (1)
  • A, b, and c can be determined by substituting the distance D into Z and Y obtained from the distance D into the equation (1) and using the least square method or the like. As long as the coefficient can be obtained recursively, Newton method, Gaussian Newton method, etc. may be used in addition to the least square method.
  • the level difference determination unit 27 detects a level difference from the road surface (the curbstone, the sidewalk belt edge and the roadway are not distinguished).
  • the distance D, the height Y, and the lateral position X are obtained for the pixels in the region estimated as the road surface by the processing so far. Further, a road surface structure is required.
  • the step judgment unit 27 detects a step using at least one of the road surface structure and the height Y.
  • the height Y of the three-dimensional information may be used directly, but the three-dimensional information may vary. For this reason, it is preferable to use the height Y obtained by the road surface structure as in the formula (1). However, it is also possible to detect the step by directly using the height Y of the three-dimensional information.
  • FIG. 10 is an example of a diagram for explaining detection of a step.
  • an arrow line (hereinafter referred to as a scanning horizontal line) is drawn in the x direction for a pixel having a constant y coordinate value.
  • the level difference determination unit 27 scans along the scanning horizontal line in the region in the y direction where the height Y is required, and reads the height Y.
  • FIG. 10B is an example of a diagram illustrating the correspondence between pixels and steps.
  • the height Y of the points A and B is approximately the same. Since the pixels from point B to point D correspond to the side surface of the step of the sidewalk belt edge, the height Y takes a value between point B and point D.
  • the height Y of the point E after the point D is a roadway, and is therefore almost constant regardless of the X coordinate.
  • the height Y from the point B to the point D is merely what is schematically shown, and the height of the point C may be equal to or lower than the height Y of the point B and higher than the height Y of the point D.
  • the level difference determination unit 27 detects the level difference (determines that there is a level difference).
  • the height of the step is determined by, for example, a road structure example, and a threshold value (for example, 15 cm) is set with reference to the value. This value can be changed depending on the country or region.
  • the level difference determination unit 27 reads the height Y from the left to the right along the scanning horizontal line, and when the height Y decreases by about a threshold value, or the height Y increases from the right to the left along the direction opposite to the scanning horizontal line.
  • the scanning range of the scanning horizontal line may be limited to the left side of the center of the image and the like, thereby suppressing the processing load and improving the step detection speed.
  • the range in the X-axis direction in which the height Y changes may be limited to, for example, about 10 cm to 30 cm. By doing so, it is possible to suppress detection of a step from a place where an object is placed although there is no curb or sidewalk edge.
  • the step determination unit 27 identifies the points B and D as feature points. Therefore, two feature points are specified for one scanning horizontal line. The distance D (Z), height Y, and lateral position X of these feature points are clear.
  • FIG. 10C is an example of a diagram explaining the correspondence between pixels and steps in the case of a curb.
  • the region closer to the edge of the image than the curbstone has the same height Y as the roadway. Therefore, the height Y of the point F and the point E is comparable. Thereafter, the height Y suddenly increases at the point A, and the same height Y is maintained until the point B. The height after point B is the same as in FIG.
  • the height determination unit 27 reads the height Y from the left to the right along the scanning horizontal line, the height Y increases by about a threshold value, and further the height Y is increased from the left to the right along the scanning horizontal line.
  • the height Y decreases by about a threshold value when read, a step is detected. The same applies when scanning in the direction opposite to the scanning horizontal line. In the case of a curb, the step may be detected from only one of the increase or decrease in the height Y.
  • the level difference determination unit 27 identifies the points A, B, and D as feature points. Therefore, in the case of a curb, three feature points are specified for one scanning horizontal line.
  • the cross-sectional shape of curbstones and sidewalk belt edges often rises at 90 degrees, but even when rising at a gentle angle of 90 degrees or more, or at an acute angle of less than 90 degrees, a step from height Y Can be detected.
  • the cross-sectional shape of the curb or the sidewalk belt is not limited.
  • the cat's eye may be embed
  • the runway parameter estimation unit 28 estimates a runway parameter of the runway by setting a road model and determining a coefficient of the road model.
  • Roads are often designed based on clothoid curves and B-spline models. Since curbstones and sidewalk rims are arranged along the road, it can be expected that feature points are also detected along the road model.
  • FIG. 11 is an example of a diagram for explaining estimation of runway parameters.
  • the runway parameter estimation unit 28 estimates the coefficient of the road model from these feature points.
  • X X 0 + ⁇ ⁇ Z + 0.5 ⁇ c ⁇ Z 2 (2)
  • ⁇ is an angle (yaw angle of the vehicle) formed by the optical axis of the right camera 11 or the left camera 12 and the curb or sidewalk rim.
  • ⁇ is positive in the right direction with respect to the front direction.
  • c is the curvature of the road. c is negative on the left curve and positive on the right curve from the definition of the XZ plane.
  • the runway parameter estimation unit 28 substitutes the coordinates (X, Z) of the feature points on the XZ plane in Expression (2), and obtains ⁇ and c by the least square method. Thereby, it is possible to obtain the yaw angle ⁇ and the road curvature c (radius R) among the runway parameters.
  • the width W is a white line on the left side in an arbitrary Z coordinate (a white line when there is a white line, a feature point such as a curb on the left side if there is a white line), a white line on the right side (a white line if there is a white line, or a right side if there is a white line). It is calculated from the distance to the feature point of the curb.
  • the position of the host vehicle in the lane can be represented by W / 2 ⁇ Xo , for example, with the center position of the lane set to zero (reference).
  • the runway parameter can be obtained from the curb or the sidewalk belt edge.
  • the search range setting unit 29 sets an edge search range using the road model for which the coefficient is determined.
  • the edge search range is an image processing range for searching for the edge of a distant area and the edge of a sidewalk belt.
  • FIG. 12 is an example of a diagram illustrating the setting of the search range.
  • the runway parameter estimation unit 28 determines the runway parameters of a predetermined road model from the feature points in the vicinity area.
  • the search range setting unit 29 calculates X at an arbitrary Z in the far region, using the determined road parameter. Thereby, a virtual line 41 obtained by extrapolating the feature points of the curbstone and the sidewalk belt edge to the far region is obtained.
  • the search range setting unit 29 sets the search range by translating the virtual line by a predetermined distance symmetrically or asymmetrically to the virtual line.
  • the virtual line 41 exists between the two straight lines.
  • the two search range lines 42 and 43 are set by moving the virtual line 41 in the positive direction and the negative direction (left side and right side) in the X-axis direction by a predetermined distance.
  • the edge search range is from the search range line 43 in the positive direction to the search range line 42 in the negative direction.
  • the virtual line 41 is parallel to the virtual line 41 diagonally above and diagonally below by a predetermined distance.
  • Two search range lines 42 and 43 are set by moving.
  • the virtual line 41 is a predetermined distance in the upward and downward directions with respect to the virtual line 41, Set the search range by translating.
  • the distance between the virtual line 41 and the search range line 42 and the distance between the virtual line 41 and the search range line 43 may be equal (symmetric) or may not be equal (asymmetric).
  • the search range setting unit 29 sets the search range line 43 in the direction in which the X value increases with respect to the virtual line 41 with the largest X value, and the X value is smaller with respect to the virtual line 41 with the smallest X value.
  • the search range line 42 may be set in such a direction. By doing so, even if the virtual line 41 of three feature points is detected like a curb, two search range lines 42 and 43 may be set in order to set the search range.
  • the edge line segment detection unit 30 detects an edge line segment from the search range. Since the edge extraction unit has already extracted the edge, the edge of the search range has been detected. Since these edges include edges that are continuous with the feature portions in the vicinity region, the edge line segment detection unit 30 detects edge line segments that are continuous with the feature portions in the vicinity region.
  • FIG. 13A is an example of a flowchart illustrating a procedure for the edge line segment detection unit 30 to detect an edge line segment.
  • the edge line segment detection unit 30 reads the edge of the search range (S301).
  • the edge line segment detection unit 30 performs Hough transform on the edge (S302). Since this Hough transform is intended to detect a line segment, it is preferably a stochastic Hough transform. A line segment detected by the probabilistic Hough transform has an end point, and only one line segment passes through the same end point. Instead of detecting a line segment by the Hough transform, for example, a linear function that passes through two edge points is obtained, and other edges on the linear function are specified, so that the line segment can be detected. Good.
  • the edge line segment detection unit 30 extracts a line segment having a certain length or more (S303).
  • the line segment having a certain length or more is a length (for example, 10 to 30 meters) that covers a distant area to some extent.
  • the edge line segments may be interrupted in the Z direction, and the length of a plurality of edge line segments that are placed on a straight line in the Z direction (same as the slope and the intercept) may be a certain length or more.
  • the edge line segment detection unit 30 determines whether there are two or three line segments having a certain length or more within a certain distance in the horizontal direction (X direction) (S304). Moreover, you may add on condition that the line segment more than fixed length is substantially parallel.
  • the fixed distance is a range where there is a characteristic point of the curb or the sidewalk belt. For example, it may be several tens of centimeters (50 cm to 100 cm).
  • FIG. 13B is a diagram illustrating an example of the number of line segments having a certain length or more and the determination of the curbstone or the sidewalk belt edge.
  • the edge line segment detection unit 30 detects a sidewalk belt edge when two edge line segments are detected, and detects a curb stone when it detects three edge line segments (S305).
  • the feature point when there is only one line segment having a certain length or more, it may be determined that the feature point is a curb or a sidewalk rim. However, it is preferable to add further conditions so as not to cause erroneous detection. For example, only when the inclination of the feature point in the neighborhood region and the inclination of the line segment having a certain length or more coincide with each other, it is determined that the feature point is the curbstone or the footpath edge.
  • line segments with a certain length or more it can be narrowed down from the number of feature points in the neighboring area. For example, if there are three feature points in the neighboring region, the segment having the most different slope among the segments having a certain length or more, or the farthest from the feature point in the neighboring region at the boundary between the neighboring region and the far region. Eliminate the line segment at
  • the road parameter of the far field is determined by detecting the curb or the sidewalk edge of the far field. Therefore, for example, even when a white line in the far region is not detected, the road parameter in the far region can be determined, and the driving support ECU can assist driving based on the road parameter.
  • the roadside object detection device 100 detects a step using disparity information with high accuracy in the vicinity region, and extrapolates the feature point of the step to the far region, thereby The detection accuracy of curbstones and sidewalk belt edges can be improved.
  • a line segment is detected from the edge of the search range to detect a curbstone or a sidewalk band edge.
  • a template matching is applied to a region where a feature point is extrapolated to detect a curbstone or a sidewalk band edge.
  • FIG. 14 shows an example of a functional block diagram of the camera computer 13 of the present embodiment.
  • the camera computer 13 in FIG. 14 has a template matching unit 32.
  • the template matching unit 32 creates a template image from the curb image in the vicinity region, and performs template matching with the image in the search range.
  • FIG. 15 is an example of a flowchart showing a procedure by which the roadside object detection device 100 detects a curbstone or a sidewalk belt edge from an image.
  • the process of step S90 of the first embodiment is replaced with template matching.
  • FIG. 16 is an example of a flowchart for explaining a template matching processing procedure
  • FIG. 17 is an example of a diagram for explaining template matching.
  • the template matching unit 32 creates a template image by cutting out an image (luminance image) including a curb in the vicinity region (S401). It is preferable that the range to be cut out includes at least a side surface portion of the curb. In curbstones, there are also feature points on the sidewalk side, unlike the sidewalk belt edges, so it is preferable to cut out to include the feature points. Since these feature points are clear from FIGS. 10B and 10C, the template matching unit 32 can cut out the template image with the optimized size. On the other hand, since it is not necessary to change the size of the image to be cut out in the case of a sidewalk belt edge, the size to be cut out may be common regardless of whether it is a sidewalk belt edge or a curbstone. For example, the horizontal size of the template image is about twice the interval between the feature points BD, and the vertical size is about the same or slightly smaller.
  • the template matching unit 32 preferably cuts out a template image from an area farthest from the vehicle in the vicinity area. This is because it becomes easier to cut out a template image similar to a curb or a sidewalk belt edge in a distant area.
  • the size of the template image should be the same, so the template image is not determined based on the feature points in advance. The size of can be determined.
  • the template image is a luminance image
  • the template image may be cut out from the edge image.
  • the template matching unit 32 performs template matching on the image in the search range of the far region around the virtual line 41 obtained by extrapolating the road model (S402).
  • the virtual line 41 is likely to be present at or near a feature point of a curbstone in a far region or a sidewalk belt edge. Therefore, the template matching unit 32 performs template matching with the template image around the virtual line 41 in the far region. Since template matching is performed on an image, the virtual line 41 is converted into a plane coordinate system. Note that template matching is performed from a portion of the search range that is close to the vehicle. For example, the search range is divided into several groups in the far direction, and template matching is performed on a group basis.
  • the template matching unit 32 calculates the degree of similarity each time the search is performed while shifting the pixels within the group.
  • the similarity is, for example, the reciprocal of SAD or SSD.
  • the template matching unit 32 specifies the maximum similarity in the search range in the group, and determines whether or not the value is equal to or greater than a threshold (S403).
  • the template matching unit 32 determines that there is a curb at the position of the template image where the best similarity is obtained (S404). Since feature points are obtained in the template image, it can be estimated that there is a feature point in the corresponding pixel in the search region image having the same size as the template image. Alternatively, the position of the feature point can be specified by detecting an edge from an image of a search area having the same size as the template image.
  • the template matching unit 32 cuts out an image determined to have a curb and sets it as a new template image (S405).
  • the template matching unit 32 repeats the processing from step S20 onward in the area of the next group in the search range using the new template image.
  • the curbstone and the sidewalk belt edge gradually become smaller, so the template image may be made smaller by deleting the outer edge of the template image.
  • the template image is switched while specifying the position of the curb or sidewalk belt edge in the far region, and the identification of the far side curb or sidewalk belt edge is repeated, so an image similar to the curb or sidewalk belt edge to be detected is templated.
  • a roadside object detection apparatus 100 that detects a curb or a sidewalk edge in a distant area using a white line will be described.
  • FIG. 18 shows an example of a functional block diagram of the camera computer 13 of the present embodiment.
  • the camera computer 13 in FIG. 18 has a white line detection unit 33.
  • the white line detection unit 33 detects a white line on the curbstone or sidewalk belt side of the shooting range of the camera computer 13. Therefore, the curb or the white line on the side of the sidewalk side, the white line only on the right side or the side of the side of the sidewalk, or the white line on the left or right side or the side of the side of the sidewalk can be photographed on the image.
  • the edge line segment detection unit 30 also has the camera computer of the first embodiment. However, the edge line segment detection unit 30 according to the present embodiment detects the edge line segment and calculates the parallelism with the white line and the white line. Evaluate the distance to identify the edge line formed by the feature points of the curbstone and sidewalk rim.
  • FIG. 19 is an example of a flowchart illustrating a procedure for the roadside object detection device 100 to detect a curbstone or a sidewalk belt edge from an image.
  • the white line detection process of step S100 is newly added. Further, since the processing in steps S80 and S90 uses white lines, it is different from the first embodiment.
  • the white line detection unit 33 detects a white line from an image captured by the right camera 11 or the left camera 12.
  • a white line may be detected from an image of one of the cameras, or a white line may be detected from a common area of the images of the right camera 11 and the left camera 12.
  • FIG. 20 is an example of a diagram schematically illustrating detection of a white line.
  • the white line detection unit 33 detects a white line from the edge image or the luminance image.
  • FIG. 20 schematically shows image data (white line in the plane coordinate system).
  • the white line detection unit 33 identifies a pixel having an edge strength equal to or higher than a threshold among the edges extracted by the edge extraction unit 23.
  • an edge that changes from the brightness of the road to the brightness of the white line and an edge that changes from the brightness of the white line to the brightness of the road are obtained. Note that it may be estimated that there is no white line in the center of the road, and the white line detection area may be limited to a part on the right side and a part on the left side of the image. Thereby, the processing load of the camera computer 13 can be reduced.
  • the white line detection unit 33 searches for pixels whose edge intensity is greater than or equal to a threshold value from the bottom to the top of the screen. Even if the white line is a straight line, the image is taken in the shape of a letter “C” (two straight lines with a wide lower gap and a wide upper gap). repeat. If there is a white line, an edge is obtained from the bottom of the screen upward in each of the left and right white lines. This edge is detected continuously if a solid white line is captured well, and is detected at intervals if it is a dot or a broken line.
  • the white line detection unit 33 estimates whether the edge is a part of the white line by determining whether the edge is detected almost continuously, or if the edge interval is equal, if the edge is not detected. Determine if you can. If it is determined that the edge is a part of the white line, the width of the two edge lines on the left and right is compared with the width of the general white line. To detect.
  • the white line detection unit 33 can represent the white line edge on the XZ plane by using a correspondence formula between the road coordinate system and the plane coordinate system.
  • a white line on the curbstone or sidewalk rim side is detected.
  • a white line on the left side with respect to the traveling direction is detected in the country of the left-hand traffic rule
  • a white line on the right side is detected in the country of the right-hand traffic rule.
  • the effect of the present embodiment is not greatly different even if the left or right white line is detected. Accordingly, either the left or right white line may be detected with respect to the traveling direction, and when both the left and right white lines are detected, the white line closest to the vehicle position is used for setting the search range.
  • FIG. 21 is an example of a diagram illustrating the setting of the search range by the search range setting unit 29.
  • a white line is marked on the road side from the curb.
  • the curbstone or sidewalk rim should be on the sidewalk side of this white line.
  • the search range setting unit 29 sets the search range lines 42 and 43 by translating the extrapolated virtual line 41. At this time, the search range is reset so that the search range line 43 does not exceed the white line ( Correct). For example, the parallel movement may be performed so that the search range line 43 on the roadway side is closer to the sidewalk than the white line (so as to be separated from the virtual line between the virtual line and the white line). Accordingly, the search range can be narrowed while including the curb and the sidewalk belt edge, and the detection time of the edge line segment can be shortened.
  • the edge line segment detection unit 30 detects an edge line segment from the search range, compares the edge line segment with the white line, and narrows down the edge line segment of the feature point of the curb or the sidewalk belt edge.
  • FIG. 22 is an example of a flowchart illustrating a procedure for the edge line segment detection unit 30 to detect an edge line segment. In FIG. 22, the process of step S311 is newly added.
  • the edge line segment detection unit 30 further extracts the following edge line segments from the line segments having a certain length or longer detected in step S303 (S311). ⁇ Parallelity with the white line is greater than the threshold ⁇ Distance with the white line is within the specified range In order to obtain the parallelism, a linear function is applied to the white line and converted into a function using the least square method. Since the edge line segment is a straight line, the parallelism can be specified by comparing the slopes of the edge line segment and the white line. Also, the distance from the white line is obtained as the distance between the two points with the point on the edge line segment by obtaining the point where the line perpendicular to the edge line segment drawn from any point on the edge line segment intersects the white line. Can do.
  • the threshold value of parallelism is, for example, about 5 to 10 degrees.
  • the predetermined range in which the white line is searched is set based on the distance between the white line in the neighboring area and the curb or the sidewalk belt edge. That is, if the distance between the white line and the curb or the sidewalk belt is 50 cm in the vicinity region, a margin is added to the distance, for example, 60 cm.
  • the edge line segment detection unit 30 determines that the two or three edge line segments specified in this way are edge line segments formed from the feature points of the curbstone or the sidewalk belt edge.
  • the roadside object detection device 100 can improve the detection accuracy of the far edge curb or the sidewalk belt using the white line on the curb side.
  • a roadside object detection apparatus 100 that detects a curb or a sidewalk edge in a distant area using a preceding vehicle will be described.
  • FIG. 23 shows an example of a functional block diagram of the camera computer 13 of the present embodiment. Description of the functions already described in FIG.
  • the camera computer 13 in FIG. 23 has a preceding vehicle detection unit 34.
  • the preceding vehicle detection unit 34 detects a preceding vehicle traveling ahead of the host vehicle.
  • the search range setting unit 29 resets the search range line so that the search range is closer to the sidewalk than the preceding vehicle.
  • FIG. 24 is an example of a flowchart showing a procedure by which the roadside object detection device 100 detects a curbstone or a sidewalk belt edge from an image.
  • a preceding vehicle detection process in step S110 is newly added. Further, the processing of step S80 is different from that of the first embodiment because it uses the preceding vehicle.
  • the preceding vehicle detection unit 34 detects the preceding vehicle in the image using a template prepared in advance. Further, an optical flow may be used. For example, it is estimated that a group of pixels having a change in pixel value is grouped into several continuous groups, moves at a speed greater than zero with respect to the road surface, and a group ahead of the host vehicle is a preceding vehicle.
  • the preceding vehicle may be detected by a radar device such as a millimeter wave, the lateral position detection accuracy of the preceding vehicle is often higher when obtained from an image.
  • the preceding vehicle detection unit 34 records the distance to the preceding vehicle and the lateral position in association with each other. By detecting the distance, it can be confirmed that the preceding vehicle is traveling in the far field.
  • the preceding vehicle detection unit 34 records the distance and lateral position of the past several frames. Thereby, the locus
  • FIG. 25 is an example of a diagram illustrating the setting of the search range by the search range setting unit 29.
  • the preceding vehicle is running, but the curb or sidewalk rim should be closer to the sidewalk than the preceding vehicle.
  • the search range setting unit 29 sets the search range by translating the virtual line 41. At this time, the search range is reset so that the search range line 43 does not overlap the preceding vehicle. For example, the parallel movement may be performed so that the search range line 43 on the roadway side is closer to the sidewalk than the preceding vehicle. Accordingly, the search range can be narrowed while including the curb and the sidewalk belt edge, and the detection time of the edge line segment can be shortened.
  • the edge line segment detection method in step S90 is the same as in the first embodiment. Further, when the past lateral position of the preceding vehicle has a length equal to or longer than a predetermined length, the trajectory of the lateral position may be regarded as a white line, and the parallelism and the distance may be determined as in the third embodiment.
  • the roadside object detection device 100 can improve the detection accuracy of the curb or the sidewalk belt in the far region by using the preceding vehicle.
  • the roadside object detection device 100 can accurately detect feature points of a distant curb or a sidewalk rim, and can acquire a road parameter when a white line is not detected. . It is also possible to use this as a clue for detecting a white line.
  • the embodiments have been described separately above, the embodiments 1 to 4 can be applied by appropriately combining two or more of them.
  • the detection method of the curb or the sidewalk belt has been described by way of examples, the present invention is not limited to the above examples, and various modifications and improvements can be made within the scope of the present invention.
  • a roadside object having a height relative to the road surface can be detected in a similar manner other than the curb or the sidewalk belt edge.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)

Abstract

　複数の撮影画像を用いて路側物を検出する路側物検出装置であって、複数の前記撮影画像を解析して、自車両からの距離が閾値未満の近傍領域における撮影対象の高さ情報を検出する高さ情報検出手段と、前記近傍領域の高さ情報から路側物により生じる路面の高さの変化を検出する高さ変化検出手段と、前記高さの変化が検出された位置を前記路側物の特徴点に決定し、前記特徴点を道路モデルに従って自車両からの距離が前記閾値以上の遠方領域に外挿する特徴点外挿手段と、前記特徴点外挿手段が前記特徴点を外挿して得られる仮想線に基づいて前記路側物の探索範囲を設定し、前記探索範囲から前記遠方領域の前記路側物を検出する路側物検出手段と、を有することを特徴とする。

Description

路側物検出装置
　本発明は、複数の撮影画像を用いて路側物を検出する路側物検出装置に関する。
　車載されたカメラで撮影した白線を利用して車線からの逸脱防止などの様々な運転支援を行う技術が知られている。白線が検出されない場合や白線の検出精度を向上させるために、縁石や歩道帯縁を検出して白線の手がかりとする場合がある（例えば、特許文献１参照。）。特許文献１には、カメラからの距離に応じて縁石の側面部の長さの増減と路面に平行な平行部の長さの増減が変わることを利用して縁石を検出する画像認識装置が開示されている。
　しかしながら、特許文献１に開示された画像認識装置では、車両から比較的遠い縁石の検出が困難になるという問題がある。
　図２６（ａ）は、撮影された遠方の縁石と近傍の縁石を示す図の一例であり、図２６（ｂ）は図２６（ａ）の写真を模式的に示す図の一例である。車両の左側に縁石が存在し、側面部がやや影になって撮影されている。側面部及び路面に平行な平行部の長さは、遠方に行くほど短くなるので、特許文献１に記載された検出方法では遠方の縁石ほど検出が困難になる。
特開２００７－０１８０３７号公報
　本発明は、上記課題に鑑み、遠方の縁石等の路側物も検出可能な路側物検出装置を提供することを目的とする。
　本発明は、複数の撮影画像を用いて路側物を検出する路側物検出装置であって、複数の前記撮影画像を解析して、自車両からの距離が閾値未満の近傍領域における撮影対象の高さ情報を検出する高さ情報検出手段と、前記近傍領域の高さ情報から路側物により生じる路面の高さの変化を検出する高さ変化検出手段と、前記高さの変化が検出された位置を前記路側物の特徴点に決定し、前記特徴点を道路モデルに従って自車両からの距離が前記閾値以上の遠方領域に外挿する特徴点外挿手段と、前記特徴点外挿手段が前記特徴点を外挿して得られる仮想線に基づいて前記路側物の探索範囲を設定し、前記探索範囲から前記遠方領域の前記路側物を検出する路側物検出手段と、を有することを特徴とする。
　遠方の縁石等の路側物も検出可能な路側物検出装置を提供することができる。
路側物検出装置による路側物の検出を概略的に説明する図の一例である。 路側物検出装置を含む運転支援システムの概略構成図の一例である。 カメラコンピュータの機能ブロック図の一例である。 路側物検出装置の動作点順を説明するフローチャート図の一例である。 フィルタ処理の一例を示す図である。 視差の探索を説明する図の一例である。 等角フィッティングによるサブピクセル視差の求め方の一例を示す図である。 路面領域の推定を説明する図の一例である。 道路座標系と平面座標系等を説明する図の一例である。 段差の検出を説明する図の一例である。 走路パラメータの推定を説明する図の一例である。 探索範囲の設定を説明する図の一例である。 エッジ線分検出部がエッジ線分を検出する手順を示すフローチャート図の一例である。 カメラコンピュータの機能ブロック図の一例である（実施例２）。 路側物検出装置が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である（実施例２）。 テンプレートマッチングの処理手順を説明するフローチャート図の一例である。 テンプレートマッチングを説明する図の一例である。 カメラコンピュータの機能ブロック図の一例である（実施例３）。 路側物検出装置が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である（実施例３）。 白線の検出を模式的に説明する図の一例である。 探索範囲設定部による探索範囲の設定を説明する図の一例である。 エッジ線分検出部がエッジ線分を検出する手順を示すフローチャート図の一例である。 カメラコンピュータの機能ブロック図の一例である（実施例４）。 路側物検出装置が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である（実施例４）。 探索範囲設定部による探索範囲の設定を説明する図の一例である 撮影された遠方の縁石と近傍の縁石を示す図の一例である（従来図）。
　１１　　右カメラ
　１２　　左カメラ
　１３　　カメラコンピュータ
　２１　　ステレオ画像取得部
　２２　　歪補正・平行化部
　２３　　エッジ抽出部
　２４　　視差算出部
　２５　　路面検出部
　２６　　路面構造推定部
　２７　　段差判定部
　２８　　走路パラメータ推定部
　２９　　探索範囲設定部
　３０　　エッジ線分検出部
　３２　　テンプレートマッチング部
　３３　　白線検出部　
　３４　　先行車検出部
　１００　白線検出装置
　以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。
　図１は、路側物検出装置による路側物の検出を概略的に説明する図の一例である。まず、路側物検出装置は、ステレオカメラで車両の進行方向を撮影し、三次元情報を取得する。三次元情報は画面の全体から取得され得るが、路側物検出装置は近傍領域のみの路面構造を推定する。近傍領域のみの画像を使用するのは、遠方になるほど視差の誤差を含みやすくなるためである。
　路側物検出装置は、三次元情報又は路面構造を利用して、近傍領域から高さ方向に一定以上の段差がある特徴点を検出する。例えば、画像データを水平方向に走査し、縁石と見なせる段差を検出する。図のＡ点のように縁石上の画素とＢ点のように縁石以外の画素では高さが異なっているので、縁石が形成する段差を検出することができる。路側物とは例えば縁石又は歩道縁帯であるが、路面よりも高く道路に沿って敷設された地物を含む。
　縁石の段差による特徴点は、１つの水平方向の走査で３点検出される（図の“×”マーク）。なお、歩道が縁石と同じ高さになる歩道縁帯の場合は２点の段差が検出される。
　この段差の位置（座標）を道路モデルに適用すれば、道路モデルの係数（走路パラメータ）を求めることができる。なお、道路モデルは、道路の形状を数式とその係数で表す道路形状の表現形式である。道路モデルが定まれば、三次元情報が検出されていない遠方の画像において、道路モデルを外挿することで、縁石がある範囲を推定できる。道路モデルの外挿とは、道路モデルの式により定まる点を遠方領域で算出することをいう。この点の集まりは線になるが、本実施例ではこの線を仮想線と称する。
　近傍領域と同様に、遠方領域の画像では縁石の段差がエッジとして検出されることが期待できる。そこで、仮想線を水平方向に左右に移動することで、エッジの探索範囲を設定する。路側物検出装置はこの探索範囲から縁石のエッジを検出する（図の三角のマーク）。
　縁石があれば３本、歩道帯縁があれば２本のほぼ平行な直線が検出されるはずである。よって、路側物検出装置はエッジを直線に変換するなどして、エッジから線分を抽出する。そして、３本のほぼ平行な直線が水平方向の一定距離内に検出された場合に縁石を、２本のほぼ平行な直線が水平方向の一定距離内に検出された場合に歩道帯縁をそれぞれ検出する。
　このように、正確な距離情報が得られる近傍領域の三次元情報を利用することで、遠方の縁石又は歩道帯縁の検出精度を向上させることができる。
　　〔構成例〕
　図２は、路側物検出装置１００を含む運転支援システム５００の概略構成図の一例を示す。運転支援システム５００は、ＣＡＮ（Controller Area Network）バスなどの車載ＬＡＮを介して互いに接続された路側物検出装置１００、運転支援ＥＣＵ（Electronic Control Unit）２００及び作動デバイス３００を有している。
　路側物検出装置１００は、後述する走路パラメータに加え、障害物までのターゲット情報などを運転支援ＥＣＵ２００に送信する。運転支援ＥＣＵ２００は走路パラメータやターゲット情報に基づき運転支援の必要性を判断し、作動デバイス３００に作動を要求する。作動デバイス３００は例えば、メータパネルの警報装置、電動パワーステアリング装置、及び、ブレーキアクチュエータなどである。
　走路パラメータは、例えば、道路の曲率（半径）、道路の車線幅、車線内での自車両の横位置、道路に対する自車両のヨー角等、である。運転支援ＥＣＵ２００は、車載ＬＡＮに接続された他のＥＣＵ、又は、センサーが検出した情報（例えば、車輪速、操舵角、ヨーレート等）を用いて運転支援を行う。走路パラメータを用いた運転支援としては、ＬＤＷ（Lane Departure Warning）やＬＫＡ（Lane Keeping Assist）などが知られている。ＬＤＷは、横位置、ヨー角及び車速から車線を逸脱するおそれがある場合に警報音や振動などで運転者に注意喚起する運転支援をいう。ＬＫＡは、自車両が車線内の目標走行線を走行するように、電動パワーステアリング装置を制御してステアリングシャフトに操舵トルクを加えたり、車輪毎の制動やエンジン出力を制御する運転支援形態である。目標走行線を走行するように操舵トルク、又は、車輪毎の制動やエンジン出力を制御する以外に、車線から逸脱するおそれがある際に車線を維持するように制御するＬＫＡもある。このように、白線を検出することで多様な運転支援が可能になる。なお、本実施例では走路パラメータは白線から検出することができ、白線の検出が困難な場合は縁石や歩道帯縁から検出することができる。
　また、ターゲット情報は、例えば、距離情報、相対速度、及び、方位（横位置）である。運転支援ＥＣＵ２００は、方位（横位置）から衝突のおそれがある障害物を抽出し、距離情報と相対速度から計算されたＴＴＣ（Time　To　Collision）が所定値以下になると警報音を吹鳴したり減速するなどの運転支援を行う。
　路側物検出装置１００は、右カメラ１１、左カメラ１２、及び、カメラコンピュータ１３を有している。右カメラ１１と左カメラ１２で１つのステレオカメラである。ステレオカメラは、例えば、光軸を車両前方に向けてルームミラーに配置されるが、ルーフトップなど別の場所に配置することもできる。右カメラ１１と左カメラ１２は、所定間隔（基線長）、離間して配置されている。右カメラ１１と左カメラ１２はそれぞれＣＣＤ又はＣＭＯＳ、裏面照射ＣＭＯＳなどの個体撮像素子を有している。右カメラ１１と左カメラ１２は輝度情報だけを取得するモノクロのカメラでも、カラーのカメラでもよい。
　右カメラ１１と左カメラ１２は、それぞれほぼ同時に車両前方の所定範囲を周期的に撮影する。路面に白線が標示されている場合、画像には縁石（又は歩道帯縁）及び白線が撮影されている。なお、白線とは、車線を区分する路面標示の一例に過ぎない。白線と表現した場合、白い色の線に限られず有彩色の線状標示、点線、破線、ボッツドッツ及びキャッツアイなどを含む。
　カメラコンピュータ１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＡＮコントローラ、入出力Ｉ／Ｆ、及び、その他の一般的な回路を備えたコンピュータである。カメラコンピュータ１３は、後述するように、歪み補正・平行化、段差の検出、走路パラメータの推定、及び、遠方領域の線分の検出などを行う。
　〔カメラコンピュータの機能について〕
　図３は、カメラコンピュータ１３の機能ブロック図の一例を示す。カメラコンピュータ１３は、ステレオ画像取得部２１、歪補正・平行化部２２、エッジ抽出部２３、視差検出部２４、路面検出部２５、路面構造推定部２６、段差判定部２７、走路パラメータ推定部２８、探索範囲設定部２９、及び、エッジ線分検出部３０を有する。
　これらの各機能は、図４のフローチャート図に示す路側物検出装置１００の動作の中で機能する。以下、図４に基づきこれらの各機能を順番に説明する。なお、図４の手順は、左右一対の画像が撮影される毎に繰り返し実行される。
　＜Ｓ１０　画像データの取得＞
　ステレオ画像取得部２１は、右カメラ１１が周期的に撮影した画像及び左カメラ１２が周期的に撮影した画像の画像データをそれぞれ取得し、バッファなどに記憶する。
　＜Ｓ２０　歪補正・平行化＞
　歪補正・平行化部２２は、予め取得してあるカメラの外部パラメータ、及び、内部パラメータを用いて左右の画像の歪みを補正し、平行化する。内部パラメータは、例えば右カメラ１１と左カメラ１２それぞれのレンズの歪みや歪曲収差、撮像素子の歪み、焦点距離などをいう。レンズの歪みは、例えば、レンズの設計値に基づき生成された補正変換テーブルを参照して、画像データを補正することで低減される。歪曲収差は半径方向の歪曲収差のモデルを用いたパラメータ推定に基づき画像データを補正することで低減される。
　外部パラメータは、例えばカメラの取り付け位置と向きを数値化したものである。左右のカメラの取り付け位置（例えば高さ）及び向き（ピッチ、ロール、ヨー）にはわずかな違いがあるので、右カメラ１１と左カメラ１２の光軸も完全に高さが一致しかつ平行とならない場合がある。このため、この外部パラメータの違いによって、例えば、右カメラ１１と左カメラ１２の撮像系が光軸を中心に相対的に回転する場合がある。このような回転を低減するため、ステレオカメラでは、出荷前に車両メーカなどによりキャリブレーションされている。キャリブレーションでは、右カメラ１１と左カメラ１２でそれぞれ歪み校正用のチャートを撮影する。校正用のチャートは、市松模様状に正方形の白マスと黒マスが反転した格子が描かれている。例えば、左カメラ１２の画像の白黒のマスに、右カメラ１１の画像の白黒のマスが一致するように、画素同士の対応関係を特定する。対応関係はテーブルに登録され、例えば右カメラ１１の全画素に対応づけて、補正前の画素位置がどの画素位置に変換されるかが設定されている。
　図では、内部パラメータと外部パラメータに基づく左右の画像の歪み補正及び平行化するためのデータをルックアップテーブル３１としている。このように、歪補正及び平行化することで効率的な視差の探索が可能になる。
　図５（ａ）は、平行化された右カメラ１１の画像データと左カメラ１２の画像データの一例を示す図である。本実施形態では、道路座標系として、車幅方向をＸ軸、車高方向をＹ軸、及び、進行方向をＺ軸とする。座標Ｐ（X，Y，Z）は左カメラ１２の画素Ｐｌと右カメラ１１の画素Ｐｒにそれぞれ映る。
　＜Ｓ３０　視差算出＞
　視差を検出する際には、画素Ｐｌに画素Ｐｒが対応することを探索する。２つの画像が平行化されていることが分かっているので、路側物検出装置１００は、水平方向と平行にのみ画像データを探索すればよい。
　なお、視差探索は、歪補正・平行化部２２が平行化した左右の画像データに対し行ってもよいが、エッジ強調処理を行ってから視差探索することで探索が容易になる。そこで、エッジ抽出部２３は左右の画像からエッジを抽出する。エッジ抽出のフィルタは各種知られているが、例えばｓｏｂｅｌフィルタを使用する。
　図５（ｂ）はフィルタ処理の結果の一例を示す図である。元の画像には、白線、ガードレール、及び、木々などが撮影されているが、フィルタ処理により、右カメラ１１と左カメラ１２の画像は白線、ガードレール又は木々の端部が強調された（図では白い画素で示されている）画像になる。
　図６（ａ）は、視差の探索を説明する図の一例である。ここでは右の画像データの画素に着目して、左の画像データから右の画像データと一致する（相関性が最も高い又は一定以上の相関性を有する）領域を特定する。視差算出部２７は、着目している画素を含む領域（以下、ウィンドウという）毎に、ＳＡＤ（Sum of Absolute Difference）又はＳＳＤ（Sum of Squared Differences）を計算する。ＳＡＤは画素毎の画素値の差の絶対値の合計であり、ＳＳＤは画素毎の画素値の差の二乗和である。いずれも小さいほど、ウィンドウに含まれる画像の一致度が高いことを意味する。
　図示するように、（ｘ、ｙ）の画素に着目している場合、（ｘ、ｙ）の画素を中心とする矩形のウィンドウを生成し、右の画像からも（ｘ、ｙ）の画素を中心とするウィンドウを生成する。視差算出部２７は、左の画像のウィンドウと右の画像のウィンドウでＳＡＤ又はＳＳＤを算出すると、右の画像のウィンドウの全体を右に１ピクセル（画素）ずらしてＳＡＤ又はＳＳＤを算出することを繰り返す。つまり、平行化されているため、右の画像においてウィンドウをｙ軸方向にずらすことなく、１ピクセルずつｘ方向にずらせばよい。
　図６（ｂ）はｘ方向のずらし量（視差）とＳＡＤの関係の一例を示す。ずらし量に対しＳＡＤが極小値を示している。いくつかの極小値のうち最小値を示す画素のずらし量が、右の画像で着目した画素（ｘ、ｙ）における視差である。
　ｘ方向の探索範囲は予め定められているものとする。しかし、視差算出部２７は、右の画像のｘ方向の全ての画素に対してＳＡＤ又はＳＳＤを求めてもよいし、探索範囲を定めずにＳＡＤ又はＳＳＤが閾値以下の極小値を示した場合に、ＳＡＤ又はＳＳＤの算出を打ち切ってもよい。前者では最も確かな視差を求めることでき、後者ではある程度確からしい視差を効率的に求めることができる。
　なお、上記のように輝度画像から視差を求めてもよい。また、エッジ画像と輝度画像の両方から視差を求めてもよい。エッジ画像と輝度画像の両方を用いた場合、ＳＡＤ又はＳＳＤが極小となる画素のずらし量の平均を視差とするか、又は、エッジ画像と輝度画像に重み付けして視差を決定する。こうすることで、より正確に視差を求めることができる。
　視差算出部２７は、画素単位の整数視差に加え、サブピクセル視差を算出する。サブピクセル視差の求め方には、等角フィッティングやパラボラフィッティングなどが知られている。
　また、視差は画面の全体で取得されてもよいし、近傍領域でのみ使用されることを考慮して近傍領域のみで取得されてもよい。
　図７は等角フィッティングによるサブピクセル視差の求め方の一例を示す図である。図７では図６（ｂ）のＳＡＤが最小値となる視差と、その前後のＳＡＤ値が示されている。ＳＡＤが最小値になる視差のＳＡＤ値をｃ、最小値より視差が小さい側のＳＡＤ値をａ、視差が大きい側のＳＡＤ値をｂ、とする。ａ＝ｂであれば、ＳＡＤが最小値になる視差がサブピクセル単位の視差である。図示するようにａ＞ｂの場合、サブピクセル視差ＳＰは最小値となる視差より、大きい値となる。ａ＜ｂの場合はこの逆になる。等角フィッティングでは、ＳＡＤが最小値になる視差に対し、サブピクセル視差ＳＰを以下のようにして求める。
ａ＞ｂの場合　ＳＰ＝（ａ－ｂ）／２（ａ－ｂ）
ａ≦ｂの場合　ＳＰ＝－（ｂ－ｃ）／２（ｂ－ｃ）
　視差算出部２７は、整数視差とサブピクセル視差ＳＰの和を注目画素の視差に決定する。このように画素単位で視差が求められると、画素単位で画素に映っている物までの距離を算出することができる。
　＜Ｓ４０　路面推定＞
　路面検出部２５は、視差画像から路面の構造を推定する。このため、まず、画像から路面の領域だけを推定する。なお、路面の領域とは、縁石や歩道帯縁などの歩行者が走行する領域と、車両が走行する車道を区別することなく、立体物がない平坦な領域であれば路面の領域とする。
　図８は、路面領域の推定を説明する図の一例である。図８では、画像に視差情報を重畳して表している。視差に輝度を対応づけ画像データと重畳することで、同じ視差の画素は同程度の輝度になるように加工されている。
　画像に立体物が撮影されている場合、立体物までの距離はその立体物において同程度なので視差も同程度となる。これに対し、路面は遠方になるほど視差が大きくなるので、ｙ方向の視差はｙ値に応じて異なる。よって、画像のｙ座標の下端から上方に走査して（図の矢印）、視差の違いが所定値内の画素が連続する場合は、立体物と判定できる。視差の違いが所定値内の画素が連続しない場合、路面（の視差）であると判定する。なお、所定値とは、本実施例ではサブピクセル単位の視差を検出しているので、１ピクセル未満とすることができる。
　図示する矢印にて走査した場合、歩道や縁石を含め路面を走査中は視差が徐々に大きくなるので路面であると判定される。先行車両の走査を開始すると、視差の変化が所定値内に収まるので立体物と判定される。
　＜Ｓ５０　路面構造の推定＞
　路面構造推定部２６は、車両に対し近傍領域のみの視差情報を用いて路面構造の推定を行う。近傍領域のみの画像データを用いることで、誤差が含まれやすい遠方の視差情報を用いることなく路面構造を推定できる。近傍領域とは、視差情報の精度に信頼性がある領域であり、ステレオカメラの品質や設計に依存する。また、日中と夜間の違い、又は、晴天と雨天の違い等により視差情報の精度が影響される場合、ある車両に搭載された同一のステレオカメラであっても、近傍領域が一定とはならない場合がある。したがって、近傍領域は視差情報の精度が閾値以上のある領域（画像のｙ座標の下端から所定画素数）に対し、条件が悪化した場合を考慮して所定のマージンを設けた領域（つまり、視差情報の精度が閾値以上のある領域よりもやや狭い領域）である。また、照度センサなどにより日中か夜間かを検出し、また、レインセンサなどにより天候を検出して、近傍領域を可変に設定してもよい。こうすることで、視差情報の精度に影響を与える状況に応じて、最大限、遠方までの視差情報を利用することができる。
　まず、路面構造推定部２６は、視差情報を利用して、近傍領域の路面までの距離Ｄを算出する。
Ｄ＝（ｆ×Ｂ）／（Δｄ）
　ｆはレンズの焦点距離、Ｂは基線長、Δｄは視差（画素数×撮像素子の画素ピッチ）である。
　また、図９（ａ）に示すように道路座標系を取る。レンズの中心を原点として、左から右の水平方向をＸ軸、車両の高さ方向をＹ軸、車両の進行方向をＺ軸とする。また、画像内の点の座標系である平面座標系は、原点が道路座標系のＺ軸上にあり、Ｘ軸に平行なｘ軸、Ｙ軸に平行なｙ軸を有する座標系であるとする。焦点距離ｆが無視できるほどレンズから像までの距離が長い場合、距離Ｄにある物体の高さＹ、横位置Ｘは以下の式から求められる。
Ｘ＝ｘＤ／ｆ
Ｙ＝－ｙＤ／ｆ
　Ｘ、Ｙが分かればＤが分かっているのでＺを求めることができる。これにより路面のＹ座標が得られるので、Ｚ軸方向の路面の構造を定式化することができる。
　図９（ｂ）は路面構造の定式化を説明する図の一例である。路面は一般には平坦であり、また、元々の特殊な地形を除けば道路設計上の勾配の上限は法令などで定められている。したがって、一次間数や二次関数で近似することができる。路面構造は、断面曲率をａ、ピッチをｂ、カメラ高さをｃとすると例えば下記の式で表される。
Ｙ＝ａ×Ｚ２＋ｂ×Ｚ＋ｃ　…（１）
　距離ＤをＺに、距離Ｄから求めたＹを式（１）に代入し、最小二乗法などを用いることで、ａ、ｂ、ｃを決定することができる。なお、回帰的に係数を求めることができれば、最小二乗法の他、ニュートン法、ガウスニュートン法などを用いてもよい。
　＜Ｓ６０　段差検出＞
　段差判定部２７は、路面（縁石、歩道帯縁と車道の区別がされていない）から段差を検出する。ここまでの処理により路面と推定された領域の画素では、距離Ｄ、高さＹ、及び、横位置Ｘが求められている。また、路面構造が求められている。
　段差判定部２７は、路面構造と高さＹの少なくとも一方を用いて、段差を検出する。３次元情報の高さＹを直接用いてもよいが、３次元情報はばらついている場合がある。このため、式（１）等のように路面構造により求めた高さＹを用いることが好適となる。しかしながら、３次元情報の高さＹを直接用いて段差を検出することも可能である。
　図１０は段差の検出を説明する図の一例である。図１０（ａ）では、ｙ座標の値が一定の画素に対し、ｘ方向に矢印線（以下、走査水平ラインという）が描画されている。段差判定部２７は、高さＹが求められているｙ方向の領域において、走査水平ラインに沿って走査し、高さＹを読み出す。
　図１０（ｂ）は画素と段差を対応づけて説明する図の一例である。図１０（ｂ）は路面の左側に歩道帯縁があるので、点Ａ、点Ｂの高さＹは同程度である。点Ｂから点Ｄの画素は歩道帯縁の段差の側面部に相当するので、高さＹは点Ｂと点Ｄの間の値を取る。点Ｄ以降の例えば点Ｅの高さＹは車道となるのでＸ座標に関係なくほぼ一定となる。なお、点Ｂから点Ｄの高さＹは模式的に示したものに過ぎず、点Ｃの高さは点Ｂの高さＹ以下、点Ｄの高さＹ以上であればよい。
　したがって、段差判定部２７は、点Ｂの高さＹと点Ｄの高さＹが異なることから、段差を検出する（段差があると判定する）。なお、段差の高さは例えば道路構造例により定められているので、その値を参考に段差の閾値（例えば、１５ｃｍ）を設定する。この値は、国や地域に応じて変更できる。
　よって、段差判定部２７は、走査水平ラインに沿って左から右に高さＹを読み出し、高さＹが閾値程度低下した場合、又は、走査水平ラインと逆方向に沿って右から左に高さＹを読み出し、高さＹが閾値程度上昇した場合、段差を検出する。なお、走査水平ラインの走査範囲は画像の中央より左側などに限定してもよく、こうすることで処理負荷を抑制し段差の検出速度を向上できる。
　また、縁石や歩道帯縁の段差は、路面からほぼ９０度に立ち上がっているので、高さＹが変化するＸ軸方向の範囲を例えば、１０ｃｍ～３０ｃｍ程度に制限してもよい。こうすることで、縁石や歩道帯縁がないが物が置かれている場所から段差を検出してしまうことを抑制できる。
　段差判定部２７は、点Ｂ、点Ｄを特徴点として特定する。よって、１つの走査水平ラインに対し２つの特徴点が特定される。これらの特徴点の距離Ｄ（Ｚ）、高さＹ、及び、横位置Ｘは明かになっている。
　図１０（ｃ）は縁石の場合の画素と段差を対応づけて説明する図の一例である。縁石の場合、縁石よりも画像の端に近い領域は車道と同じ高さＹとなる。よって、点Ｆ、点Ｅの高さＹは同程度である。その後、点Ａで高さＹは急に大きくなり、点Ｂまで同程度の高さＹを維持する。点Ｂ以降の高さは図１０（ｂ）と同様である。
　したがって、段差判定部２７は、走査水平ラインに沿って左から右に高さＹを読み出した場合に高さＹが閾値程度増大し、さらに走査水平ラインに沿って左から右に高さＹを読み出した場合に高さＹが閾値程度減少した場合、段差を検出する。走査水平ラインと逆方向に沿って走査する場合も同様である。なお、縁石の場合、高さＹの増大又は減少の一方のみから段差を検出してもよい。
　段差判定部２７は、点Ａ、点Ｂ、点Ｄを特徴点として特定する。よって、縁石の場合、１つの走査水平ラインに対し３つの特徴点が特定される。
　また、縁石や歩道帯縁の断面形状は９０度に側面部が立ち上がる場合が多いが、９０度以上の緩やかな角度で立ち上がったり、９０度未満の鋭角で立ち上がる場合でも、高さＹから段差を検出することができる。その他、縁石や歩道帯縁の断面形状は限定されない。また、縁石や歩道帯縁にキャッツアイが埋設されていてもよい。
　＜Ｓ７０　走路パラメータの推定＞
　走路パラメータ推定部２８は、道路モデルを設定し道路モデルの係数を決定することで走路の走路パラメータを推定する。道路はクロソイド曲線やＢスプラインモデルに基づき設計されることが多い。縁石や歩道帯縁は道路に沿って配置されるので、特徴点も道路モデルに沿って検出されていると予想できる。
　図１１は走路パラメータの推定を説明する図の一例である。例えば、歩道帯縁の場合、走査水平ライン毎に２点の特徴点が検出されている。走路パラメータ推定部２８はこれらの特徴点からそれぞれ道路モデルの係数を推定する。係数の推定にはいくつか方法がある。例えば、道路モデルの式を用いて、複数の特徴点の座標を代入し、最小二乗法により道路モデルの係数を特定する方法や、カルマンフィルタやパーティクルフィルタ等の最尤値推定手法を用いて、係数を推定する方法がある。係数が求められば道路モデルに基づき走路パラメータが求められる。
　道路モデルの一例として例えば以下のように定義する。
Ｘ＝Ｘ０＋θ×Ｚ＋０．５×ｃ×Ｚ２　…（２）
　Ｘ０は、Ｚ＝ゼロにおいて、ＸＺ平面の原点から特徴点までの距離である。θは、右カメラ１１又は左カメラ１２の光軸と縁石又は歩道帯縁とのなす角（車両のヨー角）である。θは正面方向に対し右向きを正とする。ｃは道路の曲率である。ｃはＸＺ平面の定義から左カーブで負、右カーブで正となる。式（２）によれば、Ｘ０を起点に、ヨー角によるずれを補正し（車両が右向きのヨーを有する場合、白線は左方向に傾斜して撮影されるのでその分を補正する）、曲率ｃをｚの二乗で作用させている。
　走路パラメータ推定部２８は、式（２）にＸＺ平面の特徴点の座標（Ｘ、Ｚ）を代入し、最小二乗法でθとｃを求める。これにより、走路パラメータの内、ヨー角θと道路の曲率ｃ（半径Ｒ）を求めることができる。また、幅員Ｗは、任意のＺ座標における左側の白線（白線がある場合は白線で、なければ左側の縁石等の特徴点）から、右側の白線（白線がある場合は白線で、なければ右側の縁石等の特徴点）までの距離から求められる。車線内の自車両の位置は、例えばレーンの中央位置をゼロ（基準）にして、Ｗ／２－Ｘoにより表すことができる。このように、縁石や歩道帯縁から走路パラメータを求めることができる。
　＜Ｓ８０　探索範囲の設定＞
　探索範囲設定部２９は、係数が決定された道路モデルを用いてエッジの探索範囲を設定する。エッジの探索範囲とは、遠方領域の縁石や歩道帯縁のエッジを探索するための画像処理範囲である。
　図１２は、探索範囲の設定を説明する図の一例である。走路パラメータ推定部２８により、近傍領域の特徴点から所定の道路モデルの走路パラメータが決定されている。探索範囲設定部２９は、まず、決定された走路パラメータを用いて、遠方領域の任意のＺにおけるＸを算出する。これにより、縁石や歩道帯縁の特徴点を遠方領域に外挿した仮想線４１が得られる。
　探索範囲設定部２９は、仮想線に対称又は非対称に仮想線を所定距離、平行移動して探索範囲を設定する。仮想線４１は２本の直線の間に存在するようになる。例えば、直線道路では、仮想線４１をＸ軸方向の正方向と負方向（左側と右側）に所定距離、平行に移動することで２つの探索範囲線４２，４３を設定する。正方向の探索範囲線４３から負方向の探索範囲線４２までがエッジの探索範囲である。
　また、前方で道路がカーブしているため、画面のｙ軸方向に対し縁石等が傾きを持っている場合は、仮想線４１を仮想線４１に対し斜め上と斜め下に所定距離、平行に移動することで２つの探索範囲線４２，４３を設定する。また、前方で道路がカーブしているため、画面のｘ軸方向に対し略平行な縁石等が撮影されている場合は、仮想線４１を仮想線４１に対し上方向と下方向に所定距離、平行移動して探索範囲を設定する。なお、仮想線４１と探索範囲線４２までの距離、仮想線４１と探索範囲線４３までの距離は、等しくても（対称）、等しくなくてもよい（非対称）。
　歩道帯縁の場合、特徴点から２本の仮想線４１が得られ、縁石の場合は３本の仮想線４１が得られる。このため、１本の特徴点の仮想線毎に探索範囲をそれぞれ設定した場合、探索範囲を設定するために仮想線の数×２本の線分を設定する。
　また、探索範囲設定部２９は、Ｘ値が最も大きい仮想線４１に対し、Ｘ値が大きくなる方向に探索範囲線４３を設定し、Ｘ値が最も小さい仮想線４１に対し、Ｘ値が小さくなる方向に探索範囲線４２を設定してもよい。こうすることで、縁石のように３つの特徴点の仮想線４１が検出されても、探索範囲の設定のためには２本の探索範囲線４２，４３を設定すればよいことになる。
　＜Ｓ９０　エッジ線分の検出＞
　エッジ線分検出部３０は、探索範囲からエッジ線分を検出する。すでにエッジ抽出部がエッジを抽出しているので、探索範囲のエッジは検出されている。これらのエッジには、近傍領域の特徴部と連続したエッジが含まれているので、エッジ線分検出部３０は近傍領域の特徴部と連続したエッジ線分を検出する。
　図１３（ａ）は、エッジ線分検出部３０がエッジ線分を検出する手順を示すフローチャート図の一例である。
　まず、エッジ線分検出部３０は、探索範囲のエッジを読み出す（Ｓ３０１）。
　エッジ線分検出部３０は、エッジにハフ変換を施す（Ｓ３０２）。このハフ変換は線分の検出を目的とするので、確率的ハフ変換であることが好ましい。確率的ハフ変換により検出される線分は端点を有し、また、同じ端点を通過する線分は１つだけである。なお、ハフ変換で線分を検出するのでなく、例えば２点のエッジを通過する一次関数を求め、該一次関数上にある他のエッジを特定していくことで、線分を検出してもよい。
　次に、エッジ線分検出部３０は一定以上の長さの線分を抽出する（Ｓ３０３）。一定以上の長さの線分とは、遠方領域をある程度カバーする程度の長さ（例えば、１０～３０メートル）である。エッジ線分は、Ｚ方向に途切れていてもよく、Ｚ方向の直線に載る（傾きも切片も同じ）複数のエッジ線分の長さが一定以上の長さであればよい。
　エッジ線分検出部３０は、一定以上の長さの線分が、水平方向（Ｘ方向）の一定距離内に２本又は３本あるか否かを判定する（Ｓ３０４）。また、一定以上の長さの線分がほぼ平行であることを条件に加えてもよい。この場合の一定距離とは、縁石又は歩道帯縁の特徴点がある範囲なので例えば数十ｃｍ（５０ｃｍ～１００ｃｍ）とすればよい。
　図１３（ｂ）は一定以上の長さの線分の数と、縁石又は歩道帯縁の判定の一例を示す図である。２本ある場合には、歩道帯縁の特徴点である可能性が高く、３本ある場合には縁石の特徴点である可能性が高い。このようにして、遠方領域の縁石又は歩道帯縁を検出することができる。
　したがって、エッジ線分検出部３０は、２本のエッジ線分を検出した場合、歩道帯縁を検出し、３本のエッジ線分を検出した場合、縁石を検出する（Ｓ３０５）。
　なお、一定以上の長さの線分が１本しかない場合に、縁石又は歩道帯縁の特徴点であると判定してもよい。しかし、誤検知とならないように、さらに条件を加えることが好ましい。例えば近傍領域の特徴点の傾きと、一定以上の長さの線分の傾きが一致する場合にのみ、縁石又は歩道帯縁の特徴点であると判定する。
　また、一定以上の長さの線分が４本以上あった場合、近傍領域の特徴点の数から絞り込むことができる。例えば、近傍領域の特徴点が３つなら、一定以上の長さの線分のうち、傾きが最も異なっている線分、又は、近傍領域と遠方領域の境界で近傍領域の特徴点から最も遠くにある線分を排除する。
　このようにして遠方領域の縁石又は歩道帯縁が検出されることで、遠方領域の走路パラメータが決定される。よって、例えば、遠方領域の白線が検出されない場合でも、遠方領域の走路パラメータを決定でき、運転支援ＥＣＵは走路パラメータに基づき運転支援することが可能となる。
　以上説明したように、本実施例の路側物検出装置１００は、近傍領域の精度が高い視差情報を用いて段差を検出し、段差の特徴点を遠方領域に外挿することで、遠方領域の縁石や歩道帯縁の検出精度を向上できる。
　実施例１では探索範囲のエッジから線分を検出して縁石や歩道帯縁を検出したが、本実施例では特徴点が外挿された領域にテンプレートマッチングを施して縁石や歩道帯縁を検出する路側物検出装置１００について説明する。
　図１４は、本実施例のカメラコンピュータ１３の機能ブロック図の一例を示す。図１４においてすでに説明した機能の説明は省略し主要部について説明する。図１４のカメラコンピュータ１３は、テンプレートマッチング部３２を有している。テンプレートマッチング部３２は、近傍領域の縁石の画像からテンプレート画像を作成し、探索範囲の画像とテンプレートマッチングする。
　図１５は、路側物検出装置１００が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である。図１５では実施例１のステップＳ９０の処理がテンプレートマッチングに置き換わっている。
　＜Ｓ９２　テンプレートマッチング＞
　図１６はテンプレートマッチングの処理手順を説明するフローチャート図の一例であり、図１７はテンプレートマッチングを説明する図の一例である。
　テンプレートマッチング部３２は、近傍領域の縁石を含む画像（輝度画像）を切り出してテンプレート画像を作成する（Ｓ４０１）。切り出す範囲は、少なくとも縁石の側面部を含むことが好ましい。なお、縁石では、歩道帯縁と異なり歩道側にも特徴点があるので特徴点を含むように切り出すことが好ましい。これらの特徴点は図１０（ｂ）（ｃ）から明らかなので、テンプレートマッチング部３２は、最適化されたサイズでテンプレート画像を切り出すことができる。一方、歩道帯縁の場合に切り出す画像のサイズを変える必要性は低いので、歩道帯縁か縁石かに関わらず切り出すサイズは共通にしてよい。例えば、テンプレート画像の横のサイズは特徴点ＢＤの間隔の２倍程度、縦のサイズはそれと同程度かやや小さくする。
　テンプレートマッチング部３２は、好ましくは、近傍領域のうち車両から最も遠方の領域からテンプレート画像を切り出す。遠方領域の縁石や歩道帯縁に類似したテンプレート画像を切り出しやすくなるためである。
　なお、近傍領域が固定されており、車両から最も遠方の領域からテンプレート画像を切り出す場合、テンプレート画像のサイズも同程度となるはずなので、特徴点に基づき切り出す画像を決定するのでなく、予めテンプレート画像のサイズを定めておくことができる。
　また、テンプレート画像は輝度画像としているが、エッジ画像からテンプレート画像を切り出してもよい。
　次に、テンプレートマッチング部３２は、道路モデルを外挿して得られた仮想線４１を中心に、遠方領域の探索範囲の画像にテンプレートマッチングを施す（Ｓ４０２）。仮想線４１は、遠方領域の縁石や歩道帯縁の特徴点又はその近くに存在する可能性が高い。そこで、テンプレートマッチング部３２は、遠方領域の仮想線４１を中心にテンプレート画像でテンプレートマッチングを施す。テンプレートマッチングは画像で行われるので、仮想線４１は平面座標系に変換されている。なお、テンプレートマッチングは、探索範囲のうち自車両からの距離が近い部分から行う。例えば、探索範囲を遠方方向にいくつかのグループに分け、グループ単位でテンプレートマッチングを行う。
　テンプレートマッチング部３２は、グループ内で画素をずらしながら探索する毎に類似度を算出する。類似度は例えばＳＡＤやＳＳＤの逆数である。
　次に、テンプレートマッチング部３２は、グループ内の探索範囲で最大の類似度を特定し、その値が閾値以上か否かを判定する（Ｓ４０３）。
　類似度が閾値以上の場合（Ｓ４０３のＹｅｓ）、テンプレートマッチング部３２は最もよい類似度が得られたテンプレート画像の位置に縁石があると決定する（Ｓ４０４）。テンプレート画像では特徴点が得られているので、テンプレート画像と同サイズの探索領域の画像において、対応する画素に特徴点があると推定することができる。または、テンプレート画像と同サイズの探索領域の画像からエッジを検出しても特徴点の位置を特定できる。
　テンプレートマッチング部３２は、縁石があると判定した画像を切り出して新たなテンプレート画像に設定する（Ｓ４０５）。
　テンプレートマッチング部３２は新しいテンプレート画像を用いて、探索範囲の次のグループの領域にステップＳ２０以下の処理を繰り返す。遠方領域では、縁石や歩道帯縁は徐々に小さくなるので、テンプレート画像の外縁を削除するなどして徐々にテンプレート画像を小さくしてもよい。
　このように、遠方領域の縁石又は歩道帯縁の位置を特定しながらテンプレート画像を切り替え、遠方の縁石又は歩道帯縁の特定を繰り返すので、検出対象の縁石又は歩道帯縁と類似した画像をテンプレート画像に設定できる。よって、遠方領域の縁石又は歩道帯縁の検出精度を向上できる。
　本実施例では白線を利用して遠方領域の縁石又は歩道帯縁を検出する路側物検出装置１００について説明する。
　図１８は、本実施例のカメラコンピュータ１３の機能ブロック図の一例を示す。図１８においてすでに説明した機能の説明は省略し主要部について説明する。図１８のカメラコンピュータ１３は、白線検出部３３を有している。白線検出部３３は、カメラコンピュータ１３の撮影範囲の縁石又は歩道帯縁側の白線を検出する。したがって、画像には進行方向の左側のみの縁石若しくは歩道帯縁側の白線、右側のみの縁石若しくは歩道帯縁側の白線、又は、左右両方の縁石若しくは歩道帯縁側の白線が撮影され得る。
　また、エッジ線分検出部３０は実施例１のカメラコンピュータも有していたが、本実施例のエッジ線分検出部３０は、エッジ線分を検出すると共に白線との平行度や白線との距離を評価して縁石や歩道帯縁の特徴点が形成するエッジ線分を特定する。
　図１９は、路側物検出装置１００が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である。図１９では新たにステップＳ１００の白線検出処理が追加されている。また、ステップＳ８０，Ｓ９０の処理は白線を利用したものとなるので実施例１と異なっている。
　＜Ｓ１００　白線検出＞
　白線検出部３３は、右カメラ１１又は左カメラ１２が撮影した画像から白線を検出する。ステレオカメラの場合、どちらか一方のカメラの画像から白線を検出してもよく、右カメラ１１と左カメラ１２の画像の共通領域から白線を検出してもよい。
　図２０は、白線の検出を模式的に説明する図の一例である。白線検出部３３は、エッジ画像又は輝度画像から白線を検出する。図２０では、画像データ（平面座標系の白線）を模式的に示している。白線検出部３３は、エッジ抽出部２３が抽出したエッジのうち、エッジ強度が閾値以上の画素を特定する。図２０では左右の白線のそれぞれで、道路の輝度から白線の輝度に変化するエッジと、白線の輝度から道路の輝度に変化するエッジが求められている。なお、道路の中央には白線がないと推定して、白線の検出領域を画像の右側の一部と左側の一部にそれぞれ制限してもよい。これにより、カメラコンピュータ１３の処理負荷を低減できる。
　白線検出部３３は、画面の下から上にエッジ強度が閾値以上の画素を探索する。白線が直線でも画像には「ハ」の字状（下方の間隔が広く、上方の間隔が広い２本の直線状）に撮影されるので、それまで探索した複数のエッジを延長して探索を繰り返す。白線が存在すれば、左右の白線のそれぞれで画面の下から上方向にエッジが得られる。このエッジは、実線の白線が良好に撮影されていれば連続して検出され、点や破線であれば、間隔を置いて検出される。
　白線検出部３３は、ほぼ連続してエッジが検出されるか否か、又は、検出されない場合にはエッジの間隔が等間隔か否かなどを判定することで、エッジが白線の一部と推定できる否かを判定する。エッジが白線の一部であると判定した場合、左右それぞれの２本のエッジ線の幅を一般的な白線の幅と比較するなどして白線でないものを削除することで、左右にそれぞれ白線を検出する。白線検出部３３は、道路座標系と平面座標系の対応式を用いて、白線エッジをＸＺ平面にて表すことができる。
　なお、必ずしも進行方向の左右に白線があるとは限らず、どちらかの白線しか検出されない場合がある。本実施例では、少なくとも縁石又は歩道帯縁側の白線を検出する。例えば、左側通行ルールの国では進行方向に対し左側の白線を、右側通行ルールの国では右側の白線を、それぞれ検出する。また、道幅が狭く、左右に縁石がある場合は左右どちらの白線を検出しても、本実施例の効果に大差はない。したがって、進行方向に対して左右どちらの白線を検出してもよく、左右の白線が両方とも検出された場合は自車位置に最も近い白線を探索範囲の設定に利用する。
　＜Ｓ8０　探索範囲の設定＞
　図２１は、探索範囲設定部２９による探索範囲の設定を説明する図の一例である。縁石よりも車道側に白線が標示されている。縁石又は歩道帯縁はこの白線よりも歩道側にあるはずである。
　探索範囲設定部２９は、外挿された仮想線４１を平行移動して探索範囲線４２，４３を設定するが、この時、探索範囲線４３が白線を越えないように探索範囲を再設定（修正）する。例えば、車道側の探索範囲線４３が白線よりも歩道側になるように（仮想線から白線までの間で仮想線から離間するように）、平行移動すればよい。これにより、縁石や歩道帯縁を含んだまま、探索範囲を狭めることができ、エッジ線分の検出時間を短縮できる。
　＜Ｓ９０　エッジ線分の検出＞
　エッジ線分検出部３０は、探索範囲からエッジ線分を検出し、そのエッジ線分と白線を比較して縁石や歩道帯縁の特徴点のエッジ線分を絞り込む。
　図２２は、エッジ線分検出部３０がエッジ線分を検出する手順を示すフローチャート図の一例である。図２２では新たにステップＳ３１１の処理が追加されている。
　エッジ線分検出部３０は、ステップＳ３０３で検出された一定以上の長さの線分から、さらに以下のエッジ線分を抽出する（Ｓ３１１）。
・白線との平行度が閾値以上
・白線との距離が所定範囲内
　平行度を求めるため、白線に一次関数を適用して最小二乗法などで関数化する。エッジ線分は直線なので、エッジ線分と白線の傾きを比較することで平行度を特定できる。また、白線との距離は、エッジ線分上の任意の点から引いたエッジ線分に垂直な線が白線と交わる点を求め、エッジ線分上の点との２点間の距離として求めることができる。
　平行度の閾値は、例えば５～１０度程度とする。また、白線が探索される所定範囲は、近傍領域の白線と縁石又は歩道帯縁との距離から設定される。すなわち、近傍領域において白線と縁石又は歩道帯縁との距離が５０ｃｍであれば、これにマージンを加え例えば６０ｃｍとする。
　エッジ線分検出部３０は、このようにして特定した２本又は３本のエッジ線分を縁石又は歩道帯縁の特徴点から形成されるエッジ線分であると判定する。
　このように、本実施例の路側物検出装置１００は、縁石側の白線を利用して、遠方領域の縁石又は歩道帯縁の検出精度を向上できる。
　本実施例では先行車両を利用して遠方領域の縁石又は歩道帯縁を検出する路側物検出装置１００について説明する。
　図２３は、本実施例のカメラコンピュータ１３の機能ブロック図の一例を示す。図２３においてすでに説明した機能の説明は省略し主要部について説明する。図２３のカメラコンピュータ１３は、先行車検出部３４を有している。先行車検出部３４は、自車両に先行して走行している先行車を検出する。また、探索範囲設定部２９は探索範囲が先行車よりも歩道側になるように探索範囲線を再設定する。
　図２４は、路側物検出装置１００が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である。図２４では新たにステップＳ１１０の先行車検出処理が追加されている。また、ステップＳ８０の処理は先行車を利用したものとなるので実施例１と異なっている。
　＜Ｓ１１０　先行車の検出＞
　先行車検出部３４は予め用意されているテンプレートを用いて、画像中の先行車両を検出する。また、オプティカルフローを利用してもよい。例えば、画素値の変化が連続的ないくつかのグループにグループ分けして、路面に対しゼロより大きい速度で移動し、自車両の前方にあるグループは先行車両であると推定する。また、先行車をミリ波などのレーダ装置で検出してもよいが、先行車の横位置の検出精度は画像から求めた場合の方が高いことが多い。
　先行車検出部３４は、先行車までの距離と横位置を対応づけて記録する。距離を検出することで、先行車が遠方領域を走行していることを確認できる。また、先行車検出部３４は、過去の数フレームの距離と横位置を記録しておく。これにより、先行車の軌跡を求めることができる。
　＜Ｓ8０　探索範囲の設定＞
　図２５は、探索範囲設定部２９による探索範囲の設定を説明する図の一例である。先行車が走行しているが、縁石又は歩道帯縁は先行車よりも歩道側にあるはずである。
　探索範囲設定部２９は、仮想線４１を平行移動して探索範囲を設定するが、この時、探索範囲線４３が先行車に重ならないように探索範囲を再設定する。例えば、車道側の探索範囲線４３が先行車よりも歩道側になるように、平行移動すればよい。これにより、縁石や歩道帯縁を含んだまま、探索範囲を狭めることができ、エッジ線分の検出時間を短縮できる。
　ステップＳ９０のエッジ線分の検出方法は実施例１と同様である。また、先行車の過去の横位置が所定長以上の長さを有する場合、横位置の軌跡を白線とみなし、実施例３と同様に平行度や距離を判定してもよい。
　このように、本実施例の路側物検出装置１００は、先行車を利用して、遠方領域の縁石又は歩道帯縁の検出精度を向上できる。
　以上説明したように、本実施形態の路側物検出装置１００は、遠方の縁石や歩道帯縁の特徴点を精度よく検出でき、白線が検出されない場合の走路パラメータの取得を可能とすることができる。また、白線の検出の手がかりとすることも可能となる。
　なお、以上では、実施例を分けて説明したが、実施例１～４はその内の２つ以上を適宜組み合わせて適用できる。また、縁石や歩道帯縁の検出方法を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。例えば、縁石や歩道帯縁以外でも路面に対し高さを有する路側物を同様に検出することができる。
　なお、本国際出願は、２０１２年６月１９日に出願した日本国特許出願２０１２－１３８１４１号に基づく優先権を主張するものであり、日本国特許出願２０１２－１３８１４１号の全内容を本国際出願に援用する。
 

Claims (7)

  1. 　複数の撮影画像を用いて路側物を検出する路側物検出装置であって、
    　複数の前記撮影画像を解析して、自車両からの距離が閾値未満の近傍領域における撮影対象の高さ情報を検出する高さ情報検出手段と、
    　前記近傍領域の高さ情報から路側物により生じる路面の高さの変化を検出する高さ変化検出手段と、
    　前記高さの変化が検出された位置を前記路側物の特徴点に決定し、前記特徴点を道路モデルに従って自車両からの距離が前記閾値以上の遠方領域に外挿する特徴点外挿手段と、
    　前記特徴点外挿手段が前記特徴点を外挿して得られる仮想線に基づいて前記路側物の探索範囲を設定し、前記探索範囲から前記遠方領域の前記路側物を検出する路側物検出手段と、
    　を有することを特徴とする路側物検出装置。
  2. 　前記路側物検出手段は、
    　前記仮想線を、該仮想線に対し対称又は非対称になるように所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
    　前記探索範囲のエッジを検出し、前記エッジから１つ以上の線分を生成し、前記線分の数及び長さの少なくともいずれかに基づき前記遠方領域にある前記路側物の前記特徴点から生成された前記線分を特定する線分特定手段と、を有する、
    　ことを特徴とする請求項１記載の路側物検出装置。
  3. 　前記路側物検出手段は、
    　前記仮想線を、該仮想線に対し対称又は非対称になるように所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
    　前記近傍領域の前記路側物を含むテンプレート画像を切り出し、前記テンプレート画像により前記探索範囲にテンプレートマッチングを施すことで、前記遠方領域の前記路側物を検出するテンプレートマッチング手段と、を有する、
    　ことを特徴とする請求項１記載の路側物検出装置。
  4. 　複数の前記撮影画像の少なくとも１つから、自車両が走行する車線を区分する車線区分標示を検出する車線区分標示検出手段を有し、
    　前記路側物検出手段は、
    　前記仮想線を、前記仮想線と進行方向に対し左側又は右側のうち自車に近い方の車線区分標示との間で前記仮想線から離間する方向に平行移動すると共に、前記方向と反対方向に前記仮想線を該仮想線から離間する方向に所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
    　前記探索範囲のエッジを検出し、前記エッジから１つ以上の線分を生成し、前記線分の数及び長さの少なくともいずれかに基づき前記遠方領域にある前記路側物の前記特徴点から生成された前記線分を特定する線分特定手段と、を有する、
    　ことを特徴とする請求項１記載の路側物検出装置。
  5. 　少なくとも先行車両の横位置と共に該先行車両を検出する先行車両検出手段を有し、
    　前記路側物検出手段は、
    　前記仮想線を、前記仮想線と前記先行車両との間で前記仮想線から離間する方向に平行移動すると共に、前記方向と反対方向に前記仮想線を該仮想線から離間する方向に所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
    　前記探索範囲のエッジを検出し、前記エッジから１つ以上の線分を生成し、前記線分の数及び長さの少なくともいずれかに基づき前記遠方領域にある前記路側物の前記特徴点から生成された前記線分を特定する線分特定手段と、を有する、
    　ことを特徴とする請求項１記載の路側物検出装置。
  6. 　前記テンプレートマッチング手段は、前記探索範囲のうち自車両に近い領域からテンプレートマッチングを行い、前記近傍領域の前記テンプレート画像により前記遠方領域の前記路側物を検出した場合、検出した前記路側物を含む領域を新たな前記テンプレート画像に設定し、前記探索範囲のうち次に自車両に近い領域からテンプレートマッチングを行う、
    　ことを特徴とする請求項３記載の路側物検出装置。
  7. 　前記線分特定手段は、前記遠方領域にある前記路側物の前記特徴点から生成された前記線分が２本の場合は歩道帯縁があると推定し、３本の場合は縁石があると推定する、
    　ことを特徴とする請求項２、４、５いずれか１項記載の路側物検出装置。
     
PCT/JP2012/077808 2012-06-19 2012-10-26 路側物検出装置 WO2013190719A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12879593.7A EP2863358A4 (en) 2012-06-19 2012-10-26 DEVICE FOR DETECTING OBJECTS AT THE ROAD BORDER
CN201280073243.7A CN104520894A (zh) 2012-06-19 2012-10-26 路旁物检测装置
US14/402,197 US9676330B2 (en) 2012-06-19 2012-10-26 Roadside object detection apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012138141A JP5829980B2 (ja) 2012-06-19 2012-06-19 路側物検出装置
JP2012-138141 2012-06-19

Publications (1)

Publication Number Publication Date
WO2013190719A1 true WO2013190719A1 (ja) 2013-12-27

Family

ID=49768336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077808 WO2013190719A1 (ja) 2012-06-19 2012-10-26 路側物検出装置

Country Status (5)

Country Link
US (1) US9676330B2 (ja)
EP (1) EP2863358A4 (ja)
JP (1) JP5829980B2 (ja)
CN (1) CN104520894A (ja)
WO (1) WO2013190719A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834889A (zh) * 2014-02-07 2015-08-12 丰田自动车株式会社 标志线检测系统和标志线检测方法
JP2017151968A (ja) * 2016-01-28 2017-08-31 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両の周囲にある縁石を検知する装置および方法並びに車両用縁石チェックシステム
CN112580456A (zh) * 2014-05-14 2021-03-30 御眼视觉技术有限公司 用于路缘检测和行人危险评估的系统和方法

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652814B2 (en) * 2011-03-29 2017-05-16 Jura Trade, Limited Method and apparatus for generating and authenticating security documents
DE102012112104A1 (de) * 2012-12-11 2014-06-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur befahrbarkeitsanalyse
DE102014210411A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
JP2015179368A (ja) * 2014-03-19 2015-10-08 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
JP6412934B2 (ja) * 2014-05-28 2018-10-24 京セラ株式会社 物体検出装置、物体検出装置を設置した車両およびプログラム
KR102159355B1 (ko) * 2014-06-13 2020-09-23 현대모비스 주식회사 차량자동제어방법 및 차량자동제어장치
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
JP6295859B2 (ja) * 2014-07-08 2018-03-20 株式会社デンソー 車載システム、情報処理装置、及びプログラム
JP6357050B2 (ja) * 2014-08-19 2018-07-11 日野自動車株式会社 運転支援システム
DE102014014662A1 (de) * 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
KR20160054825A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 주행 가능 공간 판단 장치 및 방법
JP6548893B2 (ja) * 2014-11-18 2019-07-24 日立オートモティブシステムズ株式会社 走行路認識装置及びそれを用いた走行支援システム
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
JP6477340B2 (ja) * 2015-08-04 2019-03-06 日産自動車株式会社 道路境界検出装置、自己位置推定装置及び道路境界検出方法
CN107851390B (zh) 2015-08-04 2020-06-30 日产自动车株式会社 台阶检测装置及台阶检测方法
RU2667026C1 (ru) * 2015-08-04 2018-09-13 Ниссан Мотор Ко., Лтд. Устройство обнаружения уступов и способ обнаружения уступов
JP6462544B2 (ja) * 2015-09-17 2019-01-30 株式会社東芝 推定装置、方法及びプログラム
JP6618767B2 (ja) * 2015-10-27 2019-12-11 株式会社デンソーテン 画像処理装置および画像処理方法
KR101755870B1 (ko) 2015-10-28 2017-07-19 현대자동차주식회사 차선의 오인식 정보를 보정하는 방법
EP3416132B1 (en) 2016-02-08 2021-06-16 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, and image processing method and program
JP6544257B2 (ja) * 2016-02-09 2019-07-17 株式会社リコー 情報処理システム、情報処理方法及び情報処理プログラム
JP6662449B2 (ja) * 2016-03-09 2020-03-11 株式会社ニコン 検出装置、検出システム、検出方法、及び検出プログラム
EP3217374A1 (en) * 2016-03-10 2017-09-13 Volvo Car Corporation Method and system for estimating a boundary of a road technical field
JP6723079B2 (ja) 2016-06-08 2020-07-15 日立オートモティブシステムズ株式会社 物体距離検出装置
KR102222801B1 (ko) * 2016-07-12 2021-03-05 닛산 지도우샤 가부시키가이샤 주행 제어 방법 및 주행 제어 장치
US10558222B2 (en) * 2016-07-21 2020-02-11 Mobileye Vision Technologies Ltd. Navigating a vehicle using a crowdsourced sparse map
KR20190069384A (ko) * 2016-07-21 2019-06-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 스파스 맵(sparse map)의 크라우드소싱과 배포 및 차선 측정
US9990728B2 (en) * 2016-09-09 2018-06-05 Adobe Systems Incorporated Planar region guided 3D geometry estimation from a single image
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
JP6740116B2 (ja) * 2016-12-23 2020-08-12 株式会社Ｚｍｐ 移動車両
CN110709301B (zh) * 2017-06-15 2023-05-16 日立安斯泰莫株式会社 车辆控制装置
EP3667612B1 (en) 2017-08-07 2024-08-28 Hitachi Astemo, Ltd. Roadside object detection device, roadside object detection method, and roadside object detection system
JP6548312B2 (ja) 2017-09-19 2019-07-24 株式会社Ｓｕｂａｒｕ 画像処理装置
JP6960827B2 (ja) * 2017-11-08 2021-11-05 フォルシアクラリオン・エレクトロニクス株式会社 路面領域検出装置
JP6923472B2 (ja) * 2018-03-23 2021-08-18 ヤンマーパワーテクノロジー株式会社 障害物検知システム
US20200049513A1 (en) * 2018-08-10 2020-02-13 Delphi Technologies, Llc Positioning system
JP7134780B2 (ja) * 2018-08-13 2022-09-12 日立Astemo株式会社 ステレオカメラ装置
EP3620332B1 (en) * 2018-09-05 2021-03-10 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
EP3859273B1 (en) * 2018-09-30 2023-09-06 Great Wall Motor Company Limited Method for constructing driving coordinate system, and application thereof
US10735716B2 (en) * 2018-12-04 2020-08-04 Ford Global Technologies, Llc Vehicle sensor calibration
US10915762B1 (en) 2018-12-07 2021-02-09 Waymo Llc Sidewalk detection for pedestrian behavior modeling
JP7203586B2 (ja) * 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
CN109815879B (zh) * 2019-01-18 2021-05-07 北京地平线机器人技术研发有限公司 目标检测方法、装置和电子设备
US11370329B2 (en) * 2019-02-27 2022-06-28 Toyota Jidosha Kabushiki Kaisha Control apparatus of vehicle seat
US11238604B1 (en) * 2019-03-05 2022-02-01 Apple Inc. Densifying sparse depth maps
JP7167834B2 (ja) * 2019-04-24 2022-11-09 中西金属工業株式会社 障害物・段差検知システム、及び移動体の注意喚起システム
JP7156218B2 (ja) * 2019-09-06 2022-10-19 トヨタ自動車株式会社 運転支援装置
KR102255924B1 (ko) * 2019-09-27 2021-05-25 주식회사 서울로보틱스 레인을 검출하는 차량 및 방법
CN110654381B (zh) 2019-10-09 2021-08-31 北京百度网讯科技有限公司 用于控制车辆的方法和装置
JP7380196B2 (ja) * 2019-12-25 2023-11-15 株式会社ジェイテクト 位置関係検出装置
JP2021103132A (ja) * 2019-12-25 2021-07-15 株式会社ジェイテクト 位置関係検出システム
JP7225149B2 (ja) * 2020-02-25 2023-02-20 日立Astemo株式会社 処理装置
JP7482054B2 (ja) * 2020-02-27 2024-05-13 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
US11634124B2 (en) * 2020-08-26 2023-04-25 Carvi Inc. Method of recognizing median strip and predicting risk of collision through analysis of image
US11741718B2 (en) * 2021-05-18 2023-08-29 Hitachi Astemo, Ltd. Light interference detection during vehicle navigation
JP7568579B2 (ja) 2021-05-21 2024-10-16 株式会社Soken 縁石検出装置
JP7356690B1 (ja) * 2023-05-31 2023-10-05 株式会社レグラス 作業車両の走行制御装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307627A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd 自律走行作業車の作業境界検出装置及び倣い走行制御装置
JP2007018037A (ja) 2005-07-05 2007-01-25 Toyota Central Res & Dev Lab Inc 画像認識装置
JP2007232389A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 立体形状検出装置
JP2010020476A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271978A (ja) 1994-03-29 1995-10-20 Toshiba Corp 画像処理装置
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JPH1114376A (ja) 1997-06-20 1999-01-22 Nissan Motor Co Ltd 車両用走行路検出装置
JP3920535B2 (ja) * 2000-06-12 2007-05-30 株式会社日立製作所 車両検出方法及び車両検出装置
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
JP4801821B2 (ja) * 2007-09-21 2011-10-26 本田技研工業株式会社 道路形状推定装置
JP4775391B2 (ja) * 2008-03-18 2011-09-21 株式会社デンソー 障害物検出装置
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
JP5475138B2 (ja) * 2010-09-08 2014-04-16 トヨタ自動車株式会社 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法
US8791806B2 (en) * 2011-11-28 2014-07-29 Trimble Navigation Limited Real-time detection of hazardous driving
JP2013142972A (ja) 2012-01-10 2013-07-22 Toyota Motor Corp 走行路認識装置
JP2013161190A (ja) 2012-02-02 2013-08-19 Toyota Motor Corp 物体認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307627A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd 自律走行作業車の作業境界検出装置及び倣い走行制御装置
JP2007018037A (ja) 2005-07-05 2007-01-25 Toyota Central Res & Dev Lab Inc 画像認識装置
JP2007232389A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 立体形状検出装置
JP2010020476A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2863358A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834889A (zh) * 2014-02-07 2015-08-12 丰田自动车株式会社 标志线检测系统和标志线检测方法
JP2015149028A (ja) * 2014-02-07 2015-08-20 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
EP2905725A3 (en) * 2014-02-07 2016-01-13 Toyota Jidosha Kabushiki Kaisha Marking line detection system and marking line detection method
US9536155B2 (en) 2014-02-07 2017-01-03 Toyota Jidosha Kabushiki Kaisha Marking line detection system and marking line detection method of a distant road surface area
CN104834889B (zh) * 2014-02-07 2018-10-16 丰田自动车株式会社 标志线检测系统和标志线检测方法
CN112580456A (zh) * 2014-05-14 2021-03-30 御眼视觉技术有限公司 用于路缘检测和行人危险评估的系统和方法
JP2017151968A (ja) * 2016-01-28 2017-08-31 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両の周囲にある縁石を検知する装置および方法並びに車両用縁石チェックシステム
JP7033389B2 (ja) 2016-01-28 2022-03-10 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 車両の周囲にある縁石を検知する装置および方法並びに車両用縁石チェックシステム

Also Published As

Publication number Publication date
JP2014002608A (ja) 2014-01-09
US20150165972A1 (en) 2015-06-18
CN104520894A (zh) 2015-04-15
EP2863358A4 (en) 2016-07-06
EP2863358A1 (en) 2015-04-22
JP5829980B2 (ja) 2015-12-09
US9676330B2 (en) 2017-06-13

Similar Documents

Publication Publication Date Title
JP5829980B2 (ja) 路側物検出装置
JP5880703B2 (ja) 車線区分標示検出装置、運転支援システム
US10755116B2 (en) Image processing apparatus, imaging apparatus, and device control system
JP3862015B2 (ja) 車載用レーダ装置
JP4676373B2 (ja) 周辺認識装置、周辺認識方法、プログラム
EP2767927A2 (en) Face information detection apparatus, vehicle device control system employing face information detection apparatus, and carrier medium of face information detection program
US7623700B2 (en) Stereoscopic image processing apparatus and the method of processing stereoscopic images
JP5561064B2 (ja) 車両用対象物認識装置
JP2006018751A (ja) 車両用画像処理装置
WO2017159056A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2013250907A (ja) 視差算出装置、視差算出方法及び視差算出用プログラム
KR20180092765A (ko) 탑뷰 영상을 이용한 차선인식 장치 및 방법
JP6733302B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2007264712A (ja) 車線検出装置
JP2015148887A (ja) 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム
JP5421819B2 (ja) 車線認識装置
JP4956099B2 (ja) 壁検出装置
JP2013161190A (ja) 物体認識装置
KR102629639B1 (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
JP2007310591A (ja) 画像処理装置及び駐車場判定方法
JP2020126304A (ja) 車外物体検出装置
KR102681321B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
JP7486556B2 (ja) 区画線認識装置
KR102588013B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 적응형 크루즈 컨트롤 시스템의 성능 평가 장치와 그 제어 방법
JP6613061B2 (ja) 車外環境認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12879593

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012879593

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012879593

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14402197

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE