WO2018179281A1 - 物体検出装置及び車両 - Google Patents
物体検出装置及び車両 Download PDFInfo
- Publication number
- WO2018179281A1 WO2018179281A1 PCT/JP2017/013402 JP2017013402W WO2018179281A1 WO 2018179281 A1 WO2018179281 A1 WO 2018179281A1 JP 2017013402 W JP2017013402 W JP 2017013402W WO 2018179281 A1 WO2018179281 A1 WO 2018179281A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- road surface
- vehicle
- surface parameter
- unit
- parameter
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Definitions
- the present invention relates to an object detection device that detects an object such as an obstacle using a stereo camera mounted on a moving body such as a vehicle, and a vehicle.
- Patent Document 1 In order to accurately obtain three-dimensional information such as depth in a scene around the vehicle using a stereo camera on the vehicle, it is necessary to accurately grasp the positional relationship of the installed stereo camera. Since such a positional relationship gradually shifts due to vibration caused by running of the vehicle, fixed looseness due to aging, and the like, a technique for automatically calibrating the positional shift of the stereo camera has been proposed (for example, Patent Document 1). ).
- Patent Document 1 discloses a calibration method in which camera parameters of a stereo camera are calibrated based on an optical flow.
- a stereo camera is used as a parameter to determine the inclination angle in the pitch direction of the road surface relative to the camera, and the amount of movement between frames for points on the road surface, that is, the optical flow is obtained.
- the stereo camera is calibrated by calculating the shift of the parallax offset generated in the stereo camera based on the relationship between each obtained amount and the amount of movement of the vehicle between the frames.
- An object of the present invention is to provide an object detection apparatus capable of performing calibration with respect to a positional shift of a stereo camera with high accuracy in an object detection apparatus using a stereo camera mounted on a vehicle.
- the object detection apparatus detects an object based on an image from a stereo camera on a vehicle.
- the object detection device includes a parallax calculation unit, a first road surface parameter estimation unit, a road surface parameter accumulation unit, a second road surface parameter estimation unit, and an object detection unit.
- the parallax calculation unit calculates the three-dimensional information of the scene in the video.
- the first road surface parameter estimation unit calculates a first road surface parameter indicating a distance between the road surface on which the vehicle is traveling and the stereo camera based on the three-dimensional information.
- the road surface parameter accumulation unit accumulates the first road surface parameter and vehicle information related to the running state of the vehicle in association with each other.
- the second road surface parameter estimation unit calculates the second road surface parameter using the first road surface parameter under a predetermined condition related to the vehicle based on the vehicle information and the first road surface parameter accumulated by the road surface parameter accumulation unit. To do.
- the object detection unit detects an object using the second road surface parameter.
- the predetermined condition includes that the angle difference between the road surface observed from the stereo camera and the ground contact surface of the vehicle at the time of observation is within a predetermined angle.
- the second road surface parameter is calculated using the first road surface parameter calculated when the traveling state of the vehicle is under a predetermined condition.
- FIG. 1 is a block diagram illustrating a configuration of an object detection device according to a first embodiment. Diagram for explaining the measurement principle using a stereo camera Flow chart showing processing in the parallax calculation unit The figure for demonstrating the image parallelization correction
- FIG. 3 is a block diagram illustrating a configuration of an object detection device according to a second embodiment.
- the flowchart which shows the process in a white line vanishing point detection part.
- FIG. 9 is a block diagram showing a configuration of an object detection device according to a third embodiment.
- FIG. 6 is a block diagram showing a configuration of an object detection device according to a fourth embodiment.
- the 3D information including the depth of the scene by the stereo camera is obtained based on camera internal parameters such as distortion and focal length of each camera constituting the stereo camera and camera external parameters indicating the positional relationship between the two cameras. For this reason, when a stereo camera is mounted on a vehicle and shipped, the above parameters are measured by photographing with two cameras equipped with patterns having a known shape and size.
- the camera external parameters are expressed by a translation vector and a rotation matrix, which will be described later.
- the calibration of the camera external parameters is performed by a first step of obtaining the direction and rotation matrix of the translation vector, and the length of the translation vector, that is, the scale. It can be divided into the second step to be obtained.
- the first step can be performed by obtaining a plurality of pairs of points at which the same object appears between the captured images of the cameras.
- a specific target whose scale can be grasped in the scene is used as a reference, and it is necessary to appropriately set such a scale reference.
- the inventor of the present application has conducted intensive studies on a method for accurately performing the second step.
- Patent Document 1 the three-dimensional information of the road surface obtained by the stereo camera and the three-dimensional information of the road surface obtained by the association (so-called motion stereo) before and after movement between the frames of one camera are obtained.
- the former stereo camera is calibrated on the basis of the three-dimensional information obtained in the latter and the scale.
- the accuracy of the three-dimensional information on the road surface obtained by the motion stereo as described above depends on the accuracy of the camera movement amount between frames.
- the amount of camera movement is calculated from vehicle speed information.
- in-vehicle stereo cameras are usually configured with a distance between cameras of several tens of centimeters to several tens of centimeters, and the amount of shift due to aging of stereo cameras is estimated to be several millimeters or less at most.
- this shift amount based on motion stereo it is necessary to determine the camera movement amount between frames with an error of 1% or less.
- the mechanism based on the vehicle speed pulse as described above It is considered difficult to determine the amount of camera movement with accuracy.
- the calculation of the three-dimensional position is based on the following measurement principle. That is, the three-dimensional position of the object is obtained by calculating the position of the two viewpoints and the angle with respect to the object viewed from the viewpoint, assuming a straight line extending from each viewpoint to the angle of the object direction, and obtaining the intersection between the assumed straight lines. Based on the principle of seeking.
- Embodiment 1 FIG. The object detection device according to the first embodiment and a vehicle including the object detection device will be described below.
- FIG. 1 is a diagram illustrating an overall configuration of a vehicle 101 according to the present embodiment.
- the depth direction viewed from the vehicle 101 is the z direction
- the vertical direction is the y direction
- the width direction of the vehicle 101 orthogonal to the z and y directions is the x direction.
- the + x direction is left
- the -x direction is right
- the + y direction is upward
- the -y direction is downward
- the + z direction is forward
- the -z direction is backward.
- the vehicle 101 is equipped with the object detection device according to the present embodiment. As shown in FIG. 1, the vehicle 101 includes a stereo camera 102, a yaw rate sensor 103, a pitch rate sensor 104, a vehicle speed sensor 105, a computing device 106, and a display device 107. Each of the sensors 103, 104, and 105 is an example of a vehicle information detection unit that detects vehicle information regarding the moving state of the vehicle 101.
- the stereo camera 102 includes two cameras 102a and 102b.
- the two cameras 102a and 102b are arranged, for example, as a left camera 102a and a right camera 102b arranged in the left-right direction (x direction) of the vehicle 101 so that their optical axes are parallel to each other.
- the two cameras 102a and 102b can capture images in synchronization with each other.
- the stereo camera 102 is installed near the windshield in front of the vehicle 101 so that the road surface in front of the vehicle 101 can be photographed by the left and right cameras 102a and 102b.
- the configuration of the stereo camera as described above is an example, and the two cameras may not be parallel and may not be directed forward with respect to the vehicle as long as the two cameras can share the field of view.
- the yaw rate sensor 103 is a sensor for detecting a rotational angular velocity (yaw rate) around the vertical axis (y axis) of the vehicle 101.
- the yaw rate sensor 103 is mounted on the vehicle 101 so as to be parallel to the y axis.
- the pitch rate sensor 104 is a sensor for detecting the rotational angular velocity (pitch rate) around the axis of the vehicle 101 in the left-right direction (x direction).
- the pitch rate sensor 104 is mounted on the vehicle 101 so as to be parallel to the x-axis.
- the vehicle speed sensor 105 is a device that generates a pulse signal in proportion to the rotational speed of the axle in the vehicle 101, and can calculate the vehicle speed from the wheel diameter and the number of pulses.
- the computing device 106 is a device constituted by a CPU, a RAM, a ROM, and the like.
- the arithmetic device 106 may further include an internal memory such as a flash memory.
- the CPU of the arithmetic unit 106 reads out data and programs stored in the ROM and the like to the RAM and performs various arithmetic processes to realize various functions.
- the arithmetic unit 106 inputs a video signal from the stereo camera 102, a yaw rate signal from the yaw rate sensor 103, a pitch rate signal from the pitch rate sensor 104, and a vehicle speed signal from the vehicle speed sensor 105, and performs various book image processing to perform vehicle image processing. 101, an object ahead is detected, and the object information of the detection result is output to the display device 107.
- the arithmetic device 106 is an example of an object detection device in the present embodiment. Details of the configuration for the arithmetic device 106 to function as an object detection device will be described later.
- the display device 107 is composed of, for example, a liquid crystal display or an organic EL display.
- the display device 107 displays various information including object information from the arithmetic device 106.
- FIG. 2 is a block diagram showing a configuration of the arithmetic device 106 as an object detection device in the present embodiment.
- the computing device 106 includes a parallax computing unit 203, a first road surface parameter estimating unit 204, a road surface parameter accumulating unit 205, and a second road surface parameter estimating unit 208. Further, the arithmetic device 106 includes a correction parameter calculation unit 209, an initial setting road surface parameter storage unit 210, a correction parameter reflection unit 211, a corrected parameter storage unit 220, and an object detection unit 212. Each functional unit described above is realized in the arithmetic device 106 by, for example, cooperation between software and hardware.
- the arithmetic device 106 receives the left and right camera images taken by the left and right cameras 102a and 102b (FIG. 1) of the stereo camera 102 and vehicle information 206 such as vehicle speed and yaw rate.
- vehicle information 206 is acquired by the yaw rate sensor 103, the pitch rate sensor 104, and the vehicle speed sensor 105 in FIG.
- the parallax calculation unit 203 obtains the three-dimensional position of each point by calculating the parallax for each pixel of the video of the left and right cameras taken by the stereo camera 102 (details will be described later). Parallax evaluates the similarity of local images related to which pixel shows the same object in the video of the left camera and the video of the right camera using the sum of absolute values of luminance differences, etc. It can be obtained by searching for a high point.
- the first road surface parameter estimation unit 204 obtains the length of the perpendicular line from the projection center of the camera in the stereo camera 102 to the road surface as a road surface parameter (details will be described later).
- the position of the road surface with respect to the camera is considered to be substantially the same as that at the time of initial setting unless the position of the camera is largely deviated. From this, an area having a vertical width relative to the road surface at the time of initial setting is set, a three-dimensional position of a point located therein is extracted, and the road surface parameter is set based on the plane on which the point group rides most Can be sought.
- the road surface parameter storage unit 205 includes a RAM or the like, and records the road surface parameter (first road surface parameter) obtained by the first road surface parameter estimation unit 204 in association with the vehicle information 206.
- the second road surface parameter estimation unit 208 extracts a road surface parameter corresponding to a predetermined condition to be described later based on the vehicle information 206 stored in the road surface parameter storage unit 205.
- the road surface parameter extracted at this time is set based on the vehicle speed, the yaw rate, and the pitch rate so that the vehicle 101 can be regarded as being obtained while traveling on a road surface that is not curved and has no curve.
- the second road surface parameter estimation unit 208 performs a statistical process on the extracted road surface parameter as will be described later, thereby obtaining a road surface parameter (second road surface parameter) when there is no change in gradient.
- the correction parameter calculation unit 209 compares the road surface parameter obtained by the second road surface parameter estimation unit 208 with the road surface parameter stored in the initial setting road surface parameter storage unit 210 to thereby determine the position and orientation between the left and right cameras. Is calculated (details will be described later).
- the initial setting road surface parameter storage unit 210 is composed of, for example, a ROM, and stores road surface parameters at the time of initial setting as a comparison reference.
- the correction parameter reflecting unit 211 reflects the correction amount calculated by the correction parameter calculating unit 209 by recording it in the corrected parameter storage unit 220.
- the corrected parameter storage unit 220 is configured by an internal memory of the arithmetic device 106, for example.
- the object detection unit 212 uses the parameter corrected by the correction parameter reflection unit 211 to convert the parallax obtained by the parallax calculation unit 203 into three-dimensional information, and find a block having a height on the road surface from the distribution. The object is detected (details will be described later).
- the vehicle 101 travels on the road surface while photographing a surrounding scene from the mounted stereo camera 102.
- the arithmetic device 106 that functions as an object detection device in the vehicle 101 analyzes the image captured by the stereo camera 102 in the parallax calculation unit 203 (FIG. 2) to generate three-dimensional information of the scene. Detect objects such as obstacles above. Along with such an object detection operation, the arithmetic device 106 performs arithmetic processing for determining a scale reference in calibration of the stereo camera 102.
- the arithmetic unit 106 sequentially calculates the first road surface parameter for the road surface in the captured image obtained from the stereo camera 102.
- the first road surface parameter is calculated from captured images when traveling on various road surfaces such as undulations and changes in slope.
- vehicle information 206 relating to the movement state of the vehicle 101 traveling on such a road surface is acquired using the various sensors 103 to 105, and the vehicle information 206, the first road surface parameter, and the like are acquired in the road surface parameter accumulation unit 205. Associate and accumulate.
- the second road surface parameter estimation unit 208 of the arithmetic device 106 calculates a first road surface parameter that is considered to have been obtained while the vehicle 101 travels straight on a road surface having no change in gradient, among the accumulated first road surface parameters. And calculate the second road surface parameter.
- the second road surface parameter serves as a scale reference with higher accuracy than the first road surface parameter when the vehicle travels on a change in slope or curve, and the stereo camera 102 can be calibrated with high accuracy.
- the calibration using the second road surface parameter is performed by the correction parameter calculation unit 209, and the calibration result is recorded in the corrected parameter storage unit 220 by the correction parameter reflection unit 211.
- the object detection unit 212 can accurately detect the position of an object or the like in the scene using information based on a real-time captured image by the stereo camera 102 and the corrected parameter.
- the left and right cameras 102a and 102b in the stereo camera 102 are schematically shown using a pinhole model.
- the left camera 102a has an imaging surface 503 and a projection center 501 at an interval of the focal length f from the center of the imaging surface 503.
- the right camera 102b has an imaging surface 504 and a projection center 501 at an interval of the focal length f from the center of the imaging surface 504.
- three-dimensional information is measured in a state where the imaging surface 503 of the left camera 102a and the imaging surface 504 of the right camera 102b are set to be parallel.
- the object 505 When the measurement object 505 is captured by the stereo camera 102, the object 505 is imaged at a point 506 on the imaging surface 503 by the left camera 102a and at a point 507 on the imaging surface 504 by the right camera 102b.
- the two-dimensional coordinates of the measurement target 505 are calculated based on the coordinates of the point 506 on the imaging surface 503 of the left camera 102a, for example.
- a point 506 is located at a position where a line 508 connecting the projection center 501 of the left camera 102a and the measurement target 505 penetrates the imaging surface 503 of the left camera 102a.
- the parallax d with respect to the measurement object 505 is the same as the point 510 that is a line 509 that is parallel to the line 508 and that passes through the projection center 502 of the right camera 102b and passes through the imaging surface 504 of the right camera 102b.
- 505 is defined as the distance from the point 507 actually captured by the right camera 102b.
- a distance Z from the stereo camera 102 (for example, the projection center 501 of the left camera 102a) to the measurement target 505 is calculated by the following equation using the parallax d.
- the baseline length D is defined as the length of the interval between the projection center 501 of the left camera 102a and the projection center 502 of the right camera 102b.
- FIG. 4 is a flowchart showing processing in the parallax calculation unit 203.
- the flowchart shown in FIG. 4 is executed by, for example, a predetermined period (for example, 1/30 second) by the arithmetic device 106 functioning as the parallax arithmetic unit 203.
- the parallax calculation unit 203 performs parallelization conversion for applying the parallel stereo method (FIG. 3) by distortion correction conversion and plane conversion using images captured by the left and right cameras 102a and 102b of the stereo camera 102 as input. (S301).
- step S301 is a process for correcting the left image by the left camera 102a and the right image by the right camera 102b to be parallel to the difference in orientation between the left and right cameras 102a and 102b (FIG. 5). reference). Details of step S301 will be described later.
- the parallax calculation unit 203 performs image processing based on the parallel stereo method, and calculates the parallax d (FIG. 3) of all points in the image of the stereo camera 102 (S302).
- step S302 the parallax calculation unit 203 cuts out an image near the point of interest from the left image as a template, for example, to obtain the parallax of the specific point of interest on the left image, and the similarity to the cut out template in the right image Search for the high part.
- the parallax calculation unit 203 determines the point having the highest similarity in the right image as a corresponding point based on the search result, and calculates the parallax d based on the distance between the determined corresponding point and the point of interest.
- the parallax calculation unit 203 can search for corresponding points only on the same line, and can omit processing for other portions.
- SAD Sum of Absolute Differences: sum of absolute values of differences
- SSD Sum of Squared Differences: sum of squares of differences
- the parallax calculation unit 203 calculates the three-dimensional position of each point in the image by performing the calculation according to the above-described equation (1) using the calculated parallax d of each point (S303).
- the parallax calculation unit 203 performs the calculation process in step S303 using, for example, an initially set baseline length.
- the parallax calculation unit 203 outputs the three-dimensional information indicating the three-dimensional position calculated in step S302 to the first road surface parameter estimation unit 204, and outputs the information indicating the parallax d calculated in step S302 to the object detection unit 212. Then, the process according to this flowchart is terminated.
- the images from the cameras 102a and 102b of the stereo camera 102 are parallelized and converted (S301), and the parallax d and the three-dimensional information can be calculated based on the parallel stereo method. Details of step S301 will be described with reference to FIG.
- FIG. 5A shows the left camera coordinates (x l , y l , z l ) and the right camera coordinates (x r , y r , z r ) before parallelization in step S301.
- FIG. 5B shows the left camera coordinates (x ′ l , y ′ l , z ′ l ) and the right camera coordinates (x ′ r , y ′ r , z ′ r ) after parallelization in step S301.
- the left camera coordinate is a coordinate system with the projection center of the left camera 102a in the stereo camera 102 as the origin.
- the right camera coordinate is a coordinate system having the origin of the projection center of the right camera 102b.
- the internal parameters represent the camera focal length, image center coordinates, distortion parameters, and the like.
- the external parameter represents the position and orientation of the camera in the world coordinate system, which is a fixed coordinate system.
- the arithmetic unit 106 sets the world coordinate system in advance and uses the method shown in Non-Patent Document 1, thereby enabling the internal parameters of the left and right cameras 102a and 102b and the cameras in the common world coordinate system.
- the external parameters 102a and 102b can be calculated.
- step S301 the arithmetic unit 106 as the parallax calculation unit 203 performs distortion correction conversion on the respective cameras 102a and 102b using the obtained internal parameters, performs plane conversion using the obtained external parameters, and performs parallelization. Conversion is executed (S301).
- the left camera coordinates (x 1 , y 1 , z 1 ) and the right camera coordinates (x r , y r , z r ) as shown in FIG. ) Are facing in different directions.
- These positional relationships can be expressed by translation vectors t l , tr and rotation matrices R l , R r of the following equations with world coordinates (w 0 , w 1 , w 2 ) as a reference.
- the translation vectors t l and tr and the rotation matrices R l and R r in the above equations (11) to (14) constitute external parameters of the cameras 102 a and 102 b in the stereo camera 102.
- the arithmetic unit 106 can obtain the translation vectors t 1 and tr and the rotation matrices R 1 and R r using a known method as described above.
- the translation vector t l in equation (11) is a three-dimensional vector that represents the translation from the origin of the world coordinates (w 0 , w 1 , w 2 ) to the origin of the left camera coordinates (x l , y l , z l ). is there.
- Translation vector t r of formula (12) the world coordinates (w 0, w 1, w 2)
- Right camera coordinate from the origin of the (x r, y r, z r) a three-dimensional vector representing the translation to the origin of the is there.
- the rotation matrix R l in Expression (13) is a matrix representing rotation from the direction of the world coordinates (w 0 , w 1 , w 2 ) to the direction of the left camera coordinates (x l , y l , z l ). is there.
- the rotation matrix R r in Expression (14) is a matrix representing rotation from the direction of the world coordinates (w 0 , w 1 , w 2 ) to the direction of the right camera coordinates (x r , y r , z r ).
- Each rotation matrix R l , R r corresponds to the yaw direction, the pitch direction, and the roll direction among the components r l, 00 to r l, 22 , r r, 00 to r r, 22 in 3 rows and 3 columns. Each has a degree of freedom.
- the rotation matrix R ′ in the above equation (15) is represented by the camera coordinates (x ′ l , y ′ l , z ′ l ), (x r , y r , z r ) and the world coordinates (w 0 , w 1 , w 2 ).
- “x” is an outer product between vectors.
- the calculation device 106 calculates plane conversion according to the following equation as the parallax calculation unit 203 in step S301 of FIG.
- FIG. 6 is a flowchart showing processing in the first road surface parameter estimation unit 204.
- the flowchart shown in FIG. 6 is sequentially executed by the arithmetic device 106 functioning as the first road surface parameter estimating unit 204, for example, after the processing in the parallax calculating unit 203.
- the first road surface parameter estimation unit 204 randomly selects, for example, three points from all points for which a three-dimensional position has been calculated. By selecting, candidate points that can be considered on the road surface are extracted (S601). At this time, the first road surface parameter estimation unit 204 limits the selection of the third point, for example, so that all the selected three points are not on the same straight line.
- the first road surface parameter estimating unit 204 obtains a plane passing through the three points extracted as candidate points on the road surface, and calculates a candidate road surface parameter indicating a distance to the obtained plane (S602). Based on the three-dimensional information from the parallax calculation unit 203, the first road surface parameter estimation unit 204 obtains, for example, a perpendicular drawn from the projection center of the camera in the stereo camera 102, and determines the length of the perpendicular to the candidate road surface parameter. Calculate as
- the first road surface parameter estimation unit 204 performs a calculation process for verifying the correspondence between the plane on which the candidate road surface parameter is calculated and the actual road surface (S603). Specifically, the first road surface parameter estimation unit 204 calculates the distance between each point where the three-dimensional position is calculated by the three-dimensional position calculation 303 or each point in the predetermined area and the plane obtained in step S602. Calculate and count the number of points whose distance is below a predetermined threshold.
- the threshold value is a reference value for determining a point that is substantially on the same plane as the plane.
- the first road surface parameter estimating unit 204 determines whether or not the candidate road surface parameter plane is verified to match the actual road surface based on the processing result of step S603 (S604).
- the first road surface parameter estimation unit 204 determines whether the number of counted points is less than a predetermined ratio with respect to the number of all points that are distance calculation targets. It is determined that it has not been verified that the parameter plane matches the actual road surface (NO in S604). In this case, the first road surface parameter estimation unit 204 calculates the candidate road surface parameters based on the new candidate points by repeating the processes after step S601.
- the first road surface parameter estimation unit 204 determines that the candidate road surface parameter plane is verified to match the actual road surface (YES in S604). ). In this case, the first road surface parameter estimation unit 204 outputs the calculated candidate road surface parameter as the first road surface parameter to the road surface parameter storage unit 205 (S605).
- the first road surface parameter for the road surface that changes every moment when the vehicle 101 (FIG. 1) moves is calculated.
- the arithmetic unit 106 acquires the vehicle information 206 from the various sensors 103 to 105 (FIG. 1).
- the arithmetic device 106 stores the road surface parameters obtained by the first road surface parameter estimation unit 204 in association with the vehicle information 206.
- FIG. 7 is a flowchart showing the processing in the second road surface parameter estimation unit 208.
- the flowchart shown in FIG. 7 is executed by the arithmetic device 106 functioning as the second road surface parameter estimating unit 208, for example, at a predetermined cycle.
- the period is set based on a period during which new information is considered to be sufficiently accumulated in the road surface parameter accumulation unit 205 (for example, 1 minute).
- the second road surface parameter estimation unit 208 extracts a first road surface parameter corresponding to a predetermined condition from the accumulated first road surface parameters based on the information accumulated in the road surface parameter accumulation unit 205. (S701).
- a predetermined condition for extracting the first road surface parameter will be described with reference to FIG.
- FIG. 8 shows how the vehicle 101 travels on a road surface having a change in slope.
- the stereo camera 102 images the road surface ahead of the vehicle 101.
- An angle difference ⁇ occurs in the pitch direction and the like. It is considered that the first road surface parameter calculated in this case corresponds to the distance from the stereo camera 102 to the observation surface and deviates from the distance to the ground contact surface of the vehicle 101.
- the first road surface parameter is set using a predetermined condition that the angle difference ⁇ between the observation surface from the stereo camera 102 and the ground contact surface of the vehicle 101 at the time of observation is within a predetermined angle.
- the predetermined angle is an angle at which the observation surface and the ground contact surface can be regarded as substantially parallel, that is, an angle at which a change in the slope of the road surface during traveling of the vehicle 101 can be regarded as substantially absent, for example, within ⁇ 1 degree. .
- the second road surface parameter estimation unit 208 uses the vehicle information 206 such as the vehicle speed, the yaw rate, and the pitch rate to determine the predetermined conditions, and the conditions in the accumulated first road surface parameters. Perform a search. For example, the second road surface parameter estimation unit 208 extracts a first road surface parameter associated with the vehicle information 206 having a vehicle speed of 40 km / h or more and a yaw rate and pitch rate within a predetermined range near zero.
- the second road surface parameter estimation unit 208 performs a statistical process based on the extracted first road surface parameter to calculate a second road surface parameter (S702). For example, in the statistical process, the second road surface parameter estimation unit 208 obtains the average value or median value of the extracted first road surface parameters as the second road surface parameter.
- the second road surface parameter estimation unit 208 outputs the calculated second road surface parameter as a calibration scale reference to the correction parameter calculation unit 209 (S702), and ends the processing according to this flowchart.
- the condition search based on the vehicle information 206 (S701)
- the first road surface parameter under a condition with little variation that can be used as the calibration scale reference is extracted.
- the second road surface parameter indicating the distance to the road surface where there is no change in gradient is extracted.
- FIG. 9 is a flowchart showing processing in the correction parameter calculation unit 209.
- the flowchart shown in FIG. 9 is sequentially executed by the calculation device 106 functioning as the correction parameter calculation unit 209, for example, after the above-described processing (FIG. 7) is executed by the second road surface parameter estimation unit 208.
- the initial setting road surface parameter storage unit 210 stores in advance the reference road surface parameter preliminarily measured on the condition that there is no change in gradient at the time of initial setting and the baseline length D 0 at the time of initial setting. Suppose that it is done.
- the above initial setting is performed, for example, before shipping the object detection device (arithmetic device 106) or before starting the use of the object detection device.
- a checkerboard having a known size and the number of intersection points on which a checkered pattern is drawn is placed on the road surface and photographed with the stereo camera 102. Further, by detecting the intersection of checkered patterns from the photographed image and applying the camera calibration method described in Chapter 6 of Non-Patent Document 2, a reference road surface parameter under conditions where there is no change in gradient can be obtained. .
- the correction parameter calculation unit 209 reads the reference road surface parameter stored in the initial setting road surface parameter storage unit 210 (S801).
- the correction parameter calculation unit 209 compares the second road surface parameter (S702 in FIG. 7) calculated by the second parameter estimation unit 208 with the read reference road surface parameter, for example, by dividing both parameters.
- the amount of change is obtained (S802). According to the amount of change in step S802, it is possible to recognize a change between the current installation state of the stereo camera 102 and the initial setting.
- the correction parameter calculation unit 209 corrects the baseline length of the stereo camera 102 using the obtained change amount (S803). Specifically, the correction parameter calculation unit 209 calculates the corrected baseline length D by calculating the following equation.
- H 0 is the length of the perpendicular (reference road surface parameter) lowered from the projection center of the camera to the road surface at the initial setting.
- H is the length of a perpendicular line (second road surface parameter) lowered from the camera projection center to the road surface in the current stereo camera 102 installation state.
- the correction parameter calculation unit 209 outputs the corrected base line length D to the correction parameter reflection unit 211 (S803), and ends the processing according to this flowchart.
- the base line length of the stereo camera 102 is corrected using the second road surface parameter as the scale reference according to the current installation state of the stereo camera 102 (S803).
- the relationship between each road surface parameter and the base line length will be described with reference to FIG.
- FIGS. 10A to 10C are views for explaining how the road surface is seen based on the stereo camera 102 before calibration when the vehicle 101 travels straight on a road having no change in slope. .
- FIG. 10A shows how the road surface looks when the second road surface parameter matches the reference road surface parameter.
- the distance to the road surface calculated based on the captured image of the stereo camera 102 has not changed since the initial setting, and is considered to be calculated appropriately.
- FIG. 10B shows how the road surface looks when the second road surface parameter is larger than the reference road surface parameter.
- the stereo camera 102 has a misalignment resulting in a measurement result as if the distance to the road surface has changed far.
- the correction parameter calculation unit 209 calculates the corrected base line length D so as to widen the base line length D 0 at the time of initial setting based on Expression (2) (S802).
- FIG. 10 (c) shows how the road surface looks when the second road surface parameter is smaller than the reference road surface parameter.
- the stereo camera 102 has a misalignment such that the distance to the road surface is calculated closer than the actual distance, and the interval between the cameras 102a and 102b is narrower than the initial setting. It is thought that. Therefore, the correction parameter calculation unit 209 corrects the base line length D to be narrowed based on Expression (2) (S802).
- the correction parameter reflection unit 211 After execution of the processing in the correction parameter calculation unit 209, the correction parameter reflection unit 211 writes the baseline length D output from the correction parameter calculation unit 209 in the corrected parameter storage unit 220, thereby correcting the baseline length.
- Update D The update timing at which the correction parameter reflecting unit 211 updates the baseline length D is set as appropriate, for example, at a predetermined period or when the arithmetic device 106 is turned on / off.
- FIG. 11 is a flowchart showing processing in the object detection unit 212.
- the flowchart shown in FIG. 11 is executed by the arithmetic device 106 functioning as the object detection unit 212, for example, at a predetermined cycle (for example, 1/30 second).
- the object detection unit 212 refers to the information stored in the corrected parameter storage unit 220, and determines each point based on the parallax of all points in the captured image calculated in the parallax calculation unit 203 (S302 in FIG. 4). Is calculated (S1001).
- the object detection unit 212 performs the same processing as in step S303 in FIG. 4, but when calculating the distance Z based on the parallax d, the corrected baseline length stored in the corrected parameter storage unit 220 is obtained. D is used.
- the object detection unit 212 executes, for example, processing similar to the flowchart of FIG. 6 to calculate road surface parameters in the currently running scene (S1002).
- the object detection unit 212 extracts a point group having a three-dimensional position above the road surface corresponding to the calculated road surface parameter from all points in the captured image based on the calculated road surface parameter ( S1003).
- the object detection unit 212 performs area clustering using the extracted point group as an input, and obtains a collection (lumps) of point groups that are considered solid objects on the road surface (S1004).
- the region clustering in step S1004 can be realized by using, for example, the Mean Shift method disclosed in Non-Patent Document 3.
- the object detection unit 212 outputs object information indicating the three-dimensional object extracted in the area clustering (S1004) as an object of the detection result, for example, to the display device 107 (S1005).
- the object detection unit 212 can accurately detect the three-dimensional position of the object using the corrected baseline length D.
- the display device 107 displays the object information (S1005) detected by the above processing.
- the object detection device detects an object based on an image obtained by the stereo camera 102 on the vehicle 101.
- the object detection apparatus includes a parallax calculation unit 203, a first road surface parameter estimation unit 204, a road surface parameter accumulation unit 205, a second road surface parameter estimation unit 208, and an object detection unit 212.
- the parallax calculation unit 203 calculates the three-dimensional information of the scene in the video.
- the first road surface parameter estimation unit 204 calculates a first road surface parameter indicating the distance between the road surface on which the vehicle 101 is traveling and the stereo camera 102 based on the three-dimensional information.
- the road surface parameter storage unit 205 stores the first road surface parameter and vehicle information 206 relating to the traveling state of the vehicle 101 in association with each other.
- the second road surface parameter estimation unit 208 uses the first road surface parameter under a predetermined condition related to the vehicle based on the vehicle information 206 and the first road surface parameter accumulated by the road surface parameter accumulation unit 205 to use the second road surface parameter. Calculate the parameters.
- the object detection unit 212 detects an object using the second road surface parameter.
- the predetermined condition includes that the angle difference between the road surface observed from the stereo camera 102 and the ground contact surface of the vehicle at the time of observation is within a predetermined angle.
- the second road surface parameter estimation unit 208 recognizes the traveling state (motion) of the vehicle 101 from the vehicle information 206 and estimates the change in the gradient of the road while traveling. It is possible to improve the estimation accuracy of the road surface parameter when the vehicle 101 is located on the road surface where there is no change in the gradient.
- the second road surface parameter estimation unit 208 calculates the first road surface parameter when the predetermined condition is met from the first road surface parameter based on the vehicle information 206 accumulated by the road surface parameter accumulation unit 205. Extract. The second road surface parameter estimation unit 208 performs statistical processing based on the extracted first road surface parameter to calculate the second road surface parameter. As a result, the first road surface parameter that is traveling on the road having no change in gradient is extracted from the accumulated first road surface parameter, and is subject to statistical processing, so that the second road surface parameter can be accurately calculated. .
- the first road surface parameter calculated while traveling on a road having no change in gradient is extracted from the accumulated first road surface parameters.
- the present object detection apparatus may be configured to accumulate only the first road surface parameter calculated while traveling on a road with no road.
- the predetermined condition may be a condition indicating that the road surface observed from the stereo camera 102 and the ground contact surface of the vehicle at the time of observation are the same plane where the gradient does not change.
- the condition may be set by appropriately setting the predetermined angle in the vicinity of 0 degrees within the allowable error range. Accordingly, the second road surface parameter can be calculated by limiting to the first road surface parameter during traveling on a flat road surface, and the calibration accuracy for the stereo camera 102 can be improved.
- the vehicle information 206 includes the vehicle speed, yaw rate, and pitch rate in the vehicle 101.
- the vehicle information 206 may include, for example, a roll rate, a steering angle, and an inclination angle of the vehicle 101.
- a roll rate sensor or an attitude sensor may be mounted on the vehicle 101, or the arithmetic device 106 may monitor the steering operation state of the vehicle 101.
- the predetermined condition is specifically set as the yaw rate, pitch rate, or roll rate in the vehicle information 206 is a value within a predetermined range corresponding to traveling of the vehicle 101 on a straight road. It was done.
- the predetermined condition is not limited to this.
- the steering angle in the vehicle information 206 is a value within a predetermined range corresponding to the steering in the straight traveling state of the vehicle, or the inclination angle in the vehicle information 206 is It may be a value within a predetermined range corresponding to a state of traveling on a smooth road surface.
- the object detection apparatus further includes a correction parameter calculation unit 209 and a correction parameter reflection unit 211.
- the correction parameter calculation unit 209 compares the second road surface parameter with a preset reference road surface parameter, and calculates a correction parameter corresponding to the shift amount of the stereo camera 102.
- the correction parameter reflecting unit 211 corrects camera parameters related to the stereo camera based on the correction parameters.
- the object detection unit 212 detects the position of the object using the baseline length D that is the camera parameter corrected by the correction parameter reflection unit 211. Thereby, the object detection apparatus can detect the position of the object with high accuracy by correcting the shift amount of the stereo camera 102.
- the vehicle 101 according to the present embodiment includes an object detection device, a stereo camera 102 that captures an image, and various sensors 103 to 105 that detect vehicle information 206.
- the object can be accurately detected by correcting the positional deviation of the stereo camera 102 by the object detection device.
- Embodiment 2 vehicle information relating to the running state of the vehicle is detected by a vehicle speed sensor or the like.
- an object detection device that detects the lane shape of a road that travels further will be described.
- FIG. 12 is a block diagram showing a configuration of the object detection apparatus according to the present embodiment.
- the object detection device (arithmetic device 106A) according to the present embodiment includes a white line vanishing point detection unit 214, a lane shape detection unit 215, as shown in FIG. Is further provided.
- the white line vanishing point detection unit 214 detects the left and right white lines drawn on the road lane as straight lines (or curves) based on the image captured by the stereo camera 102. The white line vanishing point detection unit 214 obtains an intersection as a vanishing point when two detected straight lines (or curves) are extended.
- the lane shape detection unit 215 performs processing for estimating the shape of the lane from the position of the vanishing point of the obtained white line based on the detection result by the white line vanishing point detection unit 214.
- the point where the left and right lanes extend and intersect on the horizon is the left if the road is curved to the left and the initial position if the curve is right.
- To the right of the position if the road is going uphill, it is estimated that the road is observed above the initial position, and if the road is going downhill, it is estimated to be observed below the initial position. For this reason, when the vanishing point is within a predetermined range close to the initial position, it can be determined that the traveling road has no change in gradient and is not curved (is a straight road).
- the road surface parameter accumulation unit 205 obtains the first road surface parameter obtained by the first road surface parameter estimation unit 204 using the vehicle information 206 such as the vehicle speed, the yaw rate, and the pitch rate, and the lane shape detection unit 215. It accumulates in association with the lane shape.
- the second road surface parameter estimation unit 208 uses the information stored in the road surface parameter storage unit 205 to more accurately extract the first road surface parameter under conditions that can be regarded as not curved with no change in gradient. Then, the second road surface parameter is calculated more accurately. The operation of each of the functional units will be described below.
- FIG. 13 is a flowchart showing processing in the white line vanishing point detection unit 214.
- the flowchart illustrated in FIG. 13 is executed, for example, at a predetermined cycle (for example, 1/30 second) by the arithmetic device 106A that functions as the white line vanishing point detection unit 214.
- the white line vanishing point detection unit 214 extracts a white line part as a feature point group based on a predetermined feature amount, for example, from one or both camera images in the stereo camera 102 (S1201).
- the processing in step S1201 can be executed by, for example, performing vertical edge extraction image processing, and extracting a portion where the edge strength is greater than or equal to a predetermined value as a white line.
- step S1202 the white line vanishing point detection unit 214 performs straight line extraction using the feature point group of the extracted white line part to obtain the left and right white lines as straight lines (S1202).
- the process of step S1202 can be executed by, for example, obtaining a straight line using the straight line Hough transform described in Non-Patent Document 4.
- the white line vanishing point detection unit 214 uses two straight lines corresponding to the obtained left and right white lines, and obtains a point where the two straight lines intersect near the horizon as a vanishing point (S1202).
- the white line vanishing point detection unit 214 outputs information indicating the detection result of the vanishing point as described above to the lane shape detection unit 215, and ends the processing according to this flowchart.
- FIG. 14 is a flowchart showing processing in the lane shape detection unit 215.
- the flowchart illustrated in FIG. 14 is sequentially executed by the arithmetic device 106A functioning as the lane shape detection unit 215, for example, after processing in the white line vanishing point detection unit 214.
- the lane shape detection unit 215 performs lane gradient calculation based on the detection result by the white line vanishing point detection unit 214 (S1301), and whether the currently running lane is climbing from the viewpoint of the lane shape, It is determined whether it is falling or there is no change in gradient.
- step S1301 the position of the vanishing point observed while traveling on a road without a change in gradient is set in advance as a reference standard position, and the calculated position of the vanishing point is compared with the standard position.
- the lane shape detection unit 215 determines that the current lane is climbing when the calculated vanishing point position is above the standard position, and is below when the calculated vanishing point position is below the standard position. .
- the lane shape detection unit 215 calculates a curve such as a curvature in the yaw direction of the lane (S1302), and from the viewpoint of the lane shape, whether the currently running lane is a left curve, a right curve, or a straight road It is determined whether.
- a curve such as a curvature in the yaw direction of the lane (S1302)
- step S1302 when the vanishing point position observed during traveling on the straight road is set as a reference standard position, the traveling is performed when the calculated vanishing point position is shifted to the left (or right) from the standard position. Judge that the middle lane curves to the left (or right). Further, if the calculated vanishing point position is within a predetermined range that is considered to be close to the standard position, the lane shape detection unit 215 determines that the running lane has no change in slope and is not curved. To do.
- the lane shape detection unit 215 outputs the lane shape detection information including the determination result as described above to the road surface parameter accumulation unit 205, and ends the processing according to this flowchart.
- the road surface parameter accumulation unit 205 accumulates the lane shape detection information by the lane shape detection unit 215 in association with the first road surface parameter and vehicle information 206 obtained in synchronization.
- the second road surface parameter estimation unit 208 uses the lane shape detection information together with the vehicle information 206 to perform a condition search for the first road surface parameter stored in the road surface parameter storage unit 205.
- the second road surface parameter estimation unit 208 uses the first road surface parameter when the vehicle speed is 40 km / h or more, the yaw rate and the pitch rate are substantially 0, the lane shape obtained from the vanishing point has no change in slope, and is a straight road. To extract.
- the first road surface parameter that is considered to have been calculated while the vehicle 101 is traveling straight on a road having no change in gradient can be obtained with higher accuracy.
- the object detection device (arithmetic device 106A) according to the present embodiment further includes the white line vanishing point detection unit 214 and the lane shape detection unit 215.
- the white line vanishing point detection unit 214 detects a vanishing point that is a point where two white line extensions intersect based on the two white lines in the video.
- the lane shape detection unit 215 detects a change in the road gradient in the video based on the position of the vanishing point.
- the road surface parameter accumulation unit 205 associates and accumulates the detection result of the change in the road surface gradient by the lane shape detection unit 215 and the first road surface parameter.
- the second road surface parameter estimation unit 208 calculates the second road surface parameter based on the detection result of the change in the road surface gradient accumulated by the road surface parameter accumulation unit 205.
- the lane shape detection unit 215 compares the vanishing point position detected by the white line vanishing point detection unit 214 with a preset vanishing point position when traveling on a straight road, thereby determining the shape of the lane. Is detected.
- the lane shape detection unit 215 can detect a change in the gradient of the running road, and can improve the estimation accuracy of the road surface parameter when the vehicle 101 goes straight on the road surface without the change in the gradient.
- Embodiment 3 In the first embodiment, the lane shape is detected from the captured image of the stereo camera. In the third embodiment, an object detection device that recognizes a shooting environment using a stereo camera will be described.
- FIG. 15 is a block diagram showing a configuration of the object detection apparatus according to the present embodiment.
- the object detection apparatus (arithmetic apparatus 106B) according to the present embodiment further includes a shooting environment recognition unit 216 as shown in FIG. 15 in addition to the same configuration as that of the second embodiment (FIG. 12).
- the shooting environment recognizing unit 216 receives an image from the stereo camera 102 and recognizes a shooting environment including a sunshine condition, a weather condition, and a condition regarding a traveling road surface regarding a currently running scene.
- the sunshine condition indicates, for example, whether the target scene is daytime, night, or western day.
- the weather condition indicates, for example, whether the target scene is clear, cloudy, rainy, snowy, or the like.
- the condition regarding the traveling road surface indicates whether the traveling road surface is a paved road or an unpaved road.
- the road surface parameter storage unit 205 stores the first road surface parameter in association with the vehicle information 206 and the lane shape detection information in association with information indicating the shooting environment recognized by the shooting environment recognition unit 216. .
- the second road surface parameter estimation unit 208 uses the information stored in the road surface parameter storage unit 205 to determine that the traveling road surface of the vehicle 101 has no change in gradient and is not curved, and the shooting environment.
- the first road surface parameter under the condition that the recognition accuracy is considered to be high from the above viewpoint is extracted. The operation of each of the functional units will be described below.
- FIG. 16 is a flowchart showing processing in the shooting environment recognition unit 216.
- the flowchart shown in FIG. 16 is executed by, for example, a predetermined cycle (for example, 1/30 second) by the arithmetic device 106B that functions as the imaging environment recognition unit 216.
- a predetermined cycle for example, 1/30 second
- the shooting environment recognition unit 216 recognizes the sunshine condition based on the image input from the stereo camera 102 (S1501). In step S1501, the shooting environment recognition unit 216 recognizes the brightness of the scene based on the average luminance value of the input image, the exposure time during camera shooting, and the gain value during camera shooting, and calculates the intensity of the sunshine condition. .
- the shooting environment recognition unit 216 recognizes weather conditions based on the input image (S1502).
- the shooting environment recognizing unit 216 performs texture analysis (for example, the presence or absence of clouds) of the portion where the sky is reflected in the input image, and sharpness analysis of the edge of other portions (that is, blurring of the image due to water droplets adhering to the lens). Presence / absence, rain / snow, and / or image blurring due to snow).
- the shooting environment recognition unit 216 recognizes conditions related to the traveling road surface based on the input image (S1503).
- the imaging environment recognition unit 216 recognizes the state of the traveling road surface by determining the presence or absence of a white line in the input image and analyzing the edge amount on the traveling road surface (that is, determining whether the road is asphalt or an unpaved road).
- the photographing environment recognizing unit 216 outputs information indicating the recognition result of the photographing environment as described above to the road surface parameter accumulating unit 205, and ends the processing according to this flowchart.
- the road surface parameter accumulation unit 205 accumulates information indicating the recognition result of the shooting environment together with the vehicle information 206 and the detection information of the lane shape, and the second road surface parameter estimation unit 208 uses the information.
- a condition search for the first road surface parameter is performed.
- the second road surface parameter estimation unit 208 has a sunshine condition of “daytime”, a weather condition of “cloudy”, and a condition related to the traveling road surface is a paved road.
- a first road surface parameter under a certain condition is extracted. Thereby, the 2nd road surface parameter based on the extracted 1st road surface parameter can be calculated
- the object detection device (arithmetic device 106B) according to the present embodiment further includes the shooting environment recognition unit 216 that recognizes the shooting environment of the video by the stereo camera 102.
- the road surface parameter storage unit 205 stores information indicating the shooting environment recognized by the shooting environment recognition unit 216 and the first road surface parameter in association with each other.
- the second road surface parameter estimation unit 208 calculates a second road surface parameter based on the information indicating the shooting environment accumulated by the road surface parameter accumulation unit 205.
- the information indicating the shooting environment includes information indicating at least one of the sunshine condition, the weather condition, and the condition related to the traveling road surface of the vehicle.
- the second road surface parameter estimation unit 208 uses the second road surface parameter estimation unit 208 without using the first road surface parameter that is likely to reduce the accuracy of image recognition from the viewpoint of the shooting environment. By calculating the road surface parameter, it is possible to improve the estimation accuracy of the positional deviation.
- Embodiment 4 FIG. In the fourth embodiment, the update timing of the correction result based on the second road surface parameter will be described.
- FIG. 17 is a block diagram showing a configuration of the object detection apparatus according to the present embodiment.
- the object detection device (arithmetic device 106 ⁇ / b> C) according to the present embodiment inputs vehicle information 206 to the correction parameter reflecting unit 211 ⁇ / b> A as shown in FIG. 17 in the same configuration (FIG. 15) as in the third embodiment.
- the correction parameter reflecting unit 211A has corrected the baseline length calculated by the correction parameter calculation unit 209 in order to update the baseline length D used when calculating the three-dimensional position from the parallax d. Write to the parameter storage unit 220.
- the correction parameter reflecting unit 211A uses the vehicle speed information in the vehicle information 206 of the vehicle 101 to limit the update timing for writing the baseline length to the corrected parameter storage unit 220 when the vehicle 101 is stopped.
- the correction parameter reflecting unit 211A reflects the correction result of the camera parameter when the vehicle 101 is stopped based on the information indicating the vehicle speed of the vehicle 101.
- the correction parameter reflecting unit 211A When the correction result is reflected by the correction parameter reflecting unit 211A, the distance to the object detected by the object detecting unit 212 based on the image of the stereo camera 102 changes. For this reason, when the distance to the object is changed while controlling the vehicle 101 in the application using the detected position information of the object, the control is erroneous due to the influence of the change, or excessive control is applied. There is a possibility that On the other hand, in this embodiment, safety can be improved by reflecting the correction parameter when the vehicle 101 is stopped, which is a timing that does not affect the application.
- the object detection device detects an object using the stereo camera 102 mounted on the vehicle 101.
- the vehicle includes various moving bodies that travel on the road surface, such as automobiles, motorcycles, and railway vehicles.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
車両上のステレオカメラによる映像に基づいて物体を検出する物体検出装置は、視差演算部と、第1の路面パラメータ推定部と、路面パラメータ蓄積部と、第2の路面パラメータ推定部と、物体検出部とを備える。視差演算部は、映像におけるシーンの3次元情報を演算する。第1の路面パラメータ推定部は、3次元情報に基づいて第1の路面パラメータを算出する。路面パラメータ蓄積部は、第1の路面パラメータと車両情報とを関連付けて蓄積する。第2の路面パラメータ推定部は、路面パラメータ蓄積部によって蓄積された車両情報及び第1の路面パラメータに基づいて、車両に関する所定条件下における第1の路面パラメータを用いて第2の路面パラメータを算出する。物体検出部は、第2の路面パラメータを用いて、物体を検出する。所定条件は、ステレオカメラから観測された路面と観測時における車両の接地面との間の角度差が、所定角度以内であることを含む。
Description
本発明は、車両などの移動体に搭載したステレオカメラを用いて、障害物などの物体を検出する物体検出装置、及び車両に関する。
車両上のステレオカメラを用いて、車両周辺のシーンにおける奥行き等の3次元情報を正確に求めるためには、設置されたステレオカメラの位置関係を正確に把握する必要がある。このような位置関係は、車両の走行による振動や経年による固定の緩み等によって徐々にずれることから、ステレオカメラの位置ずれに対するキャリブレーションを自動的に行う技術が提案されている(例えば特許文献1)。
特許文献1は、ステレオカメラのカメラパラメータの校正を、オプティカルフローに基づき行う校正方法を開示している。特許文献1では、車両等の走行時にステレオカメラを用いてカメラに対する路面のピッチ方向の傾斜角をパラメータとして求めると共に、路面上の点についてのフレーム間の移動量、即ちオプティカルフローを求めている。特許文献1では、求めた各量とフレーム間の自車の移動量との間の関係に基づいてステレオカメラに生じた視差オフセットのずれを算出することにより、ステレオカメラの校正を行っている。
"A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11):1330-1334,2000
徐剛著「3次元ビジョン」共立出版、1998年
"Mean shift: A robust approach toward feature space analysis", IEEE Trans. on PAMI, 2002
"Use of the Hough Transformation to Detect Lines and Curves in Pictures", Comm. ACM, Vol. 15, pp. 11‐15
本発明の目的は、車両に搭載されたステレオカメラを用いた物体検出装置において、ステレオカメラの位置ずれに対するキャリブレーションを精度良く行うことができる物体検出装置を提供することにある。
本発明に係る物体検出装置は、車両上のステレオカメラによる映像に基づいて物体を検出する。物体検出装置は、視差演算部と、第1の路面パラメータ推定部と、路面パラメータ蓄積部と、第2の路面パラメータ推定部と、物体検出部とを備える。視差演算部は、映像におけるシーンの3次元情報を演算する。第1の路面パラメータ推定部は、3次元情報に基づいて、車両が走行している路面とステレオカメラとの間の距離を示す第1の路面パラメータを算出する。路面パラメータ蓄積部は、第1の路面パラメータと、車両の走行状態に関する車両情報とを関連付けて蓄積する。第2の路面パラメータ推定部は、路面パラメータ蓄積部によって蓄積された車両情報及び第1の路面パラメータに基づいて、車両に関する所定条件下における第1の路面パラメータを用いて第2の路面パラメータを算出する。物体検出部は、第2の路面パラメータを用いて、物体を検出する。所定条件は、ステレオカメラから観測された路面と観測時における車両の接地面との間の角度差が、所定角度以内であることを含む。
本発明に係る物体検出装置によると、車両の走行状態が所定条件下で算出された第1の路面パラメータを用いて第2の路面パラメータが算出される。これにより、車両に搭載されたステレオカメラの位置ずれに対するキャリブレーションを精度良く行うことができる。
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。なお、同一の符号を付したものは、同一またはこれに相当するものであり、このことは明細書の全文において共通する。
(本願発明者の考察)
本発明の具体的な実施形態の説明に先立って、ステレオカメラを用いた物体検出装置についての本願発明者による考察について、以下説明する。
本発明の具体的な実施形態の説明に先立って、ステレオカメラを用いた物体検出装置についての本願発明者による考察について、以下説明する。
ステレオカメラによるシーンの奥行きを含む3次元情報は、ステレオカメラを構成する各カメラの歪みや焦点距離といったカメラ内部パラメータと、2台のカメラ間の位置関係を表すカメラ外部パラメータとに基づき求められる。このため、ステレオカメラを車両に搭載して出荷する際には、形状とサイズが既知なパターンを搭載した2台のカメラで撮影し、上記パラメータが測定される。
しかし、上記パラメータのうち、特にカメラ外部パラメータについては、走行による振動や、経年による固定の緩みにより、徐々にずれる。このような位置ずれが生じると、シーンの奥行きが正しく得られないため、ステレオカメラにおけるカメラ外部パラメータのキャリブレーションを自動的に行う技術が求められている。
上記のカメラ外部パラメータは後述する並進ベクトルと回転行列とで表され、カメラ外部パラメータのキャリブレーションは、並進ベクトルの向き及び回転行列を求める第1の工程と、並進ベクトルの長さ、即ちスケールを求める第2の工程とに分けることができる。第1の工程は、各カメラの撮影画像間で同一物体が写る点のペアを複数得ることで実施できる。一方、第2の工程は、シーン内でスケールが把握できるような特定の対象を基準として用いることとなり、このようなスケール基準を適切に設定する必要がある。本願発明者は、第2の工程を精度良く行う方法について、鋭意検討を重ねた。
本願発明者は、従来技術の課題について、以下のように検討した。特許文献1等の先行例では、ステレオカメラにより求めた路面の3次元情報と、1台のカメラのフレーム間での移動前後の対応付け(所謂、モーションステレオ)により求めた路面の3次元情報を求め、後者で求めた3次元情報をスケール基準に、前者のステレオカメラの校正を行っている。
上記のようなモーションステレオにより求めた路面の3次元情報の精度は、フレーム間におけるカメラの移動量の精度に依存する。先行例は、車速の情報からカメラの移動量を算出している。車両における車速は、車輪の回転に同期して発生する車速パルスから求めるという仕組みが一般的だが、この仕組みから車速を充分に高精度に求めることは、以下のように困難であると考えられる。
すなわち、通常、車載のステレオカメラは、カメラ間距離が十数センチメートル~数十センチメートルで構成されており、ステレオカメラの経年によるずれ量は、多くとも数ミリメートル以下と見積もられる。このずれ量を、モーションステレオを基準に補正するためには、フレーム間のカメラ移動量を1%以下の誤差で求める必要があるが、上記のように車速パルスに基づく仕組みでは、このような高精度でカメラ移動量を求めることは究めて困難だと考えられる。
また、2台のカメラを用いたステレオ測距においても、1台のカメラの移動量に基づくステレオ測距においても、3次元位置の算出は、以下のような測定原理に基づく。即ち、2視点の位置と、その視点から見た対象に対する角度とを求め、それぞれの視点から対象方向の角度に延びる直線を想定し、想定した直線間の交点を求めることにより対象の3次元位置を求めるという原理に基づく。
上記の原理に基づくことから、2視点を結ぶ直線上の対象については、それぞれの視点から対象方向の角度に延びる直線が同一直線になってしまい、交点を特定できず、3次元位置が求められないということが知られている。2視点を結ぶ直線の近傍の領域についても同様に、2視点から対象方向の角度に延びる各直線がほぼ平行になり、対象方向の角度にわずかな誤差が生じるだけで、交点が大きくずれることになる。そのため、このような領域は、3次元情報を精度良く算出することが困難な領域であることが分かる。
ここで、カメラが前方向きに設置された車両が直線道路を前進する場合を想定すると、車両の前進に伴って、カメラも前進する。このとき、フレーム間で動いたカメラの2視点を結ぶ線を延長すると、前方の直線道路に重なることとなる。上述のとおり、ステレオ測距の原理上、2視点を結ぶ線に近い領域の3次元情報は、精度良く求めることが困難である。よって、1台のカメラのフレーム間での移動前後の対応付けにより求めた路面の3次元情報は、原理的に精度良く得ることが困難であると考えられる。
以上の2つの理由により、モーションステレオによる3次元情報を基準にステレオカメラの校正を行うことは困難であると考えられる。本願発明者は、鋭意検討の結果、車両の走行シーン中からステレオカメラ間の距離を補正するためのスケール基準を精度良く取得して、キャリブレーションを自動的に行う物体検出装置を考案した。以下、本発明に係る物体検出装置の具体的な実施形態について説明する。
実施の形態1.
実施の形態1に係る物体検出装置、及び物体検出装置を備えた車両について、以下説明する。
実施の形態1に係る物体検出装置、及び物体検出装置を備えた車両について、以下説明する。
1.構成
本実施形態に係る物体検出装置及び車両の構成について、図1を用いて説明する。図1は、本実施形態に係る車両101の全体構成を示す図である。図1では、車両101から見た奥行き方向をz方向とし、鉛直方向をy方向とし、z,y方向に直交する車両101の幅方向をx方向としている。また、+x方向を左方、-x方向を右方、+y方向を上方、-y方向を下方、+z方向を前方、及び-z方向を後方という場合がある。
本実施形態に係る物体検出装置及び車両の構成について、図1を用いて説明する。図1は、本実施形態に係る車両101の全体構成を示す図である。図1では、車両101から見た奥行き方向をz方向とし、鉛直方向をy方向とし、z,y方向に直交する車両101の幅方向をx方向としている。また、+x方向を左方、-x方向を右方、+y方向を上方、-y方向を下方、+z方向を前方、及び-z方向を後方という場合がある。
車両101は、本実施形態に係る物体検出装置を搭載する。車両101は、図1に示すように、ステレオカメラ102と、ヨーレートセンサ103と、ピッチレートセンサ104と、車速センサ105と、演算装置106と、表示装置107とを備える。各センサ103,104,105は、それぞれ車両101の移動状態に関する車両情報を検出する車両情報検出部の一例である。
ステレオカメラ102は、2台のカメラ102a,102bで構成される。2台のカメラ102a,102bは、例えば車両101の左右方向(x方向)に並んだ左カメラ102aと右カメラ102bとして、互いの光軸が平行になるように配置される。2台のカメラ102a,102bは、互いに同期して映像を撮影できる。
本実施形態では、ステレオカメラ102を車両101前方のフロントガラス付近に設置し、車両101前方の路面を左右それぞれのカメラ102a,102bで撮影できるようにする。ただし、上記のようなステレオカメラの構成は一例であり、2台のカメラが視野を共有できれば、平行でなくてもよく、車両に対して前方に向けなくてもよい。
ヨーレートセンサ103は、車両101の鉛直軸(y軸)回りの回転角速度(ヨーレート)を検出するためのセンサである。ヨーレートセンサ103は、車両101においてy軸と平行になるように搭載される。
ピッチレートセンサ104は、車両101の左右方向(x方向)の軸回りの回転角速度(ピッチレート)を検出するためのセンサである。ピッチレートセンサ104は、車両101においてx軸と平行になるように搭載される。
車速センサ105は、車両101における車軸の回転数に比例してパルス信号を発生する装置であり、車輪径とパルス数から車速を算出することができる。
演算装置106は、CPU、RAM、ROM等により構成される装置である。演算装置106は、さらにフラッシュメモリ等の内部メモリを備えてもよい。演算装置106のCPUは、ROM等に格納されたデータ及びプログラムをRAM等に読み出して種々の演算処理を行い、各種の機能を実現する。
例えば、演算装置106は、ステレオカメラ102の映像信号、ヨーレートセンサ103のヨーレート信号、ピッチレートセンサ104のピッチレート信号、車速センサ105の車速信号を入力して、種々簿画像処理を行うことにより車両101前方の物体を検出し、検出結果の物体情報を表示装置107に出力する。演算装置106は、本実施形態における物体検出装置の一例である。演算装置106が物体検出装置として機能するための構成の詳細については後述する。
表示装置107は、例えば液晶ディスプレイ又は有機ELディスプレイで構成される。表示装置107は、演算装置106からの物体情報を含む各種情報を表示する。
以下、演算装置106の構成の詳細について、図2を用いて説明する。図2は、本実施形態における物体検出装置としての演算装置106の構成を示すブロック図である。
演算装置106は、図2に示すように、視差演算部203と、第1の路面パラメータ推定部204と、路面パラメータ蓄積部205と、第2の路面パラメータ推定部208とを備える。さらに、演算装置106は、補正パラメータ演算部209と、初期設定時路面パラメータ記憶部210と、補正パラメータ反映部211と、補正済パラメータ記憶部220と、物体検出部212とを備える。上記の各機能部は、演算装置106において例えばソフトウェアとハードウェアとの協働により実現される。
演算装置106には、ステレオカメラ102の左右のカメラ102a,102b(図1)により撮影された左右カメラの映像と、車速やヨーレートなどの車両情報206とが入力される。車両情報206は、図1のヨーレートセンサ103、ピッチレートセンサ104、及び車速センサ105により取得される。
視差演算部203は、ステレオカメラ102で撮影された左右カメラの映像の各画素について視差を算出することにより、各点の3次元位置を求める(詳細は後述)。視差は、左カメラの映像と右カメラの映像とにおいてどの画素に同一の対象が写っているのかに関する局所的な画像の類似度を、輝度差の絶対値の和などで評価し、最も類似度の高い点を探索することによって、求めることができる。
第1の路面パラメータ推定部204は、ステレオカメラ102におけるカメラの投影中心から路面へ下ろした垂線の長さを路面パラメータとして求める(詳細は後述)。カメラに対する路面の位置は、カメラの位置が大きくずれない限り初期設定時とほぼ同じ位置にあると考えられる。このことから、初期設定時の路面に対し上下に幅を持った領域を設定し、その中に位置する点の3次元位置を抽出し、その点群が最も多く乗る平面に基づいて路面パラメータを求めることができる。
路面パラメータ蓄積部205は、RAM等で構成され、第1の路面パラメータ推定部204により求めた路面パラメータ(第1の路面パラメータ)と、車両情報206とを関連付けて記録する。
第2の路面パラメータ推定部208は、路面パラメータ蓄積部205に蓄積された車両情報206に基づいて、後述する所定条件に該当する路面パラメータを抽出する。このとき抽出される路面パラメータは、車速、ヨーレート、ピッチレートに基づき、車両101が、勾配の変化がなくカーブしていない路面を走行中に得られたと見なせるものに設定される。さらに、第2の路面パラメータ推定部208は、抽出した路面パラメータを、後述するように統計処理することで、勾配の変化がないときの路面パラメータ(第2の路面パラメータ)を求める。
補正パラメータ演算部209は、第2の路面パラメータ推定部208で求めた路面パラメータと、初期設定時路面パラメータ記憶部210に記憶された路面パラメータとを比較することで、左右のカメラ間の位置姿勢の補正量を計算する(詳細は後述)。初期設定時路面パラメータ記憶部210は、例えばROMで構成され、比較基準として初期設定時の路面パラメータが記憶されている。
補正パラメータ反映部211では、補正パラメータ演算部209で算出した補正量を、補正済パラメータ記憶部220に記録することにより、反映する。補正済パラメータ記憶部220は、例えば演算装置106の内部メモリで構成される。
物体検出部212では、補正パラメータ反映部211で補正されたパラメータを使って、視差演算部203で求めた視差を3次元情報に変換し、その分布から路面において高さを持つ塊を見つけることによって、物体を検出する(詳細は後述)。
2.動作
本実施形態に係る物体検出装置の動作について、以下説明する。
本実施形態に係る物体検出装置の動作について、以下説明する。
2-1.動作の概要
本実施形態において、車両101(図1)は、搭載したステレオカメラ102から周辺のシーンを撮影しながら、路面を走行する。車両101における物体検出装置として機能する演算装置106は、視差演算部203(図2)においてステレオカメラ102による撮影画像を画像解析して、シーンの3次元情報を生成し、物体検出部212において路面上の障害物などの物体を検出する。このような物体検出動作と共に、演算装置106は、ステレオカメラ102のキャリブレーションにおけるスケール基準を決定するための演算処理を行う。
本実施形態において、車両101(図1)は、搭載したステレオカメラ102から周辺のシーンを撮影しながら、路面を走行する。車両101における物体検出装置として機能する演算装置106は、視差演算部203(図2)においてステレオカメラ102による撮影画像を画像解析して、シーンの3次元情報を生成し、物体検出部212において路面上の障害物などの物体を検出する。このような物体検出動作と共に、演算装置106は、ステレオカメラ102のキャリブレーションにおけるスケール基準を決定するための演算処理を行う。
具体的に、まず、演算装置106は第1の路面パラメータ推定部204において、逐次、ステレオカメラ102から得られる撮影画像における路面に対する第1の路面パラメータを算出する。第1の路面パラメータは、起伏や勾配の変化があるなどの種々の路面の走行時における撮影画像から算出される。本実施形態では、このような路面を走行する車両101の移動状態に関する車両情報206を、各種センサ103~105を用いて取得し、路面パラメータ蓄積部205において車両情報206と第1の路面パラメータとを関連付けて蓄積する。
演算装置106の第2の路面パラメータ推定部208は、蓄積された第1の路面パラメータの内で、車両101が勾配の変化がない路面を直進中に得られたと考えられる第1の路面パラメータを用いて、第2の路面パラメータを算出する。第2の路面パラメータは、勾配の変化やカーブの走行時の第1の路面パラメータよりも高精度のスケール基準となり、ステレオカメラ102のキャリブレーションを精度良くすることができる。
第2の路面パラメータを用いたキャリブレーションは、補正パラメータ演算部209によって行われ、キャリブレーション結果は、補正パラメータ反映部211によって補正済パラメータ記憶部220に記録される。物体検出部212は、ステレオカメラ102によるリアルタイムの撮影画像に基づく情報と、補正済みのパラメータとを用いて、シーン中の物体等の位置を精度良く検出することができる。
以下、本実施形態における物体検出装置の動作の詳細について説明する。
2-2.ステレオカメラの測定原理について
本実施形態では、平行ステレオ法により、ステレオカメラ102を用いた3次元情報の測定を行う。図3を用いて、ステレオカメラ102による3次元情報の測定原理について説明する。
本実施形態では、平行ステレオ法により、ステレオカメラ102を用いた3次元情報の測定を行う。図3を用いて、ステレオカメラ102による3次元情報の測定原理について説明する。
図3では、ステレオカメラ102における左右のカメラ102a,102bを、ピンホールモデルを用いて模式的に示している。左カメラ102aは、撮像面503と、撮像面503の中心から焦点距離fの間隔における投影中心501とを有する。右カメラ102bは、撮像面504と、撮像面504の中心から焦点距離fの間隔における投影中心501とを有する。
平行ステレオ法は、図3に示すように、左カメラ102aの撮像面503と右カメラ102bの撮像面504とが平行になるように設定された状態で、3次元情報の測定を行う。
ステレオカメラ102による計測対象505の撮影時に、同対象505は、左カメラ102aにおいて撮像面503上の点506に撮像されると共に、右カメラ102bにおいて撮像面504上の点507に撮像される。計測対象505の2次元座標は、例えば左カメラ102aの撮像面503上における点506の座標に基づき算出される。点506は、左カメラ102aの投影中心501と計測対象505とを結ぶ線508が、左カメラ102aの撮像面503を貫く位置に位置する。
ここで、計測対象505に対する視差dは、上記の線508に平行な線509であって右カメラ102bの投影中心502を通る線509が右カメラ102bの撮像面504を貫く点510と、同対象505が右カメラ102bに実際に撮像される点507との間の距離として規定される。ステレオカメラ102(例えば左カメラ102aの投影中心501)から計測対象505までの距離Zは、視差dを用いて、次式によって算出される。
Z=f・D/d …(1)
上式(1)において、基線長Dは、左カメラ102aの投影中心501と右カメラ102bの投影中心502との間の間隔の長さとして規定される。
上式(1)において、基線長Dは、左カメラ102aの投影中心501と右カメラ102bの投影中心502との間の間隔の長さとして規定される。
2-3.視差演算部について
以上のような測定原理に基づき動作する視差演算部203の動作について、図4を用いて説明する。図4は、視差演算部203における処理を示すフローチャートである。
以上のような測定原理に基づき動作する視差演算部203の動作について、図4を用いて説明する。図4は、視差演算部203における処理を示すフローチャートである。
図4に示すフローチャートは、視差演算部203として機能する演算装置106によって、例えば所定の周期(例えば1/30秒)で実行される。
まず、視差演算部203は、ステレオカメラ102の左右のカメラ102a,102bによって撮影された画像を入力とする歪補正変換及び平面変換により、平行ステレオ法(図3)を適用するための平行化変換を行う(S301)。
ステップS301の処理は、左右のカメラ102a,102bの向きの違いに対して、左カメラ102aによる左画像と右カメラ102bによる右画像とを平行化するように補正するための処理である(図5参照)。ステップS301の詳細については後述する。
次に、視差演算部203は、平行ステレオ法に基づく画像処理を行って、ステレオカメラ102の画像中の全点の視差d(図3)を演算する(S302)。
ステップS302において視差演算部203は、例えば、左画像上の特定の注目点の視差を求めるために、左画像から注目点付近の画像をテンプレートとして切り出し、右画像中で、切り出したテンプレートに対する類似度が高い部分を探索する。次いで、視差演算部203は、探索結果に基づいて、右画像中で最も類似度が高い点を対応点と判定し、判定した対応点と注目点間の距離に基づき視差dを算出する。
本実施形態では平行ステレオ法を用いることから、左画像上の注目点の座標が(xp,yp)のとき、右画像中で対応点が現れ得る部分は、y座標がypの直線上に限定されることとなる。よって、視差演算部203は、同直線上のみに対応点探索を行い、他の部分に対する処理を省略することできる。また、上記のテンプレートを用いた類似度の算出方法としては、SAD(Sum of Absolute Differences:差分の絶対値の和)や、SSD(Sum of Squared Differences:差分の自乗和)などを用いることができる。
次に、視差演算部203は、算出した各点の視差dを用いて前述の式(1)に従う演算を行って、画像中の各点の3次元位置を算出する(S303)。視差演算部203は、例えば初期設定の基線長を用いてステップS303の演算処理を行う。
視差演算部203は、ステップS302で算出した3次元位置を示す3次元情報を第1の路面パラメータ推定部204に出力し、ステップS302で算出した視差dを示す情報を物体検出部212に出力して、本フローチャートによる処理を終了する。
以上の処理によると、ステレオカメラ102の各カメラ102a,102bによる画像が平行化変換され(S301)、平行ステレオ法に基づき視差d及び三次元情報を演算することができる。ステップS301の詳細について、図5を用いて説明する。
図5(a)は、ステップS301による平行化前の左カメラ座標(xl,yl,zl)及び右カメラ座標(xr,yr,zr)を示す。図5(b)は、ステップS301による平行化後の左カメラ座標(x’l,y’l,z’l)及び右カメラ座標(x’r,y’r,z’r)を示す。左カメラ座標は、ステレオカメラ102における左カメラ102aの投影中心を原点とする座標系である。右カメラ座標は、右カメラ102bの投影中心を原点とする座標系である。
ステップS301の平行化変換を行うためには、ステレオカメラ102における左右それぞれのカメラ102a,102bの内部パラメータ及び外部パラメータを求めておく必要がある。内部パラメータは、カメラの焦点距離、画像中心座標、及び歪パラメータなどを表す。外部パラメータは、固定の座標系である世界座標系におけるカメラの位置及び姿勢を表す。演算装置106は、例えば、世界座標系を予め設定しておき、非特許文献1に示された手法を用いることにより、左右のカメラ102a,102bの内部パラメータと、共通の世界座標系における各カメラ102a,102bの外部パラメータとを算出することができる。
ステップS301において、視差演算部203としての演算装置106は、求めた内部パラメータを用いてそれぞれのカメラ102a,102bに関する歪補正変換を行い、求めた外部パラメータを用いて平面変換を行って、平行化変換を実行する(S301)。
ステップS301前には、ステレオカメラ102の位置ずれ等により、図5(a)に示すように左カメラ座標(xl,yl,zl)と右カメラ座標(xr,yr,zr)とが、互いに異なる向きに向いていることが想定される。これらの位置関係は、世界座標(w0,w1,w2)を基準として、次式の並進ベクトルtl,tr及び回転行列Rl,Rrで表すことができる。
式(11)の並進ベクトルtlは、世界座標(w0,w1,w2)の原点から左カメラ座標(xl,yl,zl)の原点までの並進を表す3次元ベクトルである。式(12)の並進ベクトルtrは、世界座標(w0,w1,w2)の原点から右カメラ座標(xr,yr,zr)の原点までの並進を表す3次元ベクトルである。
また、式(13)の回転行列Rlは、世界座標(w0,w1,w2)の向きから左カメラ座標(xl,yl,zl)の向きまでの回転を表す行列である。式(14)の回転行列Rrは、世界座標(w0,w1,w2)の向きから右カメラ座標(xr,yr,zr)の向きまでの回転を表す行列である。各回転行列Rl,Rrは、3行3列の成分rl,00~rl,22,rr,00~rr,22間において、ヨー方向、ピッチ方向及びロール方向に対応する3自由度をそれぞれ有する。
式(11)~(14)の並進ベクトルtl,tr及び回転行列Rl,Rrによると、次式のような回転行列R’を求めることができる。
以上の各回転行列Rl,Rr,R’を用いて、演算装置106は、図4のステップS301において視差演算部203として、次式に従う平面変換を演算する。
2-4.第1の路面パラメータ推定部について
以上のように視差演算部203によって算出された3次元情報に基づく第1の路面パラメータ推定部204の動作について、図6を用いて説明する。図6は、第1の路面パラメータ推定部204における処理を示すフローチャートである。
以上のように視差演算部203によって算出された3次元情報に基づく第1の路面パラメータ推定部204の動作について、図6を用いて説明する。図6は、第1の路面パラメータ推定部204における処理を示すフローチャートである。
図6に示すフローチャートは、第1の路面パラメータ推定部204として機能する演算装置106によって、例えば視差演算部203における処理後に逐次、実行される。
まず、第1の路面パラメータ推定部204は、視差演算部203からの3次元情報(図4のS303)に基づいて、例えば3次元位置が算出された全ての点の中からランダムに3点を選択することにより、路面上とみなし得る候補点を抽出する(S601)。この際、第1の路面パラメータ推定部204は、選択された3点の全てが同一の直線上とはならないように、例えば3点目の選択を制限する。
次に、第1の路面パラメータ推定部204は、路面上の候補点として抽出した3点を通る平面を求めて、求めた平面までの距離を示す候補路面パラメータを算出する(S602)。第1の路面パラメータ推定部204は、視差演算部203からの3次元情報に基づき、例えばステレオカメラ102におけるカメラの投影中心から求めた平面に下ろした垂線を求め、垂線の長さを候補路面パラメータとして算出する。
次に、第1の路面パラメータ推定部204は、候補路面パラメータが算出された平面と実際の路面との間の対応関係を検証するための演算処理を行う(S603)。具体的に、第1の路面パラメータ推定部204は、3次元位置演算303で3次元位置を計算した各点、或いは所定領域内の各点と、ステップS602で求めた平面との間の距離を算出し、距離が所定のしきい値以下である点の数を計数する。当該しきい値は、上記の平面と実質的に同一平面上にある点を判定するための基準の値である。
第1の路面パラメータ推定部204は、ステップS603の処理結果に基づいて、候補路面パラメータの平面と実際の路面とが合致することが検証されたか否かを判断する(S604)。
具体的に、第1の路面パラメータ推定部204は、計数した点の数が、距離の算出対象となった全点の数に対して、予め設定された一定の割合未満である場合、候補路面パラメータの平面と実際の路面とが合致するとは検証されなかったと判断する(S604でNO)。この場合、第1の路面パラメータ推定部204は、ステップS601以降の処理を繰り返して、新たな候補点に基づく候補路面パラメータを算出する。
一方、第1の路面パラメータ推定部204は、計数した点の数が上記の割合以上である場合、候補路面パラメータの平面と実際の路面とが合致することが検証されたと判断する(S604でYES)。この場合、第1の路面パラメータ推定部204は、算出した候補路面パラメータを第1の路面パラメータとして、路面パラメータ蓄積部205に出力する(S605)。
第1の路面パラメータ推定部204は、第1の路面パラメータを出力すると(S605)、本フローチャートによる処理を終了する。
以上の処理によると、視差演算部203によって演算された3次元情報に基づいて、車両101(図1)の移動時に時々刻々と変化する路面に対する第1の路面パラメータが算出される。
また、以上の処理に同期して、演算装置106は、各種センサ103~105(図1)から車両情報206を取得する。演算装置106は、路面パラメータ蓄積部205において、第1の路面パラメータ推定部204により求めた路面パラメータを車両情報206に関連付けて蓄積する。
2-5.第2の路面パラメータ推定部について
第1の路面パラメータなどの路面パラメータ蓄積部205に蓄積された情報に基づく第2の路面パラメータ推定部208の動作について、図7を用いて説明する。図7は、第2の路面パラメータ推定部208における処理を示すフローチャートである。
第1の路面パラメータなどの路面パラメータ蓄積部205に蓄積された情報に基づく第2の路面パラメータ推定部208の動作について、図7を用いて説明する。図7は、第2の路面パラメータ推定部208における処理を示すフローチャートである。
図7に示すフローチャートは、第2の路面パラメータ推定部208として機能する演算装置106によって、例えば所定の周期で実行される。当該周期は、路面パラメータ蓄積部205に新たな情報が充分に蓄積されると考えられる期間に基づき設定される(例えば1分)。
まず、第2の路面パラメータ推定部208は、路面パラメータ蓄積部205に蓄積された情報に基づいて、蓄積された第1の路面パラメータの中から、所定条件に該当する第1の路面パラメータを抽出する(S701)。第1の路面パラメータを抽出するための所定条件について、図8を用いて説明する。
図8は、車両101が勾配の変化を有する路面を走行する様子を示している。本実施形態において、ステレオカメラ102は、車両101の前方の路面を撮影する。このため、図8に示すように、車両101の走行中の路面に勾配の変化がある場合、ステレオカメラ102から観測される観測面と、観測時の車両101の接地面との間には、ピッチ方向等において角度差θが生じる。この場合に算出される第1の路面パラメータは、ステレオカメラ102から観測面までの距離に対応し、車両101の接地面までの距離からずれてしまうと考えられる。
また、車両101のカーブ走行の際には、ステレオカメラ102からの観測面と車両101の接地面との間に、例えばヨー方向において角度差θが生じると考えられる。このため、上述の場合と同様に、車両101がカーブ走行中に算出される第1の路面パラメータは、車両101の接地面までの距離からずれてしまうと考えられる。
そこで、本実施形態では、ステレオカメラ102からの観測面と観測時における車両101の接地面との間の角度差θが、所定角度以内であるという所定条件を用いて、第1の路面パラメータの抽出を行う。所定角度は、観測面と接地面とが実質的に平行と見なせる角度、すなわち、車両101の走行中の路面に勾配の変化が実質的にないと見なせる角度であり、例えば±1度以内である。
図7のステップS701では、第2の路面パラメータ推定部208は上記の所定条件を判定するために、車速、ヨーレート及びピッチレートといった車両情報206を用いて、蓄積された第1の路面パラメータにおける条件検索を行う。例えば、第2の路面パラメータ推定部208は、車速40km/h以上で且つヨーレートおよびピッチレートが0近傍の所定範囲内である車両情報206に関連付けされた第1の路面パラメータを抽出する。
次に、第2の路面パラメータ推定部208は、抽出した第1の路面パラメータに基づく統計処理を行って、第2の路面パラメータを算出する(S702)。例えば、第2の路面パラメータ推定部208は統計処理において、抽出した第1の路面パラメータの平均値や中央値を、第2の路面パラメータとして求める。
第2の路面パラメータ推定部208は、算出した第2の路面パラメータをキャリブレーションのスケール基準として補正パラメータ演算部209に出力して(S702)、本フローチャートによる処理を終了する。
以上の処理によると、車両情報206に基づく条件検索によって(S701)、キャリブレーションのスケール基準として利用可能なばらつきの少ない条件下の第1の路面パラメータが抽出される。さらに、抽出された第1の路面パラメータを用いて統計処理することにより(S702)、勾配の変化がない路面に対する距離を示す第2の路面パラメータを精度良く推定することができる。
2-6.補正パラメータ演算部について
第2の路面パラメータ推定部208によって算出された第2の路面パラメータに基づくキャリブレーションを実現する補正パラメータ演算部209の動作について、図9を用いて説明する。図9は、補正パラメータ演算部209における処理を示すフローチャートである。
第2の路面パラメータ推定部208によって算出された第2の路面パラメータに基づくキャリブレーションを実現する補正パラメータ演算部209の動作について、図9を用いて説明する。図9は、補正パラメータ演算部209における処理を示すフローチャートである。
図9に示すフローチャートは、補正パラメータ演算部209として機能する演算装置106によって、例えば第2の路面パラメータ推定部208による上記の処理(図7)の実行後に逐次、実行される。
図9のフローチャートの開始時において、初期設定時路面パラメータ記憶部210には予め、初期設定時に勾配の変化がない条件において事前計測された基準の路面パラメータ及び初期設定時の基線長D0が記憶されていることとする。
上記の初期設定は、例えば物体検出装置(演算装置106)を出荷する前や、物体検出装置の使用開始前に行われる。初期設定では、例えば、市松模様が描かれた、既知のサイズおよび交点数を有するチェッカーボードを路面上に設置し、ステレオカメラ102で撮影する。さらに、撮影画像から市松模様の交点を検出し、非特許文献2の第6章に記載のカメラ校正方法等を適用することにより、勾配の変化がない条件における基準の路面パラメータを求めることができる。
図9のフローチャートにおいて、まず、補正パラメータ演算部209は、初期設定時路面パラメータ記憶部210に記憶された基準の路面パラメータを読み出す(S801)。
次に、補正パラメータ演算部209は、第2パラメータ推定部208で算出された第2の路面パラメータ(図7のS702)と、読み出した基準の路面パラメータとを比較し、例えば両パラメータの除算によって、変化量を求める(S802)。ステップS802の変化量によると、現在のステレオカメラ102の設置状態と初期設定時との間の変化を認識することができる。
次に、補正パラメータ演算部209は、求めた変化量を用いてステレオカメラ102の基線長を補正する(S803)。具体的に、補正パラメータ演算部209は、次式を演算して、補正後の基線長Dを算出する。
D=(H/H0)D0 …(2)
上式(2)において、H0は、初期設定時のカメラの投影中心から路面へ下ろした垂線の長さ(基準の路面パラメータ)である。また、Hは、現在のステレオカメラ102の設置状態におけるカメラの投影中心から路面へ下ろした垂線の長さ(第2の路面パラメータ)である。
上式(2)において、H0は、初期設定時のカメラの投影中心から路面へ下ろした垂線の長さ(基準の路面パラメータ)である。また、Hは、現在のステレオカメラ102の設置状態におけるカメラの投影中心から路面へ下ろした垂線の長さ(第2の路面パラメータ)である。
補正パラメータ演算部209は、補正後の基線長Dを補正パラメータ反映部211に出力して(S803)、本フローチャートによる処理を終了する。
以上の処理によると、現在のステレオカメラ102の設置状態に応じたスケール基準として第2の路面パラメータを用いて、ステレオカメラ102の基線長が補正される(S803)。各路面パラメータと基線長との関係について、図10を用いて説明する。
図10(a)~(c)は、車両101が勾配の変化のない道路を直進走行している際の、キャリブレーション前のステレオカメラ102に基づく路面の見え方を説明するための図である。
図10(a)は、第2の路面パラメータと基準の路面パラメータとが一致する場合の路面の見え方を示している。図10(a)の場合、ステレオカメラ102の撮影画像に基づき算出される路面までの距離は、初期設定時から特に変化しておらず、適切に算出されていると考えられる。この場合、補正パラメータ演算部209による補正後の基線長Dは、式(2)に基づきD=D0となる。
図10(b)は、第2の路面パラメータが基準の路面パラメータよりも大きい場合の路面の見え方を示している。図10(b)の場合、ステレオカメラ102においては、路面までの距離が遠くに変化したかのような測定結果となる位置ずれが起きている。この場合、ステレオカメラ102のカメラ102a,102b間の間隔が初期設定時よりも広がっていると考えられる。そこで、補正パラメータ演算部209は、式(2)に基づき、初期設定時の基線長D0を広げるように補正後の基線長Dを算出する(S802)。
図10(c)は、第2の路面パラメータが基準の路面パラメータよりも小さい場合の路面の見え方を示している。図10(c)の場合、ステレオカメラ102においては、路面までの距離が実際よりも近くに算出されるような位置ずれが起きており、カメラ102a,102b間の間隔が初期設定時よりも狭まっていると考えられる。そこで、補正パラメータ演算部209は、式(2)に基づき、基線長Dを狭めるように補正する(S802)。
以上のように、初期設定時(基準)の路面パラメータからの第2の路面パラメータの変化に基づき、カメラ102a,102b間の間隔の変化を認識することができ、現在のステレオカメラ102の接地状態に応じた適切な基線長Dが得られる(S803)。
以上の補正パラメータ演算部209における処理の実行後に、補正パラメータ反映部211は、補正パラメータ演算部209から出力された基線長Dを、補正済パラメータ記憶部220に書き込むことにより、補正後の基線長Dを更新する。補正パラメータ反映部211が基線長Dの更新を行う更新タイミングは、所定周期、或いは演算装置106のオン/オフ時など、適宜、設定される。
2-7.物体検出部について
図11を用いて、物体検出部212の動作について説明する。図11は、物体検出部212における処理を示すフローチャートである。
図11を用いて、物体検出部212の動作について説明する。図11は、物体検出部212における処理を示すフローチャートである。
図11に示すフローチャートは、物体検出部212として機能する演算装置106によって、例えば所定の周期(例えば1/30秒)で実行される。
まず、物体検出部212は、補正済パラメータ記憶部220に記憶された情報を参照し、視差演算部203において算出された撮影画像中の全点の視差(図4のS302)に基づいて各点の3次元位置を算出する(S1001)。ステップS1001において、物体検出部212は、図4のS303と同様の処理を行うが、視差dに基づく距離Zを算出する際には、補正済パラメータ記憶部220に記憶された補正後の基線長Dを用いる。
次に、物体検出部212は、算出した3次元位置に基づいて、例えば図6のフローチャートと同様の処理を実行して、現在走行中のシーンにおける路面パラメータを算出する(S1002)。
次に、物体検出部212は、算出した路面パラメータに基づいて、撮影画像中の全点の中から、算出した路面パラメータに対応する路面よりも上方の3次元位置を有する点群を抽出する(S1003)。
次に、物体検出部212は、抽出した点群を入力として領域クラスタリングを行って、路面上の立体物と考えられる点群の集まり(塊)を求める(S1004)。ステップS1004における領域クラスタリングは、例えば非特許文献3に開示されたMean Shift法を用いることにより実現できる。
次に、物体検出部212は、領域クラスタリング(S1004)において抽出した立体物を、検出結果の物体として示す物体情報を、例えば表示装置107に出力する(S1005)。
物体検出部212は、検出結果の物体情報を出力する(S1005)と、本フローチャートによる処理を終了する。
以上の処理によると、物体検出部212は、補正後の基線長Dを用いて、物体の3次元位置を精度良く検出することができる。表示装置107は、以上の処理によって検出された物体情報(S1005)を表示する。
3.まとめ
以上説明したように、本実施形態に係る物体検出装置(演算装置106)は、車両101上のステレオカメラ102による映像に基づいて物体を検出する。物体検出装置は、視差演算部203と、第1の路面パラメータ推定部204と、路面パラメータ蓄積部205と、第2の路面パラメータ推定部208と、物体検出部212とを備える。視差演算部203は、映像におけるシーンの3次元情報を演算する。第1の路面パラメータ推定部204は、3次元情報に基づいて、車両101が走行している路面とステレオカメラ102との間の距離を示す第1の路面パラメータを算出する。路面パラメータ蓄積部205は、第1の路面パラメータと、車両101の走行状態に関する車両情報206とを関連付けて蓄積する。第2の路面パラメータ推定部208は、路面パラメータ蓄積部205によって蓄積された車両情報206及び第1の路面パラメータに基づいて、車両に関する所定条件下における第1の路面パラメータを用いて第2の路面パラメータを算出する。物体検出部212は、第2の路面パラメータを用いて、物体を検出する。所定条件は、ステレオカメラ102から観測された路面と観測時における車両の接地面との間の角度差が、所定角度以内であることを含む。
以上説明したように、本実施形態に係る物体検出装置(演算装置106)は、車両101上のステレオカメラ102による映像に基づいて物体を検出する。物体検出装置は、視差演算部203と、第1の路面パラメータ推定部204と、路面パラメータ蓄積部205と、第2の路面パラメータ推定部208と、物体検出部212とを備える。視差演算部203は、映像におけるシーンの3次元情報を演算する。第1の路面パラメータ推定部204は、3次元情報に基づいて、車両101が走行している路面とステレオカメラ102との間の距離を示す第1の路面パラメータを算出する。路面パラメータ蓄積部205は、第1の路面パラメータと、車両101の走行状態に関する車両情報206とを関連付けて蓄積する。第2の路面パラメータ推定部208は、路面パラメータ蓄積部205によって蓄積された車両情報206及び第1の路面パラメータに基づいて、車両に関する所定条件下における第1の路面パラメータを用いて第2の路面パラメータを算出する。物体検出部212は、第2の路面パラメータを用いて、物体を検出する。所定条件は、ステレオカメラ102から観測された路面と観測時における車両の接地面との間の角度差が、所定角度以内であることを含む。
以上の物体検出装置によると、車両情報206から、車両101の走行状態(運動)を把握し、これによって走行中の道路の勾配の変化を推定することにより、第2の路面パラメータ推定部208により求まる、勾配の変化がない路面に車両101が位置する場合の路面パラメータの推定精度を向上できる。
これにより、経年により2台のカメラ間の位置関係にずれが生じたときのずれ量の推定精度が向上するため、そのずれ量を考慮した物体までの距離検出精度も向上する。それにより、物体位置情報を用いたアプリケーションにおいて、高い信頼性での動作を保つことが出来る。
本実施形態において、第2の路面パラメータ推定部208は、路面パラメータ蓄積部205によって蓄積された車両情報206に基づいて、第1の路面パラメータから所定条件に該当する場合の第1の路面パラメータを抽出する。第2の路面パラメータ推定部208は、抽出した第1の路面パラメータに基づく統計処理を行って、第2の路面パラメータを算出する。これにより、蓄積された第1の路面パラメータの中から、勾配の変化のない道路を走行中の第1の路面パラメータが抽出されて統計処理の対象となり、第2の路面パラメータを精度良く算出できる。
なお、以上の例では、蓄積された第1の路面パラメータの中から、勾配の変化のない道路を走行中に算出した第1の路面パラメータを抽出したが、これに限らず、例えば勾配の変化のない道路を走行中に算出した第1の路面パラメータのみを蓄積するように本物体検出装置を構成しても良い。
また、本実施形態において、上記の所定条件は、ステレオカメラ102から観測された路面と観測時における車両の接地面とが、勾配が変化しない同一平面であることを示す条件であってもよい。例えば、上記の所定角度が適宜、許容誤差の範囲内で0度近傍に設定されることにより、当該条件が設定されてもよい。これにより、平坦な路面の走行中の第1の路面パラメータに制限して第2の路面パラメータが算出でき、ステレオカメラ102に対するキャリブレーションの精度を良くすることができる。
また、本実施形態において、車両情報206は、車両101における車速、ヨーレート、及びピッチレートを含んだ。車両情報206はこれに加えて、又は代えて、例えば車両101におけるロールレート、操舵角、及び傾斜角などを含んでもよい。例えば、車両情報検出部として、車両101にロールレートセンサや姿勢センサを搭載したり、演算装置106が車両101のステアリングの操作状態をモニタしたりしてもよい。
また、本実施形態において、上記の所定条件は、具体的には車両情報206におけるヨーレート、ピッチレート又はロールレートが、車両101の直線路の走行時に対応する所定範囲内の値であることとして設定された。上記の所定条件はこれに限らず、例えば、車両情報206における操舵角が、車両の直進状態におけるステアリングに対応する所定範囲内の値であることや、車両情報206における傾斜角が、車両が水平な路面上を走行する状態に対応する所定範囲内の値であることであってもよい。
また、本実施形態において、物体検出装置は、補正パラメータ演算部209と、補正パラメータ反映部211とをさらに備える。補正パラメータ演算部209は、第2の路面パラメータと、予め設定された基準の路面パラメータとを比較して、ステレオカメラ102のずれ量に応じた補正パラメータを算出する。補正パラメータ反映部211は、補正パラメータに基づいて、ステレオカメラに関するカメラパラメータを補正する。物体検出部212は、補正パラメータ反映部211によって補正されたカメラパラメータである基線長Dを用いて、物体の位置を検出する。これにより、物体検出装置は、ステレオカメラ102のずれ量を補正して物体の位置を精度良く検出することができる。
また、本実施形態に係る車両101は、物体検出装置と、映像を撮影するステレオカメラ102と、車両情報206を検出する各種センサ103~105とを備える。本実施形態に係る車両101によると、物体検出装置によりステレオカメラ102の位置ずれを補正して物体を精度良く検出することができる。
実施の形態2.
実施の形態1では、車速センサ等で車両の走行状態に関する車両情報を検出した。実施の形態2では、さらに走行する道路のレーン形状を検出する物体検出装置について説明する。
実施の形態1では、車速センサ等で車両の走行状態に関する車両情報を検出した。実施の形態2では、さらに走行する道路のレーン形状を検出する物体検出装置について説明する。
図12は、本実施形態に係る物体検出装置の構成を示すブロック図である。本実施形態に係る物体検出装置(演算装置106A)は、実施の形態1と同様の構成(図2)に加えて、図12に示すように白線消失点検出部214とレーン形状検出部215とをさらに備える。
白線消失点検出部214は、ステレオカメラ102による撮影画像に基づいて、道路の走行レーンに描かれている左右の白線を直線(或いは曲線)として検出する。白線消失点検出部214は、検出した2本の直線(或いは曲線)を延長した場合の交点を消失点として求める。
レーン形状検出部215は、白線消失点検出部214による検出結果に基づいて、求めた白線の消失点の位置からレーンの形状を推定するための処理を行う。例えば、左右レーンを延長して地平線上で交わる点(消失点)は、道路が左カーブしていれば、平坦な直線路の走行時の初期位置より左に、右カーブしていれば、初期位置より右に、道路が上り坂に差し掛かっていれば、初期位置より上に、下り坂に差し掛かっていれば、初期位置より下に観測されると推定される。このため、消失点が初期位置に近い所定範囲内に在る場合、走行中の道路は、勾配の変化がなく、カーブしていない(直線路である)と判定することができる。
本実施形態において、路面パラメータ蓄積部205は、第1の路面パラメータ推定部204により求めた第1の路面パラメータを、車速やヨーレートやピッチレート等の車両情報206と、レーン形状検出部215により求めたレーン形状とに関連付けて蓄積する。
また、第2の路面パラメータ推定部208は、路面パラメータ蓄積部205に蓄積された情報を用いて、勾配の変化がなくカーブしていないと見なせる条件下の第1の路面パラメータをより精度良く抽出し、第2の路面パラメータをより正確に算出する。上記の各機能部による動作について、以下説明する。
図13は、白線消失点検出部214における処理を示すフローチャートである。図13に示すフローチャートは、白線消失点検出部214として機能する演算装置106Aによって、例えば所定の周期(例えば1/30秒)で実行される。
まず、白線消失点検出部214は、ステレオカメラ102における一方又は双方のカメラ画像から、例えば所定の特徴量に基づく特徴点群として白線部分を抽出する(S1201)。ステップS1201の処理は、例えば、縦エッジ抽出の画像処理を行い、エッジ強度が所定値以上、強い部分を白線として抽出することによって実行できる。
次に、白線消失点検出部214は、出した白線部分の特徴点群を用いて、直線抽出を行うことにより、左右の白線を直線として求める(S1202)。ステップS1202の処理は、例えば、非特許文献4に示された直線ハフ変換を用いて直線を求めることによって実行できる。
次に、白線消失点検出部214は、求めた左右の白線に相当する直線2本を用いて、その2本の直線が地平線付近で交わる点を消失点として求める(S1202)。白線消失点検出部214は、以上のような消失点の検出結果を示す情報をレーン形状検出部215に出力して、本フローチャートによる処理を終了する。
図14は、レーン形状検出部215における処理を示すフローチャートである。図14に示すフローチャートは、レーン形状検出部215として機能する演算装置106Aによって、例えば白線消失点検出部214における処理後に逐次、実行される。
まず、レーン形状検出部215は、白線消失点検出部214による検出結果に基づいて、レーンの勾配算出等を行い(S1301)、レーン形状の観点から、現在走行中のレーンが登っているのか、下っているのか、或いは勾配の変化がないのかを判定する。
ステップS1301の判定では、勾配の変化のない道路を走行中に観測された消失点の位置を基準の標準位置として予め設定しておき、算出された消失点の位置と標準位置とを比較する。レーン形状検出部215は、算出された消失点の位置が、標準位置よりも上の場合には現在のレーンが登っており、標準位置よりも下の場合にはレーンが下っていると判断する。
また、レーン形状検出部215は、レーンのヨー方向における曲率等のカーブ算出を行い(S1302)、レーン形状の観点から、現在走行中のレーンが左カーブなのか、右カーブなのか、直線路なのかを判定する。
ステップS1302の判定では、直線路を走行中に観測された消失点の位置を基準の標準位置とし、算出された消失点の位置が標準位置より左(又は右)にずれている場合に、走行中のレーンが左(又は右)にカーブしていると判断する。さらに、レーン形状検出部215は、算出された消失点の位置が標準位置に近いと考えられる所定範囲内にある場合ければ、走行中のレーンは勾配の変化がなく、カーブしていないと判断する。
レーン形状検出部215は、以上のような判定結果を含むレーン形状の検出情報を路面パラメータ蓄積部205に出力して、本フローチャートによる処理を終了する。
路面パラメータ蓄積部205は、レーン形状検出部215によるレーン形状の検出情報を、同期して得られた第1の路面パラメータ及び車両情報206と関連付けて蓄積する。
第2の路面パラメータ推定部208は、車両情報206と共にレーン形状の検出情報を用いて、路面パラメータ蓄積部205に蓄積された第1の路面パラメータの条件検索を行う。例えば、第2の路面パラメータ推定部208は、車速40km/h以上、ヨーレートおよびピッチレートがほぼ0、消失点から求めたレーン形状が勾配の変化なし、直線路である場合の第1の路面パラメータを抽出する。これにより、車両101が勾配の変化のない道路を直進中に算出されたと考えられる第1の路面パラメータをより精度良く得ることができる。
以上説明したように、本実施形態に係る物体検出装置(演算装置106A)は、白線消失点検出部214と、レーン形状検出部215とをさらに備える。白線消失点検出部214は、映像における2本の白線に基づいて、2本の白線の延長線が交わる点である消失点を検出する。レーン形状検出部215は、消失点の位置に基づいて映像における路面の勾配の変化を検出する。路面パラメータ蓄積部205は、レーン形状検出部215による路面の勾配の変化の検出結果と、第1の路面パラメータとを関連付けて蓄積する。第2の路面パラメータ推定部208は、路面パラメータ蓄積部205によって蓄積された路面の勾配の変化の検出結果に基づいて、第2の路面パラメータを算出する。
本実施形態において、レーン形状検出部215は、白線消失点検出部214によって検出された消失点の位置と、予め設定された直線路走行時の消失点の位置とを比較して、レーンの形状を検知する。
以上の物体検出装置によると、レーン形状検出部215により、走行中の道路の勾配の変化を検出でき、車両101が勾配の変化がない路面を直進する場合の路面パラメータの推定精度を向上できる。
実施の形態3.
実施の形態1では、ステレオカメラの撮影画像からレーン形状を検出した。実施の形態3では、さらにステレオカメラによる撮影環境を認識する物体検出装置について説明する。
実施の形態1では、ステレオカメラの撮影画像からレーン形状を検出した。実施の形態3では、さらにステレオカメラによる撮影環境を認識する物体検出装置について説明する。
図15は、本実施形態に係る物体検出装置の構成を示すブロック図である。本実施形態に係る物体検出装置(演算装置106B)は、実施の形態2と同様の構成(図12)に加えて、図15に示すように撮影環境認識部216をさらに備える。
撮影環境認識部216は、ステレオカメラ102による映像を入力し、現在走行中のシーンに関する日照条件、気象条件、及び走行路面に関する条件を含む撮影環境を認識する。日照条件は、例えば対象のシーンが昼、夜、西日などのいずれであるかを示す。気象条件は、例えば対象のシーンが晴れ、曇、雨、雪などのいずれであるかを示す。走行路面に関する条件は、走行中の路面が、舗装道路、未舗装道路などのいずれであるかを示す。
本実施形態において、路面パラメータ蓄積部205は、第1の路面パラメータを、車両情報206、及びレーン形状の検出情報と共に、撮影環境認識部216で認識された撮影環境を示す情報に関連付けて蓄積する。
また、第2の路面パラメータ推定部208では、路面パラメータ蓄積部205に蓄積された情報を用いて、車両101の走行路面に勾配の変化がなくカーブしていないと見なせるときで、かつ、撮影環境の観点から認識精度が高いと見なせる条件下の第1の路面パラメータを抽出する。上記の各機能部による動作について、以下説明する。
図16は、撮影環境認識部216における処理を示すフローチャートである。図16に示すフローチャートは、撮影環境認識部216として機能する演算装置106Bによって、例えば所定の周期(例えば1/30秒)で実行される。
図16のフローチャートにおいて、撮影環境認識部216は、ステレオカメラ102から入力される画像に基づいて、日照条件を認識する(S1501)。ステップS1501において撮影環境認識部216は、入力画像の輝度平均値、カメラ撮像時の露光時間、及びカメラ撮像時のゲイン値に基づいて、シーンの明るさを認識し、日照条件の強度を算出する。
また、撮影環境認識部216は、入力画像に基づいて気象条件を認識する(S1502)。ステップS1502において撮影環境認識部216は、入力画像において空が映った部分のテクスチャ解析(例えば雲の有無)や、他の部分等のエッジの鮮明度解析(即ちレンズへの水滴付着による映像ぼけの有無、降雨、降雪による映像の不鮮明化の有無)を行って、気象条件を認識する。
また、撮影環境認識部216は、入力画像に基づいて走行路面に関する条件を認識する(S1503)。ステップS1502において撮影環境認識部216は、入力画像における白線の有無判定や、走行路面上のエッジ量解析(即ちアスファルトか非舗装道路かの判定)を行って、走行路面の状態を認識する。
撮影環境認識部216は、以上のような撮影環境の認識結果を示す情報を路面パラメータ蓄積部205に出力して、本フローチャートによる処理を終了する。
以上の処理によると、路面パラメータ蓄積部205には車両情報206及びレーン形状の検出情報と共に撮影環境の認識結果を示す情報が蓄積され、第2の路面パラメータ推定部208はこれらの情報を用いて第1の路面パラメータの条件検索を行う。例えば、第2の路面パラメータ推定部208は、実施の形態2と同様の条件に加えて、日照条件が「昼」であり、気象条件が「曇」であり、走行路面に関する条件が舗装道路である条件下の第1の路面パラメータを抽出する。これにより、抽出した第1の路面パラメータに基づく第2の路面パラメータをより精度良く求めることができる。
以上説明したように、本実施形態に係る物体検出装置(演算装置106B)は、ステレオカメラ102による映像の撮影環境を認識する撮影環境認識部216をさらに備える。路面パラメータ蓄積部205は、撮影環境認識部216によって認識された撮影環境を示す情報と、第1の路面パラメータとを関連付けて蓄積する。第2の路面パラメータ推定部208は、路面パラメータ蓄積部205によって蓄積された撮影環境を示す情報に基づいて、第2の路面パラメータを算出する。
本実施形態において、撮影環境を示す情報は、日照条件、気象条件、及び車両の走行路面に関する条件のうちの少なくとも1つを示す情報を含む。
以上の物体検出装置によると、第2の路面パラメータ推定部208において、撮影環境の観点から画像認識の精度が低下する可能性が高いと想定される第1の路面パラメータを用いずに第2の路面パラメータを算出して、位置ずれの推定精度を向上することができる。
実施の形態4.
実施の形態4では、第2の路面パラメータによる補正結果の更新タイミングについて説明する。
実施の形態4では、第2の路面パラメータによる補正結果の更新タイミングについて説明する。
図17は、本実施形態に係る物体検出装置の構成を示すブロック図である。本実施形態に係る物体検出装置(演算装置106C)は、実施の形態3と同様の構成(図15)において、図17に示すように、車両情報206を補正パラメータ反映部211Aに入力する。
補正パラメータ反映部211Aは、実施の形態1と同様に、視差dから3次元位置を算出するときに用いる基線長Dを更新するために、補正パラメータ演算部209で算出された基線長を補正済パラメータ記憶部220に書き込む。本実施形態では、補正パラメータ反映部211Aは、車両101の車両情報206における車速の情報を用いて、基線長を補正済パラメータ記憶部220に書き込む更新タイミングを、車両101の停止時に限定する。
以上のように、本実施形態において、補正パラメータ反映部211Aは、車両101の車速を示す情報に基づいて、車両101の停止時においてカメラパラメータの補正結果を反映する。
補正パラメータ反映部211Aによって補正結果が反映された際には、ステレオカメラ102の映像に基づき物体検出部212が検出している物体までの距離が、変化することとなる。このことから、検出された物体の位置情報を用いたアプリケーションにおいて、車両101を制御しているときに、物体までの距離が変化すると、その変化の影響で制御を誤ったり、無理な制御がかかったりする可能性があると考えられる。これに対して、本実施形態では、アプリケーションへの影響のないタイミングである、車両101の停車時に補正パラメータを反映することで、安全性を向上することができる。
他の実施形態.
上記の各実施形態では、平行ステレオ法に基づき3次元情報を測定する場合について説明したが、平行ステレオ法に限らず、他の種々の測定方法を採用してもよい。この場合、例えば図4のステップS301において採用する測定方法に応じた補正を行う。
上記の各実施形態では、平行ステレオ法に基づき3次元情報を測定する場合について説明したが、平行ステレオ法に限らず、他の種々の測定方法を採用してもよい。この場合、例えば図4のステップS301において採用する測定方法に応じた補正を行う。
上記の各実施形態では、物体検出装置は車両101に搭載されたステレオカメラ102を用いて物体を検出した。車両は、自動車、自動二輪車、及び鉄道車両など、路面を走行する各種の移動体を含む。
以上のように、本発明の具体的な実施形態について説明したが、本発明は上記の形態に限定されるものではなく、本発明の範囲内で種々の変更を行って実施することができる。例えば、上記の個々の実施形態の内容を適宜組み合わせたものを本発明の一実施形態としてもよい。
Claims (12)
- 車両上のステレオカメラによる映像に基づいて物体を検出する物体検出装置であって、
前記映像におけるシーンの3次元情報を演算する視差演算部と、
前記3次元情報に基づいて、前記車両が走行している路面と前記ステレオカメラとの間の距離を示す第1の路面パラメータを算出する第1の路面パラメータ推定部と、
前記第1の路面パラメータと、前記車両の走行状態に関する車両情報とを関連付けて蓄積する路面パラメータ蓄積部と、
前記路面パラメータ蓄積部によって蓄積された車両情報及び第1の路面パラメータに基づいて、前記車両に関する所定条件下における第1の路面パラメータを用いて第2の路面パラメータを算出する第2の路面パラメータ推定部と、
前記第2の路面パラメータを用いて、前記物体を検出する物体検出部とを備え、
前記所定条件は、前記ステレオカメラから観測された路面と観測時における前記車両の接地面との間の角度差が、所定角度以内であることを含む
物体検出装置。 - 前記第2の路面パラメータ推定部は、
前記路面パラメータ蓄積部によって蓄積された車両情報に基づいて、前記路面パラメータ蓄積部によって蓄積された第1の路面パラメータから前記所定条件に該当する場合の第1の路面パラメータを抽出し、
抽出した第1の路面パラメータに基づく統計処理を行って、前記第2の路面パラメータを算出する
請求項1に記載の物体検出装置。 - 前記所定条件は、前記ステレオカメラから観測された路面と観測時における前記車両の接地面とが、勾配が変化しない同一平面であることを含む
請求項1又は2に記載の物体検出装置。 - 前記車両情報は、前記車両における車速、ヨーレート、ピッチレート、ロールレート、操舵角、及び傾斜角のうちの少なくとも1つを示す情報を含む
請求項1~3のいずれか1項に記載の物体検出装置。 - 前記所定条件は、
前記車両情報におけるヨーレート、ピッチレート又はロールレートが、前記車両の直線路の走行時に対応する所定範囲内の値であることと、
前記車両情報における操舵角が、前記車両の直進状態におけるステアリングに対応する所定範囲内の値であることと、
前記車両情報における傾斜角が、前記車両が水平な路面上を走行する状態に対応する所定範囲内の値であることと
の内の少なくとも一つを含む
請求項4に記載の物体検出装置。 - 前記映像における2本の白線に基づいて、前記2本の白線の延長線が交わる点である消失点を検出する白線消失点検出部と、
前記消失点の位置に基づいて前記映像における路面の勾配の変化を検出するレーン形状検出部とをさらに備え、
前記路面パラメータ蓄積部は、前記レーン形状検出部による路面の勾配の変化の検出結果と、前記第1の路面パラメータとを関連付けて蓄積し、
前記第2の路面パラメータ推定部は、前記路面パラメータ蓄積部によって蓄積された路面の勾配の変化の検出結果に基づいて、前記第2の路面パラメータを算出する
請求項1~5のいずれか1項に記載の物体検出装置。 - 前記レーン形状検出部は、前記白線消失点検出部によって検出された消失点の位置と、予め設定された直線路走行時の消失点の位置とを比較して、レーンの形状を検知する
請求項6に記載の物体検出装置。 - 前記ステレオカメラによる映像の撮影環境を認識する撮影環境認識部をさらに備え、
前記路面パラメータ蓄積部は、前記撮影環境認識部によって認識された撮影環境を示す情報と、前記第1の路面パラメータとを関連付けて蓄積し、
前記第2の路面パラメータ推定部は、前記路面パラメータ蓄積部によって蓄積された撮影環境を示す情報に基づいて、前記第2の路面パラメータを算出する
請求項1~7のいずれか1項に記載の物体検出装置。 - 前記撮影環境を示す情報は、日照条件、気象条件、及び前記車両の走行路面に関する条件のうちの少なくとも1つを示す情報を含む
請求項8に記載の物体検出装置。 - 前記第2の路面パラメータと、予め設定された基準の路面パラメータとを比較して、前記ステレオカメラのずれ量に応じた補正パラメータを算出する補正パラメータ演算部と、
前記補正パラメータに基づいて、前記ステレオカメラに関するカメラパラメータを補正する補正パラメータ反映部と
をさらに備え、
前記物体検出部は、前記補正パラメータ反映部によって補正されたカメラパラメータを用いて、前記物体の位置を検出する
請求項1~9のいずれか1項に記載の物体検出装置。 - 前記補正パラメータ反映部は、前記車両の車速を示す情報に基づいて、前記車両の停止時において、前記カメラパラメータの補正結果を反映する
請求項10に記載の物体検出装置。 - 請求項1~11のいずれか1項に記載の物体検出装置と、
前記映像を撮影するステレオカメラと、
前記車両情報を検出する車両情報検出部と
を備えた車両。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/486,529 US10984555B2 (en) | 2017-03-30 | 2017-03-30 | Object detection device and vehicle |
PCT/JP2017/013402 WO2018179281A1 (ja) | 2017-03-30 | 2017-03-30 | 物体検出装置及び車両 |
DE112017007347.2T DE112017007347T5 (de) | 2017-03-30 | 2017-03-30 | Objekterkennungsvorrichtung und fahrzeug |
JP2019508060A JP6779365B2 (ja) | 2017-03-30 | 2017-03-30 | 物体検出装置及び車両 |
CN201780088885.7A CN110462682B (zh) | 2017-03-30 | 2017-03-30 | 物体检测装置以及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/013402 WO2018179281A1 (ja) | 2017-03-30 | 2017-03-30 | 物体検出装置及び車両 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018179281A1 true WO2018179281A1 (ja) | 2018-10-04 |
Family
ID=63674418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/013402 WO2018179281A1 (ja) | 2017-03-30 | 2017-03-30 | 物体検出装置及び車両 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10984555B2 (ja) |
JP (1) | JP6779365B2 (ja) |
CN (1) | CN110462682B (ja) |
DE (1) | DE112017007347T5 (ja) |
WO (1) | WO2018179281A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021131351A1 (ja) * | 2019-12-23 | 2021-07-01 | 株式会社 東芝 | カメラ自動検査システム |
WO2024090152A1 (ja) * | 2022-10-28 | 2024-05-02 | 株式会社小糸製作所 | 車両検出装置、配光制御装置および車両検出方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11158088B2 (en) | 2017-09-11 | 2021-10-26 | Tusimple, Inc. | Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment |
US11089288B2 (en) * | 2017-09-11 | 2021-08-10 | Tusimple, Inc. | Corner point extraction system and method for image guided stereo camera optical axes alignment |
WO2020014683A1 (en) * | 2018-07-13 | 2020-01-16 | Kache.AI | Systems and methods for autonomous object detection and vehicle following |
WO2020176869A1 (en) | 2019-02-28 | 2020-09-03 | Stats Llc | System and method for player reidentification in broadcast video |
US11770875B2 (en) * | 2019-10-03 | 2023-09-26 | Qualcomm Incorporated | Integrated access and backhaul (IAB) timing handling for positioning |
US11178382B1 (en) * | 2020-10-27 | 2021-11-16 | Shoppertrak Rct Corporation | Auto-calibration of stereoscopic imaging device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013239015A (ja) * | 2012-05-15 | 2013-11-28 | Sharp Corp | 駐車支援装置、駐車支援方法およびプログラム |
JP2017004117A (ja) * | 2015-06-05 | 2017-01-05 | 富士通テン株式会社 | 視線検出装置および視線検出方法 |
JP2017031579A (ja) * | 2015-07-29 | 2017-02-09 | 日本電気株式会社 | 抽出システム、抽出サーバ、抽出方法、および抽出プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4344860B2 (ja) | 2004-01-30 | 2009-10-14 | 国立大学法人東京工業大学 | ステレオ画像を用いた道路平面領域並びに障害物検出方法 |
JP4894771B2 (ja) | 2008-01-31 | 2012-03-14 | コニカミノルタホールディングス株式会社 | 校正装置及び校正方法 |
JP5074365B2 (ja) * | 2008-11-28 | 2012-11-14 | 日立オートモティブシステムズ株式会社 | カメラ装置 |
JP5792157B2 (ja) * | 2010-03-19 | 2015-10-07 | ラピスセミコンダクタ株式会社 | 画像処理装置、方法、プログラム及び記録媒体 |
JP5870510B2 (ja) * | 2010-09-14 | 2016-03-01 | 株式会社リコー | ステレオカメラ装置、校正方法およびプログラム |
JP6019646B2 (ja) | 2012-03-21 | 2016-11-02 | 株式会社リコー | 位置ずれ検出装置、車両及び位置ずれ検出方法 |
CN104246821B (zh) * | 2012-04-16 | 2016-08-17 | 日产自动车株式会社 | 三维物体检测装置和三维物体检测方法 |
CN104509102B (zh) * | 2012-07-27 | 2017-12-29 | 日产自动车株式会社 | 三维物体检测装置和异物检测装置 |
CN104508728B (zh) * | 2012-07-27 | 2016-06-15 | 日产自动车株式会社 | 三维物体检测装置 |
JP5820787B2 (ja) * | 2012-08-30 | 2015-11-24 | 株式会社デンソー | 画像処理装置、及びプログラム |
JP5906272B2 (ja) | 2014-03-28 | 2016-04-20 | 富士重工業株式会社 | 車両用ステレオ画像処理装置 |
US10558867B2 (en) * | 2015-09-28 | 2020-02-11 | Kyocera Corporation | Image processing apparatus, stereo camera apparatus, vehicle, and image processing method |
WO2017122552A1 (ja) * | 2016-01-15 | 2017-07-20 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに画像処理システム |
JP6733225B2 (ja) * | 2016-03-08 | 2020-07-29 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
-
2017
- 2017-03-30 DE DE112017007347.2T patent/DE112017007347T5/de not_active Withdrawn
- 2017-03-30 CN CN201780088885.7A patent/CN110462682B/zh active Active
- 2017-03-30 JP JP2019508060A patent/JP6779365B2/ja active Active
- 2017-03-30 WO PCT/JP2017/013402 patent/WO2018179281A1/ja active Application Filing
- 2017-03-30 US US16/486,529 patent/US10984555B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013239015A (ja) * | 2012-05-15 | 2013-11-28 | Sharp Corp | 駐車支援装置、駐車支援方法およびプログラム |
JP2017004117A (ja) * | 2015-06-05 | 2017-01-05 | 富士通テン株式会社 | 視線検出装置および視線検出方法 |
JP2017031579A (ja) * | 2015-07-29 | 2017-02-09 | 日本電気株式会社 | 抽出システム、抽出サーバ、抽出方法、および抽出プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021131351A1 (ja) * | 2019-12-23 | 2021-07-01 | 株式会社 東芝 | カメラ自動検査システム |
JP7502025B2 (ja) | 2019-12-23 | 2024-06-18 | 株式会社東芝 | カメラ自動検査システム |
WO2024090152A1 (ja) * | 2022-10-28 | 2024-05-02 | 株式会社小糸製作所 | 車両検出装置、配光制御装置および車両検出方法 |
Also Published As
Publication number | Publication date |
---|---|
DE112017007347T5 (de) | 2019-12-12 |
JPWO2018179281A1 (ja) | 2019-11-21 |
JP6779365B2 (ja) | 2020-11-04 |
CN110462682B (zh) | 2023-05-02 |
US10984555B2 (en) | 2021-04-20 |
CN110462682A (zh) | 2019-11-15 |
US20200051282A1 (en) | 2020-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6779365B2 (ja) | 物体検出装置及び車両 | |
US10834324B2 (en) | Image distortion correction of a camera with a rolling shutter | |
EP3598874B1 (en) | Systems and methods for updating a high-resolution map based on binocular images | |
CN111436216B (zh) | 用于彩色点云生成的方法和系统 | |
US9066085B2 (en) | Stereoscopic camera object detection system and method of aligning the same | |
EP3057063B1 (en) | Object detection device and vehicle using same | |
US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
JP3719095B2 (ja) | 挙動検出装置および勾配検出方法 | |
KR101411668B1 (ko) | 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
JP5714940B2 (ja) | 移動体位置測定装置 | |
US8102427B2 (en) | Camera egomotion estimation from an infra-red image sequence for night vision | |
JP2012127896A (ja) | 移動体位置測定装置 | |
US11691585B2 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
EP3803790B1 (en) | Motion segmentation in video from non-stationary cameras | |
CN109917359B (zh) | 基于车载单目视觉的鲁棒车辆距离估计方法 | |
US20200193184A1 (en) | Image processing device and image processing method | |
JP7303064B2 (ja) | 画像処理装置、および、画像処理方法 | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
JP6521796B2 (ja) | ステレオ画像処理装置 | |
US20230421739A1 (en) | Robust Stereo Camera Image Processing Method and System | |
US20240212194A1 (en) | Vehicle and control method thereof | |
KR101949349B1 (ko) | 어라운드 뷰 모니터링 장치 | |
JP4397164B2 (ja) | 障害物検出装置及び障害物検出方法 | |
JPH11232466A (ja) | 道路形状認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17904027 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019508060 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17904027 Country of ref document: EP Kind code of ref document: A1 |