WO2021059589A1 - 物体検出装置、走行制御システム、および走行制御方法 - Google Patents

物体検出装置、走行制御システム、および走行制御方法 Download PDF

Info

Publication number
WO2021059589A1
WO2021059589A1 PCT/JP2020/020489 JP2020020489W WO2021059589A1 WO 2021059589 A1 WO2021059589 A1 WO 2021059589A1 JP 2020020489 W JP2020020489 W JP 2020020489W WO 2021059589 A1 WO2021059589 A1 WO 2021059589A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
unit
distance
detection unit
posture
Prior art date
Application number
PCT/JP2020/020489
Other languages
English (en)
French (fr)
Inventor
佐々本　学
松尾　茂
健太郎 上野
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to CN202080043096.3A priority Critical patent/CN114521180B/zh
Priority to US17/596,873 priority patent/US12033395B2/en
Priority to DE112020002784.8T priority patent/DE112020002784T5/de
Publication of WO2021059589A1 publication Critical patent/WO2021059589A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0295—Fleet control by at least one leading vehicle of the fleet
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/69—Coordinated control of the position or course of two or more vehicles
    • G05D1/698—Control allocation
    • G05D1/6985—Control allocation using a lead vehicle, e.g. primary-secondary arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/806—Relative heading
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to an object detection device that detects an object such as a preceding vehicle from its own vehicle, for example.
  • Patent Document 1 proposes a method of predicting the traveling locus of a preceding vehicle traveling in front of the own vehicle. Specifically, Patent Document 1 describes that the image captured by the imaging device is analyzed to detect the direction and speed of the preceding vehicle to predict the traveling locus.
  • Patent Document 1 analyzes an image captured by an imaging device, detects the direction and speed of the preceding vehicle, and predicts a traveling trajectory. Therefore, when an object deviates from the shooting angle of view, it is tracked. There is a risk that the accuracy will decrease.
  • the present invention has been made to solve such a problem, and a main object of the present invention is to provide an object detection device or the like capable of accurately detecting an object regardless of the angle of view position and distance of the object.
  • the object detection device of the present invention that solves the above problems includes a distance detection unit that detects the distance of an object, a position detection unit that detects the position of the object based on the distance detected by the distance detection unit, and the above.
  • a posture detection unit that detects the posture of the object based on the distance detected by the distance detection unit, a first vehicle information input unit that inputs the state information of the own vehicle, and a second that inputs the state information of another vehicle. The position of the other vehicle based on the state information of the own vehicle and the state information of the other vehicle input by the vehicle information input unit of 2, the first vehicle information input unit, and the second vehicle information input unit.
  • the posture of the other vehicle Based on the position estimation unit that estimates the position, the state information of the own vehicle and the state information of the other vehicle input by the first vehicle information input unit and the second vehicle information input unit, the posture of the other vehicle.
  • the distance between the other vehicle and the other vehicle according to the information detected or estimated by the attitude estimation unit, the distance detection unit, the position detection unit, the attitude detection unit, the position estimation unit, and the attitude estimation unit, respectively. It has a determination unit for determining a position, a position, and a posture.
  • an object can be detected accurately regardless of the angle of view position and distance of the object. Further features relating to the present invention will become apparent from the description herein and the accompanying drawings. In addition, problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
  • the figure which shows an example of the result of detection using the pair of captured images shown in FIG. The figure which shows an example of the traveling locus of a vehicle.
  • the preceding vehicle is given as an example of the object for detecting the position, and the position of the preceding vehicle is detected.
  • the present invention is not limited to this, and the position of any object is detected. May be good.
  • FIG. 1 is a diagram showing a configuration of an object detection device according to a first embodiment of the present invention.
  • Reference numeral 1 denotes an object detection device of the present embodiment.
  • the object detection device 1 constitutes, for example, a part of a travel control system mounted in front of the own vehicle, recognizing an object such as a preceding vehicle which is another vehicle, and supporting traveling control of traveling following the preceding vehicle, for example. It is a device to do.
  • the object detection device 1 is housed in, for example, the housing of an in-vehicle stereo camera.
  • the object detection device 1 includes a pair of left and right image pickup units 101 and 102 (first image pickup unit and second image pickup unit), an image correction unit 104, a stereo distance detection unit 105, a position detection unit 106, and an orbit prediction unit 107. , 108, a position estimation unit 109, a posture estimation unit 110, a posture detection unit 111, and a determination unit 112.
  • an optical lens is attached to the image sensor.
  • These imaging units 101 and 102 repeatedly capture an image at a predetermined timing and output the captured image.
  • the imaging unit 101 and the imaging unit 102 are installed at a predetermined distance from each other to the left and right, and the object detection device 1 reaches the subject due to the deviation between the image captured by the imaging unit 101 and the image captured by the imaging unit 102, so-called parallax. The distance can be calculated.
  • FIG. 1 shows an example in which the components of the object detection device 1 are housed in the same housing, for example, the imaging units 101 and 102 may be housed together in a housing different from the other components. Alternatively, the imaging units 101 and 102 may be housed in separate housings and attached to the vehicle. In that case, the image signal may be transmitted by connecting each configuration with a connection cable (not shown).
  • a connection cable not shown.
  • LVDS Low Voltage Differential Signaling
  • the object detection device 1 can acquire the color information of the captured image, and the traffic signal and the taillight of the preceding vehicle can be obtained.
  • the state can be judged from the color information in addition to the brightness information.
  • the image correction unit 104 captures images from each of the imaging units 101 and 102, corrects the brightness of each image with a correction value measured in advance so as to match each other, and further corrects the distortion of the image by the lens.
  • the horizontal positions of the image of the imaging unit 101 and the image of the imaging unit 102 are corrected by a correction value measured in advance so as to match each other.
  • each correction value is performed in advance in the manufacturing process of the object detection device 1.
  • a specific subject is imaged, the brightness correction value for each pixel so that the brightness of the acquired image becomes uniform, and the lens distortion are canceled, and the image becomes horizontal.
  • Such a geometric correction value for each pixel is obtained, and each individual of the object detection device 1 is stored as a correction table in, for example, a non-volatile memory (not shown).
  • the stereo distance detection unit 105 inputs an image from the image correction unit 104 and detects the distance of the subject and the type of the object. For example, there are the following methods for detecting the distance.
  • the stereo distance detection unit 105 captures the image from the image correction unit 104 and calculates the parallax. As described above, since the imaging unit 101 and the imaging unit 102 are installed at a predetermined distance from each other to the left and right, the captured images have parallax. So-called stereo processing for calculating this parallax is performed.
  • the stereo distance detection unit 105 first corresponds to a block area of a predetermined size, for example, 8 pixels in the vertical direction and 8 pixels in the horizontal direction, which is cut out from the designated image area of the image captured by the image pickup unit 101. The region on the image of the imaging unit 102 is searched. The stereo distance detection unit 105 shifts a block region of the same size in the horizontal direction by the number of pixels designated as the search density on the image of the imaging unit 102, and evaluates the correlation value at that time.
  • a predetermined size for example, 8 pixels in the vertical direction and 8 pixels in the horizontal direction
  • the stereo distance detection unit 105 processes by setting, for example, a combination in which the search range is 128 pixels and the search density is 2 pixels, or a combination in which the search range is 32 pixels and the search density is 1 pixel. It is possible to control the processing load and accuracy of the calculation by also specifying the area. When the search density is increased, the accuracy of the distance of the object to be detected becomes coarse, but the processing load in the search range is reduced, and the accuracy of the detected distance becomes higher as the search density is decreased.
  • the difference in the positions of the matching block regions between the captured image of the imaging unit 101 and the captured image of the imaging unit 102 is the parallax represented by the number of pixels.
  • the stereo distance detection unit 105 can use this parallax to determine the distance of the object reflected in the block region in the real environment.
  • a block area is adopted as an image element for which the distance is to be obtained.
  • the position where the sum of the luminance differences of the pixels in the block region to be compared becomes small is taken as the parallax.
  • the detected distance is obtained from the lens focal length of the imaging unit 101 and the imaging unit 102, the baseline length which is the distance between the imaging unit 101 and the imaging unit 102, the parallax obtained above, and the pixel pitch of the imaging sensor.
  • the method of calculating the distance is not limited to this.
  • the image element for which the distance is to be obtained is not limited to the above-mentioned block region, and individual pixels constituting the image sensor may be adopted.
  • the stereo distance detection unit 105 As a method of detecting an object, for example, when the stereo distance detection unit 105 has distance information indicating substantially the same distance nearby, they are grouped as one set, and when the size of the group is a certain size or more. Consider the group as an object. Then, the stereo distance detection unit 105 detects, for example, a vehicle based on the size and shape of the detected group. There is a method of detecting the size and shape of an object by comparing it with pattern data held in advance as reference data. According to this processing method, since the distance from the own vehicle to the object in front can be obtained with high accuracy, it is used as information for avoiding a collision such as deceleration or stop of the own vehicle. The type of the obtained object and its distance are output to the position detection unit 106, the position estimation unit 109, the posture estimation unit 110, the posture detection unit 111, and the determination unit 112, which will be described later.
  • the position detection unit 106 detects the position of the object with respect to the own vehicle based on the result of the stereo distance detection unit 105.
  • the position detection unit 106 detects, for example, the left and right positions represented by the difference between the center of the installation position of the image pickup unit 101 and the image pickup unit 102 and the center in the lateral direction of the object.
  • the position detection unit 106 can select and detect only an object recognized as a vehicle.
  • the distance detected in the present embodiment is the distance in the vehicle center axis direction (Z direction) set along the front-rear direction of the vehicle, and the left-right position detected in the present embodiment is the distance in the vehicle width direction (X direction) of the own vehicle ( See, for example, FIG. 9).
  • the state information of the own vehicle is input to the track prediction unit 107 (first vehicle information input unit).
  • the track prediction unit 107 predicts the track of the own vehicle based on the input state information of the own vehicle. Examples of the state information of the own vehicle to be input include steering angle, yaw rate, speed, acceleration, wheel speed, position information by satellite, and vehicle travel plan.
  • the state information of another vehicle is input to the other track prediction unit 108 (second vehicle information input unit).
  • the track prediction unit 108 predicts the track of the preceding vehicle based on the input state information of the preceding vehicle.
  • Examples of the state information of the preceding vehicle to be input include steering angle, yaw rate, speed, acceleration, wheel speed, position information by satellite, and the like.
  • information is exchanged between vehicles using, for example, wirelessly as a means for inputting state information of the preceding vehicle. That is, the own vehicle performs vehicle-to-vehicle communication with the preceding vehicle and acquires the state information of the preceding vehicle.
  • the position estimation unit 109 estimates the distance and position of the preceding vehicle with respect to the own vehicle based on the track predictions of the own vehicle and the preceding vehicle obtained by the track prediction unit 107 and the track prediction unit 108. Further, the position estimation unit 109 identifies the position of the rear end surface, which is a predetermined portion of the object, and outputs the position to the posture detection unit 111, which will be described later.
  • the rear end surface of the object is, for example, the tail surface of the vehicle, and when the vehicle turns and both the tail surface and the vehicle side surface are included in the acquired image, the position estimation unit 109 removes the vehicle side surface from the tail surface.
  • the posture of the surface can be detected, and the accuracy of the posture detection can be improved.
  • the position of the rear end surface there is a method of detecting from the direction (yaw angle) of the preceding vehicle with respect to the own vehicle.
  • the position of the rear end surface can be specified by acquiring the state information including the direction information of the preceding vehicle from the preceding vehicle by vehicle-to-vehicle communication.
  • the attitude estimation unit 110 estimates the attitude of the preceding vehicle with respect to the own vehicle based on the trajectory predictions of the own vehicle and the preceding vehicle obtained by the track prediction unit 107 and the track prediction unit 108.
  • the posture is a yaw angle relative to the preceding vehicle and the own vehicle, and the angle difference ⁇ (see, for example, FIG. 9) is detected.
  • the posture detection unit 111 detects the direction of the object, for example, the yaw angle ⁇ which is the relative angle difference between the preceding vehicle and the own vehicle. This angle difference changes according to the change in the yaw angle of the preceding vehicle and the own vehicle.
  • the posture detection unit 111 detects the orientation of the object using the detection result of the stereo distance detection unit 105.
  • the posture detection unit 111 obtains the inclination of the object by linearly approximating the horizontal distance between the opposing surfaces of the object, for example.
  • the posture detection unit 111 inputs information for identifying the tail surface of the preceding vehicle by the position estimation unit 109, removes the side surface of the vehicle, and detects the posture only on the rear tail surface. The accuracy of detection can be improved. In addition, the posture detection unit 111 can select and detect only an object recognized as a vehicle.
  • the determination unit 112 includes a distance detection result from the stereo distance detection unit 105, a position detection result from the position detection unit 106, a posture detection result from the posture detection unit 111, a position estimation result from the position estimation unit 109, and a posture estimation unit.
  • the posture estimation result from 110 is received, the result is determined, and the object detection result is output to the outside of the object detection device 1.
  • the determination unit 112 changes the ratio used between the actual detection result by the position detection unit 106 and the posture detection unit 111 and the estimation result by the position estimation unit 109 and the posture estimation unit 110 according to the imaging condition of the object.
  • the usage ratio between the actual detection result and the estimation result is determined according to the range of the object shown in the captured image.
  • the determination unit 112 performs a process of calculating the range of the object shown in the captured images of the imaging units 101 and 102. Then, the weighting of the actual detection result and the estimation result is changed according to the range of the object. Specifically, the weighting of the detection values detected by the stereo distance detection unit 105, the position detection unit 106, and the attitude detection unit 111 is lowered as the range of the object shown in the captured image decreases, and the position is estimated. The weighting of the estimated values estimated by the unit 109 and the posture estimation unit 110 is increased.
  • the result output from the determination unit 112 may be completely switched from the actual detection result to the estimation result.
  • the range of the preceding vehicle shown in the captured image gradually increases and returns to the original range, and the ratio of using the actual detection result increases.
  • the percentage of using estimation results decreases.
  • the image pickup unit 101, the image pickup section 102, the image correction section 104, and the stereo distance detection section 105 are composed of electronic circuits, and other components of the object detection device 1 are not shown. It is realized by software processing by a microcomputer or the like. It is also possible to realize the stereo distance detection unit 105 by software processing.
  • FIG. 2 is a diagram showing an example of an captured image captured by the object detection device 1 according to the first embodiment of the present invention.
  • 1001 shows an image taken by the image pickup unit 101 and corrected by the image correction unit 104
  • 1002 shows an image taken by the image pickup unit 102 and corrected by the image correction unit 104.
  • 202 is a preceding vehicle which is a subject.
  • Reference numeral 203 denotes a pedestrian who is a subject.
  • 204 is a roadside tree that is the subject.
  • Reference numeral 205 denotes a traffic signal that is the subject.
  • Reference numeral 206 is a road surface which is a subject.
  • 201 and 209 are regions (common imaging regions) that are commonly captured among the captured images 1001 and 1002. As described above, there is a deviation in the commonly imaged region between the captured image 1001 and the captured image 1002. Using this amount of deviation, that is, parallax, the stereo distance detection unit 105 calculates the distance of the subject.
  • FIG. 3 is a diagram illustrating an example of the operation of the captured image captured by the object detection device 1 according to the first embodiment, the stereo distance detection unit 105, the position detection unit 106, and the posture detection unit 111, and FIG. It is a figure which shows an example of the result of detection using the pair of captured images shown in.
  • the region 201 is a region that is captured in common with the image captured by the imaging unit 102 as described above among the captured images captured by the imaging unit 101 and corrected by the image correction unit 104. is there.
  • the processing area 301 is a processing area in which the stereo distance detection unit 105 detects the distance of the subject and the type of the object.
  • the processing area 301 is the entire area 201.
  • the stereo distance detection unit 105 obtains parallax in the range of the processing area 301 by the above-mentioned block matching method, and detects an object from the parallax group.
  • the preceding vehicle 202 detected in the processing area 302 detects that the distance z from the own vehicle is 10.6 m, the position x is 2.3 m, and the posture ⁇ is 0.5 degrees. are doing.
  • the pedestrian 203 detected in the processing area 303 has a distance z of 5.2 m, the roadside tree 204 in the processing area 304 has a distance z of 35.3 m, and the traffic signal 205 in the processing area 305 has a distance z of 19.
  • the object detection device 1 it is possible to detect the distance, position, and posture of the object over the entire captured image.
  • the detected values of the distance, position, and posture of the object detected by the detection units 105, 106, and 111 are output to the determination unit 112.
  • FIG. 4 is a diagram showing a traveling locus of the vehicle.
  • the position and attitude of the vehicle are estimated by, for example, the dead reckoning method.
  • vehicle state information for estimation the amount of movement in that cycle is calculated from the above-mentioned steering angle, yaw rate, speed, acceleration, wheel speed, position information by satellite, etc., and added to the coordinates of point A. , Estimate point B.
  • the addition is repeated from point B to point C and point D to update.
  • the trajectory of the vehicle can be estimated, and further, the position and attitude of the preceding vehicle with respect to the own vehicle can be estimated by taking the difference between the tracks of the own vehicle and the preceding vehicle.
  • the error since the amount of movement includes an error, the error will accumulate as the addition is repeated.
  • FIG. 5 is a diagram showing the processing timing of the object detection device 1 according to the present embodiment.
  • FIG. 5A shows the processing timings of the image correction unit 104, the stereo distance detection unit 105, the position detection unit 106, and the posture detection unit 111.
  • FIG. 5B shows the processing timings of the trajectory prediction units 107 and 108, the position estimation unit 109, and the attitude estimation unit 110.
  • FIG. 5C shows the processing timing of the determination unit 112.
  • the image correction unit 104 and the stereo distance detection unit 105 perform the above-mentioned distance detection process to detect an object
  • the position detection unit 106 detects the position of the object
  • the posture detection unit At 111, the posture of the object is detected.
  • the track prediction units 107 and 108 estimate the trajectories of the own vehicle and the preceding vehicle
  • the position estimation unit 109 estimates the position of the preceding vehicle with respect to the own vehicle
  • the attitude estimation unit 110 estimates the attitude of the preceding vehicle with respect to the own vehicle.
  • the detection result of the object determined by the determination unit 112 is output based on the detection results obtained in FIGS. 5 (A) and 5 (B).
  • FIG. 6 is a diagram showing a processing flow of the object detection device according to the first embodiment.
  • images are taken by the imaging units 101 and 102 (step S601).
  • the image correction unit 104 performs brightness correction, lens distortion correction, and horizontal alignment on each of the images captured by the image pickup units 101 and 102 (step S602).
  • the stereo distance detection unit 105 detects an object in the processing area 301 and the distance thereof (step S603).
  • the position detection unit 106 detects the position of the object (step S604), and the posture detection unit 111 detects the posture (step S605).
  • the state information of the own vehicle is input (step 606), and the state information of the preceding vehicle is input (step 607).
  • the track prediction of the own vehicle step 608 and the track prediction of the preceding vehicle (step 609) are performed.
  • the determination unit 112 makes a determination based on the detection result of the object in each step, and outputs the determination result (step S612).
  • the object detection device 1 repeats these processes, for example, every frame.
  • the determination unit 112 changes the usage ratio between the actual detection result and the estimation result according to the imaging status of the preceding vehicle shown in the captured image.
  • the determination unit 112 calculates the range of the preceding vehicle captured in the captured image, and determines the usage ratio between the actual detected value and the estimated value of the distance, position and posture with the preceding vehicle according to the range of the preceding vehicle. decide. Then, the values of the distance, the position, and the posture calculated based on the ratio are output.
  • FIG. 7 is a diagram showing an example of a photographed image during traveling taken from a vehicle equipped with the object detection device 1 according to the present embodiment.
  • FIG. 7A is an image captured by the imaging unit 101 at a certain time t1, and the image is acquired with the preceding vehicle 202 completely within the shooting angle of view.
  • FIG. 7B is an image taken by the imaging unit 101 at time t2, which is a time after time t1, and approaches the preceding vehicle 202, the preceding vehicle 202 turns to the left, and the entire vehicle is photographed. The image is acquired in a state where it does not fit in the angle of view.
  • FIG. 7C acquires an image of the preceding vehicle 202 turning further to the left and about to deviate from the shooting angle of view, which was taken at time t3, which is a time after time t2.
  • FIG. 8 shows the detection results detected in time series from the captured images acquired during traveling shown in FIGS. 7 (A), 7 (B), and 7 (C), and the final detection to be used. It is a figure which shows the ratio of the result.
  • the times t1, t2, and t3 indicate the times when the captured image of FIG. 7 (A), the captured image of FIG. 7 (B), and the captured image of FIG. 7 (C) were captured, respectively.
  • FIG. 8A shows the position detection result
  • the solid line is the position detection result by the position detection unit 106
  • the broken line is the position estimation result by the position estimation unit 109.
  • the horizontal axis is time and the vertical axis is position.
  • the position detection unit 106 detects the left and right positions of the object from the distance detection result by the stereo distance detection unit 105
  • the preceding vehicle 202 is in a state where all of the preceding vehicle 202 is within the shooting angle of view near the time t1. Stable detection results can be obtained.
  • the estimation result by the position estimation unit 109 includes an error as described above.
  • the position detection unit 106 increases the detection error.
  • the preceding vehicle 202 is substantially out of the angle of view, making it difficult to detect the position.
  • the position estimation by the position estimation unit 109 continues, although it includes an error.
  • FIG. 8B shows the posture detection result.
  • the solid line is the posture detection result by the posture detection unit 111
  • the broken line is the estimation result by the posture estimation unit 110.
  • the horizontal axis is time and the vertical axis is posture.
  • the posture when the preceding vehicle 202 turns to the left is in the positive direction.
  • the stereo distance detection unit 105 is in a state where the preceding vehicle 202 is completely within the shooting angle of view, and a stable detection result can be obtained.
  • the estimation result by the posture estimation unit 110 includes an error as described above.
  • the attitude detection unit 111 increases the detection error.
  • the preceding vehicle 202 is substantially out of the angle of view, making it difficult to detect the attitude.
  • the attitude estimation unit 110 continuously estimates the error, although it includes an error.
  • FIG. 8C shows the distance detection result
  • the solid line is the distance detection result by the stereo distance detection unit 105
  • the broken line is the estimation result by the position estimation unit 109.
  • the horizontal axis is time and the vertical axis is distance.
  • the stereo distance detection unit 105 is in a state where the preceding vehicle 202 is completely within the shooting angle of view, and a stable detection result can be obtained.
  • the estimation result by the position estimation unit 109 includes an error as described above.
  • time t2 the preceding vehicle 202 is approaching and turning, and the preceding vehicle 202 is not all within the angle of view. Therefore, the stereo distance detection unit 105 increases the detection error.
  • the position estimation unit 109 continuously estimates the position including an error.
  • FIGS. 8D and 8E show the ratio of the detection results finally used by the determination unit 112 from the obtained detection results.
  • the horizontal axis is time and the vertical axis is percentage.
  • the ratio a shown at the lower side of the curve of FIG. 8 (D) is the ratio at which the determination unit 112 uses the detection result by the position detection unit 106, and the ratio b shown at the upper side of the curve of FIG. 8 (D) is. , The ratio at which the determination unit 112 uses the estimation result of the position estimation unit 109.
  • the total value of the ratio a and the ratio b is 1.
  • the ratio used by the determination unit 112 the detection result or the estimation result obtained with high accuracy at that time is used at a high ratio (weighting is increased).
  • the determination unit 112 is used with an emphasis on the detection result by the position detection unit 106. In the vicinity of time t2, the determination unit 112 increases the ratio of the result of the position estimation unit 109, and at time t3, the determination unit 112 uses only the estimation result of the position estimation unit 109. Further, when the position of the object is completely deviated from the shooting angle of view, the determination unit 112 adopts the estimation result by the position estimation unit 109.
  • the ratio a is 0.8 and the ratio b is 0.2.
  • the position of the actual detection result by the position detection unit 106 is x1
  • the distance of the estimation result by the position estimation unit 109 is x2
  • the ratio c shown at the lower side of the curve of FIG. 8 (E) is the ratio at which the determination unit 112 uses the detection result by the posture detection unit 111, and is the ratio shown at the upper side of the curve of FIG. 8 (E).
  • d is the ratio at which the determination unit 112 uses the estimation result of the posture estimation unit 110.
  • the total value of the ratio c and the ratio d is 1.
  • the ratio used by the determination unit 112 the detection result or the estimation result obtained with high accuracy at that time is used at a high ratio (weighting is increased).
  • the determination unit 112 is used with an emphasis on the detection result by the attitude detection unit 111. In the vicinity of time t2, the determination unit 112 increases the ratio of the estimation result by the posture estimation unit 110, and at time t3, the determination unit 112 uses only the estimation result of the posture estimation unit 110. Further, when the object is in a position completely deviated from the shooting angle of view, the determination unit 112 adopts the estimation result by the posture estimation unit 110.
  • the determination unit 112 adopts the detection results of the stereo distance detection unit 105, the position detection unit 106, and the attitude detection unit 111 as the position and attitude of the preceding vehicle. You may.
  • the determination unit 112 may adopt the estimation results of the position estimation unit 109 and the posture estimation unit 110 as the position and posture of the preceding vehicle.
  • the determination unit 112 even when the position detected by the position detection unit 106 is within a predetermined range, the distance detected by the stereo distance detection unit 105 is farther than the predetermined distance and the detection accuracy cannot be ensured. , The results of the position estimation unit 109 and the posture estimation unit 110 may be adopted.
  • the determination unit 112 is the position estimation unit.
  • the results of 109 and the posture estimation unit 110 may be adopted.
  • the track prediction unit 108 can re-enter the shooting angle of view from the state in which the preceding vehicle 202 deviates from the shooting angle of view and the distance cannot be detected by the stereo distance detection unit 105, and the distance can be detected by the stereo distance detection unit 105.
  • the starting point for orbit prediction is reset using the results of the position detection unit 106 and the attitude detection unit 111. Therefore, the errors accumulated in the position estimation unit 109 and the posture estimation unit 110 can be eliminated.
  • FIG. 9 is a diagram for explaining the positional relationship between the own vehicle and the preceding vehicle.
  • the object detection device 1 is mounted on the own vehicle 200 and detects the position of the preceding vehicle 202.
  • the own vehicle 200 performs automatic driving that follows the preceding vehicle 202 by using the position information of the preceding vehicle 202 detected by the object detection device 1.
  • the object detection device 1 detects the distance Za, the position Xa, and the posture ⁇ between the own vehicle 200 and the preceding vehicle 202.
  • the determination unit 112 uses the estimation results estimated by the position estimation unit 109 and the attitude estimation unit 110 at a high rate, and is detected by the stereo distance detection unit 105, the position detection unit 106, and the attitude detection unit 111. The ratio of using the detection result is adjusted to be low. Then, the information on the position, distance, and posture of the preceding vehicle 202 adjusted by the determination unit 112 is output to the outside and used for the control of driving the own vehicle following the preceding vehicle.
  • the object detection device 1 of the present embodiment it is possible to continuously detect the distance, position, and posture of the preceding vehicle 202 even when the preceding vehicle 202 protrudes from the shooting angle of view. That is, the position, distance, and attitude information can be continuously acquired by continuously tracking the object regardless of the angle of view position and the distance of the object. Therefore, even when the preceding vehicle 202 deviates from the shooting angle of view, the preceding vehicle 202 can be detected with high accuracy, and it is possible to prevent the tracking accuracy of the own vehicle 200 from deteriorating.
  • FIG. 10 is a diagram showing a configuration of an object detection device according to the second embodiment. What is characteristic of this embodiment is that the object detection device 1 of the first embodiment is additionally provided with a vehicle control unit that performs automatic driving control that automatically follows the preceding vehicle and travels. This is an example.
  • the configuration having the same function as that of FIG. 1 is designated by the same reference numerals as those of FIG. 1, and detailed description thereof will be omitted.
  • the object detection device 1 is mounted on a vehicle such as an automobile, and in the figure, 901 is a vehicle control unit.
  • the output of the determination unit 112 is input to the vehicle control unit 901.
  • the vehicle equipped with the object detection device 1 (the following vehicle that follows the preceding vehicle) is arranged behind the preceding vehicle and follows the preceding vehicle. At that time, the object detection device 1 detects the distance, position, and posture of the preceding vehicle as shown above.
  • the vehicle control unit 901 receives the detection result by the determination unit 112, and based on this detection result, controls other devices (not shown) of the vehicle.
  • the control target of the vehicle is a steering angle, a brake, a steering device, and the like, and based on the detected result, the vehicle is controlled so as to follow the preceding vehicle.
  • These vehicle control information is output from the object detection device 1 to another device (not shown) via an in-vehicle network such as CAN (Control Area Network).
  • the preceding vehicle may not fit in the shooting angle of view, or the preceding vehicle may turn and deviate from the shooting angle of view. According to this, as described above, the distance, position, and attitude of the preceding vehicle can be continuously detected, and it becomes possible to safely follow the preceding vehicle.
  • FIG. 10 shows an example in which the vehicle control unit 901 is housed in the same housing as the object detection device 1, but the present invention is not limited to this, and the vehicle control unit 901 is placed in a separate housing and the detection result is transmitted via the in-vehicle network.
  • the imaging unit 101 and the imaging unit 102 may be provided as separate housings.
  • FIG. 11 is a diagram showing a configuration of an object detection device according to a third embodiment of the present invention.
  • the configuration having the same function as that of FIG. 1 is designated by the same reference numerals as those of FIG. 1, and detailed description thereof will be omitted.
  • the present embodiment is characterized in that the detection of an object is performed by a sensor other than the imaging unit 101 and the imaging unit 102, which can obtain distance and position information.
  • the input information is information obtained from a sensor (not shown) such as a radar or an infrared sensor, and the distance and position of an object in the target range can be obtained.
  • the determination unit 112 determines the usage ratio between the detection results of the position detection unit 106 and the attitude detection unit 111 and the estimation results of the position estimation unit 109 and the attitude estimation unit 110 according to the range of the preceding vehicle in the detection area of the sensor. change. Subsequent operations are as described above.
  • FIG. 12 is a diagram showing a configuration of an object detection device according to a fourth embodiment.
  • the configuration having the same function as that of FIG. 1 is designated by the same reference numerals as those of FIG. 1, and detailed description thereof will be omitted.
  • What is characteristic of this embodiment is that the imaging unit 1201 and the control unit 1204 are separately provided and connected to each other by a network so as to be able to communicate with each other.
  • 1201 is a network imaging unit.
  • 1203 is a LAN (Local Area Network).
  • 1204 is a control unit.
  • the network imaging unit 1201 is attached to, for example, the windshield of a vehicle.
  • the control unit 1204 is housed in a housing separate from the network imaging unit 1201 and is arranged in a place where a space in the vehicle can be secured.
  • an in-vehicle network such as CAN may be used.
  • the network imaging unit 1201 is connected to the control unit 1204 via LAN 1203.
  • 1202 is an image compression / interface unit.
  • 1205 is a network interface unit.
  • Reference numeral 1206 is an image stretching portion.
  • the images captured by the imaging unit 101 and the imaging unit 102 are subjected to luminance correction, lens distortion correction, and horizontal alignment in the image correction unit 104.
  • the image compression / interface unit 1202 compresses the image from the image correction unit 104 and transmits it to the control unit 1204 via the LAN 1203.
  • an image compression method in order to reduce the processing time, there is a method using an in-screen compression method that compresses within one image without using the temporal correlation of a plurality of images. Further, the video compression coding method may be selected and switched.
  • the image compression / interface unit 1202 generates compressed coded data and transmits the data according to a predetermined network protocol.
  • the image correction unit 104 may be provided after the image expansion unit 1206 of the control unit 1204, but the lens distortion and the like are corrected by processing in the front stage of the image compression / interface unit 1202 of the network imaging unit 1201. By compressing the image later, it is expected that the efficiency and image quality of the image compression will be improved.
  • the network interface unit 1205 receives the compressed image data via the LAN 1203.
  • the compressed image data received by the network interface unit 1205 of the control unit 1204 is expanded to the original image by the image expansion unit 1206, and the distance is detected by the stereo distance detection unit 105.
  • the subsequent processing is as described above.
  • the processing amount on the imaging unit side can be reduced, the weight on the imaging unit side is reduced, the power consumption is reduced, and the housing is reduced. It is possible to reduce the dimensional restrictions on vehicle installation. If the transmission bandwidth of the network can be sufficiently secured, it is possible to transmit the image without compressing and decompressing it.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • each of the above configurations may be configured so that a part or all of them may be configured by hardware or may be realized by executing a program on a processor.
  • control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all the control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.
  • Object detection device 101-102 ... Imaging unit, 104 ... Image correction unit, 105 ... Stereo distance detection unit, 106 ... Position detection unit, 107-108 ... Track prediction unit (first vehicle information input unit, second Vehicle information input unit), 109 ... position estimation unit, 110 ... attitude estimation unit, 111 ... attitude detection unit, 112 ... judgment unit, 201,209 ... common imaging area, 202-205 ... subject, 301-305 ... processing area , 901 ... Vehicle control unit, 1201 ... Network imaging unit, 1202 ... Image compression / interface unit, 1203 ... LAN, 1204 ... Control unit, 1205 ... Network interface unit, 1206 ... Image expansion unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本発明の課題は、物体の画角位置および距離に関わらず、物体を精度良く検出できる物体検出装置等を提供することである。本発明の物体検出装置は、物体の距離を検出するステレオ距離検出部１０５と、物体の位置を検出する位置検出部１０６と、物体の姿勢を検出する姿勢検出部１１１と、自車両と他車両の状態情報を入力する車両情報入力部と、自車両と他車両の状態情報に基づいて、他車両の位置を推定する位置推定部１０９と、自車両と他車両の状態情報に基づいて、他車両の姿勢を推定する姿勢推定部１１０と、距離検出部、位置検出部、姿勢検出部、位置推定部、および姿勢推定部でそれぞれ検出または推定される情報に応じて、他車両の距離、位置、および姿勢を判定する判定部１１２とを有する。

Description

物体検出装置、走行制御システム、および走行制御方法
　本発明は、例えば自車両から先行車両などの物体を検出する物体検出装置に関する。
　本技術分野の背景技術として、例えば特許文献１には、自車両の前方を走行する先行車両の走行軌跡を予測する手法が提案されている。
　具体的には、特許文献１では、撮像装置で撮像した画像を解析して先行車両の向きや速度を検出して、走行軌跡の予測を行うことが述べられている。
特開２０１８－９７６４４号公報
　特許文献１に記載の技術は、撮像装置で撮像した画像を解析して先行車両の向きや速度を検出し、走行軌跡の予測を行うので、物体が撮影画角から外れるような場合には追跡精度が低下してしまうおそれがある。
　本発明はこのような課題を解決するためになされたものであり、物体の画角位置および距離に関わらず、物体を精度良く検出できる物体検出装置等を提供することを主たる目的とする。
　上記課題を解決する本発明の物体検出装置は、物体の距離を検出する距離検出部と、前記距離検出部で検出された距離に基づいて、前記物体の位置を検出する位置検出部と、前記距離検出部で検出された距離に基づいて、前記物体の姿勢を検出する姿勢検出部と、自車両の状態情報を入力する第１の車両情報入力部と、他車両の状態情報を入力する第２の車両情報入力部と、前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の位置を推定する位置推定部と、前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の姿勢を推定する姿勢推定部と、前記距離検出部、前記位置検出部、前記姿勢検出部、前記位置推定部、および前記姿勢推定部でそれぞれ検出または推定される情報に応じて、前記他車両の距離、位置、および姿勢を判定する判定部とを有する。
　本発明によれば、物体の画角位置および距離に関わらず、物体を精度良く検出できる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成および効果は、以下の実施形態の説明により明らかにされる。
第１実施形態に係る物体検出装置の構成を示す図。 左右の撮像部で同時に撮像した一対の撮像画像の一例を示す図。 図２に示す一対の撮像画像を用いて検出した結果の一例を示す図。 車両の走行軌跡の一例を示す図。 第１実施形態に係る物体検出装置の処理タイミングを示す図。 第１実施形態に係る物体検出装置の処理フローを示す図。 走行中の撮影画像の一例を示す図。 第１実施形態に係る物体検出装置による検出結果と推定結果の一例を示す図。 自車両と先行車両との位置関係の一例を説明する図。 第２実施形態に係る物体検出装置の構成を示す図。 第３実施形態に係る物体検出装置の構成を示す図。 第４実施形態に係る物体検出装置の構成を示す図。
　以下、本発明の実施形態について、図面を参照して説明する。以下の実施形態では、位置を検出する物体の例として先行車両を挙げ、先行車両の位置を検出するが、本発明はこれに限られるものではなく、如何なる物体の位置を検出するものであってもよい。
＜第１実施形態＞
　図１は、本発明の第１実施形態に係る物体検出装置の構成を示す図である。１は本実施形態の物体検出装置である。物体検出装置１は、例えば自車両の前方に搭載され、他車両である先行車両などの物体を認識し、例えば先行車両に追従して走行する走行制御を支援する走行制御システムの一部を構成する装置である。
　物体検出装置１は、例えば車載ステレオカメラの筐体内に収められている。物体検出装置１は、左右一対の撮像部１０１、１０２（第１撮像部、第２撮像部）と、画像補正部１０４と、ステレオ距離検出部１０５と、位置検出部１０６と、軌道予測部１０７、１０８と、位置推定部１０９と、姿勢推定部１１０と、姿勢検出部１１１と、判定部１１２を有する。
　撮像部１０１および１０２は、画像センサに光学レンズが装着されている。これらの撮像部１０１および１０２は、所定のタイミングで１枚の画像の撮像を繰り返し、撮像した画像を出力する。撮像部１０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部１０１で撮影した画像と撮像部１０２で撮影した画像のずれ、いわゆる視差から、物体検出装置１は被写体までの距離を算出することができる。
　なお、図１では物体検出装置１の構成要素が同一の筐体に収められる例を示したが、例えば撮像部１０１および１０２を、他の構成要素とは別の筐体にまとめて収めてもよいし（図１に破線枠１１で囲んで示す）、撮像部１０１および１０２をそれぞれ別の筐体に収めて車両に取り付けてもよい。その場合、画像信号の伝送は、図示しない接続ケーブルで各構成を接続して伝送すればよい。接続ケーブルを用いて画像を伝送する方法としては、ＬＶＤＳ（Ｌｏｗ　Ｖｏｌｔａｇｅ　Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｓｉｇｎａｌｉｎｇ）方式の差動伝送路を用いた伝送方法などがある。
　また、撮像部１０１および１０２の画像センサを、カラー画像センサとすることで、物体検出装置１は、撮像した画像の色情報を取得することが可能になり、交通信号や先行車両の後尾灯の状態を、輝度情報に加えて色情報からも判断できるようになる。
　画像補正部１０４は、撮像部１０１および１０２それぞれからの画像を取り込み、それぞれの画像の輝度を互いに一致させるように予め計測されている補正値で補正し、さらにレンズによる画像の歪の補正と、撮像部１０１の画像と撮像部１０２の画像との水平位置を互いに一致させるように予め計測されている補正値で補正する。
　各補正値の計測は、物体検出装置１の製造工程で予め行われる。補正値適用前の物体検出装置１の個体毎に、特定の被写体を撮像し、取得した画像の輝度が均一になるような画素毎の輝度補正値、およびレンズ歪を打ち消し、画像が水平になるような画素毎の幾何補正値を求め、それぞれ補正テーブルとして、物体検出装置１の個体毎に、例えば図示しない不揮発性メモリに保存しておく。
　ステレオ距離検出部１０５は、画像補正部１０４からの画像を入力して被写体の距離および物体の種別を検出する。距離を検出する方法として例えば次のような方法がある。ステレオ距離検出部１０５は、画像補正部１０４からの画像を取り込み、視差の算出を行う。前述のように、撮像部１０１と撮像部１０２は所定の距離で左右に離れて設置されているので、撮像した画像は視差を持つ。この視差を算出するいわゆるステレオ処理を行う。
　視差の算出手法としては、例えば、ブロックマッチング方式がある。具体的には、ステレオ距離検出部１０５は、まず撮像部１０１で撮影した画像の指定された画像領域上から小さく切出した所定のサイズ、例えば縦８画素、横８画素のブロック領域に対応する、撮像部１０２の画像上の領域を探索する。ステレオ距離検出部１０５は、撮像部１０２の画像上で、同じサイズのブロック領域を水平方向に、探索密度として指定された画素数ずつずらしていき、その際の相関値を評価する。その際、ステレオ距離検出部１０５は、例えば探索範囲を１２８画素とし、探索密度を２画素とする組み合わせや、探索範囲を３２画素とし、探索密度を１画素とする組み合わせを設定することで、処理領域の指定も合わせて計算の処理負荷と精度を制御することが可能になる。探索密度を大きくすると、検出する対象物の距離の精度は粗くなるが探索範囲での処理負荷が軽減し、探索密度を小さくするほど検出する距離の精度は高くなる。
　そして、撮像部１０１の撮像画像と撮像部１０２の撮像画像とにおける一致したブロック領域の位置の差が、画素数で表される視差となる。ステレオ距離検出部１０５は、この視差を用いてブロック領域に映っている対象物の実環境での距離を求めることができる。なお、この例は、距離を求める対象となる画像要素として、ブロック領域を採用したものである。相関値の評価のための一致比較の手法としては、例えば、比較するブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。
　検出される距離は、撮像部１０１および、撮像部１０２のレンズ焦点距離、撮像部１０１と撮像部１０２との距離である基線長、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、本発明において、距離の算出方法はこれに限定するものではない。また、距離を求める対象となる画像要素として、上述のブロック領域に限られず、撮像センサを構成する個々の画素を採用してもよい。
　物体を検出する方法は、例えば、ステレオ距離検出部１０５は、ほぼ同一の距離を示す距離情報が近くに存在する場合、それらを一つの集合としてグループ化し、そのグループの大きさが一定以上のときにそのグループを物体とみなす。そしてステレオ距離検出部１０５は、検出したグループの大きさと形状に基づき、例えば車両であることを検出する。物体の大きさや形状は、参照データとして予め保持しているパターンデータとの比較から検出する方法がある。この処理方式によれば、自車両から前方の物体までの距離が精度よく得られるので、自車両の減速や停止などの衝突回避のための情報として用いられる。得られた物体の種類とその距離は、後述する位置検出部１０６、位置推定部１０９、姿勢推定部１１０、姿勢検出部１１１、判定部１１２に出力される。
　位置検出部１０６は、ステレオ距離検出部１０５の結果に基づいて、自車両に対する物体の位置を検出する。位置検出部１０６は、例えば、撮像部１０１と撮像部１０２の設置位置の中心と、物体の横方向の中心との差で表す左右位置を検出する。位置検出部１０６は、車両と認識された物体のみを選択して検出することが可能である。
　例えば、撮像部１０１、１０２が自車両の車幅方向（左右）に離れて配置されて自車両のフロントガラス越しに前方を撮像する位置に取り付けられている場合、本実施形態において検出される距離は、車両の前後方向に沿って設定された車両中心軸方向（Ｚ方向）の距離となり、本実施形態において検出される左右位置は、自車両の車幅方向（Ｘ方向）の距離となる（例えば図９を参照）。
　軌道予測部１０７には、自車両の状態情報が入力される（第１の車両情報入力部）。軌道予測部１０７は、入力した自車両の状態情報に基づいて、自車両の軌道を予測する。入力する自車両の状態情報としては、操舵角、ヨーレート、速度、加速度、車輪速度、衛星による位置情報、車両の走行計画などがあげられる。
　もう一つの軌道予測部１０８には、他車両の状態情報が入力される（第２の車両情報入力部）。軌道予測部１０８は、入力した先行車両の状態情報に基づいて、先行車両の軌道を予測する。入力する先行車両の状態情報としては、同じく操舵角、ヨーレート、速度、加速度、車輪速度、衛星による位置情報などがあげられる。先行車両の状態情報の入力手段としては、図示しないが、例えば無線を用いて車両間で情報をやり取りする。つまり、自車両は、先行車両との間で車車間通信を行い、先行車両の状態情報を取得する。
　位置推定部１０９は、軌道予測部１０７および軌道予測部１０８により得られた自車両と先行車両の軌道予測に基づいて、自車両に対する先行車両の距離と位置を推定する。さらに、位置推定部１０９は、その物体の所定の部位である後端面の位置を特定して、後述の姿勢検出部１１１に出力する。物体の後端面は、例えば、車両の後尾面であり、車両が旋回して後尾面と車両側面の両方が取得画像に含まれている場合に、位置推定部１０９は、車両側面を除いた後尾面の姿勢を検出可能であり、姿勢検出の精度を向上させることができる。後端面の位置の特定方法としては、自車両に対する先行車両の向き（ヨー角）から検出する方法などがある。例えば、先行車両から先行車両の向きの情報を含む状態情報を車車間通信により取得することにより後端面の位置を特定することができる。
　姿勢推定部１１０は、軌道予測部１０７および軌道予測部１０８により得られた自車両と先行車両の軌道予測に基づいて、自車両に対する先行車両の姿勢を推定する。姿勢とは、先行車両と自車との相対的なヨー角であり、その角度差θ（例えば図９を参照）を検出する。
　姿勢検出部１１１は、物体の向き、例えば先行車両と自車との相対的な角度差であるヨー角θを検出する。この角度差は、先行車両および自車のヨー角の変化に応じて変化する。姿勢検出部１１１は、ステレオ距離検出部１０５の検出結果を用いて物体の向きを検出する。姿勢検出部１１１は、例えば、その物体の相対する面の水平方向の距離を直線近似してその傾きを求める。
　例えば、物体（先行車）の後尾面の水平方向（横方向）の座標Ｘに対する距離Ｚ（奥行）を（Ｘ，Ｚ）と表す場合に、測定結果として、（Ｘ１，Ｚ１）、（Ｘ２，Ｚ２）、…、（Ｘ５，Ｚ５）が得られたとする。姿勢検出部１１１は、例えば、最小二乗法等により回帰直線（Ｚ＝ａ１×Ｘ＋ａ２；ａ１，ａ２：定数）を求め、その傾きａ１からθ（＝ａｒｃｔａｎ（ａ１））を算出する。
　姿勢検出部１１１は、検出の際には、位置推定部１０９により先行車両の後尾面を特定する情報を入力され、車両側面を除去して後尾面に限定して姿勢を検出することで、姿勢検出の精度を向上させることができる。また、姿勢検出部１１１は、車両と認識された物体のみを選択して検出することが可能である。
　判定部１１２は、ステレオ距離検出部１０５からの距離検出結果、位置検出部１０６からの位置検出結果、姿勢検出部１１１からの姿勢検出結果、位置推定部１０９からの位置推定結果、および姿勢推定部１１０からの姿勢推定結果を受け取り、結果を判定して、物体の検出結果を物体検出装置１の外部へ出力する。
　判定部１１２は、物体の撮像状況に応じて位置検出部１０６および姿勢検出部１１１による実際の検出結果と、位置推定部１０９および姿勢推定部１１０による推定結果との使用する割合を変更する。実際の検出結果と推定結果との使用割合は、撮像画像に映っている物体の範囲に応じて決定される。
　判定部１１２では、撮像部１０１、１０２の撮像画像に映っている物体の範囲を算出する処理が行われる。そして、物体の範囲に応じて実際の検出結果と推定結果の重み付けを変更する。具体的には、撮像画像に映っている物体の範囲が減少するのに応じてステレオ距離検出部１０５と位置検出部１０６と姿勢検出部１１１により検出された検出値の重み付けを低くし、位置推定部１０９と姿勢推定部１１０により推定された推定値の重み付けを高くする。
　これにより、例えば撮像画像に先行車両の全体が映っている場合には実際の検出結果のみが判定部１１２から出力される。そして、先行車両が交差点を曲がること等によって撮像画像に映っている先行車両の範囲が減少した場合に、実際の検出結果を使用する割合が低くなり、それに伴い推定結果を使用する割合が高くなる。そして、画角範囲から先行車両が所定値以上はみ出した場合に、判定部１１２から出力する結果を、実際の検出結果から推定結果に完全に切り替えてもよい。そして、自車両も追従して交差点を曲がることにより、撮像画像に映っている先行車両の範囲が徐々に増加して元に戻るのに応じて実際の検出結果を使用する割合が高くなり、それに伴い推定結果を使用する割合が低くなる。
　なお、物体検出装置１は、例えば、撮像部１０１、撮像部１０２、画像補正部１０４、およびステレオ距離検出部１０５は、電子回路で構成され、物体検出装置１のそれ以外の構成要素は図示しないマイコンなどによるソフトウェア処理で実現される。ステレオ距離検出部１０５をソフトウェア処理で実現することも可能である。
　図２は、本発明の実施例１に係る物体検出装置１で撮像される撮像画像の一例を示す図である。同図中、１００１は、撮像部１０１で撮像され、画像補正部１０４で補正された撮像画像を示し、１００２は、撮像部１０２で撮像され、画像補正部１０４で補正された撮像画像を示す。２０２は、被写体である先行車両である。２０３は、被写体である歩行者である。２０４は、被写体である街路樹である。２０５は、被写体である交通信号である。２０６は、被写体である路面である。
　また、同図中、２０１、２０９は、撮像画像１００１および撮像画像１００２のうち共通して撮像されている領域（共通撮像領域）である。前述のように撮像画像１００１と撮像画像１００２の間には、共通して撮像されている領域のずれがある。このずれ量、すなわち視差を用いて、ステレオ距離検出部１０５において被写体の距離が算出される。
　図３は、第１実施形態に係る物体検出装置１で撮像される撮像画像とステレオ距離検出部１０５、位置検出部１０６、および姿勢検出部１１１の動作の一例を説明する図であり、図２に示す一対の撮像画像を用いて検出した結果の一例を示す図である。同図中、領域２０１は、撮像部１０１で撮像され、画像補正部１０４で補正された撮像画像のうち、前述のように撮像部１０２で撮像された画像と共通して撮像されている領域である。
　３０１は、ステレオ距離検出部１０５が被写体の距離および物体の種別を検出する処理領域である。本実施例では、処理領域３０１は、領域２０１全体となっている。ステレオ距離検出部１０５は、処理領域３０１の範囲において前述のブロックマッチング方式により視差を求め、その視差のグループから物体を検出する。
　３０２、３０３、３０４、および３０５は、物体の検出結果を破線枠で囲んで示した処理領域である。画像内の枠と数値表示は、撮像した画像にはなく、画像上に重ねて明示的に示したものである。本実施形態では、処理領域３０２内において検出された先行車両２０２は、自車両との距離ｚが１０．６ｍ、位置ｘが２．３ｍ、姿勢θが０．５度の位置にあることを検出している。そして、処理領域３０３において検出された歩行者２０３は、距離ｚが５．２ｍ、処理領域３０４の街路樹２０４は、距離ｚが３５．３ｍ、処理領域３０５の交通信号２０５は、距離ｚが１９．７ｍの位置にあることを検出している。このように、物体検出装置１によれば、撮影した画像全体に亘って物体の距離、位置、姿勢検出を実現できる。各検出部１０５、１０６、１１１によって検出された物体の距離、位置、姿勢の検出値は、判定部１１２に出力される。
　図４は、車両の走行軌跡を示す図である。前述の軌道予測部１０７、１０８、および位置推定部１０９、姿勢推定部１１０の処理では、例えばデッドレコニング法により車両の位置と姿勢を推定する。まず、Ａ地点を起点とし、ある周期で次のＢ地点における車両の位置と姿勢を、Ａ地点からの車両の移動距離と車両の進行方向から推定する。推定のための車両の状態情報として、前述した操舵角、ヨーレート、速度、加速度、車輪速度、衛星による位置情報などから、その周期での移動量を算出し、Ａ地点の座標に加算することにより、Ｂ地点を推定する。さらにＢ地点からＣ地点、Ｄ地点と加算を重ねて更新していく。これにより、車両の軌道が推定でき、さらに、自車両と先行車両の軌道の差分を取ることで、自車両に対する先行車両の位置と姿勢を推定することが可能になる。本方式では、移動量に誤差を含むため、加算を重ねていくと、誤差が累積していくことになる。
　また、自車両と先行車両の移動量の差分を取り、それを加算していくことで自車両に対する先行車両の位置と姿勢を推定する方法もある。さらに、他の手法としては、車両にて決定された走行計画を入力することで、軌道の予測をすることなく、位置と姿勢を推定することも可能である。
　図５は、本実施形態に係る物体検出装置１の処理タイミングを示す図である。図５（Ａ）は、画像補正部１０４、ステレオ距離検出部１０５、位置検出部１０６、および姿勢検出部１１１の処理タイミングを示す。図５（Ｂ）は、軌道予測部１０７および１０８、位置推定部１０９、および姿勢推定部１１０の処理タイミングを示す。図５（Ｃ）は、判定部１１２の処理タイミングを示す。
　図５（Ａ）では、画像補正部１０４とステレオ距離検出部１０５による、前述の距離検出処理が行われ、物体を検出し、位置検出部１０６においてその物体の位置を検出し、また姿勢検出部１１１において物体の姿勢を検出する。
　また、図５（Ｂ）では、軌道予測部１０７および１０８で自車両および先行車両の軌道を推定し、位置推定部１０９において自車両に対する先行車両の位置の推定が行われ、姿勢推定部１１０において自車両に対する先行車両の姿勢の推定が行われる。
　図５（Ｃ）では、図５（Ａ）および図５（Ｂ）で得られた検出結果をもとに判定部１１２で判定した物体の検出結果を出力する。
　本実施例では、位置検出、姿勢検出、および位置推定、姿勢推定の処理の周期を同一とし、１フレームにおいて全ての処理がそれぞれ１回ずつ行われる場合について説明したが、異なっていてもよく、各判定の周期においてそれぞれの最新の結果を用いればよい。
　図６は、第１実施形態に係る物体検出装置の処理フローを示す図である。まず、撮像部１０１および１０２により画像を撮影する（ステップＳ６０１）。撮像部１０１、１０２で撮影したそれぞれの画像は、前述した通り、画像補正部１０４により輝度補正、レンズ歪補正や水平位置合わせが行われる（ステップＳ６０２）。次に、ステレオ距離検出部１０５により、処理領域３０１内の物体の検出とその距離が検出される（ステップＳ６０３）。さらに、位置検出部１０６により物体の位置の検出（ステップＳ６０４）と、姿勢検出部１１１において姿勢検出（ステップＳ６０５）が行われる。
　一方、自車両の状態情報を入力（ステップ６０６）するとともに、先行車両の状態情報を入力（ステップ６０７）する。それぞれの入力した情報を基に、自車両の軌道予測（ステップ６０８）、先行車両の軌道予測（ステップ６０９）が行われる。さらに、自車両および先行車両の軌道予測を基に、位置推定（ステップ６１０）および姿勢推定（ステップ６１１）が行われる。
　最後に判定部１１２により、各ステップでの物体の検出結果に基づいて判定を行い、判定結果を出力する（ステップＳ６１２）。物体検出装置１は、これらの処理を例えば１フレーム毎に繰り返し行う。判定部１１２では、実際の検出結果と推定結果との使用割合を、撮像画像に映っている先行車両の撮像状況に応じて変更する。判定部１１２は、撮像画像に撮像されている先行車両の範囲を算出し、先行車両の範囲に応じて、先行車両との距離、位置および姿勢の実際の検出値と推定値との使用割合を決定する。そして、その割合に基づいて算出した距離、位置および姿勢の値を出力する。
　図７は、本実施形態に係る物体検出装置１を搭載した車両から撮像した走行中の撮影画像の一例を示す図である。図７（Ａ）は、ある時刻ｔ１に、撮像部１０１により撮像された画像であり、先行車両２０２が撮影画角に対し全て収まった状態で画像を取得している。図７（Ｂ）は、時刻ｔ１よりも後の時刻である時刻ｔ２に、撮像部１０１により撮影された画像であり、先行車両２０２と接近し、先行車両２０２が左旋回して、車両全体が撮影画角に収まらない状態の画像を取得している。さらに図７（Ｃ）は、時刻ｔ２よりも後の時刻である時刻ｔ３に撮像した、先行車両２０２がさらに左旋回し、撮影画角から外れようとしている状態の画像を取得している。
　図８は、図７（Ａ）、図７（Ｂ）および図７（Ｃ）に示した、走行中に取得した撮影画像から、時系列に検出した検出結果と、判定した最終的に用いる検出結果の割合を示す図である。時間ｔ１、ｔ２、およびｔ３は、それぞれ図７（Ａ）の撮影画像、図７（Ｂ）の撮影画像、および図７（Ｃ）の撮影画像を撮影した時刻を示す。
　図８（Ａ）は、位置の検出結果を示したものであり、実線は位置検出部１０６による位置検出結果であり、破線は位置推定部１０９による位置推定結果である。図８（Ａ）において、横軸は時間であり、縦軸は位置である。前述のように位置検出部１０６は、ステレオ距離検出部１０５による距離検出結果から物体の左右位置を検出しているので、時刻ｔ１付近は、先行車両２０２が撮影画角に全て収まった状態であり安定した検出結果が得られる。一方、位置推定部１０９による推定結果は、前述のように誤差を含んでいる。時刻ｔ２付近は、先行車両２０２が接近し旋回している状態であり、先行車両２０２は画角に全て収まらない状態となっているので、位置検出部１０６では検出誤差が増加する。時刻ｔ３付近は、先行車両２０２が画角からほぼ外れるため、位置の検出が困難になる。一方、位置推定部１０９による位置推定は、誤差を含むものの継続している。
　図８（Ｂ）は、姿勢の検出結果を示したものであり。実線は姿勢検出部１１１による姿勢検出結果であり、破線は姿勢推定部１１０による推定結果である。図８（Ｂ）において、横軸は時間であり、縦軸は姿勢である。本実施例では、先行車両２０２が左旋回する場合の姿勢をプラス方向としている。時刻ｔ１付近は、ステレオ距離検出部１０５では、先行車両２０２が撮影画角に全て収まった状態であり安定した検出結果が得られる。一方、姿勢推定部１１０による推定結果は、前述のように誤差を含んでいる。時刻ｔ２付近は、先行車両２０２が接近し旋回している状態であり、先行車両２０２は画角に全て収まらない状態となっているので、姿勢検出部１１１では検出誤差が増加する。時刻ｔ３付近は、先行車両２０２が画角からほぼ外れるため、姿勢の検出が困難になる。一方、姿勢推定部１１０では、誤差を含むものの継続して推定している。
　図８（Ｃ）は、距離の検出結果を示したものであり、実線はステレオ距離検出部１０５による距離検出結果であり、破線は位置推定部１０９による推定結果である。図８（Ｃ）において、横軸は時間であり、縦軸は距離である。時刻ｔ１付近は、ステレオ距離検出部１０５では、先行車両２０２が撮影画角に全て収まった状態であり安定した検出結果が得られる。一方、位置推定部１０９による推定結果は、前述のように誤差を含んでいる。時刻ｔ２付近は、先行車両２０２が接近し旋回している状態であり、先行車両２０２は画角に全て収まらない状態となっているので、ステレオ距離検出部１０５では検出誤差が増加する。時刻ｔ３付近は、先行車両２０２が画角からほぼ外れるため、距離の検出が困難になる。一方、位置推定部１０９では、誤差を含むものの継続して推定している。
　図８（Ｄ）および図８（Ｅ）は、得られた検出結果から、判定部１１２が最終的に用いる検出結果の割合を示すものである。図８（Ｄ）および図８（Ｅ）において、横軸は時間であり、縦軸は割合である。
　図８（Ｄ）の曲線の下側で示される割合ａは、判定部１１２が位置検出部１０６による検出結果を使用する割合であり、図８（Ｄ）の曲線の上側で示される割合ｂは、判定部１１２が位置推定部１０９の推定結果を使用する割合である。割合ａと割合ｂの合計値は１となる。判定部１１２が使用する割合は、その時点での精度よく得られている検出結果または推定結果を高い割合で使用する（重みづけを重くする）。
　時刻ｔ１付近では、判定部１１２は位置検出部１０６による検出結果に重きをおいて使用する。時刻ｔ２付近では、判定部１１２は位置推定部１０９の結果の割合を増やし、時刻ｔ３では判定部１１２は位置推定部１０９の推定結果のみを使用する。さらに、物体の位置が撮影画角から完全に外れる位置にある場合には、判定部１１２は位置推定部１０９による推定結果を採用する。
　例えば、時刻ｔ２付近では、割合ａは０．８であり、割合ｂは０．２である。ここで、位置検出部１０６による実際の検出結果の位置をｘ１とし、位置推定部１０９による推定結果の距離をｘ２とし、判定部１１２が出力する距離をｘとすると、時刻ｔ２付近では、例えば、ｘ＝０．８×ｘ１＋０．２×ｘ２で表される。
　また、図８（Ｅ）の曲線の下側で示される割合ｃは、判定部１１２が姿勢検出部１１１による検出結果を使用する割合であり、図８（Ｅ）の曲線の上側で示される割合ｄは、判定部１１２が姿勢推定部１１０の推定結果を使用する割合である。割合ｃと割合ｄの合計値は１となる。判定部１１２が使用する割合は、その時点での精度よく得られている検出結果または推定結果を高い割合で使用する（重みづけを重くする）。
　時刻ｔ１付近では、判定部１１２は姿勢検出部１１１による検出結果に重きをおいて使用する。時刻ｔ２付近では、判定部１１２は姿勢推定部１１０による推定結果の割合を増やし、時刻ｔ３では判定部１１２は姿勢推定部１１０の推定結果のみを使用する。さらに、物体が撮影画角から完全に外れる位置にある場合には、判定部１１２は姿勢推定部１１０による推定結果を採用する。
　判定部１１２は、位置検出部１０６により検出された位置が所定の範囲内の場合、ステレオ距離検出部１０５と位置検出部１０６と姿勢検出部１１１の検出結果を先行車両の位置および姿勢として採用してもよい。判定部１１２は、位置検出部１０６により検出された位置が所定の範囲外の場合、位置推定部１０９と姿勢推定部１１０の推定結果を先行車両の位置および姿勢として採用しても良い。
　また、判定部１１２は、位置検出部１０６により検出された位置が所定の範囲内の場合であっても、ステレオ距離検出部１０５により検出された距離が所定の距離より遠く検出精度が確保できない場合、位置推定部１０９と姿勢推定部１１０の結果を採用するようにしてもよい。
　また、判定部１１２は、ステレオ距離検出部１０５により検出された距離が所定の距離より近いが、位置検出部１０６により検出された位置が所定の範囲外で検出精度が確保できない場合、位置推定部１０９と姿勢推定部１１０の結果を採用するようにしてもよい。
　さらに、軌道予測部１０８は、先行車両２０２が撮影画角から一旦外れてステレオ距離検出部１０５による距離検出ができない状態から、再び撮影画角に入り込み、ステレオ距離検出部１０５による距離検出が可能になった際に、軌道予測のための起点を、位置検出部１０６、および姿勢検出部１１１の結果を用いて再設定する。したがって、位置推定部１０９および姿勢推定部１１０において累積されていた誤差を解消することができる。
　図９は、自車両と先行車両との位置関係を説明する図である。
　物体検出装置１は、自車両２００に搭載されており、先行車両２０２の位置の検出を行っている。自車両２００は、物体検出装置１により検出された先行車両２０２の位置の情報を用いて先行車両２０２に追従して走行する自動運転を行っている。物体検出装置１では、自車両２００と先行車両２０２との距離Ｚａ、位置Ｘａ、姿勢θが検出される。
　図９に示すように、例えば先行車両２０２が交差点を左折する場合に、自車両２００において撮像される撮像画像では、先行車両２０２のほとんどの部分が撮像画像の画角範囲からはみ出す（図７（Ｃ）を参照）。かかる場合に、判定部１１２では、位置推定部１０９および姿勢推定部１１０により推定された推定結果を用いる割合が高くなり、ステレオ距離検出部１０５、位置検出部１０６および姿勢検出部１１１により検出された検出結果を用いる割合が低くなるように調整される。そして、判定部１１２において調整された先行車両２０２の位置、距離、姿勢の情報は、外部に出力され、自車両を先行車両に追従して走行させる制御に用いられる。
　本実施形態の物体検出装置１によれば、先行車両２０２が撮影画角からはみ出す状態でも、先行車両２０２の距離、位置、姿勢を継続して検出することが可能になる。すなわち、物体の画角位置や距離に関わらず、物体の追跡を継続して位置、距離、姿勢情報を取得できる。したがって、先行車両２０２が撮影画角から外れるような場合であっても先行車両２０２を精度良く検出することができ、自車両２００の追跡精度が低下するのを防ぐことができる。
＜第２実施形態＞
　図１０は、第２実施形態に係る物体検出装置の構成を示す図である。本実施形態において特徴的なことは、第１実施形態の物体検出装置１に対して、先行車両に自動的に追従して走行する自動運転制御を行う車両制御部を追加して設けた場合の例である。図１の構成と同じ機能を果たす構成については、図１と同じ符号を付して詳しい説明を省略する。物体検出装置１は、自動車などの車両に搭載されており、同図中、９０１は車両制御部である。判定部１１２の出力が車両制御部９０１に入力されている。
　物体検出装置１を搭載する車両（先行車両に追従して走行する後続車両）は、先行車両の後方に配置され、先行車両を追従する。その際、物体検出装置１は、先行車両の距離、位置、姿勢を前述に示したように検出する。
　車両制御部９０１は、判定部１１２による検出結果を受け、この検出結果に基づき、車両の図示しない他の装置に対し制御を行う。車両の制御対象としては、舵角、ブレーキ、ステアリング装置などであり、検出した結果に基づいて、先行車両に追従して走行するように制御する。これらの車両制御情報は物体検出装置１から図示しない他の装置に対して、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などの車内ネットワークを介して出力する。
　先行車両との車間距離を短く設定した追従制御の場合、撮影画角に入りきらないときや、先行車両が旋回し、撮影画角から外れるときがあるが、本実施形態の物体検出装置１によれば、前述のように、継続して先行車両の距離や位置、姿勢が検出可能であり、先行車両に安全に追従することが可能になる。
　なお、図１０では車両制御部９０１は物体検出装置１とは同一筐体に収められる例を示したが、それに限るものではなく、別筐体とし、車内ネットワークを介して検出結果を伝送してもよく、また、前述のように、撮像部１０１、および撮像部１０２を別筐体としてもよい。
＜第３実施形態＞
　図１１は、本発明の実施例３に係る物体検出装置の構成を示す図である。図１の構成と同じ機能を果たす構成については、図１と同じ符号を付して詳しい説明を省略する。本実施形態では、物体の検出を、撮像部１０１および、撮像部１０２以外で構成された、距離や位置情報が得られるセンサにより行うことを特徴とする。
　例えば入力情報としては、図示しないレーダや、赤外線センサなどのセンサから得る情報であり、対象範囲の物体の距離や位置を求めることができる。判定部１１２は、センサの検出領域に入っている先行車両の範囲に応じて位置検出部１０６および姿勢検出部１１１の検出結果と位置推定部１０９および姿勢推定部１１０の推定結果との使用割合を変更する。それ以降の動作は前述の通りである。
＜第４実施形態＞
　図１２は、第４実施形態に係る物体検出装置の構成を示す図である。図１の構成と同じ機能を果たす構成については、図１と同じ符号を付して詳しい説明を省略する。本実施形態において特徴的なことは、撮像部１２０１と制御部１２０４とを別体に設けてネットワークにより互いに通信可能に接続した構成としたことである。
　１２０１はネットワーク撮像部である。１２０３はＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）である。１２０４は制御部である。ネットワーク撮像部１２０１は、例えば車両のフロントガラスに取り付けられる。制御部１２０４は、ネットワーク撮像部１２０１と別の筐体に収容され、車両内のスペースが確保できる場所に配置される。ＬＡＮ１２０３としては、例えば、ＣＡＮなどの車内ネットワークを用いてもよい。
　ネットワーク撮像部１２０１は、ＬＡＮ１２０３を介して制御部１２０４と接続されている。また、１２０２は画像圧縮・インタフェース部である。１２０５はネットワークインタフェース部である。１２０６は画像伸張部である。
　撮像部１０１、および撮像部１０２で撮影した画像は、画像補正部１０４において、輝度補正、レンズ歪補正や水平位置合わせが行われる。次に画像圧縮・インタフェース部１２０２は、画像補正部１０４からの画像を圧縮してＬＡＮ１２０３を介して制御部１２０４に送信する。画像圧縮の方式としては処理時間を少なくするため、複数の画像の時間的相関関係を使わず、１枚の画像内で圧縮を行う画面内圧縮方式を用いる方式がある。また、映像圧縮符号化方式を選択して切り換えてもよい。
　画像圧縮・インタフェース部１２０２は、圧縮符号化データを生成し、所定のネットワークプロトコルに従ってデータを送信する。なお、画像補正部１０４は、制御部１２０４の画像伸張部１２０６の後段に設けてもよいが、ネットワーク撮像部１２０１の画像圧縮・インタフェース部１２０２の前段で処理することにより、レンズ歪などを補正した後に画像圧縮することで、画像圧縮の高効率化と高画質化が見込まれる。
　制御部１２０４においては、ネットワークインタフェース部１２０５において、圧縮画像データの受信を、ＬＡＮ１２０３を介して行う。制御部１２０４のネットワークインタフェース部１２０５で受信した圧縮画像データは、画像伸張部１２０６において、元の画像に伸張され、ステレオ距離検出部１０５により距離が検出される。これ以降の処理は前述の通りである。
　本実施形態によれば、ＬＡＮ１２０３を介して圧縮画像を送信するので、撮像部側の処理量を減らすことができ、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になる。ネットワークの伝送帯域幅が十分確保できれば、画像の圧縮伸長を施さずに伝送することも可能である。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１…物体検出装置、１０１～１０２…撮像部、１０４…画像補正部、１０５…ステレオ距離検出部、１０６…位置検出部、１０７～１０８…軌道予測部（第１の車両情報入力部、第２の車両情報入力部）、１０９…位置推定部、１１０…姿勢推定部、１１１…姿勢検出部、１１２…判定部、２０１，２０９…共通撮像領域、２０２～２０５…被写体、３０１～３０５…処理領域、９０１…車両制御部、１２０１…ネットワーク撮像部、１２０２…画像圧縮・インタフェース部、１２０３…ＬＡＮ、１２０４…制御部、１２０５…ネットワークインタフェース部、１２０６…画像伸張部

Claims (10)

  1. 　物体の距離を検出する距離検出部と、
    　前記距離検出部で検出された距離に基づいて、前記物体の位置を検出する位置検出部と、
    　前記距離検出部で検出された距離に基づいて、前記物体の姿勢を検出する姿勢検出部と、
    　自車両の状態情報を入力する第１の車両情報入力部と、
    　他車両の状態情報を入力する第２の車両情報入力部と、
    　前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の位置を推定する位置推定部と、
    　前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の姿勢を推定する姿勢推定部と、
    　前記距離検出部、前記位置検出部、前記姿勢検出部、前記位置推定部、および前記姿勢推定部でそれぞれ検出または推定される情報に応じて、前記他車両の距離、位置、および姿勢を判定する判定部と、
    　を有することを特徴とする物体検出装置。
  2. 　前記物体を撮像する撮像部を備え、
    　前記判定部は、前記距離検出部と前記位置検出部と前記姿勢検出部により検出された検出結果と、前記位置推定部と前記姿勢推定部により推定された推定結果との使用する割合を、前記撮像部で撮像された撮像画像に映っている前記物体の範囲に応じて決定することを特徴とする請求項１に記載の物体検出装置。
  3. 　前記判定部は、前記撮像画像に映っている前記物体の範囲が減少するのに応じて前記距離検出部と前記位置検出部と前記姿勢検出部により検出された検出値の重み付けを低くし、前記位置推定部と前記姿勢推定部により推定された推定値の重み付けを高くすることを特徴とする請求項２に記載の物体検出装置。
  4. 　前記判定部は、前記位置検出部により検出された位置が所定の範囲内の場合、前記距離検出部と前記位置検出部と前記姿勢検出部の検出結果を採用することを特徴とする請求項１に記載の物体検出装置。
  5. 　前記判定部は、前記位置検出部により検出された位置が所定の範囲外の場合、前記位置推定部と前記姿勢推定部の推定結果を採用することを特徴とする請求項１に記載の物体検出装置。
  6. 　前記撮像部は、互いに対をなして共通撮像領域を撮像する第１撮像部と第２撮像部とを有し、
    　前記距離検出部は、前記第１撮像部と前記第２撮像部で得た画像から得られた視差に基づいて、前記物体の距離を検出する請求項２に記載の物体検出装置。
  7. 　前記第２の車両情報入力部は、前記他車両の状態情報を車車間通信によって取得する請求項１に記載の物体検出装置。
  8. 　前記位置推定部は、前記距離検出部で検出された距離に基づいて、前記物体の所定の部位を検出し、
    　前記位置検出部および前記姿勢検出部は、前記位置推定部により推定された前記物体の所定の部位から前記物体の後尾面の位置および姿勢を検出することを特徴とする請求項１に記載の物体検出装置。
  9. 　他車両に追従する自車両の走行を制御する走行制御システムにおいて、
    　前記自車両は、
    　前記自車両と前記他車両との間の距離を検出する距離検出部と、
    　前記距離検出部で検出された距離に基づいて、前記他車両の位置を検出する位置検出部と、
    　前記距離検出部で検出された距離に基づいて、前記他車両の姿勢を検出する姿勢検出部と、
    　前記自車両の状態情報を入力する第１の車両情報入力部と、
    　前記他車両の状態情報を入力する第２の車両情報入力部と、
    　前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の位置を推定する位置推定部と、
    　前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の姿勢を推定する姿勢推定部と、
    　前記距離検出部、前記位置検出部、前記姿勢検出部、前記位置推定部、および前記姿勢推定部でそれぞれ検出または推定される情報に応じて、前記他車両の距離、位置、および姿勢を判定する判定部と、
    　前記判定部で判定した結果に基づいて、前記自車両を前記他車両に追従させる走行制御を行う制御部と、
    　を有することを特徴とする走行制御システム。
  10. 　他車両に追従する自車両の走行を制御する走行制御方法において、
    　前記自車両と他車両との間の距離を検出するステップと、
    　前記検出した距離に基づいて、前記他車両の位置を検出するステップと、
    　前記検出した距離に基づいて、前記他車両の姿勢を検出するステップと、
    　前記自車両の状態情報を入力するステップと、
    　前記他車両の状態情報を入力するステップと、
    　前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の位置を推定するステップと、
    　前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の姿勢を推定するステップと、
    　前記検出した距離、位置、および姿勢と、前記推定した位置および姿勢に応じて、前記他車両の距離、位置、および姿勢を判定するステップと、
    　前記判定した結果に基づいて、前記自車両を前記他車両に追従させる走行制御を行うステップと、
    　を有することを特徴とする走行制御方法。
PCT/JP2020/020489 2019-09-27 2020-05-25 物体検出装置、走行制御システム、および走行制御方法 WO2021059589A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080043096.3A CN114521180B (zh) 2019-09-27 2020-05-25 物体检测装置、行驶控制系统以及行驶控制方法
US17/596,873 US12033395B2 (en) 2019-09-27 2020-05-25 Object detection device, travel control system, and travel control method
DE112020002784.8T DE112020002784T5 (de) 2019-09-27 2020-05-25 Objekterfassungsgerät, Fahrsteuerungssystem und Fahrsteuerungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-177661 2019-09-27
JP2019177661A JP7227112B2 (ja) 2019-09-27 2019-09-27 物体検出装置、走行制御システム、および走行制御方法

Publications (1)

Publication Number Publication Date
WO2021059589A1 true WO2021059589A1 (ja) 2021-04-01

Family

ID=75164958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020489 WO2021059589A1 (ja) 2019-09-27 2020-05-25 物体検出装置、走行制御システム、および走行制御方法

Country Status (5)

Country Link
US (1) US12033395B2 (ja)
JP (1) JP7227112B2 (ja)
CN (1) CN114521180B (ja)
DE (1) DE112020002784T5 (ja)
WO (1) WO2021059589A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7216695B2 (ja) * 2020-11-04 2023-02-01 本田技研工業株式会社 周囲車両監視装置及び周囲車両監視方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09272414A (ja) * 1996-04-08 1997-10-21 Mitsubishi Electric Corp 車両制御装置
JP2013242737A (ja) * 2012-05-22 2013-12-05 Furukawa Electric Co Ltd:The 車載装置および車載装置の判断方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4914787B2 (ja) * 2007-08-30 2012-04-11 本田技研工業株式会社 車両用物体検知装置
JP4337929B2 (ja) * 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置
US20170242443A1 (en) * 2015-11-02 2017-08-24 Peloton Technology, Inc. Gap measurement for vehicle convoying
JP5533810B2 (ja) * 2011-07-23 2014-06-25 株式会社デンソー 追従走行制御装置
JP5673597B2 (ja) * 2011-11-18 2015-02-18 株式会社デンソー 車両用挙動制御装置
JP5835459B2 (ja) * 2012-03-01 2015-12-24 日産自動車株式会社 立体物検出装置
KR101519215B1 (ko) * 2013-09-05 2015-05-11 현대오트론 주식회사 운전보조시스템 및 그 제어방법
CN106461403B (zh) * 2014-05-20 2019-02-15 日产自动车株式会社 物体检测装置及物体检测方法
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
US9528838B2 (en) * 2014-12-09 2016-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to intersection priority
JP6497546B2 (ja) * 2015-02-06 2019-04-10 国立研究開発法人農業・食品産業技術総合研究機構 走行制御装置
JP5947938B1 (ja) * 2015-03-06 2016-07-06 ヤマハ発動機株式会社 障害物検出装置およびそれを備えた移動体
JP6425622B2 (ja) * 2015-06-12 2018-11-21 日立建機株式会社 車載装置、車両衝突防止方法
WO2017179209A1 (ja) * 2016-04-15 2017-10-19 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US9927816B2 (en) * 2016-05-13 2018-03-27 Macau University Of Science And Technology System and method for operating a follower vehicle in a vehicle platoon
JP6898629B2 (ja) * 2016-09-05 2021-07-07 株式会社Ｓｕｂａｒｕ 車両の走行制御装置
WO2018066024A1 (ja) * 2016-10-03 2018-04-12 本田技研工業株式会社 車両制御装置
JP6774297B2 (ja) * 2016-10-17 2020-10-21 株式会社デンソー 車両認識装置及び車両認識方法
JP6815856B2 (ja) 2016-12-14 2021-01-20 日立オートモティブシステムズ株式会社 先行車両の走行軌跡予測装置及びその搭載車両
JP2018169888A (ja) * 2017-03-30 2018-11-01 株式会社デンソー 道路パラメータ推定装置
JP2019049812A (ja) * 2017-09-08 2019-03-28 スズキ株式会社 走行位置評価システム
JP6891082B2 (ja) * 2017-09-25 2021-06-18 日立Astemo株式会社 物体距離検出装置
KR102192142B1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 자율 주행 차량 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09272414A (ja) * 1996-04-08 1997-10-21 Mitsubishi Electric Corp 車両制御装置
JP2013242737A (ja) * 2012-05-22 2013-12-05 Furukawa Electric Co Ltd:The 車載装置および車載装置の判断方法

Also Published As

Publication number Publication date
DE112020002784T5 (de) 2022-05-05
JP7227112B2 (ja) 2023-02-21
US20220319186A1 (en) 2022-10-06
CN114521180B (zh) 2024-07-09
CN114521180A (zh) 2022-05-20
JP2021056651A (ja) 2021-04-08
US12033395B2 (en) 2024-07-09

Similar Documents

Publication Publication Date Title
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
US9151626B1 (en) Vehicle position estimation system
US10821975B2 (en) Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method
JP5371725B2 (ja) 物体検出装置
US7623700B2 (en) Stereoscopic image processing apparatus and the method of processing stereoscopic images
JP6789010B2 (ja) 走行支援装置、走行支援方法、撮像装置、及び車両
CN109196304B (zh) 物体距离检测装置
WO2017134982A1 (ja) 撮像装置
US8160300B2 (en) Pedestrian detecting apparatus
US11753002B2 (en) Vehicular control system
WO2020213386A1 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
WO2021059589A1 (ja) 物体検出装置、走行制御システム、および走行制御方法
US10706586B2 (en) Vision system for a motor vehicle and method of controlling a vision system
JP6899673B2 (ja) 物体距離検出装置
JP6891082B2 (ja) 物体距離検出装置
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
US20240040269A1 (en) Sensor configuration for autonomous vehicles
JP4324413B2 (ja) 車外監視装置および車外監視方法
JP2004220281A (ja) 障害物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20867273

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20867273

Country of ref document: EP

Kind code of ref document: A1