WO2015194371A1 - 物体認識装置及びそれを用いた車両走行制御装置 - Google Patents

物体認識装置及びそれを用いた車両走行制御装置 Download PDF

Info

Publication number
WO2015194371A1
WO2015194371A1 PCT/JP2015/065967 JP2015065967W WO2015194371A1 WO 2015194371 A1 WO2015194371 A1 WO 2015194371A1 JP 2015065967 W JP2015065967 W JP 2015065967W WO 2015194371 A1 WO2015194371 A1 WO 2015194371A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
host vehicle
vehicle
unit
behind
Prior art date
Application number
PCT/JP2015/065967
Other languages
English (en)
French (fr)
Inventor
黒田　浩司
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to JP2016529224A priority Critical patent/JP6404922B2/ja
Priority to US15/307,394 priority patent/US9934690B2/en
Priority to CN201580028678.3A priority patent/CN106463064B/zh
Priority to EP15809777.4A priority patent/EP3159866B1/en
Publication of WO2015194371A1 publication Critical patent/WO2015194371A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles

Definitions

  • the present invention relates to an object recognition device and a vehicle travel control device using the same, and more particularly to a vehicle travel control device that recognizes the position of an object that exists behind and includes an oblique rear side of the host vehicle and controls the travel of the host vehicle. About.
  • Patent Document 1 Conventionally, for example, a conventional technique disclosed in Patent Document 1 is known as a technique for detecting the position of an object existing behind the host vehicle.
  • the object position detection device disclosed in Patent Document 1 includes a storage unit that stores a traveling position of a host vehicle traveling on a road, a detection unit that detects a position of a rear object existing behind the host vehicle, Estimation means for estimating a lane in which the rear object is located based on a relative positional relationship between a past travel position of the host vehicle stored in a storage means and a position of the rear object detected by the detection means;
  • the estimation means is an apparatus that estimates a lane in which the rear object is located based on a distance between a travel locus obtained from a past travel position of the host vehicle and the position of the rear object.
  • the driver of a vehicle traveling in a certain lane may change the lane in preparation for overtaking a vehicle traveling ahead or turning left or right, for example, when the own vehicle changes the lane
  • the travel position of the host vehicle is stored across the lane.
  • the object position detection device disclosed in Patent Document 1 in order to estimate the lane where the rear object is located based on the distance between the travel locus obtained from the past travel position of the host vehicle and the position of the rear object, As shown in FIG. 20, when the host vehicle changes the lane and the past travel position of the host vehicle is stored across the lane, as shown in FIG. For example, there is a possibility that a false alarm may be generated for a driver who drives the own vehicle. Further, in the object position detection device disclosed in Patent Document 1, when the host vehicle travels in a curved lane, the lane in which the host vehicle travels or the lane in which the rear object is located may not be accurately grasped. Yes, for example, there is a possibility that a false alarm is generated for the driver who drives the host vehicle.
  • a millimeter wave radar is used as a detection means for detecting the position of a rear object existing behind the host vehicle.
  • radio wave radar such as millimeter wave radar
  • the guardrail When traveling on continuously laid roads, the signal output from radio wave radar such as millimeter wave radar is reflected by the guardrail, and the position of the rear object and thus the lane where the rear object is located cannot be accurately estimated There was also.
  • the present invention has been made in view of the above problems, and an object thereof is an object recognition device capable of precisely recognizing the position of an object existing behind the host vehicle including an oblique rear side. It is in providing the vehicle travel control apparatus using the same.
  • an object recognition device is an object recognition device that recognizes the position of an object existing behind the host vehicle, and an imaging unit that images an environment ahead or behind the host vehicle. Based on the image captured by the imaging unit, a lane detection unit that detects a lane in front or rear of the host vehicle, a lane detected by the lane detection unit, and a travel history of the host vehicle, Detected by the lane position estimation unit that estimates the position of the lane in the rear, the rear object detection unit that detects an object existing behind the host vehicle, and the rear object detection unit with respect to the lane position estimated by the lane position estimation unit And a relative position calculation unit that calculates the relative position of the object.
  • An object recognition apparatus is an object recognition apparatus for recognizing the position of an object existing behind a host vehicle.
  • the image recognition unit captures an environment in front of or behind the host vehicle, and is captured by the imaging unit.
  • a three-dimensional object detection unit for detecting a stationary three-dimensional object in front of or behind the host vehicle based on the captured image, and a rear of the host vehicle based on the stationary three-dimensional object detected by the three-dimensional object detection unit and the traveling history of the host vehicle.
  • a three-dimensional object position estimating unit for estimating the position of a stationary three-dimensional object, a rear object detecting unit for detecting an object existing behind the host vehicle, and the rear of the position of the stationary three-dimensional object estimated by the three-dimensional object position estimating unit
  • a relative position calculation unit that calculates a relative position of the object detected by the object detection unit.
  • the vehicle travel control device controls the travel of the host vehicle based on the position of the object recognized by the object recognition device.
  • a lane or a stationary three-dimensional object in front of the host vehicle is detected based on an image captured by an imaging unit that captures an environment in front of the host vehicle, and the detected lane or stationary three-dimensional object and the host vehicle are detected.
  • the block diagram which shows the structure of Embodiment 1 of the vehicle travel control apparatus using the object recognition apparatus which concerns on this invention.
  • the figure which shows an example of the image imaged with the camera shown in FIG. The figure which shows an example of the position of the lane with respect to the own vehicle, and a rear side vehicle.
  • FIG. 1 The flowchart explaining the processing flow by the vehicle travel control apparatus shown in FIG.
  • the block diagram which shows the structure of Embodiment 2 of the vehicle travel control apparatus using the object recognition apparatus which concerns on this invention.
  • the figure which shows an example of the image imaged with the stereo camera shown in FIG. The figure which shows an example of the position of the stationary solid object with respect to the own vehicle and a rear side vehicle.
  • the figure which shows the other examples of the positional relationship of the stationary solid object and rear side vehicle with respect to the own vehicle The flowchart explaining the processing flow by the vehicle travel control apparatus shown in FIG.
  • the figure which shows an example of the image imaged with the camera shown in FIG. The figure which shows an example of the position of the lane with respect to the own vehicle, and a rear side vehicle.
  • FIG. 1 is a configuration diagram showing a configuration of a vehicle travel control apparatus using an object recognition apparatus according to a first embodiment of the present invention.
  • the vehicle travel control device 50 mainly includes an object recognition device 20 that recognizes the position of an object behind the host vehicle, a steering angle sensor 21, a yaw rate sensor 22, a wheel speed sensor 23, a navigation system 24, And the control unit 25 which produces
  • the object recognition device 20 includes a rear object detection device 1, a lane detection device 2, and a travel history calculation device 3.
  • the rear object detection device 1 is an object (for example, a vehicle (car, motorcycle, bicycle, etc.) or a person who is moving, stopped, or parked behind) including an oblique rear side (hereinafter referred to as a rear side) of the host vehicle.
  • a plurality of radio wave radars (rear object detection units) 7 provided on the left and right rear sides of the host vehicle.
  • the radio wave radar 7 transmits a radio wave to a predetermined range behind the host vehicle and receives a reflected wave from an object existing in the range, so that the relative position (distance, direction) of the object behind the host vehicle and the host vehicle are determined.
  • the relative speed with respect to can be detected.
  • the own vehicle VS is equipped with radio radars 7a and 7b on the left and right rear sides, and the radio radar 7a attached to the left rear part of the own vehicle VS
  • the area Aa on the left rear side of the vehicle VS is set as a detection area
  • the radio wave radar 7b attached to the right rear portion of the host vehicle VS sets the area Ab on the right rear side of the host vehicle VS as a detection area.
  • the radio wave radar 7 detects the position (P, Q) of the target vehicle VT in the coordinate system XY with the center of the own vehicle VS as the origin.
  • the relative speed with respect to the host vehicle VS are detected by the radio wave radars 7a and 7b.
  • the lane detection device 2 is for detecting a lane in front of the host vehicle (lane in which the vehicle travels).
  • the lane detection device 2 is arranged at the center upper part of the windshield of the host vehicle and captures an environment in front of the host vehicle ( (Front camera) (imaging unit) 8 and a lane detection unit 9 that detects a lane in front of the host vehicle based on an image captured by the camera 8.
  • the camera 8 is composed of, for example, a CMOS camera, and is attached to the host vehicle so as to have an optical axis directed forward and obliquely downward of the host vehicle. As shown in FIG. The surrounding environment including the road and the like is imaged, and the captured image is transmitted to the lane detection unit 9.
  • the lane detection unit 9 performs, for example, binarization processing or feature point extraction processing based on the image captured by the camera 8, thereby obtaining road lane markings (white lines, yellow lines, broken lines, botsdots, etc.) on the road. ) Pixels (road lane line candidate points) that are presumed to fall under the above are selected, and the consecutive line of the selected road lane line candidate points are recognized as road lane lines constituting the lane. The position is obtained, and information regarding the position is transmitted to the lane position estimation unit 4 of the travel history calculation device 3. In FIG.
  • the position of the right road lane marking in the image captured by the camera 8 is indicated by R1 to R3 from the front
  • the position of the left road lane marking is indicated by L1 to L3 from the front.
  • the coordinate system XY as seen from above with the center of the vehicle as the origin R1 : (xr_1, yr_1), R2 : (xr_2, yr_2), R3 : (xr_3, yr_3)
  • 2 and 3 show an example in which the position of the road marking line is obtained for each of the right side and the left side, but when obtaining 2 points or less or 4 points or more, or approximating with a straight line or curve Is the same.
  • the lane detection device 2 may be shared with various devices for lane detection used in, for example, a lane maintenance assist device (also referred to as lane keep assist), a lane departure warning device (also referred to as lane departure warning), and the like.
  • a lane maintenance assist device also referred to as lane keep assist
  • a lane departure warning device also referred to as lane departure warning
  • the travel history calculation device 3 calculates the position of an object existing behind the host vehicle based on information transmitted from the rear object detection device 1 or the lane detection device 2, and obtains information necessary for the travel control of the host vehicle. This is output to the control unit 25, and is mainly composed of a travel history calculation unit 11, a lane position estimation unit 4, a lane position information storage unit 10, a relative position calculation unit 5, and a determination unit 6. ing.
  • the travel history calculation unit 11 is based on information obtained from the steering angle sensor 21, the yaw rate sensor 22, the wheel speed sensor 23 as a vehicle speed sensor, the navigation system 24, and the like that constitute the vehicle travel control device 50. And the calculation result is transmitted to the lane position estimation unit 4.
  • a coordinate system having the origin at the center of the vehicle at time t (n) is represented by X (n) -Y (n), the coordinate system with the origin at the center of the host vehicle at time t (n + 1) is X (n + 1) -Y (n + 1), and the host vehicle at time t (n)
  • ⁇ t (t (n + 1)
  • the amount of change ( ⁇ x, ⁇ y) in the position of the host vehicle VS during -t (n)) is expressed by the following equation (1).
  • the angle ⁇ n formed with -Y (n + 1) is expressed by the following equation (3).
  • the speed V n of the host vehicle VS from moment to moment is obtained by the wheel speed sensor 23, the navigation system 24, and the like, and the traveling direction ⁇ n and the rotation angular velocity ⁇ n of the host vehicle VS are determined by the steering angle sensor 21 and the yaw rate sensor. 22. It is calculated
  • the lane position estimation unit 4 uses the lane position information (corresponding to the road lane line position) output from the lane detection device 2 as the origin of the vehicle center at that time. Is converted into a coordinate system, and the conversion result is stored in the lane position information storage unit 10. Regarding the transformation of the coordinate system at that time, the point P fixed to the ground is changed from the coordinate system X (n) -Y (n) whose origin is the center of the vehicle at time t (n) to time t (n + 1).
  • the coordinate of the point P in the coordinate system at time t (n) is expressed as (x (t (n)), y ( t (n))) and the coordinates of the point P at time t (n + 1) are (x (t (n + 1)), y (t (n + 1))), the relationship between these coordinates Is represented by the following formula (4).
  • the lane position estimation unit 4 converts the lane position detected in the past into a coordinate system based on the information obtained from the travel history calculation unit 11 and having the center of the vehicle at that time as the origin, The conversion result is stored in the lane position information storage unit 10.
  • the lane position estimation unit 4 acquires the current lane position information from the lane detection device 2 and adds and stores it in the lane position information storage unit 10.
  • the lane position estimation unit 4 first stores the lane position information output from the lane detection device 2 in the lane position information storage unit 10 at time t (n).
  • the position of the right road lane line (that is, lane information) obtained from the image captured by the camera 8 is the origin of the vehicle center at time t (n).
  • the coordinate information of (t (n)), yr_3 (t (n))) is stored.
  • the position of the left road lane line (that is, lane information) obtained from the image captured by the camera 8 is expressed in the coordinate system XY with the center of the vehicle as the origin.
  • positions L1 to L3 As positions L1 to L3, (xl_1 (t (n)), yl_1 (t (n))), (xl_2 (t (n)), yl_2 (t (n))), (xl_3 (t (n)), The coordinate information of yl_3 (t (n))) is stored.
  • the lane position estimation unit 4 determines the right road lane marking positions R1 to R3 and the left road lane marking positions L1 to L3.
  • the lane position information is stored by converting into position information in the coordinate system X (n + 1) -Y (n + 1) using the center of the vehicle at the time t (n + 1) as an origin using the equation (4). Store in the unit 10.
  • Such conversion is performed sequentially, and at time t (n + m), from the right road lane marking positions R1 to R3 detected at time t (n), at time t (n + m).
  • the detected right road lane marking positions Rm1 to Rm3 are combined and the coordinate information is stored in the lane position information storage unit 10 as lane position information (see FIG. 5).
  • the position information of road lane markings detected by the lane detection device 2 until m) is stored in the lane position information storage unit 10 as lane position information.
  • the lane position information storage unit 10 accumulates and stores past lane position information, but in order to prevent the storage capacity from overflowing, the lane position information that has passed a predetermined time or the distance from the host vehicle is a predetermined value or more. It is practically effective to sequentially delete the lane position information that has become from the lane position information storage unit 10.
  • the lane position behind the host vehicle can be accurately estimated by recognizing the lane position information every moment and using the past lane position information.
  • the relative position calculation unit 5 calculates the relative position of the object detected by the rear object detection device 1 with respect to the position of the lane behind the host vehicle stored in the lane position information storage unit 10.
  • the rear object detection device 1 detects the target vehicle VT as shown in FIGS. 6 and 7, and the position (P, Q) of the target vehicle VT in the coordinate system XY with the center of the host vehicle as the origin. ) And the relative speed with respect to the host vehicle VS, the relative position calculation unit 5 is closest to the traveling direction (Y-axis direction) of the host vehicle VS from the lane position information stored in the lane position information storage unit 10. Select points (two points on each of the left and right road lane markings). 6 and 7, the lane position information of the right road lane marking positions Rn1 and Rn2 and the left road lane marking positions Ln1 and Ln2 is the closest point in the Y-axis direction.
  • the relative position calculation unit 5 obtains a straight line connecting the two points Rn1 and Rn2 of the right road lane marking position, and calculates a distance xr_np in the X direction at a location corresponding to the position of the target vehicle VT in the Y-axis direction. Then, the magnitude relationship between the value of the distance xr_np and the value P of the target vehicle VT in the X-axis direction is calculated, and the calculation result is transmitted to the determination unit 6.
  • the determination unit 6 determines whether or not the object detected by the rear object detection device 1 is in a predetermined lane (for example, a lane where a warning is to be issued). to decide.
  • a predetermined lane for example, a lane where a warning is to be issued.
  • FIG. 6 shows an example in which the value P in the X-axis direction of the target vehicle VT is larger than the distance xr_np to the right road lane marking, that is, an example in which the target vehicle VT exists in the right adjacent lane. From the above calculation, it can be determined that the target vehicle VT exists in the adjacent lane on the right side of the lane in which the host vehicle VS travels.
  • FIG. 7 shows an example in which the value P in the X-axis direction of the target vehicle VT is smaller than the distance xr_np to the right road partition line. In this case, the same calculation as described above is performed on the left road partition. It is possible to determine whether or not the target vehicle VT exists in the rear of the same lane as the lane in which the host vehicle VS travels by performing the process continuously on the line.
  • the control unit 25 generates various control signals for controlling the travel of the host vehicle based on the information transmitted from the object recognition device 20 (the determination unit 6 of the travel history calculation device 3).
  • control unit 25 controls, for example, steering when it is determined by the determination unit 6 that an object detected by the rear object detection device 1 is present in a predetermined lane (for example, a lane where a warning should be issued).
  • the signal is transmitted to an appropriate on-vehicle device.
  • step S101 the method described based on FIGS. 2 and 3 by the lane detection device 2 of the object recognition device 20.
  • the lane position in the coordinate system XY viewed from above with the host vehicle as the origin is obtained.
  • step S102 the lane position estimation unit 4 of the travel history calculation device 3 performs step S1.
  • the lane position obtained in 01 is stored in the lane position information storage unit 10 in a coordinate system with the vehicle as the origin.
  • step S103 the travel history calculation unit 11 performs ⁇ t seconds based on information obtained from the steering angle sensor 21, the yaw rate sensor 22, the wheel speed sensor 23, the navigation system 24, and the like constituting the vehicle travel control device 50.
  • a coordinate system X (n) -Y (n) with the own vehicle as the origin at time t (n) is estimated using the equations (1) to (3) described above.
  • step S104 the lane position estimation unit 4 uses the above-described equation (4) to determine the lane position information detected by the lane detection device 2 in the past as a coordinate system with the vehicle at the current time as the origin. And the lane position behind the host vehicle is estimated and stored in the lane position information storage unit 10.
  • step S105 the rear object detection device 1 detects a rear object (target vehicle or the like) including the rear side, and obtains the position coordinates (P, Q) and the like of the target vehicle.
  • step S106 the relative position calculation unit 5 obtains the relative position between the lane position information stored in step S104 and the target vehicle detected in step S105. More specifically, as described above, when the rear object detection device 1 detects the target vehicle and detects the position (P, Q) of the target vehicle in the coordinate system XY with the own vehicle as the origin. From the lane position information stored in the lane position information storage unit 10, the two closest lane position information in the traveling direction (Y-axis direction) of the host vehicle is selected. By obtaining the distance in the X direction between the two closest lane positions in the Y-axis direction and the target vehicle, it is possible to estimate the relative position of the target vehicle with respect to the lane.
  • step S107 based on the information on the relative position of the target vehicle with respect to the lane obtained in step S106, the determination unit 6 determines which lane (the lane on which the own vehicle is traveling, Lane, lane adjacent to the left, or lanes separated by two or more lanes). Specifically, it is determined whether or not the target vehicle exists in an area (lane) to be alarmed, and when it is determined that the target vehicle is in an area (lane) to be alarmed, step S108 In step (1), it is determined whether or not an alarm should actually be output from information on the position and speed of the target vehicle (for example, whether the target vehicle approaches the host vehicle).
  • step S108 When it is determined in step S108 that an alarm should actually be output, a control signal is generated by the control unit 25 in step S109 to generate an alarm.
  • the camera 8 that captures the environment ahead of the host vehicle in the vehicle that detects the object existing behind the host vehicle using the radio wave radar 7 such as the millimeter wave radar. Based on the captured image, the lane in front of the host vehicle is detected, the position of the lane behind the host vehicle is estimated based on the detected lane and the traveling history of the host vehicle, and the estimated lane position is By calculating the relative position of the object that is behind the host vehicle, the position of the object that exists behind the host vehicle, including diagonally behind the host vehicle, especially the lane in which the object is located, can be refined even when driving on a curve or changing lanes. Can be recognized.
  • FIG. 9 is a configuration diagram showing a configuration of a second embodiment of the vehicle travel control device using the object recognition device according to the present invention.
  • the vehicle travel control device 50A according to the second embodiment shown in FIG. 9 detects a stationary solid object in front of the host vehicle (hereinafter simply referred to as a three-dimensional object) with respect to the vehicle travel control device 50 according to the first embodiment described above.
  • the other configuration is the same as that of the vehicle travel control device 50 of the first embodiment. Therefore, hereinafter, only the configuration different from the vehicle travel control device 50 of the first embodiment will be described in detail, and the same reference numerals are given to the same configurations as those of the first embodiment, and the detailed description thereof will be omitted.
  • the object recognition device 20A of the vehicle travel control device 50A includes a rear object detection device 1A, a three-dimensional object detection device 2A, and a travel history calculation device 3A.
  • the three-dimensional object detection device 2A is for detecting a three-dimensional object (for example, a guard rail or a wall laid along the lane) in front of the host vehicle, and is disposed, for example, at the center upper portion of the windshield of the host vehicle.
  • a stereo camera 8A composed of a plurality of cameras (front cameras) that capture the environment ahead of the host vehicle, and a three-dimensional object detection unit 9A that detects a three-dimensional object in front of the host vehicle based on the plurality of images captured by the stereo camera 8A. And is composed of.
  • each camera constituting the stereo camera 8 ⁇ / b> A captures the surrounding environment including the preceding vehicle VP that travels in front and the guard rail GR that is a road-side three-dimensional object, and the captured image is a three-dimensional object. It transmits to the detection part 9A.
  • the three-dimensional object detection unit 9A obtains parallax between the left and right images based on the left and right image information captured by the stereo camera 8A, detects the presence of the three-dimensional object, and calculates the distance from the host vehicle to the three-dimensional object. Moreover, the magnitude
  • representative points of the three-dimensional object (here, the guard rail GR) detected from the image captured by the stereo camera 8A are shown as G1 to G3 from the front, and in FIG. 11, representatives of these three-dimensional objects shown in FIG.
  • the position in the three-dimensional coordinate system XYZ with the vehicle as the origin is defined as G1: (xg_1, yg_1, zg_1), G2: (xg_2, yg_2, zg_2), G3: (xg_3, yg_3 , zg_3), respectively.
  • 10 and 11 show an example in which three positions of the representative points of the three-dimensional object are detected, but the same applies to the case where two or less points or four or more points are detected. Further, when a three-dimensional object exists continuously along a lane, for example, it may be approximated as a straight line or a curve in the XY plane of the coordinate system.
  • the travel history calculation unit 11A of the travel history calculation device 3A calculates the coordinate system X (n) ⁇ with the origin at the center of the host vehicle at time t (n) by the same calculation as described with reference to FIG. 4 in the first embodiment.
  • the own vehicle V The change in the direction of S is also obtained by the calculation of the procedure similar to the procedure described in the expression (2) in Embodiment 1, and the calculation result is transmitted to the three-dimensional object position estimation unit 4A.
  • the three-dimensional object position estimation unit 4A obtains the three-dimensional object position information output from the three-dimensional object detection device 2A based on the amount of change in the position of the own vehicle obtained by the travel history calculation unit 11A, and the center Is converted into a coordinate system with the origin as the origin, and the conversion result is stored in the three-dimensional object position information storage unit 10A.
  • the transformation of the coordinate system at that time the transformation of the XY coordinate system is the same as the transformation represented by the expression (4) in the first embodiment, but in the second embodiment, the change of the position of the own vehicle is not changed.
  • the three-dimensional object position estimation unit 4A converts the three-dimensional object position detected in the past into a coordinate system whose origin is the center of the host vehicle at that time, based on the information obtained from the travel history calculation unit 11A. Then, the conversion result is stored in the three-dimensional object position information storage unit 10A. At the same time, the three-dimensional object position estimation unit 4A acquires the current three-dimensional object position information from the three-dimensional object detection device 2A, and adds and stores the information in the three-dimensional object position information storage unit 10A.
  • the three-dimensional object position estimation unit 4A first obtains the three-dimensional object position information output from the three-dimensional object detection device 2A at the time t (n), as shown in FIG.
  • the position information of the three-dimensional object obtained from the image picked up by the stereo camera 8A is expressed in the coordinate system XY with the center of the vehicle at the time t (n) as the origin.
  • the three-dimensional object position estimation unit 4A uses the above-described equation (4) to calculate the three-dimensional object position information G1 to G3 at the time t.
  • the three-dimensional object position information storage unit 10A is converted into position information in the coordinate system X (n + 1) -Y (n + 1) -Z (n + 1) with the center of the vehicle in (n + 1) as the origin.
  • Such conversion is sequentially performed, and at the time t (n + m), the three-dimensional object position information G1 to G3 detected at the time t (n) is detected at the time t (n + m).
  • the three-dimensional object position information Gm1 to Gm3 By combining the three-dimensional object position information Gm1 to Gm3, three-dimensional coordinate information is stored in the three-dimensional object position information storage unit 10A.
  • the three-dimensional object position information storage unit 10A accumulates and stores past three-dimensional object position information. However, in order to prevent the storage capacity from overflowing, the three-dimensional object position information or the distance from the host vehicle that has passed a predetermined time or longer is used. It is practically effective to sequentially delete the three-dimensional object position information that is equal to or greater than the predetermined value from the three-dimensional object position information storage unit 10A.
  • the position of the three-dimensional object behind the host vehicle can be accurately estimated by recognizing the three-dimensional object position information every moment and using the past three-dimensional object position information.
  • the relative position calculation unit 5A calculates the relative position of the object detected by the rear object detection device 1A with respect to the position of the three-dimensional object behind the host vehicle stored in the three-dimensional object position information storage unit 10A.
  • the rear object detection device 1A detects the left rear target vehicle VT as shown in FIGS. 13 and 14, and the target vehicle VT on the XY plane of the coordinate system with the center of the host vehicle as the origin.
  • the relative position calculation unit 5A determines the traveling direction (Y of the host vehicle VS from the three-dimensional object position information stored in the three-dimensional object position information storage unit 10A. Select the two closest points (in the axial direction). In FIG. 13, the three-dimensional object position information Gn1 , Gn2 is the closest point in the Y-axis direction.
  • the relative position calculation unit 5A obtains a straight line connecting the positions Gn1 and Gn2 of the two representative points of the three-dimensional object, and calculates the distance xg_np in the X direction at a location corresponding to the position of the target vehicle VT in the Y-axis direction. Then, the magnitude relationship between the value of the distance xg_np and the value P2 of the target vehicle VT in the X-axis direction is calculated, and the calculation result is transmitted to the determination unit 6A.
  • the determination unit 6A Based on the magnitude relationship transmitted from the relative position calculation unit 5A, the determination unit 6A has an object detected by the rear object detection device 1A in a predetermined region (for example, the reliability of the detection result by the rear object detection device 1A is low). In other words, it is determined whether or not the object detected by the rear object detection device 1A exists in an area determined to be an object erroneously detected due to the influence of the three-dimensional object.
  • the determination unit 6A determines whether the target vehicle VT exists inside the three-dimensional object (on the own vehicle side), for example, as illustrated in FIG. Alternatively, it is determined whether it exists outside (the side opposite to the host vehicle side), the influence of the three-dimensional object on the detection result of the target vehicle VT by the radio wave radar 7A is determined, and the determination result is transmitted to the control unit 25A. To do.
  • FIG. 13 shows an example in which the value P2 in the X-axis direction of the target vehicle VT is larger than the distance xg_np from the Y-axis to the three-dimensional object. In such a case, the target vehicle VT by the rear object detection device 1A is shown. It is determined that the reliability of the detection result is low.
  • the target vehicle VT ′ is detected by the radio wave radar 7aA attached to the left rear part of the host vehicle VS, and the target vehicle VT is detected by the radio wave radar 7bA attached to the right rear part of the host vehicle VS.
  • the position information Gn1, Gn2, and Gn3 of the three representative points of the three-dimensional object are obtained by the three-dimensional object position estimation unit 4A.
  • the radio wave radiated from the radio wave radar 7A is expected to be reflected by a solid object having a continuous shape, and the target vehicle VT detected by the radio wave radar 7bA is true information.
  • the target vehicle VT ′ detected by the radar 7aA is presumed to be highly likely to be information in which a radio wave is reflected by a three-dimensional object and an erroneous target vehicle (ghost of the target vehicle VT) is detected. Therefore, even in such a case, it is determined that the reliability of the detection result of the target vehicle VT by the rear object detection device 1A is low.
  • the position information of the three-dimensional object is shown as a series of points. However, when the three-dimensional object exists continuously along a road, for example, it is approximated as a straight line or a curve.
  • the information may be stored as position information of the three-dimensional object in the three-dimensional coordinate system XYZ.
  • the control unit 25A generates various control signals for controlling the traveling of the host vehicle based on the information transmitted from the object recognition device 20A (the determination unit 6A of the travel history calculation device 3A).
  • the object detected by the rear object detection device 1A by the determination unit 6A is a predetermined region (for example, a region where the reliability of the detection result by the rear object detection device 1A is determined to be low). If it is determined that there is a low necessity for steering control (regulation), vehicle speed control of the own vehicle, warning for the driver (warning or warning display), for example, A control signal to be released or suppressed is generated.
  • a predetermined region for example, a region where the reliability of the detection result by the rear object detection device 1A is determined to be low.
  • step S201 the three-dimensional object detection device 2A of the object recognition device 20A has been described based on FIG. 10 and FIG.
  • step S201 the position of the three-dimensional object in the three-dimensional coordinate system XYZ with the own vehicle as the origin is obtained.
  • step S202 the three-dimensional object position estimation unit 4A of the travel history calculation device 3A stores the three-dimensional object position obtained in step S201 in the three-dimensional object position information storage unit 10A in a coordinate system with the vehicle as the origin. Keep it.
  • step S203 ⁇ t seconds is determined based on information obtained from the steering angle sensor 21A, the yaw rate sensor 22A, the wheel speed sensor 23A, the navigation system 24A, and the like that constitute the vehicle travel control device 50A by the travel history calculation unit 11A. The amount of movement of the vehicle is estimated.
  • the processing in step S203 is the same as the processing in step S103 in FIG.
  • step S204 the three-dimensional object position estimation unit 4A uses the above-described equation (4) to detect the three-dimensional object position information detected by the three-dimensional object detection device 2A in the past, with the vehicle at the current time as the origin.
  • the coordinate system is converted into a coordinate system, and the position of the three-dimensional object behind the host vehicle is estimated and stored in the three-dimensional object position information storage unit 10A.
  • step S205 the rear object detection device 1A detects a rear object (such as a target vehicle) including the rear side, and obtains the position coordinates (P, Q) and the like of the target vehicle.
  • the processing in step S205 is the same as the processing in step S105 in FIG.
  • the relative position calculation unit 5A obtains the relative position between the three-dimensional object position information stored in step S204 and the target vehicle detected in step S205. More specifically, as described above, the rear object detection device 1A detects the target vehicle, and the position (P, Q) of the target vehicle in the XY plane of the three-dimensional coordinate system with the own vehicle as the origin. When the three-dimensional object position information stored in the three-dimensional object position information storage unit 10A is selected, the three-dimensional object position information of the two points closest in the traveling direction (Y-axis direction) of the host vehicle is selected. The relative position of the target vehicle with respect to the three-dimensional object can be estimated by obtaining the distance in the X direction between the positions of the representative points of the two closest three-dimensional objects in the Y-axis direction and the target vehicle.
  • step S207 it is determined whether or not the target vehicle behind the host vehicle is in an area (lane) that should be an alarm target. Usually, the determination is made based on the position where the target vehicle is located with respect to the own vehicle. However, when the lane position information as described in the first embodiment is acquired, the lane (the own vehicle) is the target vehicle. It is possible to accurately determine whether the vehicle is traveling in the lane in which the vehicle travels, the lane on the right, the lane on the left, or a lane that is two or more lanes away.
  • step S208 based on the information on the relative position of the target vehicle with respect to the three-dimensional object obtained in step S206, FIG. Whether or not the vehicle detected by the rear object detection device 1A exists in an area where the reliability of the detection result by the rear object detection device 1A is determined to be low by the method described based on FIG. It is determined whether or not the vehicle detected by the detection device 1A is a vehicle erroneously detected due to the influence of a three-dimensional object.
  • step S208 When it is determined in step S208 that the vehicle detected by the rear object detection device 1A is not a vehicle erroneously detected due to the influence of a three-dimensional object, in step S209, the position and speed of the target vehicle (for example, It is determined whether or not an alarm should actually be output from the information on whether or not the target vehicle approaches the host vehicle.
  • step S209 When it is determined in step S209 that an alarm should actually be output, a control signal is generated by the control unit 25A to generate an alarm in step S210.
  • the processes in steps S209 and S210 are the same as the processes in steps S108 and S109 in FIG.
  • the stereo that images the environment ahead of the host vehicle is captured.
  • a three-dimensional object in front of the host vehicle is detected based on a plurality of images captured by the camera 8A, and a position of the three-dimensional object behind the host vehicle is estimated based on the detected three-dimensional object and the traveling history of the host vehicle.
  • FIG. 16 is a block diagram which shows the structure of Embodiment 3 of the vehicle travel control apparatus using the object recognition apparatus based on this invention.
  • the vehicle travel control device 50B according to the third embodiment shown in FIG. 16 detects a lane behind the host vehicle using a camera that images the environment behind the host vehicle with respect to the vehicle travel control device 50 according to the first embodiment described above.
  • the other configuration is the same as that of the vehicle travel control device 50 of the first embodiment. Therefore, hereinafter, only the configuration different from the vehicle travel control device 50 of the first embodiment will be described in detail, and the same reference numerals are given to the same configurations as those of the first embodiment, and the detailed description thereof will be omitted.
  • the object recognition device 20B of the vehicle travel control device 50B includes a rear object detection device 1B, a lane detection device 2B, and a travel history calculation device 3B, as with the vehicle travel control device 50 of the first embodiment.
  • a camera (imaging unit) 8B in the lane detection device 2B is attached toward the rear of the host vehicle (see FIG. 18).
  • the lane detection device 2B is for detecting a lane (lane in which the vehicle travels) behind the host vehicle.
  • the lane detection device 2B is arranged at the rear of the host vehicle and captures an environment behind the host vehicle ( (Rear camera) (imaging unit) 8B, and a lane detection unit 9B that detects a lane behind the host vehicle based on an image captured by the camera 8B.
  • the camera 8B is composed of, for example, a CMOS camera, and is attached to the host vehicle so as to have an optical axis that is directed rearward and obliquely downward. As shown in FIG. 17, the camera 8B is within a range of about 10 m behind the host vehicle. The surrounding environment including the road is imaged, and the captured image is transmitted to the lane detecting unit 9B.
  • the detection area (imaging area) Ac of the camera 8B is smaller than the detection areas Aa, Ab of the radio wave radar 7B (7aB, 7bB) constituting the rear object detection apparatus 1B.
  • the lane detection unit 9B performs, for example, binarization processing or feature point extraction processing based on the image captured by the camera 8B, and from the image, road lane markings on the road (white lines, yellow lines, broken lines, botsdots, etc.) ) Pixels (road lane line candidate points) that are presumed to fall under the above are selected, and the consecutive line of the selected road lane line candidate points are recognized as road lane lines constituting the lane.
  • the position is obtained, and information related to the position is transmitted to the lane position estimation unit 4B of the travel history calculation device 3B.
  • lane detection device 2B may be shared with various devices for lane detection used in, for example, a lane maintenance assist device (also referred to as lane keep assist), a lane departure warning device (also referred to as lane departure warning), and the like.
  • a lane maintenance assist device also referred to as lane keep assist
  • a lane departure warning device also referred to as lane departure warning
  • the travel history computation unit 11B of the travel history computation device 3B calculates the coordinate system X (n) ⁇ with the origin at the center of the vehicle at time t (n) by the same calculation as that described with reference to FIG. 4 in the first embodiment.
  • the own vehicle V The change in the direction of S is also obtained by calculation of a procedure similar to the procedure described in Equation (2) in Embodiment 1, and the calculation results are transmitted to the three-dimensional object position estimation unit 4B.
  • the lane position estimation unit 4B calculates the lane position detected in the past based on the information obtained from the travel history calculation unit 11B by the same calculation as described with reference to FIG. 4 in the first embodiment. It converts into the coordinate system which makes a vehicle center the origin, and memorize
  • the lane position estimation unit 4B first stores the lane position information output from the lane detection device 2B in the lane position information storage unit 10B at time t (n).
  • the position of the right road lane line that is, lane information obtained from the image captured by the camera 8B is defined as the origin at the vehicle center at time t (n).
  • Information of (xcr_1 (t (n)), ycr_1 (t (n))), (xcr_2 (t (n)), ycr_2 (t (n)))) as positions Rc1 and Rc2 in the coordinate system XY Remember.
  • FIG. 19 the position estimation unit 4B
  • the position of the left road lane line (that is, lane information) obtained from the image captured by the camera 8B is represented in the coordinate system XY with the center of the host vehicle as the origin. Coordinate information of (xcl_1 (t (n)), ycl_1 (t (n))), (xcl_2 (t (n)), ycl_2 (t (n))) is stored as the positions Lc1 and Lc2.
  • the lane position estimating unit 4B determines the positions Rc1, Rc2 of the right road lane marking and the positions Lc1, Lc2 of the left road lane marking. Using the above equation (4), the lane position is converted into position information in the coordinate system X (n + 1) -Y (n + 1) with the vehicle center at the time t (n + 1) as the origin. It memorize
  • Such conversion is performed sequentially, and at the time t (n + m), at the time t (n + m) from the positions Rc1 and Rc2 of the right road marking line detected at the time t (n).
  • the detected right road lane marking positions Rcm1 and Rcm2 are combined and the coordinate information is stored in the lane position information storage unit 10B as lane position information (see FIG. 19).
  • the lane position information storage unit uses the position information of the road lane line detected by the lane detector 2B from time t (n) to time t (n + m) as lane position information. Store to 10B.
  • the lane position information storage unit 10B accumulates and stores past lane position information. To prevent the storage capacity from overflowing, the lane position information that has passed a predetermined time or the distance from the host vehicle is a predetermined value or more. It is practically effective to sequentially delete the lane position information that has become from the lane position information storage unit 10B.
  • the lane position information is recognized every moment, and the past lane position information is used to accurately determine the lane position behind the host vehicle (the lane position behind the detection area (imaging area) Ac of the camera 8B). Can be estimated.
  • the relative position calculation unit 5B and the determination unit 6B perform the same calculation as described with reference to FIGS. 4 to 7 in the first embodiment, for example, with respect to the lane on which the target vehicle VS travels.
  • control unit 25B based on the information transmitted from the object recognition device 20B (the determination unit 6B of the travel history calculation device 3B) by the same calculation as described based on the first embodiment, the vehicle etc. It is possible to generate various control signals for controlling.
  • a radio radar 7B such as a millimeter wave radar having a larger detection range behind the host vehicle than the camera 8B is used to detect an object existing behind the host vehicle including an oblique rear side.
  • the lane behind the host vehicle is detected based on the image captured by the camera 8B that captures the environment behind the host vehicle, and the rear of the host vehicle based on the detected lane and the travel history of the host vehicle (In particular, by estimating the position of the lane in the detection area (imaging area) Ac of the camera 8B and calculating the relative position of the object existing behind the host vehicle with respect to the estimated position of the lane, Even when the lane is changed, it is possible to accurately and quickly recognize the position of an object that exists behind the host vehicle including the diagonally rear, particularly the lane in which the object is located.
  • Embodiment 1, Embodiment 2, and Embodiment 3 were demonstrated separately in the above, it combined with any of them, and was imaged with the camera which images the environment ahead or back of the own vehicle. Based on the image, lanes and three-dimensional objects in front or rear of the host vehicle are detected, and the positions of the lanes and three-dimensional objects in the rear of the host vehicle are estimated based on the detected lanes and three-dimensional objects and the travel history of the host vehicle. By calculating the relative position of the object existing behind the host vehicle with respect to the estimated lane and the position of the three-dimensional object, the position of the object existing behind the host vehicle including the diagonally rear side, particularly the lane where the object is positioned It can be recognized more precisely.
  • the mode in which the speed information of the host vehicle is acquired using the wheel speed sensor has been described.
  • the speed information of the host vehicle is acquired by means or devices other than the wheel speed sensor. Of course, it is also good.
  • a three-dimensional object may be detected using a monocular camera.
  • Embodiment 3 a mode was described in which a monocular camera was attached facing backwards to detect a lane behind the host vehicle.
  • a stereo camera composed of a plurality of cameras was attached facing rearward and installed behind the host vehicle.
  • a lane or a three-dimensional object may be detected, and the position of the lane or the three-dimensional object behind the host vehicle (in particular, behind the detection area (imaging area) of the stereo camera) may be estimated based on the detection result.
  • the present invention is not limited to Embodiments 1 to 3 described above, and includes various modifications.
  • the first to third embodiments described above are described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Abstract

電波レーダを用いて自車両の斜め後方を含む後方に存在する物体を検知する車両においては、カーブ走行時や車線変更時に自車両の斜め後方を含む後方に存在する物体の位置を精緻に認識することでのできる物体認識装置及びそれを用いた車両走行制御装置を提供する。 自車両前方の環境を撮像する撮像部８と、撮像部８で撮像された画像に基づいて自車両前方の車線を検知する車線検知部９と、車線検知部９で検知された車線と自車両の走行履歴とに基づいて自車両後方の車線の位置を推定する車線位置推定部４と、自車両後方に存在する物体を検知する後方物体検知部７と、車線位置推定部４で推定された車線の位置に対する後方物体検知部７で検知された物体の相対位置を算出する相対位置演算部５と、を備える。

Description

物体認識装置及びそれを用いた車両走行制御装置
　本発明は、物体認識装置及びそれを用いた車両走行制御装置に係り、特に、自車両の斜め後方を含む後方に存在する物体の位置を認識して自車両の走行を制御する車両走行制御装置に関する。
　従来、自車両の後方に存在する物体の位置を検出する技術として、例えば特許文献１に開示されている従来技術が知られている。
　特許文献１に開示されている物体位置検出装置は、道路を走行する自車両の走行位置を記憶する記憶手段と、前記自車両の後方に存在する後方物体の位置を検出する検出手段と
、前記記憶手段に記憶された前記自車両の過去の走行位置と前記検出手段によって検出された前記後方物体の位置との相対位置関係に基づいて、前記後方物体が位置する車線を推定する推定手段と、を備え、前記推定手段は、前記自車両の過去の走行位置から求められる走行軌跡と前記後方物体の位置との距離に基づいて前記後方物体が位置する車線を推定する装置である。
特開２０１０－１２７９０８号公報
　ところで、ある車線を走行する車両の運転者は、例えば前方を走行する車両を追い抜く際や右左折等に備えて車線変更を行う場合があり、そのように自車両が車線を変更した場合などには、自車両の走行位置は車線を跨いで記憶されることとなる。
　特許文献１に開示されている物体位置検出装置においては、自車両の過去の走行位置から求められる走行軌跡と後方物体の位置との距離に基づいて後方物体が位置する車線を推定するため、上記したように、自車両が車線を変更して自車両の過去の走行位置が車線を跨いで記憶された場合、図２０で示すように、自車両が走行する車線や後方物体が位置する車線を正確に把握できず、例えば自車両を運転する運転者に対して誤った警報を発生する可能性があった。また、特許文献１に開示されている物体位置検出装置においては、自車両がカーブした車線を走行する際にも、自車両が走行する車線や後方物体が位置する車線を正確に把握できない場合があり、上記したように例えば自車両を運転する運転者に対して誤った警報を発生する可能性があった。
　また、特許文献１に開示されている物体位置検出装置においては、自車両の後方に存在する後方物体の位置を検出する検出手段としてミリ波レーダを使用しているが、例えば自車両がガードレールが連続して敷設された道路を走行する場合、ミリ波レーダ等の電波レーダから出力される信号がそのガードレールで反射され、後方物体の位置、ひいては後方物体が位置する車線を正確に推定できないといった問題もあった。
　本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、自車両の斜め後方を含む後方に存在する物体の位置を精緻に認識することでのできる物体認識装置及びそれを用いた車両走行制御装置を提供することにある。
　上記する課題を解決するために、本発明に係る物体認識装置は、自車両後方に存在する物体の位置を認識する物体認識装置であって、自車両前方または後方の環境を撮像する撮像部と、前記撮像部で撮像された画像に基づいて、自車両前方または後方における車線を検知する車線検知部と、前記車線検知部で検知された車線と自車両の走行履歴とに基づいて、自車両後方における車線の位置を推定する車線位置推定部と、自車両後方に存在する物体を検知する後方物体検知部と、前記車線位置推定部で推定された車線の位置に対する前記後方物体検知部で検知された物体の相対位置を算出する相対位置演算部と、を備えることを特徴とする。
　また、本発明に係る物体認識装置は、自車両後方に存在する物体の位置を認識する物体認識装置であって、自車両前方または後方の環境を撮像する撮像部と、前記撮像部で撮像された画像に基づいて、自車両前方または後方における静止立体物を検知する立体物検知部と、前記立体物検知部で検知された静止立体物と自車両の走行履歴とに基づいて、自車両後方における静止立体物の位置を推定する立体物位置推定部と、自車両後方に存在する物体を検知する後方物体検知部と、前記立体物位置推定部で推定された静止立体物の位置に対する前記後方物体検知部で検知された物体の相対位置を算出する相対位置演算部と、を備えることを特徴とする。
　また、本発明に係る車両走行制御装置は、前記物体認識装置により認識された物体の位置に基づいて、自車両の走行を制御することを特徴とする。
　本発明によれば、自車両前方の環境を撮像する撮像部で撮像された画像に基づいて、自車両前方における車線もしくは静止立体物を検知し、検知された車線もしくは静止立体物と自車両の走行履歴とに基づいて、自車両後方における車線もしくは静止立体物の位置を推定し、推定された車線もしくは静止立体物の位置に対する自車両後方に存在する物体の相対位置を算出することにより、自車両の斜め後方を含む後方に存在する物体の位置を精緻に認識することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る物体認識装置を用いた車両走行制御装置の実施形態１の構成を示す構成図。 図１に示すカメラにより撮像された画像の一例を示す図。 自車両に対する車線及び後側方車両の位置の一例を示す図。 自車両を原点とする座標系の時間変化を説明する図。 図１に示す車線位置情報記憶部に記憶される車線位置情報の一例を示す図。 自車両に対する車線と後側方車両の位置関係の一例を示す図。 自車両に対する車線と後側方車両の位置関係の他例を示す図。 図１に示す車両走行制御装置による処理フローを説明したフローチャート。 本発明に係る物体認識装置を用いた車両走行制御装置の実施形態２の構成を示す構成図。 図９に示すステレオカメラにより撮像された画像の一例を示す図。 自車両に対する静止立体物及び後側方車両の位置の一例を示す図。 図９に示す立体物位置情報記憶部に記憶される立体物位置情報の一例を示す図。 自車両に対する静止立体物と後側方車両の位置関係の一例を示す図。 自車両に対する静止立体物と後側方車両の位置関係の他例を示す図 図９に示す車両走行制御装置による処理フローを説明したフローチャート。 本発明に係る物体認識装置を用いた車両走行制御装置の実施形態３の構成を示す構成図。 図１６に示すカメラにより撮像された画像の一例を示す図。 自車両に対する車線及び後側方車両の位置の一例を示す図。 図１６に示す車線位置情報記憶部に記憶される車線位置情報の一例を示す図。 従来技術により検知される後方物体の位置を説明した図。
　以下、本発明の実施形態を図面を参照しながら説明する。
＜実施形態１＞
　図１は、本発明に係る物体認識装置を用いた車両走行制御装置の実施形態１の構成を示す構成図である。
　図示するように、車両走行制御装置５０は、主に、自車両後方に存在する物体の位置を認識する物体認識装置２０、操舵角センサ２１、ヨーレートセンサ２２、車輪速センサ２３、ナビゲーションシステム２４、及び、物体認識装置２０により認識された物体の位置に基づいて自車両の走行等を制御する各種制御信号を生成するコントロールユニット２５を備えている。
　また、前記物体認識装置２０は、後方物体検知装置１と車線検知装置２と走行履歴演算装置３とを有する。
　後方物体検知装置１は、自車両の斜め後方（以下、後側方という）を含む後方に存在する物体（例えば、移動もしくは停止・駐車している車両（自動車やバイク、自転車等）や人等）を検知するためのものであり、例えば自車両の左右の後側部に設けられた複数の電波レーダ（後方物体検知部）７で構成される。この電波レーダ７は、自車両後方の所定範囲に電波を送信し、その範囲に存在する物体からの反射波を受信することで、自車両後方の物体の相対位置（距離、方向）および自車両に対する相対速度を検知することができる
。
　具体的には、自車両ＶＳには、例えば図３に示すように、左右それぞれの後側部に電波レーダ７ａ、７ｂが搭載され、自車両ＶＳの左後部に取付けられた電波レーダ７ａが自車両ＶＳの後左方の領域Ａａを検知領域とし、自車両ＶＳの右後部に取付けられた電波レーダ７ｂが自車両ＶＳの後右方の領域Ａｂを検知領域としている。例えば、自車両ＶＳに対して右側の隣接車線にターゲット車両ＶＴが存在する場合、電波レーダ７は、自車両ＶＳの中央を原点とする座標系Ｘ-Ｙにおけるターゲット車両ＶＴの位置（P,Q）と自車両ＶＳに対する相対速度を各電波レーダ７ａ、７ｂにより検知する。
　車線検知装置２は、自車両前方における車線（車両が走行するレーン）を検知するためのものであり、例えば自車両のウインドシールドの中央上部に配置されて自車両前方の環境を撮像するカメラ（前方カメラ）（撮像部）８と、カメラ８で撮像された画像に基づい
て自車両前方における車線を検知する車線検知部９と、で構成されている。
　カメラ８は、例えばCMOSカメラから構成され、自車両の前方かつ斜め下方に向いた光軸を有するように自車両に取付けられ、図２に示すように、自車両前方の数十ｍ以上の範囲に亘って道路等を含む周囲の環境を撮像し、撮像された画像を車線検知部９へ送信する。
　車線検知部９は、カメラ８で撮像された画像に基づいて例えば２値化処理や特徴点抽出処理を行うことにより、その画像から道路上の道路区画線（白線や黄線、破線、ボッツドッツ等）に該当すると推測される画素（道路区画線候補点）を選出し、選出した道路区画線候補点のうち連続的に並んだものを、車線を構成する道路区画線であると認識してその位置を求め、その位置に関する情報を走行履歴演算装置３の車線位置推定部４へ送信する
。図２では、カメラ８で撮像された画像における右側の道路区画線の位置を手前からＲ１～Ｒ３、左側の道路区画線の位置を手前からＬ１～Ｌ３で示し、図３では、図２に示すこれらの道路区画線の位置について、自車両の中央を原点とする上方から見た座標系Ｘ-Ｙ
における位置をR1：(xr_1,yr_1), R2：(xr_2,yr_2), R3：(xr_3,yr_3), L1：(xl_1,yl_1)
, L2：(xl_2,yl_2),L3： (xl_3,yl_3)でそれぞれ示している。なお、図２及び図３では、道路区画線の位置を右側と左側のそれぞれについて３点求めた例を示しているが、２点以下または４点以上求める場合や、直線や曲線で近似する場合も同様である。
　また、道路区画線あるいはその道路区画線により画定される車線を認識する手法は種々の手法が開発されており、例えば、路肩や中央分離帯をパターンマッチング等の手法により抽出する手法を加味することも可能である。また、車線検知装置２は、例えば車線維持支援装置（レーンキープアシストともいう）や車線逸脱警報装置（レーンデパーチャーワーニングともいう）等に用いられる車線検知用の各種装置と共用してもよいことは勿論である。
　走行履歴演算装置３は、前記後方物体検知装置１や車線検知装置２から送信される情報に基づいて自車両の後方に存在する物体の位置等を算出し、自車両の走行制御に要する情報をコントロールユニット２５へ出力するものであり、主に、走行履歴演算部１１と、車線位置推定部４と、車線位置情報記憶部１０と、相対位置演算部５と、判断部６と、で構成されている。
　走行履歴演算部１１は、車両走行制御装置５０を構成する操舵角センサ２１、ヨーレートセンサ２２、車速センサとしての車輪速センサ２３、ナビゲーションシステム２４などから得られる情報に基づいて、自車両の走行履歴を算出し、その算出結果を車線位置推定部４へ送信する。
　具体的には、図４に示すように、時刻t(n)における自車両中央を原点とする座標系をＸ
 (n)-Ｙ(n)、時刻t(n+1)における自車両中央を原点とする座標系をＸ(n+1)-Ｙ(n+1)とし
、時刻t(n)における自車両ＶＳの速度をVn、その進行方向をθnとするとき、Δt=(t(n+1)
-t (n))の間の自車両ＶＳの位置の変化量(Δx、Δy)は以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　次に、時刻t(n+1)=t(n)+Δtのときの自車両ＶＳの方向（向き）を考える。操舵角セン
サ２１やヨーレートセンサ２２によって推定される時刻t(n)における自車両ＶＳの回転角速度をωnとすると、時刻t(n+1)における自車両ＶＳの進行方向θn+1は以下の式（２）で
推定される。
Figure JPOXMLDOC01-appb-M000002
　また、時刻t(n)における自車両中央を原点とする座標系Ｘ(n)-Ｙ(n)と時刻t(n+1)にお
ける自車両中央を原点とする座標系Ｘ(n+1)-Ｙ(n+1)とのなす角Δθnは、以下の式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、時々刻々における自車両ＶＳの速度Vnは、車輪速センサ２３やナビゲーションシステム２４などによって求められ、自車両ＶＳの進行方向θnや回転角速度ωnは、操舵角センサ２１やヨーレートセンサ２２、ナビゲーションシステム２４などによって求められる。
　車線位置推定部４は、上記した走行履歴演算部１１における関係式に基づいて、車線検知装置２から出力される車線位置情報（道路区画線位置に相当）を、その時刻における自車両中央を原点とする座標系へと変換し、その変換結果を車線位置情報記憶部１０へ記憶する。その際の座標系の変換について、地面に固定されたポイントＰが、時刻t(n)における自車両中央を原点とする座標系Ｘ(n)-Ｙ(n)から時刻t(n+1)における座標系Ｘ(n+1)-Ｙ(n+1)へ変換されることを考え、時刻t(n)における座標系でのポイントＰの座標を(x(t(n)),y(t(n)))とし、時刻t(n+1)におけるポイントＰの座標を(x(t(n+1)),y(t(n+1)))とすると、これらの座標の関係は以下の式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
　このように、車線位置推定部４は、過去に検知された車線位置を、走行履歴演算部１１から得られる情報に基づいて、その時刻における自車両中央を原点とする座標系へと変換し、その変換結果を車線位置情報記憶部１０へ記憶する。また、それと同時に、車線位置推定部４は、車線検知装置２から現時点での車線位置情報を取得して車線位置情報記憶部１０へ追加して記憶する。
　具体的には、車線位置推定部４は、図５に示すように、まず、時刻t(n)において、車線検知装置２から出力される車線位置情報を車線位置情報記憶部１０へ記憶する。例えば、図２及び図３に示したように、カメラ８で撮像された画像から求められた右側の道路区画線の位置（すなわち車線情報）を、時刻t(n)における自車両中央を原点とする座標系Ｘ-Ｙにおける位置Ｒ１～Ｒ３として(xr_1(t(n)),yr_1(t(n))),(xr_2(t(n)),yr_2(t(n))),(xr_3(t(n)),yr_3(t(n)))の座標情報を記憶する。同様に、図５では記載していないが、カメラ８で撮像された画像から求められた左側の道路区画線の位置（すなわち車線情報）を、自車両中央を原点とする座標系Ｘ-Ｙにおける位置Ｌ１～Ｌ３として(xl_1(t(n)),yl_1(t(n))),(xl_2(t(n)),yl_2(t(n))),(xl_3(t(n)),yl_3(t(n)))の座標情報を記憶する。
　次に、時刻がt(n)からt(n+1)に進んだときには、車線位置推定部４は、右側の道路区画線の位置Ｒ１～Ｒ３および左側の道路区画線の位置Ｌ１～Ｌ３を、式（４）を用いて時刻t(n+1)における自車両中央を原点とする座標系Ｘ(n+1)-Ｙ(n+1)での位置情報に変換して車線位置情報記憶部１０へ記憶する。
　このような変換を逐次行い、時刻t(n+m)の時点では、時刻t(n)のときに検出した右側の道路区画線の位置Ｒ１～Ｒ３から時刻t(n+m)のときに検出した右側の道路区画線の位置Ｒm１～Ｒm３までを合わせて、その座標情報を車線位置情報として車線位置情報記憶部１０へ記憶する（図５参照）。同様に、左側の道路区画線についても、時刻t(n)から時刻t(n+
m)までに車線検知装置２により検出された道路区画線の位置情報を車線位置情報として車線位置情報記憶部１０へ記憶する。
　なお、車線位置情報記憶部１０は、過去の車線位置情報を蓄積して記憶するが、記憶容量のオーバーフローを防ぐために、所定の時間以上経過した車線位置情報や自車両からの距離が所定値以上となった車線位置情報は、当該車線位置情報記憶部１０から逐次削除することが実用上有効である。
　このように、車線位置情報を時々刻々で認識し、過去の車線位置情報を用いることで、自車両後方の車線位置を正確に推定することができる。
　相対位置演算部５は、車線位置情報記憶部１０に記憶された自車両後方の車線の位置に対して、後方物体検知装置１で検知された物体の相対位置を算出するものである。
　具体的には、後方物体検知装置１が図６や図７に示すようにターゲット車両ＶＴを検知すると共に、自車両中央を原点とする座標系Ｘ-Ｙにおけるターゲット車両ＶＴの位置（P,Q）と自車両ＶＳに対する相対速度を検知した場合、相対位置演算部５は、車線位置
情報記憶部１０に記憶された車線位置情報から、自車両ＶＳの進行方向（Ｙ軸方向）で最も近い２点（左右の道路区画線の各２点）を選出する。図６や図７では、右側の道路区画線の位置Ｒn１、Ｒn２、及び、左側の道路区画線の位置Ｌn１、Ｌn２の車線位置情報がＹ軸方向で最も近い点となっている。そして、相対位置演算部５は、右側の道路区画線位置の２点Ｒn１、Ｒn２を結ぶ直線を求め、この直線のターゲット車両ＶＴのＹ軸方向の位置に相当する場所におけるＸ方向の距離xr_npを求め、距離xr_npの値とターゲット車両ＶＴのＸ軸方向の値Pとの大小関係を算出し、その算出結果を判断部６へ送信する。
　判断部６は、相対位置演算部５から送信された大小関係に基づいて、後方物体検知装置１で検知された物体が所定の車線（例えば、警告を発するべき車線）に存在するか否かを判断する。
　具体的には、判断部６は、相対位置演算部５から送信された大小関係に基づいて、例えば図６に示すように、ターゲット車両ＶＴが右側の道路区画線の内側に存在するかあるいは外側に存在するかを判断し、その判断結果をコントロールユニット２５へ送信する。なお、図６では、ターゲット車両ＶＴのＸ軸方向の値Pが右側の道路区画線までの距離xr_npよりも大きい例、すなわち、ターゲット車両ＶＴが右側の隣接車線に存在する例を示しており、上記した演算により、ターゲット車両ＶＴが自車両ＶＳが走行する車線に対して右側の隣接車線に存在すると判断できる。
　一方、図７では、ターゲット車両ＶＴのＸ軸方向の値Pが右側の道路区画線までの距離xr_npよりも小さい例を示しており、この場合には、上記と同様の演算を左側の道路区画
線に対しても続いて行うことで、ターゲット車両ＶＴが自車両ＶＳが走行する車線と同じ車線内の後方に存在するか否かを判定できる。
　コントロールユニット２５は、物体認識装置２０（の走行履歴演算装置３の判断部６）から送信された情報に基づいて、自車両の走行等を制御する各種制御信号を生成する。
　具体的には、コントロールユニット２５は、判断部６により後方物体検知装置１で検知された物体が所定の車線（例えば、警告を発するべき車線）に存在すると判断された場合
、例えば、操舵を制御（規制）する制御信号や、自車両の車速を制御する制御信号、運転者に対して警告（警報やコントロールパネル等への警告表示）を発するための制御信号等を生成し、そのような制御信号を適宜の車載装置へ送信する。
　以上の車両走行制御装置５０による一連の処理の流れを図８を参照して説明すると、まず、ステップS101では、物体認識装置２０の車線検知装置２により、図２及び図３に基づき説明した手法により、自車両を原点とする上方から見た座標系Ｘ‐Ｙにおける車線位置を求める。
　次に、ステップS102では、走行履歴演算装置３の車線位置推定部４により、ステップS1
01で求めた車線位置を、自車両を原点とする座標系で車線位置情報記憶部１０に記憶しておく。
　次に、ステップS103では、走行履歴演算部１１により、車両走行制御装置５０を構成する操舵角センサ２１、ヨーレートセンサ２２、車輪速センサ２３、ナビゲーションシステム２４などから得られる情報に基づいて、Δt秒間の自車両の移動量を推定し、上記した
式（１）から式（３）を用いて、時刻t(n)における自車両を原点とする座標系Ｘ(n)-Ｙ(n
)及び時刻t(n+1)における自車両を原点とする座標系Ｘ(n+1)-Ｙ(n+1)を求める。
　次に、ステップS104では、車線位置推定部４により、上記した式（４）を用いて、過去に車線検知装置２で検出した車線位置情報を、現在の時刻における自車両を原点とする座標系へと変換し、自車両後方の車線位置を推定して車線位置情報記憶部１０へ記憶する。
　次に、ステップS105では、後方物体検知装置１により、後側方を含む後方の物体（ターゲット車両等）を検知し、そのターゲット車両の位置座標（P,Q）等を求める。
　次に、ステップS106では、相対位置演算部５により、ステップS104で記憶された車線位置情報とステップS105で検知されたターゲット車両との相対位置を求める。より具体的には、上記したように、後方物体検知装置１がターゲット車両を検知すると共に、自車両を原点とする座標系Ｘ-Ｙにおけるターゲット車両の位置（P,Q）等を検知した場合、車線位置情報記憶部１０に記憶された車線位置情報から、自車両の進行方向（Ｙ軸方向）で最も近い２点の車線位置情報を選出する。これらのＹ軸方向で最も近い２点の車線位置とターゲット車両とのＸ方向の距離を求めることで、車線に対するターゲット車両の相対位置を推定することが可能となる。
　次に、ステップS107では、判断部６により、ステップS106で求めた車線に対するターゲット車両の相対位置の情報に基づいて、自車両後方のターゲット車両がどの車線（自車両が走行する車線、右隣の車線、左隣の車線、または２車線以上離れた車線）を走行しているかを判定する。具体的には、ターゲット車両が警報対象とすべき領域（車線）に存在するか否かを判断し、ターゲット車両が警報対象とすべき領域（車線）に存在すると判断されたときは、ステップS108において、ターゲット車両の位置と速度（例えば、ターゲット車両が自車両に近づくか否か）との情報から実際に警報を出力すべきか否かを判断する。
　そして、ステップS108で実際に警報を出力すべきと判断したときは、ステップS109において、コントロールユニット２５により制御信号を生成して警報を発生する。
　なお、これらの一連の処理は、ΔT秒経過する毎に繰り返される。
　このように、本実施形態１では、ミリ波レーダ等の電波レーダ７を用いて自車両の斜め後方を含む後方に存在する物体を検知する車両において、自車両前方の環境を撮像するカメラ８で撮像された画像に基づいて、自車両前方における車線を検知し、検知された車線と自車両の走行履歴とに基づいて、自車両後方における車線の位置を推定し、推定された車線の位置に対する自車両後方に存在する物体の相対位置を算出することにより、カーブ走行時や車線変更時においても、自車両の斜め後方を含む後方に存在する物体の位置、特にその物体が位置する車線を精緻に認識することができる。
＜実施形態２＞
　図９は、本発明に係る物体認識装置を用いた車両走行制御装置の実施形態２の構成を示す構成図である。
　図９に示す実施形態２の車両走行制御装置５０Ａは、上記した実施形態１の車両走行制御装置５０に対して、自車両前方の静止立体物（以下では単に立体物という）を検知する点が相違しており、その他の構成は実施形態１の車両走行制御装置５０と同様である。したがって、以下では、実施形態１の車両走行制御装置５０と異なる構成のみを詳述し、実施形態１と同様の構成には同様の符号を付してその詳細な説明は省略する。
　図示するように、車両走行制御装置５０Ａの物体認識装置２０Ａは、後方物体検知装置１Ａと立体物検知装置２Ａと走行履歴演算装置３Ａとを有する。
　立体物検知装置２Ａは、自車両前方における立体物（例えば、車線に沿って敷設されたガードレールや壁等）を検知するためのものであり、例えば自車両のウインドシールドの中央上部に配設されて自車両前方の環境を撮像する複数のカメラ（前方カメラ）からなるステレオカメラ８Ａと、ステレオカメラ８Ａで撮像された複数の画像に基づいて自車両前方における立体物を検知する立体物検知部９Ａと、で構成されている。
　ステレオカメラ８Ａを構成する各カメラは、図１０に示すように、前方を走行する先行車両ＶＰや路側の立体物であるガードレールＧＲ等を含む周囲の環境を撮像し、撮像された画像を立体物検知部９Ａへ送信する。
　立体物検知部９Ａは、ステレオカメラ８Ａで撮像された左右の画像情報に基づいて、左右の画像の視差を求め、立体物の存在を検知すると共に自車両から立体物までの距離を計算する。また、求められた距離情報を用いて、地上からの高さ情報を含む立体物の大きさを求め、それらの各種情報を走行履歴演算装置３Ａの立体物位置推定部４Ａへ送信する。図１０では、ステレオカメラ８Ａで撮像された画像から検知された立体物（ここではガードレールＧＲ）の代表点を手前からＧ１～Ｇ３として示し、図１１では、図１０に示すこれらの立体物の代表点の位置について、自車両を原点とする３次元の座標系Ｘ-Ｙ-Ｚにおける位置をG1：(xg_1,yg_1,zg_1), G2：(xg_2,yg_2,zg_2), G3：(xg_3,yg_3,zg_3)でそれぞれ示している。なお、図１０及び図１１では、立体物の代表点の位置を３点検出した例を示しているが、２点以下または４点以上検出する場合も同様である。また、立体物が例えば車線に沿って連続して存在する場合は、座標系のＸ-Ｙ面における直線または曲線と
して近似してもよい。
　走行履歴演算装置３Ａの走行履歴演算部１１Ａは、実施形態１における図４に基づき説明したのと同様の計算により、時刻t(n)における自車両中央を原点とする座標系Ｘ(n)-Ｙ
 (n)から時刻t(n+1)における自車両を原点とする座標系Ｘ(n+1)-Ｙ(n+1)を算出し、Δt=(
t (n+1)-t(n))の間の自車両ＶＳの位置の変化量(Δx、Δy)を算出する。また、自車両Ｖ
Ｓの方向の変化についても、実施形態１における式（２）等で説明した手順と同様の手順の計算で求め、それらの算出結果を立体物位置推定部４Ａへ送信する。
　立体物位置推定部４Ａは、走行履歴演算部１１Ａにより求められた自車両の位置の変化量等に基づいて、立体物検知装置２Ａから出力される立体物位置情報を、その時刻における自車両中央を原点とする座標系へと変換し、その変換結果を立体物位置情報記憶部１０Ａへ記憶する。その際の座標系の変換について、Ｘ-Ｙ座標系の変換は、実施形態１にお
ける式（４）で示した変換と同様であるが、本実施形態２では、自車両の位置等の変化はＸ-Ｙ平面（図示例では水平面）内の軸方向への移動とＺ軸（鉛直軸）周りでの回転であ
るため、立体物検知装置２Ａにより検出された立体物のＺ方向の情報（高さ）は座標変換の前後で同じ値を保持するものとする。
　このように、立体物位置推定部４Ａは、過去に検知された立体物位置を、走行履歴演算部１１Ａから得られる情報に基づいて、その時刻における自車両中央を原点とする座標系へと変換し、その変換結果を立体物位置情報記憶部１０Ａへ記憶する。また、それと同時に、立体物位置推定部４Ａは、立体物検知装置２Ａから現時点での立体物位置情報を取得して立体物位置情報記憶部１０Ａへ追加して記憶する。
　具体的には、立体物位置推定部４Ａは、図１２に示すように、まず、時刻t(n)において
、立体物検知装置２Ａから出力される立体物位置情報を立体物位置情報記憶部１０Ａへ記憶する。例えば、図１０及び図１１に示したように、ステレオカメラ８Ａで撮像された画像から求められた立体物の位置情報を、時刻t(n)における自車両中央を原点とする座標系Ｘ-Ｙ-Ｚにおける位置及び高さの情報Ｇ１～Ｇ３として(xg_1(t(n)),yg_1(t(n)),zg_1(t(n))), (xg_2(t(n)),yg_2(t(n)),zg_2(t(n))), 
(xr_3(t(n)),yr_3(t(n)),zg_3(t(n)))の座標情報を記憶する。
　次に、時刻がt(n)からt(n+1)に進んだときには、立体物位置推定部４Ａは、立体物の位置情報Ｇ１～Ｇ３を、上記した式（４）を用いて時刻t(n+1)における自車両中央を原点とする座標系Ｘ(n+1)-Ｙ(n+1)-Ｚ(n+1)での位置情報に変換して立体物位置情報記憶部１０Ａへ記憶する。
　このような変換を逐次行い、時刻t(n+m)の時点では、時刻t(n)のときに検出した立体物の位置情報Ｇ１～Ｇ３から時刻t(n+m)のときに検出した立体物の位置情報Ｇm１～Ｇm３までを合わせて、３次元の座標情報を立体物位置情報記憶部１０Ａへ記憶する。
　なお、立体物位置情報記憶部１０Ａは、過去の立体物位置情報を蓄積して記憶するが、記憶容量のオーバーフローを防ぐために、所定の時間以上経過した立体物位置情報や自車両からの距離が所定値以上となった立体物位置情報は、当該立体物位置情報記憶部１０Ａから逐次削除することが実用上有効である。
　このように、立体物位置情報を時々刻々で認識し、過去の立体物位置情報を用いることで、自車両後方の立体物の位置を正確に推定することができる。
　相対位置演算部５Ａは、立体物位置情報記憶部１０Ａに記憶された自車両後方の立体物の位置に対して、後方物体検知装置１Ａで検知された物体の相対位置を算出する。
　具体的には、後方物体検知装置１Ａが図１３や図１４に示すように左後方のターゲット車両ＶＴを検知すると共に、自車両中央を原点とする座標系のＸ-Ｙ面におけるターゲッ
ト車両ＶＴの位置（P2,Q2）と自車両ＶＳに対する相対速度を検知した場合、相対位置演
算部５Ａは、立体物位置情報記憶部１０Ａに記憶された立体物位置情報から、自車両ＶＳの進行方向（Ｙ軸方向）で最も近い２点を選出する。図１３では、立体物位置情報Ｇn１
、Ｇn２がＹ軸方向で最も近い点となっている。そして、相対位置演算部５Ａは、立体物
の２つの代表点の位置Ｇn１、Ｇn２を結ぶ直線を求め、この直線のターゲット車両ＶＴのＹ軸方向の位置に相当する場所におけるＸ方向の距離xg_npを求め、距離xg_npの値とターゲット車両ＶＴのＸ軸方向の値P2との大小関係を算出し、その算出結果を判断部６Ａへ送信する。
　判断部６Ａは、相対位置演算部５Ａから送信された大小関係に基づいて、後方物体検知装置１Ａで検知された物体が所定の領域（例えば、後方物体検知装置１Ａによる検知結果の信頼性が低いと判断される領域、言い換えれば、後方物体検知装置１Ａで検知された物体が立体物の影響によって誤検知された物体であると判断される領域）に存在するか否かを判断する。
　具体的には、判断部６Ａは、相対位置演算部５Ａから送信された大小関係に基づいて、例えば図１３に示すように、ターゲット車両ＶＴが立体物の内側（自車両側）に存在するかあるいは外側（自車両側とは反対側）に存在するかを判断し、その立体物が電波レーダ７Ａによるターゲット車両ＶＴの検知結果に与える影響を判断して、その判断結果をコントロールユニット２５Ａへ送信する。例えば、立体物の２つの代表点の位置情報Ｇn１、
Ｇn２に含まれる高さが、電波レーダ７Ａの取付け位置よりも高い場合、電波レーダ７Ａ
から出力される電波はその立体物の２つの代表点を結んだ線より遠方には到達しないと考えられる。図１３では、ターゲット車両ＶＴのＸ軸方向の値P2がＹ軸から立体物までの距離xg_npよりも大きい例を示しているが、このような場合には、後方物体検知装置１Ａに
よるターゲット車両ＶＴの検知結果の信頼性が低いと判断される。
　また、例えば、図１４では、自車両ＶＳの左後部に取り付けられた電波レーダ７ａＡによってターゲット車両ＶＴ'が検知され、自車両ＶＳの右後部に取り付けられた電波レー
ダ７ｂＡによってターゲット車両ＶＴが検知され、立体物位置推定部４Ａによって、立体物の３つの代表点の位置情報Ｇn１、Ｇn２、Ｇn３が得られる例を示している。このよう
な場合、電波レーダ７Ａから放射される電波は、連続した形状を有する立体物によって反射されることが予想され、電波レーダ７ｂＡによって検知されたターゲット車両ＶＴは真の情報であるが、電波レーダ７ａＡによって検知されたターゲット車両ＶＴ'は、立体物
によって電波が反射されて誤ったターゲット車両（ターゲット車両ＶＴのゴースト）を検知した情報である可能性が高いと推測される。そのため、このような場合にも、後方物体検知装置１Ａによるターゲット車両ＶＴの検知結果の信頼性が低いと判断される。
　なお、図１３及び図１４に示す例では、立体物の位置情報を点の連続として示しているが、立体物が例えば道路に沿って連続して存在する場合には、直線または曲線として近似し、その情報を３次元の座標系Ｘ-Ｙ-Ｚにおける立体物の位置情報として記憶してもよい
。
　コントロールユニット２５Ａは、物体認識装置２０Ａ（の走行履歴演算装置３Ａの判断部６Ａ）から送信された情報に基づいて、自車両の走行等を制御する各種制御信号を生成する。
　具体的には、コントロールユニット２５Ａは、判断部６Ａにより後方物体検知装置１Ａで検知された物体が所定の領域（例えば、後方物体検知装置１Ａによる検知結果の信頼性が低いと判断される領域）に存在すると判断された場合、例えば上記した実施形態１における操舵制御（規制）や、自車両の車速制御、運転者に対する警告（警報や警告表示）の必要性が低いと判断して、それらを解除もしくは抑制する制御信号を生成する。
　以上の車両走行制御装置５０Ａによる一連の処理の流れを図１５を参照して説明すると
、まず、ステップS201では、物体認識装置２０Ａの立体物検知装置２Ａにより、図１０及び図１１に基づき説明した手法により、自車両を原点とする３次元の座標系Ｘ-Ｙ-Ｚにおける立体物位置を求める。
　次に、ステップS202では、走行履歴演算装置３Ａの立体物位置推定部４Ａにより、ステップS201で求めた立体物位置を、自車両を原点とする座標系で立体物位置情報記憶部１０Ａに記憶しておく。
　次に、ステップS203では、走行履歴演算部１１Ａにより、車両走行制御装置５０Ａを構成する操舵角センサ２１Ａ、ヨーレートセンサ２２Ａ、車輪速センサ２３Ａ、ナビゲーションシステム２４Ａなどから得られる情報に基づいて、Δt秒間の自車両の移動量を推定
する。このステップS203での処理は、図８のステップS103での処理と同様である。
　次に、ステップS204では、立体物位置推定部４Ａにより、上記した式（４）を用いて、過去に立体物検知装置２Ａで検出した立体物位置情報を、現在の時刻における自車両を原点とする座標系へと変換し、自車両後方の立体物位置を推定して立体物位置情報記憶部１０Ａへ記憶する。
　次に、ステップS205では、後方物体検知装置１Ａにより、後側方を含む後方の物体（ターゲット車両等）を検知し、そのターゲット車両の位置座標（P,Q）等を求める。このス
テップS205での処理は、図８のステップS105での処理と同様である。
　次に、ステップS206では、相対位置演算部５Ａにより、ステップS204で記憶された立体物位置情報とステップS205で検知されたターゲット車両との相対位置を求める。より具体的には、上記したように、後方物体検知装置１Ａがターゲット車両を検知すると共に、自車両を原点とする３次元座標系のＸ-Ｙ面におけるターゲット車両の位置（P,Q）等を検知した場合、立体物位置情報記憶部１０Ａに記憶された立体物位置情報から、自車両の進行方向（Ｙ軸方向）で最も近い２点の立体物位置情報を選出する。これらのＹ軸方向で最も近い２点の立体物の代表点の位置とターゲット車両とのＸ方向の距離を求めることで、立体物に対するターゲット車両の相対位置を推定できる。
　次に、ステップS207では、自車両後方のターゲット車両が警報対象とすべき領域（車線
）に存在するか否かを判断する。通常は、ターゲット車両が自車両に対してどの位置に存在するかによって判断するが、実施形態１で説明したような車線位置情報が取得されている場合には、ターゲット車両がどの車線（自車両が走行する車線、右隣の車線、左隣の車線、または２車線以上離れた車線）を走行しているかを正確に判断できる。
　ステップS207でターゲット車両が警報対象とすべき領域（車線）に存在すると判断されたときは、ステップS208において、ステップS206で求めた立体物に対するターゲット車両の相対位置の情報に基づいて、図１３及び図１４に基づき説明した手法によって、後方物体検知装置１Ａで検知された車両が後方物体検知装置１Ａによる検知結果の信頼性が低いと判断される領域に存在するか否か、言い換えれば、後方物体検知装置１Ａで検知された車両が立体物の影響によって誤検知された車両であるか否かを判断する。
　ステップS208で後方物体検知装置１Ａで検知された車両が立体物の影響によって誤検知された車両でないと判断されたときは、ステップS209において、そのターゲット車両について、ターゲット車両の位置と速度（例えば、ターゲット車両が自車両に近づくか否か）との情報から実際に警報を出力すべきか否かを判断する。
　そして、ステップS209で実際に警報を出力すべきと判断したときは、ステップS210において、コントロールユニット２５Ａにより制御信号を生成して警報を発生する。このステップS209、S210での処理は、図８のステップS108、S109での処理と同様である。
　なお、これらの一連の処理は、ΔT秒経過する毎に繰り返される。
　このように、本実施形態２によれば、ミリ波レーダ等の電波レーダ７Ａを用いて自車両の斜め後方を含む後方に存在する物体を検知する車両において、自車両前方の環境を撮像するステレオカメラ８Ａで撮像された複数の画像に基づいて、自車両前方における立体物を検知し、検知された立体物と自車両の走行履歴とに基づいて、自車両後方における立体物の位置を推定し、推定された立体物の位置に対する自車両後方に存在する物体の相対位置を算出することにより、自車両の斜め後方を含む後方に存在する物体の位置、特にその物体が位置する車線を精緻に認識することができる。
＜実施形態３＞
　図１６は、本発明に係る物体認識装置を用いた車両走行制御装置の実施形態３の構成を示す構成図である。
　図１６に示す実施形態３の車両走行制御装置５０Ｂは、上記した実施形態１の車両走行制御装置５０に対して、自車両後方の環境を撮像するカメラを用いて自車両後方の車線を検知する点が相違しており、その他の構成は実施形態１の車両走行制御装置５０と同様である。したがって、以下では、実施形態１の車両走行制御装置５０と異なる構成のみを詳述し、実施形態１と同様の構成には同様の符号を付してその詳細な説明は省略する。
　図示するように、車両走行制御装置５０Ｂの物体認識装置２０Ｂは、実施形態１の車両走行制御装置５０と同様、後方物体検知装置１Ｂと車線検知装置２Ｂと走行履歴演算装置３Ｂとを有するが、この実施形態３では、車線検知装置２Ｂにおけるカメラ（撮像部）８Ｂが、自車両の後方に向けて取り付けられている（図１８参照）。
　車線検知装置２Ｂは、自車両後方における車線（車両が走行するレーン）を検知するためのものであり、例えば自車両の後部に配置されて自車両後方の環境を撮像するカメラ（
後方カメラ）（撮像部）８Ｂと、カメラ８Ｂで撮像された画像に基づいて自車両後方にお
ける車線を検知する車線検知部９Ｂと、で構成されている。
　カメラ８Ｂは、例えばCMOSカメラから構成され、自車両の後方かつ斜め下方に向いた光軸を有するように自車両に取付けられ、図１７に示すように、自車両後方の約十ｍの範囲に亘って道路等を含む周囲の環境を撮像し、撮像された画像を車線検知部９Ｂへ送信する
。なお、ここでは、カメラ８Ｂの検知領域（撮像領域）Ａｃが、後方物体検知装置１Ｂを構成する電波レーダ７Ｂ（７ａＢ、７ｂＢ）の検知領域Ａａ、Ａｂよりも小さく、より詳細には、電波レーダ７Ｂ（７ａＢ、７ｂＢ）の自車両後方への検知領域Ａａ、Ａｂが、カメラ８Ｂの自車両後方への検知領域（撮像領域）Ａｃよりも大きく、電波レーダ７Ｂ（７ａＢ、７ｂＢ）によって、カメラ８Ｂよりも自車両からより後方（特に、後側方）に存在する物体を検知できるものとする（図１８参照）。
　車線検知部９Ｂは、カメラ８Ｂで撮像された画像に基づいて例えば２値化処理や特徴点抽出処理を行うことにより、その画像から道路上の道路区画線（白線や黄線、破線、ボッツドッツ等）に該当すると推測される画素（道路区画線候補点）を選出し、選出した道路区画線候補点のうち連続的に並んだものを、車線を構成する道路区画線であると認識してその位置を求め、その位置に関する情報を走行履歴演算装置３Ｂの車線位置推定部４Ｂへ送信する。図１７では、カメラ８Ｂで撮像された画像における右側（車両の進行方向に視て右側）の道路区画線の位置を手前からＲｃ１、Ｒｃ２、左側（車両の進行方向に視て左側）の道路区画線の位置を手前からＬｃ１、Ｌｃ２で示し、図１８では、図１７に示すこれらの道路区画線の位置について、自車両の中央を原点とする上方から見た座標系Ｘ-Ｙ
における位置をRc1：(xcr_1,ycr_1), Rc2：(xcr_2,ycr_2), Lc1：(xcl_1,ycl_1), Lc2：(xcl_2,ycl_2)でそれぞれ示している。なお、図１７及び図１８では、道路区画線の位置
を右側と左側のそれぞれについて２点求めた例を示しているが、１点または３点以上求める場合や、直線や曲線で近似する場合も同様である。
　また、道路区画線あるいはその道路区画線により画定される車線を認識する手法は種々の手法が開発されており、例えば、路肩や中央分離帯をパターンマッチング等の手法により抽出する手法を加味することも可能である。また、車線検知装置２Ｂは、例えば車線維持支援装置（レーンキープアシストともいう）や車線逸脱警報装置（レーンデパーチャーワーニングともいう）等に用いられる車線検知用の各種装置と共用してもよいことは勿論である。
　走行履歴演算装置３Ｂの走行履歴演算部１１Ｂは、実施形態１における図４に基づき説明したのと同様の計算により、時刻t(n)における自車両中央を原点とする座標系Ｘ(n)-Ｙ
 (n)から時刻t(n+1)における自車両を原点とする座標系Ｘ(n+1)-Ｙ(n+1)を算出し、Δt=(
t (n+1)-t(n))の間の自車両ＶＳの位置の変化量(Δx、Δy)を算出する。また、自車両Ｖ
Ｓの方向の変化についても、実施形態１における式（２）等で説明した手順と同様の手順の計算で求め、それらの算出結果を立体物位置推定部４Ｂへ送信する。
　車線位置推定部４Ｂは、実施形態１における図４に基づき説明したのと同様の計算により、過去に検知された車線位置を、走行履歴演算部１１Ｂから得られる情報に基づいて、その時刻における自車両中央を原点とする座標系へと変換し、その変換結果を車線位置情報記憶部１０Ｂへ記憶する。また、それと同時に、車線位置推定部４Ｂは、車線検知装置２Ｂから現時点での車線位置情報を取得して車線位置情報記憶部１０Ｂへ追加して記憶する。
　具体的には、車線位置推定部４Ｂは、図１９に示すように、まず、時刻t(n)において、車線検知装置２Ｂから出力される車線位置情報を車線位置情報記憶部１０Ｂへ記憶する。例えば、図１７及び図１８に示したように、カメラ８Ｂで撮像された画像から求められた右側の道路区画線の位置（すなわち車線情報）を、時刻t(n)における自車両中央を原点とする座標系Ｘ-Ｙにおける位置Ｒｃ１、Ｒｃ２として(xcr_1(t(n)),ycr_1(t(n))),(xcr_2(t(n)),ycr_2(t(n)))の座標情報を記憶する。同様に
、図１９では記載していないが、カメラ８Ｂで撮像された画像から求められた左側の道路区画線の位置（すなわち車線情報）を、自車両中央を原点とする座標系Ｘ-Ｙにおける位
置Ｌｃ１、Ｌｃ２として(xcl_1(t(n)), ycl_1(t(n))),(xcl_2(t(n)),ycl_2(t(n)))の座標情報を記憶する。
　次に、時刻がt(n)からt(n+1)に進んだときには、車線位置推定部４Ｂは、右側の道路区画線の位置Ｒｃ１、Ｒｃ２および左側の道路区画線の位置Ｌｃ１、Ｌｃ２を、上記した式（４）を用いて時刻t(n+1)における自車両中央を原点とする座標系Ｘ(n+1)-Ｙ(n+1)での
位置情報に変換して車線位置情報記憶部１０Ｂへ記憶する。
　このような変換を逐次行い、時刻t(n+m)の時点では、時刻t(n)のときに検出した右側の道路区画線の位置Ｒｃ１、Ｒｃ２から時刻t(n+m)のときに検出した右側の道路区画線の位置Ｒｃm１、Ｒｃm２までを合わせて、その座標情報を車線位置情報として車線位置情報記憶部１０Ｂへ記憶する（図１９参照）。同様に、左側の道路区画線についても、時刻t(n)から時刻t(n+m)までに車線検知装置２Ｂにより検出された道路区画線の位置情報を車線位置情報として車線位置情報記憶部１０Ｂへ記憶する。
　なお、車線位置情報記憶部１０Ｂは、過去の車線位置情報を蓄積して記憶するが、記憶容量のオーバーフローを防ぐために、所定の時間以上経過した車線位置情報や自車両からの距離が所定値以上となった車線位置情報は、当該車線位置情報記憶部１０Ｂから逐次削除することが実用上有効である。
　このように、車線位置情報を時々刻々で認識し、過去の車線位置情報を用いることで、自車両後方の車線位置（カメラ８Ｂの検知領域（撮像領域）Ａｃよりも後方の車線位置）を正確に推定することができる。
　相対位置演算部５Ｂ、及び、判断部６Ｂは、実施形態１における図４から図７に基づき説明したのと同様の計算により、例えば、後方のターゲット車両ＶＴが自車両ＶＳが走行する車線に対して右側の隣接車線に存在するか（図６参照）、又は、ターゲット車両ＶＴ
が自車両ＶＳが走行する車線と同じ車線内の後方に存在するか（図７参照）を判定する。
　コントロールユニット２５Ｂについても、実施形態１に基づき説明したのと同様の計算により、物体認識装置２０Ｂ（の走行履歴演算装置３Ｂの判断部６Ｂ）から送信された情報に基づいて、自車両の走行等を制御する各種制御信号を生成することができる。
　なお、実施形態３の車両走行制御装置５０Ｂによる一連の処理の流れは、実施形態１の車両制御装置５０による一連の処理の流れとほぼ同様であるため、その詳細な説明は省略する。
　このように、本実施形態３では、例えばカメラ８Ｂよりも自車両後方への検知範囲の大きいミリ波レーダ等の電波レーダ７Ｂを用いて自車両の斜め後方を含む後方に存在する物体を検知する車両において、自車両後方の環境を撮像するカメラ８Ｂで撮像された画像に基づいて、自車両後方における車線を検知し、検知された車線と自車両の走行履歴とに基づいて、自車両後方（特に、カメラ８Ｂの検知領域（撮像領域）Ａｃよりも後方）における車線の位置を推定し、推定された車線の位置に対する自車両後方に存在する物体の相対位置を算出することにより、カーブ走行時や車線変更時においても、自車両の斜め後方を含む後方に存在する物体の位置、特にその物体が位置する車線を精緻に且つ迅速に認識することができる。
　なお、上記では、実施形態１と実施形態２と実施形態３を別個に説明したが、それらのうちのいずれかを組み合わせて使用し、自車両前方または後方の環境を撮像するカメラで撮像された画像に基づいて、自車両前方または後方における車線及び立体物を検知し、検知された車線及び立体物と自車両の走行履歴とに基づいて、自車両後方における車線及び立体物の位置を推定し、推定された車線及び立体物の位置に対する自車両後方に存在する物体の相対位置を算出することで、自車両の斜め後方を含む後方に存在する物体の位置、特にその物体が位置する車線をより精緻に認識することができる。
　また、上記した実施形態１～３では、車輪速センサを使用して自車両の速度情報を取得する形態について説明したが、車輪速センサ以外の手段もしくは装置により自車両の速度情報を取得してもよいことは勿論である。
　また、上記した実施形態２では、複数のカメラからなるステレオカメラを用いて立体物を検知する形態について説明したが、単眼カメラを利用して立体物を検知してもよい。
　さらに、上記した実施形態３では、単眼カメラを後方に向けて取り付けて自車両後方の車線を検知する形態について説明したが、複数のカメラからなるステレオカメラを後方に向けて取り付けて自車両後方の車線または立体物を検知し、その検知結果に基づいて自車両後方（特に、ステレオカメラの検知領域（撮像領域）よりも後方）における車線の位置または立体物の位置を推定してもよい。
　なお、本発明は上記した実施形態１～３に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態１～３は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また
、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である
。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１、１Ａ、１Ｂ…　後方物体検知装置
　２、２Ｂ　…　車線検知装置
　２Ａ…　立体物検知装置
　３、３Ａ、３Ｂ…　走行履歴演算装置
　４、４Ｂ　…　車線位置推定部
　４Ａ…　立体物位置推定部
　５、５Ａ、５Ｂ…　相対位置演算部
　６、６Ａ、６Ｂ…　判断部
　７、７Ａ、７Ｂ…　電波レーダ（後方物体検知部）
　８　…　前方カメラ（撮像部）
　８Ａ…　ステレオカメラ（撮像部）
　８Ｂ…　後方カメラ（撮像部）
　９、９Ｂ　…　車線検知部
　９Ａ…　立体物検知部
　１０、１０Ｂ…　車線位置情報記憶部
　１０Ａ…　立体物位置情報記憶部
　１１、１１Ａ、１１Ｂ…　走行履歴演算部
　２０、２０Ａ、２０Ｂ…　物体認識装置
　２１、２１Ａ、２１Ｂ…　操舵角センサ
　２２、２２Ａ、２２Ｂ…　ヨーレートセンサ
　２３、２３Ａ、２３Ｂ…　車輪速センサ
　２４、２４Ａ、２４Ｂ…　ナビゲーションシステム
　２５、２５Ａ、２５Ｂ…　コントロールユニット
　ＧＲ…　ガードレール
　ＶＰ…　先行車両
　ＶＳ…　自車両
　ＶＴ…　ターゲット車両

Claims (15)

  1. 　自車両後方に存在する物体の位置を認識する物体認識装置であって、
    　自車両前方または後方の環境を撮像する撮像部と、
    　前記撮像部で撮像された画像に基づいて、自車両前方または後方における車線を検知する車線検知部と、
    　前記車線検知部で検知された車線と自車両の走行履歴とに基づいて、自車両後方における車線の位置を推定する車線位置推定部と、
    　自車両後方に存在する物体を検知する後方物体検知部と、
    　前記車線位置推定部で推定された車線の位置に対する前記後方物体検知部で検知された物体の相対位置を算出する相対位置演算部と、を備えることを特徴とする物体認識装置。
  2. 　前記車線検知部は、前記撮像部で撮像された画像から自車両前方または後方における道路区画線を抽出して前記自車両前方または後方における車線を検知することを特徴とする
    、請求項１に記載の物体認識装置。
  3. 　前記撮像部は、単眼カメラで構成されることを特徴とする、請求項１に記載の物体認識装置。
  4. 　前記物体認識装置は、車速センサ、ヨーレートセンサ、操舵角センサ、ナビゲーションシステムから選択される少なくとも一つから得られる情報に基づいて、前記自車両の走行履歴を算出する走行履歴演算部を更に備えることを特徴とする、請求項１に記載の物体認識装置。
  5. 　前記後方物体検知部は、電波レーダで構成されることを特徴とする、請求項１に記載の物体認識装置。
  6. 　前記物体認識装置は、前記相対位置演算部で算出された物体の相対位置に基づいて、前記物体が所定の車線に存在するか否かを判断する判断部を更に備えることを特徴とする、請求項１に記載の物体認識装置。
  7. 　請求項６に記載の物体認識装置により認識された物体の位置に基づいて、自車両の走行を制御することを特徴とする車両走行制御装置。
  8. 　前記判断部により前記物体が所定の車線に存在すると判断した際に警告を発生するようになっていることを特徴とする、請求項７に記載の車両走行制御装置。
  9. 　自車両後方に存在する物体の位置を認識する物体認識装置であって、
    　自車両前方または後方の環境を撮像する撮像部と、
    　前記撮像部で撮像された画像に基づいて、自車両前方または後方における静止立体物を検知する立体物検知部と、
    　前記立体物検知部で検知された静止立体物と自車両の走行履歴とに基づいて、自車両後方における静止立体物の位置を推定する立体物位置推定部と、
    　自車両後方に存在する物体を検知する後方物体検知部と、
    　前記立体物位置推定部で推定された静止立体物の位置に対する前記後方物体検知部で検知された物体の相対位置を算出する相対位置演算部と、を備えることを特徴とする物体認識装置。
  10. 　前記撮像部は、複数のカメラで構成されることを特徴とする、請求項９に記載の物体認識装置。
  11. 　前記物体認識装置は、車速センサ、ヨーレートセンサ、操舵角センサ、ナビゲーションシステムから選択される少なくとも一つから得られる情報に基づいて、前記自車両の走行履歴を算出する走行履歴演算部を更に備えることを特徴とする、請求項９に記載の物体認識装置。
  12. 　前記後方物体検知部は、電波レーダで構成されることを特徴とする、請求項９に記載の物体認識装置。
  13. 　前記物体認識装置は、前記相対位置演算部で算出された物体の相対位置に基づいて、前記物体が所定の領域に存在するか否かを判断する判断部を更に備えることを特徴とする、請求項９に記載の物体認識装置。
  14. 　請求項１３に記載の物体認識装置により認識された物体の位置に基づいて、自車両の走行を制御することを特徴とする車両走行制御装置。
  15. 　前記判断部により前記物体が所定の領域に存在すると判断した際に警告を発生するようになっていることを特徴とする、請求項１４に記載の車両走行制御装置。
PCT/JP2015/065967 2014-06-19 2015-06-03 物体認識装置及びそれを用いた車両走行制御装置 WO2015194371A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016529224A JP6404922B2 (ja) 2014-06-19 2015-06-03 物体認識装置及びそれを用いた車両走行制御装置
US15/307,394 US9934690B2 (en) 2014-06-19 2015-06-03 Object recognition apparatus and vehicle travel controller using same
CN201580028678.3A CN106463064B (zh) 2014-06-19 2015-06-03 物体识别装置和使用该物体识别装置的车辆行驶控制装置
EP15809777.4A EP3159866B1 (en) 2014-06-19 2015-06-03 Object recognition apparatus and vehicle travel controller using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014126634 2014-06-19
JP2014-126634 2014-06-19

Publications (1)

Publication Number Publication Date
WO2015194371A1 true WO2015194371A1 (ja) 2015-12-23

Family

ID=54935361

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/065967 WO2015194371A1 (ja) 2014-06-19 2015-06-03 物体認識装置及びそれを用いた車両走行制御装置

Country Status (5)

Country Link
US (1) US9934690B2 (ja)
EP (1) EP3159866B1 (ja)
JP (1) JP6404922B2 (ja)
CN (1) CN106463064B (ja)
WO (1) WO2015194371A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134519A (ja) * 2016-01-26 2017-08-03 トヨタ自動車株式会社 車両用衝突回避支援システム
JP2017198566A (ja) * 2016-04-28 2017-11-02 日立オートモティブシステムズ株式会社 レーンマーカ認識装置、自車両位置推定装置
JP2019046150A (ja) * 2017-09-01 2019-03-22 株式会社Ｓｕｂａｒｕ 走行支援装置
CN110663072A (zh) * 2017-05-22 2020-01-07 三菱电机株式会社 位置估计装置、位置估计方法以及位置估计程序
JP2020038496A (ja) * 2018-09-04 2020-03-12 いすゞ自動車株式会社 車線特定装置及び車線特定方法
JP2020067822A (ja) * 2018-10-24 2020-04-30 マツダ株式会社 障害物認識装置
JP2020107115A (ja) * 2018-12-27 2020-07-09 株式会社デンソー 運転支援装置
JP2020203546A (ja) * 2019-06-14 2020-12-24 株式会社シマノ 検出装置、検出方法、生成方法、コンピュータプログラム、および記憶媒体
JP2022011941A (ja) * 2020-06-30 2022-01-17 ダイハツ工業株式会社 運転支援装置
WO2022254788A1 (ja) * 2021-06-04 2022-12-08 日立Astemo株式会社 後方白線推定装置、物標認識装置並びに方法
WO2023276616A1 (ja) * 2021-07-02 2023-01-05 株式会社デンソー 運転支援装置
JP7298063B1 (ja) * 2022-11-15 2023-06-27 Ｐｃｉソリューションズ株式会社 機械学習認識システム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015209186A1 (de) * 2015-05-20 2016-12-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ermittlung einer Beschreibung eines Fahrstreifens
JP6602683B2 (ja) * 2016-02-05 2019-11-06 株式会社東芝 充電装置および位置ずれ検出方法
JP6620881B2 (ja) * 2016-03-17 2019-12-25 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
US20170309181A1 (en) * 2016-04-26 2017-10-26 Hyundai Motor Company Apparatus for recognizing following vehicle and method thereof
CN109476307B (zh) * 2016-07-12 2021-12-07 日产自动车株式会社 行驶控制方法及行驶控制装置
CN108528432B (zh) * 2017-03-02 2020-11-06 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN108528450B (zh) * 2017-03-02 2020-06-19 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN108528449B (zh) * 2017-03-02 2020-02-21 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN108528433B (zh) * 2017-03-02 2020-08-25 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN106991389B (zh) * 2017-03-29 2021-04-27 蔚来(安徽)控股有限公司 确定道路边沿的装置和方法
CN110612561A (zh) * 2017-05-17 2019-12-24 三菱电机株式会社 物体辨识装置、路侧装置以及物体辨识方法
US11403865B2 (en) * 2017-07-25 2022-08-02 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
KR20190012370A (ko) * 2017-07-27 2019-02-11 삼성에스디에스 주식회사 차선 변경 지원 방법 및 장치
US11520340B2 (en) * 2017-08-10 2022-12-06 Nissan Motor Co., Ltd. Traffic lane information management method, running control method, and traffic lane information management device
JP6592852B2 (ja) * 2017-09-07 2019-10-23 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP6930394B2 (ja) * 2017-11-24 2021-09-01 トヨタ自動車株式会社 物体認識装置
CN111742236B (zh) * 2018-02-27 2023-07-28 日立安斯泰莫株式会社 噪声消除学习装置以及具备该噪声消除学习装置的车辆
JP2019159380A (ja) * 2018-03-07 2019-09-19 株式会社デンソー 物体検知装置、物体検知方法およびプログラム
WO2020026633A1 (ja) * 2018-08-02 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN109177876A (zh) * 2018-08-13 2019-01-11 吉利汽车研究院（宁波）有限公司 一种移动物体检测报警系统及方法
JP7136035B2 (ja) * 2018-08-31 2022-09-13 株式会社デンソー 地図生成装置及び地図生成方法
JP7020353B2 (ja) * 2018-09-21 2022-02-16 トヨタ自動車株式会社 物体検出装置
JP7234354B2 (ja) * 2018-09-30 2023-03-07 グレート ウォール モーター カンパニー リミテッド 走行座標系の構築方法及びその使用
DE102018220803A1 (de) * 2018-12-03 2020-06-04 Robert Bosch Gmbh Spurgenaue Lokalisierung von Fahrzeugen
US10703365B1 (en) 2018-12-26 2020-07-07 Automotive Research & Testing Center Lane tracking method and lane tracking system for an autonomous vehicle
KR20200113915A (ko) * 2019-03-27 2020-10-07 주식회사 만도 차량 제어 장치 및 방법
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
KR20210054944A (ko) * 2019-11-06 2021-05-14 현대자동차주식회사 차량용 레이더센서의 오차 보정 장치 및 그 방법
JP7277349B2 (ja) * 2019-12-12 2023-05-18 日立Astemo株式会社 運転支援装置、および、運転支援システム
CN113359147B (zh) * 2020-03-06 2023-08-18 宇通客车股份有限公司 一种车辆及目标物运动状态的判断方法和装置
US11679768B2 (en) 2020-10-19 2023-06-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for vehicle lane estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001010433A (ja) * 1999-05-08 2001-01-16 Daimlerchrysler Ag 車輌用車線変更誘導装置および方法
JP2001357497A (ja) * 2000-06-13 2001-12-26 Mitsubishi Motors Corp 後方車両監視装置
JP2010127908A (ja) * 2008-12-01 2010-06-10 Toyota Motor Corp 物体位置検出装置
WO2013098996A1 (ja) * 2011-12-28 2013-07-04 トヨタ自動車株式会社 車両の運転支援装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6123985A (ja) * 1984-07-13 1986-02-01 Nissan Motor Co Ltd 車間距離検出装置
US6618672B2 (en) * 1998-10-21 2003-09-09 Yazaki Corporation Vehicle-applied rear-and-side monitoring system
JP3885716B2 (ja) * 2002-11-21 2007-02-28 日産自動車株式会社 車両用推奨操作量生成装置
JP4578795B2 (ja) * 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
JP4661602B2 (ja) 2006-01-13 2011-03-30 トヨタ自動車株式会社 後方車両解析装置及び衝突予測装置
KR101075615B1 (ko) * 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
JP2009143433A (ja) * 2007-12-14 2009-07-02 Toyota Motor Corp 車両挙動制御装置
KR101071732B1 (ko) * 2007-12-17 2011-10-11 현대자동차주식회사 차량 주행속도 제어 장치 및 그 방법
JP5359516B2 (ja) * 2008-07-29 2013-12-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
JP4992959B2 (ja) * 2009-11-30 2012-08-08 株式会社デンソー 衝突回避支援装置、および衝突回避支援プログラム
JP4990424B2 (ja) * 2010-04-15 2012-08-01 三菱電機株式会社 走行支援装置
JP2012226392A (ja) * 2011-04-14 2012-11-15 Honda Elesys Co Ltd 運転支援システム
WO2012147187A1 (ja) * 2011-04-27 2012-11-01 トヨタ自動車株式会社 周辺車両検出装置
JP5743286B2 (ja) * 2012-12-28 2015-07-01 富士重工業株式会社 車両の運転支援装置
US9026356B2 (en) * 2013-02-22 2015-05-05 Nissan North America, Inc. Vehicle navigation system and method
JP6188471B2 (ja) * 2013-07-26 2017-08-30 アルパイン株式会社 車両後側方警報装置、車両後側方警報方法および立体物検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001010433A (ja) * 1999-05-08 2001-01-16 Daimlerchrysler Ag 車輌用車線変更誘導装置および方法
JP2001357497A (ja) * 2000-06-13 2001-12-26 Mitsubishi Motors Corp 後方車両監視装置
JP2010127908A (ja) * 2008-12-01 2010-06-10 Toyota Motor Corp 物体位置検出装置
WO2013098996A1 (ja) * 2011-12-28 2013-07-04 トヨタ自動車株式会社 車両の運転支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3159866A4 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134519A (ja) * 2016-01-26 2017-08-03 トヨタ自動車株式会社 車両用衝突回避支援システム
JP2017198566A (ja) * 2016-04-28 2017-11-02 日立オートモティブシステムズ株式会社 レーンマーカ認識装置、自車両位置推定装置
CN110663072B (zh) * 2017-05-22 2022-03-29 三菱电机株式会社 位置估计装置、位置估计方法以及计算机能读取的存储介质
CN110663072A (zh) * 2017-05-22 2020-01-07 三菱电机株式会社 位置估计装置、位置估计方法以及位置估计程序
JP2019046150A (ja) * 2017-09-01 2019-03-22 株式会社Ｓｕｂａｒｕ 走行支援装置
US10795370B2 (en) 2017-09-01 2020-10-06 Subaru Corporation Travel assist apparatus
JP2020038496A (ja) * 2018-09-04 2020-03-12 いすゞ自動車株式会社 車線特定装置及び車線特定方法
JP7230373B2 (ja) 2018-09-04 2023-03-01 いすゞ自動車株式会社 車線特定装置及び車線特定方法
JP2020067822A (ja) * 2018-10-24 2020-04-30 マツダ株式会社 障害物認識装置
JP7087911B2 (ja) 2018-10-24 2022-06-21 マツダ株式会社 障害物認識装置
JP7169873B2 (ja) 2018-12-27 2022-11-11 株式会社デンソー 運転支援装置
JP2020107115A (ja) * 2018-12-27 2020-07-09 株式会社デンソー 運転支援装置
JP2020203546A (ja) * 2019-06-14 2020-12-24 株式会社シマノ 検出装置、検出方法、生成方法、コンピュータプログラム、および記憶媒体
JP2022011941A (ja) * 2020-06-30 2022-01-17 ダイハツ工業株式会社 運転支援装置
WO2022254788A1 (ja) * 2021-06-04 2022-12-08 日立Astemo株式会社 後方白線推定装置、物標認識装置並びに方法
WO2023276616A1 (ja) * 2021-07-02 2023-01-05 株式会社デンソー 運転支援装置
JP7298063B1 (ja) * 2022-11-15 2023-06-27 Ｐｃｉソリューションズ株式会社 機械学習認識システム

Also Published As

Publication number Publication date
US9934690B2 (en) 2018-04-03
US20170053533A1 (en) 2017-02-23
EP3159866A4 (en) 2018-02-21
EP3159866A1 (en) 2017-04-26
EP3159866B1 (en) 2022-04-13
JP6404922B2 (ja) 2018-10-17
CN106463064A (zh) 2017-02-22
JPWO2015194371A1 (ja) 2017-04-20
CN106463064B (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
JP6404922B2 (ja) 物体認識装置及びそれを用いた車両走行制御装置
EP3361721B1 (en) Display assistance device and display assistance method
JP4420011B2 (ja) 物体検知装置
JP5389002B2 (ja) 走行環境認識装置
JP6787157B2 (ja) 車両制御装置
US11024051B2 (en) Object detection device
EP2775423A2 (en) Object detection apparatus, vehicle-mounted device control system and carrier medium of program of object detection
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
JPH1139596A (ja) 車外監視装置
JP6354659B2 (ja) 走行支援装置
JP2007280132A (ja) 走行誘導障害物検出装置および車両用制御装置
JP2007309799A (ja) 車載測距装置
JP2019067116A (ja) 立体物接地判定装置
JP2001195698A (ja) 歩行者検知装置
JP6204782B2 (ja) オフロードダンプトラック
JP6465919B2 (ja) 障害物検知システム
JP5832850B2 (ja) 車線監視システム及び車線監視方法
JP2007199932A (ja) 画像処理装置及びその方法
JP4231883B2 (ja) 画像処理装置及びその方法
JP6295868B2 (ja) 車両用表示装置
JP7083768B2 (ja) 認識装置、車両制御装置、認識方法、およびプログラム
JP6812701B2 (ja) 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6604052B2 (ja) 走路境界推定装置及び走路境界推定方法
JP2015179337A (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15809777

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016529224

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15307394

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015809777

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015809777

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE