WO2016117200A1 - 車両用外界認識装置およびそれを用いた車両挙動制御装置 - Google Patents

車両用外界認識装置およびそれを用いた車両挙動制御装置 Download PDF

Info

Publication number
WO2016117200A1
WO2016117200A1 PCT/JP2015/080407 JP2015080407W WO2016117200A1 WO 2016117200 A1 WO2016117200 A1 WO 2016117200A1 JP 2015080407 W JP2015080407 W JP 2015080407W WO 2016117200 A1 WO2016117200 A1 WO 2016117200A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving object
vehicle
image
detected
detection unit
Prior art date
Application number
PCT/JP2015/080407
Other languages
English (en)
French (fr)
Inventor
健人 緒方
加藤　賢治
清水　直樹
尊史 萩
吉孝 内田
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP15878889.3A priority Critical patent/EP3179445B1/en
Priority to US15/315,998 priority patent/US10169667B2/en
Publication of WO2016117200A1 publication Critical patent/WO2016117200A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/28—Wheel speed

Definitions

  • the present invention relates to a vehicle external environment recognition device that is installed in a vehicle and detects the position of a moving object around the vehicle, and a vehicle behavior control device using the same.
  • a moving object existing around the vehicle is detected by a camera installed in the vehicle, and the risk of contact between the vehicle and the moving object is notified based on the detected position of the moving object.
  • a technology related to a vehicle external environment recognition device capable of automatically stopping a vehicle so as to avoid contact between the vehicle and a moving object.
  • an image picked up by a camera equipped with a fisheye lens is processed to detect a moving object existing around the vehicle.
  • the optical flow detected from two original images captured at different times and the two original images were obtained by coordinate conversion, respectively.
  • the moving object and the stationary object are detected using the result of the difference calculation between the overhead images.
  • Patent Document 1 since the object detection apparatus described in Patent Document 1 processes an image picked up by a camera equipped with a fisheye lens, a large distortion occurs in the image, particularly at the edge portion, and the subject is The image was tilted. Therefore, it is difficult to accurately specify the position of the detected moving object (for example, the foot of a pedestrian). Furthermore, if the position of the moving object (for example, the position of the pedestrian's feet) cannot be specified reliably, the positional relationship between the vehicle and the moving object may not be accurately grasped. And in patent document 1, the concrete reference was not made
  • the vehicle periphery monitoring device described in Patent Document 2 does not include a means for measuring the distance to the detected moving object, it simply detects the presence or absence of the moving object and applies it to an alarm application. However, it has been difficult to apply to the purpose of accurately controlling the position and controlling the vehicle. On the other hand, it is easily conceivable to add a distance measuring sensor such as a known radar to the configuration described in Patent Document 2 and measure the distance to the detected moving object. However, since the types of sensors to be mounted on the vehicle increase, there is a problem that the system configuration becomes complicated and the cost increases.
  • the present invention has been made in view of the above problems, and reliably detects the position of a moving object with higher accuracy using only an image captured by an imaging unit without adding a distance measuring sensor or the like. It is an object of the present invention to provide a vehicle external environment recognition device that can perform the above and a vehicle behavior control device using the same.
  • an external environment recognition device for a vehicle is mounted on a vehicle, an image acquisition unit that acquires an image around the vehicle, and a first object that detects a moving object from the image.
  • a first object detection unit an overhead image generation unit that generates an overhead view image of the vehicle from the image; a second object detection unit that detects a moving object from the overhead image; and the first object detection unit.
  • a detection object determination unit that determines that the movement object detected by the second object detection unit is the same movement object when the movement object detected by the second object detection unit is close to each other within a predetermined distance; and the detection object A distance from the vehicle to the moving object detected by the first object detection unit or the second object detection unit and a lateral position of the moving object when the determination unit determines that the objects are the same moving object;
  • the first object detection The width of the moving object detected by, by and having and a moving object position specifying unit for specifying a position of the moving object.
  • the detection object determination unit is configured based on the detection results of the first object detection unit and the second object detection unit. After determining that the moving objects that are close within a predetermined distance are the same moving object, the moving object position specifying unit detects the moving object based on the detection result of the first object detection unit or the second object detection unit. In order to calculate the width of the detected moving object based on the detection result of the first object detecting unit and the distance from the vehicle to the moving object. It can be reliably detected with higher accuracy.
  • FIG. 5 is a functional block diagram illustrating a detailed configuration of a motion region detection unit (first object detection unit) in the first embodiment. It is a figure which shows an example of the original image imaged with the back camera. It is a figure which shows the example which converted the original image shown to FIG. 5A into the plane projection image. It is a figure which shows the example which converted the original image shown to FIG.
  • FIG. 9 is a first diagram for explaining a method of detecting a moving object based on an optical flow in a motion region detection unit, and is a diagram illustrating an example of a planar projection image obtained from an original image captured at time t ⁇ t. is there. It is a 2nd figure explaining the method to detect a moving object based on an optical flow in a motion area
  • FIG. 3 is a functional block diagram illustrating a detailed configuration of a difference calculation unit (second object detection unit) in Embodiment 1.
  • FIG. It is the 1st figure explaining the method to detect a moving object by the difference calculation of a bird's-eye view image in a difference operation part, and is a figure showing the example of the bird's-eye view image which converted the original picture imaged at time t- ⁇ t. .
  • FIG. 10 is a third diagram for explaining a method of detecting a moving object by a difference calculation of an overhead image in a difference calculation unit, and after performing the alignment of the image of FIG. 10A and the image of FIG. 10B, It is a figure which shows the result of having subtracted the bird's-eye view image of FIG. 10A from the image. It is a figure explaining the storage format of the information showing the position of the moving object detected by the difference of a bird's-eye view image.
  • FIG. 3 is a diagram illustrating a method for specifying the position of a moving object in the first embodiment.
  • 3 is a flowchart showing the flow of the entire process performed by the vehicle behavior control apparatus shown in the first embodiment. It is a flowchart which shows the flow of the object detection process based on the optical flow in the flowchart of FIG. It is a flowchart which shows the flow of the object detection process based on the difference of the bird's-eye view image in the flowchart of FIG.
  • FIG. 10 is a functional block diagram illustrating a detailed configuration of a motion region detection unit (first object detection unit) in the second embodiment. 10 is a flowchart illustrating a flow of a moving object position specifying process performed in the second embodiment. It is a functional block diagram which shows the function structure of the vehicle behavior control apparatus using the external field recognition apparatus for vehicles of Example 3 which is 1 embodiment of this invention.
  • FIG. 10 is a functional block diagram illustrating a detailed configuration of a motion region detection unit (first object detection unit) in the second embodiment. 10 is a flowchart illustrating a flow of a moving object position specifying process performed in the second embodiment. It is a functional block diagram which shows the function structure of the vehicle behavior control apparatus using the external field recognition apparatus for vehicles of Example 3 which is 1 embodiment of this invention.
  • 10 is a functional block diagram illustrating a detailed configuration of a motion region detection unit (first object detection unit) in Example 3.
  • 10 is a diagram illustrating an example of an original image acquired in Example 3.
  • FIG. It is a figure which shows the bird's-eye view image produced
  • 12 is a flowchart showing the flow of the entire process performed by the vehicle behavior control device shown in the third embodiment. It is a flowchart which shows the flow of the pedestrian pattern detection process in the flowchart of FIG. 25, and a vehicle pattern detection process.
  • FIG. 26 is a first flowchart showing a flow of detected object determination processing in the flowchart of FIG. 25.
  • Example 3 it is a figure which shows the method of specifying the presence position, when a pedestrian is detected as a moving object.
  • Example 3 it is a figure which shows the method of specifying the presence position, when a vehicle is detected as a moving object.
  • the present invention is applied to a vehicle behavior control device that detects a moving object behind the vehicle and brakes and stops the vehicle when there is a possibility of contact with the moving object during reverse parking. It is.
  • the vehicle behavior control device 100a is mounted on the vehicle 10, and is recognized as a vehicle external environment recognition device 50a that recognizes a moving object such as a pedestrian or another vehicle existing behind the vehicle 10.
  • the vehicle behavior control unit 80 performs braking control of the vehicle 10 based on the position of the object.
  • the vehicle external environment recognition device 50 a includes a rear camera 12, a camera interface 14, a wheel speed sensor 20, a steering angle sensor 22, a sensor interface 24, an image processing ECU 18, and a memory 26.
  • the vehicle behavior control unit 80 includes a vehicle behavior control ECU 30, a brake actuator 36, a display control unit 32, and a monitor 34.
  • the vehicle behavior control device 100a includes a system bus 16 including a CAN bus or the like for transferring necessary information.
  • the rear camera 12 captures an image including the road surface behind the vehicle 10.
  • An image captured by the rear camera 12 is sent to an image processing ECU 18 that executes an image recognition process via a system bus 16 including a camera interface 14 and a CAN bus.
  • the vehicle 10 is provided with a wheel speed sensor 20 that detects a wheel speed and a steering angle sensor 22 that detects a steering angle, and outputs of these sensors are image processed via a sensor interface 24 and a system bus 16. It is sent to the ECU 18.
  • the image processing ECU 18 executes image processing described later to detect moving objects such as pedestrians and other vehicles, and specifies the position of the detected moving object. At that time, the progress and result of the image processing are temporarily stored in the memory 26.
  • the position information of the moving object specified by the image processing is sent to the vehicle behavior control unit 80. Then, the vehicle behavior control ECU 30 that controls the behavior of the vehicle 10 determines the possibility that the vehicle 10 and the moving object come into contact with each other. When there is a possibility of contact, the vehicle behavior control ECU 30 outputs a warning or warning necessary for the monitor 34 installed in the vehicle 10 via the display control unit 32 and alerts the driver of the vehicle 10. When the vehicle behavior control ECU 30 determines that contact is unavoidable, the brake actuator 36 that generates the braking force of the vehicle 10 is driven to brake the vehicle 10.
  • FIG. 2 is a functional block diagram showing a functional configuration of the vehicle behavior control device 100a.
  • FIG. 3 is a diagram illustrating an on-vehicle state of the vehicle behavior control device 100a.
  • the vehicle external environment recognition device 50a has a rear camera 12 and an image acquisition unit that converts an image captured by the rear camera 12 into digital information and acquires it as an original image I (x, y, t). 52, a moving region detecting unit 54 (first object detecting unit) that detects a moving object from two original images acquired at different times, and an original image I (x, y, t) from directly above.
  • a bird's-eye view image generation unit 56 that converts the bird's-eye view image J (x, y, t) to be looked down, and two bird's-eye view images respectively generated from two original images acquired at different times are subjected to a difference operation.
  • the difference calculating unit 58 (second object detecting unit) that detects the moving object, the moving object detected by the motion region detecting unit 54, and the moving object detected by the difference calculating unit 58 are the same moving object.
  • a detection object determination unit 60 and a detection object determination unit When it is determined that the moving object is the same at 0, the moving object position specifying unit 62 that specifies the position of the moving object, and the wheel speed and steering angle sensor 22 of the vehicle 10 detected by the wheel speed sensor 20 are The vehicle information acquisition unit 64 acquires the detected steering angle of the vehicle 10.
  • the vehicle behavior control unit 80 warns when there is a contact possibility between the vehicle 10 and the moving object, and a contact determination unit 82 that determines the possibility of contact between the vehicle 10 and the moving object. And a braking control unit 86 that brakes and stops the vehicle 10 when contact between the vehicle 10 and the moving object is unavoidable.
  • the rear camera 12 is installed substantially horizontally toward the rear in the vicinity of the rear license plate of the vehicle 10, and takes an image of the rear observation range 12a including the road surface.
  • a lens with a wide angle of view represented by a fish-eye lens is attached to the rear camera 12 in order to image the range from the nearest to the far side of the vehicle 10 over a wide range of left and right.
  • FIG. 4 is a functional block diagram showing a detailed internal configuration of the motion region detection unit 54.
  • the motion region detection unit 54 is a virtual image in which the original image I (x, y, t) stands upright from the road surface and extends in a direction parallel to the left-right direction of the vehicle 10 (direction parallel to the light receiving surface of the rear camera 12).
  • a plane distortion correction unit 54a for converting into a plane projection image Ip (x, y, t) projected on a general plane. Further, the motion region detection unit 54 and the planar projection image Ip (x, y, t) generated from the original image I (x, y, t) imaged at time t and the original image captured at time t ⁇ t.
  • An optical flow detection unit 54b that detects an optical flow from the planar projection image Ip (x, y, t- ⁇ t) generated from the image I (x, y, t ⁇ t) is provided. Further, the motion region detection unit 54 is expected to occur with the movement of the vehicle 10 during the time ⁇ t based on the change in the wheel speed and the steering angle of the vehicle 10 from the time t ⁇ t to the time t.
  • a vehicle behavior flow detection unit 54c that calculates an optical flow is included.
  • the motion region detection unit 54 includes an object detection unit 54d that detects a moving object based on the optical flow detected by the optical flow detection unit 54b and the optical flow calculated by the vehicle behavior flow detection unit 54c.
  • the time ⁇ t is set to a value according to the performance of the hardware used, for example, a value of several tens of milliseconds.
  • the captured original image I (x, y, t) is particularly distorted at the edge of the image. have.
  • a pedestrian X1 and a pedestrian X2 are shown in the original image I (x, y, t), as shown in FIG. Inclined.
  • the plane distortion correction unit 54a performs a process of removing this distortion.
  • the original image I (x, y, t) is projected on a virtual plane that stands vertically from the road surface and extends in a direction parallel to the left-right direction of the vehicle 10, and is a planar projection shown in FIG. 5B.
  • An image Ip (x, y, t) projection image
  • the distortion generated in the original image I (x, y, t) can be removed, and the pedestrian X2 is converted into an upright state as shown in FIG. 5B.
  • the position and width of the pedestrian can be accurately specified.
  • the plane projection image Ip (x, y, t) is generated using a distortion correction table prepared in advance.
  • This distortion correction table is a table showing the correspondence between the coordinates of the image before distortion correction and the coordinates of the image after distortion correction.
  • the distortion correction table is generated in advance by performing so-called calibration and stored in the plane distortion correction unit 54a.
  • FIG. 6A to 6C are diagrams for explaining the operation of the motion region detection unit 54.
  • FIG. FIG. 6A is an example of a planar projection image Ip (x, y, t ⁇ t) obtained from the original image I (x, y, t ⁇ t) captured by the rear camera 12 (FIG. 2) at time t ⁇ t. .
  • FIG. 6A it is assumed that a pedestrian X1 and a parking frame line Y are shown in the planar projection image Ip (x, y, t ⁇ t).
  • FIG. 6B is an example of a planar projection image Ip (x, y, t) obtained from the original image I (x, y, t) captured by the rear camera 12 (FIG. 2) at time t. Comparing FIG. 6B and FIG. 6A, it can be seen that the pedestrian X1 moves forward (rightward in the image) during the time ⁇ t. Moreover, since the position of the parking frame line Y is moving, it turns out that the vehicle 10 is moving back during time (DELTA) t.
  • DELTA time
  • FIG. 6C detects only the optical flow generated with the movement of the pedestrian by comparing the planar projection image Ip (x, y, t ⁇ t) with the planar projection image Ip (x, y, t). It is a figure which shows a result.
  • an optical flow generated as the vehicle 10 moves is also detected.
  • the optical flow generated with the movement of the vehicle 10 can be predicted by integrating the vehicle behavior (wheel speed and steering angle) during the time ⁇ t.
  • An optical flow Op shown in FIG. 6C shows a result of detecting only an optical flow having a direction different from the optical flow generated in accordance with the motion of the vehicle 10 predicted in this way. That is, in the image of FIG. 6C, the optical flow (the optical flow indicating the movement of the parking frame Y) accompanying the movement of the vehicle 10 is suppressed, and only the optical flow Op representing the movement of the pedestrian is detected. is there.
  • one image is divided into a plurality of small regions (one small region), and the small region (the other small region) whose gray value distribution is similar to each small region is divided into the other region.
  • Processing for searching from the image is performed, and one of the associated small areas is set as the start point of the optical flow, and the other small area is set as the end point of the optical flow.
  • the end points of these plural optical flows are merged and detected as a region representing one moving object.
  • FIG. 7 is an example of a region representing a moving object detected in this way.
  • the pedestrian X1 is detected as a moving object, and the position of the rectangular region R1 circumscribing the pedestrian X1 is stored in the motion region detection unit 54.
  • FIG. 9 is a functional block diagram showing a detailed configuration of the difference calculation unit 58.
  • the difference calculation unit 58 includes a bird's-eye view image alignment unit 58a, a difference calculation execution unit 58b, and an object detection unit 58c.
  • FIG. 10A to 10C are diagrams illustrating the operation of the difference calculation unit 58.
  • FIG. 10A shows an original image I (x, y, t ⁇ t) captured by the rear camera 12 (FIG. 2) at time t ⁇ t, and an overhead image J (x, y, It is an example of the result converted into (t- ⁇ t).
  • the pedestrian X1 is converted into an area X1 'on the overhead image J (x, y, t- ⁇ t).
  • the parking frame line Y is converted into a region Y ′ on the overhead view image J (x, y, t ⁇ t).
  • the conversion to the overhead image J is performed using a coordinate conversion table (not shown) stored in advance in the overhead image generation unit 56.
  • This coordinate conversion table stores the correspondence between the coordinates of the original image and the coordinates of the overhead image.
  • the coordinate conversion table may include the above-described distortion correction table function for correcting the distortion, and the distortion may be corrected together when the original image is converted into the overhead image.
  • FIG. 10B is an example of a result of converting the original image I (x, y, t) captured by the rear camera 12 (FIG. 2) at time t into an overhead image J (x, y, t).
  • the position of the region X1 ' moves with the movement of the pedestrian X1.
  • the position of the region Y ′ corresponding to the parking frame line Y moves as the vehicle 10 moves.
  • FIG. 10C is an image showing a result of performing a difference calculation (frame difference) by subtracting the overhead image J (x, y, t ⁇ t) from the overhead image J (x, y, t) in the difference calculation execution unit 58b. is there.
  • the overhead image alignment unit 58a determines the behavior of the vehicle (changes in wheel speed and steering angle). Based on the predicted amount and direction of movement of the road surface area of the overhead image, the overhead image J (x, y, t- ⁇ t) is pre-coordinate-converted and aligned with the overhead image J (x, y, t). Keep it.
  • the object detection unit 58c detects a moving object from the image (FIG. 10C) obtained as a result of the difference calculation.
  • FIG. 11 is a diagram for explaining the storage format of the position of the moving object stored in the object detection unit 58c.
  • first object detection unit In order to determine whether or not the moving object detected by the motion region detection unit 54 (first object detection unit) and the moving object detected by the difference calculation unit 58 (second object detection unit) are the same moving object. First, a coordinate value representing each detected moving object is calculated.
  • the coordinate value of the point F1 (fx1, fy1) shown in FIG. 7 is calculated as the object position coordinate from the moving object detected by the motion region detection unit 54 (first object detection unit).
  • the moving object detected by the difference calculating unit 58 is detected by using the barycentric coordinates (FIG. 11) of the detected area according to the procedure described in FIGS. 12A to 12C. A coordinate value representative of is calculated.
  • a rear camera position C (cx, cy) representing the position of the rear camera 12 (FIG. 2) is set in an image showing a difference result between overhead images.
  • the rear camera position C is uniquely determined according to the display range of the overhead image. In the example of FIG. 12A, it is assumed that it is installed on the lower side of the overhead image. Note that the coordinates of the barycentric point G1 of the region X1 'representing the moving object are G1 (gx1, gy1).
  • the contact point H1 (hx1, hy1) that is closest to the rear camera position C (cx, cy) among the points belonging to the region X1 ' is obtained.
  • a search is performed on the line segment L1 from the center of gravity G1 (gx1, gy1) toward the rear camera position C (cx, cy), and the most same from the center of gravity G1 having the same label value as the region X1 ′. Find the location of the distant point.
  • the contact point H1 (hx1, hy1) searched in this way represents the position of the contact point where the region X1 'contacts the road surface.
  • the conversion to the coordinate value (FXi, FYi) of the point Fi (fxi, fyi) and the conversion to the coordinate value (HXj, HYj) of the ground point Hj (hxj, hyj) are optical parameters of the rear camera 12. This can be done using a certain focal length f or the installation position (height, depression angle, etc.) of the rear camera 12.
  • the coordinate value (FXi, FYi) of the point Fi (fxi, fyi) in the XY coordinate system and the coordinate value (HXj, HYj) of the ground point Hj (hxj, hyj) in the XY coordinate system. Does not necessarily match.
  • This is a point Fi (fxi, fyi) calculated based on the position of the rectangular area Ri including information on the width and lateral position of the moving object, and the grounding point Hj (hxj, hyj) is the moving object. This is because the point is calculated based on the position of the contact point, and an error due to a difference in measurement method occurs.
  • the detected object determination unit 60 obtains the distance between the point Fi and the grounding point Hj converted to the coordinate value in the XY coordinate system, and determines the magnitude of the distance.
  • the detection results shown in FIGS. 8 and 11 are integrated and newly stored in the detected object determination unit 60 as integrated object information.
  • FIG. 13 shows a state in which it is determined that the point Fi and the grounding point Hj are close to each other and are determined to indicate the same moving object and integrated. That is, the information managed by the subscripts i and j before the integration is newly managed by adding the subscript k.
  • the integrated object information that is determined to be the same moving object and stored in the detection object determination unit 60 is displayed on the left and right end images of the rectangular area Rk (Ri) indicating each moving object.
  • the distance Dk to the moving object and the actual width Wk of the moving object calculated here are stored in the moving object position specifying unit 62.
  • an alarm is output from the alarm output unit 84 to alert the user.
  • the braking control unit 86 is operated to generate a braking force on the vehicle 10 to forcibly stop the vehicle and avoid contact with the moving object.
  • Step S10 The rear camera 12 acquires an image behind the vehicle 10.
  • Step S12 The motion region detection unit 54 (first object detection unit) performs object detection processing based on the optical flow.
  • Step S14 The overhead image generation unit 56 performs an overhead image generation process.
  • Step S16 The difference calculation unit 58 (second object detection unit) performs an object detection process based on the difference between the overhead images.
  • Step S18 The detected object determination unit 60 performs a detected object determination process.
  • Step S20 The moving object position specifying unit 62 performs a moving object position specifying process.
  • the vehicle behavior control unit 80 controls the behavior of the vehicle 10.
  • Step S30 The distortion correction process is performed in the plane distortion correction unit 54a.
  • Step S32 The optical flow detection unit 54b performs an optical flow detection process.
  • Step S34 The vehicle behavior flow detector 54c performs a vehicle behavior flow calculation process.
  • Step S36 In the object detection unit 54d, an optical flow extraction process having a direction different from the vehicle behavior flow is performed.
  • Step S38 The object detection unit 54d performs a labeling process for the area corresponding to the end point of the extracted optical flow.
  • Step S40 The object detection unit 54d performs a registration process of a rectangular area circumscribing each labeled area, and then returns to the main routine (FIG. 14).
  • Step S50 The overhead image generation unit 56 (FIG. 2) generates the overhead image J (x, y, t ⁇ t).
  • Step S52 The overhead image generation unit 56 (FIG. 2) generates the overhead image J (x, y, t).
  • Step S54 In the bird's-eye view image alignment unit 58a (FIG. 9), the bird's-eye view image J (x, y, t- ⁇ t) is transformed based on the vehicle information, and the bird's-eye view image J (x, y, t) and position Align.
  • Step S56 The difference calculation execution unit 58b (FIG. 9) executes the frame difference.
  • Step S58 In the object detection unit 58c (FIG. 9), a binarization process and a labeling process are performed on the result of the frame difference.
  • Step S60 In the object detection unit 58c (FIG. 9), the center-of-gravity position registration process of each labeled region is performed, and then the process returns to the main routine (FIG. 14).
  • Step S90 Information on the moving object determined as the same moving object by the detected object determination process is read.
  • Step S92 The detection result of the motion region detection unit 54 (first object detection unit) indicating the same moving object and the detection result of the difference calculation unit 58 (second object detection unit) are acquired.
  • Step S94 The coordinate values sxk, exk of the left and right ends of the rectangular area Rk and the coordinate values (HXk, HYk) in the XY coordinate system of the ground contact point Hk are read.
  • Step S96 The width wk of the moving object on the image is calculated from the coordinate values sxk and exk.
  • Step S98 The actual width Wk of the moving object is calculated from the coordinate values (HXk, HYk) and the width wk on the moving object image. At this time, the distance Dk to the moving object is also calculated.
  • Example 2 Another specific embodiment of the vehicle behavior control apparatus using the vehicle external environment recognition apparatus according to the present invention will be described with reference to the drawings.
  • the present invention is applied to a vehicle behavior control device that detects a moving object behind the vehicle and brakes and stops the vehicle when there is a possibility of contact with the moving object during reverse parking. It is.
  • FIG. 19 is a functional block diagram illustrating a functional configuration of the vehicle behavior control device 100b according to the second embodiment.
  • the vehicle behavior control device 100b includes a vehicle external environment recognition device 50b instead of the vehicle external environment recognition device 50a (FIG. 2) included in the vehicle behavior control device 100a described above.
  • the internal configuration of the vehicle external environment recognition device 50b is substantially the same as the internal configuration of the vehicle external environment recognition device 50a, but the internal configuration of the motion region detection unit 55 (first object detection unit) and the moving object position specifying unit 63 Only the internal configuration is different. Only the internal configuration of the motion region detection unit 55 and the internal configuration of the moving object position specifying unit 63 will be described below. The functions of the other components are the same as described in the first embodiment, and thus the description thereof is omitted.
  • FIG. 20 is a functional block diagram showing a detailed internal configuration of the motion region detection unit 55 (first object detection unit) implemented in the vehicle behavior control apparatus 100b.
  • the motion region detection unit 55 converts the original image I (x, y, t) into a cylindrical surface projection image Ic (x, y, t) (projection image) obtained by projecting the original image I (x, y, t) onto a virtual cylindrical surface standing upright to the road surface.
  • an optical flow detector 54b that detects an optical flow from the surface projection image Ic (x, y, t- ⁇ t), and changes in the wheel speed and steering angle of the vehicle 10 from time t- ⁇ t to time t.
  • the vehicle behavior flow detection unit 54c that calculates an optical flow that is expected to occur with the movement of the vehicle 10 during the time ⁇ t, the optical flow detected by the optical flow detection unit 54b, and the vehicle behavior flow detection unit 54c. Calculation Consisting of object detection unit 54d for detecting a moving object based on the optical flow.
  • the cylindrical surface distortion correction unit 54e has a function of removing and correcting distortion generated in the captured original image I (x, y, t).
  • the original image I (x, y, t) stands upright from the road surface and is projected onto a virtual cylindrical surface formed on an arc centered on the focal position of the rear camera 12.
  • the cylindrical surface projection image Ic (x, y, t) shown in FIG. 5C is generated.
  • distortion that has occurred in the original image I (x, y, t) can be removed, and the pedestrian X2 is in an upright state as shown in FIG. 5C. Converted.
  • variety can be pinpointed correctly by detecting a pedestrian from this cylindrical surface projection image Ic (x, y, t).
  • a similar projection process is performed to generate a planar projection image Ip (x, y, t).
  • a similar projection process is performed to generate a planar projection image Ip (x, y, t).
  • FIGS. 5B and 5C In any projection processing, distortion is removed and an image in which a pedestrian stands upright is obtained.
  • the cylindrical projection image Ic (x, y, t) shown in FIG. 5C is compared with the planar projection image Ip (x, y, t) shown in FIG. 5B, the magnification when projected onto the virtual plane is different. Therefore, in the cylindrical surface projection image Ic (x, y, t), a pedestrian is projected smaller at the edge of the image.
  • the distortion of the original image can be corrected by using either the planar projection described in the first embodiment or the cylindrical projection described in the second embodiment.
  • actual projection processing can be performed using a distortion correction table generated in advance, the time required for processing does not change regardless of which projection method is used. Note that using cylindrical projection enables imaging with a wider field of view than planar projection, so for applications that require wide-field information, cylindrical projection is a more desirable distortion correction method. is there.
  • the actual width of the moving object is calculated from the width of the moving object on the image and the position coordinates of the grounding point of the moving object.
  • the left and right ends of the moving object on the image are calculated.
  • the actual width of the moving object is calculated from the position and the position coordinates of the grounding point of the moving object.
  • FIG. 14 is a flowchart showing the flow of processing performed by the vehicle behavior control device 100a, but can also be used to show the general flow of processing of the vehicle behavior control device 100b shown in the second embodiment.
  • the main routine of Example 2 will be described below assuming that it is represented in FIG.
  • the cylindrical distortion correction unit 54e shown in FIG. 20 performs distortion correction on the original image I (x, y, t) by cylindrical surface projection.
  • step S20 in FIG. 14 The flow of the moving object position specifying process performed in step S20 in FIG. 14 is different from that in the first embodiment (FIG. 18), and will be described with reference to the flowchart in FIG.
  • the moving object position specifying process is performed in the moving object position specifying unit 63 shown in FIG.
  • Step S110 Information on the moving object determined as the same moving object by the detected object determination process is read.
  • Step S112 The detection result of the motion region detection unit 54 (first object detection unit) indicating the same moving object and the detection result of the difference calculation unit 58 (second object detection unit) are acquired.
  • Example 3 Another specific embodiment of the vehicle behavior control apparatus using the vehicle external environment recognition apparatus according to the present invention will be described with reference to the drawings.
  • the present invention is applied to a vehicle behavior control device that detects a moving object behind the vehicle and brakes the vehicle to stop when there is a possibility of contact with the moving object during reverse parking. It is.
  • FIG. 22 is a functional block diagram illustrating a functional configuration of the vehicle behavior control device 100c according to the third embodiment.
  • the vehicle behavior control device 100c includes a vehicle external environment recognition device 50c and a vehicle behavior control unit 80.
  • the vehicle behavior control devices 100a and 100b described above are the internal configuration of the motion region detection unit 57 (first object detection unit).
  • the internal configuration of the detected object determination unit 61 and the internal configuration of the moving object position specifying unit 65 are different.
  • the functions of the other components are the same as described in the first embodiment, and thus the description thereof is omitted.
  • the motion region detection unit 57 detects a moving object from the original images I (x, y, t ⁇ t) and I (x, y, t).
  • FIG. 23 is a functional block diagram showing a detailed internal configuration of the motion region detection unit 57 (first object detection unit).
  • the motion region detection unit 57 detects a pedestrian by pattern matching from the original image I (x, y, t).
  • a pattern detection unit 57a and a vehicle pattern detection unit 57b that detects a vehicle by pattern matching from the original image I (x, y, t) are included.
  • the moving object detected by the motion region detecting unit 57 (first object detecting unit) and the moving object detected by the difference calculating unit 58 (second object detecting unit) are the same moving object. It is determined whether or not. It should be noted that the detection result of the pedestrian pattern detection unit 57a and the detection result of the vehicle pattern detection unit 57b are referred to as the moving object detected by the motion region detection unit 57 (first object detection unit). Different from Example 1 and Example 2.
  • the moving object position specifying unit 65 specifies the presence position of the detected moving object. In that case, the point which changes the calculation method of the distance to a moving object according to the type of the detected moving object differs from Example 1 and Example 2. Details will be described later.
  • the identification of the pedestrian pattern and the vehicle pattern is performed by pattern matching that is generally performed. More specifically, any method such as template matching, a pattern identification method using a luminance gradient distribution histogram (HOG), or a pattern identification using a neural network may be used.
  • any method such as template matching, a pattern identification method using a luminance gradient distribution histogram (HOG), or a pattern identification using a neural network may be used.
  • HOG luminance gradient distribution histogram
  • the detected object determination unit 61 is detected using the detection result of the pedestrian pattern and the detection result of the vehicle pattern in addition to the detection result of the moving object based on the optical flow and the detection result of the moving object based on the difference between the overhead images. It is specified whether or not the moving objects are the same moving object. The detailed processing flow will be described later.
  • the moving object position specifying unit 65 specifies the presence position of the moving object determined by the detected object determining unit 61 as the same moving object. At that time, the method for measuring the distance to the moving object is changed depending on whether the detected moving object is a pedestrian or a vehicle.
  • the distance to the moving object is calculated based on the detection result of the optical flow detection unit 54b (FIG. 23).
  • the distance to a moving object is calculated based on the detection result of the difference calculating part 58 (FIG. 22).
  • the ground contact point (for example, H1 (hx1, hy1) in FIG. 12C) does not necessarily represent the distance to the moving object.
  • FIG. 24A is an example of the original image I (x, y, t) acquired by the rear camera 12.
  • a pedestrian X1 and another vehicle Y1 are shown in the original image I (x, y, t).
  • a rectangular region R1 and a point F1 representing the position of the moving object are superimposed on the pedestrian X1 as a moving object detected based on the optical flow.
  • a rectangular area R2 and a point F2 representing the position of the moving object are superimposed on the other vehicle Y1 as a moving object detected based on the optical flow.
  • FIG. 24B is an example in which the original image I (x, y, t) is converted into an overhead image J (x, y, t).
  • the pedestrian X1 is converted into the area X1 ', and the other vehicle Y1 is converted into the area Y1'.
  • the grounding point H1 is detected from the area X1 'where the pedestrian X1 is converted, and the grounding point H2 is detected from the area Y1' where the other vehicle Y1 is converted.
  • the distance between the rear camera position C and the contact point H1 of the area X1 ' is calculated as the distance from the vehicle 10 to the pedestrian X1. Further, the distance between the rear camera position C and the contact point H2 of the region Y1 'is calculated as the distance from the vehicle 10 to the other vehicle Y1.
  • the point F1 detected from the pedestrian X1 and the ground contact point H1 represent the same point.
  • the point F2 detected from the other vehicle Y1 and the grounding point H2 do not represent the same point. Therefore, as shown in FIG. 24C, the point F2 represents the position of the bumper front end of the other vehicle Y1, while the ground contact point H2 represents the position of the tire ground contact point of the other vehicle Y1.
  • the vehicle in order to reduce the calculation error of the position of the moving object that may occur in this way, when the vehicle is detected from the original image, it is detected from the original image based on the optical flow.
  • the distance to the moving object is calculated based on the point F2 representing the position of the moving object.
  • the distance to the moving object is calculated based on the ground contact point H1 of the moving object detected from the overhead image by the frame difference.
  • FIG. 29A is a diagram showing a method of specifying the presence position and width when a pedestrian is detected as a moving object.
  • the region Xi obtained based on the difference between the overhead images.
  • the distance Di to the moving object is calculated from the coordinate value (HXi, HYi) in the XY coordinate system of the contact point '.
  • the lateral position FXp of the moving object is calculated from the distance Di and the position of the point Fp (FXp, FYp) representing the pedestrian pattern.
  • the width Wi of the moving object is calculated from the distance Di and the width wp of the pedestrian pattern.
  • the difference is obtained based on the difference between the overhead images.
  • the distance Di is calculated from the coordinate values (HXi, HYi) in the XY coordinate system of the contact point of the region Xi ′.
  • the lateral position FXi of the moving object is calculated from the distance Di, the position of the point Fp (FXp, FYp) representing the pedestrian pattern, and the coordinate value (FXi, FYi) of the point Fi obtained from the optical flow.
  • the width Wi of the moving object is calculated from the distance Di and the width wi of the pedestrian pattern.
  • FIG. 29B is a diagram showing a method of specifying the presence position and width when a vehicle is detected as a moving object.
  • the region Xi obtained based on the difference between the overhead images.
  • the distance Di is calculated from the coordinate values (HXi, HYi) in the XY coordinate system of the contact point '.
  • the lateral position FXi of the moving object is calculated from the distance Di and the position of the point Fv (FXv, FYv) representing the vehicle pattern.
  • the width Wi of the moving object is calculated from the distance Di and the width wi of the vehicle pattern.
  • the difference is obtained based on the difference between the overhead images.
  • the distance Di is calculated from the coordinate values (HXi, HYi) in the XY coordinate system of the contact point of the region Xi ′.
  • the lateral position FXi of the moving object is calculated from the distance Di, the position of the point Fv (FXv, FYv) representing the vehicle pattern, and the coordinate value (FXi, FYi) of the point Fi obtained from the optical flow.
  • the width Wi of the moving object is calculated from the distance Di and the width wi of the vehicle pattern.
  • Step S130 The rear camera 12 acquires an image behind the vehicle 10.
  • Step S132 The motion region detection unit 57 (first object detection unit) performs an object detection process based on the optical flow.
  • Step S134 In the motion region detection unit 57 (first object detection unit), a pedestrian pattern detection process is performed.
  • Step S136 In the motion region detection unit 57 (first object detection unit), vehicle pattern detection processing is performed.
  • Step S138 The overhead image generation unit 56 performs an overhead image generation process.
  • Step S140 The difference calculation unit 58 (second object detection unit) performs an object detection process based on the difference between the overhead images.
  • Step S142 The detected object determination unit 61 performs a detected object determination process.
  • Step S144 The moving object position specifying unit 65 performs a moving object position specifying process.
  • Step S146 The vehicle behavior control unit 80 controls the behavior of the vehicle 10.
  • Step S150 A pyramid image is generated from the original image I (x, y, t).
  • Step S152 A pedestrian pattern detection process for detecting a pedestrian pattern is executed on the generated pyramid image.
  • Step S154 A vehicle pattern detection process for detecting a vehicle pattern is performed on the generated pyramid image.
  • Step S156 For the detected pedestrian pattern, a plurality of detection patterns indicating the same pedestrian are integrated. Similarly, a plurality of detection patterns indicating the same vehicle are integrated with respect to the detected vehicle pattern.
  • Step S158 The detected pedestrian pattern and vehicle pattern are registered. Specifically, the coordinates of the vertex coordinates of the rectangular area Ri circumscribing the detected pattern and the coordinates of the point Fi (point corresponding to the point F1 in FIG. 7) that is the midpoint of the lower side of the rectangular area Ri are calculated and stored. Is done. Thereafter, the process returns to the main routine (FIG. 25).
  • Step S160 The information of the contact point Hj (hxj, hyj) stored by the process of Step S140 is read.
  • Step S162 The real space coordinates (HXj, HYj) of the contact point Hj (hxj, hyj) are calculated.
  • the real space coordinates (HXj, HYj) are stored in advance, the stored information is read out.
  • Step S164 The information of the point Fi (fxi, fyi) stored by the process of step S132 is read.
  • Step S166 The real space coordinates (FXi, FYi) of the point Fi (fxi, fyi) are calculated.
  • Step S168 The flowchart shown in FIG. 27B is executed.
  • Step S170 The flowchart shown in FIG. 27C is executed. Note that steps S164 to S170 are repeatedly executed for all rectangular regions Ri. Steps S160 to S170 are repeatedly executed for all the regions Xj ′. Thereafter, the process returns to the main routine (FIG. 25).
  • Step S180 A pedestrian detection result is read out.
  • Step S182 A point Fp (fxp, fyp) representing the position of the pedestrian is read out.
  • Step S184 The real space coordinates (Fxp, Fyp) of the point Fp (fxp, fyp) are calculated.
  • Step S186 It is determined whether or not the real space coordinates (HXj, HYj) of the contact point Hj and the real space coordinates (Fxp, Fyp) of the point Fp are within a predetermined distance. When the distance is within the predetermined distance, the process proceeds to step S188. Otherwise, the process returns to step S182 to perform processing for different pedestrian detection results.
  • Step S188 It is determined whether or not the real space coordinates (HXj, HYj) of the contact point Hj and the real space coordinates (FXi, FYi) of the point Fi are within a predetermined distance. If it is within the predetermined distance, the process proceeds to step S190, and otherwise, the process proceeds to step S192.
  • Step S190 It is determined that the detection result of the moving object based on the optical flow, the detection result of the moving object based on the difference between the overhead images, and the pedestrian detection result indicate the same moving object, and these are integrated.
  • the integrated information is managed with the subscript k as in the first and second embodiments, and is stored in the detected object determination unit 61.
  • step S182 to step S190 are repeatedly performed with respect to all the pedestrian detection results. Thereafter, the process returns to the main routine (FIG. 25).
  • Step S192 It is determined that the detection result of the moving object based on the difference between the overhead images and the pedestrian detection result indicate the same moving object, and these are integrated.
  • the integrated information is managed with the subscript k as in the first and second embodiments, and is stored in the detected object determination unit 61.
  • step S182 to step S192 are repeatedly performed with respect to all the pedestrian detection results. Thereafter, the process returns to the main routine (FIG. 25).
  • step S170 of FIG. 27A will be described with reference to FIG. 27C.
  • Step S200 The vehicle detection result is read out.
  • Step S202 A point Fv (fxv, fyv) representing the position of the pedestrian is read out.
  • Step S204 The real space coordinates (FXv, FYv) of the point Fv (fxv, fyv) are calculated.
  • Step S206 It is determined whether or not the real space coordinates (HXj, HYj) of the ground contact point Hj and the real space coordinates (FXv, FYv) of the point Fv are within a predetermined distance. When the distance is within the predetermined distance, the process proceeds to step S208. Otherwise, the process returns to step S202, and processing for different vehicle detection results is performed.
  • Step S208 It is determined whether or not the real space coordinates (HXj, HYj) of the ground contact point Hj and the real space coordinates (FXi, FYi) of the point Fi are within a predetermined distance. If it is within the predetermined distance, the process proceeds to step S210, and otherwise, the process proceeds to step S212.
  • Step S210 It is determined that the detection result of the moving object based on the optical flow, the detection result of the moving object based on the difference between the overhead images, and the vehicle detection result indicate the same moving object, and these are integrated.
  • the integrated information is managed with the subscript k as in the first and second embodiments, and is stored in the detected object determination unit 61. Steps S202 to S210 are repeatedly executed for all vehicle detection results. Thereafter, the process returns to the main routine (FIG. 25).
  • Step S212 It is determined that the detection result of the moving object based on the difference between the overhead images and the vehicle detection result indicate the same moving object, and these are integrated.
  • the integrated information is managed with the subscript k as in the first and second embodiments, and is stored in the detected object determination unit 61. Steps S202 to S212 are repeatedly executed for all vehicle detection results. Thereafter, the process returns to the main routine (FIG. 25).
  • Step S220 The moving object integration result integrated by the detection object determination process described above is read from the detection object determination unit 61.
  • Step S222 It is determined whether or not the integrated moving object is a pedestrian. If the user is a pedestrian, the process proceeds to step S224. Otherwise, the process proceeds to step S226.
  • Step S224 Among the detection results corresponding to the focused moving object integration result, the detection result based on the optical flow, the detection result based on the overhead image difference, and the pedestrian detection result are read out.
  • Step S226 Among the detection results corresponding to the focused moving object integration result, the detection result based on the optical flow, the detection result based on the overhead image difference, and the vehicle detection result are read out.
  • Step S2228 Based on the above-described tables of FIGS. 29A and 29B, the distance to the moving object, the lateral position, and the width are calculated and registered. Steps S222 to S228 are repeatedly executed for all moving object integration results. Thereafter, the process returns to the main routine (FIG. 25).
  • the rear camera 12 image acquisition unit mounted on the vehicle 10 moves around the vehicle 10.
  • the captured original image I (x, y, t) is acquired, and the motion region detection unit 54 (first object detection unit) detects a moving object from the original image I (x, y, t).
  • the difference calculation unit 58 detects a moving object from the overhead image J (x, y, t) generated by the overhead image generation unit 56 and viewed from the vehicle 10, and detects the detected object.
  • the determination unit 60 determines that they are the same moving object when the moving object detected by the motion region detection unit 54 and the moving object detected by the difference calculation unit 58 are close to each other within a predetermined distance,
  • the moving object position specifying unit 62 moves from the vehicle 10 to the motion region detecting unit 54 In order to specify the position of the moving object based on the distance Dk to the moving object detected by the difference calculation unit 58, the lateral position FXk of the moving object, and the actual width Wk of the moving object detected by the motion region detection unit 54, Without adding a distance measuring sensor or the like, using only the image captured by the rear camera 12, the lateral position FXk and width Wk of the moving object and the distance Dk from the vehicle 10 to the moving object can be assured with higher accuracy. Can be detected.
  • the motion region detection unit 54 (first object detection unit) generates the original image I (x, y, t).
  • the original is obtained by a simple process using a distortion correction table prepared in advance.
  • a moving object can be detected by reliably correcting distortion occurring in the image I (x, y, t).
  • the motion region detection unit 54 (first object detection unit) is acquired at different times t ⁇ t, t. Since a moving object is detected based on an optical flow calculated from a plurality of original images I (x, y, t ⁇ t) and I (x, y, t), it has occurred with the movement of the moving object. The moving area can be reliably detected.
  • the motion region detection unit 54 detects a pedestrian and a vehicle as moving objects.
  • the motion region detection unit 54 detects a pedestrian and a vehicle as moving objects.
  • the difference calculation unit 58 (second object detection unit) has a plurality of times acquired at different times t ⁇ t, t.
  • the vehicle behavior control device 100a in order to perform the braking / driving force control of the vehicle 10 based on the recognition result of the vehicle external environment recognition device 50a, for example, The behavior of the vehicle 10 can be reliably controlled at the time of parking, and the parking operation can be performed without contacting the moving object.
  • the motion region detection unit 55 (first object detection unit) generates the original image I (x, y, t).
  • the original is obtained by a simple process using a distortion correction table prepared in advance. Distortion occurring in the image I (x, y, t) can be reliably corrected, and image information with a wider field of view can be obtained. That is, when the rear camera 12 having a wide angle of view lens such as a fisheye lens is used, a wider range of images can be obtained even after distortion correction.
  • the motion region detection unit 57 (first object detection unit) further includes the original image I (x, y, t). Since moving objects are detected by pattern matching, the shape and shading characteristics of the moving objects in the original image can be used, thereby detecting pedestrians and vehicles more reliably. can do.
  • the detected object determination unit 61 further determines whether the moving object is a pedestrian or a vehicle.
  • the moving object position specifying unit 65 calculates the distance Dk to the moving object based on the detection result of the difference calculation unit 58 (second object detection unit), and the moving object is a vehicle.
  • the distance Dk to the moving object is calculated based on the detection result of the motion region detection unit 57 (first object detection unit)
  • it is detected by a more accurate detection method according to the type of the moving object. Since the result can be used, the moving object can be detected with high accuracy.
  • a pedestrian and a vehicle are detected as moving objects, but the types of moving objects are not limited to pedestrians and vehicles. That is, any moving object that has a height from the road surface and is likely to come into contact with the vehicle 10 can be detected using the present invention.
  • the installation position of the camera is not limited to the rear end of the vehicle 10.
  • the number of cameras used is not limited to one. That is, even if cameras are installed at the front end, the left and right ends, and the rear end of the vehicle, the same device configuration as in the first to third embodiments can be realized.

Abstract

車両周囲の画像のみを用いて、高い精度で移動物体の位置を確実に検出する。 車両（１０）に搭載された後方カメラ（１２）が車両（１０）の周囲の原画像（Ｉ）を取得して、動き領域検出部（５４）が原画像（Ｉ）の中から移動物体を検出すると共に、差分演算部（５８）が俯瞰画像生成部（５６）で生成された車両（１０）を俯瞰した俯瞰画像（Ｊ）の中から移動物体を検出する。そして、検出物体判定部（６０）が動き領域検出部（５４）と差分演算部（５８）で検出された移動物体が同一の移動物体であると判定したときに、移動物体位置特定部（６２）が車両（１０）から、動き領域検出部（５４）又は差分演算部（５８）によって検出された移動物体までの距離（Ｄｋ）と、移動物体の横方向位置（ＦＸｋ）と、動き領域検出部（５４）によって検出された移動物体の実際の幅（Ｗｋ）から移動物体の位置を特定する。

Description

車両用外界認識装置およびそれを用いた車両挙動制御装置
　本発明は、車両に設置されて、車両周囲の移動物体の位置を検出する車両用外界認識装置およびそれを用いた車両挙動制御装置に関するものである。
　近年、車両に設置されたカメラで車両の周囲に存在する移動物体（障害物）を検出して、検出された移動物体の位置に基づいて、車両と移動物体との接触の危険を報知したり、車両と移動物体との接触を回避するように車両を自動停止させることが可能な車両用外界認識装置に関する技術が提案されている。
　例えば、特許文献１に記載された物体検知装置にあっては、魚眼レンズを装着したカメラで撮像された画像を処理して、車両の周囲に存在する移動物体の検出を行っている。
　また、特許文献２に記載された車両周辺監視装置にあっては、異なる時刻に撮像された２枚の原画像から検出されたオプティカルフローと、２枚の原画像をそれぞれ座標変換して得た俯瞰画像同士の差分演算の結果を用いて移動物体と静止物体の検出を行っている。
特開２０１４－１５４８９８号公報 特開２０１１－４８５２０号公報
　しかしながら、特許文献１に記載された物体検知装置にあっては、魚眼レンズを装着したカメラで撮像された画像を処理しているため、画像の、特に辺縁部において大きな歪曲が発生して被写体が傾いて画像化されていた。したがって、検出された移動物体（例えば歩行者の足元）の位置を正確に特定するのが困難であった。さらに、移動物体の位置（例えば歩行者の足元の位置）を確実に特定することができなければ、車両と移動物体の位置関係を正確に把握できない虞があった。そして、特許文献１では、検出された移動物体の位置を正確に特定して検出精度を向上させる方策に関して、具体的な言及はなされていなかった。
　また、特許文献２に記載された車両周辺監視装置にあっては、検出された移動物体までの距離を計測する手段を備えていないため、単に移動物体の有無を検出して警報の用途に適用することはできるが、その位置を正確に把握して車両を制御する用途にまで適用することは困難であった。一方、特許文献２に記載された構成に、公知のレーダ等の測距センサを付加して、検出された移動物体までの距離を測定することは容易に想到できる。しかしながら、車両に搭載すべきセンサの種類が増えるため、システム構成が複雑になるとともにコストの上昇を招くという問題があった。
　本発明は、上記課題に鑑みてなされたもので、測距センサ等を追加することなく、撮像部で撮像された画像のみを用いて、より高い精度で移動物体の位置を確実に検出することが可能な車両用外界認識装置およびそれを用いた車両挙動制御装置を提供することを目的とするものである。
　前記課題を解決するために、本発明に係る車両用外界認識装置は、車両に搭載されて、前記車両の周囲の画像を取得する画像取得部と、前記画像の中から移動物体を検出する第１物体検出部と、前記画像から、前記車両を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、前記俯瞰画像の中から移動物体を検出する第２物体検出部と、前記第１物体検出部で検出された移動物体と前記第２物体検出部で検出された移動物体とが所定距離以内に近接しているときに、同一の移動物体であると判定する検出物体判定部と、前記検出物体判定部によって同一の移動物体であると判定されたときに、前記車両から前記第１物体検出部または前記第２物体検出部によって検出された移動物体までの距離と前記移動物体の横方向位置と、前記第１物体検出部によって検出された移動物体の幅と、によって前記移動物体の位置を特定する移動物体位置特定部と、を有することを特徴とする。
　このように構成された本発明に係る車両用外界認識装置によれば、前記構成としたことによって、検出物体判定部が、第１物体検出部および第２物体検出部の検出結果に基づいて、所定距離以内に近接した移動物体を同一の移動物体であると判定した後、移動物体位置特定部が、第１物体検出部または第２物体検出部の検出結果に基づいて、検出された移動物体までの距離と横方向位置を算出して、さらに第１物体検出部の検出結果に基づいて、検出された移動物体の幅を算出するため、移動物体の位置と車両から移動物体までの距離をより高い精度で確実に検出することができる。
本発明の１実施形態である実施例１の車両用外界認識装置を用いた車両挙動制御装置のハードウェア構成を示すブロック図である。 本発明の１実施形態である実施例１の車両用外界認識装置を用いた車両挙動制御装置の機能構成を示す機能ブロック図である。 実施例１における後方カメラの車載状態を説明する図である。 実施例１における動き領域検出部（第１物体検出部）の詳細構成を示す機能ブロック図である。 後方カメラで撮像された原画像の一例を示す図である。 図５Ａに示す原画像を平面投影画像に変換した例を示す図である。 図５Ａに示す原画像を円筒面投影画像に変換した例を示す図である。 動き領域検出部にて、オプティカルフローに基づいて移動物体を検出する方法について説明する第１の図であり、時刻ｔ－Δｔに撮像された原画像から得た平面投影画像の例を示す図である。 動き領域検出部にて、オプティカルフローに基づいて移動物体を検出する方法について説明する第２の図であり、時刻ｔに撮像された原画像から得た平面投影画像の例を示す図である。 動き領域検出部にて、オプティカルフローに基づいて移動物体を検出する方法について説明する第３の図であり、検出されたオプティカルフローの例を示す図である。 オプティカルフローに基づいて検出された移動物体の検出結果について説明する図である。 オプティカルフローによって検出された移動物体の位置と大きさを表す情報の記憶形式について説明する図である。 実施例１における差分演算部（第２物体検出部）の詳細構成を示す機能ブロック図である。 差分演算部にて、俯瞰画像の差分演算によって移動物体を検出する方法について説明する第１の図であり、時刻ｔ－Δｔに撮像された原画像を変換した俯瞰画像の例を示す図である。 差分演算部にて、俯瞰画像の差分演算によって移動物体を検出する方法について説明する第２の図であり、時刻ｔに撮像された原画像を変換した俯瞰画像の例を示す図である。 差分演算部にて、俯瞰画像の差分演算によって移動物体を検出する方法について説明する第３の図であり、図１０Ａの画像と図１０Ｂの画像の位置合わせを行った後で、図１０Ｂの俯瞰画像から図１０Ａの俯瞰画像を差し引いた結果を示す図である。 俯瞰画像の差分によって検出された移動物体の位置を表す情報の記憶形式について説明する図である。 俯瞰画像から検出された移動物体について説明する第１の図である。 俯瞰画像から検出された移動物体について説明する第２の図である。 俯瞰画像から検出された移動物体について説明する第３の図である。 実施例１において移動物体の位置を特定する方法について説明する図である。 実施例１に示した車両挙動制御装置で行われる処理全体の流れを示すフローチャートである。 図１４のフローチャートにおける、オプティカルフローに基づく物体検出処理の流れを示すフローチャートである。 図１４のフローチャートにおける俯瞰画像の差分に基づく物体検出処理の流れを示すフローチャートである。 図１４のフローチャートにおける検出物体判定処理の流れを示すフローチャートである。 図１４のフローチャートにおける移動物体位置特定処理の流れを示すフローチャートである。 本発明の１実施形態である実施例２の車両用外界認識装置を用いた車両挙動制御装置の機能構成を示す機能ブロック図である。 実施例２における動き領域検出部（第１物体検出部）の詳細構成を示す機能ブロック図である。 実施例２で行われる移動物体位置特定処理の流れを示すフローチャートである。 本発明の１実施形態である実施例３の車両用外界認識装置を用いた車両挙動制御装置の機能構成を示す機能ブロック図である。 実施例３における動き領域検出部（第１物体検出部）の詳細構成を示す機能ブロック図である。 実施例３において取得された原画像の一例を示す図である。 図２４Ａの原画像から生成された俯瞰画像を示す図である。 図２４Ａに示す車両と後方カメラの位置関係を示す図である。 実施例３に示した車両挙動制御装置で行われる処理全体の流れを示すフローチャートである。 図２５のフローチャートにおける歩行者パターン検出処理，車両パターン検出処理の流れを示すフローチャートである。 図２５のフローチャートにおける検出物体判定処理の流れを示す第１のフローチャートである。 図２５のフローチャートにおける検出物体判定処理の流れを示す第２のフローチャートである。 図２５のフローチャートにおける検出物体判定処理の流れを示す第３のフローチャートである。 図２５のフローチャートにおける移動物体位置特定処理の流れを示すフローチャートである。 実施例３において、移動物体として歩行者が検出されたときに、その存在位置を特定する方法を示す図である。 実施例３において、移動物体として車両が検出されたときに、その存在位置を特定する方法を示す図である。
　本発明に係る車両用外界認識装置を用いた車両挙動制御装置の具体的な実施形態について、図面を参照して説明する。
　（実施例１）
　本実施例１は、本発明を、車両後方の移動物体を検出して、後退駐車時に移動物体と接触する可能性があるときには、車両に制動をかけて停止させる車両挙動制御装置に適用したものである。
（車両挙動制御装置のハードウェア構成の説明）
　図１を用いて本実施例の車両挙動制御装置のハードウェア構成について説明する。実施例１に係る車両挙動制御装置１００ａは、車両１０に搭載されて、車両１０の後方に存在する歩行者や他車両等の移動物体を認識する車両用外界認識装置５０ａと、認識された移動物体の位置に基づいて車両１０の制動制御を行う車両挙動制御部８０からなる。
　車両用外界認識装置５０ａは、後方カメラ１２と、カメラインタフェース１４と、車輪速センサ２０と、操舵角センサ２２と、センサインタフェース２４と、画像処理ＥＣＵ１８と、メモリ２６からなる。
　車両挙動制御部８０は、車両挙動制御ＥＣＵ３０と、ブレーキアクチェータ３６と、表示制御部３２と、モニタ３４からなる。
　また、車両挙動制御装置１００ａは、必要な情報の受け渡しを行うための、ＣＡＮバス等からなるシステムバス１６を備えている。
　後方カメラ１２は、車両１０の後方の路面を含む画像を撮像する。後方カメラ１２で撮像された画像は、カメラインタフェース１４とＣＡＮバス等で構成されたシステムバス１６を経て、画像の認識処理を実行する画像処理ＥＣＵ１８に送られる。また、車両１０には、車輪速を検出する車輪速センサ２０と操舵角を検出する操舵角センサ２２が設けられて、それらのセンサの出力は、センサインタフェース２４とシステムバス１６を介して画像処理ＥＣＵ１８に送られる。
　画像処理ＥＣＵ１８では、後述する画像処理を実行して歩行者や他車両等の移動物体を検出し、検出した移動物体の位置を特定する。その際、画像処理の途中経過や結果はメモリ２６に一時記憶される。
　画像処理で特定された移動物体の位置情報は、車両挙動制御部８０に送られる。そして、車両１０の挙動を制御する車両挙動制御ＥＣＵ３０において、車両１０と移動物体が接触する可能性が判定される。接触の可能性があるときには、車両挙動制御ＥＣＵ３０は、表示制御部３２を介して車両１０に設置されたモニタ３４に必要な警報や警告を出力し、車両１０の運転者に注意喚起を行う。また、車両挙動制御ＥＣＵ３０において、接触が避けられないと判定されたときには、車両１０の制動力を発生させるブレーキアクチェータ３６を駆動して車両１０の制動を行う。
（車両挙動制御装置の機能構成の説明）
　図２，図３を用いて本実施例の車両挙動制御装置１００ａの機能構成について説明する。図２は車両挙動制御装置１００ａの機能構成を示す機能ブロック図である。図３は、車両挙動制御装置１００ａの車載状態を示す図である。
　車両用外界認識装置５０ａは、図２に示すように、後方カメラ１２と、後方カメラ１２で撮像した画像をデジタル情報に変換して原画像Ｉ（ｘ，ｙ，ｔ）として取得する画像取得部５２と、異なる時刻に取得された２枚の原画像の中から移動物体を検出する動き領域検出部５４（第１物体検出部）と、原画像Ｉ（ｘ，ｙ，ｔ）を真上から見下ろした俯瞰画像Ｊ（ｘ，ｙ，ｔ）に変換する俯瞰画像生成部５６と、異なる時刻に取得された２枚の原画像からそれぞれ生成された２枚の俯瞰画像同士の差分演算を行って移動物体を検出する差分演算部５８（第２物体検出部）と、動き領域検出部５４で検出された移動物体と差分演算部５８で検出された移動物体とが同一の移動物体であるか否かを判定する検出物体判定部６０と、検出物体判定部６０において同一の移動物体であると判定されたときに、その移動物体の存在位置を特定する移動物体位置特定部６２と、車輪速センサ２０が検出した車両１０の車輪速と操舵角センサ２２が検出した車両１０の操舵角を取得する車両情報取得部６４からなる。
　車両挙動制御部８０は、図２に示すように、車両１０と移動物体との接触可能性を判定する接触判定部８２と、車両１０と移動物体との接触可能性があるときにこれを警報する警報出力部８４と、車両１０と移動物体との接触が避けられないときに車両１０に制動をかけて停止させる制動制御部８６からなる。
　なお、後方カメラ１２は、図３に示すように、車両１０の後部ライセンスプレート付近に、後方に向けて略水平に設置されており、路面を含む後方観測範囲１２ａの画像を撮像している。このとき、車両１０の直近から遠方までの範囲を、左右の広範囲に亘って撮像するために、後方カメラ１２には魚眼レンズに代表される画角の広いレンズが装着されている。
（原画像からの移動物体検出方法の説明）
　図４，図５Ａおよび図５Ｂを用いて、動き領域検出部５４（第１物体検出部）において行われる、原画像から移動物体を検出する方法について説明する。
　図４は、動き領域検出部５４の詳細な内部構成を示す機能ブロック図である。動き領域検出部５４は、原画像Ｉ（ｘ，ｙ，ｔ）を、路面から垂直に起立した、車両１０の左右方向と平行な方向（後方カメラ１２の受光面と平行な方向）に延びる仮想的な平面に投影した平面投影画像Ｉｐ（ｘ，ｙ，ｔ）に変換する平面歪み補正部５４ａを有する。また動き領域検出部５４は、時刻ｔに撮像された原画像Ｉ（ｘ，ｙ，ｔ）から生成された平面投影画像Ｉｐ（ｘ，ｙ，ｔ）と、時刻ｔ-Δｔに撮像された原画像Ｉ（ｘ，ｙ，ｔ-Δｔ）から生成された平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）とからオプティカルフローを検出するオプティカルフロー検出部５４ｂを有する。さらに動き領域検出部５４は、時刻ｔ-Δｔから時刻ｔまでの間の車両１０の車輪速と操舵角の変化に基づいて、時間Δｔの間の車両１０の移動に伴って発生すると予想されるオプティカルフローを算出する車両挙動フロー検出部５４ｃを有する。そして動き領域検出部５４は、オプティカルフロー検出部５４ｂで検出されたオプティカルフローと、車両挙動フロー検出部５４ｃで算出されたオプティカルフローに基づいて移動物体を検出する物体検出部５４ｄを有する。なお、ここで、時間Δｔは使用するハードウェアの性能に応じた値、例えば数十msecの値に設定される。
　ここで、後方カメラ１２には画角の広いレンズが装着されているため、図５Ａに示すように、撮像された原画像Ｉ（ｘ，ｙ，ｔ）は、特に画像の縁部において大きな歪曲を有している。ここで、原画像Ｉ（ｘ，ｙ，ｔ）の中に歩行者Ｘ１と歩行者Ｘ２が写っていたとすると、図５Ａに示すように、辺縁部で撮像される歩行者Ｘ２は、斜めに傾いて写る。後述するように、歩行者は矩形領域として検出されるため、原画像Ｉ（ｘ，ｙ，ｔ）をそのまま処理すると、検出される歩行者Ｘ２の位置と幅にずれが生じてしまう。そこで、平面歪み補正部５４ａにおいて、この歪曲を取り除く処理を行う。
　具体的には、原画像Ｉ（ｘ，ｙ，ｔ）を、路面から垂直に起立した、車両１０の左右方向と平行な方向に延びる仮想的な平面に投影して、図５Ｂに示す平面投影画像Ｉｐ（ｘ，ｙ，ｔ）（投影画像）を生成する。この仮想的な平面への投影処理によって、原画像Ｉ（ｘ，ｙ，ｔ）の中に生じていた歪曲を取り除くことができ、歩行者Ｘ２は図５Ｂに示すように直立した状態に変換される。そして、この平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の中から歩行者Ｘ１，Ｘ２を検出することによって、歩行者の位置と幅を正確に特定することができる。
　平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の生成は、予め用意された歪み補正テーブルを用いて行う。この歪み補正テーブルは、歪み補正前の画像の座標と歪み補正後の画像の座標の対応関係をテーブル化したものである。なお、歪み補正テーブルは、いわゆるキャリブレーションを行うことによって、予め生成して平面歪み補正部５４ａに記憶しておく。
　図６Ａから図６Ｃは、動き領域検出部５４の作用を説明する図である。図６Ａは時刻ｔ-Δｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ-Δｔ）から得た平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の一例である。図６Ａに示すように、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の中には歩行者Ｘ１と駐車枠線Ｙが写っているものとする。
　図６Ｂは、時刻ｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ）から得た平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の一例である。図６Ｂと図６Ａを比較すると、歩行者Ｘ１は時間Δｔの間に前方（画像上では右方）に移動していることがわかる。また、駐車枠線Ｙの位置が移動していることから、車両１０が時間Δｔの間に後方に移動していることがわかる。
　図６Ｃは、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）と平面投影画像Ｉｐ（ｘ，ｙ，ｔ）を比較することによって、歩行者の移動に伴って発生したオプティカルフローのみを検出した結果を示す図である。
　平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）と平面投影画像Ｉｐ（ｘ，ｙ，ｔ）を比較すると、車両１０の移動に伴って発生するオプティカルフローも検出される。車両１０の移動に伴って発生するオプティカルフローは、時間Δｔの間の車両の挙動（車輪速と操舵角）を積分することによって予測することができる。図６Ｃに示すオプティカルフローＯｐは、このようにして予測した車両１０の動きに伴って発生するオプティカルフローとは異なる方向を有するオプティカルフローのみを検出した結果を示している。すなわち、図６Ｃの画像は、車両１０の移動に伴うオプティカルフロー（駐車枠線Ｙの移動を示すオプティカルフロー）が抑制されて、歩行者の移動を表したオプティカルフローＯｐのみが検出されたものである。
　このようにして検出されたオプティカルフローＯｐを分析して、同一方向に同一量だけ移動している領域を統合して、ひとつの移動物体であると認識することができる。なお、異なる時刻に撮像された２枚の画像の中からオプティカルフローＯｐを検出する方法は、広く一般に用いられているため、詳細な処理内容の説明は省略する。ごく簡単に説明すると、一方の画像を複数の小領域（一方の小領域）に分割して、各小領域と濃淡値の分布がよく似ている小領域（他方の小領域）を、他方の画像の中から探索する処理を行って、対応付けられた一方の小領域がオプティカルフローの始点とされて、他方の小領域がオプティカルフローの終点とされる。
　このようにして検出されたオプティカルフローの終点を構成する小領域のうち、オプティカルフロー同士が近接して、同じ方向を向いて同じ長さを有しているときに、これら複数のオプティカルフローの終点となる小領域を併合して、ひとつの移動物体を表す領域として検出する。
　図７は、このようにして検出された移動物体を表す領域の一例である。図７に示すように、歩行者Ｘ１が移動物体として検出されて、歩行者Ｘ１に外接する矩形領域Ｒ１の位置が動き領域検出部５４に記憶される。なお、複数の移動物体が検出されたときには、各移動物体に外接する複数の矩形領域Ｒｉ（ｉ＝１，２，…）を特定し、それぞれの矩形領域Ｒｉの位置が動き領域検出部５４に記憶される。
　図８は、動き領域検出部５４（物体検出部５４ｄ（図４））に記憶される移動物体の位置と大きさの記憶形式について説明する図である。図８に示すように、矩形領域Ｒｉ（ｉ＝１，２，…）の番号とともに、各矩形領域の左上の頂点座標（ｓｘｉ，ｓｙｉ）と右下の頂点座標（ｅｘｉ，ｅｙｉ）が、それぞれ記憶される。
（俯瞰画像からの移動物体検出方法の説明）　
　図９と図１０Ａから図１０Ｃを用いて、差分演算部５８（第２物体検出部）において行われる、俯瞰画像から移動物体を検出する方法について説明する。
　図９は差分演算部５８の詳細構成を示す機能ブロック図である。図９に示すように、差分演算部５８は、俯瞰画像位置合わせ部５８ａと、差分演算実行部５８ｂと、物体検出部５８ｃからなる。
　図１０Ａから図１０Ｃは、差分演算部５８の作用を説明する図である。図１０Ａは時刻ｔ-Δｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ-Δｔ）を、俯瞰画像生成部５６（図２）において俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）に変換した結果の一例である。図１０Ａに示すように、歩行者Ｘ１は、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）上で領域Ｘ１’に変換される。また、駐車枠線Ｙは、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）上で領域Ｙ’に変換される。なお、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）への変換は、予め俯瞰画像生成部５６に記憶された座標変換テーブル（非図示）を用いて行う。この座標変換テーブルには、原画像の座標と俯瞰画像の座標の対応関係が記憶されている。なお、この座標変換テーブルに、前述した歪曲を補正する歪み補正テーブルの機能も盛り込んで、原画像を俯瞰画像に変換する際に、歪曲を合わせて補正してもよい。
　図１０Ｂは、時刻ｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ）を俯瞰画像Ｊ（ｘ，ｙ，ｔ）に変換した結果の一例である。図１０Ｂに示すように、歩行者Ｘ１の移動に伴って領域Ｘ１’の位置が移動する。また、図１０Ｂと図１０Ａを比較すると、車両１０の移動に伴って駐車枠線Ｙに対応する領域Ｙ’の位置も移動する。
　図１０Ｃは、差分演算実行部５８ｂにおいて、俯瞰画像Ｊ（ｘ，ｙ，ｔ）から俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）を差し引く差分演算（フレーム差分）を行った結果を示す画像である。差分演算を行う際には、時間Δｔの間の車両の挙動に伴って発生する路面の移動を抑制するため、俯瞰画像位置合わせ部５８ａにおいて、車両の挙動（車輪速と操舵角の変化）から予測される俯瞰画像の路面領域の移動量と移動方向に基づいて、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）を予め座標変換して、俯瞰画像Ｊ（ｘ，ｙ，ｔ）と位置合わせをしておく。
　すなわち、差分演算の結果を示す図１０Ｃの画像においては、俯瞰画像Ｊ（ｘ，ｙ，ｔ）と俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）の間で駐車枠線Ｙに対応する領域Ｙ’の位置が一致するため、領域Ｙ’の情報は抑制されて、歩行者に対応する領域Ｘ１’の移動に対応する領域のみが検出される。
　次に、物体検出部５８ｃにおいて、差分演算の結果得られた画像（図１０Ｃ）の中から移動物体の検出を行う。
　具体的には、俯瞰画像同士の差分演算によって得られた結果を所定のしきい値で２値化して、抽出された領域を移動物体を表す領域とする。なお、検出された領域にはラベル付けを行い、さらに各領域Ｘｊ’（ｊ＝１，２，…）の重心位置を計算して、個々の領域を識別できるようにしておく。
　図１１は、物体検出部５８ｃに記憶される移動物体の位置の記憶形式について説明する図である。図１１に示すように、検出された領域の番号とともに、移動物体として検出された各領域Ｘｊ’（ｊ＝１，２，…）の重心位置の水平座標ｇｘｊ（ｊ＝１，２，…）と垂直座標ｇｙｊ（ｊ＝１，２，…）がそれぞれ記憶される。
（移動物体判定方法の説明）
　図７と図１２Ａから図１２Ｃを用いて、検出物体判定部６０（図２）において行われる、動き領域検出部５４（第１物体検出部）で検出された移動物体と差分演算部５８（第２物体検出部）で検出された移動物体が同一の移動物体であるか否かを判定する処理について説明する。
　動き領域検出部５４（第１物体検出部）で検出された移動物体と差分演算部５８（第２物体検出部）で検出された移動物体が同一の移動物体であるか否かを判定するために、まず、検出された各移動物体を代表する座標値を算出する。
　すなわち、動き領域検出部５４（第１物体検出部）で検出された移動物体から、物体位置座標として、図７に示す点Ｆ１（ｆｘ１，ｆｙ１）の座標値を算出する。点Ｆ１は、移動物体に外接する矩形領域Ｒ１の下辺の中点に対応する点である。したがって、その水平座標はｆｘ１＝（ｓｘ１＋ｅｘ１）／２で算出される。また垂直座標はｆｙ１＝ｅｙ１で算出される。なお、複数の移動物体が検出されたときには、図８に示した記憶情報を参照して、複数の点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）の座標値をそれぞれ算出する。ここで、点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）の座標値は、動き領域検出部５４で物体検出処理を行った際に併せて算出して、図８の情報と併せて記憶しておいてもよい。
　次に、差分演算部５８（第２物体検出部）で検出された移動物体から、検出された領域の重心座標（図１１）を用いて、図１２Ａから図１２Ｃで説明する手順によって、移動物体を代表する座標値を算出する。
　まず、図１２Ａに示すように、俯瞰画像同士の差分結果を示す画像の中に、後方カメラ１２（図２）の位置を表す後方カメラ位置Ｃ（ｃｘ，ｃｙ）を設定する。この後方カメラ位置Ｃは、俯瞰画像の表示範囲に応じて一意に決定される。図１２Ａの例では、俯瞰画像の下辺上に設置されているものとする。なお、移動物体を表す領域Ｘ１’の重心点Ｇ１の座標はＧ１（ｇｘ１，ｇｙ１）であるとする。
　次に、図１２Ｂに示すように、重心点Ｇ１（ｇｘ１，ｇｙ１）と後方カメラ位置Ｃ（ｃｘ，ｃｙ）を結ぶ線分Ｌ１を設定する。
　さらに、図１２Ｃに示すように、領域Ｘ１’に属する点のうち、後方カメラ位置Ｃ（ｃｘ，ｃｙ）に最も接近した接地点Ｈ１（ｈｘ１，ｈｙ１）を求める。具体的には、線分Ｌ１上を重心点Ｇ１（ｇｘ１，ｇｙ１）から後方カメラ位置Ｃ（ｃｘ，ｃｙ）に向かって探索して、領域Ｘ１’と同じラベル値を有する、重心点Ｇ１から最も離れた点の位置を見つければよい。このようにして探索された接地点Ｈ１（ｈｘ１，ｈｙ１）は、領域Ｘ１’が路面と接地する接地点の位置を表している。なお、俯瞰画像の差分を行って複数の移動物体が検出されたときには、図１１に示した移動物体の位置情報を参照して、複数の接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）をそれぞれ算出する。ここで、接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）は、俯瞰画像から移動物体を検出する際に同時に算出して、図１１の情報と併せて記憶しておいてもよい。
　次に、各領域の物体位置座標を示す、画像上の点Ｆｉ（ｉ＝１，２，…）（図７）の座標と、各領域の接地点を示す、画像上の接地点Ｈｊ（ｊ＝１，２，…）の座標の位置関係を比較する。すなわち、後方カメラ１２（図２）の設置位置から見た点Ｆｉの相対位置と、後方カメラ１２（図２）の設置位置から見た接地点Ｈｊの相対位置の距離を判定する。
　そのため、点Ｆｉと接地点Ｈｊを、それぞれ、図１３に示すように、後方カメラ位置Ｃ（ｃｘ，ｃｙ）から見た相対座標に変換する。すなわち、点Ｆｉの相対位置は、後方カメラ１２（図２）の設置位置を原点として、車両１０の幅方向をＸ軸、車両１０の前後方向をＹ軸としたＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）（ｉ＝１，２，…）として算出することができる。また、後方カメラ位置Ｃ（ｃｘ，ｃｙ）から見た接地点Ｈｊの相対位置も、同様にして、ＸＹ座標系における座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）として算出することができる。
　なお、点Ｆｉ（ｆｘｉ，ｆｙｉ）の座標値（ＦＸｉ，ＦＹｉ）への換算と、接地点Ｈｊ（ｈｘｊ，ｈｙｊ）の座標値（ＨＸｊ，ＨＹｊ）への換算は、後方カメラ１２の光学パラメータである焦点距離ｆや後方カメラ１２の設置位置（高さや俯角等）を用いて行うことができる。
　このとき、図１３に示すように、点Ｆｉ（ｆｘｉ，ｆｙｉ）のＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）と接地点Ｈｊ（ｈｘｊ，ｈｙｊ）のＸＹ座標系における座標値（ＨＸｊ，ＨＹｊ）は必ずしも一致しない。これは、点Ｆｉ（ｆｘｉ，ｆｙｉ）は移動物体の幅や横方向位置の情報を含む矩形領域Ｒｉの位置に基づいて算出された点であり、接地点Ｈｊ（ｈｘｊ，ｈｙｊ）は移動物体の接地点の位置に基づいて算出された点であるため、計測方法の違いに伴う誤差が生じるためである。
　したがって、検出物体判定部６０（図２）は、ＸＹ座標系における座標値に換算された、点Ｆｉと接地点Ｈｊの距離を求めて、その距離の大きさを判定した結果、点Ｆｉと接地点Ｈｊが所定距離以内に近接しているときに、動き領域検出部５４（第１物体検出部）で検出された移動物体（矩形領域Ｒｉ）と、差分演算部５８（第２物体検出部）で検出された移動物体（領域Ｘｊ’）が同一の移動物体であると判定する。
　矩形領域Ｒｉと領域Ｘｊ’が同一の移動物体であると判定されたとき、図８と図１１に示す検出結果が統合されて、新たに統合物体情報として検出物体判定部６０に記憶される。このとき、統合結果は添字ｋを用いて、点Ｆｋ（Ｆｉ）のＸＹ座標系における座標値（ＦＸｋ，ＦＹｋ）（ｋ＝１，２，…）と接地点Ｈｋ（Ｈｊ）のＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）は同じ移動物体を示す情報であるとして記憶される。
（移動物体位置の特定方法の説明）
　移動物体の位置の特定は、移動物体位置特定部６２（図２）で行われる。以下、その方法について図１３を用いて説明する。なお、図１３は、点Ｆｉと接地点Ｈｊが近接していると判定されて、それらが同一の移動物体を示すものと判定されて統合された状態を示す。すなわち、統合前には添字ｉ，ｊで管理していた情報を、新たに添字ｋを付与して管理する。
　まず、先述した移動物体判定の結果、同一の移動物体と判定されて検出物体判定部６０に記憶された統合物体情報である、各移動物体を示す矩形領域Ｒｋ（Ｒｉ）の左右端の画像上の座標値ｓｘｋ，ｅｘｋ（ｋ＝１，２，…）と、接地点Ｈｋ（Ｈｊ）のＸＹ座標系（図１３）における座標値（ＨＸｋ（ＨＸｊ），ＨＹｋ（ＨＹｊ））（ｋ＝１，２，…）がそれぞれ読み出される。
　次に、矩形領域Ｒｋの左右端の画像上の座標値ｓｘｋ，ｅｘｋ（ｋ＝１，２，…）の差分値を算出することによって、移動物体の画像上の幅ｗｋを算出する。すなわち、移動物体の画像上の幅ｗｋは、ｗｋ＝ｅｘｋ‐ｓｘｋ（ｋ＝１，２，…）によって算出される。
　さらに、座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）と、移動物体の画像上の幅ｗｋと、後方カメラ１２の光学パラメータである焦点距離ｆを用いて移動物体の実際の幅Ｗｋ（ｋ＝１，２，…）を算出する。
　具体的には、Ｗｋ＝ｗｋ×（後方カメラ位置Ｃと接地点Ｈｋの距離Ｄｋ）／ｆによって算出することができる。なお、距離Ｄｋは、図１３に示すように、接地点Ｈｋ（Ｈｊ）のＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）を用いて、Ｄｋ＝（ＨＸｋ２＋ＨＹｋ２）１／２によって算出することができる。
　ここで算出された、移動物体までの距離Ｄｋと、移動物体の実際の幅Ｗｋは、移動物体位置特定部６２に記憶される。
（車両挙動制御の作用の説明）
　車両挙動制御部８０の作用について、図２を用いて説明する。先述した移動物体検出処理によって検出された移動物体の位置情報は、図２に示す接触判定部８２に送られる。
　接触判定部８２は、移動物体の位置情報と車両１０の挙動情報（車輪速と操舵角）から、車両１０が移動物体に接触する可能性を算出する。具体的には、前述した移動物体位置特定処理によって算出された、車両１０（後方カメラ１２）から各移動物体までの実際の距離Ｄｋ（ｋ＝１，２，…）と、移動物体の実際の幅Ｗｋ（ｋ＝１，２，…）とから、車両１０が現在の車速と現在の操舵角のまま移動したと仮定したときの、移動物体と接触する可能性を算出する。
　その結果、車両１０が移動物体と接触する可能性があるときには、警報出力部８４から警報を出力して注意喚起を行う。
　また、移動物体と接触する可能性が非常に高いときには、制動制御部８６を作動させて車両１０に制動力を発生させ、強制的に車両を停止させ、移動物体との接触を回避する。
（車両挙動制御装置で行われる処理の流れの説明）
　車両挙動制御装置１００ａで行われる一連の処理の流れについて、図１４のフローチャートと図２の機能ブロック図を用いて説明する。なお、ここでは各処理の概要を説明するに留め、各処理の詳細な流れの説明は後述する。
　（ステップＳ１０）後方カメラ１２で車両１０の後方の画像を取得する。
　（ステップＳ１２）動き領域検出部５４（第１物体検出部）において、オプティカルフローに基づく物体検出処理を行う。
　（ステップＳ１４）俯瞰画像生成部５６において俯瞰画像生成処理を行う。
　（ステップＳ１６）差分演算部５８（第２物体検出部）において、俯瞰画像の差分に基づく物体検出処理を行う。
　（ステップＳ１８）検出物体判定部６０において検出物体判定処理を行う。
　（ステップＳ２０）移動物体位置特定部６２において移動物体位置特定処理を行う。
　（ステップＳ２２）車両挙動制御部８０において、車両１０の挙動制御を行う。
　なお、各ステップで行われる処理の詳細な流れについては後述する。
（オプティカルフローに基づく物体検出処理の流れの説明）
　図１４のステップＳ１２で行われるオプティカルフローに基づく物体検出処理の流れについて、図１５のフローチャートと図４の機能ブロック図を用いて説明する。
　（ステップＳ３０）平面歪み補正部５４ａにおいて歪曲補正処理を行う。
　（ステップＳ３２）オプティカルフロー検出部５４ｂにおいてオプティカルフロー検出処理を行う。
　（ステップＳ３４）車両挙動フロー検出部５４ｃにおいて車両挙動フロー算出処理を行う。
　（ステップＳ３６）物体検出部５４ｄにおいて、車両挙動フローと方向が異なるオプティカルフローの抽出処理を行う。
　（ステップＳ３８）物体検出部５４ｄにおいて、抽出されたオプティカルフローの終点に対応する領域のラベル付け処理を行う。
　（ステップＳ４０）物体検出部５４ｄにおいて、ラベル付けされた各領域に外接する矩形領域の登録処理を行い、その後メインルーチン（図１４）に戻る。
（俯瞰画像の差分に基づく物体検出処理の流れの説明）
　図１４のステップＳ１６で行われる俯瞰画像の差分に基づく物体検出処理の流れについて、図１６のフローチャートと図２，図９の機能ブロック図を用いて説明する。
　（ステップＳ５０）俯瞰画像生成部５６（図２）において俯瞰画像Ｊ（ｘ，ｙ，ｔ‐Δｔ）を生成する。
　（ステップＳ５２）俯瞰画像生成部５６（図２）において俯瞰画像Ｊ（ｘ，ｙ，ｔ）を生成する。
　（ステップＳ５４）俯瞰画像位置合わせ部５８ａ（図９）において、車両情報に基づいて俯瞰画像Ｊ（ｘ，ｙ，ｔ‐Δｔ）を変形処理し、俯瞰画像Ｊ（ｘ，ｙ，ｔ）と位置合わせを行う。
　（ステップＳ５６）差分演算実行部５８ｂ（図９）においてフレーム差分を実行する。
　（ステップＳ５８）物体検出部５８ｃ（図９）において、フレーム差分の結果に対して、２値化処理とラベリング処理を行う。
　（ステップＳ６０）物体検出部５８ｃ（図９）において、ラベル付けされた各領域の重心位置の登録処理を行い、その後メインルーチン（図１４）に戻る。
（検出物体判定処理の流れの説明）
　図１４のステップＳ１８で行われる検出物体判定処理の流れについて、図１７のフローチャートを用いて説明する。なお、検出物体判定処理は、図２に示した検出物体判定部６０において行われる。
　（ステップＳ７０）各矩形領域Ｒｉ（ｉ＝１，２，…）の位置から、移動物体の位置座標として点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）を算出する。
　（ステップＳ７２）点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）のＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）（ｉ＝１，２，…）を算出する。なお、ステップＳ７０とステップＳ７２は、全ての矩形領域Ｒｉに対して繰り返して実行する。
　（ステップＳ７４）各領域Ｘｊ’（ｊ＝１，２，…）の重心位置から移動物体の接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）を算出する。
　（ステップＳ７６）移動物体の接地点である接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）のＸＹ座標系における座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）を算出する。なお、ステップＳ７４とステップＳ７６は、全ての領域Ｘｊ’に対して繰り返して実行する。
　（ステップＳ７８）座標値（ＦＸｉ，ＦＹｉ）（ｉ＝１，２，…）と座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）が所定距離以内に近接しているか否かを、全ての添字ｉ，添字ｊの組み合わせについて判定する。所定距離以内であるときはステップＳ８０に進み、それ以外のときは、判定する領域を変更してステップＳ７８を繰り返す。
　（ステップＳ８０）座標値（ＦＸｉ，ＦＹｉ）に対応する矩形領域Ｒｉと座標値（ＨＸｊ，ＨＹｊ）に対応する領域Ｘｊ’は同一の移動物体であると判定されて、２つの検出結果を紐付ける。また、ＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）（ｊ＝１，２，…）と座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）を記憶する。なお、ステップＳ７８とステップＳ８０は、検出された全ての移動物体に対して繰り返して実行する。ここで、同一の移動物体であると判定された矩形領域Ｒｉと領域Ｘｊ’は、添字ｋ（ｋ＝１，２，…）を用いて、矩形領域Ｒｋ（Ｒｉ）と領域Ｘｋ’（Ｘｊ’）は同じ移動物体を表す領域であるとして紐付けられて記憶される。すなわち、矩形領域Ｒｉを代表する座標値（ＦＸｉ，ＦＹｉ）は座標値（ＦＸｋ，ＦＹｋ）として記憶され、領域Ｘｊ’ を代表する座標値（ＨＸｊ，ＨＹｊ）は座標値（ＨＸｋ，ＨＹｋ）として記憶される。その後、メインルーチン（図１４）に戻る。
（移動物体位置特定処理の流れの説明）
　図１４のステップＳ２０で行われる移動物体位置特定処理の流れについて、図１８のフローチャートを用いて説明する。なお、移動物体位置特定処理は、図２に示した移動物体位置特定部６２において行われる。
　（ステップＳ９０）検出物体判定処理によって同一の移動物体と判定された移動物体の情報を読み出す。
　（ステップＳ９２）同一の移動物体を示している動き領域検出部５４（第１物体検出部）の検出結果と差分演算部５８（第２物体検出部）の検出結果を取得する。
　（ステップＳ９４）矩形領域Ｒｋの左右端の座標値ｓｘｋ，ｅｘｋと、接地点ＨｋのＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）を読み出す。
　（ステップＳ９６）座標値ｓｘｋ，ｅｘｋから、移動物体の画像上の幅ｗｋを算出する。
　（ステップＳ９８）座標値（ＨＸｋ，ＨＹｋ）と移動物体の画像上の幅ｗｋから、移動物体の実際の幅Ｗｋを算出する。なお、このとき、移動物体までの距離Ｄｋも算出しておく。
　（ステップＳ１００）移動物体の実際の幅Ｗｋと、移動物体までの距離Ｄｋと、ＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）を、検出された移動物体の位置情報として登録する。なお、ステップＳ９０からステップＳ１００の処理は、全ての添字ｋ（ｋ＝１，２，…）について行う。その後、メインルーチン（図１４）に戻る。
　（実施例２）
　本発明に係る車両用外界認識装置を用いた車両挙動制御装置の別の具体的な実施形態について、図面を参照して説明する。
（実施例２の機能構成の説明）
　本実施例２は、本発明を、車両後方の移動物体を検出して、後退駐車時に移動物体と接触する可能性があるときには、車両に制動をかけて停止させる車両挙動制御装置に適用したものである。
　図１９は、実施例２に係る車両挙動制御装置１００ｂの機能構成を示す機能ブロック図である。車両挙動制御装置１００ｂは、前述した車両挙動制御装置１００ａが有する車両用外界認識装置５０ａ（図２）の代わりに車両用外界認識装置５０ｂを有している。
　車両用外界認識装置５０ｂの内部構成は、車両用外界認識装置５０ａの内部構成とほぼ同様であるが、動き領域検出部５５（第１物体検出部）の内部構成と移動物体位置特定部６３の内部構成のみが異なっている。以下、動き領域検出部５５の内部構成と移動物体位置特定部６３の内部構成についてのみ説明する。なお、それ以外の構成要素の機能は実施例１で説明した通りであるため、説明は省略する。
（歪曲補正方法の説明）
　図２０は、車両挙動制御装置１００ｂに実装された動き領域検出部５５（第１物体検出部）の詳細な内部構成を示す機能ブロック図である。動き領域検出部５５は、原画像Ｉ（ｘ，ｙ，ｔ）を、路面に垂直に立てた仮想的な円筒面に投影した円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）（投影画像）に変換する円筒面歪み補正部５４ｅと、時刻ｔに撮像された原画像から生成された円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）と時刻ｔ-Δｔに撮像された原画像から生成された円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ-Δｔ）からオプティカルフローを検出するオプティカルフロー検出部５４ｂと、時刻ｔ-Δｔから時刻ｔまでの間の車両１０の車輪速と操舵角の変化に基づいて、時間Δｔの間の車両１０の移動に伴って発生すると予想されるオプティカルフローを算出する車両挙動フロー検出部５４ｃと、オプティカルフロー検出部５４ｂで検出されたオプティカルフローと車両挙動フロー検出部５４ｃで算出されたオプティカルフローに基づいて移動物体を検出する物体検出部５４ｄとからなる。
　円筒面歪み補正部５４ｅは、撮像された原画像Ｉ（ｘ，ｙ，ｔ）に生じる歪曲を取り除いて補正する機能を有する。具体的には、原画像Ｉ（ｘ，ｙ，ｔ）を、路面から垂直に起立して、後方カメラ１２の焦点位置を中心とする円弧上に形成された仮想的な円筒面に投影して、図５Ｃに示す円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）を生成する。この仮想的な円筒面への投影処理によって、原画像Ｉ（ｘ，ｙ，ｔ）の中に生じていた歪曲を取り除くことができ、図５Ｃに示すように、歩行者Ｘ２は直立した状態に変換される。そして、この円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）から歩行者を検出することによって、歩行者の位置と幅を正確に特定することができる。
　なお、実施例１で説明した車両挙動制御装置１００ａでは、同様の投影処理を行って平面投影画像Ｉｐ（ｘ，ｙ，ｔ）を生成したが、図５Ｂと図５Ｃを比較するとわかるように、いずれの投影処理を行っても歪曲が取り除かれて、歩行者が直立した画像が得られる。
なお、図５Ｃに示す円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）と、図５Ｂに示す平面投影画像Ｉｐ（ｘ，ｙ，ｔ）を比較すると、仮想面に投影される際の倍率が異なるため、円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）にあっては、画像の辺縁部において歩行者がより小さく投影される。しかし、円筒面に投影しているため、移動物体の上下方向の形状は保持されて、歩行者は歩行者の形状を保って補正される。すなわち、歩行者の検出性能が悪化することはない。また、図５Ｂと図５Ｃを比較すると、歩行者の足元位置が異なっているが、これは投影方法の違いによって発生する現象であって、車両と移動物体の距離は、原画像から生成した俯瞰画像に基づいて算出されるため、移動物体の検出性能への影響はない。
　すなわち、実施例１で説明した平面投影と本実施例２で説明する円筒面投影のいずれを用いても、原画像の歪曲を補正することができる。また、実際の投影処理は、予め生成された歪み補正テーブルを用いて行うことができるため、いずれの投影方法を用いても処理に要する時間は変わらない。なお、円筒面投影を用いると、平面投影に比べて広い視野の情報を画像化することができるため、広視野の情報が必要なアプリケーションに対しては、円筒面投影がより望ましい歪曲補正方法である。
（移動物体位置の特定方法の説明）
　移動物体位置特定部６３で行われる移動物体位置特定方法について、実施例１との違いに着目して説明する。まず、先述した移動物体判定の結果、同一の移動物体と判定されて検出物体判定部６０に記憶された、各移動物体を示す矩形領域Ｒｋの左右端の座標値ｓｘｋ，ｅｘｋ（ｋ＝１，２，…）と、接地点ＨｋのＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）がそれぞれ読み出される。
　次に、接地点ＨｋのＹ方向の座標値ＨＹｋ（ｋ＝１，２，…）と、矩形領域Ｒｋの左右端の座標値ｓｘｋ，ｅｘｋ（ｋ＝１，２，…）から移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）を算出する（図１３）。
　移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）は、移動物体の接地点ＨｋのＹ方向の座標値ＨＹｋ（ｋ＝１，２，…）と、後方カメラ１２の光学パラメータである焦点距離ｆを用いて算出することができる。具体的には、例えば、ＳＸｋ＝ｓｘｋ＊ＨＹｋ／ｆ，ＥＸｋ＝ｅｘｋ＊ＨＹｋ／ｆによって算出することができる。
　このようにして算出された移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）から、左右端の位置ＳＸｋ，ＥＸｋの中点として移動物体の実際の横方向位置ＦＸｋ（ｋ＝１，２，…）を算出することができる。さらに、移動物体の実際の幅Ｗｋを算出することができる。なお、このとき、移動物体までの距離Ｄｋも算出しておく。
　具体的には、ＦＸｋ＝（ＳＸｋ＋ＥＸｋ）／２，Ｗｋ＝ＥＸｋ－ＳＸｋによって、それぞれ算出することができる。また、距離Ｄｋは実施例１で説明した通り、座標値（ＨＸｋ，ＨＹｋ）を用いて算出する。
　このようにして算出された移動物体の実際の幅Ｗｋと移動物体までの距離Ｄｋと移動物体の位置を示す座標値（ＦＸｋ，ＦＹｋ）（ｋ＝１，２，…）は、移動物体位置特定部６３に記憶される。
　すなわち、実施例１では、画像上の移動物体の幅と移動物体の接地点の位置座標から移動物体の実際の幅を算出したが、本実施例２では、画像上の移動物体の左右端の位置と移動物体の接地点の位置座標から移動物体の実際の幅を算出する点が異なっている。いずれの方法を用いても移動物体の位置を確実に特定することができるが、移動物体の左右端の位置を用いる実施例２の方法によると、移動物体の横方向の位置精度をより向上させることができる。
（車両挙動制御装置で行われる処理の流れの説明）
　車両挙動制御装置１００ｂで行われる一連の処理は、図１４のフローチャートとほぼ同じ流れで行われる。すなわち、図１４は車両挙動制御装置１００ａで行われる処理の流れを示すフローチャートであるが、実施例２に示した車両挙動制御装置１００ｂの処理の大まかな流れを示すためにも流用できるため、実施例２のメインルーチンは図１４で表されるものとして以後の説明を行う。
　なお、図１４に示した各処理の概要は実施例１で説明した通りであるため、再度の説明は省略し、実施例１と異なる部分についてのみ説明する。
（オプティカルフローに基づく物体検出処理の流れの説明）
　本実施例２において、図１４のステップＳ１２で行うオプティカルフローに基づく物体検出処理の流れは実施例１と同じであるが、歪曲補正処理（図１５のステップＳ３０）の内容のみが異なる。
　すなわち、実施例２では、図２０に示す円筒歪み補正部５４ｅにおいて、円筒面投影による原画像Ｉ（ｘ，ｙ，ｔ）の歪曲補正を行う。
（移動物体位置特定処理の流れの説明）
　図１４のステップＳ２０で行われる移動物体位置特定処理の流れは、実施例１（図１８）と異なるため、図２１のフローチャートを用いて説明する。なお、移動物体位置特定処理は、図１９に示した移動物体位置特定部６３において行われる。
　（ステップＳ１１０）検出物体判定処理によって同一の移動物体と判定された移動物体の情報を読み出す。
　（ステップＳ１１２）同一の移動物体を示している動き領域検出部５４（第１物体検出部）の検出結果と差分演算部５８（第２物体検出部）の検出結果を取得する。
　（ステップＳ１１４）矩形領域Ｒｉの左右端の座標値ｓｘｋ，ｅｘｋと、接地点ＨｋのＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）を読み出す。
　（ステップＳ１１６）座標値（ＨＸｋ，ＨＹｋ）と座標値ｓｘｋ，ｅｘｋから、移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）を算出する。
　（ステップＳ１１８）移動物体の横方向位置ＦＸｋ（ｋ＝１，２，…）と、移動物体の実際の幅Ｗｋを算出する。なお、このとき、移動物体までの距離Ｄｋも算出しておく。
　（ステップＳ１２０）移動物体の実際の幅Ｗｋと移動物体までの距離Ｄｋと移動物体の位置を示す座標値（ＦＸｋ，ＦＹｋ）（ｋ＝１，２，…）を、検出された移動物体の位置情報として登録する。なお、ステップＳ１１０からステップＳ１２０の処理は、全ての添字ｋ（ｋ＝１，２，…）について行う。その後、メインルーチン（図１４）に戻る。
　（実施例３）
　本発明に係る車両用外界認識装置を用いた車両挙動制御装置の別の具体的な実施形態について、図面を参照して説明する。
（実施例３の機能構成の説明）
　本実施例３は、本発明を、車両後方の移動物体を検出して、後退駐車時に移動物体と接触する可能性があるときには、車両に制動をかけて停止させる車両挙動制御装置に適用したものである。
　図２２は、実施例３に係る車両挙動制御装置１００ｃの機能構成を示す機能ブロック図である。車両挙動制御装置１００ｃは、車両用外界認識装置５０ｃと車両挙動制御部８０からなり、前述した車両挙動制御装置１００ａ，１００ｂとは、動き領域検出部５７（第１物体検出部）の内部構成と検出物体判定部６１の内部構成と移動物体位置特定部６５の内部構成が異なっている。以下、動き領域検出部５７と検出物体判定部６１と移動物体位置特定部６５の内部構成についてのみ説明する。なお、それ以外の構成要素の機能は実施例１で説明した通りであるため、説明は省略する。
　動き領域検出部５７（第１物体検出部）は、原画像Ｉ（ｘ，ｙ，ｔ‐Δｔ），Ｉ（ｘ，ｙ，ｔ）の中から移動物体の検出を行う。
　図２３は、動き領域検出部５７（第１物体検出部）の詳細な内部構成を示す機能ブロック図である。動き領域検出部５７は、図４に示した実施例１の動き領域検出部５４の構成に加えて、原画像Ｉ（ｘ，ｙ，ｔ）の中からパターンマッチングによって歩行者を検出する歩行者パターン検出部５７ａと、原画像Ｉ（ｘ，ｙ，ｔ）の中からパターンマッチングによって車両を検出する車両パターン検出部５７ｂを有する。このような構成にすることによって、原画像Ｉ（ｘ，ｙ，ｔ）の中から検出された移動物体の種別を特定して、移動物体までの距離の検出精度を向上させることができる。詳しくは後述する。
　検出物体判定部６１は、動き領域検出部５７（第１物体検出部）で検出された移動物体と差分演算部５８（第２物体検出部）で検出された移動物体が同一の移動物体であるか否かを判定する。なお、動き領域検出部５７（第１物体検出部）で検出された移動物体として、歩行者パターン検出部５７ａの検出結果と車両パターン検出部５７ｂの検出結果が併せて参照される点が、実施例１，実施例２とは異なる。
　移動物体位置特定部６５は、検出された移動物体の存在位置を特定する。その際、検出された移動物体の種別に応じて、移動物体までの距離の算出方法を変更する点が、実施例１，実施例２とは異なる。詳細は後述する。
（歩行者パターン，車両パターン検出方法の説明）
　動き領域検出部５７（第１物体検出部）において行われる、原画像Ｉ（ｘ，ｙ，ｔ）から歩行者パターンと車両パターンを検出する方法について説明する。
　歩行者パターンと車両パターンの識別は、一般的に行われているパターンマッチングによって行う。より具体的には、テンプレートマッチング，輝度勾配の分布ヒストグラムを用いたパターン識別法（ＨＯＧ），ニューラルネットワークを用いたパターン識別等のいずれの方法を用いて行っても構わない。
　なお、パターンマッチングを効率的に行うために、原画像Ｉ（ｘ，ｙ，ｔ）から生成した解像度の低いピラミッド画像を用いるのが望ましい。
　検出された歩行者パターンおよび車両パターンは、オプティカルフローに基づいて検出された移動物体と同様の形式で動き領域検出部５７に記憶される。すなわち、検出された歩行者パターンまたは車両パターンに外接する矩形領域Ｒｉ（ｉ＝１，２，…）の番号とともに、各矩形領域の左上の頂点座標（ｓｘｉ，ｓｙｉ）と右下の頂点座標（ｅｘｉ，ｅｙｉ）が、それぞれ記憶される。また、このとき、移動物体の位置を代表する点Ｆｉ（図７）の座標を算出して同時に記憶しておいてもよい。
（移動物体判定方法の説明）　
　検出物体判定部６１は、オプティカルフローに基づく移動物体の検出結果と、俯瞰画像の差分による移動物体の検出結果に加えて、歩行者パターンの検出結果と車両パターンの検出結果を用いて、検出された移動物体が同一の移動物体であるか否かを特定する。詳細な処理の流れは後述する。
（移動物体位置の特定方法の説明）
　移動物体位置特定部６５は、検出物体判定部６１で同一の移動物体であると判定された移動物体の存在位置を特定する。その際、検出された移動物体が歩行者であるか車両であるかによって、移動物体までの距離の計測方法を変更する。
　具体的には、検出された移動物体が車両であるときは、オプティカルフロー検出部５４ｂ（図２３）の検出結果に基づいて移動物体までの距離を算出する。そして、検出された移動物体が歩行者であるときは、差分演算部５８（図２２）の検出結果に基づいて移動物体までの距離を算出する。
　車両のように、路面に接する接地点（タイヤ）と後方カメラ１２に最も接近した近接点（バンパー）が異なる移動物体（オーバーハングがある移動物体）にあっては、俯瞰画像の差分結果から算出された接地点（例えば、図１２ＣのＨ１（ｈｘ1，ｈｙ１））は、必ずしも移動物体までの距離を表していない。
　接地点と近接点が異なる例を、図２４Ａから図２４Ｃを用いて説明する。図２４Ａは、後方カメラ１２で取得された原画像Ｉ（ｘ，ｙ，ｔ）の一例である。原画像Ｉ（ｘ，ｙ，ｔ）の中には、歩行者Ｘ１と他車両Ｙ１が写っている。歩行者Ｘ１には、オプティカルフローに基づいて検出された移動物体として矩形領域Ｒ１と移動物体の位置を表す点Ｆ１が重畳されている。また、他車両Ｙ１には、オプティカルフローに基づいて検出された移動物体として矩形領域Ｒ２と移動物体の位置を表す点Ｆ２が重畳されている。
　図２４Ｂは、原画像Ｉ（ｘ，ｙ，ｔ）を俯瞰画像Ｊ（ｘ，ｙ，ｔ）に変換した例である。歩行者Ｘ１は領域Ｘ１’に変換されて、他車両Ｙ１は領域Ｙ１’に変換される。そして、歩行者Ｘ１が変換された領域Ｘ１’からは接地点Ｈ１が検出されて、他車両Ｙ１が変換された領域Ｙ１’からは接地点Ｈ２が検出される。
　そして、後方カメラ位置Ｃと領域Ｘ１’の接地点Ｈ１の距離が、車両１０から歩行者Ｘ１までの距離として算出される。また、後方カメラ位置Ｃと領域Ｙ１’の接地点Ｈ２の距離が、車両１０から他車両Ｙ１までの距離として算出される。
　このとき、歩行者Ｘ１から検出された点Ｆ１と接地点Ｈ１は同一点を表している。一方、他車両Ｙ１から検出された点Ｆ２と接地点Ｈ２は同一点を表していない。したがって、図２４Ｃに示すように、点Ｆ２は他車両Ｙ１のバンパー前端の位置を表しているのに対し、接地点Ｈ２は他車両Ｙ１のタイヤ接地点の位置を表している。
　本実施例３は、このようにして発生する可能性がある移動物体の位置の算出誤差を低減するために、原画像から車両が検出されたときには、原画像からオプティカルフローに基づいて検出された移動物体の位置を表す点Ｆ２に基づいて移動物体までの距離を算出する。一方、原画像から歩行者が検出されたときには、俯瞰画像からフレーム差分によって検出された移動物体の接地点Ｈ１に基づいて移動物体までの距離を算出する。
　以下、図２９Ａと図２９Ｂを用いて、移動物体の存在位置と移動物体の幅を特定する方法について具体的に説明する。
　図２９Ａは、移動物体として歩行者が検出されたときに、その存在位置と幅を特定する方法を示す図である。
　すなわち、俯瞰画像の差分に基づいて移動物体（領域Ｘｉ’）が検出されて、オプティカルフローに基づいて移動物体（矩形領域Ｒｉ）が検出されないときは、俯瞰画像の差分に基づいて得た領域Ｘｉ’の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）から移動物体までの距離Ｄｉを算出する。そして、距離Ｄｉと歩行者パターンを代表する点Ｆｐ（ＦＸｐ，ＦＹｐ）の位置から移動物体の横方向位置ＦＸｐを算出する。さらに、距離Ｄｉと歩行者パターンの幅ｗｐから移動物体の幅Ｗｉを算出する。
　また、俯瞰画像の差分に基づいて移動物体（領域Ｘｉ’）が検出されて、なおかつ、オプティカルフローに基づいて移動物体（矩形領域Ｒｉ）が検出されたときは、俯瞰画像の差分に基づいて得た領域Ｘｉ’の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）から距離Ｄｉを算出する。そして、距離Ｄｉと歩行者パターンを代表する点Ｆｐ（ＦＸｐ，ＦＹｐ）の位置とオプティカルフローから得た点Ｆｉの座標値（ＦＸｉ，ＦＹｉ）から移動物体の横方向位置ＦＸｉを算出する。さらに、距離Ｄｉと歩行者パターンの幅ｗｉから移動物体の幅Ｗｉを算出する。
　図２９Ｂは、移動物体として車両が検出されたときに、その存在位置と幅を特定する方法を示す図である。
　すなわち、俯瞰画像の差分に基づいて移動物体（領域Ｘｉ’）が検出されて、オプティカルフローに基づいて移動物体（矩形領域Ｒｉ）が検出されないときは、俯瞰画像の差分に基づいて得た領域Ｘｉ’の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）から距離Ｄｉを算出する。そして、距離Ｄｉと車両パターンを代表する点Ｆｖ（ＦＸｖ，ＦＹｖ）の位置から移動物体の横方向位置ＦＸｉを算出する。さらに、距離Ｄｉと車両パターンの幅ｗｉから移動物体の幅Ｗｉを算出する。
　また、俯瞰画像の差分に基づいて移動物体（領域Ｘｉ’）が検出されて、なおかつ、オプティカルフローに基づいて移動物体（矩形領域Ｒｉ）が検出されたときは、俯瞰画像の差分に基づいて得た領域Ｘｉ’の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）から距離Ｄｉを算出する。そして、距離Ｄｉと車両パターンを代表する点Ｆｖ（ＦＸｖ，ＦＹｖ）の位置とオプティカルフローから得た点Ｆｉの座標値（ＦＸｉ，ＦＹｉ）から移動物体の横方向位置ＦＸｉを算出する。さらに、距離Ｄｉと車両パターンの幅ｗｉから移動物体の幅Ｗｉを算出する。
　このように、実施例３にあっては、移動物体として歩行者が検出されたときと、車両が検出されたときとで、移動物体までの距離，移動物体の横方向位置，移動物体の幅の算出方法を変更している。
（車両挙動制御装置で行われる処理の流れの説明）
　車両挙動制御装置１００ｃで行われる一連の処理の流れについて、図２５のフローチャートと図２２，図２３の機能ブロック図を用いて説明する。なお、ここでは各処理の概要を説明するに留め、各処理の詳細な流れの説明は後述する。
　（ステップＳ１３０）後方カメラ１２で車両１０の後方の画像を取得する。
　（ステップＳ１３２）動き領域検出部５７（第１物体検出部）において、オプティカルフローに基づく物体検出処理を行う。
　（ステップＳ１３４）動き領域検出部５７（第１物体検出部）において、歩行者パターン検出処理を行う。
　（ステップＳ１３６）動き領域検出部５７（第１物体検出部）において、車両パターン検出処理を行う。
　（ステップＳ１３８）俯瞰画像生成部５６において俯瞰画像生成処理を行う。
　（ステップＳ１４０）差分演算部５８（第２物体検出部）において、俯瞰画像の差分に基づく物体検出処理を行う。
　（ステップＳ１４２）検出物体判定部６１において検出物体判定処理を行う。
　（ステップＳ１４４）移動物体位置特定部６５において移動物体位置特定処理を行う。
　（ステップＳ１４６）車両挙動制御部８０において、車両１０の挙動制御を行う。
（歩行者パターン，車両パターン検出処理の流れの説明）
　図２５のステップＳ１３４で行われる歩行者パターン検出処理、およびステップＳ１３６で行われる車両パターン検出処理の流れについて、図２６のフローチャートを用いて説明する。なお、図２５のフローチャートでは、歩行者パターン検出処理（ステップＳ１３４）と車両パターン検出処理（ステップＳ１３６）を分けて記載したが、実際は同じ原画像Ｉ（ｘ，ｙ，ｔ）を対象にした処理であるため、図２６に示すように一連の処理として実行する。
　（ステップＳ１５０）原画像Ｉ（ｘ，ｙ，ｔ）からピラミッド画像を生成する。
　（ステップＳ１５２）生成したピラミッド画像に対して歩行者パターンを検出する歩行者パターン検出処理を実行する。
　（ステップＳ１５４）生成したピラミッド画像に対して車両パターンを検出する車両パターン検出処理を実行する。
　（ステップＳ１５６）検出された歩行者パターンについて、同じ歩行者を示している複数の検出パターンを統合する。同様に、検出された車両パターンについて、同じ車両を示している複数の検出パターンを統合する。
　（ステップＳ１５８）検出された歩行者パターン，車両パターンの登録処理を行う。具体的には、検出されたパターンに外接する矩形領域Ｒｉの頂点座標と、矩形領域Ｒｉの下辺の中点である点Ｆｉ（図７の点Ｆ１に対応する点）の座標が算出されて記憶される。その後メインルーチン（図２５）に戻る。
（検出物体判定処理の流れの説明）
　図２５のステップＳ１４２で行われる検出物体判定処理の流れについて、図２７Ａから図２７Ｃのフローチャートを用いて説明する。
　（ステップＳ１６０）ステップＳ１４０の処理によって記憶された接地点Ｈｊ（ｈｘｊ，ｈｙｊ）の情報を読み出す。
　（ステップＳ１６２）接地点Ｈｊ（ｈｘｊ，ｈｙｊ）の実空間座標（ＨＸｊ，ＨＹｊ）を算出する。なお、実空間座標（ＨＸｊ，ＨＹｊ）が予め記憶されているときは、記憶された情報を読み出す。
　（ステップＳ１６４）ステップＳ１３２の処理によって記憶された点Ｆｉ（ｆｘｉ，ｆｙｉ）の情報を読み出す。
　（ステップＳ１６６）点Ｆｉ（ｆｘｉ，ｆｙｉ）の実空間座標（ＦＸｉ，ＦＹｉ）を算出する。
　（ステップＳ１６８）図２７Ｂに示すフローチャートを実行する。
　（ステップＳ１７０）図２７Ｃに示すフローチャートを実行する。なお、ステップＳ１６４からステップＳ１７０は、全ての矩形領域Ｒｉに対して繰り返して実行する。また、ステップＳ１６０からステップＳ１７０は、全ての領域Ｘｊ’に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
　以下、図２７ＡのステップＳ１６８で行う処理の流れを図２７Ｂを用いて説明する。
　（ステップＳ１８０）歩行者検出結果を読み出す。
　（ステップＳ１８２）歩行者の位置を表す点Ｆｐ（ｆｘｐ，ｆｙｐ）を読み出す。
　（ステップＳ１８４）点Ｆｐ（ｆｘｐ，ｆｙｐ）の実空間座標（Ｆｘｐ，Ｆｙｐ）を算出する。
　（ステップＳ１８６）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｐの実空間座標（Ｆｘｐ，Ｆｙｐ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ１８８に進み、それ以外のときはステップＳ１８２に戻り、異なる歩行者検出結果に対する処理を行う。
　（ステップＳ１８８）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｉの実空間座標（ＦＸｉ，ＦＹｉ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ１９０に進み、それ以外のときはステップＳ１９２に進む。
　（ステップＳ１９０）オプティカルフローに基づく移動物体の検出結果と、俯瞰画像の差分に基づく移動物体の検出結果と、歩行者検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１に記憶される。なお、ステップＳ１８２からステップＳ１９０は、全ての歩行者検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
　（ステップＳ１９２）俯瞰画像の差分に基づく移動物体の検出結果と、歩行者検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１に記憶される。なお、ステップＳ１８２からステップＳ１９２は、全ての歩行者検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
　以下、図２７ＡのステップＳ１７０で行う処理の流れを図２７Ｃを用いて説明する。
　（ステップＳ２００）車両検出結果を読み出す。
　（ステップＳ２０２）歩行者の位置を表す点Ｆｖ（ｆｘｖ，ｆｙｖ）を読み出す。
　（ステップＳ２０４）点Ｆｖ（ｆｘｖ，ｆｙｖ）の実空間座標（ＦＸｖ，ＦＹｖ）を算出する。
　（ステップＳ２０６）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｖの実空間座標（ＦＸｖ，ＦＹｖ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ２０８に進み、それ以外のときはステップＳ２０２に戻り、異なる車両検出結果に対する処理を行う。
　（ステップＳ２０８）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｉの実空間座標（ＦＸｉ，ＦＹｉ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ２１０に進み、それ以外のときはステップＳ２１２に進む。
　（ステップＳ２１０）オプティカルフローに基づく移動物体の検出結果と、俯瞰画像の差分に基づく移動物体の検出結果と、車両検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１に記憶される。なお、ステップＳ２０２からステップＳ２１０は、全ての車両検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
　（ステップＳ２１２）俯瞰画像の差分に基づく移動物体の検出結果と、車両検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１に記憶される。なお、ステップＳ２０２からステップＳ２１２は、全ての車両検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
（移動物体位置特定処理の流れの説明）
　図２５のステップＳ１４４で行われる移動物体位置特定処理の流れについて、図２８のフローチャートを用いて説明する。
　（ステップＳ２２０）前述した検出物体判定処理によって統合した移動物体統合結果を検出物体判定部６１から読み出す。
　（ステップＳ２２２）統合した移動物体が歩行者であるか否かを判定する。歩行者であるときはステップＳ２２４に進み、それ以外のときはステップＳ２２６に進む。
　（ステップＳ２２４）着目している移動物体統合結果に対応する検出結果のうち、オプティカルフローに基づく検出結果，俯瞰画像の差分に基づく検出結果，歩行者検出結果をそれぞれ読み出す。
　（ステップＳ２２６）着目している移動物体統合結果に対応する検出結果のうち、オプティカルフローに基づく検出結果，俯瞰画像の差分に基づく検出結果，車両検出結果をそれぞれ読み出す。
　（ステップＳ２２８）前述した図２９Ａ，図２９Ｂのテーブルに基づいて、移動物体までの距離，横方向位置，幅を算出して登録する。なお、ステップＳ２２２からステップＳ２２８は、全ての移動物体統合結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
　以上説明したように、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、車両１０に搭載された後方カメラ１２（画像取得部）が、車両１０の周囲を撮像した原画像Ｉ（ｘ，ｙ，ｔ）を取得して、動き領域検出部５４（第１物体検出部）が、原画像Ｉ（ｘ，ｙ，ｔ）の中から移動物体を検出するとともに、差分演算部５８（第２物体検出部）が、俯瞰画像生成部５６で生成された、車両１０を俯瞰した俯瞰画像Ｊ（ｘ，ｙ，ｔ）の中から移動物体を検出し、検出物体判定部６０が、動き領域検出部５４で検出された移動物体と差分演算部５８で検出された移動物体が所定距離以内に近接しているときに、同一の移動物体であると判定して、移動物体位置特定部６２が、車両１０から動き領域検出部５４または差分演算部５８によって検出された移動物体までの距離Ｄｋと移動物体の横方向位置ＦＸｋと、動き領域検出部５４によって検出された移動物体の実際の幅Ｗｋによって移動物体の位置を特定するため、測距センサ等を追加することなく、後方カメラ１２で撮像された画像のみを用いて、移動物体の横方向位置ＦＸｋと幅Ｗｋと車両１０から移動物体までの距離Ｄｋをより高い精度で確実に検出することができる。
　また、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、動き領域検出部５４（第１物体検出部）は、原画像Ｉ（ｘ，ｙ，ｔ）を路面から垂直に起立した平面に投影した平面投影画像Ｉｐ（ｘ，ｙ，ｔ）（投影画像）の中から移動物体を検出するため、予め用意された歪み補正テーブルを用いた簡便な処理によって原画像Ｉ（ｘ，ｙ，ｔ）に生じる歪曲を確実に補正して移動物体を検出することができる。
　そして、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、動き領域検出部５４（第１物体検出部）は、異なる時刻ｔ‐Δｔ，ｔに取得された複数の原画像Ｉ（ｘ，ｙ，ｔ‐Δｔ），Ｉ（ｘ，ｙ，ｔ）の中から算出されたオプティカルフローに基づいて移動物体を検出するため、移動物体の移動に伴って発生した移動領域を確実に検出することができる。
　さらに、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、動き領域検出部５４（第１物体検出部）は、移動物体として歩行者および車両を検出するため、車両１０の移動の際に障害となる可能性が高い物標を確実に検出することができる。
　また、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、差分演算部５８（第２物体検出部）は、異なる時刻ｔ‐Δｔ，ｔに取得された複数の原画像Ｉ（ｘ，ｙ，ｔ‐Δｔ），Ｉ（ｘ，ｙ，ｔ）からそれぞれ生成された複数の俯瞰画像Ｊ（ｘ，ｙ，ｔ‐Δｔ），Ｊ（ｘ，ｙ，ｔ）間のフレーム差分の結果に基づいて移動物体を検出するため、移動物体の接地点の位置を簡便かつ確実に検出することができる。
　そして、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、車両用外界認識装置５０ａの認識結果に基づいて車両１０の制駆動力制御を行うため、例えば、駐車時に車両１０の挙動を確実に制御して、移動物体に接触させることなく駐車動作を行わせることができる。
　さらに、このように構成された本発明の実施例２に係る車両挙動制御装置１００ｂによれば、動き領域検出部５５（第１物体検出部）は、原画像Ｉ（ｘ，ｙ，ｔ）を路面と直交する円筒面に投影した円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）（投影画像）の中から移動物体を検出するため、予め用意された歪み補正テーブルを用いた簡便な処理によって原画像Ｉ（ｘ，ｙ，ｔ）に生じる歪曲を確実に補正することができるとともに、より広視野の画像情報を得ることができる。すなわち魚眼レンズのように画角の広いレンズが装着された後方カメラ１２を用いたときに、歪曲補正を行った後でもより広範囲の画像を得ることができる。
　また、このように構成された本発明の実施例３に係る車両挙動制御装置１００ｃによれば、動き領域検出部５７（第１物体検出部）は、さらに原画像Ｉ（ｘ，ｙ，ｔ）に対してパターンマッチングを行うことによって移動物体を検出するため、原画像が有している移動物体の形状特徴や濃淡特徴を利用することができ、これによって歩行者や車両をより一層確実に検出することができる。
　そして、このように構成された本発明の実施例３に係る車両挙動制御装置１００ｃによれば、検出物体判定部６１は、さらに、移動物体が歩行者であるか車両であるかを判別して、移動物体位置特定部６５は、移動物体が歩行者であるときには、差分演算部５８（第２物体検出部）の検出結果に基づいて移動物体までの距離Ｄｋを算出し、移動物体が車両であるときには、動き領域検出部５７（第１物体検出部）の検出結果に基づいて移動物体までの距離Ｄｋを算出するため、移動物体の種類に応じて、より精度の高い検出方法によって検出された結果を利用することができるため、移動物体の検出を高精度で行うことができる。
　なお、実施例１から実施例３では、移動物体として歩行者と車両を検出する例を示したが、移動物体の種類は歩行者と車両に限定されるものではない。すなわち、路面から高さを有して、車両１０と接触する可能性がある移動物体であれば、本願発明を用いて検出することができる。
　また、実施例１から実施例３では、車両１０の後端に装着した後方カメラ１２を用いた例を説明したが、カメラの設置位置は車両１０の後端に限定されるものではない。また、使用するカメラも１台に限定されるものではない。すなわち、車両の前端，左右端，後端にそれぞれカメラを設置しても、実施例１から実施例３と同様の装置構成を実現することができる。
　以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
関連出願の相互参照
　本出願は、２０１５年１月２０日に日本国特許庁に出願された特願２０１５－００８２５８号に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。

Claims (9)

  1. 　車両に搭載されて、前記車両の周囲の画像を取得する画像取得部と、
    　前記画像の中から移動物体を検出する第１物体検出部と、
    　前記画像から、前記車両を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、
    　前記俯瞰画像の中から移動物体を検出する第２物体検出部と、
    　前記第１物体検出部で検出された移動物体と前記第２物体検出部で検出された移動物体とが所定距離以内に近接しているときに、同一の移動物体であると判定する検出物体判定部と、
    　前記検出物体判定部によって同一の移動物体であると判定されたときに、前記車両から前記第１物体検出部または前記第２物体検出部によって検出された移動物体までの距離と前記移動物体の横方向位置と、前記第１物体検出部によって検出された移動物体の幅と、によって前記移動物体の位置を特定する移動物体位置特定部と、
    　を有することを特徴とする車両用外界認識装置。
  2. 　請求項１に記載された車両用外界認識装置において、
    　前記第１物体検出部は、前記画像を路面から垂直に起立した面に投影した投影画像の中から前記移動物体を検出する
    　ことを特徴とする車両用外界認識装置。
  3. 　請求項２に記載された車両用外界認識装置において、
    　前記路面から垂直に起立した面は円筒面である
    　ことを特徴とする車両用外界認識装置。
  4. 　請求項１から請求項３のいずれか一項に記載された車両用外界認識装置において、
    　前記第１物体検出部は、異なる時刻に取得された複数の前記画像の中から算出されたオプティカルフローに基づいて前記移動物体を検出する
    　ことを特徴とする車両用外界認識装置。
  5. 　請求項１から請求項４のいずれか一項に記載された車両用外界認識装置において、
    　前記第１物体検出部は、前記画像に対してパターンマッチングを行うことによって前記移動物体を検出する
    　ことを特徴とする車両用外界認識装置。
  6. 　請求項１から請求項５のいずれか一項に記載された車両用外界認識装置において、
    　前記第１物体検出部は、前記移動物体として歩行者および車両を検出する
    　ことを特徴とする車両用外界認識装置。
  7. 　請求項１から請求項６のいずれか一項に記載された車両用外界認識装置において、
    　前記第２物体検出部は、異なる時刻に取得された複数の画像からそれぞれ生成された複数の俯瞰画像間の差分結果に基づいて前記移動物体を検出する
    　ことを特徴とする車両用外界認識装置。
  8. 　請求項１から請求項７のいずれか一項に記載された車両用外界認識装置において、
    　前記検出物体判定部は、前記移動物体が歩行者であるか車両であるかを判別し、
    　前記移動物体位置特定部は、前記移動物体が歩行者であるときには、前記第２物体検出部の検出結果に基づいて前記移動物体までの距離を算出し、前記移動物体が車両であるときには、前記第１物体検出部の検出結果に基づいて前記移動物体までの距離を算出する
    　ことを特徴とする車両用外界認識装置。
  9. 　請求項１から請求項８のいずれか１項に記載の車両用外界認識装置の認識結果に基づいて、車両の制駆動力制御を行うことを特徴とする車両挙動制御装置。
PCT/JP2015/080407 2015-01-20 2015-10-28 車両用外界認識装置およびそれを用いた車両挙動制御装置 WO2016117200A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP15878889.3A EP3179445B1 (en) 2015-01-20 2015-10-28 Outside environment recognition device for vehicles and vehicle behavior control device using same
US15/315,998 US10169667B2 (en) 2015-01-20 2015-10-28 External environment recognizing device for vehicle and vehicle behavior control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015008258A JP6454554B2 (ja) 2015-01-20 2015-01-20 車両用外界認識装置およびそれを用いた車両挙動制御装置
JP2015-008258 2015-01-20

Publications (1)

Publication Number Publication Date
WO2016117200A1 true WO2016117200A1 (ja) 2016-07-28

Family

ID=56416762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/080407 WO2016117200A1 (ja) 2015-01-20 2015-10-28 車両用外界認識装置およびそれを用いた車両挙動制御装置

Country Status (4)

Country Link
US (1) US10169667B2 (ja)
EP (1) EP3179445B1 (ja)
JP (1) JP6454554B2 (ja)
WO (1) WO2016117200A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094567A1 (ja) * 2015-12-04 2017-06-08 クラリオン株式会社 追跡装置
CN111597959A (zh) * 2020-05-12 2020-08-28 三一重工股份有限公司 行为检测方法、装置及电子设备
US10926760B2 (en) * 2018-03-20 2021-02-23 Kabushiki Kaisha Toshiba Information processing device, information processing method, and computer program product

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI585723B (zh) * 2015-12-31 2017-06-01 合盈光電科技股份有限公司 車輛監控系統及其方法
TWI607911B (zh) * 2016-04-28 2017-12-11 H P B Optoelectronic Co Ltd Vehicle safety protection system and method
JP6418407B2 (ja) * 2016-05-06 2018-11-07 トヨタ自動車株式会社 車両のブレーキ制御装置
CN106504266B (zh) * 2016-09-29 2019-06-14 北京市商汤科技开发有限公司 行走行为的预测方法和装置、数据处理装置和电子设备
JP6620715B2 (ja) * 2016-10-20 2019-12-18 株式会社デンソー 画像認識装置
JP6882885B2 (ja) * 2016-12-16 2021-06-02 株式会社デンソーテン 障害物検出装置および障害物検出方法
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
JP6891954B2 (ja) * 2017-06-23 2021-06-18 日本電気株式会社 物体検知装置、物体検知方法、及びプログラム
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
JP7135339B2 (ja) * 2018-02-28 2022-09-13 株式会社デンソー 車両に搭載される撮像システム、対象物識別装置、および対象物識別方法
US11565698B2 (en) * 2018-04-16 2023-01-31 Mitsubishi Electric Cornoration Obstacle detection apparatus, automatic braking apparatus using obstacle detection apparatus, obstacle detection method, and automatic braking method using obstacle detection method
JP7236849B2 (ja) * 2018-11-29 2023-03-10 日立Astemo株式会社 外界認識装置
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points
CN111612812B (zh) * 2019-02-22 2023-11-03 富士通株式会社 目标物检测方法、检测装置和电子设备
JP7404081B2 (ja) 2020-01-20 2023-12-25 フォルシアクラリオン・エレクトロニクス株式会社 障害物検出装置
JP7460393B2 (ja) 2020-02-27 2024-04-02 フォルシアクラリオン・エレクトロニクス株式会社 車両用外界認識装置
JP7379268B2 (ja) 2020-05-14 2023-11-14 日立Astemo株式会社 画像処理装置
US11501452B2 (en) * 2020-08-10 2022-11-15 Honeywell International Inc. Machine learning and vision-based approach to zero velocity update object detection
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2011048520A (ja) * 2009-08-26 2011-03-10 Alpine Electronics Inc 車両周辺監視装置および車両周辺監視方法
JP2011087319A (ja) * 2010-12-06 2011-04-28 Sanyo Electric Co Ltd 車載パノラマカメラシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
JP5338566B2 (ja) * 2009-08-25 2013-11-13 富士通株式会社 車両検出装置、車両検出プログラム、および車両検出方法
JP5539250B2 (ja) * 2011-03-23 2014-07-02 株式会社デンソーアイティーラボラトリ 接近物体検知装置及び接近物体検知方法
JP6032034B2 (ja) 2013-02-05 2016-11-24 日産自動車株式会社 物体検知装置
US20140272811A1 (en) * 2013-03-13 2014-09-18 Mighty Carma, Inc. System and method for providing driving and vehicle related assistance to a driver
JP6084097B2 (ja) * 2013-03-29 2017-02-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
EP3002708A1 (en) * 2014-10-03 2016-04-06 Autoliv Development AB Perspective transform of mono-vision image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2011048520A (ja) * 2009-08-26 2011-03-10 Alpine Electronics Inc 車両周辺監視装置および車両周辺監視方法
JP2011087319A (ja) * 2010-12-06 2011-04-28 Sanyo Electric Co Ltd 車載パノラマカメラシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3179445A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094567A1 (ja) * 2015-12-04 2017-06-08 クラリオン株式会社 追跡装置
US10755421B2 (en) 2015-12-04 2020-08-25 Clarion Co., Ltd. Tracking device
US10926760B2 (en) * 2018-03-20 2021-02-23 Kabushiki Kaisha Toshiba Information processing device, information processing method, and computer program product
CN111597959A (zh) * 2020-05-12 2020-08-28 三一重工股份有限公司 行为检测方法、装置及电子设备
CN111597959B (zh) * 2020-05-12 2023-09-26 盛景智能科技(嘉兴)有限公司 行为检测方法、装置及电子设备

Also Published As

Publication number Publication date
EP3179445B1 (en) 2023-06-21
JP6454554B2 (ja) 2019-01-16
EP3179445A1 (en) 2017-06-14
EP3179445A4 (en) 2018-03-28
JP2016134764A (ja) 2016-07-25
US10169667B2 (en) 2019-01-01
US20170140229A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
JP6454554B2 (ja) 車両用外界認識装置およびそれを用いた車両挙動制御装置
US11170466B2 (en) Dense structure from motion
US10935643B2 (en) Sensor calibration method and sensor calibration apparatus
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
US10776946B2 (en) Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium
JP6163453B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP2016081525A (ja) 車両用画像認識システム、及び対応法
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
JP2007334859A (ja) 物体検出装置
JP6569280B2 (ja) 路面標示検出装置及び路面標示検出方法
EP2936386B1 (en) Method for detecting a target object based on a camera image by clustering from multiple adjacent image cells, camera device and motor vehicle
US10554951B2 (en) Method and apparatus for the autocalibration of a vehicle camera system
US11514683B2 (en) Outside recognition apparatus for vehicle
JP5516561B2 (ja) 車両用運転支援装置
WO2014083910A1 (ja) 対象物追跡システム、対象物追跡方法、画像処理装置およびその制御方法と制御プログラム
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP2005170290A (ja) 障害物検出装置
JP7460393B2 (ja) 車両用外界認識装置
JP2017211765A (ja) 物体認識装置
JP2005030968A (ja) 車載用距離算出装置
JP4040657B2 (ja) 移動対象物検出装置
WO2023068034A1 (ja) 画像処理装置
JP2006286010A (ja) 障害物検知装置及びその方法
JP2010193198A (ja) 物体下端位置検出装置及び物体下端位置検出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15878889

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15315998

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015878889

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015878889

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE