WO2009150771A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2009150771A1
WO2009150771A1 PCT/JP2009/000977 JP2009000977W WO2009150771A1 WO 2009150771 A1 WO2009150771 A1 WO 2009150771A1 JP 2009000977 W JP2009000977 W JP 2009000977W WO 2009150771 A1 WO2009150771 A1 WO 2009150771A1
Authority
WO
WIPO (PCT)
Prior art keywords
contact determination
vehicle
determination area
area
contact
Prior art date
Application number
PCT/JP2009/000977
Other languages
English (en)
French (fr)
Inventor
誠 相村
長岡　伸治
橋本　英樹
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to AT09762203T priority Critical patent/ATE556910T1/de
Priority to CN2009801218769A priority patent/CN102057414B/zh
Priority to EP09762203A priority patent/EP2270765B1/en
Priority to US12/994,922 priority patent/US8189868B2/en
Publication of WO2009150771A1 publication Critical patent/WO2009150771A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a vehicle periphery monitoring device that monitors the periphery of a vehicle using a captured image obtained by an imaging device mounted on the vehicle.
  • a movement vector in the real space of the object is calculated, and based on this movement vector, the possibility of contact between the vehicle and the object is calculated.
  • a vehicle periphery monitoring device has been proposed that determines the height and determines that the possibility of contact is high, and notifies the driver to that effect (see Japanese Patent Application Laid-Open No. 2001-006096).
  • the target object is a quadruped animal such as a deer
  • it is generally difficult to predict its behavior so if the possibility of contact is determined based on the movement vector, Report timing may be delayed.
  • the notification frequency to the driver may become unnecessarily high simply by advancing the notification timing.
  • the present invention provides a vehicle periphery monitoring device capable of reporting at a suitable timing or frequency that the possibility of contact between a vehicle and an object is high in view of the type of the object. With the goal.
  • a vehicle periphery monitoring device is a vehicle periphery monitoring device that monitors the periphery of a vehicle using a captured image obtained by an imaging device mounted on the vehicle, and an object corresponding to an object from the captured image
  • Object extraction means for extracting an area
  • position measurement means for measuring the real space position of the object corresponding to the object area extracted by the object extraction means
  • contact between the vehicle and the object The contact determination area setting means for setting a contact determination area for determining the level of possibility, and the real space position of the object measured by the position measurement means is set by the contact determination area setting means.
  • Object determining means for determining whether the object corresponds to a human or a quadruped animal, and the contact determination area setting means determines that the object is a human by the object determining means.
  • the first contact determination area is set, and the object determination means determines that the object is a quadruped, the overlapping area with the first contact determination area, A second contact determination area having at least a portion protruding from the first contact determination area is set.
  • the object is determined to be a human and that the real space position of the object is included in the first contact determination area. It is reported that there is a high possibility of contact between the vehicle and this object. On the other hand, if it is determined that the object is a quadruped and that the real space position of the object is included in the second contact determination area, the vehicle is in contact with the object. It is reported that the situation is likely.
  • the second contact determination area has an overlapping area with the first contact determination area and an area at least partially protruding from the first contact determination area.
  • the target object is a quadruped animal
  • the second contact determination area extends beyond the first contact determination area. Since the notification is made if it is included in the area, the notification timing can be advanced compared to the case where the object is a human being.
  • the notification is unconditionally made even if the real space position of the target object is included in the second contact determination area that is outside the first contact determination area. Therefore, it is possible to prevent the frequency of notifying the driver that there is a high possibility that the vehicle and the person are in contact with each other. Therefore, it is possible to report that there is a high possibility that the vehicle and the object are in contact with each other at an appropriate timing or frequency in view of the type of the object.
  • the vehicle periphery monitoring device is the vehicle periphery monitoring device according to the first aspect, wherein the contact determination area setting means determines that the object is a human by the object determination means.
  • a third contact determination area is set outside the first contact determination area, and the movement vector of the object is calculated based on the real space position of the object measured at different time points by the position measuring means.
  • a movement vector calculating means wherein the object notifying means includes that the real space position of the object is included in the third contact determination area and that the object calculated by the movement vector calculating means
  • the driver On the condition that the movement vector is toward the first contact determination area, the driver is notified of the presence of a person as the object, and the contact determination area setting means
  • the first contact determination area and a part or all of the third contact determination area are combined. This area is set as the second contact determination area.
  • the vehicle periphery monitoring device of the second invention it is determined that the object is a human, the real space position of the object is included in the third contact determination area, and the object. It is reported that there is a high possibility of contact between the vehicle and this object on the condition that the movement vector is directed to the first contact determination area. For this reason, since the real space position of the person is included in the third contact determination area and the movement vector of the person is not directed to the first contact determination area, the notification is not executed, and the vehicle and the person are in contact with each other. The frequency of notifying the driver that the possibility is high is prevented from being unnecessarily high.
  • the notification timing can be advanced compared to the case where the object is a human. Therefore, it is possible to report that there is a high possibility that the vehicle and the object are in contact with each other at an appropriate timing or frequency in view of the type of the object.
  • a vehicle periphery monitoring device is the vehicle periphery monitoring device according to the first aspect, wherein the contact determination area setting means extends in front of the vehicle and extends in parallel with the traveling direction of the vehicle. An area having a width obtained by adding a predetermined margin is set as the first contact determination area.
  • the first contact determination region when it is determined that the object is a human, extends in parallel to the traveling direction of the vehicle in front of the vehicle and It is set to an area having a width with a predetermined margin on both sides.
  • the area is an area where the vehicle and the object are highly likely to come into contact, and the area outside the area is an area where the possibility that the vehicle and the object are in contact is not necessarily high.
  • the driver is notified at a suitable frequency that the vehicle and the object are likely to contact each other.
  • the notification since the notification is not executed outside the first contact determination area even if the real space position of a human being as an object is included in the area, the frequency of reporting to the driver may be unnecessarily high. Is prevented.
  • the second contact determination region is included outside the first contact determination region, when the target is a quadruped, the notification timing is advanced compared to the case where the target is a human. be able to. Therefore, it is possible to report that there is a high possibility that the vehicle and the object are in contact with each other at an appropriate timing or frequency in view of the type of the object.
  • the vehicle periphery monitoring device is the vehicle periphery monitoring device according to the first aspect of the invention, wherein the contact determination region setting means sets the imaging region captured by the imaging device as the second contact determination region.
  • the second contact determination area is imaged by the imaging device that is the maximum range that the vehicle can recognize.
  • the notification timing that the possibility of contact between the vehicle and the object is high can be advanced.
  • the first contact determination area is set to an area limited to the imaging area, and the real space position of the object protrudes from the area.
  • the frequency of reporting to the driver is prevented from becoming unnecessarily high. Therefore, it is possible to report that there is a high possibility that the vehicle and the object are in contact with each other at an appropriate timing or frequency in view of the type of the object.
  • the perspective view of the vehicle provided with the periphery monitoring apparatus of FIG. 3 is a flowchart showing processing of an image processing unit provided in the periphery monitoring device of FIG. 1.
  • a vehicle periphery monitoring device as an embodiment of the present invention will be described.
  • the vehicle periphery monitoring device shown in FIGS. 1 and 2 includes an image processing unit 1. Connected to the image processing unit 1 are two infrared cameras (corresponding to “imaging device”) 2R, 2L, a yaw rate sensor 3, a vehicle speed sensor 4, a brake sensor 5, a speaker 6, and a display device 7.
  • the image processing unit 1 functions as an object extraction means, an object determination means, and a contact area setting means in the present invention.
  • the image processing unit 1 includes an electronic circuit including an A / D conversion circuit, a microcomputer (having a CPU, RAM, ROM, etc.), an image memory, and the like.
  • Analog signals output from the infrared cameras 2R and 2L, the yaw rate sensor 3, the vehicle speed sensor 4, and the brake sensor 5 are digitized by the A / D conversion circuit and then input to the microcomputer.
  • the microcomputer detects an object such as a human (pedestrian or person riding a bicycle) or a quadruped animal (dog, cat, deer, horse, etc.) based on the input signal, and the object is described later. When the requirement is satisfied, a process for notifying the driver of the presence of the object through one or both of the speaker 6 and the display device 7 is executed.
  • Each of the two infrared cameras 2R and 2L captures an image in front of the vehicle (own vehicle) 10.
  • the infrared cameras 2R and 2L are attached to the front portion of the vehicle 10 (the front grill portion in the figure) in order to image the front of the vehicle 10 (see FIG. 2).
  • the right infrared camera 2R is disposed at a position to the right of the center of the vehicle 10 in the vehicle width direction
  • the left infrared camera 2L is disposed at a position to the left of the center of the vehicle 10 in the vehicle width direction.
  • the arrangement of the two cameras 2R and 2L is symmetrical with respect to the center line of the vehicle 10 in the vehicle width direction.
  • the infrared cameras 2R and 2L are fixed so that their optical axes extend in parallel in the front-rear direction of the vehicle 10 and the heights of the respective optical axes from the road surface are equal to each other.
  • the infrared cameras 2R and 2L have sensitivity in the far-infrared region, and have a characteristic that the higher the temperature of an object to be imaged, the higher the level of the output video signal (the higher the luminance of the video signal). is doing.
  • the real space coordinate system is defined with the center of the front end of the vehicle 10 as the origin O, the right direction of the vehicle 10 as the + X direction, the vertically downward direction as the + Y direction, and the front of the vehicle 10 as the + Z direction. ing.
  • Each of the yaw rate sensor 3, the vehicle speed sensor 4, and the brake sensor 5 outputs a signal corresponding to the yaw rate, the traveling speed (vehicle speed), and the brake operation as the traveling state of the vehicle 10.
  • the speaker 6 outputs report information that can be audibly recognized as sound.
  • the display device 7 displays images taken by the infrared cameras 2R and 2L or processed images thereof.
  • a HUD (head-up display) 7 a that displays image information on the front window of the vehicle 10 is employed.
  • a display integrated with a meter that displays a traveling state such as the vehicle speed of the vehicle 10 or a display included in an in-vehicle navigation device may be employed.
  • signals are input from the infrared cameras 2R and 2L to the image processing unit 1 (FIG. 3 / STEP 11). Further, an infrared image is generated by A / D converting the input signal (FIG. 3 / STEP 12). Further, a gray scale image is generated from the infrared image (FIG. 3 / STEP 13). Also, a binarized image is generated by binarizing a reference image (for example, a grayscale image obtained through the right camera 2R) (FIG. 3 / STEP 14).
  • a reference image for example, a grayscale image obtained through the right camera 2R
  • an image area corresponding to the object or in which the object exists is extracted from the binarized image as the object area as follows. Specifically, the pixel group constituting the high brightness area of the binarized image is converted into run length data (FIG. 3 / STEP 15). In addition, a label (identifier) is attached to each line group that overlaps the vertical direction of the reference image (FIG. 3 / STEP 16). Then, an image area constituted by the line group is extracted as an object area (FIG. 3 / STEP 17). Further, the position of the center of gravity of the object area (position on the reference image), the area, and the aspect ratio of the circumscribed rectangle are calculated (FIG. 3 / STEP 18).
  • the identity of the object corresponding to the object area is determined for each calculation processing cycle of the image processing unit 1 (FIG. 3 / STEP 19).
  • Outputs of the vehicle speed sensor 4 and the yaw rate sensor 5 (detected values of the vehicle speed and detected values of the yaw rate) are input to the image processing unit 1 (FIG. 3 / STEP 20).
  • the processing of STEP 31 is executed by the image processing unit 1 in parallel with the processing of STEP 19 and STEP 20.
  • an area corresponding to each object (for example, a circumscribed square area of the object) in the reference image is extracted as a search image (FIG. 3 / STEP 31).
  • an image corresponding to the search image (corresponding image) in the left image is extracted by executing a correlation operation with the search image (FIG. 3 / STEP 32).
  • the distance of the object from the vehicle 10 is calculated (FIG. 3 / STEP 33). Further, the position (X, Y, Z) of each object in the real space is calculated (FIG. 3 / STEP 21 (see FIG. 2)). The configuration in which the processing of STEP 21 is performed by the image processing unit 1 corresponds to “position measuring means”. Further, the X coordinate value representing the real space position (X, Y, Z) of the object is corrected according to the time-series data of the turning angle obtained in STEP 20 (FIG. 3 / STEP 22).
  • the relative movement vector of the object with respect to the vehicle 10 is estimated (FIG. 3 / STEP 23). Then, based on the relative movement vector, it is determined whether or not the possibility of contact between the vehicle 10 and the object is high, and the notification determination that the presence of the target is notified to the driver is a requirement that the possibility of contact is high. The process is executed (FIG. 3 / STEP 24).
  • the above is the overall operation of the periphery monitoring device of this embodiment.
  • the configuration in which the processing of STEPs 11 to 18 is executed by the image processing unit 1 corresponds to the object extracting means of the present invention.
  • the type of the object is determined from the characteristics such as the shape and size of the object region in the gray scale image and the luminance dispersion.
  • the object region is present below the first high-brightness image region (corresponding to the head) and the first high-brightness image region.
  • the second high-brightness image area (corresponding to the shoulder, trunk, arm, or leg) having the same layout relationship as the standard layout of the shoulder, trunk, arm, or leg with respect to the head .)), It is determined that the object corresponding to the object region is a human being.
  • the object region is located on the side or the lower side of the first high-brightness image region (corresponding to the body), and the first high-brightness image.
  • the object corresponding to the object area is a quadruped of deer, sheep, dog, horse, etc. Determined to be an animal.
  • the type of the target object may be determined by pattern matching between the outer shape of the target object region and the outer shape of the target object stored in advance in the memory.
  • the first contact determination area A1 and the third contact determination area A3 are set (FIG. 4 / STEP 102). Specifically, as shown in FIG. 5A, inside the triangular area A0 that can be imaged or monitored by the infrared cameras 2R and 2L, it extends parallel to the Z direction, and the vehicle 10 in the X direction. A region having a width obtained by adding a first margin ⁇ (for example, 50 to 100 cm) on both the left and right sides of the vehicle width ⁇ is set as the first contact determination region A1 (see the hatched portion).
  • a first margin ⁇ for example, 50 to 100 cm
  • the depth Z1 in the Z direction as viewed from the vehicle 1 in the first contact determination area A1 is set to a distance obtained by adding the margin time T to the relative speed Vs between the vehicle 10 and the object. Further, as shown in FIG. 5A, in the triangular area A0, the areas adjacent to the left and right sides of the first contact determination area are the third contact determination areas A3L. Set as A3R.
  • the real space position of the object is included in the first contact determination area A1 (FIG. 4 / STEP 104).
  • a notification output determination process is executed (FIG. 4 / STEP 106).
  • the real space position of the object is the third contact determination area A3R or It is determined whether or not the movement vector of the object is included in A3L and is directed to the first contact determination area A1 (FIG. 4 / STEP 105).
  • the second contact determination area A2 is set (FIG. 4 / STEP 202). Specifically, as shown in FIG. 5B, inside the triangular area A0 that can be imaged or monitored by the infrared cameras 2R, 2L, the vehicle 10 extends in the Z direction and extends in the X direction. A region having a width obtained by adding a second margin ⁇ larger than the first margin ⁇ on both the left and right sides of the vehicle width ⁇ is set as the second contact determination region A2 (see the hatched portion).
  • the depth Z1 in the Z direction as viewed from the vehicle 1 in the second contact determination area A2 is obtained by adding the margin time T to the relative speed Vs between the vehicle 10 and the object, as in the first contact determination area A1.
  • the distance is determined.
  • the second contact determination region A2 includes a region that overlaps the entire first contact determination region A1, and a deviation ( ⁇ ) between the second margin ⁇ and the first margin ⁇ on both the left and right sides of the first contact determination region A1. Only).
  • the configuration for executing the processing of STEP 100 corresponds to “object determination means”
  • the configuration for executing the processing of STEP 102 and STEP 202 corresponds to “contact determination area setting means” of the present invention.
  • the configuration for executing the processing of STEP 208 corresponds to “object notification means”.
  • the object is determined to be a human and that the real space position of the object is included in the first contact determination area A1.
  • FIG. 4 it is reported that the possibility of contact between the vehicle 10 and the object is high (see FIG. 4 / S100... A, S102 to 108, FIG. 5A).
  • the vehicle 10 and the object It is notified that the possibility of contact is high (see FIG. 4 / S100... B, S202 to 208, FIG. 5B).
  • the second contact determination region A2 has an overlapping region with the first contact determination region A1 and a region at least partially protruding from the first contact determination region A1 (FIG. 5A). b)). For this reason, when the target object is a quadruped animal, even if the real space position of the target object is not included in the first contact determination area A1, the first contact determination area in the second contact determination area A2 Since the notification is made if it is included in the area that protrudes from A1, the notification timing can be advanced compared to the case where the object is a human.
  • the notification is unconditionally made even if the real space position of the object is included in the area of the second contact determination area A2 that extends beyond the first contact determination area A1. Therefore, it is possible to prevent the frequency of notifying the driver that the vehicle 10 and the person are likely to contact each other is unnecessarily high. Therefore, it is possible to report that there is a high possibility that the vehicle 10 and the object are in contact with each other at an appropriate timing or frequency in view of the type of the object.
  • the second contact determination area A2 shown in FIG. 5B overlaps with the entire first contact determination area A1 shown in FIG.
  • the second contact determination area A2 (shaded portion) is set to overlap a part of the first contact determination area A1. May be.
  • region A1 were adjacent, but FIG. As shown in b), the overlapping area and the protruding area may be set apart from each other.
  • the protruding area from the first contact determination area A1 in the second contact determination area A2 may be provided only on either the left or right side of the overlapping area with the first contact determination area.
  • the shape or arrangement may be asymmetrical.
  • the region corresponding to the range obtained by adding the second margin ⁇ ( ⁇ > ⁇ ) to both sides of the vehicle width ⁇ of the vehicle 10 is set as the second contact determination region A2.
  • a region obtained by combining the first contact determination region A1 and the third contact determination regions A3R and A3L may be set as the second contact determination region A2.
  • an imaging area captured by the infrared cameras 2R and 2L may be set as the second contact determination area AR4.
  • prescribed notification may be performed based on the process result of the image processing unit 1, even if comprised so that vehicle behavior may be controlled based on the said process result.
  • only one infrared camera may be mounted on the vehicle 10, and a radar device or the like for detecting the distance between the vehicle 10 and the object may be mounted on the vehicle 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Steering-Linkage Mechanisms And Four-Wheel Steering (AREA)

Abstract

【課題】車両と対象物との接触可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる車両周辺監視装置を提供する。 【解決手段】本発明の車両周辺監視装置によれば、対象物が人間であると判定され、かつ、この対象物の実空間位置が第１の接触判定領域Ａ１に含まれている場合、車両１０とこの対象物との接触可能性が高いことが通報される。一方、対象物が四足動物であると判定され、かつ、この対象物の実空間位置が第２の接触判定領域Ａ２に含まれている場合、当該通報がなされる。第２の接触判定領域Ａ２は、第１の接触判定領域Ａ１との重なり領域と、第１の接触判定領域Ａ１から少なくとも一部がはみ出した領域とを有している。

Description

車両周辺監視装置
　本発明は、車両に搭載された撮像装置によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
　車両の周辺に存在する動物等の対象物の時系列的な位置データに基づいてその対象物の実空間における移動ベクトルを算出し、この移動ベクトルに基づいて車両と対象物との接触可能性の高低を判定し、当該接触可能性が高いと判定した場合にはその旨を運転者に通報する車両周辺監視装置が提案されている（日本国　特開２００１－００６０９６号公報参照）。
　しかし、対象物が鹿等の四足動物である場合、一般的にその行動を予測するのが困難であるため、移動ベクトルに基づいて接触可能性の高低が判定されると、運転者への通報タイミングが遅れる場合がある。一方、人間のようにその行動を比較的容易に予測しうる対象物にもかかわらず、単に通報タイミングを早めるだけでは、運転者への通報頻度がいたずらに高くなる場合がある。
　そこで、本発明は、車両と対象物との接触可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる車両周辺監視装置を提供することを目的とする。
　第１発明の車両周辺監視装置は、車両に搭載された撮像装置によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から対象物に相当する対象物領域を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された前記対象物領域に相当する前記対象物の実空間位置を測定する位置測定手段と、前記車両と前記対象物との接触可能性の高低を判定するための接触判定領域を設定する接触判定領域設定手段と、前記位置測定手段により測定された前記対象物の実空間位置が、前記接触判定領域設定手段により設定された前記接触判定領域に含まれることを要件として、運転者に対して前記対象物の存在を通報する対象物通報手段と、前記対象物抽出手段により抽出された前記対象物領域に基づき、前記対象物が人間および四足動物のいずれに該当するかを判定する対象物判定手段とを備え、前記接触判定領域設定手段が、前記対象物判定手段により前記対象物が人間であると判定された場合に第１の前記接触判定領域を設定し、前記対象物判定手段により前記対象物が四足動物であると判定された場合、前記第１の接触判定領域との重なり領域と、前記第１の接触判定領域から少なくとも一部がはみ出した領域とを有する第２の前記接触判定領域を設定することを特徴とする。
　第１発明の車両周辺監視装置によれば、対象物が人間であると判定されたこと、および、この対象物の実空間位置が第1の接触判定領域に含まれていることを要件として、車両とこの対象物との接触可能性が高い状況にあることが通報される。一方、対象物が四足動物であると判定されたこと、および、この対象物の実空間位置が第２の接触判定領域に含まれていることを要件として、車両とこの対象物との接触可能性が高い状況にあることが通報される。第２の接触判定領域は、第１の接触判定領域との重なり領域と、第１の接触判定領域から少なくとも一部がはみ出した領域とを有している。このため、対象物が四足動物である場合、この対象物の実空間位置が第１の接触判定領域に含まれていなくても第２の接触判定領域のうち第１の接触判定領域からはみだした領域に含まれていれば通報がなされるので、対象物が人間である場合と比較して通報タイミングを早めることができる。一方、対象物が人間である場合、この対象物の実空間位置が第２の接触判定領域のうち第１の接触判定領域からはみだした領域に含まれていても通報が無条件になされることはないので、車両と人間とが接触する可能性が高いことを運転者に通報する頻度がいたずらに高くなることが防止される。したがって、車両と対象物が接触する可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる。
　第２発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記接触判定領域設定手段は、前記対象物判定手段により前記対象物が人間であると判定されたことを要件として前記第1の接触判定領域の外側に第３の前記接触判定領域を設定し、前記位置測定手段により異なる時点において測定された前記対象物の実空間位置に基づいて前記対象物の移動ベクトルを算出する移動ベクトル算出手段を備え、前記対象物通報手段が、前記対象物の実空間位置が前記第３の接触判定領域に含まれていることと、前記移動ベクトル算出手段により算出された前記対象物の移動ベクトルが前記第１の接触判定領域に向かっていることとを要件として、前記運転者に対して前記対象物としての人間の存在を通報し、前記接触判定領域設定手段が、前記対象物判定手段により前記対象物が四足動物であると判定されたことを要件として、前記第１の接触判定領域と前記第３の接触判定領域のうち一部または全部とを合わせた領域を前記第２の接触判定領域として設定することを特徴とする。
　第２発明の車両周辺監視装置によれば、対象物が人間であると判定されたこと、この対象物の実空間位置が第３の接触判定領域に含まれていること、および、この対象物の移動ベクトルが第１の接触判定領域に向かっていることを要件として、車両とこの対象物との接触可能性が高いことが通報される。このため、人間の実空間位置が第３の接触判定領域に含まれ、人間の移動ベクトルが第１の接触判定領域に向かっていない場合には通報が実行されないので、車両と人間とが接触する可能性が高いことを運転者に通報する頻度がいたずらに高くなることが防止される。一方、対象物が四足動物であると判定されたこと、および、この対象物の実空間位置が第２の接触判定領域の一部としての第３の接触判定領域に含まれていることを要件として、その移動ベクトルの向きとは関係なく通報がなされるので、対象物が人間である場合と比較して通報タイミングを早めることができる。したがって、車両と対象物が接触する可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる。
　第３発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記接触判定領域設定手段は、前記車両の前方において、前記車両の進行方向に対して平行に延び前記車両の左右両側に所定の余裕を加えた幅を有する領域を、前記第１の接触判定領域として設定することを特徴とする。
　第３発明の車両周辺監視装置によれば、対象物が人間であると判定された場合、第１の接触判定領域は、車両の前方において、車両の進行方向に対して平行に延び車両の左右両側に所定の余裕を加えた幅を有する領域に設定される。当該領域は、車両とこの対象物とが接触する可能性が高い領域であり、当該領域の外側の領域は、車両とこの対象物とが接触する可能性が必ずしも高くない領域であることに鑑みて、この対象物の実空間位置が第１の接触判定領域に含まれている場合、運転者に対して車両とこの対象物とが接触可能性が高いことが適当な頻度で通報される。また、第１の接触判定領域の外側は、対象物としての人間の実空間位置が当該領域に含まれていても当該通報が実行されないので、運転者に通報する頻度がいたずらに高くなることが防止される。一方、第１の接触判定領域の外側には第２の接触判定領域が含まれるため、対象物が四足動物である場合には、対象物が人間である場合と比較して通報タイミングを早めることができる。したがって、車両と対象物が接触する可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる。
　第４発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記接触判定領域設定手段は、前記撮像装置により撮像される撮像領域を前記第２の接触判定領域に設定することを特徴とする。
　第４発明の車両周辺監視装置によれば、対象物が四足動物であると判定された場合、第２の接触判定領域は、車両が認識できる最大限の範囲である撮像装置により撮像される撮像領域に設定されることに鑑みて、この対象物の実空間位置が当該領域に含まれている場合、車両とこの対象物の接触可能性が高いことの通報タイミングを早めることができる。一方、対象物が人間であると判定された場合、第１の接触判定領域は、当該撮像領域に対して限定された領域に設定され、この対象物の実空間位置が当該領域からはみ出した領域に含まれていても当該通報が無条件になされることはないことに鑑みて、運転者に通報する頻度がいたずらに高くなることが防止される。したがって、車両と対象物が接触する可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる。
本発明の車両の周辺監視装置の一実施形態の全体構成を示す図。 図１の周辺監視装置を備えた車両の斜視図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 本実施形態における通報判定処理を示すフローチャート。 本実施形態における撮像装置で撮像される接触判定領域を示す図。 本実施形態における撮像装置で撮像される接触判定領域の変形例を示す図。
　本発明の一実施形態としての車両周辺監視装置について説明する。
　まず、本実施形態の車両周辺監視装置の構成について説明する。図１および図２に示されている車両周辺監視装置は画像処理ユニット１を備えている。画像処理ユニット１には、２つの赤外線カメラ（「撮像装置」に相当する。）２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４、ブレーキセンサ５、スピーカ６および表示装置７が接続されている。
　画像処理ユニット１は、本発明における対象物抽出手段、対象物判定手段および接触領域設定手段として機能する。画像処理ユニット１は、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成されている。赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号がＡ／Ｄ変換回路によりデジタル化された上でマイクロコンピュータに入力される。そして、マイクロコンピュータは入力信号に基づき、人間（歩行者、自転車に乗っている者）または四足動物（犬、猫、鹿、馬など）等の対象物を検出し、当該対象物が後述する要件を満たす場合にスピーカ６および表示装置７の一方または両方を通じて当該対象物の存在を運転者に通報するための処理を実行する。
　２つの赤外線カメラ２Ｒ，２Ｌのそれぞれは車両（自車両）１０の前方の画像を撮像する。赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために、車両１０の前部（図ではフロントグリルの部分）に取り付けられている（図２参照）。右側の赤外線カメラ２Ｒは車両１０の車幅方向の中心よりも右寄りの位置に配置され、左側の赤外線カメラ２Ｌは車両１０の車幅方向の中心よりも左寄りの位置に配置されている。両カメラ２Ｒ，２Ｌの配置は車両１０の車幅方向の中心線を基準として左右対称である。赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。
　実空間座標系は図２に示されているように車両１０の前端中央部を原点Ｏとし、車両１０の右方向を＋Ｘ方向、鉛直下方を＋Ｙ方向、車両１０の前方を＋Ｚ方向として定義されている。
　ヨーレートセンサ３、車速センサ４およびブレーキセンサ５のそれぞれは、車両１０の走行状態としてヨーレート、走行速度（車速）およびブレーキ操作に応じた信号を出力する。スピーカ６は聴覚的に認識されうる通報情報を音声として出力する。表示装置７は赤外線カメラ２Ｒ，２Ｌによる撮像画像またはその加工画像等を表示する。表示装置７として、車両１０のフロントウィンドウに画像情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａが採用されている。なお、表示装置７として、ＨＵＤ７ａに代えてまたは加えて、車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイまたは車載のナビゲーション装置が有するディスプレイが採用されてもよい。
　次に、前記構成の車両周辺監視装置の基本的な機能について説明する。図３のフローチャートの基本的な処理内容はたとえば出願人による日本国特開２００１－００６０９６号公報の図３および日本国特開２００７－３１０７０５号公報の図３に記載されている処理内容と同様である。
　具体的には、まず赤外線カメラ２Ｒ、２Ｌから画像処理ユニット１に信号が入力される（図３／ＳＴＥＰ１１）。また、当該入力信号がＡ／Ｄ変換されることにより赤外線画像が生成される（図３／ＳＴＥＰ１２）。さらに、赤外線画像からグレースケール画像が生成される（図３／ＳＴＥＰ１３）。また、基準画像（たとえば、右側のカメラ２Ｒを通じて得られたグレースケール画像）が２値化されることにより２値化画像が生成される（図３／ＳＴＥＰ１４）。
　さらに、２値化画像から次のようにして対象物に相当するまたは対象物が存在する画像領域が対象物領域として抽出される。具体的には、２値化画像の高輝度領域を構成する画素群がランレングスデータに変換される（図３／ＳＴＥＰ１５）。また、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）が付される（図３／ＳＴＥＰ１６）。そして、当該ライン群により構成される画像領域が対象物領域として抽出される（図３／ＳＴＥＰ１７）。さらに、対象物領域の重心の位置（基準画像上での位置）、面積、および外接四角形の縦横比が算出される（図３／ＳＴＥＰ１８）。また、対象物領域の時刻間追跡が実行されることにより、画像処理ユニット１の演算処理周期ごとに当該対象物領域に相当する対象物の同一性が判定される（図３／ＳＴＥＰ１９）。画像処理ユニット１に車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）が入力される（図３／ＳＴＥＰ２０）。
　一方、画像処理ユニット１により、ＳＴＥＰ１９，２０の処理と並行して、ＳＴＥＰ３１の処理が実行される。まず、基準画像において各対象物に相当する領域（例えば該対象物の外接四角形の領域）が探索画像として抽出される（図３／ＳＴＥＰ３１）。また、左画像において探索画像に対応する画像（対応画像）が、探索画像との相関演算が実行されることにより抽出される（図３／ＳＴＥＰ３２）。
　さらに、対象物の車両１０からの距離（車両１０の前後方向における距離）が算出される（図３／ＳＴＥＰ３３）。また、各対象物の実空間における位置（Ｘ，Ｙ，Ｚ）が算出される（図３／ＳＴＥＰ２１（図２参照））。画像処理ユニット１によりＳＴＥＰ２１の処理を実行する構成が「位置測定手段」に相当する。さらに、対象物の実空間位置（Ｘ，Ｙ，Ｚ）を表わすＸ座標値が、ＳＴＥＰ２０で求められた回頭角の時系列データに応じて補正される（図３／ＳＴＥＰ２２）。
　続いて、対象物の車両１０に対する相対移動ベクトルが推定される（図３／ＳＴＥＰ２３）。そして、相対移動ベクトルに基づき、車両１０と対象物との接触可能性の高低を判定し、接触可能性が高いと判定されたことを要件として対象物の存在が運転者に通報される通報判定処理が実行される（図３／ＳＴＥＰ２４）。以上が本実施形態の周辺監視装置の全体的作動である。なお、画像処理ユニット１によりＳＴＥＰ１１～１８の処理を実行する構成が、本発明の対象物抽出手段に相当する。
　次に、本発明の車両周辺監視装置の主要な機能である通報処理について説明する。
　まず、対象物判定処理が実行されることにより、抽出された対象物が人間および四足動物のいずれかであるかが判定される（図４／ＳＴＥＰ１００）。
　具体的には、グレースケール画像における対象物領域の形状やサイズ、輝度分散等の特徴から対象物の種類が判定される。たとえば、対象物領域が、第１の高輝度画像領域（頭部に相当する。）と、この第１の高輝度画像領域の下側に存在し、かつ、第１の高輝度画像領域に対して、頭部に対する肩部、胴部、腕部または脚部の標準的な配置関係と同じ配置関係を有する第２の高輝度画像領域（肩部、胴部、腕部または脚部に相当する。）とから構成されている場合、この対象物領域に相当する対象物が人間であると判定される。また、対象物領域が、第１の高輝度画像領域（胴部に相当する。）と、この第１の高輝度画像領域の横側または下側に位置し、かつ、第１の高輝度画像領域より小さい第２の高輝度画像領域（頭部または脚部に相当する。）とから構成されている場合、この対象物領域に相当する対象物が鹿、羊、犬または馬等の四足動物であると判定される。なお、対象物領域の外形と、メモリにあらかじめ記憶されている対象物の外形とのパターンマッチングにより当該対象物の種類が判定されてもよい。
　そして、対象物が人間であると判定された場合（図４／ＳＴＥＰ１００‥Ａ）、第１の接触判定領域Ａ１および第３の接触判定領域Ａ３が設定される（図４／ＳＴＥＰ１０２）。具体的には、図５（ａ）に示されているように赤外線カメラ２Ｒ、２Ｌにより撮像または監視可能な三角形領域Ａ０の内側において、Ｚ方向に平行に延び、かつ、Ｘ方向について車両１０の車幅αの左右両側に第１の余裕β（たとえば５０～１００ｃｍ）を加えた幅を有する領域が第１の接触判定領域Ａ１として設定される（斜線部分参照）。第１の接触判定領域Ａ１の車両１からみたＺ方向の奥行きＺ１は車両１０と対象物との相対速度Ｖｓに、余裕時間Ｔを積算して得られた距離に定められている。また、図５（ａ）に示されているように三角形領域Ａ０において第１の接触判定領域の左右両側に隣接する領域が第３の接触判定領域Ａ３Ｌ．Ａ３Ｒとして設定される。
　さらに、対象物の実空間位置（図３／ＳＴＥＰ２１参照）が第１の接触判定領域Ａ１に含まれているか否かが判定される（図４／ＳＴＥＰ１０４）。対象物の実空間位置が第１の接触判定領域Ａ１に含まれていると判定された場合（図４／ＳＴＥＰ１０４‥ＹＥＳ）、通報出力判定処理が実行される（図４／ＳＴＥＰ１０６）。一方、対象物の実空間位置が第１の接触判定領域Ａ１に含まれていないと判定された場合（図４／ＳＴＥＰ１０４‥ＮＯ）、対象物の実空間位置が第３の接触判定領域Ａ３ＲまたはＡ３Ｌに含まれ、かつ、対象物の移動ベクトルが第１の接触判定領域Ａ１に向かっているか否かが判定される（図４／ＳＴＥＰ１０５）。
　当該判定結果が肯定的である場合（図４／ＳＴＥＰ１０５‥ＹＥＳ）、ブレーキセンサ５の出力信号に基づき、車両１０と対象物との接触回避の観点から運転者によってブレーキが適切に操作されているか否かが判定される（図４／ＳＴＥＰ１０６）。ブレーキが適切に操作されていないと判定された場合（図４／ＳＴＥＰ１０６‥ＮＯ）、運転者に対して車両と対象物との接触可能性が高い状況である旨が通報される（図４／ＳＴＥＰ１０８）。具体的には、スピーカ６を介して音声が出力することにより当該状況が通報される。また、ＨＵＤ７ａにおいて対象物を強調表示することによっても当該状況が通報される。なお、ＳＴＥＰ１０６の判定処理は省略されてもよい。
　その一方、対象物が四足動物であると判定された場合（図４／ＳＴＥＰ１００‥Ｂ）、第２の接触判定領域Ａ２が設定される（図４／ＳＴＥＰ２０２）。具体的には、図５（ｂ）に示されているように、赤外線カメラ２Ｒ、２Ｌにより撮像または監視可能な三角形領域Ａ０の内側において、Ｚ方向に平行に延び、かつ、Ｘ方向について車両１０の車幅αの左右両側に第１の余裕βよりも大きい第２の余裕γを加えた幅を有する領域が第２の接触判定領域Ａ２として設定される（斜線部分参照）。第２の接触判定領域Ａ２の車両１からみたＺ方向の奥行きＺ１は、第１の接触判定領域Ａ１と同様に車両１０と対象物との相対速度Ｖｓに、余裕時間Ｔを積算して得られた距離に定められている。第２の接触判定領域Ａ２は第１の接触判定領域Ａ１の全部に重なる領域と、第１の接触判定領域Ａ１の左右両側に第２の余裕γおよび第１の余裕βの偏差（γ－β）だけはみ出した領域とを有する。
　次いで、対象物の実空間位置が第２の接触判定領域Ａ２に含まれているか否かが判定される（図４／ＳＴＥＰ２０４）。対象物の実空間位置が第２の接触判定領域Ａ２に含まれていると判定された場合（図４／ＳＴＥＰ２０４‥ＹＥＳ）、ブレーキセンサ５の出力に基づき、車両１０と対象物との接触回避の観点から運転者によってブレーキが適切に操作されているか否かが判定される（図４／ＳＴＥＰ２０６）。ブレーキが適切に操作されていないと判定された場合（図４／ＳＴＥＰ２０６‥ＮＯ）、運転者に対して車両１０と対象物との接触可能性が高い旨が通報される（図４／ＳＴＥＰ２０８）。
　画像処理ユニット１のうちＳＴＥＰ１００の処理を実行する構成が「対象物判定手段」に相当し、ＳＴＥＰ１０２およびＳＴＥＰ２０２の処理を実行する構成が本発明の「接触判定領域設定手段」に相当し、ＳＴＥＰ１０８およびＳＴＥＰ２０８の処理を実行する構成が「対象物通報手段」に相当する。
　前記機能を発揮する車両周辺監視装置によれば、対象物が人間であると判定されたことと、この対象物の実空間位置が第１の接触判定領域Ａ１に含まれていることとを要件として、車両１０と対象物との接触可能性が高い旨が通報される（図４／Ｓ１００‥Ａ，Ｓ１０２～１０８、図５（ａ）参照）。一方、対象物が四足動物であると判定されたことと、この対象物の実空間位置が第２の接触判定領域Ａ２に含まれていることとを要件として、車両１０と対象物との接触可能性が高い旨が通報される（図４／Ｓ１００‥Ｂ，Ｓ２０２～２０８、図５（ｂ）参照）。
　第２の接触判定領域Ａ２は、第１の接触判定領域Ａ１との重なり領域と、第１の接触判定領域Ａ１から少なくとも一部がはみ出した領域とを有している（図５（ａ）（ｂ）参照）。このため、対象物が四足動物である場合、この対象物の実空間位置が第１の接触判定領域Ａ１に含まれていなくても第２の接触判定領域Ａ２のうち第１の接触判定領域Ａ１からはみだした領域に含まれていれば通報がなされるので、対象物が人間である場合と比較して通報タイミングを早めることができる。
　一方、対象物が人間である場合、この対象物の実空間位置が第２の接触判定領域Ａ２のうち第１の接触判定領域Ａ１からはみだした領域に含まれていても通報が無条件になされることはないので、車両１０と人間とが接触する可能性が高いことを運転者に通報する頻度がいたずらに高くなることが防止される。したがって、車両１０と対象物が接触する可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる。
　なお、前記実施形態によれば図５（ｂ）に示されている第２の接触判定領域Ａ２が、図５（ａ）に示されている第１の接触判定領域Ａ１の全部と重なるように設定されたが、他の実施形態として図６（ａ）に示されているように第２の接触判定領域Ａ２（斜線部分）が、第１の接触判定領域Ａ１の一部と重なるように設定されてもよい。また、前記実施形態では第２の接触判定領域Ａ２において、第１の接触判定領域Ａ１との重なり領域と、第１の接触判定領域Ａ１からのはみ出し領域とが隣接していたが、図６（ｂ）に示されているように当該重なり領域および当該はみ出し領域が相互に離れて設定されてもよい。さらに、第２の接触判定領域Ａ２のうち、第１の接触判定領域Ａ１からのはみ出し領域が、第１の接触判定領域との重なり領域の左右いずれか一方の側にのみ設けられていてもよく、左右非対称な形状または配置とされていてもよい。また、前記実施形態では車両１０の車幅αの両側に第２の余裕γ（γ＞β）を加えた範囲に対応する領域が第２の接触判定領域Ａ２として設定されたが、他の実施形態として第１の接触判定領域Ａ１と第３の接触判定領域Ａ３Ｒ，Ａ３Ｌとを合わせた領域が第２の接触判定領域Ａ２として設定されてもよい。
　さらに、赤外線カメラ２Ｒ，２Ｌにより撮像される撮像領域が第２の接触判定領域ＡＲ４として設定されてもよい。また、本実施形態においては、画像処理ユニット１の処理結果に基づいて、所定の通報を行うように構成されているが、当該処理結果に基づいて車両挙動が制御されるように構成してもよい。さらに、１台の赤外線カメラのみが車両１０に搭載され、かつ、車両１０と対象物との距離を検出するためのレーダ装置等が車両１０に搭載されてもよい。

Claims (4)

  1. 車両に搭載された撮像装置によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
    　前記撮像画像から対象物に相当する対象物領域を抽出する対象物抽出手段と、
    　前記対象物抽出手段により抽出された前記対象物領域に相当する前記対象物の実空間位置を測定する位置測定手段と、
    　前記車両と前記対象物との接触可能性の高低を判定するための接触判定領域を設定する接触判定領域設定手段と、
    　前記位置測定手段により測定された前記対象物の実空間位置が、前記接触判定領域設定手段により設定された前記接触判定領域に含まれることを要件として、運転者に対して前記対象物の存在を通報する対象物通報手段と、
    　前記対象物抽出手段により抽出された前記対象物領域に基づき、前記対象物が人間および四足動物のいずれに該当するかを判定する対象物判定手段とを備え、
    　前記接触判定領域設定手段が、前記対象物判定手段により前記対象物が人間であると判定された場合に第１の前記接触判定領域を設定し、前記対象物判定手段により前記対象物が四足動物であると判定された場合、前記第１の接触判定領域との重なり領域と、前記第１の接触判定領域から少なくとも一部がはみ出した領域とを有する第２の前記接触判定領域を設定することを特徴とする車両周辺監視装置。
  2. 請求項１に記載の車両周辺監視装置において、
    　前記接触判定領域設定手段は、前記対象物判定手段により前記対象物が人間であると判定されたことを要件として前記第1の接触判定領域の外側に第３の前記接触判定領域を設定し、
    　前記位置測定手段により異なる時点において測定された前記対象物の実空間位置に基づいて前記対象物の移動ベクトルを算出する移動ベクトル算出手段を備え、
    　前記対象物通報手段が、前記対象物の実空間位置が前記第３の接触判定領域に含まれていることと、前記移動ベクトル算出手段により算出された前記対象物の移動ベクトルが前記第１の接触判定領域に向かっていることとを要件として、前記運転者に対して前記対象物としての人間の存在を通報し、
    　前記接触判定領域設定手段が、前記対象物判定手段により前記対象物が四足動物であると判定されたことを要件として、前記第１の接触判定領域と前記第３の接触判定領域のうち一部または全部とを合わせた領域を前記第２の接触判定領域として設定することを特徴とする車両周辺監視装置。
  3. 請求項１記載の車両周辺監視装置において、
    　前記接触判定領域設定手段が、前記車両の前方において、前記車両の進行方向に対して平行に延び、かつ、前記車両の左右両側に所定の余裕を加えた幅を有する領域を、前記第１の接触判定領域として設定することを特徴とする車両周辺監視装置。
  4. 請求項１記載の車両周辺監視装置において、
    　前記接触判定領域設定手段が、前記撮像装置により撮像される撮像領域を前記第２の接触判定領域として設定することを特徴とする車両周辺監視装置。
PCT/JP2009/000977 2008-06-12 2009-03-04 車両周辺監視装置 WO2009150771A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
AT09762203T ATE556910T1 (de) 2008-06-12 2009-03-04 Gerät zur überwachung des fahrzeugumfeldes
CN2009801218769A CN102057414B (zh) 2008-06-12 2009-03-04 车辆周围监视装置
EP09762203A EP2270765B1 (en) 2008-06-12 2009-03-04 Vehicle periphery monitoring device
US12/994,922 US8189868B2 (en) 2008-06-12 2009-03-04 Vehicle periphery monitoring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008154408A JP4377439B1 (ja) 2008-06-12 2008-06-12 車両周辺監視装置
JP2008-154408 2008-06-12

Publications (1)

Publication Number Publication Date
WO2009150771A1 true WO2009150771A1 (ja) 2009-12-17

Family

ID=41416487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000977 WO2009150771A1 (ja) 2008-06-12 2009-03-04 車両周辺監視装置

Country Status (6)

Country Link
US (1) US8189868B2 (ja)
EP (1) EP2270765B1 (ja)
JP (1) JP4377439B1 (ja)
CN (1) CN102057414B (ja)
AT (1) ATE556910T1 (ja)
WO (1) WO2009150771A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5761910B2 (ja) * 2009-12-17 2015-08-12 キヤノン株式会社 速度検出装置
JP5751842B2 (ja) 2010-09-16 2015-07-22 キヤノン株式会社 速度検出装置および画像形成装置
WO2013047088A1 (ja) * 2011-09-28 2013-04-04 本田技研工業株式会社 生体認識装置
EP2578464B1 (en) 2011-10-06 2014-03-19 Honda Research Institute Europe GmbH Video-based warning system for a vehicle
US9437000B2 (en) * 2014-02-20 2016-09-06 Google Inc. Odometry feature matching
JP6190758B2 (ja) * 2014-05-21 2017-08-30 本田技研工業株式会社 物体認識装置及び車両
CN104192065A (zh) * 2014-08-20 2014-12-10 刘健萍 一种可辨监控对象的汽车四周监控装置
JP6481520B2 (ja) * 2015-06-05 2019-03-13 トヨタ自動車株式会社 車両の衝突回避支援装置
JP6775285B2 (ja) * 2015-09-24 2020-10-28 アルパイン株式会社 後側方車両検知警報装置
JP6619521B2 (ja) * 2016-08-24 2019-12-11 日立オートモティブシステムズ株式会社 認識制御対象車両報知装置
US10366310B2 (en) * 2016-09-12 2019-07-30 Aptiv Technologies Limited Enhanced camera object detection for automated vehicles
JP7290119B2 (ja) * 2020-01-24 2023-06-13 トヨタ自動車株式会社 車両報知装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2005316607A (ja) * 2004-04-27 2005-11-10 Toyota Motor Corp 画像処理装置及び画像処理方法
JP2007310705A (ja) 2006-05-19 2007-11-29 Honda Motor Co Ltd 車両周辺監視装置
JP2007334511A (ja) * 2006-06-13 2007-12-27 Honda Motor Co Ltd 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP2008154408A (ja) 2006-11-21 2008-07-03 Meidensha Corp Ｐｗｍインバータの出力電圧制御装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263699B2 (ja) * 1992-12-22 2002-03-04 三菱電機株式会社 走行環境監視装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
US6445409B1 (en) * 1997-05-14 2002-09-03 Hitachi Denshi Kabushiki Kaisha Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
US7133537B1 (en) * 1999-05-28 2006-11-07 It Brokerage Services Pty Limited Method and apparatus for tracking a moving object
EP1202214A3 (en) * 2000-10-31 2005-02-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
US20020130953A1 (en) * 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
JP2003016429A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
US7167576B2 (en) * 2001-07-02 2007-01-23 Point Grey Research Method and apparatus for measuring dwell time of objects in an environment
EP1288864A2 (en) * 2001-09-04 2003-03-05 Matsushita Electric Industrial Co., Ltd. Image processing apparatus, image processing method, and image processing program
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP4647648B2 (ja) * 2002-01-18 2011-03-09 本田技研工業株式会社 車両周辺監視装置
DE10258287A1 (de) * 2002-12-13 2004-06-24 Robert Bosch Gmbh Verfahren und Einrichtung zur Objektdetekrierung
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
DE10336638A1 (de) * 2003-07-25 2005-02-10 Robert Bosch Gmbh Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
DE10348109A1 (de) * 2003-10-16 2005-05-19 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung
JP4425642B2 (ja) * 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
JP4140567B2 (ja) * 2004-07-14 2008-08-27 松下電器産業株式会社 物体追跡装置および物体追跡方法
US20060050929A1 (en) * 2004-09-09 2006-03-09 Rast Rodger H Visual vector display generation of very fast moving elements
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
US7447334B1 (en) * 2005-03-30 2008-11-04 Hrl Laboratories, Llc Motion recognition system
JP2007257148A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 画像処理装置及び方法
JP4528283B2 (ja) * 2006-06-05 2010-08-18 本田技研工業株式会社 車両周辺監視装置
JP4203512B2 (ja) * 2006-06-16 2009-01-07 本田技研工業株式会社 車両周辺監視装置
JP2008026997A (ja) * 2006-07-18 2008-02-07 Denso Corp 歩行者認識装置及び歩行者認識方法
DE102007015032A1 (de) 2007-03-29 2008-01-10 Daimlerchrysler Ag Verfahren zur Bewertung der Kritikalität einer Verkehrssituation und Vorrichtung zur Kollisionsvermeidung oder Kollisionsfolgenminderung
JP4567072B2 (ja) * 2008-05-14 2010-10-20 本田技研工業株式会社 車両周辺監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2005316607A (ja) * 2004-04-27 2005-11-10 Toyota Motor Corp 画像処理装置及び画像処理方法
JP2007310705A (ja) 2006-05-19 2007-11-29 Honda Motor Co Ltd 車両周辺監視装置
JP2007334511A (ja) * 2006-06-13 2007-12-27 Honda Motor Co Ltd 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP2008154408A (ja) 2006-11-21 2008-07-03 Meidensha Corp Ｐｗｍインバータの出力電圧制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2270765A4

Also Published As

Publication number Publication date
EP2270765A1 (en) 2011-01-05
JP4377439B1 (ja) 2009-12-02
US20110096956A1 (en) 2011-04-28
US8189868B2 (en) 2012-05-29
EP2270765A4 (en) 2011-04-27
CN102057414A (zh) 2011-05-11
CN102057414B (zh) 2013-12-25
ATE556910T1 (de) 2012-05-15
JP2009301283A (ja) 2009-12-24
EP2270765B1 (en) 2012-05-09

Similar Documents

Publication Publication Date Title
WO2009150771A1 (ja) 車両周辺監視装置
WO2010050090A1 (ja) 車両周辺監視装置
JP4173901B2 (ja) 車両周辺監視装置
JP5198346B2 (ja) 車両周辺監視装置
JP4173902B2 (ja) 車両周辺監視装置
JP4271720B1 (ja) 車両周辺監視装置
JP4521642B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4486997B2 (ja) 車両周辺監視装置
WO2010007718A1 (ja) 車両周辺監視装置
JP5172482B2 (ja) 車両周辺監視装置
JP5004903B2 (ja) 車両周辺監視装置
JP5004919B2 (ja) 車両周辺監視装置
JP4615061B2 (ja) 車両周辺監視装置
JP4995778B2 (ja) 車両周辺監視装置
JP5026398B2 (ja) 車両周辺監視装置
JP4972073B2 (ja) 環境認識装置
JP5907849B2 (ja) 車両周辺監視装置
JP4590654B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP2008042779A (ja) 車両周辺監視システム、車両、車両周辺監視プログラム、車両周辺監視システムの構築システム
JP5442050B2 (ja) 車両周辺監視システム
JP4815506B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980121876.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09762203

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009762203

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12994922

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE