WO2011108218A1 - 車両の周辺監視装置 - Google Patents

車両の周辺監視装置 Download PDF

Info

Publication number
WO2011108218A1
WO2011108218A1 PCT/JP2011/000949 JP2011000949W WO2011108218A1 WO 2011108218 A1 WO2011108218 A1 WO 2011108218A1 JP 2011000949 W JP2011000949 W JP 2011000949W WO 2011108218 A1 WO2011108218 A1 WO 2011108218A1
Authority
WO
WIPO (PCT)
Prior art keywords
animal
vehicle
alarm
pedestrian
image
Prior art date
Application number
PCT/JP2011/000949
Other languages
English (en)
French (fr)
Inventor
誠 相村
長岡 伸治
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to EP11750332.6A priority Critical patent/EP2544162B1/en
Priority to JP2012502993A priority patent/JP5577398B2/ja
Priority to US13/580,014 priority patent/US9321399B2/en
Priority to CN201180010526.2A priority patent/CN102782740B/zh
Publication of WO2011108218A1 publication Critical patent/WO2011108218A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • the present invention relates to an apparatus for monitoring the periphery of a vehicle, and more specifically to an apparatus for detecting and displaying an object around the vehicle.
  • a head-up display (HUD) is provided, an object around the vehicle is detected using an infrared camera, and an object existing in an approach determination area set in the traveling direction of the vehicle Is a system that highlights in the center area of the display screen of the head-up display and displays icons in the right and left areas of the display screen for objects existing in the intrusion determination area set outside the approach determination area Has been proposed.
  • the target object is an animal
  • some animals have the habit of acting in groups. Therefore, as described above, even if a warning is given by highlighting the detected object, other animals following the detected object may lurk around the vehicle.
  • animals move at a faster speed than pedestrians, such as deer, and their behavior patterns can be unexpected. Therefore, even if it is once detected as an object, there is a possibility that a danger that the driver is not aware of at present is lurking around the vehicle, and the driver is warned of such a potential danger. Is desirable.
  • a vehicle periphery monitoring device is mounted on a vehicle, an imaging unit that images the periphery of the vehicle, and an object around the vehicle based on an image captured by the imaging unit
  • the alarm means performs different types of alarms depending on whether the pedestrian is singular or plural, and it is determined that the detected object is the animal, and When it exists within the predetermined range, the alarm means performs the alarm in the same form regardless of whether the animal present is one or plural.
  • 3 is a flowchart illustrating a process in an image processing unit according to an embodiment of the present invention.
  • 7 is a flowchart showing a process in an image processing unit according to another embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring device according to an embodiment of the present invention.
  • the apparatus is mounted on a vehicle and is equipped with two infrared cameras 1R and 1L capable of detecting far infrared rays, and an image processing unit for detecting an object around the vehicle based on image data captured by the cameras 1R and 1L. 2, a speaker 3 that generates a warning by sound or voice based on the detection result, and an image obtained through imaging by the camera 1R or 1L are displayed, and the driver is made to recognize objects around the vehicle.
  • a head-up display (hereinafter referred to as HUD) 4 is provided.
  • the periphery monitoring device includes a yaw rate sensor 6 that detects the yaw rate of the vehicle, and a vehicle speed sensor 7 that detects the traveling speed (vehicle speed) of the vehicle, and the detection results of these sensors are sent to the image processing unit 2. It is done.
  • the cameras 1 ⁇ / b> R and 1 ⁇ / b> L are arranged at positions symmetric with respect to the central axis passing through the center of the vehicle width at the front of the vehicle 10 so as to capture the front of the vehicle 10.
  • the two cameras 1R and 1L are fixed to the vehicle so that their optical axes are parallel to each other and their height from the road surface is equal.
  • the infrared cameras 1R and 1L have a characteristic that the level of the output signal becomes higher (that is, the luminance in the captured image becomes higher) as the temperature of the object is higher.
  • the image processing unit 2 includes an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, a central processing unit (CPU) that performs various arithmetic processing, and a data RAM (Random Access Memory) used to store data, ROM (Read Only Memory) that stores programs executed by the CPU and data used (including tables and maps), driving signals for the speaker 3, display signals for the HUD 4, etc. Is provided.
  • the output signals of the cameras 1R and 1L are converted into digital signals and input to the CPU.
  • the HUD 4 is provided so that a screen 4 a is displayed at a front position of the driver on the front window of the vehicle 10. Thus, the driver can visually recognize the screen displayed on the HUD 4.
  • a navigation device (not shown) that realizes various functions such as detecting the current position of a vehicle, calculating an optimum route to a destination, and displaying the current position and the optimum route together with map information
  • the display device of the navigation device can be used.
  • FIG. 3 is a flowchart showing a process executed by the image processing unit 2. The process is performed at predetermined time intervals.
  • the output signals of the cameras 1R and 1L (that is, captured image data) are received as input, A / D converted, and stored in the image memory.
  • the stored image data is a gray scale image including luminance information.
  • step S14 the right image captured by the camera 1R is used as a reference image (alternatively, the left image may be used as a reference image), and the image signal is binarized. Specifically, a process of setting a region brighter than the luminance threshold value ITH to “1” (white) and a dark region to “0” (black) is performed. By this binarization processing, an object higher than a predetermined temperature, such as a living body, is extracted as a white region.
  • the luminance threshold value ITH can be determined by any appropriate technique.
  • step S15 the binarized image data is converted into run-length data.
  • the coordinates of the start point (the leftmost pixel of each line) of the white area (referred to as a line) in each pixel row, and the start point to the end point (each The run length data is represented by the length (expressed by the number of pixels) up to the pixel on the right end of the line.
  • the y-axis is taken in the vertical direction in the image
  • the x-axis is taken in the horizontal direction.
  • steps S16 and S17 the object is labeled and the object is extracted. That is, of the lines converted into run length data, a line having a portion overlapping in the y direction is regarded as one object, and a label is given thereto. Thus, one or a plurality of objects are extracted.
  • step S21 it is determined whether each of the objects thus extracted is a pedestrian or an animal (typically a quadruped animal such as a deer or a bear, hereinafter simply referred to as an animal). If the extracted object is a pedestrian, the process proceeds to step S22. If the extracted object is an animal, the process proceeds to step S23.
  • step S21 determines whether the extracted objects are pedestrians or animals (for example, if they are artificial structures). If all the extracted objects are not pedestrians or animals (for example, if they are artificial structures), the determination in step S21 is No. Proceeding to step S24, normal display is performed in which the grayscale image acquired in step S13 is output on the display device 4 without outputting an alarm.
  • the process of determining whether the object is a pedestrian or an animal can be realized by any appropriate technique. For example, using known pattern matching, the similarity between the object extracted as described above and a predetermined pattern representing a pedestrian is calculated, and if the similarity is high, the object is determined to be a pedestrian. be able to. An animal can be similarly determined.
  • processing for determining whether or not a person is a pedestrian is described in, for example, Japanese Patent Application Laid-Open No. 2007-241740, Japanese Patent Application Laid-Open No. 2007-334751, and the like.
  • the process for determining whether or not an animal is described in, for example, Japanese Patent Application Laid-Open Nos. 2007-310705 and 2007-310706. *
  • step S22 it is determined whether or not the object determined as a pedestrian is located within a predetermined alarm range from the vehicle.
  • the object determined as an animal is located in the alarm range. Determine whether or not.
  • an example of the predetermined alarm range is shown in FIG.
  • the area AR0 indicates an imaging range that is an area that can be imaged by the cameras 1R and 1L.
  • the processing in steps S11 to S17 in FIG. 3 is performed on the captured image corresponding to the imaging range AR0.
  • the area AR1 corresponds to an area corresponding to a range obtained by adding a margin ⁇ (for example, about 50 to 100 cm) on both sides of the vehicle width ⁇ of the vehicle 10, in other words, the central axis of the vehicle 10 in the vehicle width direction. It is an area having a width of ( ⁇ / 2 + ⁇ ) on both sides, and is an approach determination area with a high possibility of collision if the object continues to exist as it is.
  • the areas AR2 and AR3 are areas where the absolute value of the X coordinate is larger than the approach determination area (outside in the lateral direction of the approach determination area), and an intrusion determination that may cause an object in this area to enter the access determination area It is an area.
  • Z1 that defines the size of regions AR1 to AR3 in the distance direction can be set to a predetermined value, for example.
  • the determination in steps S22 and S23 is performed with the approach determination area AR1 as the alarm range.
  • the object is a pedestrian
  • the foot part of the pedestrian that is, at least a part of the bottom of the object on the image is included in the alarm range, the object Is determined to be within the alarm range.
  • animals The same applies to animals.
  • the position of the center of gravity of the object may be obtained, and if the position of the center of gravity is included in the alarm range, it may be determined that the object is located in the alarm range.
  • step S22 If it is determined in step S22 that at least one pedestrian is located within the warning range (Yes in S22), a grayscale image is displayed on the display device 4 in step S25, and within the warning range in the image. A warning is output for the pedestrian located at. Specifically, alarm output is realized by performing individual highlighting on the position of each pedestrian in the grayscale image.
  • the form in which the position of each object is individually highlighted is referred to as a first form.
  • step S22 if there is no pedestrian determined to be located in the alarm range (No in S22), it indicates that there is no object to be noted in the alarm range. Therefore, alarm output is prohibited in step S26, and normal display is performed as in step S24.
  • step S23 determines whether at least one animal is located within the alarm range (S23 is Yes)
  • a grayscale image is displayed on the display device 4 in step S27, and the alarm in the image is displayed.
  • Alarm output is performed for the animal located within the range. Specifically, warning output is realized by performing one highlight display on the entire displayed gray scale image.
  • a form in which one highlighted display is performed on the entire displayed image is referred to as a second form.
  • step S23 if there is no animal determined to be located within the alarm range (S23 is No), it is determined in step S30 whether or not a predetermined time has passed since the animal has left the alarm range. . If the predetermined time has not passed (No in S30), alarm output is continued in step S27. That is, the gray scale image acquired this time is displayed on the display device 4 and one highlight is displayed on the entire image. If the predetermined time has elapsed (S30 is Yes), alarm output is prohibited in step S31. In this case, the normal display is performed as in step S24.
  • the determination as to whether a predetermined time has elapsed since the animal has left the alarm range can be realized by, for example, tracking an object determined to be the animal. For example, by tracking the animal, the timer is started when the animal goes out of the alarm range (for example, when it was within the alarm range in the previous process and outside the alarm range in the current process) Then, the elapsed time after the animal leaves the alarm range is timed. By referring to the timer, it can be determined whether or not the predetermined time has elapsed.
  • the tracking method is described in, for example, Japanese Patent Laid-Open No. 2001-6096.
  • the alarm output is continued for a predetermined time from the time of the departure. After a predetermined time has elapsed, the alarm output is cancelled.
  • step S21 of the process of FIG. 3 it may be determined that both the pedestrian and the animal are included in the extracted object and both are located within the alarm range.
  • an alarm combining the first form and the second form can be performed along with the display of the grayscale image on the display device 4. That is, for pedestrians, individual highlighting is performed as long as it is within the warning range, and for animals, it is displayed while it is within the warning range and for a predetermined time after leaving the warning range. One highlighting is performed on the entire image.
  • FIG. 5 shows a schematic example of the temporal transition of the screen displayed on the display device 4 in the case of a pedestrian and an animal according to the process of FIG.
  • An area surrounded by the line 101 and the line 102 indicates an alarm range.
  • the actual grayscale image displayed on the display device 4 is displayed with a higher brightness (that is, white) than the background, but is easy to understand on the figure. Therefore, it should be noted that it is drawn so as not to follow such an actual display mode (thus, in the figure, pedestrians and animals are drawn blacker than the background). The same applies to the following drawings.
  • warning output according to the first mode is performed. That is, in the display image, each of the pedestrians 111 to 113 positioned within the warning range is highlighted and surrounded by a frame.
  • alarm output according to the second mode is performed in response to the determination that the animal 115 is within the alarm range at time t1 in (d). That is, in this embodiment, one icon image as indicated by reference numeral 121 is superimposed and displayed on the display image.
  • the icon image 121 is one highlight that is made on the entire display image described above, and here, the icon image 121 indicates that a plurality of animals may exist in the vicinity.
  • the icon image 121 is preferably displayed so as to draw the driver's attention. For example, a triangle can be displayed in red, and the icon image can be lit or blinked.
  • the animal 115 has left the alarm range, but the predetermined time has not elapsed. Therefore, the alarm output according to the second form is continued. That is, the overall highlight display by the icon image 121 is continuously performed.
  • the animal 115 is not displayed on the display device 4 because it is out of the imaging range (area AR0 in FIG. 4).
  • the warning output according to the second mode that is, the overall highlight display by the icon image 121 is continuously performed. In this way, even if an animal is not only in the alarm range but out of the imaging range, until the predetermined time has elapsed, the animal and other animals that follow may be lurking around the vehicle. Will continue. As a result, the driver can be made aware of the potential danger.
  • a display image as shown in FIG. 6 is generated.
  • the difference from FIG. 5 is that highlighting with a frame is performed as long as the animal 115 exists within the imaging range.
  • the form of alarm output by display has been described, but the alarm sound can also be switched between individual alarms and overall alarms.
  • alarm output according to the first mode is performed in step S25
  • alarm output by sound or voice is performed for each object together with the alarm output. Therefore, when there are a plurality of objects within the alarm range, an alarm using sound or voice is performed as many times as the number of objects.
  • the alarm output according to the second mode is performed in step S27
  • the alarm output is performed with one sound or sound for all the target object (s) together with the alarm output. Note that the type and content may be different between the alarm sound performed in the first form and the alarm sound performed in the second form.
  • FIG. 7 is a flowchart showing a process executed by the image processing unit 2 according to another embodiment of the present invention. The process is performed at predetermined time intervals. Only differences from FIG. 3 will be described.
  • step S41 it is determined whether the number of pedestrians determined to be within the warning range is greater than a predetermined number (for example, 1). If it is not more than the predetermined number (that is, if it is equal to or less than the predetermined number), the determination in step S41 is No. Proceeding to step S25, as described above, display according to the first mode, that is, individual highlighting is performed on the position of each pedestrian. If it is greater than the predetermined number, the determination in step S41 is Yes. Proceeding to step S42, the display according to the second mode, that is, one highlighted display is performed on the entire display image. The highlighting here may be different from the highlighting performed on the animal in step S27.
  • a predetermined number for example, 1). If it is not more than the predetermined number (that is, if it is equal to or less than the predetermined number), the determination in step S41 is No. Proceeding to step S25, as described above, display according to the first mode, that is, individual highlighting is performed on the position of each pedestrian. If
  • step S ⁇ b> 21 when both the pedestrian and the animal are included in the extracted object in step S ⁇ b> 21, steps S ⁇ b> 25 or S ⁇ b> 42 for the pedestrian. Can be combined with the alarm output of step S27 for animals.
  • the warning output mode is switched between the first mode with individual highlighting and the second mode with overall highlighting.
  • step S25 it is possible to perform alarm output by one sound or voice for each object, and in step S42, perform alarm output by one sound or voice for all objects. Can do.
  • the type and content of the alarm sound in step S42 can be different from the alarm sound in step S25.
  • the type and content of the alarm sound in step S42 can be different from the alarm sound output in step S27 (alarm output in the second mode for animals).
  • FIG. 8 shows a schematic example of the temporal transition of the screen displayed on the display device 4 in the case of each pedestrian and animal according to the process of FIG.
  • An area surrounded by the line 101 and the line 102 indicates an alarm range.
  • the indications (d) to (f) for animals are shown for comparison, but these are the same as those shown in FIG. Further, the predetermined number in step S41 is assumed to be 1.
  • step S42 display according to the second form, that is, overall highlighting is performed.
  • one icon image as indicated by reference numeral 123 is superimposed and displayed on the display image.
  • the icon image 123 is one highlight that is made on the entire display image described above.
  • the icon image 123 indicates that there are a plurality of pedestrians.
  • the icon image 123 is preferably displayed so as to draw the driver's attention. For example, a triangle can be displayed in red, and the icon image can be lit or blinked.
  • the driver can recognize whether there are a plurality of pedestrians or a notification about the danger of animals.
  • the two pedestrians 111 and 112 have left the warning range, but the remaining one pedestrian 113 is located within the warning range. Since the number of pedestrians within the warning range is 1, the display according to the first form, that is, the individual emphasis display by the frame is performed on the pedestrian 113 in step S25.
  • the alarm output is switched between the first form and the second form depending on whether or not there are more than a predetermined number.
  • the alarm output is switched between the first form and the second form depending on whether or not there are more than a predetermined number.
  • an animal even if it is a single animal, there is a possibility that other animals may lurk in the vicinity as described above. Therefore, it is handled as a plurality (a group), and alarm output is always performed in the second form. By doing so, it is possible to present an easy-to-understand display for pedestrians and allow the driver to recognize the danger of lurking for animals.
  • the predetermined number is not limited to 1, but it is preferable to check in advance how many emphasis displays are made to feel that the screen is difficult to see, and is preferably set to a number smaller than the emphasis display number at which it is difficult to see.
  • the 2nd form which performs one emphasis display with respect to the whole display image is implement
  • the overall highlighting technique is not limited to this, and other forms may be used.
  • FIG. 9 shows an example of overall highlighting in another form when the object is a pedestrian.
  • the entire frame according to the second mode is emphasized by displaying the outer frame 131 so as to surround the outer edge of the displayed image.
  • the outer frame 131 can be colored to attract the driver's attention (for example, red or yellow), and the outer frame 131 can be lit or blinked.
  • the overall brightness of the captured image is lowered (for example, the brightness value of each pixel is lowered by a predetermined value), and the image is displayed in a form with low contrast.
  • the icon image 123 is superimposed and displayed.
  • only the icon image 123 is displayed without displaying the captured image.
  • the icon images 123 of (b) and (c) can also be turned on or blinked. As shown in (b) and (c), it is possible to urge the driver to gaze at the front by making it difficult to see the entire captured image together with the display of the icon image 123.
  • FIG. 9 can be similarly applied to the alarm output according to the second form for animals.
  • the approach determination area AR1 (FIG. 4) is set as a predetermined alarm range from the vehicle, and an alarm is output depending on whether or not a predetermined object exists within the alarm range.
  • an alarm is output not only for an object existing in the alarm range but also for an object that exists in the intrusion determination area AR2 or AR3 and is determined to possibly enter the access determination area. You may make it do. Further, it may be determined whether there is a possibility that the vehicle will collide with the object, and if there is a possibility of collision, an alarm may be output.
  • the present invention can be applied to other cameras (for example, a visible camera).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

 車両に搭載され、該車両の周辺を撮像し、撮像された画像に基づいて、前記車両の周辺の対象物を検出する。検出された対象物が、歩行者または動物であるかを判定し、該判定された対象物が、車両から所定範囲内に存在する場合に、該車両の運転者に対して警報を行う。ここで、検出された対象物が動物であると判定され、かつ所定範囲内に存在すると判定されたならば、該動物が該所定範囲外に脱した後でも所定時間にわたって警報を継続する。動物は、群れて行動する等の習性を持っており、所定範囲外を脱した後も、車両周囲に動物が潜んでいる可能性がある。したがって、警報を継続することにより、潜む危険に対する運転者の注意を喚起させることができる。

Description

車両の周辺監視装置
 この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の対象物を検出して表示する装置に関する。
 下記の特許文献1には、ヘッドアップディスプレイ(HUD)を設け、赤外線カメラを用いて車両の周辺の対象物を検出し、車両の進行方向に設定される接近判定領域内に存在する対象物については、ヘッドアップディスプレイの表示画面の中央領域に強調表示し、接近判定領域の外側に設定される侵入判定領域内に存在する対象物については、該表示画面の右および左領域にアイコン表示するシステムが提案されている。
特許第4334686号公報
 対象物が動物である場合、群れで行動する習性を持つ動物もいる。したがって、上記のように、検出した対象物に対して強調表示を行うことで警報を行っても、該検出対象物に続く他の動物が車両周辺に潜んでいる可能性がある。また、一般に動物は、たとえば鹿等のように歩行者よりも速い速度で移動し、また、その行動パターンも、想定外のものとなりうる。したがって、対象物として一旦検出されたとしても、運転者が現時点で気づいていない危険が車両周辺に潜んでいる可能性があり、このような潜在的な危険に対しても運転者に注意を促すのが望ましい。
 したがって、対象物が動物の場合には、動物の習性を考慮して、歩行者とは異なる形態の警報を行う手法が望まれている。
 この発明の一つの側面によると、車両の周辺監視装置は、車両に搭載され、該車両の周辺を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、前記車両の周辺の対象物を検出する手段と、前記検出された対象物が、歩行者または動物であるかを判定する手段と、前記歩行者または動物と判定された対象物が、前記車両から所定範囲内に存在する場合に、該車両の運転者に対して警報を行う警報手段と、を備える。該検出された対象物が前記動物であると判定され、かつ前記所定範囲内に存在すると判定されたならば、前記警報手段は、該動物が該所定範囲外に脱した後でも所定時間にわたって前記警報を継続することを特徴とする。
 上で述べたように、動物の中には、群れをなして行動する習性を持つものがある。また、動物は、一般に歩行者よりも早い速度で移動することがあり、その行動パターンを予測するのも困難である。したがって、動物が、車両から所定範囲外に脱した後も、該車両の周辺には、該動物や他の動物がなお存在している可能性がある。この発明によれば、所定範囲外に動物が脱した後も、所定時間にわたって警報が継続されるので、運転者に、このような潜む危険に対して注意を喚起し続けることができ、運転者の危険予知の程度を向上させることができる。
 この発明の一実施形態によると、さらに、前記検出された対象物が前記歩行者であると判定され、該歩行者が前記所定範囲内に存在する場合、該存在する歩行者が単数か複数かを判断する手段を備え、前記警報手段は、該歩行者が単数である場合と複数である場合とで異なる形態の警報を行い、前記検出された対象物が前記動物であると判定され、かつ前記所定範囲内に存在する場合には、該警報手段は、該存在する動物が単数か複数かにかかわらず同一形態の警報を行う。
 一般に、歩行者は、動物のように群れをなす等の習性はなく、また、動物よりも移動速度は限られている。歩行者が複数存在する場合に、各歩行者に対して、たとえば枠等による個別の強調表示を行うと、画面が見づらくなり、どの対象物に注意すべきかを運転者に認識させることが困難となるおそれがある。したがって、たとえば、単数の歩行者が検出された場合には個別の強調表示を行うが、複数の歩行者が検出された場合には、このような個別の強調表示に代えて、たとえば画面全体に対して1つの強調表示を行うのが好ましい。他方、動物の場合には、上で述べたように群れの可能性があるため、検出された動物が単数であっても、複数(群れ)として取り扱い、どちらも同じ形態で警報を行う。こうすることにより、歩行者については、わかりやすい表示を運転者に呈示することができると共に、動物については、潜みうる危険性を運転者に認識させることができる。
 本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、カメラおよびHUDの取り付け位置を説明するための図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、車両の警報範囲を示す図。 この発明の一実施例に従う、警報の表示形態を示す図。 この発明の一実施例に従う、警報の表示形態を示す図。 この発明の他の実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の他の実施例に従う、警報の表示形態を示す図。 この発明の他の実施例に従う、警報の表示形態を示す図。
 次に図面を参照してこの発明の実施の形態を説明する。
 図1は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な2つの赤外線カメラ1Rおよび1Lと、カメラ1Rおよび1Lによって撮像された画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット2と、該検出結果に基づいて音または音声で警報を発生するスピーカ3と、カメラ1Rまたは1Lの撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行うヘッドアップディスプレイ(以下、HUDと呼ぶ)4とを備えている。さらに、該周辺監視装置は、車両のヨーレートを検出するヨーレートセンサ6と、車両の走行速度(車速)を検出する車速センサ7とを備え、これらのセンサの検出結果は、画像処理ユニット2に送られる。
 この実施例では、図2に示すように、カメラ1Rおよび1Lは、車両10の前方を撮像するよう、車両10の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。2つのカメラ1Rおよび1Lは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ1Rおよび1Lは、対象物の温度が高いほど、その出力信号のレベルが高くなる(すなわち、撮像画像における輝度が大きくなる)特性を有している。
 画像処理ユニット2は、入力アナログ信号をデジタル信号に変換するA/D変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置(CPU)、CPUが演算に際してデータを記憶するのに使用するRAM(ランダムアクセスメモリ)、CPUが実行するプログラムおよび用いるデータ(テーブル、マップを含む)を記憶するROM(リードオンリーメモリ)、スピーカ3に対する駆動信号およびHUD4に対する表示信号などを出力する出力回路を備えている。カメラ1Rおよび1Lの出力信号は、デジタル信号に変換されてCPUに入力されるよう構成されている。HUD4は、図2に示すように、車両10のフロントウィンドウの、運転者の前方位置に画面4aが表示されるように設けられている。こうして、運転者は、HUD4に表示される画面を視認することができる。
 なお、HUD4に代えて、たとえばダッシュボードに取り付けられる一般的な表示装置でもよい。たとえば、車両の現在位置を検出すると共に、目的地までの最適な経路を算出し、地図情報と共に該現在位置および最適経路を表示する等の様々な機能を実現するナビゲーション装置(図示せず)を搭載している場合には、該ナビゲーション装置の表示装置を利用することができる。
 図3は、画像処理ユニット2によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
 ステップS11~S13において、カメラ1Rおよび1Lの出力信号(すなわち、撮像画像のデータ)を入力として受け取り、これをA/D変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。
 ステップS14において、カメラ1Rで撮像された右画像を基準画像とし(代替的に、左画像を基準画像としてもよい)、その画像信号の2値化を行う。具体的には、輝度閾値ITHより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行う。この2値化処理により、たとえば生体のような、所定の温度より高い対象物が、白領域として抽出される。輝度閾値ITHは、任意の適切な手法で決定されることができる。
 ステップS15において、2値化した画像データを、ランレングスデータに変換する。具体的には、2値化により白となった領域について、各画素行の該白領域(ラインと呼ぶ)の開始点(各ラインの左端の画素)の座標と、開始点から終了点(各ラインの右端の画素)までの長さ(画素数で表される)とで、ランレングスデータを表す。ここで、画像における垂直方向にy軸をとり、水平方向にx軸をとる。たとえば、y座標がy1である画素行における白領域が、(x1,y1)から(x3,y1)までのラインであるとすると、このラインは3画素からなるので、(x1,y1,3)というランレングスデータで表される。
 ステップS16およびS17において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを合わせて1つの対象物とみなし、これにラベルを付与する。こうして、1または複数の対象物が抽出される。
 ステップS21において、こうして抽出された対象物のそれぞれについて、歩行者か動物(典型的には、鹿や熊のような四足動物であり、以下、単に動物と呼ぶ)かを判定する。抽出された対象物が歩行者であればステップS22に進み、動物であればステップS23に進む。
 抽出された対象物のすべてが、歩行者でも動物でもなければ(たとえば、人工構造物である場合)、ステップS21の判断はNoとなる。ステップS24に進み、警報を出力することなく、ステップS13で取得されたグレースケール画像を表示装置4上に出力する通常表示を行う。
 ここで、対象物が歩行者か動物かを判定する処理は、任意の適切な手法で実現されることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。動物についても、同様に判定することができる。このような判定処理の例示として、歩行者かどうかを判定する処理は、たとえば特開2007-241740号公報、特開2007-334751号公報等に記載されている。動物かどうかを判定する処理は、たとえば特開2007-310705号公報、特開2007-310706号公報等に記載されている。  
 ステップS22では、歩行者と判定された対象物が、車両から所定の警報範囲内に位置するかどうかを判定し、ステップS23では、動物と判定された対象物が、該警報範囲内に位置するかどうかを判定する。ここで、所定の警報範囲の一例を、図4に示す。
 領域AR0は、カメラ1Rおよび1Lによって撮像可能な領域である撮像範囲を示す。撮像範囲AR0に対応する撮像画像に対して、図3のステップS11からS17の処理は実行される。
 領域AR1は、車両10の車幅αの両側に余裕β(たとえば、50~100cm程度とすることができる)を加えた範囲に対応する領域、換言すれば車両10の車幅方向の中心軸の両側に(α/2+β)の幅を有する領域であり、対象物がそのまま存在し続ければ衝突の可能性が高い接近判定領域である。領域AR2およびAR3は、接近判定領域よりX座標の絶対値が大きい(接近判定領域の横方向外側の)領域であり、この領域にある対象物は接近判定領域へと侵入するおそれがある侵入判定領域である。領域AR1~AR3の距離方向の大きさを規定するZ1は、たとえば所定値に設定されることができる。
 この実施例では、接近判定領域AR1を上記の警報範囲として、ステップS22およびS23の判定を行う。ここで、対象物が歩行者であれば、該歩行者の足の部分、すなわち、画像上の該対象物の底部の少なくとも一部が、該警報範囲内に含まれていれば、該対象物は該警報範囲内に位置すると判定する。動物についても同様である。
 代替的に、対象物の重心の位置を求め、該重心の位置が該警報範囲内に含まれていれば、該対象物が警報範囲内に位置すると判定してもよい。
 ステップS22において、少なくとも一人の歩行者が警報範囲内に位置すると判定されたならば(S22がYes)、ステップS25において、グレースケール画像を表示装置4上に表示し、画像中の該警報範囲内に位置する該歩行者について警報出力を行う。具体的には、グレースケール画像中のそれぞれの該歩行者の位置に対して個別の強調表示を行うことにより、警報出力を実現する。以下、それぞれの対象物の位置を個別に強調表示する形態を、第1の形態と呼ぶ。
 ステップS22において、警報範囲内に位置すると判定された歩行者が存在しなければ(S22がNo)、警報範囲内には注意すべき対象物が存在しないことを示す。したがって、ステップS26において警報出力を禁止し、ステップS24と同様に通常表示を行う。
 このように、対象物が歩行者の場合、警報範囲内に位置する限りにおいて強調表示が行われるが、該警報範囲から脱した時点で、該強調表示は取り消されることとなる。
 他方、ステップS23において、少なくとも一匹の動物が警報範囲内に位置すると判定されたならば(S23がYes)、ステップS27において、グレースケール画像を表示装置4上に表示し、画像中の該警報範囲内に位置する該動物について警報出力を行う。具体的には、表示されたグレースケール画像全体に対して1つの強調表示を行うことにより、警報出力を実現する。以下、表示される画像全体に対して1つの強調表示を行う形態を、第2の形態と呼ぶ。
 ステップS23において、警報範囲内に位置すると判定された動物が存在しなければ(S23がNo)、ステップS30において、該動物が、該警報範囲から脱してから所定時間が経過したかどうかを判断する。所定時間が経過していなければ(S30がNo)、ステップS27において警報出力を継続する。すなわち、今回取得されたグレースケール画像を表示装置4上に表示して、該画像全体に対して1つの強調表示を行う。該所定時間が経過していれば(S30がYes)、ステップS31において、警報出力を禁止する。この場合、ステップS24と同様に、通常表示が行われることとなる。
 該動物が、警報範囲から脱してから所定時間が経過したかどうかの判断は、たとえば、該動物と判定された対象物を追跡することによって実現することができる。たとえば、該動物を追跡することによって、該動物が警報範囲を脱したときに(たとえば、前回のプロセスでは警報範囲内に存在し、今回のプロセスでは警報範囲外に存在するとき)、タイマを起動して、該動物が警報範囲を脱してからの経過時間を計時する。該タイマを参照することにより、上記所定時間が経過したかどうかを判断することができる。なお、該追跡の手法は、たとえば特開2001―6096号公報に記載されている。
 こうして、警報範囲内に動物が存在すると判定された後、該動物が該警報範囲を脱しても、該脱した時点から所定時間にわたり警報出力は継続される。所定時間が経過した後、警報出力は取り消されることとなる。
 前述したように、動物によっては、群れて行動するものがある。したがって、検出された動物が警報範囲を脱したとしても、車両の周辺には、同じ種類の他の動物が潜んでいる可能性がある。また、動物の移動速度は一般に速く、行動パターンも想定外のものとなりうるため、警報範囲を脱したと判定しても、該警報範囲の周辺に潜んでいる可能性もある。それに対し、歩行者の場合には、このような習性はない。したがって、歩行者の場合には、警報範囲内に位置する限りにおいて警報出力を発し、動物の場合には、警報範囲を脱しても、所定時間の間は警報出力を継続する。こうして、潜在的な危険を運転者に認識させることができる。
 なお、図3のプロセスのステップS21において、抽出された対象物に歩行者および動物の両方が含まれており、両者が警報範囲内に位置すると判定される場合もありうる。この場合、グレースケール画像の表示装置4上への表示と共に、第1の形態と第2の形態を組み合わせた警報を行うことができる。すなわち、歩行者については、警報範囲内に位置する限り、個別の強調表示が行われ、動物については、警報範囲内に位置する間、および該警報範囲を脱してからの所定時間の間、表示画像全体に1つの強調表示が行われる。
 図5は、図4のプロセスに従う、歩行者と動物のそれぞれの場合の表示装置4上に表示される画面の時間的推移の概略的な一例を示す。ライン101とライン102とに囲まれる領域が、警報範囲を示している。
 なお、歩行者および動物は生体であるため、表示装置4上に表示される実際のグレースケール画像では、背景よりも高い輝度で(すなわち、白く)表示されるが、図の上ではわかりやすくするため、このような実際の表示態様に沿ったものではないように描かれている点に注意されたい(よって、図では、歩行者や動物は背景よりも黒く描かれている)。このことは、以下の図においても同様である。
 (a)の時点t1において、3人の歩行者111~113が警報範囲内に位置すると判定されたことに応じて、第1の形態に従う警報出力が行われる。すなわち、表示画像内において、警報範囲内に位置する歩行者111~113のそれぞれが、枠に囲まれて強調表示される。
 その後の(b)の時点t2において、2人の歩行者111および112が警報範囲から脱したが、残る1人の歩行者113が警報範囲内に位置するため、引き続き、第1の形態に従う警報出力が行われる。すなわち、警報範囲内に位置する歩行者113の位置に対して、枠による強調表示が行われる。
 その後の(c)の時点t3において、すべての歩行者111~113が警報範囲内に存在しなくなったため、警報出力は禁止される。したがって、強調表示は何ら行われない。
 それに対し、動物の場合、(d)の時点t1において、動物115が警報範囲内に存在すると判定されたことに応じて、第2の形態に従う警報出力が行われる。すなわち、この実施形態では、表示画像上に、符号121で示すような1つのアイコン画像が重畳表示される。該アイコン画像121は、前述した表示画像全体に対してなされる1つの強調表示であり、ここでは、該アイコン画像121によって、複数の動物が周辺に存在する可能性があることを示している。ここで、アイコン画像121は、運転者の注意を引くように表示されるのが好ましい。たとえば、三角形を赤色で表示し、該アイコン画像を点灯させたり点滅させたりすることができる。
 その後の(e)の時点t2において、該動物115は警報範囲から脱したが、上記の所定時間は経過していない。したがって、第2の形態に従う警報出力は継続される。すなわち、アイコン画像121による全体的な強調表示は継続して行われる。
 その後の(f)の時点t3において、動物115が、撮像範囲(図4の領域AR0)から外れたために、表示装置4上には表示されていない。しかしながら、上記の所定時間はまだ経過していないので、第2の形態による警報出力、すなわちアイコン画像121による全体的な強調表示は継続して行われる。こうして、動物が、警報範囲だけでなく撮像範囲から外れたとしても、所定時間が経過するまでは、該動物やその後に続く他の動物が車両周辺に潜んでいる可能性があるので、警報出力は継続される。これにより、潜在的な危険性を運転者に認知させることができる。
 なお、動物について、上記のアイコン画像121による全体的な強調表示と共に、動物が警報範囲内に位置している間に限り、または動物が撮像範囲内に存在している限り、該動物に対して、枠で囲む等の個別の強調表示を行ってもよい。
 この場合、たとえば図6に示すような表示画像が生成される。図5と異なる点は、動物115が、撮像範囲内に存在している限り、枠による強調表示が行われている点である。
 上記では、表示による警報出力の形態について述べたが、警報音についても、個別の警報と全体の警報との間で切り換えることができる。たとえば、ステップS25で第1の形態による警報出力を行う場合には、該警報出力と共に、対象物のそれぞれについて、音または音声による警報出力を行う。したがって、警報範囲内に複数の対象物が存在する場合には、該対象物の数に相当する回数だけ、音または音声による警報が行われる。それに対し、ステップS27で第2の形態による警報出力を行う場合には、該警報出力と共に、すべての対象物(単数または複数)に対し、1回の音または音声による警報出力を行う。なお、第1の形態で行う警報音と、第2の形態で行う警報音との間で、種類や内容を異ならせてもよい。
 図7は、この発明の他の実施形態に従う、画像処理ユニット2によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。図3と異なる点についてのみ説明する。
 図3と異なるのは、ステップS41およびS42が追加されている点である。ステップS41では、警報範囲内に位置すると判定された歩行者が、所定数(たとえば、1)より多いかどうかを判断する。所定数より多くなければ(すなわち、所定数以下であれば)、ステップS41の判断はNoとなる。ステップS25に進み、前述したように、第1の形態による表示、すなわちそれぞれの歩行者の位置に対して個別の強調表示を行う。所定数より多ければ、ステップS41の判断はYesとなる。ステップS42に進み、第2の形態による表示、すなわち表示画像全体に対して1つの強調表示を行う。ここでの強調表示は、ステップS27で動物について行われる強調表示と、異なるものでよい。
 図3を参照して述べたように、図7の形態でも、ステップS21において、抽出された対象物に歩行者と動物の両方が含まれている場合には、歩行者についてのステップS25またはS42による警報出力と、動物についてのステップS27の警報出力とを組み合わせることができる。
 こうして、この実施形態では、歩行者が所定数より多いか否かに従って、警報出力の形態を、個別の強調表示による第1の形態と、全体の強調表示による第2の形態との間で切り換える。
 このような切り換えを行う根拠を述べると、警報範囲内に多くの歩行者がいる場合、第1の形態では枠による強調表示が複数個なされることとなる。警報は、運転者になるべく瞬時に認識させるよう行われるのが望ましいが、強調表示されている箇所の数が多くなるほど、画面が見にくくなり、運転者は、どの対象物に注意すべきかを瞬時に認識しにくくなる。このようなことを回避するため、この実施形態では、比較的多くの歩行者が警報範囲内に存在する場合には、個別の強調表示に代えて、全体の強調表示に警報形態を切り換える。全体の強調表示がなされたことにより、運転者は、複数の歩行者が車両周辺に存在することを瞬時に認識することができる。
 歩行者についてのこの切り換えは、警報音についても同様に行うことができる。前述したように、ステップS25では、それぞれの対象物について1回の音または音声による警報出力を行うことができ、ステップS42では、すべての対象物について1回の音または音声による警報出力を行うことができる。ここで、ステップS42での警報音を、ステップS25の警報音と、種類や内容を異ならせることができる。また、ステップS42の警報音は、ステップS27(動物の場合の第2の形態での警報出力)で出力される警報音と、種類や内容を異ならせることができる。
 図8は、図7のプロセスに従う、歩行者と動物のそれぞれの場合の表示装置4上に表示される画面の時間的推移の概略的な一例を示す。ライン101とライン102とに囲まれる領域が、警報範囲を示している。動物についての(d)~(f)の表示は、比較のために示されているが、これらは図6のものと同じであるので、説明を省略する。また、ステップS41の所定数は、値1とする。
 (a)の時点t1において、3人の歩行者111~113が警報範囲内に位置すると判定される。歩行者の数が3であるため、ステップS42において第2の形態による表示、すなわち全体的な強調表示を行う。動物の場合について前述したように、表示画像上に、符号123で示すような1つのアイコン画像が重畳表示される。該アイコン画像123は、前述した表示画像全体に対してなされる1つの強調表示であり、ここでは、該アイコン画像123によって、複数の歩行者が存在していることを示している。アイコン画像121と同様に、アイコン画像123も、運転者の注意を引くように表示されるのが好ましい。たとえば、三角形を赤色で表示し、該アイコン画像を点灯させたり点滅させたりすることができる。
 なお、アイコン画像123は、三角形の中に人が示されており、これは、三角形の中に動物が示されているアイコン画像121とは異なる。こうして、どちらのアイコン画像が表示されたかによって、運転者は、複数の歩行者が存在しているのか、もしくは動物についての危険性を知らせるものなのかを認識することができる。
 その後の(b)の時点t2において、2人の歩行者111および112が警報範囲から脱したが、残る1人の歩行者113が警報範囲内に位置する。警報範囲内の歩行者の数が1であるため、該歩行者113に対し、ステップS25において第1の形態による表示、すなわち枠による個別の強調表示を行う。
 その後の(c)の時点t3において、すべての歩行者111~113が警報範囲内に存在しなくなったため、警報出力は禁止され、強調表示は何ら行われない。
 このように、この実施形態では、歩行者の場合には、所定数より多いか否かによって、第1の形態と第2の形態との間で警報出力を切り換える。しかしながら、動物の場合には、単数であっても、前述したように周辺に他の動物が潜む可能性があるため、複数(群れ)として取り扱い、常に第2の形態で警報出力を行う。こうすることにより、歩行者については、わかりやすい表示を呈示すると共に、動物については、潜む危険性を運転者に認識させることができる。
 なお、歩行者の場合について、ステップS41の「所定数」を値1にすることにより、表示される画像内での強調表示は常に1箇所となる。したがって、運転者は、瞬時に、表示される画像中に示された警報の内容を認識することができる。該所定数は1に限定されるものではないが、いくつの強調表示を行えば画面が見づらいと感じるかを予め調べ、見づらいと感じ始める強調表示数より少ない数に設定されるのが好ましい。
 また、上記の実施形態では、符号121や123で示すようなアイコン画像をグレースケール画像に重畳表示させることによって、表示画像全体に対して1つの強調表示を行う第2の形態を実現している。しかしながら、全体的な強調表示の手法は、これに限られるものではなく、他の形態でもよい。
 たとえば、対象物が歩行者である場合の他の形態による全体的な強調表示の例が、図9に示されている。(a)では、表示される画像の外縁を囲むように外枠131表示することで、第2の形態による全体的な強調を行う。該外枠131を、運転者の注意を引くような色(たとえば、赤や黄色)にすることができ、また、該外枠131を点灯させたり点滅させることができる。
 (b)では、網掛けで示されるように、撮像された画像の全体の輝度を低くし(たとえば、各画素の輝度値を所定値だけ低くする)、コントラストが低い形態で画像を表示するとともに、アイコン画像123を重畳表示させている。また、(c)では、撮像された画像を表示することなく、アイコン画像123のみを表示させている。(b)および(c)のアイコン画像123についても、点灯または点滅させることができる。(b)および(c)のように、アイコン画像123の表示と共に、撮像された画像全体を見づらくさせることにより、運転者に、前方を注視するよう促すことができる。図9のこれらの形態は、動物についての第2の形態による警報出力に、同様に当てはめることができる。
 なお、上記の実施形態では、接近判定領域AR1(図4)を、車両から所定の警報範囲とし、該警報範囲内に所定の対象物が存在しているか否かによって、警報を出力する。代替的に、該警報範囲内に存在する対象物についてだけでなく、侵入判定領域AR2またはAR3に存在し、かつ接近判定領域に侵入するおそれがあると判定された対象物についても、警報を出力するようにしてもよい。また、該対象物に車両が衝突する可能性があるかどうかまで判定し、衝突する可能性がある場合に、警報を出力するようにしてもよい。これらの判定手法については、たとえば、特開2001-6096号公報に記載されている。
 さらに、上記の実施形態では、遠赤外線カメラを用いているが、本願発明は、他のカメラ(たとえば、可視カメラ)にも適用可能である。
 以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
1R,1L 赤外線カメラ(撮像手段)
2 画像処理ユニット
3 スピーカ
4 HUD

Claims (2)

  1.  車両に搭載され、該車両の周辺を撮像する撮像手段と、
     前記撮像手段により撮像された画像に基づいて、前記車両の周辺の対象物を検出する手段と、
     前記検出された対象物が、歩行者または動物であるかを判定する手段と、
     前記歩行者または動物と判定された対象物が、前記車両から所定範囲内に存在する場合に、該車両の運転者に対して警報を行う警報手段と、を備える車両の周辺監視装置であって、
     前記検出された対象物が前記動物であると判定され、かつ前記所定範囲内に存在すると判定されたならば、前記警報手段は、該動物が該所定範囲外に脱した後でも所定時間にわたって前記警報を継続することを特徴とする、周辺監視装置。
  2.  さらに、前記検出された対象物が前記歩行者であると判定され、該歩行者が前記所定範囲内に存在する場合、該存在する歩行者が単数か複数かを判断する手段を備え、
     前記警報手段は、該歩行者が単数である場合と複数である場合とで異なる形態の警報を行い、前記検出された対象物が前記動物であると判定され、かつ前記所定範囲内に存在する場合には、該警報手段は、該存在する動物が単数か複数かにかかわらず同一形態の警報を行う、
     請求項1に記載の周辺監視装置。
PCT/JP2011/000949 2010-03-01 2011-02-21 車両の周辺監視装置 WO2011108218A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11750332.6A EP2544162B1 (en) 2010-03-01 2011-02-21 Surrounding area monitoring device for vehicle
JP2012502993A JP5577398B2 (ja) 2010-03-01 2011-02-21 車両の周辺監視装置
US13/580,014 US9321399B2 (en) 2010-03-01 2011-02-21 Surrounding area monitoring device for vehicle
CN201180010526.2A CN102782740B (zh) 2010-03-01 2011-02-21 车辆周围监测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010044475 2010-03-01
JP2010-044475 2010-03-01

Publications (1)

Publication Number Publication Date
WO2011108218A1 true WO2011108218A1 (ja) 2011-09-09

Family

ID=44541888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000949 WO2011108218A1 (ja) 2010-03-01 2011-02-21 車両の周辺監視装置

Country Status (5)

Country Link
US (1) US9321399B2 (ja)
EP (1) EP2544162B1 (ja)
JP (1) JP5577398B2 (ja)
CN (1) CN102782740B (ja)
WO (1) WO2011108218A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013088894A (ja) * 2011-10-14 2013-05-13 Honda Motor Co Ltd 車両の運転支援装置
JP2013092992A (ja) * 2011-10-27 2013-05-16 Honda Motor Co Ltd 車両周辺監視装置
JP2013120551A (ja) * 2011-12-08 2013-06-17 Denso It Laboratory Inc 車両用運転支援装置
JP2014006821A (ja) * 2012-06-26 2014-01-16 Honda Motor Co Ltd 車両周辺監視装置
JP2016024602A (ja) * 2014-07-18 2016-02-08 日立オートモティブシステムズ株式会社 物体検知装置及びそれを用いた車両制御システム
JP2017004106A (ja) * 2015-06-05 2017-01-05 トヨタ自動車株式会社 車両の衝突回避支援装置
CN106553655A (zh) * 2016-12-02 2017-04-05 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆
JP2017200808A (ja) * 2016-05-06 2017-11-09 トヨタ自動車株式会社 情報表示装置
WO2018092919A1 (ja) * 2016-11-21 2018-05-24 京セラ株式会社 画像処理装置、撮像装置、および表示システム
JP2018085582A (ja) * 2016-11-21 2018-05-31 京セラ株式会社 画像処理装置、撮像装置、および表示システム
WO2019039201A1 (ja) * 2017-08-23 2019-02-28 日本精機株式会社 車両用表示装置
US11893812B2 (en) 2021-06-04 2024-02-06 Toyota Jidosha Kabushiki Kaisha Vehicle display device, vehicle display system, vehicle display method, and non-transitory storage medium stored with program

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782741B (zh) * 2010-03-03 2015-08-19 本田技研工业株式会社 车辆周围监测装置
JP5459154B2 (ja) * 2010-09-15 2014-04-02 トヨタ自動車株式会社 車両用周囲画像表示装置及び方法
JP5991647B2 (ja) * 2013-03-28 2016-09-14 株式会社デンソー 車両用周辺監視制御装置
JP6232759B2 (ja) * 2013-06-07 2017-11-22 ソニー株式会社 情報処理装置、接近対象物通知方法及びプログラム
JP6051307B2 (ja) * 2013-07-05 2016-12-27 クラリオン株式会社 運転支援装置
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックIpマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
GB2521415B (en) 2013-12-19 2020-03-04 Here Global Bv An apparatus, method and computer program for controlling a vehicle
JP6440115B2 (ja) 2014-03-06 2018-12-19 パナソニックIpマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム
KR102287373B1 (ko) 2014-10-20 2021-08-05 한화테크윈 주식회사 경보 발생 장치 및 방법
KR102383425B1 (ko) * 2014-12-01 2022-04-07 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP6398675B2 (ja) * 2014-12-09 2018-10-03 株式会社デンソー 画像生成装置
WO2016092650A1 (ja) * 2014-12-10 2016-06-16 三菱電機株式会社 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
DE102015002923B4 (de) 2015-03-06 2023-01-12 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für ein Fahrzeug insbesondere Nutzfahrzeug
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
GB2538572B (en) * 2015-05-18 2018-12-19 Mobileye Vision Technologies Ltd Safety system for a vehicle to detect and warn of a potential collision
US10093181B1 (en) 2015-09-30 2018-10-09 Waymo Llc Occupant facing vehicle display
DE102015118977A1 (de) * 2015-11-05 2017-05-11 Connaught Electronics Ltd. Erfassungsvorrichtung für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6805716B2 (ja) * 2016-01-25 2020-12-23 株式会社Jvcケンウッド 表示装置、表示方法、プログラム
EP3293717B1 (en) 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
KR102581779B1 (ko) 2016-10-11 2023-09-25 주식회사 에이치엘클레무브 교차로충돌방지시스템 및 교차로충돌방지방법
CN107554472A (zh) * 2017-08-23 2018-01-09 中国科学院自动化研究所 一种车辆碰撞警示系统和方法
JP7006235B2 (ja) * 2017-12-18 2022-01-24 トヨタ自動車株式会社 表示制御装置、表示制御方法および車両
JP7077616B2 (ja) * 2017-12-28 2022-05-31 トヨタ自動車株式会社 表示制御装置および表示制御方法
JP7211674B2 (ja) * 2018-09-27 2023-01-24 株式会社Subaru 移動体監視装置、並びにこれを用いる車両制御システムおよび交通システム
JP7113364B2 (ja) * 2018-10-18 2022-08-05 パナソニックIpマネジメント株式会社 撮像装置
US20200342623A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
CN110689760A (zh) * 2019-09-26 2020-01-14 浙江海洋大学 一种山区内保护道路安全的系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2007241740A (ja) 2006-03-09 2007-09-20 Honda Motor Co Ltd 車両周辺監視装置
JP2007310706A (ja) 2006-05-19 2007-11-29 Honda Motor Co Ltd 車両周辺監視装置
JP2007310705A (ja) 2006-05-19 2007-11-29 Honda Motor Co Ltd 車両周辺監視装置
JP2007334751A (ja) 2006-06-16 2007-12-27 Honda Motor Co Ltd 車両周辺監視装置
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置
JP4334686B2 (ja) 1999-07-07 2009-09-30 本田技研工業株式会社 車両の画像表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0183299B1 (ko) * 1996-11-04 1999-04-15 삼성전자주식회사 자동차의 주변사항을 알려주는 네비게이션 장치 및 그 제어방법
US6535242B1 (en) * 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
CA2343493A1 (en) * 2001-04-09 2002-10-09 Harold Hykawy Roadside animal warning system
DE102004009924A1 (de) 2004-02-23 2005-09-01 Valeo Schalter Und Sensoren Gmbh Verfahren und Warnvorrichtung zum grafischen Aufbereiten eines Bildes einer Kamera
CN100429101C (zh) * 2005-09-09 2008-10-29 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
DE102006047777A1 (de) * 2006-03-17 2007-09-20 Daimlerchrysler Ag Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten
CN101201402A (zh) * 2006-12-15 2008-06-18 上海通运汽车科技有限公司 一种汽车行驶中检测危险接近物体的方法和装置
JP4470067B2 (ja) * 2007-08-07 2010-06-02 本田技研工業株式会社 対象物種別判定装置、車両
US20100020170A1 (en) 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP4334686B2 (ja) 1999-07-07 2009-09-30 本田技研工業株式会社 車両の画像表示装置
JP2007241740A (ja) 2006-03-09 2007-09-20 Honda Motor Co Ltd 車両周辺監視装置
JP2007310706A (ja) 2006-05-19 2007-11-29 Honda Motor Co Ltd 車両周辺監視装置
JP2007310705A (ja) 2006-05-19 2007-11-29 Honda Motor Co Ltd 車両周辺監視装置
JP2007334751A (ja) 2006-06-16 2007-12-27 Honda Motor Co Ltd 車両周辺監視装置
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2544162A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013088894A (ja) * 2011-10-14 2013-05-13 Honda Motor Co Ltd 車両の運転支援装置
JP2013092992A (ja) * 2011-10-27 2013-05-16 Honda Motor Co Ltd 車両周辺監視装置
JP2013120551A (ja) * 2011-12-08 2013-06-17 Denso It Laboratory Inc 車両用運転支援装置
JP2014006821A (ja) * 2012-06-26 2014-01-16 Honda Motor Co Ltd 車両周辺監視装置
JP2016024602A (ja) * 2014-07-18 2016-02-08 日立オートモティブシステムズ株式会社 物体検知装置及びそれを用いた車両制御システム
JP2017004106A (ja) * 2015-06-05 2017-01-05 トヨタ自動車株式会社 車両の衝突回避支援装置
JP2017200808A (ja) * 2016-05-06 2017-11-09 トヨタ自動車株式会社 情報表示装置
JP2018085582A (ja) * 2016-11-21 2018-05-31 京セラ株式会社 画像処理装置、撮像装置、および表示システム
WO2018092919A1 (ja) * 2016-11-21 2018-05-24 京セラ株式会社 画像処理装置、撮像装置、および表示システム
US11030468B2 (en) 2016-11-21 2021-06-08 Kyocera Corporation Image processing apparatus
CN106553655A (zh) * 2016-12-02 2017-04-05 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆
WO2019039201A1 (ja) * 2017-08-23 2019-02-28 日本精機株式会社 車両用表示装置
US11893812B2 (en) 2021-06-04 2024-02-06 Toyota Jidosha Kabushiki Kaisha Vehicle display device, vehicle display system, vehicle display method, and non-transitory storage medium stored with program

Also Published As

Publication number Publication date
JP5577398B2 (ja) 2014-08-20
US20120314074A1 (en) 2012-12-13
JPWO2011108218A1 (ja) 2013-06-20
EP2544162B1 (en) 2015-04-29
EP2544162A1 (en) 2013-01-09
EP2544162A4 (en) 2014-01-22
CN102782740A (zh) 2012-11-14
US9321399B2 (en) 2016-04-26
CN102782740B (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
JP5577398B2 (ja) 車両の周辺監視装置
JP5706874B2 (ja) 車両の周辺監視装置
JP5503728B2 (ja) 車両の周辺監視装置
JP5198346B2 (ja) 車両周辺監視装置
JP4456086B2 (ja) 車両周辺監視装置
JP4410292B1 (ja) 車両の周辺監視装置
JP5689872B2 (ja) 車両の周辺監視装置
JP5576937B2 (ja) 車両の周辺監視装置
JP4528283B2 (ja) 車両周辺監視装置
JP4988781B2 (ja) 車両の周辺監視装置
JP5991647B2 (ja) 車両用周辺監視制御装置
JP2010108264A (ja) 車両周辺監視装置
JP4334686B2 (ja) 車両の画像表示装置
JP5192007B2 (ja) 車両の周辺監視装置
JP2011227657A (ja) 車両の周辺を監視する装置
JP5345992B2 (ja) 車両周辺監視装置
JP2009126493A (ja) 障害物検出装置
JP6087240B2 (ja) 車両周辺監視装置
JP2010191666A (ja) 車両の周辺監視装置
JP5192009B2 (ja) 車両の周辺監視装置
JP2010092437A (ja) 車両の周辺監視装置
JP5885640B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180010526.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11750332

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012502993

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011750332

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13580014

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE