WO2010007718A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2010007718A1
WO2010007718A1 PCT/JP2009/002191 JP2009002191W WO2010007718A1 WO 2010007718 A1 WO2010007718 A1 WO 2010007718A1 JP 2009002191 W JP2009002191 W JP 2009002191W WO 2010007718 A1 WO2010007718 A1 WO 2010007718A1
Authority
WO
WIPO (PCT)
Prior art keywords
object area
area
vehicle
monitoring device
extracted
Prior art date
Application number
PCT/JP2009/002191
Other languages
English (en)
French (fr)
Inventor
誠 相村
坂　雅和
服部　弘
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to CN200980127794.5A priority Critical patent/CN102099842B/zh
Priority to EP09797647.6A priority patent/EP2312550B1/en
Priority to US13/003,044 priority patent/US8174578B2/en
Publication of WO2010007718A1 publication Critical patent/WO2010007718A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to a vehicle periphery monitoring device that monitors the periphery of a vehicle using a captured image obtained by an imaging unit mounted on the vehicle.
  • An image area of the object is extracted from the captured image, and a first object area in which the ratio of widths in different directions is within a predetermined range is extracted from the image area of the extracted object.
  • a technology for determining that the type of the object is an animal other than a human and notifying the driver is provided.
  • Known see Japanese Patent Application Laid-Open No. 2007-310705).
  • the object extracted from the captured image obtained by the imaging means mounted on the vehicle is not limited to a person or an animal, and includes an artificial structure such as a vehicle.
  • the type of the object is determined to be an animal other than a human, but an artificial structure such as a vehicle is also It may be included in the type. Therefore, when the own vehicle recognizes an artificial structure such as a vehicle as an animal other than a person, the driver is informed of its existence.
  • an animal that the host vehicle is determined to be an animal other than a human is a large animal (designated quadruped animal) having four legs such as deer.
  • an object of the present invention is to provide a vehicle periphery monitoring device that can recognize with high accuracy whether or not an object is a designated quadruped animal.
  • a vehicle periphery monitoring device is a vehicle periphery monitoring device that monitors the periphery of a vehicle using a captured image obtained by an imaging unit mounted on the vehicle.
  • First object area extracting means for extracting a first object area, and a second object area is extracted below the first object area extracted by the first object area extracting means.
  • Second object area extracting means and object aspect ratio measuring means for measuring an aspect ratio which is a ratio of the width to the vertical width of the first object area extracted by the first object area extracting means.
  • the measurement result of the object aspect ratio measuring means is 1 or more, a plurality of the second object areas are extracted by the second object area extracting means, and the first object area Extracted by the extraction means
  • the ratio of the vertical width of the second target region extracted by the second target region extraction means to the vertical width of one target region is the trunk of the normal designated quadruped animal with respect to the height of the leg.
  • the aspect ratio of the first object area is 1 or more, a plurality of second object areas are extracted, and the vertical width of the first object area is determined.
  • the ratio of the vertical width of the second object area is within the range of the height ratio of the legs to the height of the torso of a normal designated quadruped animal, the first object area And whether or not the second object region corresponds to the designated quadruped animal.
  • the torso's aspect ratio is 1 or more, the ratio of the torso height to the leg height is within a predetermined range, and the leg is left / right or front / rear Therefore, it is possible to recognize with high accuracy whether or not the object is a designated quadruped animal by the above-described determination method.
  • the second object area extraction unit may extract a lower area including the first object area as a temporary setting area and extract the second object area from the temporary setting area.
  • the lower area including the first object area is set as the temporary setting area, and the second object area is extracted from the temporary setting area.
  • the leg of the designated quadruped animal recognizes whether or not the object is the designated quadruped animal with high accuracy by the above-described determination method in view of the fact that the upper end is located below the trunk. Can do.
  • the second object area extracting means may extract the second object area from a temporary setting area having a width equal to or larger than the width of the first object area.
  • the second object area is extracted from the temporary setting area having a width equal to or larger than the width of the first object area.
  • the animal determination means determines whether the ratio of the width of one of the plurality of second object areas to the width of one of the second object areas is within a predetermined range. Accordingly, it may be determined whether or not the first object region and the second object region correspond to the designated quadruped animal.
  • the ratio of the width of the other second object area to the width of one second object area among the plurality of second object areas is a predetermined range. Whether or not it falls under the designated quadruped animal is determined. In view of the fact that the ratio of the widths of the left and right legs or the front and rear legs of the designated quadruped animal is within a predetermined range, it is determined whether or not the object is a designated quadruped animal by the above-described determination method. It can be recognized with high accuracy.
  • the animal determination means determines whether the first object area and the second object area are the specified quadruped according to whether the number of the second object areas is 2 or more and 4 or less. You may determine whether it corresponds to an animal.
  • the number of legs of the designated quadruped animal is four, and the determination as described above is performed in view of the low probability that the four legs appear as one.
  • this method it is possible to recognize with high accuracy whether or not the object is a designated quadruped animal.
  • the vehicle periphery monitoring device includes an image processing unit 1 shown in FIGS. 1 and 2.
  • the image processing unit 1 is connected with two infrared cameras 2R and 2L as imaging means for capturing an image in front of the host vehicle 10, and as a sensor for detecting the traveling state of the host vehicle 10, the image processing unit 1
  • a yaw rate sensor 3 that detects the yaw rate
  • a vehicle speed sensor 4 that detects the traveling speed (vehicle speed) of the host vehicle 10
  • a brake sensor 5 that detects the presence or absence of a brake operation of the host vehicle 10 are connected.
  • the image processing unit 1 includes a speaker 6 for outputting auditory notification information such as voice, and a display device for displaying captured images and visual notification information captured by the infrared cameras 2R and 2L. 7 is connected.
  • the infrared cameras 2R and 2L correspond to the image pickup means in the present invention.
  • the image processing unit 1 includes electronic circuits including an A / D conversion circuit, a microcomputer (having a CPU, a RAM, a ROM, and the like), an image memory, and the like.
  • the infrared cameras 2R, 2L, Analog signals output from the yaw rate sensor 3, the vehicle speed sensor 4, and the brake sensor 5 are converted into digital data by the A / D conversion circuit and input to the microcomputer.
  • the microcomputer detects an object such as a person (pedestrian or person riding a bicycle) based on the input data, and the speaker 6 if the detected object satisfies a predetermined notification requirement. And the process which issues a report to a driver by the display device 7 is executed.
  • the image processing unit 1 has functions as first object extraction means, second object area extraction means, object aspect ratio measurement means, comparison means, and animal determination means in the present invention.
  • the infrared cameras 2 ⁇ / b> R and 2 ⁇ / b> L are attached to the front portion (the front grill portion in the figure) of the host vehicle 10 in order to image the front of the host vehicle 10.
  • the infrared cameras 2R and 2L are respectively disposed at a position on the right side and a position on the left side of the center of the host vehicle 10 in the vehicle width direction. These positions are symmetrical with respect to the center of the vehicle 10 in the vehicle width direction.
  • the infrared cameras 2R and 2L are fixed so that their optical axes extend in parallel in the front-rear direction of the vehicle 10, and the heights of the respective optical axes from the road surface are equal to each other.
  • the infrared cameras 2R and 2L have sensitivity in the far-infrared region, and have a characteristic that the higher the temperature of an object to be imaged, the higher the level of the output video signal (the higher the luminance of the video signal). is doing.
  • the display device 7 includes a head-up display 7a (hereinafter referred to as HUD 7a) that displays image information on the front window of the host vehicle 10.
  • HUD 7a head-up display 7a
  • a display device 7 instead of the HUD 7a, or together with the HUD 7a, a display provided integrally with a meter for displaying a traveling state such as the vehicle speed of the host vehicle 10 or a display provided in an in-vehicle navigation device is provided. It may be used.
  • the basic processing content of the flowchart of FIG. 3 is the same as the processing content described in FIG. 3 of Japanese Patent Laid-Open No. 2001-6096 and FIG. 3 of Japanese Patent Laid-Open No. 2007-310705 by the applicant, for example.
  • infrared image signals of the infrared cameras 2R and 2L are input to the image processing unit 1 (FIG. 3 / STEP 11).
  • the image processing unit 1 A / D converts the output signals of the infrared cameras 2R and 2L (FIG. 3 / STEP 12).
  • the image processing unit 1 acquires a gray scale image from the A / D converted infrared image (FIG. 3 / STEP 13).
  • the image processing unit 1 binarizes the reference image (right image) (FIG. 3 / STEP 14).
  • the image processing unit 1 performs the processing of STEPs 15 to 17 on the binarized image, and extracts an object (more precisely, an image area corresponding to the object) from the binarized image.
  • the pixel group constituting the high luminance area of the binarized image is converted into run length data (FIG. 3 / STEP 15).
  • a label is attached to each line group that overlaps in the vertical direction of the reference image (FIG. 3 / STEP 16).
  • each line group is extracted as an object (FIG. 3 / STEP 17).
  • the image processing unit 1 calculates the position of the center of gravity of each object extracted as described above (position on the reference image), the area, and the aspect ratio of the circumscribed square (FIG. 3 / STEP 18). Next, the image processing unit 1 tracks the object extracted in STEP 18 during time, that is, recognizes the same object for each calculation processing period of the image processing unit 1 (FIG. 3 / STEP 19). Then, the image processing unit 1 reads the outputs (vehicle speed detection value and yaw rate detection value) of the vehicle speed sensor 4 and yaw rate sensor 5 (FIG. 3 / STEP 20).
  • the image processing unit 1 firstly, in the reference image, an area corresponding to each target object (for example, the circumscribed square of the target object). (Region) is extracted as a search image (FIG. 3 / STEP 31). Next, a search area for searching for an image (corresponding image) corresponding to the search image from the left image is set, and a correlation operation is executed to extract the corresponding image (FIG. 3 / STEP 32). And the distance from the own vehicle 10 of the target object (distance in the front-back direction of the own vehicle 10) is calculated (FIG. 3 / STEP33).
  • the image processing unit 1 calculates a real space position that is a position (relative position with respect to the host vehicle 10) of each object in the real space (FIG. 3 / STEP 21). Then, the image processing unit 1 corrects the position X in the X direction of the real space position (X, Y, Z) of the object according to the time-series data of the turning angle obtained in STEP 20 (FIG. 3 / (Step 22). Thereafter, the image processing unit 1 estimates a relative movement vector of the object with respect to the host vehicle 10 (FIG. 3 / STEP 23).
  • a notification determination process for issuing a notification when the possibility is high is executed (FIG. 3 / STEP 24).
  • a notification output determination process is performed to determine whether or not an actual notification regarding the object that satisfies the notification determination requirement should be performed. (FIG. 3 / STEP 25).
  • the image processing unit 1 determines that the notification should be performed (FIG. 3 / STEP 25... YES)
  • the image processing unit 1 notifies the driver that the possibility of contact with the host vehicle 10 is high (FIG. 3).
  • the image processing unit 1 performs a contact determination process (FIG. 4 / STEP 41).
  • the contact determination process determines that there is a possibility of contact when the distance between the host vehicle 10 and the object is equal to or less than a value obtained by multiplying the relative speed Vs and the margin time T.
  • the image forming unit 1 determines whether or not the object exists in the approach determination area. The determination is made (FIG. 4 / STEP 42). If the object does not exist in the approach determination area (FIG. 4 / STEP 42...
  • the image forming unit 1 may enter the approach determination area and come into contact with the host vehicle 10. It is determined whether or not (FIG. 4 / STEP 43). Specifically, when the object is present in the intrusion determination area and the movement vector of the object determined in STEP 23 is toward the approach determination area, it is determined that the possibility of contact is high.
  • the image processing unit 1 performs an artificial structure determination process for determining whether or not the target object is an artificial structure. Perform (FIG. 4 / STEP 44).
  • the target structure is determined as an artificial structure and excluded from the notification target.
  • it is determined whether or not the object corresponds to a pedestrian (FIG. 4 / STEP 45).
  • the object it is determined whether or not the object corresponds to a pedestrian from the characteristics such as the shape and size of the image area of the object on the gray scale image and luminance dispersion.
  • the detected object is determined as an object of notification or alerting (FIG. 4 / STEP 46).
  • the image processing unit 1 excludes the detected object from the notification target (FIG. 4 / STEP 48).
  • the image processing unit 1 determines the detected target object as a report target (FIG. 4 / STEP 46). On the other hand, when it is determined that the object does not correspond to the designated quadruped animal (FIG. 4 / STEP 47... NO), the image processing unit 1 excludes the detected object from the notification target (FIG. 4 / STEP 48). .
  • the aspect ratio of the first object region extracted by the first object extraction means is 1 or more (FIG. 5 / STEP 100). Specifically, a binarized image obtained by binarizing a grayscale image (see FIG. 3 / STEP 13) acquired from an infrared image captured by the infrared cameras 2R and 2L and A / D converted (see FIG. 3). 3 / STEP14), as shown in FIG. 7A, whether or not the aspect ratio, which is a value obtained by dividing the width W in the first object region by the height H, is 1 or more. Determined. Note that the first object region may correspond to the trunk of the designated quadruped animal.
  • the second object area is extracted below the first object area (FIG. 5 / STEP 102). Specifically, the second object region extraction process shown in the flowchart of FIG. 6 is performed. Note that the second object region may correspond to the leg of the designated quadruped animal.
  • a temporary setting area is set below the first object area (FIG. 6 / STEP 200).
  • the height is three times the height H of the first object region.
  • the width is a width obtained by adding a margin MARGIN_W (margin) of a predetermined length to the left and right ends of the width W of the first object region.
  • the positional relationship in the vertical direction is a positional relationship in which the upper end position coincides with the upper end position of the first object region. Note that the upper end position of the temporary setting area may be located below the upper end position of the first object area.
  • the positional relationship in the left-right direction is such that the right end position is a position obtained by adding a margin MARGIN_W to the right end of the width W of the first object area, and the left end position is at the left end of the width W of the first object area.
  • the positional relationship is a position obtained by adding the margin MARGIN_W.
  • the temporary setting area is an area in which the leg of the designated quadruped animal may exist.
  • an image luminance feature amount is extracted in the temporary setting area (FIG. 6 / STEP 200). Specifically, as shown in FIG. 7C, a vertical edge is extracted for each vertical or horizontal pixel in the temporary setting region (the range of the dotted line).
  • the leg lower end position is extracted in the temporary setting area (FIG. 6 / STEP 202). Specifically, as shown in FIG. 7C, the leg lower end position is extracted according to the number of vertical edge pixels in the horizontal direction. Also, the leg lower end position may be extracted from the change in the number of vertical edge pixels.
  • the left and right end positions of the legs are extracted in the temporary setting area (FIG. 6 / STEP 204). Specifically, as shown in FIG. 7C, the leg left and right end positions are extracted according to the number of vertical edge pixels in the vertical direction. Further, the left and right end positions of the leg may be extracted from the continuity of the vertical edges.
  • the leg upper end position is extracted in the temporary setting area (FIG. 6 / STEP 206). Specifically, as shown in FIG. 7C, the leg upper end position is extracted according to the number of vertical edge pixels in the horizontal direction. Further, the leg upper end position may be extracted from the change in the number of vertical edge pixels.
  • the height LEG_H of the second object region extracted in STEP 102 satisfies the relational expression of H ⁇ LEG_H ⁇ 2 ⁇ H (FIG. 5 / STEP 104). Specifically, as shown in FIG. 8A, the first object region in which the trunk lower end position matches the leg upper end position with respect to the height H of the first object region. The height LEG_H of the second object region is compared with the vertical positional relationship between the second object region and the second object region.
  • the second target is extracted from the set region extracted by the second target region extraction process shown in the flowchart of FIG.
  • the number of object regions is extracted (FIG. 5 / STEP 106). Specifically, the number of second object areas is extracted based on the amount of change in the horizontal direction of the vertical edge in the setting area. For example, as shown in FIG. 8B, two second object areas LEG_F (LEG_W_F (front second object area width)) and LEG_B (LEG_W_B (rear second object area) Width)) is extracted.
  • the above STEPs 110 to 114 show the case where the number of the second object regions is two.
  • the present invention is not limited to this.
  • the number is four, one of the two and the other three Contrast width.
  • those close to the horizontal direction on the image may be integrated and the two may be compared.
  • those close to the horizontal direction on the image may be integrated and the two may be compared.
  • the configuration in which STEP 100 is executed by the image processing unit 1 is performed on the object aspect ratio measuring unit of the present invention, and the configuration of executing the process in STEP 102 is performed on the second object region extracting unit of the present invention.
  • the configuration for executing the determination processing corresponds to the animal determination means of the present invention.
  • the aspect ratio of the first object region is 1 or more, a plurality of second object regions are extracted, and the height of the first object region is high.
  • the ratio of the height of the second object area to the height is within the range of the height ratio of the legs to the height of the torso of a normal designated quadruped animal It is determined whether or not the object region and the second object region correspond to the designated quadruped animal (see STEPs 100 to 118, FIG. 8A).
  • the torso's aspect ratio is 1 or more, the ratio of the torso height to the leg height is within a predetermined range, and the leg is left / right or front / rear In view of the presence of a plurality of objects, it is possible to recognize with high accuracy whether or not the object is a designated quadruped animal by the above-described determination method.
  • the width and height of the high-brightness region are compared using the vertical edge as the image luminance feature amount.
  • the high-luminance region is extracted from the luminance change amount by extracting the luminance profile and the like. May be.
  • a predetermined notification is made based on the processing result of the image processing unit 1, but the vehicle behavior may be controlled based on the processing result.
  • the two infrared cameras 2R and 2L are provided.
  • one infrared camera may be mounted on the host vehicle 10. In this case, the distance to the object is detected by a radar or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

対象物が指定四足動物であるか否かを高精度に認識することができる車両周辺監視装置を提供する。本発明の車両周辺監視装置によれば、第１の対象物領域の縦横比が１以上であり、第２の対象物領域が複数個抽出され、かつ、第１の対象物領域の高さに対する第２の対象物領域の高さの比が通常の指定四足動物が有する胴部の高さに対する脚部の高さ比の範囲内であるか否かに応じて、第１の対象物領域と第２の対象物領域が指定四足動物に該当するか否かが判定される。

Description

車両周辺監視装置
　本発明は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
　撮像画像から対象物の画像領域を抽出して、この抽出された対象物の画像領域に、異なる方向の幅の比率が所定範囲となる第１の対象物領域と、第１の対象物領域の下方に第１の対象物領域よりも面積が小さい複数の第２の対象物領域とが含まれるときに、この対象物の種別は人以外の動物であると判定して運転者に知らせる技術が知られている（日本国特開２００７－３１０７０５号公報参照）。
　しかし、車両に搭載された撮像手段によって得られる撮像画像から抽出される対象物は、人や動物に限られるものではなく、車両等の人工構造物が含まれる。第１の対象物領域の下方に複数の第２の対象物領域が含まれるときに、この対象物の種別は、人以外の動物であると判定されるが、車両等の人工構造物もその種別に含まれてしまう可能性がある。そのため、自車両が車両等の人工構造物を人以外の動物であると認識してしまう場合、無駄に運転者にその存在を知らせることになる。なお、特に自車両が人以外の動物であると判定したい動物は、鹿等の四脚を有する大型動物（指定四足動物）である。
　そこで、本発明は、対象物が指定四足動物であるか否かを高精度に認識することができる車両周辺監視装置を提供することを目的とする。
　上記課題を解決するために、本発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から第１の対象物領域を抽出する第１の対象物領域抽出手段と、前記第１対象物領域抽出手段により抽出された前記第１の対象物領域の下方において第２の対象物領域を抽出する第２の対象物領域抽出手段と、前記第１の対象物領域抽出手段により抽出された前記第１の対象物領域の縦幅に対する横幅の比である縦横比を測定する対象物縦横比測定手段と、前記対象物縦横比測定手段の測定結果が１以上であり、前記第２の対象物領域抽出手段により前記第２の対象物領域が複数個抽出され、かつ、前記第１の対象物領域抽出手段により抽出された前記第１の対象物領域の縦幅に対する前記第２の対象物領域抽出手段により抽出された前記第２の対象物領域の縦幅の比が通常の指定四足動物が有する脚部の高さに対する胴部の高さ比の範囲内であるか否かに応じて、前記第１の対象物領域と前記第２の対象物領域が指定四足動物に該当するか否かを判定する動物判定手段とを有することを特徴とする。
　本発明の車両周辺監視装置によれば、第１の対象物領域の縦横比が１以上であり、第２の対象物領域が複数個抽出され、かつ、第１の対象物領域の縦幅に対する第２の対象物領域の縦幅の比が通常の指定四足動物が有する胴部の高さに対する脚部の高さ比の範囲内であるか否かに応じて、第１の対象物領域と第２の対象物領域が指定四足動物に該当するか否かが判定される。指定四足動物を横から見た場合、胴部の縦横比が１以上であり、かつ、胴部の高さと脚部の高さとの比は所定の範囲になると共に、脚部は左右または前後に複数存在することに鑑みて、前記のような判定手法により対象物が指定四足動物であるか否かを高精度に認識することができる。
　前記第２の対象物領域抽出手段は、前記第１の対象物領域を含む下方領域を仮設定領域とし、前記第２の対象物領域を前記仮設定領域から抽出してもよい。
　当該構成の車両周辺監視装置によれば、第１の対象物領域を含む下方領域を仮設定領域とし、第２の対象物領域を仮設定領域から抽出する。指定四足動物の脚部は、胴部の下方に上端部が位置することに鑑みて、前記のような判断手法により対象物が指定四足動物であるか否かを高精度に認識することができる。
　前記第２の対象物領域抽出手段は、前記第１の対象物領域の幅以上の幅を有する仮設定領域から、前記第２の対象物領域を抽出してもよい。
　当該構成の車両周辺監視装置によれば、第１の対象物領域の幅以上の幅を有する仮設定領域から第２の対象物領域を抽出する。指定四足動物の脚部は、胴部の幅方向の前端部及び後端部に存在することに鑑みて、前記のような判断手法により対象物が指定四足動物であるか否かを高精度に認識することができる。
　前記動物判定手段は、前記複数の第２の対象物領域のうち１つの前記第２の対象物領域の幅に対する他の前記第２の対象物領域の幅の比が所定の範囲であるか否かに応じて、前記第１の対象物領域と前記第２の対象物領域が前記指定四足動物に該当するか否かを判定してもよい。
　当該構成の車両周辺監視装置によれば、複数の第２の対象物領域のうち１つの第２の対象物領域の幅に対する他の第２の対象物領域の幅の比が所定の範囲であるか否かに応じて指定四足動物に該当するか否かを判定する。指定四足動物が有する左右の脚同士または前後の脚同士の幅の比は所定の範囲になることに鑑みて、前記のような判断手法により対象物が指定四足動物であるか否かを高精度に認識することができる。
　前記動物判定手段は、前記第２の対象物領域の個数が２以上かつ４以下であるか否かに応じて、前記第１の対象物領域と前記第２の対象物領域が前記指定四足動物に該当するか否かを判定してもよい。
　当該構成の車両周辺監視装置によれば、指定四足動物の脚の数が４つであり、かつ、４つの脚が１つにまとまってみえる蓋然性は低いことに鑑みて、前記のような判断手法により対象物が指定四足動物であるか否かを高精度に認識することができる。
本発明の一実施形態としての車両周辺監視装置の構成説明図。 車両周辺監視装置が搭載された車両の説明図。 車両周辺監視装置による画像処理手順を示すフローチャート。 車両周辺監視装置による画像処理手順を示すフローチャート。 対象物種別判定処理の手順を示すフローチャート。 脚部領域抽出処理の手順を示すフローチャート。 画像処理ユニットによる画像処理方法に関する説明図。 画像処理ユニットによる画像処理方法に関する説明図。
　本発明の車両周辺監視装置の実施形態について説明する。まず、本実施形態の車両周辺監視装置の構成について説明する。車両周辺監視装置は図１および図２に示されている画像処理ユニット１を備えている。画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像手段としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３、自車両１０の走行速度（車速）を検出する車速センサ４、および自車両１０のブレーキ操作の有無を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ６、および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するための表示装置７が接続されている。なお、赤外線カメラ２Ｒ，２Ｌが本発明における撮像手段に相当する。
　画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の通報要件を満す場合にスピーカ６や表示装置７により運転者に通報を発する処理を実行する。なお、画像処理ユニット１は、本発明における第１の対象物抽出手段、第２の対象物領域抽出手段、対象物縦横比測定手段、比較手段および動物判定手段としての機能を備えている。
　図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、自車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。
　また、本実施形態では、表示装置７として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７として、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。
　次に、前記構成の車両周辺監視装置の基本的な機能について図３のフローチャートを用いて説明する。図３のフローチャートの基本的な処理内容は、例えば本出願人による日本国特開２００１－６０９６号の図３および特開２００７－３１０７０５号の図３に記載されている処理内容と同様である。
　具体的にはまず、赤外線カメラ２Ｒ、２Ｌの赤外線画像信号が画像処理ユニット１に入力される（図３／ＳＴＥＰ１１）。次いで、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号をＡ／Ｄ変換する（図３／ＳＴＥＰ１２）。そして、画像処理ユニット１は、Ａ／Ｄ変換された赤外線画像からグレースケール画像を取得する（図３／ＳＴＥＰ１３）。その後、画像処理ユニット１は、基準画像（右画像）を２値化する（図３／ＳＴＥＰ１４）。次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ１５～１７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像領域）を抽出する。具体的には、前記２値化画像の高輝度領域を構成する画素群をランレングスデータに変換する（図３／ＳＴＥＰ１５）。次いで、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付する（図３／ＳＴＥＰ１６）。そして、ライン群のそれぞれを対象物として抽出する（図３／ＳＴＥＰ１７）。その後、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）、面積、及び外接四角形の縦横比を算出する（図３／ＳＴＥＰ１８）。次いで、画像処理ユニット１は、前記ＳＴＥＰ１８で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（図３／ＳＴＥＰ１９）。そして、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値及びヨーレートの検出値）を読み込む（図３／ＳＴＥＰ２０）。
　一方、画像処理ユニット１は、外接四角形の縦横比算出および対象物の時刻間追跡と並行して、まず、前記基準画像のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像として抽出する（図３／ＳＴＥＰ３１）。次いで、左画像中から探索画像に対応する画像（対応画像）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（図３／ＳＴＥＰ３２）。そして、対象物の自車両１０からの距離（自車両１０の前後方向における距離）を算出する（図３／ＳＴＥＰ３３）。
　次いで、画像処理ユニット１は、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（図３／ＳＴＥＰ２１）。そして、画像処理ユニット１は、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを前記ＳＴＥＰ２０で求めた回頭角の時系列データに応じて補正する（図３／ＳＴＥＰ２２）。その後、画像処理ユニット１は、対象物の自車両１０に対する相対移動ベクトルを推定する（図３／ＳＴＥＰ２３）。次いで、ＳＴＥＰ２３において、相対移動ベクトルが求められたら、検出した対象物との接触の可能性を判定し、その可能性が高いときに通報を発する通報判定処理を実行する（図３／ＳＴＥＰ２４）。そして、対象物が通報判定要件を満たすと判定した場合（図３／ＳＴＥＰ２４‥ＹＥＳ）、通報判定要件を満たす対象物に関する実際の通報を行うべきか否かの判定を行う通報出力判定処理を実行する（図３／ＳＴＥＰ２５）。その後、画像処理ユニット１は、通報を行うべきと判定した場合（図３／ＳＴＥＰ２５‥ＹＥＳ）、運転者に対して自車両１０との接触可能性が高い状況である旨の通報をする（図３／ＳＴＥＰ２６）。具体的には、スピーカ６を介して音声を出力することにより当該状況が通報される。また、ＨＵＤ７ａにおいて対象物を強調表示することによっても当該状況が通報される。以上が本実施形態の周辺監視装置の全体的作動である。なお、画像処理ユニット１によりＳＴＥＰ１１～１８の処理を実行する構成が、本発明の第１の対象物領域抽出手段に相当する。
　次に、図３に示したフローチャートのＳＴＥＰ２４における通報判定処理について図４のフローチャートを用いて説明する。図４のフローチャートの基本的な処理内容は、例えば本出願人による特開２００１－６０９６号の図４および特開２００７－３１０７０５号の図４に記載されている処理内容と同様である。
　具体的にはまず、画像処理ユニット１は、接触判定処理を行う（図４／ＳＴＥＰ４１）。接触判定処理は、自車両１０と対象物との距離が、相対速度Ｖｓと余裕時間Ｔとを乗じた値以下の場合に、接触の可能性があるものとして判定する。次いで、余裕時間Ｔ以内に自車両と対象物とが接触する可能性がある場合（図４／ＳＴＥＰ４１‥ＹＥＳ）、画像形成ユニット１は、対象物が接近判定領域内に存在するか否かを判定する（図４／ＳＴＥＰ４２）。そして、対象物が接近判定領域内に存在しない場合（図４／ＳＴＥＰ４２‥ＮＯ）、画像形成ユニット１は、対象物が接近判定領域内に侵入して自車両１０と接触する可能性があるか否かを判定する（図４／ＳＴＥＰ４３）。具体的には、対象物が侵入判定領域に存在し、かつ、ＳＴＥＰ２３で求めた対象物の移動ベクトルが接近判定領域に向かっているときに、接触する可能性が高いと判定する。
　一方、対象物が接近判定領域内に存在している場合（図４／ＳＴＥＰ４２‥ＹＥＳ）、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（図４／ＳＴＥＰ４４）。人工構造物判定処理は、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、通報の対象から除外する。次いで、対象物は人工構造物ではないと判定された場合（図４／ＳＴＥＰ４４‥ＮＯ）、対象物が歩行者に該当するか否かが判定される（図４／ＳＴＥＰ４５）。具体的には、グレースケール画像上で対象物の画像領域の形状や大きさ、輝度分散等の特徴から、対象物が歩行者に該当するか否かが判定される。そして、対象物が接近判定領域内に侵入して自車両１０と接触する可能性があると判定された場合（図４／ＳＴＥＰ４３‥ＹＥＳ）、および対象物が歩行者に該当すると判定された場合（図４／ＳＴＥＰ４５‥ＹＥＳ）、検出した対象物を通報または注意喚起の対象として決定する（図４／ＳＴＥＰ４６）。その一方、対象物が歩行者に該当しないと判定された場合（図４／ＳＴＥＰ４５‥ＮＯ）、画像処理ユニット１は、検出した対象物を通報の対象から除外する（図４／ＳＴＥＰ４８）。
　一方、対象物が歩行者でないと判定された場合（図４／ＳＴＥＰ４５‥ＮＯ）、この対象物が四脚を有する大型動物（指定四足動物）に該当するか否かが判定される（図４／ＳＴＥＰ４７）。対象物が指定四足動物に該当すると判定された場合（図４／ＳＴＥＰ４７‥ＹＥＳ）、画像処理ユニット１は、検出した対象物を通報の対象として決定する（図４／ＳＴＥＰ４６）。その一方、対象物が指定四足動物に該当しないと判定された場合（図４／ＳＴＥＰ４７‥ＮＯ）、画像処理ユニット１は、検出した対象物を通報の対象から除外する（図４／ＳＴＥＰ４８）。
　次に、本発明の車両周辺監視装置の主要な機能である対象物種別判定処理について図５のフローチャートを用いて説明する。
　まず、第１の対象物抽出手段により抽出された第１の対象物領域の縦横比が１以上であるか否かが判定される（図５／ＳＴＥＰ１００）。具体的には、赤外線カメラ２Ｒ、２Ｌにより撮像されＡ／Ｄ変換された赤外線画像から取得されるグレースケール画像（図３／ＳＴＥＰ１３参照）が２値化処理され得られた２値化画像（図３／ＳＴＥＰ１４参照）から、図７（ａ）に示されているように、第１の対象物領域における幅Ｗを高さＨで割った値である縦横比が１以上であるか否かが判定される。なお、第１の対象物領域は、指定四足動物の胴部に相当する可能性がある。
　当該判定結果が肯定的である場合（図５／ＳＴＥＰ１００‥ＹＥＳ）、第１の対象物領域の下方において第２の対象物領域が抽出される（図５／ＳＴＥＰ１０２）。具体的には、図６のフローチャートに示す第２の対象物領域抽出処理がなされる。なお、第２の対象物領域は、指定四足動物の脚部に相当する可能性がある。
　まず、第１の対象物領域の下方に仮設定領域が設定される（図６／ＳＴＥＰ２００）。具体的には、図７（ｂ）に示されているように、高さは、第１の対象物領域の高さＨの３倍の高さである。幅は、第１の対象物領域の幅Ｗの左右端にそれぞれ所定長のマージンＭＡＲＧＩＮ＿Ｗ（余裕）を足した幅である。上下方向の位置関係は、上端位置が第１の対象物領域の上端位置に一致している位置関係である。なお、仮設定領域の上端位置は第１の対象物領域の上端位置より下方に位置していてもよい。左右方向の位置関係は、右端の位置が、第１の対象物領域の幅Ｗの右端にマージンＭＡＲＧＩＮ＿Ｗを足した位置であり、左端の位置が、第１の対象物領域の幅Ｗの左端にマージンＭＡＲＧＩＮ＿Ｗを足した位置となる位置関係である。なお、仮設定領域は、指定四足動物の脚部が存在する可能性がある領域である。
　次いで、当該仮設定領域において画像輝度特徴量が抽出される（図６／ＳＴＥＰ２００）。具体的には、図７（ｃ）に示されているように、仮設定領域（点線の範囲）において縦または横１画素毎に垂直エッジを抽出する。
　そして、前記仮設定領域において脚部下端位置が抽出される（図６／ＳＴＥＰ２０２）。具体的には、図７（ｃ）に示されているように、横方向の垂直エッジ画素数に応じて脚部下端位置が抽出される。また、垂直エッジ画素数の変化から脚部下端位置が抽出されてもよい。
　その後、前記仮設定領域において脚部左右端位置が抽出される（図６／ＳＴＥＰ２０４）。具体的には、図７（ｃ）に示されているように、縦方向の垂直エッジ画素数に応じて脚部左右端位置が抽出される。また、垂直エッジの連続性から脚部左右端位置が抽出されてもよい。
　次いで、前記仮設定領域において脚部上端位置が抽出される（図６／ＳＴＥＰ２０６）。具体的には、図７（ｃ）に示されているように、横方向の垂直エッジ画素数に応じて脚部上端位置が抽出される。また、垂直エッジ画素数の変化から脚部上端位置が抽出されてもよい。
　次いで、図５に戻り、ＳＴＥＰ１０２により抽出された第２の対象物領域の高さＬＥＧ＿Ｈが、Ｈ≦ＬＥＧ＿Ｈ≦２×Ｈの関係式を満たすか否かが判定される（図５／ＳＴＥＰ１０４）。具体的には、図８（ａ）に示されているように、第１の対象物領域の高さＨに対して、胴部下端位置が脚部上端位置に一致した第１の対象物領域と第２の対象物領域の縦方向の位置関係で第２の対象物領域の高さＬＥＧ＿Ｈが対比される。
　当該判定結果が肯定的である場合（図５／ＳＴＥＰ１０４‥ＹＥＳ）、画像輝度特徴量を用いて図６のフローチャートに示す第２の対象物領域抽出処理により抽出された設定領域から第２の対象物領域の個数が抽出される（図５／ＳＴＥＰ１０６）。具体的には、前記設定領域内の垂直エッジの横方向の変化量に基づいて第２の対象物領域が存在するとしてその個数が抽出される。たとえば、図８（ｂ）に示されているように、２個の第２の対象物領域ＬＥＧ＿Ｆ（ＬＥＧ＿Ｗ＿Ｆ（前第２の対象物領域幅））およびＬＥＧ＿Ｂ（ＬＥＧ＿Ｗ＿Ｂ（後第２の対象物領域幅））が抽出される。
　そして、前記設定領域において抽出された第２の対象物領域の個数が２個以上、かつ、４個以下であるか否かが判定される（図５／ＳＴＥＰ１０８）。指定四足動物は、脚は４本であるが、前後の脚部それぞれで脚が重なり２本に見える場合があるからである。
　その後、前記設定領域から抽出された前第２の対象物領域幅（ＬＥＧ＿Ｗ＿Ｆ）と後第２の対象物領域幅（ＬＥＧ＿Ｗ＿Ｂ）とが対比される（図５／ＳＴＥＰ１１０）。
　ＬＥＧ＿Ｗ＿Ｆ≦ＬＥＧ＿Ｗ＿Ｂであると判定された場合（図５／ＳＴＥＰ１１０‥ＹＥＳ）、ＬＥＧ＿Ｗ＿Ｆ≦ＬＥＧ＿Ｗ＿Ｂ≦２×ＬＥＧ＿Ｗ＿Ｆを満たすか否かが判定される（図５／ＳＴＥＰ１１２）。
　当該判定結果が肯定的である場合（図５／ＳＴＥＰ１１２‥ＹＥＳ）、第１の対象物領域と第２の対象物領域が指定四足動物であると判定される（図５／ＳＴＥＰ１１６）。その一方、当該判定結果が否定的である場合（図５／ＳＴＥＰ１１２‥ＮＯ）、当該対象物領域は指定四足動物でないと判定される（図５／ＳＴＥＰ１１８）。
　一方、ＬＥＧ＿Ｗ＿Ｆ≦ＬＥＧ＿Ｗ＿Ｂでないと判定された場合（図５／ＳＴＥＰ１１０‥ＮＯ）、ＬＥＧ＿Ｗ＿Ｂ≦ＬＥＧ＿Ｗ＿Ｆ≦２×ＬＥＧ＿Ｗ＿Ｂを満たすか否かが判定される（図５／ＳＴＥＰ１１４）。
　当該判定結果が肯定的である場合（図５／ＳＴＥＰ１１４‥ＹＥＳ）、当該対象物領域は指定四足動物であると判定される（図５／ＳＴＥＰ１１６）。その一方、当該判定結果が否定的である場合（図５／ＳＴＥＰ１１４‥ＮＯ）、当該対象物領域は指定四足動物でないと判定される（図５／ＳＴＥＰ１１８）。
　なお、上記ＳＴＥＰ１１０～１１４は、第２の対象物領域の個数が２個のときを示したが、これに限らず、たとえば、４個のときは、いずれかの１個と他の３個の幅を対比する。または、画像上の横方向に近いものどうしを統合し、それら２個を対比してもよい。同様に３個のときも画像上の横方向に近いものを統合し、それら２個を対比してもよい。
　なお、画像処理ユニット１によりＳＴＥＰ１００を実行する構成が、本発明の対象物縦横比測定手段に、ＳＴＥＰ１０２の処理を実行する構成が、本発明の第２の対象物領域抽出手段に、対象物種別判定処理（ＳＴＥＰ１００～１１８、ＳＴＥＰ２００～２０８）の処理を実行する構成が、本発明の動物判定手段にそれぞれ相当する。
　前記機能を発揮する車両周辺監視装置によれば、第１の対象物領域の縦横比が１以上であり、第２の対象物領域が複数個抽出され、かつ、第１の対象物領域の高さに対する第２の対象物領域の高さの比が通常の指定四足動物が有する胴部の高さに対する脚部の高さ比の範囲内であるか否かに応じて、第１の対象物領域と第２の対象物領域が指定四足動物に該当するか否かが判定される（ＳＴＥＰ１００～１１８、図８（ａ）参照）。指定四足動物を横から見た場合、胴部の縦横比が１以上であり、かつ、胴部の高さと脚部の高さとの比は所定の範囲になると共に、脚部は左右または前後に複数存在することに鑑みて、前記のような判定手法により対象物が指定四足動物であるか否かを高精度に認識することができる。
　なお、本実施形態においては、画像輝度特徴量として垂直エッジを用いて高輝度領域の幅および高さを比較したが、輝度プロファイル等を抽出して輝度変化量から高輝度領域を抽出するようにしてもよい。また、対象物の実空間上での位置（図３／ＳＴＥＰ２１参照）から算出される長さを用いてもよい。
　なお、本実施形態においては、画像処理ユニット１の処理結果に基づいて、所定の通報を行うように構成されているが、該処理結果に基づいて車両挙動を制御するように構成してもよい。また、前記実施形態では、２台の赤外線カメラ２Ｒ，２Ｌを備えたが、１台の赤外線カメラを自車両１０に搭載するようにしてもよい。この場合には、対象物との距離をレーダーなどにより検出するようにする。

Claims (5)

  1. 車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
    　前記撮像画像から第１の対象物領域を抽出する第１の対象物領域抽出手段と、
    　前記第１対象物領域抽出手段により抽出された前記第１の対象物領域の下方において第２の対象物領域を抽出する第２の対象物領域抽出手段と、
    　前記第１の対象物領域抽出手段により抽出された前記第１の対象物領域の縦幅に対する横幅の比である縦横比を測定する対象物縦横比測定手段と、
    　前記対象物縦横比測定手段の測定結果が１以上であり、前記第２の対象物領域抽出手段により前記第２の対象物領域が複数個抽出され、かつ、前記第１の対象物領域抽出手段により抽出された前記第１の対象物領域の縦幅に対する前記第２の対象物領域抽出手段により抽出された前記第２の対象物領域の縦幅の比が通常の指定四足動物が有する脚部の高さに対する胴部の高さ比の範囲内であるか否かに応じて、前記第１の対象物領域と前記第２の対象物領域が指定四足動物に該当するか否かを判定する動物判定手段と
    を有することを特徴とする車両周辺監視装置。
  2. 請求項１記載の車両周辺監視装置において、
    　前記第２の対象物領域抽出手段は、前記第１の対象物領域を含む下方領域を仮設定領域とし、前記第２の対象物領域を前記仮設定領域から抽出することを特徴とする車両周辺監視装置。
  3. 請求項２記載の車両周辺監視装置において、
    　前記第２の対象物領域抽出手段は、前記第１の対象物領域の幅以上の幅を有する仮設定領域から、前記第２の対象物領域を抽出することを特徴とする車両周辺監視装置。
  4. 請求項１記載の車両周辺監視装置において、
    　前記動物判定手段は、前記複数の第２の対象物領域のうち１つの前記第２の対象物領域の幅に対する他の前記第２の対象物領域の幅の比が所定の範囲であるか否かに応じて、前記第１の対象物領域と前記第２の対象物領域が前記指定四足動物に該当するか否かを判定することを特徴とする車両周辺監視装置。
  5. 請求項１記載の車両周辺監視装置において、
    　前記動物判定手段は、前記第２の対象物領域の個数が２以上かつ４以下であるか否かに応じて、前記第１の対象物領域と前記第２の対象物領域が前記指定四足動物に該当するか否かを判定することを特徴とする車両周辺監視装置。
PCT/JP2009/002191 2008-07-15 2009-05-19 車両周辺監視装置 WO2010007718A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200980127794.5A CN102099842B (zh) 2008-07-15 2009-05-19 车辆周边监视装置
EP09797647.6A EP2312550B1 (en) 2008-07-15 2009-05-19 Vehicle periphery monitoring device
US13/003,044 US8174578B2 (en) 2008-07-15 2009-05-19 Vehicle periphery monitoring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008184180A JP4644273B2 (ja) 2008-07-15 2008-07-15 車両周辺監視装置
JP2008-184180 2008-07-15

Publications (1)

Publication Number Publication Date
WO2010007718A1 true WO2010007718A1 (ja) 2010-01-21

Family

ID=41550130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002191 WO2010007718A1 (ja) 2008-07-15 2009-05-19 車両周辺監視装置

Country Status (5)

Country Link
US (1) US8174578B2 (ja)
EP (1) EP2312550B1 (ja)
JP (1) JP4644273B2 (ja)
CN (1) CN102099842B (ja)
WO (1) WO2010007718A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2579229A1 (en) * 2010-06-07 2013-04-10 Honda Motor Co., Ltd. Vehicle surroundings monitoring device

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2711912A4 (en) * 2011-09-28 2015-04-22 Honda Motor Co Ltd BIOMETRIC DEVICE
EP2784763A4 (en) * 2011-11-25 2015-08-19 Honda Motor Co Ltd DEVICE FOR MONITORING THE SURROUNDINGS OF A VEHICLE
WO2013136827A1 (ja) * 2012-03-12 2013-09-19 本田技研工業株式会社 車両周辺監視装置
JP5502149B2 (ja) * 2012-06-29 2014-05-28 本田技研工業株式会社 車両周辺監視装置
JP5907849B2 (ja) * 2012-10-02 2016-04-26 本田技研工業株式会社 車両周辺監視装置
JP6965803B2 (ja) 2018-03-20 2021-11-10 株式会社Ｊｖｃケンウッド 認識装置、認識方法及び認識プログラム
JP7063076B2 (ja) * 2018-04-20 2022-05-09 株式会社Ｊｖｃケンウッド 認識装置、認識方法及び認識プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750825A (ja) * 1993-05-24 1995-02-21 Hideo Mori 人間動物監視システム
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2002312769A (ja) * 2001-04-16 2002-10-25 Matsushita Electric Ind Co Ltd 監視装置及びそのパラメータ設定方法
JP2004295798A (ja) * 2003-03-28 2004-10-21 Japan Best Rescue System Kk 警備システム
JP2007310705A (ja) 2006-05-19 2007-11-29 Honda Motor Co Ltd 車両周辺監視装置
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置
JP2008184180A (ja) 2007-01-29 2008-08-14 Mitsubishi Electric Corp パワー半導体装置の包装装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003096967A2 (en) * 2002-05-21 2003-11-27 Yeda Research And Development Co. Ltd. Dna vaccines encoding heat shock proteins
JP3871051B2 (ja) * 2002-12-27 2007-01-24 三菱電機株式会社 監視用画像処理装置
WO2007030680A2 (en) * 2005-09-07 2007-03-15 Rigel Pharmaceuticals, Inc. Triazole derivatives useful as axl inhibitors
JP2007188417A (ja) * 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP4970926B2 (ja) * 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置
JP4173902B2 (ja) * 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
WO2008045978A1 (en) * 2006-10-10 2008-04-17 Rigel Pharmaceuticals, Inc. Pinane-substituted pyrimidinediamine derivatives useful as axl inhibitors
US7879856B2 (en) * 2006-12-22 2011-02-01 Rigel Pharmaceuticals, Inc. Diaminothiazoles useful as Axl inhibitors
PL2114955T3 (pl) * 2006-12-29 2013-06-28 Rigel Pharmaceuticals Inc Triazole podstawione mostkowanym bicyklicznym arylem oraz mostkowanym bicyklicznym heteroarylem użyteczne jako inhibitory Axl
ES2406930T3 (es) * 2006-12-29 2013-06-10 Rigel Pharmaceuticals, Inc. Triazoles sustituidos con arilo bicíclico y heteroarilo bicíclico útiles como inhibidores de AXL
RS53281B (en) * 2006-12-29 2014-08-29 Rigel Pharmaceuticals Inc. POLYCYCLIC HETEROaryl SUBSTITUTED TRIAZOLES USED AS AXL INHIBITORS
US7935693B2 (en) * 2007-10-26 2011-05-03 Rigel Pharmaceuticals, Inc. Polycyclic aryl substituted triazoles and polycyclic heteroaryl substituted triazoles useful as Axl inhibitors
ES2537480T3 (es) * 2008-07-09 2015-06-08 Rigel Pharmaceuticals, Inc. Triazoles sustituidos con heteroarilo policíclicos útiles como inhibidores de Axl
ES2399319T3 (es) * 2008-07-09 2013-03-27 Rigel Pharmaceuticals, Inc. Triazoles sustituidos con heteroarilos bicíclicos que contienen puentes útiles como inhibidores de AXL
US8546433B2 (en) * 2009-01-16 2013-10-01 Rigel Pharmaceuticals, Inc. Axl inhibitors for use in combination therapy for preventing, treating or managing metastatic cancer

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750825A (ja) * 1993-05-24 1995-02-21 Hideo Mori 人間動物監視システム
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2002312769A (ja) * 2001-04-16 2002-10-25 Matsushita Electric Ind Co Ltd 監視装置及びそのパラメータ設定方法
JP2004295798A (ja) * 2003-03-28 2004-10-21 Japan Best Rescue System Kk 警備システム
JP2007310705A (ja) 2006-05-19 2007-11-29 Honda Motor Co Ltd 車両周辺監視装置
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置
JP2008184180A (ja) 2007-01-29 2008-08-14 Mitsubishi Electric Corp パワー半導体装置の包装装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2312550A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2579229A1 (en) * 2010-06-07 2013-04-10 Honda Motor Co., Ltd. Vehicle surroundings monitoring device
EP2579229A4 (en) * 2010-06-07 2013-12-25 Honda Motor Co Ltd DEVICE FOR MONITORING THE ENVIRONMENT OF A VEHICLE
US9030560B2 (en) 2010-06-07 2015-05-12 Honda Motor Co., Ltd. Apparatus for monitoring surroundings of a vehicle

Also Published As

Publication number Publication date
JP2010026601A (ja) 2010-02-04
EP2312550A1 (en) 2011-04-20
EP2312550A4 (en) 2011-08-17
CN102099842A (zh) 2011-06-15
US20110109739A1 (en) 2011-05-12
CN102099842B (zh) 2014-04-23
EP2312550B1 (en) 2013-07-31
JP4644273B2 (ja) 2011-03-02
US8174578B2 (en) 2012-05-08

Similar Documents

Publication Publication Date Title
JP4173901B2 (ja) 車両周辺監視装置
US8766816B2 (en) System for monitoring the area around a vehicle
JP4456086B2 (ja) 車両周辺監視装置
JP4173902B2 (ja) 車両周辺監視装置
JP4359710B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
WO2010007718A1 (ja) 車両周辺監視装置
JP4528283B2 (ja) 車両周辺監視装置
JP4171501B2 (ja) 車両の周辺監視装置
JP4377439B1 (ja) 車両周辺監視装置
US9165197B2 (en) Vehicle surroundings monitoring apparatus
US20060126899A1 (en) Vehicle surroundings monitoring apparatus
JP2007334751A (ja) 車両周辺監視装置
JP4813304B2 (ja) 車両周辺監視装置
JP5004903B2 (ja) 車両周辺監視装置
JP5004919B2 (ja) 車両周辺監視装置
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4615061B2 (ja) 車両周辺監視装置
JP5642785B2 (ja) 車両の周辺監視装置
JP5383246B2 (ja) 車両の周辺監視装置
JP5907849B2 (ja) 車両周辺監視装置
JP5026398B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980127794.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09797647

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13003044

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009797647

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE