WO2009098743A1 - 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 - Google Patents

車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 Download PDF

Info

Publication number
WO2009098743A1
WO2009098743A1 PCT/JP2008/003371 JP2008003371W WO2009098743A1 WO 2009098743 A1 WO2009098743 A1 WO 2009098743A1 JP 2008003371 W JP2008003371 W JP 2008003371W WO 2009098743 A1 WO2009098743 A1 WO 2009098743A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distance
image portion
vehicle
camera
Prior art date
Application number
PCT/JP2008/003371
Other languages
English (en)
French (fr)
Inventor
Yuji Yokochi
Nobuharu Nagaoka
Fuminori Taniguchi
Original Assignee
Honda Motor Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co., Ltd. filed Critical Honda Motor Co., Ltd.
Priority to CN200880126154.8A priority Critical patent/CN101933065B/zh
Priority to US12/812,080 priority patent/US8077204B2/en
Priority to EP08872072.7A priority patent/EP2234086B1/en
Publication of WO2009098743A1 publication Critical patent/WO2009098743A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present invention relates to a vehicle periphery monitoring device, a vehicle, a vehicle periphery monitoring program, and a vehicle periphery, which detect an object located around the vehicle from a captured image around the vehicle by a camera mounted on the vehicle, and monitor the vehicle periphery It relates to the monitoring method.
  • an object around the vehicle is detected from a captured image around the vehicle by a camera mounted on the vehicle, and a relative position and a relative speed between the object and the vehicle in a real space are calculated.
  • a vehicle periphery monitoring device that determines the possibility of contact between a vehicle and an object is known (see, for example, Japanese Patent Laid-Open No. 2001-6096).
  • the shape (area, contour line) of the image portion in the binary image obtained by binarizing the multi-valued image captured by the camera , Aspect ratio, etc.) are extracted (see, for example, Japanese Patent Application Laid-Open No. 8-313632).
  • the width between the minimum value and the maximum value of the horizontal edge coordinates and the vertical edge of the window surrounding the image portion in the binary image is calculated as the aspect ratio R, and it is determined based on the aspect ratio R whether the object in the real space corresponding to the image portion is a person. ing.
  • the image of the object is included when the image portion of the plurality of objects is included in the window.
  • the width of the portion is not calculated correctly.
  • the identification accuracy of the type of the object is deteriorated.
  • the present invention has been made in view of the above background, and is based on the shape of the contour of the image portion of the target object extracted from the captured image of the camera, and can be used to accurately identify the type of the target object.
  • An object is to provide a monitoring device, a vehicle, a vehicle periphery monitoring program, and a vehicle periphery monitoring method.
  • the present invention has been made to achieve the above object, and the vehicle periphery monitoring device of the present invention monitors the periphery of a vehicle based on a captured image of a camera that is mounted on the vehicle and captures the periphery of the vehicle.
  • the present invention relates to a vehicle periphery monitoring device.
  • distance detection means for detecting the distance between the camera and the object
  • object image extraction means for extracting a first image portion of the object from the captured image of the camera, and the captured image, Based on the assumed value of the width in a predetermined direction of the object of a specific type and the distance between the camera detected by the distance detection means and the object in real space corresponding to the first image portion, the width A filtering means for performing a filtering process with a Gabor filter in which the target edge width is set to be narrower as the assumed value is smaller and the distance is longer, and the target edge direction is set to a direction orthogonal to the predetermined direction, and the filtering process Based on the shape of the extracted second image portion, it is identified whether or not the type of the object in the real space corresponding to the second image portion is the specific type. Characterized by comprising a elephant product type identification means.
  • the vehicle of the present invention relates to a vehicle that includes a camera that captures the periphery and has a function of monitoring the periphery based on an image captured by the camera.
  • distance detection means for detecting the distance between the camera and the object
  • object image extraction means for extracting a first image portion of the object from the captured image of the camera, and the captured image, Based on the assumed value of the width in a predetermined direction of the object of a specific type and the distance between the camera detected by the distance detection means and the object in real space corresponding to the first image portion, the width A filtering means for performing a filtering process with a Gabor filter in which the target edge width is set to be narrower as the assumed value is smaller and the distance is longer, and the target edge direction is set to a direction orthogonal to the predetermined direction, and the filtering process Based on the shape of the extracted second image portion, it is identified whether or not the type of the object in the real space corresponding to the second image portion is the specific type. Characterized by comprising a elephant product type identification means.
  • the filtering means converts the distance between the camera detected by the distance detection means and the object in the real space corresponding to the first image portion, and the estimated value of the width of the object in the predetermined direction.
  • the second image portion can be extracted by emphasizing only the edge region in the direction orthogonal to the predetermined direction of the target edge width assumed to be the image portion of the specific type of object. Then, based on the shape of the second image portion extracted in this way, the type of the object in the real space corresponding to the second image portion can be accurately identified.
  • a local processing region setting unit configured to set a surrounding region of the first image portion including the first image portion as a local processing region
  • the filtering unit performs the filtering process by limiting to the local processing region.
  • the object type identifying means performs the object type identification on the real space corresponding to the second image part based on the shape of the second image part extracted by the filtering process on the local processing region. Whether the type is the specific type is identified.
  • the filtering process by performing the filtering process only on the local processing area around the first image portion set by the local processing area setting means, the amount of computation in the filtering process is reduced.
  • the second image portion can be extracted efficiently by reducing the number.
  • the specific type is a pedestrian
  • the predetermined direction is a horizontal direction
  • a direction orthogonal to the predetermined direction is a direction orthogonal to the predetermined direction
  • the object type identification means is the local processing region
  • the filtering processing has a horizontal edge width corresponding to the distance of the assumed value of the horizontal width of the pedestrian, and the edge direction is the vertical direction.
  • the second image portion is an image portion of a pedestrian's leg. It can be determined that the object type in the real space corresponding to the second image portion is a pedestrian.
  • the vehicle periphery monitoring program provides a computer having means for accessing data of a captured image of a camera that is mounted on a vehicle and captures the periphery of the vehicle, based on the captured image.
  • a program that implements a function for monitoring the vehicle, and monitors the periphery of the vehicle based on the captured image on a computer that is mounted on the vehicle and has means for accessing data of a captured image of a camera that captures the periphery of the vehicle
  • the present invention relates to a program that realizes a function to perform.
  • the computer includes distance detection means for detecting a distance between the camera and the object, object image extraction means for extracting a first image portion of the object from a captured image of the camera, and the captured image.
  • distance detection means for detecting a distance between the camera and the object
  • object image extraction means for extracting a first image portion of the object from a captured image of the camera, and the captured image.
  • Filtering means for performing a filtering process with a Gabor filter in which the target edge width is set to be narrower as the assumed value of the width is smaller and the distance is longer, and the target edge direction is set to a direction orthogonal to the predetermined direction; Based on the shape of the second image portion extracted by the filtering process, the type of the object in the real space corresponding to the second image portion is the specific type. Characterized in that to function as an object type identifying means for identifying whether Luke.
  • the above-described vehicle periphery monitoring device of the present invention and the distance detection means, the object image extraction means, the filtering means in the vehicle of the present invention, and The object type identification means can be configured.
  • the periphery of the vehicle is monitored based on the captured image by a computer mounted on the vehicle and having means for accessing data of a captured image of a camera that captures the periphery of the vehicle. It relates to the method of monitoring.
  • the computer assumes an estimated value of the width in a predetermined direction of the object of a specific type with respect to the captured image, and the real space corresponding to the camera and the first image portion detected by the distance detection step. Based on the distance to the target part, the smaller the assumed value of the width and the longer the distance, the narrower the target edge width, and the Gabor filter in which the target edge direction is set to a direction orthogonal to the predetermined direction.
  • the size of the image portion of the object in the captured image of the camera becomes smaller as the object becomes smaller, and becomes smaller as the distance between the camera and the object becomes longer. Therefore, by the filtering step, the distance between the camera detected by the distance detection step and the object in the real space corresponding to the first image portion, and the estimated value of the width of the object in the predetermined direction.
  • the second image portion can be extracted by emphasizing only an edge region in a direction orthogonal to the predetermined direction of the target edge width assumed to be an image portion of the specific type of object. Then, in the object type identification step, the type of the object in the real space corresponding to the second image part is accurately identified based on the shape of the second image part extracted in this way. can do.
  • the block diagram of the vehicle periphery monitoring apparatus of this invention Explanatory drawing of the attachment aspect to the vehicle of the vehicle periphery monitoring apparatus shown in FIG.
  • Explanatory drawing of the filtering process by a Gabor filter Explanatory drawing of the filtering process by a Gabor filter.
  • variety of a target object Explanatory drawing of the object edge width
  • FIG. 1 is a configuration diagram of a vehicle periphery monitoring device according to the present invention.
  • the vehicle periphery monitoring device according to the present invention includes an image processing unit 1 and an infrared camera (corresponding to the camera according to the present invention) 2R capable of detecting far infrared rays. 2L, a yaw rate sensor 3 for detecting the yaw rate of the vehicle, a vehicle speed sensor 4 for detecting the traveling speed of the vehicle, a speaker 6 for giving a warning by voice, and a display for making the driver visually recognize the object.
  • a head-up display (hereinafter referred to as HUD) 7 and a millimeter wave radar device 8 for detecting the distance between the cameras 2R and 2L and the object are provided.
  • HUD head-up display
  • millimeter wave radar device 8 for detecting the distance between the cameras 2R and 2L and the object are provided.
  • the infrared cameras 2 ⁇ / b> R and 2 ⁇ / b> L are disposed in a front portion of the vehicle 10 at a substantially target position with respect to a center portion of the vehicle 10 in the vehicle width direction.
  • the infrared cameras 2R and 2L are fixed with their optical axes parallel to each other and with the same height from the road surface.
  • the infrared cameras 2R and 2L have a characteristic that the output level increases (the luminance increases) as the temperature of the imaged object increases.
  • the display device 7 is provided so that the screen 7 a is displayed at a front position on the driver side of the front window of the vehicle 10.
  • the millimeter wave radar device 8 is attached to the upper side of the infrared cameras 2R and 2L at the front of the vehicle 10.
  • the millimeter wave radar device 8 transmits a millimeter wave beam in front of the vehicle 10, and receives a reflected wave of this millimeter wave (a millimeter wave reflected by an object existing in front of the vehicle 10).
  • the beam scanning range of the millimeter wave radar device 8 is set so as to include the imaging ranges (viewing angle ranges) of the infrared cameras 2R and 2L.
  • the millimeter wave radar device 8 detects an object existing in the beam transmission direction based on a reflected wave having a predetermined intensity or more among the received reflections. Further, the millimeter wave radar device 8 detects the distance between the object that reflects the millimeter wave and the cameras 2R and 2L based on the time difference between the transmission wave and the reception wave.
  • an image processing unit 1 is an electronic unit composed of a microcomputer (not shown, corresponding to the computer of the present invention) and the like, and analog video signals output from infrared cameras 2R and 2L. Is converted into digital data, captured in an image memory (not shown), and an image in front of the vehicle captured in the image memory via an interface circuit (not shown, corresponding to means for accessing the captured image of the present invention).
  • the microcomputer has a function of performing various arithmetic processes.
  • the microcomputer can detect the object in the real space corresponding to the image portion included in the captured images of the cameras 2R and 2L and the camera 2R, Distance detection means 20 for detecting a distance (real space distance) from 2L, object image extraction means 21 for extracting an image portion of the object from the image captured by the camera 2R, and local processing of the surrounding area including the image portion of the object Local processing region setting means 22 set as a region, filtering means 23 for performing filtering processing by a Gabor filter on the local processing region, and an object in the real space corresponding to the image portion extracted by the filtering processing It functions as the object type identification means 24 for identifying the type.
  • each step of the vehicle periphery monitoring method of the present invention is executed by the microcomputer.
  • the image processing unit 1 inputs an analog signal of an infrared image around the vehicle output from the infrared cameras 2R and 2L, and digitizes the analog signal by A / D (analog / digital) conversion (gray scale).
  • the image is stored in an image memory (not shown).
  • the image processing unit 1 performs processing for identifying the type of the object in the real space corresponding to the image portion included in the right image.
  • this process will be described with reference to the flowchart shown in FIG.
  • the distance detection means 20 detects the distance Z between the object around the vehicle and the cameras 2R and 2L based on the distance measurement data output from the millimeter wave radar device 8.
  • the process of detecting the distance Z between the object and the cameras 2R and 2L by the distance detecting means 20 corresponds to the distance detecting step in the vehicle periphery monitoring method of the present invention.
  • the next STEP 2 is processing by the object image extracting means 21 and the local processing area setting means 22.
  • the object image extraction unit 21 performs binarization processing using the right image as a reference image (pixels having a luminance equal to or higher than a predetermined binarization threshold are set to “1 (white)”, and the luminance is smaller than the binarization threshold. To “0 (black)” to generate a binary image.
  • the object image extraction means 21 is a high-luminance (white area) image portion included in the binary image, and the distance detection means 20 detects the distance of the corresponding object in real space in STEP 1. Are extracted as the first image portion of the object.
  • the process which extracts the 1st image part of a target object by the target object image extraction means 21 is corresponded to the target object extraction step in the vehicle periphery monitoring method of this invention.
  • region setting means 22 sets the local process area
  • region 54 which makes a pedestrian an identification object is set also about the 1st image part 53 of another target object.
  • the local processing region setting means 22 assumes the pedestrian's assumed height GH (for example, 170 cm, corresponding to the assumed size of the object of the present invention in real space) and the pedestrian's width. Based on the value GW (for example, 60 cm, corresponding to an assumed value of the size of the object of the present invention in real space) and the distance Z between the object and the infrared cameras 2R, 2L, the following formula (1), The height gh and the width gw of the local processing regions 52 and 54 are calculated by the equation (2).
  • f focal length of the infrared cameras 2R, 2L
  • p pixel spacing of the image sensors of the infrared cameras 2R, 2L
  • GH assumed height of the pedestrian
  • GW assumed width of the pedestrian
  • Z infrared The distance between the cameras 2R and 2L and the object.
  • the local processing regions 52 and 54 can be set in the vicinity range including the portion.
  • variety gw is expanded.
  • the filtering means 23 first sets a Gabor filter having a target edge width and a target edge direction according to the distance Z between the target object and the cameras 2R and 2L, with a pedestrian as an identification target.
  • the Gabor filter is a filter resembling the characteristics of a human receptive field, and extracts an edge (contour line) having a specific width in a specific direction.
  • the right image 50 includes a pedestrian image portion 51 whose distance Z to the infrared cameras 2R and 2L is a short distance and a pedestrian image portion 53 whose distance is a long distance.
  • the Gabor filter 60 is set with the estimated width w1 of the image portion of the pedestrian located at a short distance as the target edge width and the vertical direction (the height direction of the pedestrian) as the target edge direction.
  • an image part 56 in which the vertical edge of the image part 51 of the short distance pedestrian is emphasized is generated in the image 55 after the filtering process. Further, with respect to the image portion 53 of a long-distance pedestrian, an image portion 57 having a blurred vertical edge is generated.
  • FIG. 5 shows a filtering process by the Gabor filter 61 with the assumed value W2 of the width of the image portion of the pedestrian located at a long distance as the target edge width and the vertical direction as the target direction with respect to the captured image 50.
  • the case where is executed is shown.
  • an image portion 72 in which the vertical edge of the image portion 53 of a long-distance pedestrian is emphasized is generated.
  • an image portion 71 with a vertical edge blurred is generated in the image portion 51 of a pedestrian at a short distance.
  • the Gabor filter in which the target edge width is set according to the distance Z between the infrared cameras 2R and 2L and the target object, only the image portion of the pedestrian separated by a specific distance is obtained.
  • the vertical edge can be emphasized.
  • the filtering means 23 uses the estimated value Wp of the pedestrian width (for example, 50 cm, Wp data is stored in the memory in advance) corresponding to the image portion.
  • the target edge width Wt is determined by the following equation (3) based on the distance Z between the object in space and the cameras 2R and 2L.
  • Wt target edge width of Gabor filter
  • f focal length of infrared cameras 2R and 2L
  • p pixel interval of image sensors of infrared cameras 2R and 2L
  • Wp assumed value of pedestrian width
  • Z target object And the distance between the infrared cameras 2R and 2L.
  • the target edge width Wt of the Gabor filter may be calculated by replacing Wp in 3) with Wc.
  • the filtering means 23 performs a filtering process on the local processing region by using a Gabor filter whose target edge direction is set in this way and whose target edge direction is the vertical direction.
  • the process which performs filtering by a Gabor filter by the filtering means 23 is corresponded to the filtering step in the vehicle periphery monitoring method of this invention.
  • Subsequent STEP 5 to STEP 6 are processes by the object type identification means 24.
  • the object type identification unit 24 performs binarization processing on the image of the local processing region after the filtering processing by the Gabor filter is executed.
  • FIG. 7 shows a pedestrian image part 91 whose distance Z to the cameras 2R and 2L is a short distance, a pedestrian image part 92 whose distance Z to the cameras 2R and 2L is a medium distance, and cameras 2R and 2L.
  • the binary image 100 is a binary image binarized after filtering the right image 90 with a long-distance Gabor filter corresponding to the image portion 93, and a vertical edge corresponding to the image portion 93.
  • a white region 101 having “” is extracted.
  • the binary image 110 is a binary image that is binarized after filtering the right image 90 with a Gabor filter for medium distance according to the image portion 92, and corresponds to the image portion 92.
  • a white region 111 having a vertical edge is extracted.
  • the binary image 120 is a binary image that is binarized after performing filtering processing on the right image 90 using a Gabor filter for short distance according to the image portion 91, and corresponds to the image portion 91.
  • a white region 121 having a vertical edge is extracted.
  • the object type identification means 25 determines that the object in the real space corresponding to the white area is a pedestrian from the shape of the white area having the vertical edge extracted by the binarization process of STEP 5. Or not.
  • the object type identification means 25 is configured such that the lower end of the white area 131 included in the local processing area 130 is located in the lower half area 132 of the local processing area 130 (an image of a pedestrian's leg). It is assumed that the type of the object in the real space corresponding to the white area 131 is a pedestrian.
  • the object type identifying means 25 identifies the type of the object in the real space corresponding to the image part based on the shape of the image part (second image part) extracted by the filtering process using the Gabor filter.
  • the process to perform corresponds to the object type identification step in the vehicle periphery monitoring method of the present invention.
  • Whether or not the pedestrian is a pedestrian based on the shape of the white region 131 is determined based on other criteria, for example, the vertical width (height) of the white region 131, the horizontal width, and the local processing region 130.
  • the ratio may be based on the ratio of the height of the white region 131 to the height gh of the white space 131.
  • the image processing unit 1 alerts the driver by outputting sound from the speaker 6 and displaying on the HUD 7.
  • the surrounding region of the image part of the target object is a local processing region, and filtering processing by the Gabor filter and binarization processing after the filtering processing are performed only in the local region. You may make it perform the filtering process by a Gabor filter, and the binarization process after a filtering process about the whole range of a captured image, without setting an area
  • the millimeter wave radar device 8 is used to detect the distance between the object and the cameras 2R and 2L, but other types of distance measuring devices such as a laser radar may be used.
  • the distance between the object and the infrared cameras 2R and 2L in the real space is detected based on the horizontal shift (parallax) of the image portion of the same object by the two infrared cameras 2R and 2L. Also good.
  • the vehicle speed VCAR detected by the vehicle speed sensor 4 and the yaw rate YR detected by the yaw rate sensor 3 are read, and the turning angle of the vehicle 10 is calculated by integrating the yaw rate YR over time.
  • the spatial position (the coordinate values of X, Y, and Z in FIG. 2) may be corrected.
  • the distance between the object and the cameras 2R and 2L may be detected from the change in the size of the image portion of the same object in the captured images at different times by one camera.
  • the configuration in which the front of the vehicle is imaged is shown.
  • the configuration may be such that the surroundings of the vehicle are monitored by imaging other directions such as the rear and side of the vehicle.
  • the infrared cameras 2R and 2L are used as the camera of the present invention, but a visible camera that captures a visible image may be used.
  • two infrared cameras 2R and 2L are used as the camera of the present invention, but one camera may be used.
  • the vehicle periphery monitoring device As described above, according to the vehicle periphery monitoring device, the vehicle, the vehicle periphery monitoring program, and the vehicle periphery monitoring method of the present invention, based on the shape of the outline of the image portion of the object extracted from the captured image of the camera. Since the type of the object can be accurately identified, it is useful for monitoring the periphery of the vehicle.

Abstract

　カメラ２Ｒ，２Ｌと対象物との距離を検出する距離検出手段２０と、カメラ２Ｒの撮像画像から対象物の第１の画像部分を抽出する対象物画像抽出手段２１と、前記撮像画像に対して、歩行者の水平方向の幅の想定値とカメラ２Ｒと前記第１の画像部分に対応する対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を垂直方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段２３と、前記フィルタリング処理により抽出された画像部分の形状に基いて、該画像部分に対応する実空間上の対象物が歩行者であるか否かを識別する対象物種別識別手段２４とを備える。これにより、カメラの撮像画像から抽出した対象物の画像部分の輪郭線の形状に基いて、対象物の種別を精度良く識別することができる。

Description

車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
　本発明は、車両に搭載されたカメラによる車両周辺の撮像画像から、車両周辺に所在する対象物を検出して車両周辺を監視する車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法に関する。
　従来より、車両に搭載されたカメラによる車両周辺の撮像画像から、車両周辺の対象物を検出し、実空間における該対象物と車両との相対位置と相対速度を算出して、所定時間内における車両と対象物との接触可能性を判断する車両周辺監視装置が知られている（例えば、特開２００１－６０９６号公報参照）。
　また、対象物の種別（人、車両、大型動物等）を識別するために、カメラにより撮像された多値画像を２値化した２値画像中の画像部分について、その形状（面積、輪郭線、縦横比等）を抽出する処理が行われている（例えば、特開平８－３１３６３２号公報参照）。
　ここで、特開平８－３１３６３２号公報に記載された装置においては、２値画像中の画像部分を囲むウィンドウについて、水平方向のエッジ座標の最小値と最大値間の幅と、垂直方向のエッジ座標の最小値と最大値間の幅との比を縦横比Ｒとして算出し、該縦横比Ｒに基いて該画像部分に対応する実空間上の対象物が人であるか否かを判断している。
　しかし、このようにエッジ間の幅に基いて、対象物が人であるか否かを判断する場合、前記ウィンドウ内に複数の対象物の画像部分が含まれていたときに、対象物の画像部分の幅が正しく算出されないという不都合がある。そして、その結果、対象物の種別の識別精度が悪くなるという不都合がある。
　本発明は上記背景を鑑みてなされたものであり、カメラの撮像画像から抽出した対象物の画像部分の輪郭線の形状に基いて、該対象物の種別を精度良く識別することができる車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法を提供することを目的とする。
　本発明は上記目的を達成するためになされたものであり、本発明の車両周囲監視装置は、車両に搭載されて該車両の周辺を撮像するカメラの撮像画像に基いて、車両周辺を監視する車両周辺監視装置に関する。
　そして、前記カメラと対象物との距離を検出する距離検出手段と、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする。
　また、本発明の車両は、周辺を撮像するカメラを備え、該カメラの撮像画像に基いて周辺を監視する機能を有する車両に関する。
　そして、前記カメラと対象物との距離を検出する距離検出手段と、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする。
　かかる本発明の車両周辺監視装置及び車両において、前記カメラの撮像画像における対象物の画像部分の大きさは、対象物が小さいほど小さくなり、また、前記カメラと対象物との距離が長くなるに従って小さくなる。そのため、前記フィルタリング手段によって、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離と、対象物の前記所定方向の幅の想定値とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうことによって、前記特定種別の対象物の画像部分であると想定される前記対象エッジ幅の前記所定方向と直交する方向のエッジ領域のみを強調して、前記第２の画像部分を抽出することができる。そして、このようにして抽出した前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別を精度良く識別することができる。
　また、前記特定種別の対象物の大きさの想定値と、前記距離検出手段により検出した前記第１の画像部分に対応する実空間上の対象物と前記カメラとの距離とに基いて、前記第１の画像部分を含む前記第１の画像部分の周囲範囲を、局所処理領域として設定する局所処理領域設定手段を備え、前記フィルタリング手段は、前記局所処理領域に限定して、前記フィルタリング処理を行ない、前記対象物種別識別手段は、前記局所処理領域に対する前記フィルタリング処理によって抽出された前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別することを特徴とする。
　かかる本発明によれば、前記局所処理領域設定手段により設定された前記第１の画像部分の周囲の前記局所処理領域に限定して、前記フィルタリング処理を行うことにより、前記フィルタリング処理における演算量を減少させて、効率良く前記第２の画像部分を抽出することができる。
　また、前記特定種別は歩行者であり、前記所定方向は水平方向であり、前記所定方向と直交する方向は前記所定方向と直交する方向であり、前記対象物種別識別手段は、前記局所処理領域において、前記フィルタリング処理により抽出された前記第２の画像部分の下端が、前記局所処理領域の下半分の領域に含まれるときに、前記第２の画像部分に対応する実空間上の対象物の種別が歩行者であると識別することを特徴とする。
　かかる本発明によれば、前記カメラの撮像画像から、前記フィルタリング処理によって、歩行者の水平方向の幅の想定値の距離に応じた水平方向のエッジ幅を有し、エッジ方向が垂直方向である前記第２の画像部分を抽出したときに、前記第２の画像部分の下端が前記局所処理領域の下半分の領域に含まれるときには、前記第２の画像部分は歩行者の脚の画像部分を有していると判断して、前記第２の画像部分に対応する実空間上の対象物の種別が歩行者であると識別することができる。
　次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムであって車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムに関する。
　そして、前記コンピュータを、前記カメラと対象物との距離を検出する距離検出手段と、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段として機能させることを特徴とする。
　かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置及び本発明の車両における前記距離検出手段、前記対象物画像抽出手段、前記フィルタリング手段、及び前記対象物種別識別手段を構成することができる。
　次に、本発明の車両周辺監視方法は、車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータにより、該撮像画像に基いて該車両の周辺を監視する方法に関する。
　そして、前記コンピュータが、前記カメラと対象物との距離を検出する距離検出ステップと、前記コンピュータが、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出ステップと、前記コンピュータが、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出ステップにより検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリングステップと、前記コンピュータが、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別ステップとを含むことを特徴とする。
　かかる本発明において、前記カメラの撮像画像における対象物の画像部分の大きさは、対象物が小さいほど小さくなり、また、前記カメラと対象物との距離が長くなるに従って小さくなる。そのため、前記フィルタリングステップによって、前記距離検出ステップにより検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離と、対象物の前記所定方向の幅の想定値とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうことによって、前記特定種別の対象物の画像部分であると想定される前記対象エッジ幅の前記所定方向と直交する方向のエッジ領域のみを強調して前記第２の画像部分を抽出することができる。そして、前記対象物種別識別ステップにより、このようにして抽出された前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別を精度良く識別することができる。
本発明の車両周辺監視装置の構成図。 図１に示した車両周辺監視装置の車両への取り付け態様の説明図。 図１に示した画像処理ユニットにおける対象物種別の識別処理のフローチャート。 ガボールフィルタによるフィルタリング処理の説明図。 ガボールフィルタによるフィルタリング処理の説明図。 対象物の幅の想定値の説明図。 対象物との距離に応じたガボールフィルタの対象エッジ幅設定の説明図。 歩行者の識別方法及び画像部分の幅設定の説明図。
　本発明の実施の形態について、図１～図８を参照して説明する。図１は本発明の車両周辺監視装置の構成図であり、本発明の車両周辺監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）２Ｒ，２Ｌと、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、音声により警報を行うためのスピーカ６と、対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７と、カメラ２Ｒ，２Ｌと対象物との距離を検出するミリ波レーダ装置８とを備えている。
　図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置されている。また、赤外線カメラ２Ｒ，２Ｌは、光軸を互いに平行とすると共に、路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高いほど出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
　また、ミリ波レーダ装置８は、車両１０の前部の赤外線カメラ２Ｒ，２Ｌの上側に取り付けられている。ミリ波レーダー装置８は、ミリ波のビームを車両１０の前方に送信し、このミリ波の反射波（車両１０の前方に存在する物体で反射したミリ波）を受信する。ミリ波レーダー装置８のビームの走査範囲は、赤外線カメラ２Ｒ，２Ｌの撮像範囲（視野角の範囲）を含むように設定されている。
　ミリ波レーダー装置８は、受信した反射のうちの所定強度以上の反射波に基いて、ビームの送信方向に存在する対象物を検出する。また、ミリ波レーダー装置８は、送信波と受信波との時間差に基いて、ミリ波を反射した対象物とカメラ２Ｒ，２Ｌとの距離を検出する。
　図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない、本発明のコンピュータに相当する）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、インターフェース回路（図示しない、本発明の撮像画像にアクセスする手段に相当する）を介して、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
　そして、前記マイクロコンピュータに、本発明の車両監視用プログラムを実行させることによって、前記マイクロコンピュータが、カメラ２Ｒ，２Ｌの撮像画像に含まれる画像部分に対応する実空間上の対象物とカメラ２Ｒ，２Ｌとの距離（実空間距離）を検出する距離検出手段２０、カメラ２Ｒの撮像画像から対象物の画像部分を抽出する対象物画像抽出手段２１、対象物の画像部分を含む周囲領域を局所処理領域として設定する局所処理領域設定手段２２、該局所処理領域に対してガボールフィルタによるフィルタリング処理を実行するフィルタリング手段２３、及び該フィルタリング処理により抽出された画像部分に対応する実空間上の対象物の種別を識別する対象物種別識別手段２４として機能する。
　また、前記マイクロコンピュータにより、本発明の車両周辺監視方法の各ステップが実行される。
　画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌから出力される車両周辺の赤外線画像のアナログ信号を入力し、該アナログ信号をＡ／Ｄ（アナログ／デジタル）変換によりデジタル化した多値（グレースケール）画像を画像メモリ（図示しない）に格納する。
　そして、画像処理ユニット１は、右画像に含まれる画像部分に対応する実空間上の対象物の種別を識別する処理を行う。以下、図３に示したフローチャートに従って、この処理について説明する。
　図３のＳＴＥＰ１は距離検出手段２０による処理である。距離検出手段２０は、ミリ波レーダ装置８から出力される走査箇所の測距データに基いて、車両周囲の対象物とカメラ２Ｒ，２Ｌとの距離Ｚを検出する。なお、距離検出手段２０により対象物とカメラ２Ｒ，２Ｌとの距離Ｚを検出する処理は、本発明の車両周辺監視方法における距離検出ステップに相当する。
　次のＳＴＥＰ２は対象物画像抽出手段２１及び局所処理領域設定手段２２による処理である。対象物画像抽出手段２１は、右画像を基準画像として２値化処理（輝度が所定の２値化閾値以上の画素を「１（白）」とし、輝度が該２値化閾値よりも小さい画素を「０（黒）」とする処理）を行なって２値画像を生成する。そして、対象物画像抽出手段２１は、２値画像に含まれる高輝度（白領域）の画像部分であって、対応する実空間上の対象物について、ＳＴＥＰ１で距離検出手段２０により距離が検出されたものを、対象物の第１の画像部分として抽出する。
　なお、対象物画像抽出手段２１により対象物の第１の画像部分を抽出する処理は、本発明の車両周辺監視方法における対象物抽出ステップに相当する。
　そして、局所処理領域設定手段２２は、図４を参照して、右画像５０から抽出した対象物の第１の画像部分５１に対して、歩行者を識別対象とする局所処理領域５２を設定する。また、他の対象物の第１の画像部分５３に対しても、歩行者を識別対象とする局所処理領域５４を設定する。
　具体的には、局所処理領域設定手段２２は、歩行者の身長の想定値ＧH（例えば１７０cm、本発明の対象物の実空間における大きさの想定値に相当する）及び歩行者の幅の想定値ＧW（例えば６０cm、本発明の対象物の実空間における大きさの想定値に相当する）と、対象物と赤外線カメラ２Ｒ，２Ｌとの距離Ｚとに基いて、以下の式（１），式（２）により、局所処理領域５２，５４の高さｇhと幅ｇwとを算出する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　但し、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの撮像素子の画素間隔、ＧH：歩行者の身長の想定値、ＧW：歩行者の幅の想定値、Ｚ：赤外線カメラ２Ｒ，２Ｌと対象物との距離。
　このようにして、局所処理領域５２，５４の高さｇhと幅ｇwを決定することにより、第１の画像部分５１，５３が歩行者の画像部分であったならば、歩行者の全体の画像部分が含まれる近傍の範囲で、局所処理領域５２，５４を設定することができる。なお、局所処理領域５４については、歩行者が並んでいるので幅ｇwが広げられている。
　続くＳＴＥＰ３～ＳＴＥＰ４は、フィルタリング手段２３による処理である。フィルタリング手段２３は、先ず、歩行者を識別対象として、対象物とカメラ２Ｒ，２Ｌとの距離Ｚに応じた対象エッジ幅と対象エッジ方向を有するガボールフィルタを設定する。
　ここで、ガボールフィルタは、人間の受容野の特性に似せたフィルタであり、特定方向の特定幅のエッジ（輪郭線）を抽出するものである。例えば、図４に示したように、右画像５０に、赤外線カメラ２Ｒ，２Ｌとの距離Ｚが近距離である歩行者の画像部分５１と遠距離である歩行者の画像部分５３とが含まれるときに、近距離に所在する歩行者の画像部分の幅の想定値ｗ1を対象エッジ幅とすると共に、垂直方向（歩行者の身長方向）を対象エッジ方向とするガボールフィルタ６０を設定する。
　そして、右画像５０に対して、ガボールフィルタ６０によるフィルタリング処理を実行すると、フィルタリング処理後の画像５５においては、近距離の歩行者の画像部分５１の縦エッジが強調された画像部分５６が生じる。また、遠距離の歩行者の画像部分５３については、縦エッジがぼけている画像部分５７が生じる。
　また、図５は、撮像画像５０に対して、遠距離に所在する歩行者の画像部分の幅の想定値Ｗ2を対象エッジ幅とすると共に、垂直方向を対象方向とするガボールフィルタ６１によるフィルタリング処理を実行した場合を示している。この場合は、フィルタリング処理後の画像７０において、遠距離の歩行者の画像部分５３の縦エッジが強調された画像部分７２が生じている。また、近距離の歩行者の画像部分５１については、縦エッジがぼけた画像部分７１が生じている。
　このように、赤外線カメラ２Ｒ，２Ｌと対象物との距離Ｚに応じて対象エッジ幅を設定したガボールフィルタによるフィルタリング処理を実行することにより、特定の距離だけ離れた歩行者の画像部分のみについて、縦方向エッジを強調することができる。
　そこで、フィルタリング手段２３は、図６（ａ）に示したように、歩行者の幅の想定値Ｗp（例えば５０cm、Ｗpのデータは予めメモリに保持されている）を、画像部分に対応する実空間上の対象物とカメラ２Ｒ，２Ｌとの距離Ｚとによって、以下の式（３）により対象エッジ幅Ｗtを決定する。
Figure JPOXMLDOC01-appb-M000003
　但し、Ｗt：ガボールフィルタの対象エッジ幅、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの撮像素子の画素間隔、Ｗp：歩行者の幅の想定値、Ｚ：対象物と赤外線カメラ２Ｒ，２Ｌとの距離。
　なお、対象物の種別が車両であるか否かを識別するときには、図６（ｂ）に示した車幅の想定値Ｗcと、対象物とカメラ２Ｒ，２Ｌとの距離Ｚにより、上記式（３）のＷpをＷcに置き換えてガボールフィルタの対象エッジ幅Ｗtを算出すればよい。
　次のＳＴＥＰ４で、フィルタリング手段２３は、このようにして対象エッジ幅を設定した、対象エッジ方向を垂直方向とするガボールフィルタにより、局所処理領域に対するフィルタリング処理を行う。なお、フィルタリング手段２３によりガボールフィルタによるフィルタリングを実行する処理は、本発明の車両周辺監視方法におけるフィルタリングステップに相当する。
　続くＳＴＥＰ５～ＳＴＥＰ６は対象物種別識別手段２４による処理である。対象物種別識別手段２４は、ガボールフィルタによるフィルタリング処理が実行された後の局所処理領域の画像に対して、２値化処理を行う。図７は、カメラ２Ｒ，２Ｌとの距離Ｚが近距離である歩行者の画像部分９１と、カメラ２Ｒ，２Ｌとの距離Ｚが中距離である歩行者の画像部分９２と、カメラ２Ｒ，２Ｌとの距離Ｚが遠距離である歩行者の画像部分９３とを含む画像９０に対して、ガボールフィルタによるフィルタリング処理を実行して、２値化処理を行ったときの２値画像１００，１１０，１２０（本発明の第２の画像部分に相当する）を示している。
　２値画像１００は、右画像９０に対して、画像部分９３に応じた遠距離用のガボールフィルタによるフィルタリング処理を行った後に２値化した２値画像であり、画像部分９３に対応する縦エッジを有する白領域１０１が抽出されている。また、２値画像１１０は、右画像９０に対して、画像部分９２に応じた中距離用のガボールフィルタによるフィルタリング処理を行った後２値化した２値画像であり、画像部分９２に対応する縦エッジを有する白領域１１１が抽出されている。
　また、２値画像１２０は、右画像９０に対して、画像部分９１に応じた近距離用のガボールフィルタによるフィルタリング処理を行った後に２値化した２値画像であり、画像部分９１に対応する縦エッジを有する白領域１２１が抽出されている。このように、対象物の距離Ｚに応じたガボールフィルタによるフィルタリング処理を実行した後の画像を２値化することにより、対象物のエッジ形状を明確に抽出することができる。
　次のＳＴＥＰ６で、対象物種別識別手段２５は、ＳＴＥＰ５の２値化処理により抽出された縦エッジを有する白領域の形状から、該白領域に対応する実空間上の対象物が歩行者であるか否かを識別する。
　図８を参照して、対象物種別識別手段２５は、局所処理領域１３０に含まれる白領域１３１の下端が、局所処理領域１３０の下半分の領域１３２に所在するとき（歩行者の脚の画像部分が抽出されたと想定される）に、白領域１３１に対応する実空間上の対象物の種別が歩行者であると識別する。
　なお、対象物種別識別手段２５により、ガボールフィルタによるフィルタリング処理によって抽出された画像部分（第２の画像部分）の形状に基いて、該画像部分に対応する実空間上の対象物の種別を識別する処理は、本発明の車両周辺監視方法における対象物種別識別ステップに相当する。
　なお、白領域１３１の形状に基く歩行者であるか否かの識別は、他の基準により、例えば、白領域１３１の垂直方向の幅（高さ）や、水平方向の幅、局所処理領域１３０の高さｇhに対する白領域１３１の高さの割合等を基準として、行なうようにしてもよい。
　画像処理ユニット１は、対象物種別識別手段２４により、対象物の種別が歩行者であると識別されたときには、スピーカ６からの音声出力及びＨＵＤ７への表示により、運転者に対する注意喚起を行なう。
　なお、本実施の形態においては、対象物の画像部分の周囲領域を局所処理領域とし、該局所領域に限定してガボールフィルタによるフィルタリング処理とフィルタリング処理後の２値化処理を行ったが、局所領域を設定せずに撮像画像の全範囲についてガボールフィルタによるフィルタリング処理とフィルタリング処理後の２値化処理を行うようにしてもよい。
　また、本実施の形態では、ミリ波レーダ装置８を用いて対象物とカメラ２Ｒ，２Ｌとの距離を検出したが、レーザーレーダ等の他の種類の測距装置を用いてもよい。或いは、２台の赤外線カメラ２Ｒ，２Ｌによる同一の対象物の画像部分の水平方向のずれ（視差）に基いて、実空間における対象物と赤外線カメラ２Ｒ，２Ｌとの距離を検出するようにしてもよい。この場合には、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込んで、ヨーレートＹRを時間積分することにより車両１０の回頭角を算出し、回頭角補正により実空間位置（図２のＸ，Ｙ，Ｚの座標値）の補正を行なってもよい。
　また、１台のカメラによる異なる時点の撮像画像中の同一対象物の画像部分のサイズの変化から、対象物とカメラ２Ｒ，２Ｌとの距離を検出するようにしてもよい。
　また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して車両の周辺を監視する構成としてもよい。
　また、本実施の形態においては、本発明のカメラとして赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。
　また、本実施の形態では、本発明のカメラとして２台の赤外線カメラ２Ｒ，２Ｌを用いたが、１台のカメラを用いるようにしてもよい。
　以上のように、本発明の車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法によれば、カメラの撮像画像から抽出した対象物の画像部分の輪郭線の形状に基いて、対象物の種別を精度良く識別することができるから、車両周辺の監視を行うために有用である。

Claims (6)

  1. 　車両に搭載されて該車両の周辺を撮像するカメラの撮像画像に基いて、車両周辺を監視する車両周辺監視装置において、
    　前記カメラと対象物との距離を検出する距離検出手段と、
    　前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、
    　前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、
    　前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする車両周辺監視装置。
  2. 　前記特定種別の対象物の大きさの想定値と、前記距離検出手段により検出した前記第１の画像部分に対応する実空間上の対象物と前記カメラとの距離とに基いて、前記第１の画像部分を含む前記第１の画像部分の周囲範囲を、局所処理領域として設定する局所処理領域設定手段を備え、
    　前記フィルタリング手段は、前記局所処理領域に限定して、前記フィルタリング処理を行ない、
    　前記対象物種別識別手段は、前記局所処理領域に対する前記フィルタリング処理によって抽出された前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別することを特徴とする請求項１記載の車両周辺監視装置。
  3. 　前記特定種別は歩行者であり、
    　前記所定方向は水平方向であり、
    　前記所定方向と直交する方向は前記所定方向と直交する方向であり、
    　前記対象物種別識別手段は、前記局所処理領域において、前記フィルタリング処理により抽出された前記第２の画像部分の下端が、前記局所処理領域の下半分の領域に含まれるときに、前記第２の画像部分に対応する実空間上の対象物の種別が歩行者であると識別することを特徴とする請求項２記載の車両周辺監視装置。
  4. 　周辺を撮像するカメラを備え、該カメラの撮像画像に基いて周辺を監視する機能を有する車両において、
    　前記カメラと対象物との距離を検出する距離検出手段と、
    　前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、
    　前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、
    　前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする車両。
  5. 　車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムであって、該コンピュータを、
    　前記カメラと対象物との距離を検出する距離検出手段と、
    　前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、
    　前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、
    　前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段として機能させることを特徴とする車両周辺監視用プログラム。
  6. 　車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータにより、該撮像画像に基いて該車両の周辺を監視する方法であって、
    　前記コンピュータが、前記カメラと対象物との距離を検出する距離検出ステップと、
    　前記コンピュータが、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出ステップと、
    　前記コンピュータが、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出ステップにより検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリングステップと、
    　前記コンピュータが、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別ステップとを含むことを特徴とする車両周辺監視方法。
PCT/JP2008/003371 2008-02-04 2008-11-18 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 WO2009098743A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200880126154.8A CN101933065B (zh) 2008-02-04 2008-11-18 车辆周围监测装置、车辆及车辆周围监测方法
US12/812,080 US8077204B2 (en) 2008-02-04 2008-11-18 Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
EP08872072.7A EP2234086B1 (en) 2008-02-04 2008-11-18 Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008024402A JP4359710B2 (ja) 2008-02-04 2008-02-04 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2008-024402 2008-02-04

Publications (1)

Publication Number Publication Date
WO2009098743A1 true WO2009098743A1 (ja) 2009-08-13

Family

ID=40951831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/003371 WO2009098743A1 (ja) 2008-02-04 2008-11-18 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法

Country Status (5)

Country Link
US (1) US8077204B2 (ja)
EP (1) EP2234086B1 (ja)
JP (1) JP4359710B2 (ja)
CN (1) CN101933065B (ja)
WO (1) WO2009098743A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985958A (zh) * 2010-08-31 2013-03-20 本田技研工业株式会社 车辆周围监测装置
CN103413025A (zh) * 2013-07-19 2013-11-27 上海华美络信息技术有限公司 一种监控急救车的系统及方法
CN106033608A (zh) * 2015-07-24 2016-10-19 广西科技大学 仿生物平滑跟踪眼动信息处理机制的目标轮廓检测方法
CN106033609A (zh) * 2015-07-24 2016-10-19 广西科技大学 仿生物跳跃眼动信息处理机制的目标轮廓检测方法
CN106033607A (zh) * 2015-07-24 2016-10-19 广西科技大学 仿生物跳跃眼动信息处理机制的目标轮廓检测方法
CN106033606A (zh) * 2015-07-24 2016-10-19 广西科技大学 仿生物平滑跟踪眼动信息处理机制的目标轮廓检测方法
CN106033610A (zh) * 2016-03-22 2016-10-19 广西科技大学 基于非经典感受野空间总和调制的轮廓检测方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8324535B2 (en) * 2005-07-26 2012-12-04 Kyocera Corporation Brazing structure, ceramic heater, and glow plug
CN102170558B (zh) * 2010-12-30 2012-12-19 财团法人车辆研究测试中心 障碍物侦测警示系统及方法
EP2711912A4 (en) * 2011-09-28 2015-04-22 Honda Motor Co Ltd BIOMETRIC DEVICE
JP5486031B2 (ja) * 2012-03-06 2014-05-07 本田技研工業株式会社 配光制御装置
JP5774770B2 (ja) * 2012-03-12 2015-09-09 本田技研工業株式会社 車両周辺監視装置
JP5529910B2 (ja) * 2012-03-12 2014-06-25 本田技研工業株式会社 車両周辺監視装置
JP5935118B2 (ja) * 2012-05-30 2016-06-15 株式会社日立製作所 物体検出装置および物体検出方法
JP5502149B2 (ja) * 2012-06-29 2014-05-28 本田技研工業株式会社 車両周辺監視装置
KR20140054926A (ko) * 2012-10-30 2014-05-09 현대모비스 주식회사 사이드 영상 제공 장치 및 이를 포함하는 차량
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
US9669826B2 (en) * 2012-11-21 2017-06-06 Toyota Jidosha Kabushiki Kaisha Driving-assistance device and driving-assistance method
EP2940656B1 (en) * 2012-12-25 2024-01-31 Honda Motor Co., Ltd. Vehicle periphery monitoring device
US9602806B1 (en) * 2013-06-10 2017-03-21 Amazon Technologies, Inc. Stereo camera calibration using proximity data
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
WO2015174178A1 (ja) * 2014-05-15 2015-11-19 本田技研工業株式会社 移動支援装置
JP6483360B2 (ja) * 2014-06-30 2019-03-13 本田技研工業株式会社 対象物認識装置
JP6340957B2 (ja) * 2014-07-02 2018-06-13 株式会社デンソー 物体検出装置および物体検出プログラム
US11249172B2 (en) * 2015-12-21 2022-02-15 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
EP3396414A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGING APPARATUS FOR USE BY A VEHICLE, CONTROL DEVICE, VEHICLE WITH THE CONTROL DEVICE OR IMAGING DEVICE FOR USE BY A VEHICLE AND IMAGE RECORDING FOR USE BY A VEHICLE
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
WO2017110414A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置およびそれを備えた車両
JPWO2017199369A1 (ja) * 2016-05-18 2019-03-07 パイオニア株式会社 地物認識装置、地物認識方法およびプログラム
WO2018061882A1 (ja) * 2016-09-28 2018-04-05 京セラ株式会社 カメラモジュール、セレクタ、コントローラ、カメラモニタシステム及び移動体
US10591586B2 (en) 2017-07-07 2020-03-17 Infineon Technologies Ag System and method for identifying a target using radar sensors
JP6975003B2 (ja) * 2017-09-29 2021-12-01 株式会社デンソー 周辺監視装置およびその校正方法
JP7204612B2 (ja) * 2019-08-06 2023-01-16 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
US11875659B2 (en) 2019-12-12 2024-01-16 Google Llc Privacy-preserving radar-based fall monitoring
US11754676B2 (en) * 2020-08-11 2023-09-12 Google Llc Precision sleep tracking using a contactless sleep tracking device
US11406281B2 (en) 2020-08-11 2022-08-09 Google Llc Contactless cough detection and attribution
US11808839B2 (en) 2020-08-11 2023-11-07 Google Llc Initializing sleep tracking on a contactless health tracking device
US11832961B2 (en) 2020-08-11 2023-12-05 Google Llc Contactless sleep detection and disturbance attribution
CN117553695A (zh) * 2024-01-11 2024-02-13 摩斯智联科技有限公司 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927100A (ja) * 1995-07-12 1997-01-28 Yazaki Corp 前方車両認識方法及び前方車両認識装置並びにそれを用いた車両用追突防止装置
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP2005128815A (ja) * 2003-10-24 2005-05-19 Matsushita Electric Ind Co Ltd 人物検出装置及び人物検出方法
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2007037011A (ja) * 2005-07-29 2007-02-08 Toyota Motor Corp 画像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JPH08313632A (ja) 1995-05-19 1996-11-29 Omron Corp 警報発生装置および方法，ならびにこの警報発生装置を搭載した車両
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP3938532B2 (ja) * 2002-09-05 2007-06-27 本田技研工業株式会社 車両制御装置、プログラム及び方法
JP3987013B2 (ja) 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP3934119B2 (ja) 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
CN100414992C (zh) * 2006-01-13 2008-08-27 浙江工业大学 基于机器视觉的全方位可视化振动入侵图像探测器
JP4970926B2 (ja) * 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置
CN1897015A (zh) * 2006-05-18 2007-01-17 王海燕 基于机器视觉的车辆检测和跟踪方法及系统
CN100567891C (zh) * 2007-02-16 2009-12-09 北京航空航天大学 基于双目视觉的车载环境及距离测量系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927100A (ja) * 1995-07-12 1997-01-28 Yazaki Corp 前方車両認識方法及び前方車両認識装置並びにそれを用いた車両用追突防止装置
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP2005128815A (ja) * 2003-10-24 2005-05-19 Matsushita Electric Ind Co Ltd 人物検出装置及び人物検出方法
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2007037011A (ja) * 2005-07-29 2007-02-08 Toyota Motor Corp 画像処理装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985958A (zh) * 2010-08-31 2013-03-20 本田技研工业株式会社 车辆周围监测装置
CN102985958B (zh) * 2010-08-31 2015-04-01 本田技研工业株式会社 车辆周围监测装置
CN103413025A (zh) * 2013-07-19 2013-11-27 上海华美络信息技术有限公司 一种监控急救车的系统及方法
CN106033606A (zh) * 2015-07-24 2016-10-19 广西科技大学 仿生物平滑跟踪眼动信息处理机制的目标轮廓检测方法
CN106033609A (zh) * 2015-07-24 2016-10-19 广西科技大学 仿生物跳跃眼动信息处理机制的目标轮廓检测方法
CN106033607A (zh) * 2015-07-24 2016-10-19 广西科技大学 仿生物跳跃眼动信息处理机制的目标轮廓检测方法
CN106033608A (zh) * 2015-07-24 2016-10-19 广西科技大学 仿生物平滑跟踪眼动信息处理机制的目标轮廓检测方法
CN106033609B (zh) * 2015-07-24 2018-10-19 广西科技大学 仿生物跳跃眼动信息处理机制的目标轮廓检测方法
CN106033608B (zh) * 2015-07-24 2018-10-19 广西科技大学 仿生物平滑跟踪眼动信息处理机制的目标轮廓检测方法
CN106033607B (zh) * 2015-07-24 2018-10-19 广西科技大学 仿生物跳跃眼动信息处理机制的目标轮廓检测方法
CN106033606B (zh) * 2015-07-24 2018-10-19 广西科技大学 仿生物平滑跟踪眼动信息处理机制的目标轮廓检测方法
CN106033610A (zh) * 2016-03-22 2016-10-19 广西科技大学 基于非经典感受野空间总和调制的轮廓检测方法
CN106033610B (zh) * 2016-03-22 2018-10-26 广西科技大学 基于非经典感受野空间总和调制的轮廓检测方法

Also Published As

Publication number Publication date
JP4359710B2 (ja) 2009-11-04
EP2234086A4 (en) 2011-03-02
EP2234086A1 (en) 2010-09-29
CN101933065B (zh) 2014-05-28
US20100283845A1 (en) 2010-11-11
JP2009187135A (ja) 2009-08-20
US8077204B2 (en) 2011-12-13
EP2234086B1 (en) 2013-08-28
CN101933065A (zh) 2010-12-29

Similar Documents

Publication Publication Date Title
JP4359710B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4173901B2 (ja) 車両周辺監視装置
JP4173902B2 (ja) 車両周辺監視装置
US20110025845A1 (en) Apparatus and method for measuring location and distance of object by using camera
JP5809751B2 (ja) 対象物認識装置
JP4528283B2 (ja) 車両周辺監視装置
JP5760090B2 (ja) 生体認識装置
JP4644273B2 (ja) 車両周辺監視装置
JP2014106704A (ja) 車載画像処理装置
JP2020107290A (ja) 付着物検出装置および付着物検出方法
JP2008026998A (ja) 障害物位置算出システム、及び障害物位置算出方法
JP4887540B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2007139564A (ja) 障害物検出システム、障害物検出方法及びコンピュータプログラム
US20140226908A1 (en) Object detection apparatus, object detection method, storage medium, and integrated circuit
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP5642785B2 (ja) 車両の周辺監視装置
JP2020109595A (ja) 付着物検出装置および付着物検出方法
JP2008028478A (ja) 障害物検出システム、及び障害物検出方法
JP2008108118A (ja) 画像処理装置
JP2008040724A (ja) 画像処理装置、及び画像処理方法
JP4887539B2 (ja) 物体種別判定装置
JP2006302095A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP5602354B2 (ja) 車両周辺監視装置
JP2007168547A (ja) 障害物衝突判定システム、障害物衝突判定方法及びコンピュータプログラム
JP2023076903A (ja) 路面劣化検出システムおよび路面劣化検出方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880126154.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08872072

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12812080

Country of ref document: US

Ref document number: 2008872072

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE