WO2009130828A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2009130828A1
WO2009130828A1 PCT/JP2009/000044 JP2009000044W WO2009130828A1 WO 2009130828 A1 WO2009130828 A1 WO 2009130828A1 JP 2009000044 W JP2009000044 W JP 2009000044W WO 2009130828 A1 WO2009130828 A1 WO 2009130828A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
local region
periphery monitoring
area
image
Prior art date
Application number
PCT/JP2009/000044
Other languages
English (en)
French (fr)
Inventor
伸治 長岡
誠 相村
英樹 橋本
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to US12/988,551 priority Critical patent/US8284253B2/en
Priority to EP09734224A priority patent/EP2278574A4/en
Priority to CN200980114426.7A priority patent/CN102016954B/zh
Publication of WO2009130828A1 publication Critical patent/WO2009130828A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an apparatus for monitoring the periphery of a vehicle using an image obtained through an in-vehicle imaging device.
  • the real space position of an object such as a pedestrian is measured, and the possibility of contact between the vehicle and the object is determined based on the measurement result.
  • a technique for determining height is proposed (see Japanese Patent Application Laid-Open No. 2007-213561). Since the relative position of the object with respect to the vehicle changes as the vehicle moves, the real space position of the object is measured using the change in the size of the object in the captured image.
  • the distance measurement accuracy may be reduced because changes in the shape or orientation of the object affect the size of the object in the image in addition to the relative position of the object with respect to the vehicle. There is sex.
  • an object of the present invention is to provide an apparatus capable of measuring the position of an object with high accuracy even when the object is moving.
  • a vehicle periphery monitoring device is a device that monitors the periphery of the vehicle using an image representing the surrounding state of the vehicle obtained through one imaging device mounted on the vehicle.
  • a first processing element that sets a region where the object is present as a target region, and sets a partial region of the target region where there is a relatively small portion of the target as a local region;
  • a second processing element that calculates a change rate of the size of the local region in the image and measures a distance from the vehicle to the object based on the change rate of the size of the local region.
  • a change in the size of an image region in which there is a portion with little motion among the objects that is, a local region in which the size variation due to the motion of the object is suppressed to a minimum.
  • the distance from the vehicle to the object or the position of the object can be measured with high accuracy.
  • the image obtained through the imaging device is a concept including an image obtained by performing image processing on the captured image in addition to the captured image itself.
  • the vehicle periphery monitoring device is the vehicle periphery monitoring device according to the first aspect, wherein the first processing element determines the type of the object and sets the local region based on the type of the object. It is characterized by.
  • the vehicle periphery monitoring device of the second aspect of the present invention in view of the fact that the portions with relatively little movement differ depending on the type of the object, the size variation due to the movement of the object is minimized. On the basis of the rate of change of the size of the local area that is present, the distance or position of various types of objects from the vehicle can be measured with high accuracy.
  • the first processing element determines whether or not the type of the object corresponds to a pedestrian, and the type of the object is The upper part of the object area is set as the local area on the condition that it is determined that it corresponds to a pedestrian.
  • the size variation due to the movement of the pedestrian is minimized.
  • the rate of change of the size of the local area as a basis, the distance or position of the pedestrian as the object from the vehicle can be measured with high accuracy.
  • the vehicle periphery monitoring device is the vehicle periphery monitoring device according to the first aspect, wherein the first processing element is an expanded local region obtained by expanding the local region at a previous time, and the previous time. The degree of correlation with the local region at a later later time is evaluated, and the second processing element calculates the enlargement ratio of the local region at the previous time when the degree of correlation becomes the highest of the size of the local region. It is calculated as a rate of change.
  • an enlarged local area obtained by enlarging a local area at a previous time (hereinafter referred to as “a local area” as appropriate), and a later time after the previous time.
  • the enlargement ratio when the degree of correlation with the local area (hereinafter referred to as “rear local area” as appropriate) is maximized is calculated as the change rate of the size of the object area.
  • the enlarged local region when the degree of correlation with the rear local region is the highest corresponds to a predicted or estimated future image at a later time of the previous local region.
  • the distance or position from the vehicle to the object even when the object is moving based on the rate of change of the size of the local area where there is a relatively small portion of the object as described above. Can be measured with high accuracy.
  • Configuration diagram of the vehicle of the present invention Configuration explanatory diagram of the vehicle periphery monitoring device of the present invention
  • the flowchart which shows the function of the vehicle periphery monitoring apparatus of this invention Explanatory drawing about the setting method of the object area
  • Explanatory drawing about the method of calculating the rate of change of the size of the local area
  • the vehicle 1 is equipped with a vehicle periphery monitoring device 10 and a single infrared camera (imaging device) 11.
  • the vehicle (four-wheeled vehicle) 1 shown in FIG. instead of the infrared camera 11, a camera whose sensitivity is adjusted to other wavelength regions such as visible light may be adopted as the imaging device.
  • the real space is such that the origin O is located on the front side of the vehicle 1, and each of the X axis, the Y axis, and the Z axis extends in the left-right direction, the vertical direction, and the front-rear direction of the vehicle 1.
  • a coordinate system is defined.
  • the infrared camera 11 is attached to the front side of the vehicle 1 in order to image the front of the vehicle 1. As shown in FIG.
  • the vehicle 1 includes various types of sensors such as a yaw rate sensor 13, a speed sensor 14, and a brake sensor 15 that output signals corresponding to the yaw rate, speed, and brake state of the vehicle 1.
  • a sensor is installed.
  • the vehicle 1 is equipped with an audio output device 16 and an image output device 17.
  • the image output device 17 in addition to a HUD (head-up display) that displays an image on the front window of the vehicle 1, a display device that indicates a traveling state of the vehicle 1 or a navigation device may be employed. .
  • the vehicle periphery monitoring device 10 is a device that monitors the periphery of the vehicle 1 using an image obtained through the infrared camera 11.
  • the vehicle periphery monitoring device 10 is configured by a computer (configured by an electronic circuit such as a CPU, a ROM, a RAM, an I / O circuit, and an A / D conversion circuit).
  • Analog signals output from the infrared camera 11, the yaw rate sensor 13, the vehicle speed sensor 14, the brake sensor 15, and the like are digitized and input to the vehicle periphery monitoring apparatus 10 through an A / D conversion circuit.
  • the vehicle periphery monitoring program stored in the memory, processing for recognizing the presence of an object such as a person or another vehicle, and the possibility of contact with the object recognized as the vehicle 1 is high or low. And a process for outputting sound to the audio output device 16 and outputting an image to the image output device 17 in accordance with the determination result.
  • the program may be distributed or broadcast from the server to the in-vehicle computer via a network or a satellite at an arbitrary timing, and stored in a storage device such as a RAM.
  • the vehicle periphery monitoring device 10 may be configured by a position ECU, but may be configured by a plurality of ECUs that constitute a distributed control system.
  • the vehicle periphery monitoring apparatus 10 includes a first processing element 110 and a second processing element 120 as shown in FIG.
  • the first processing element 110 sets an area where the object exists in the image representing the surrounding situation of the vehicle 1 obtained through the infrared camera 11 as the object area.
  • the first processing element 110 sets, as a local region, a partial region of the target region where there is a relatively small portion of the target object.
  • the second processing element 120 calculates the rate of change of the size of the local region, and measures the distance from the vehicle 1 to the object based on the rate of change of the size of the local region.
  • the first processing element 110 sets an object area based on an image obtained through the infrared camera 11. Specifically, a grayscale image is acquired by A / D converting an infrared image that is an output signal of the infrared camera 11 (FIG. 3 / S002). Further, a binarized image is acquired by binarizing the grayscale image (S004 in FIG. 3).
  • the binarization process is a process of classifying each pixel constituting the grayscale image into “1” (white) and “0” (black) according to whether or not the luminance is equal to or higher than a threshold value.
  • the gray scale image and the binarized image are stored in separate image memories. Further, a group of pixels grouped into “1” s constituting a high-luminance region of the binarized image has a width of one pixel in the vertical direction (y direction) of the image, and the horizontal direction (x direction).
  • the lines are classified into extending lines, and each line is converted into run-length data composed of the coordinates of the position (two-dimensional position in the image) and the length (number of pixels) (S006 in FIG. 3). Of the lines represented by the run-length data, labels (identifiers) are attached to each line group that overlaps in the vertical direction of the image (FIG. 3 / S008), and the line group is detected as an object. (FIG.
  • the target object includes living structures such as humans (pedestrians) and artificial structures such as other vehicles. Note that a plurality of local parts of the same object may be recognized as the target object.
  • the first processing element 110 executes a tracking process of the object, that is, a process of determining whether or not the detected object is the same every calculation processing cycle (FIG. 3 / S012). For example, the shape and size of the object detected in the binarized images at times k-1 and k according to the method described in Japanese Patent Laid-Open No. 2001-6096, and the correlation of the luminance distribution in the grayscale image Or the like. When it is determined that these objects are the same, the label of the object at time k is changed to the same label as the label of the object at time k ⁇ 1.
  • the plurality of masks are arranged so as to have a center position on a reference line (one-dot chain line) that passes through the center of gravity or center of the object and extends in the vertical direction in the image. Further, a mask having a correlation degree with each of the plurality of masks a i + and a j ⁇ in the gray scale image representing the surrounding situation of the vehicle 1 at the past time k ⁇ 1 is searched for.
  • a reference line one-dot chain line
  • the mask a i + and a degree of correlation greater than a threshold value of the j- plurality of masks a i + and a in the current image j- is searched.
  • An area including an object and a continuous mask having the same or almost the same positional relationship with the object (or reference line) at time k-1 and time k among the plurality of masks is the object at each time.
  • the shape area is set as the object area A (k ⁇ 1) at time k ⁇ 1.
  • the type of the object is determined by the first processing element 110 (FIG. 3 / S016). Specifically, the type of the object is determined by matching the shape of the object included in the object area A (k) with the shape pattern stored in the storage device. Thereby, for example, it is determined whether the type of the object is classified into “pedestrian” and other categories. The type of the object may be determined based on the shape of the object included in a part of the object area A (k) (different from a local area B (k) described later).
  • the type of the object is It is determined that the person is a pedestrian (more precisely, both legs of the pedestrian).
  • the local region B (k) is set based on the type of the object by the first processing element 110 (FIG. 3 / S018). Specifically, a partial area of the object area A (k) where there is a relatively small part of the object is set as the local area B (k). Thereby, for example, when the type of the object is “pedestrian”, as shown in the upper and lower parts of FIG. 5, the object area A (k) in which the upper body of the pedestrian has relatively little movement exists.
  • the upper region is set as the local region B (k). Specifically, the local region B (k) has an upper end that coincides with the upper end of the object region A (k) and a height H that is substantially equal to the width W of the object region A (k).
  • Objects may be classified into various types in which both coexist, and a unique local region B (k) may be set for each type.
  • the determination of the type of the object is omitted, the arrangement method of the local area B (k) with respect to the object area A (k) stored in the storage device is read, and the local area B ( k) may be set.
  • the second processing element 120 calculates the rate of change Rate (k) of the size of the local region B (k) (represented by the vertical width, horizontal width, or area of the object region) (FIG. 3 / S020). .
  • an enlarged object region EB obtained by enlarging the object region (first object region) B (k ⁇ 1) at time k ⁇ 1 (previous time or past time) is obtained. It is done.
  • the pre-local region B (k ⁇ 1) shown in the upper part of FIG. 5 has a plurality of ratios ⁇ 1 ,..., ⁇ i , ⁇ n (1 ⁇ 1 ⁇ ... ⁇ i ⁇ . is enlarged in each gamma n), FIG.
  • the enlargement rate from the previous local region B (k ⁇ 1) of the enlarged local region EB with the highest degree of correlation is calculated as the rate of change Rate (k) of the size of the local region B (k).
  • the expansion rate ⁇ i of the expanded local region EB ( ⁇ i ) having the highest degree of correlation with the local region B (k) is calculated as the rate of change Rate (k) (> 1) of the size of the local region B (k). Is done.
  • a plurality of reduced local regions are obtained by reducing the rear local region B (k) at a plurality of ratios, and the degree of correlation with the previous local region B (k ⁇ 1) among the plurality of reduced local regions is obtained.
  • the reciprocal of the reduction ratio from the rear local area B (k) to the maximum reduced local area may be calculated as the rate of change Rate (k) (> 1) of the size of the local area B (k).
  • the speed and yaw rate of the vehicle 1 are measured based on the respective outputs of the yaw rate sensor 13 and the speed sensor 14, and the turning value (azimuth angle) of the vehicle 1 is calculated by integrating the measured value of the yaw rate. (FIG. 3 / S022). Further, based on the speed v (k) of the vehicle 1 and the specified period ⁇ T in addition to the rate of change Rate (k), the speed of the object is considered to be negligibly small compared to the speed v (k) of the vehicle 1. Thus, the distance Z (k) from the vehicle 1 to the object is measured according to the equation (1) (FIG. 3 / S024).
  • the real space position P (k) (X (k), Y (k), Z (k) of the object. (S026 in FIG. 3) Specifically, the corrected distance Z (k) from the vehicle 1 to each object, the focal length f of the infrared camera 11, and the object in the captured image. Based on the image coordinates x (k) and y (k) of the corresponding region, the X coordinate X (k) and Y coordinate Y (k) in the real space coordinate system are calculated according to the equation (2).
  • Real space position (X (k), Y (k), (K)) are turning angle correction.
  • the vehicle 1 and each object can be contacted in accordance with, for example, a collision possibility determination method described in Japanese Patent Laid-Open No. 2001-6096. Whether or not the sex is high or low is determined (FIG. 3 / S028). When it is determined that the possibility of contact between the vehicle 1 and the object is high (FIG. 3 / S028... YES), the “first control process” is executed (FIG. 3 / S030). Specifically, sound and an image (such as a frame for highlighting the object) corresponding to the determination result of the contact possibility are output through the sound output device 16 and the image output device 17, respectively.
  • the vehicle behavior is controlled in addition to or instead of the sound and image output. Is done. Specifically, the steering device, the brake device, and the accelerator device of the vehicle 1 are avoided so as to avoid contact with an object that has been determined to have a high possibility of contact with the vehicle 1 or so as to facilitate avoidance. Some or all of the operations may be controlled by a vehicle control unit (not shown). For example, the accelerator device is controlled to make acceleration difficult so that the driver's required pedaling force on the accelerator pedal is greater than in a normal case where it is not necessary to avoid contact with the object.
  • the required rotational force of the steering handle toward the steering direction of the steering device required to avoid contact between the vehicle 1 and the object is lower than the required rotational force of the steering handle toward the opposite side,
  • the steering handle can be easily operated in the steering direction.
  • the increasing speed of the braking force of the vehicle 1 according to the depression amount of the brake pedal of the brake device is made higher than in the normal case. By doing in this way, the driving
  • the brake of the vehicle 1 is not operated by the driver, or the vehicle 1 is reduced based on the output of the speed sensor 14 or the acceleration sensor (not shown).
  • the “first control process” may be executed on the condition that the speed is confirmed to be equal to or lower than the threshold value.
  • the “second control process” is executed (FIG. 3 / S032). Specifically, the sound and the image corresponding to the contact possibility determination result are output through the sound output device 16 and the image output device 17 in a form different from the first control process. Further, the vehicle behavior is controlled by a force weaker than that in the first control process. The “second control process” may be omitted.
  • the rate of change Rate (k) of the local region B (k) as a partial region of the object region A (k) is calculated (FIG. 3 / (See S020). Specifically, an expanded local region EB ( ⁇ i ) obtained by enlarging the local region (previous local region) B (k ⁇ 1) at the previous time k ⁇ 1 and a later time after the previous time k The enlargement ratio when the degree of correlation with the local region (post-local region) B (k) at k ⁇ 1 is maximized is calculated as the rate of change Rate (k) of the size of the local region B (k) ( (See FIG. 5).
  • the enlarged local region EB ( ⁇ i ) when the degree of correlation with the rear local region B (k) is the highest corresponds to a predicted or estimated future image at a later time k of the previous local region B (k ⁇ 1). .
  • the local region B (k) is an image region where there is a portion with little motion in the target object, that is, an image region in which the size variation due to the motion of the target object is minimized. For this reason, the rate of change Rate (k) of the same object moving so that the posture or shape of the object in the image changes is calculated with high accuracy. Based on the rate of change Rate (k), the distance Z (k) or the position P (k) from the vehicle 1 to the object can be measured with high accuracy even when the object is moving ( (See FIG.
  • the rate of change as a basis, distances or positions of various types of objects such as pedestrians from the vehicle 1 can be measured with high accuracy (see FIGS. 3 / S016 and S018).
  • the distance Z (k) or position P (k) from the vehicle 1 of the pedestrian that is the object can be measured with high accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　対象物が動いている場合でもこの対象物の位置を高精度で測定することができる装置を提供する。車両周辺監視装置１０によれば、先時刻ｋ－１における局所領域Ｂ（ｋ－１）が拡大されて得られた拡大局所領域ＥＢ（γi）と、先時刻ｋよりも後の後時刻ｋ－１における局所領域Ｂ（ｋ）との相関度が最高になったときの当該拡大率が局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）として算出される。そして、当該変化率Ｒａｔｅ（ｋ）を基礎とすることにより、対象物が動いている場合でも車両１から対象物までの距離Ｚ（ｋ）または位置Ｐ（ｋ）が高精度で測定されうる。

Description

車両周辺監視装置
　本発明は、車載の撮像装置を通じて得られた画像を用いて、この車両の周辺を監視する装置に関する。
　車両に搭載されているカメラにより異なる２つの時刻において撮像された画像に基づき、歩行者等の対象物の実空間位置を測定し、当該測定結果に基づいて車両と対象物との接触可能性の高低を判定する技術が提案されている（日本国特開２００７－２１３５６１号公報参照）。車両が移動することにより車両に対する対象物の相対位置が変化するため、撮像画像における対象物のサイズが変化することを利用して、この対象物の実空間位置が測定されている。
　しかし、対象物が動いている場合、車両に対するこの対象物の相対位置に加えて、この対象物の形状または姿勢の変化が画像における対象物のサイズに影響するため、距離測定精度が低下する可能性がある。
　そこで、本発明は、対象物が動いている場合でもこの対象物の位置を高精度で測定することができる装置を提供することを解決課題とする。
　第１発明の車両周辺監視装置は、車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する装置であって、前記画像において対象物が存在する領域を対象物領域として設定し、前記対象物のうち動きが比較的少ない部分が存在する前記対象物領域の一部の領域を局所領域として設定する第１処理要素と、前記画像における前記局所領域のサイズの変化率を算出し、前記局所領域のサイズの変化率に基づいて前記車両から前記対象物までの距離を測定する第２処理要素とを備えていることを特徴とする。
　第１発明の車両周辺監視装置によれば、対象物のうち動きが少ない部分が存在する画像領域、すなわち、対象物の動きによるサイズの変動が最小限に抑制されている局所領域のサイズの変化率を基礎とすることにより、車両から対象物までの距離または対象物の位置が高精度で測定されうる。なお、撮像装置を通じて得られた画像とは、撮像画像そのもののほか、撮像画像に画像処理が施されることにより得られる画像を包含する概念である。
　第２発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記第１処理要素が前記対象物の種類を判定し、前記対象物の種類に基づいて前記局所領域を設定することを特徴とする。
　第２発明の車両周辺監視装置によれば、対象物の種類の相違に応じてその動きが比較的少ない部分が相違することに鑑みて、対象物の動きによるサイズの変動が最小限に抑制されている局所領域のサイズの変化率を基礎とすることにより、さまざまな種類の対象物の車両からの距離または位置が高精度で測定されうる。
　第３発明の車両周辺監視装置は、第２発明の車両周辺監視装置において、前記第１処理要素が前記対象物の種類が歩行者に該当するか否かを判定し、前記対象物の種類が歩行者に該当すると判定したことを要件として前記対象物領域の上部を前記局所領域として設定することを特徴とする。
　第３発明の車両周辺監視装置によれば、対象物としての歩行者の上半身は下半身と比較して動きが少ないことに鑑みて、歩行者の動きによるサイズの変動が最小限に抑制されている局所領域のサイズの変化率を基礎とすることにより、対象物である歩行者の車両からの距離または位置が高精度で測定されうる。
　第４発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記第１処理要素が先時刻における前記局所領域が拡大されることにより得られる拡大局所領域と、前記先時刻よりも後の後時刻における前記局所領域との相関度を評価し、前記第２処理要素が、前記相関度が最高となったときの前記先時刻における前記局所領域の拡大率を前記局所領域のサイズの変化率として算出することを特徴とする。
　第４発明の車両周辺監視装置によれば、先時刻における局所領域（以下、適宜「先局所領域」という。）が拡大されて得られた拡大局所領域と、先時刻よりも後の後時刻における局所領域（以下、適宜「後局所領域」という。）との相関度が最高になったときの当該拡大率が対象物領域のサイズの変化率として算出される。後局所領域との相関度が最高になったときの拡大局所領域は、先局所領域の後時刻における予測または推測未来像に相当する。そして、前記のように対象物のうち比較的動きが少ない部分が存在する局所領域のサイズの変化率を基礎とすることにより、対象物が動いている場合でも車両から対象物までの距離または位置が高精度で測定されうる。
本発明の車両の構成説明図 本発明の車両周辺監視装置の構成説明図 本発明の車両周辺監視装置の機能を示すフローチャート 対象物領域の設定方法に関する説明図 局所領域のサイズの変化率の算出方法に関する説明図
　本発明の車両周辺監視装置の実施形態について図面を用いて説明する。
　図１に示されている車両（四輪自動車）１には、車両周辺監視装置１０と、単一の赤外線カメラ（撮像装置）１１が搭載されている。なお、赤外線カメラ１１に代えて可視光等、他の波長領域に感度が調節されたカメラが撮像装置として採用されてもよい。図１に示されているように原点Ｏが車両１の前側に位置し、Ｘ軸、Ｙ軸およびＺ軸のそれぞれが車両１の左右方向、上下方向および前後方向のそれぞれに延びるように実空間座標系が定義されている。赤外線カメラ１１は車両１の前方を撮像するために、車両１の前側に取り付けられている。また、図２に示されているように車両１には、車両１のヨーレート、速度およびブレーキの状態のそれぞれに応じた信号を出力するヨーレートセンサ１３、速度センサ１４およびブレーキセンサ１５等の種々のセンサが搭載されている。さらに、図２に示されているように車両１には音声出力装置１６および画像出力装置１７が搭載されている。画像出力装置１７としては、車両１のフロントウィンドウに画像を表示するＨＵＤ（ヘッドアップディスプレイ）のほか、車両１の走行状況を示す表示計またはナビゲーション装置を構成するディスプレイ装置等が採用されてもよい。
　車両周辺監視装置１０は赤外線カメラ１１を通じて得られた画像を用いて車両１の周辺を監視する装置である。車両周辺監視装置１０はコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。）により構成されている。車両周辺監視装置１０には、赤外線カメラ１１、ヨーレートセンサ１３、車速センサ１４およびブレーキセンサ１５等から出力されたアナログ信号がＡ／Ｄ変換回路を介してデジタル化されて入力される。当該入力データに基づき、メモリに格納されている「車両周辺監視プログラム」にしたがって、人間や他車両などの対象物の存在を認識する処理、車両１と認識した対象物との接触可能性の高低を判定する処理、および、この判定結果に応じて音声を音声出力装置１６に出力させたり、画像を画像出力装置１７に出力させたりする処理が当該コンピュータにより実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車載コンピュータに配信または放送され、そのＲＡＭ等の記憶装置に格納されてもよい。車両周辺監視装置１０は位置のＥＣＵにより構成されていてもよいが、分散制御システムを構成する複数のＥＣＵにより構成されていてもよい。
　車両周辺監視装置１０は図２に示されているように第１処理要素１１０と、第２処理要素１２０とを備えている。第１処理要素１１０は赤外線カメラ１１を通じて得られた車両１の周辺状況を表わす画像において対象物が存在する領域を対象物領域として設定する。第１処理要素１１０は対象物のうち動きが比較的少ない部分が存在する対象物領域の一部の領域を局所領域として設定する。第２処理要素１２０は局所領域のサイズの変化率を算出し、局所領域のサイズの変化率に基づいて車両１から対象物までの距離を測定する。
　前記構成の車両１および車両周辺監視装置１０の機能について説明する。まず、第１処理要素１１０が赤外線カメラ１１を通じて得られた画像に基づき、対象物領域を設定する。具体的には、赤外線カメラ１１の出力信号である赤外線画像がＡ／Ｄ変換されることによりグレースケール画像が取得される（図３／Ｓ００２）。また、グレースケール画像が２値化処理されることにより２値化画像が取得される（図３／Ｓ００４）。２値化処理は、グレースケール画像を構成する各画素をその輝度が閾値以上であるか否かに応じて「１」（白）および「０」（黒）に区分する処理である。グレースケール画像および２値化画像はそれぞれ別の画像メモリに記憶される。さらに、２値化画像の高輝度領域を構成する「１」に区分されたまとまった画素群が、画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類され、各ラインがその位置（画像における２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換される（図３／Ｓ００６）。そして、このランレングスデータにより表されるラインのうち、画像縦方向に重なりを有するライン群のそれぞれにラベル（識別子）が付され（図３／Ｓ００８）、当該ライン群が対象物として検出される（図３／Ｓ０１０）。これにより、図４（ａ）に示されているように２値化画像において斜線で示されているような対象物（２値化対象物）が検出される。対象物には人間（歩行者）などの生物のほか、他車両などの人口構造物も含まれる。なお、同一物体の複数の局所部分が対象物として認識される場合もある。
　また、第１処理要素１１０により、対象物の追跡処理、すなわち、演算処理周期ごとに検出された対象物が同一であるか否かを判定する処理が実行される（図３／Ｓ０１２）。たとえば、特開２００１－６０９６号公報に記載されている手法にしたがって時刻ｋ－１およびｋのそれぞれの２値化画像において検出された対象物の形状やサイズ、グレースケール画像における輝度分布の相関性などに基づいて実行されうる。そして、これら対象物が同一であると判定された場合、時刻ｋにおける対象物のラベルが時刻ｋ－１における対象物のラベルと同じラベルに変更される。
　さらに、第１処理要素１１０により、２値化画像における対象物の重心位置および外接四角形の配置態様に基づき、グレースケール画像において対象物を表わす領域が「対象物領域」として設定される（図３／Ｓ０１４）。具体的には、まず、現在時刻ｋにおける車両１の周辺状況を表わすグレースケール画像において、対象物を基準として配置された複数のマスクが設定される。これにより、たとえば図４（ａ）に斜線で示されているように対象物の上下方向に並んで配置された複数の矩形状のマスクａi+（ｉ＝１，２，‥）およびａj-（ｊ＝１，２，‥）が設定される。当該複数のマスクは、対象物の重心または中心を通り、画像において上下方向に延びる基準ライン（一点鎖線）の上に中心位置を有するように配置されている。また、過去時刻ｋ－１における車両１の周辺状況を表わすグレースケール画像において当該複数のマスクａi+およびａj-のそれぞれとの相関度が閾値以上となるマスクが探索される。これにより、たとえば図４（ｂ）に示されているような過去画像において、現在画像における複数のマスクai+およびaj-との相関度が閾値以上のマスクａi+およびａj-が探索される。そして、対象物と、当該複数のマスクのうち、時刻ｋ－１および時刻ｋにおける対象物（または基準ライン）との位置関係が同一またはほぼ同一の連続するマスクとを含む領域が各時刻における対象物領域として設定される。これにより、たとえば図４（ｂ）に示されているように対象物およびその下方に連続して配置されたマスクａ1-～ａ4-とを包含する、二重枠で囲まれている矩形状の領域が時刻ｋ－１における対象物領域Ａ（ｋ－１）として設定される。
　また、第１処理要素１１０により対象物の種類が判定される（図３／Ｓ０１６）。具体的には、対象物領域Ａ（ｋ）に含まれる対象物の形状と、記憶装置に格納されている形状パターンとのマッチングにより、対象物の種類が判定される。これにより、たとえば対象物の種類が「歩行者」およびその他の区分のうちいずれに分類されるかが判定される。対象物領域Ａ（ｋ）の一部の領域（後述する局所領域Ｂ（ｋ）とは異なる。）に含まれる対象物の形状に基づいて対象物の種類が判定されてもよい。これにより、たとえば対象物領域Ａ（ｋ）の下部領域に、左右一対の上下方向に伸びるライン状の対象物（高輝度領域）が存在すると判定されたことを要件として、当該対象物の種類が歩行者（正確には歩行者の両脚）であることが判定される。
　さらに、第１処理要素１１０により対象物の種類に基づき、局所領域Ｂ（ｋ）が設定される（図３／Ｓ０１８）。具体的には、対象物のうち動きが比較的少ない部分が存在する対象物領域Ａ（ｋ）の一部の領域が局所領域Ｂ（ｋ）として設定される。これにより、たとえば対象物の種類が「歩行者」である場合、図５上段および下段に示されているように歩行者のうち動きが比較的少ない上半身が存在する対象物領域Ａ（ｋ）の上部領域が局所領域Ｂ（ｋ）として設定される。具体的には、局所領域Ｂ（ｋ）は、その上端が対象物領域Ａ（ｋ）の上端に一致し、かつ、高さＨが対象物領域Ａ（ｋ）の幅Ｗに略同等の略正方形状になるように設定される。なお、「歩行者」のほか、鹿等の「大型動物」等、対象物の動きに応じて形状または姿勢の変化量が比較的大きくなる部分と、当該変化量が比較的小さくなる部分との両方が併存するようなさまざまな種類に対象物が分類され、各種類に固有の局所領域Ｂ（ｋ）が設定されてもよい。また、対象物の種類の判定が省略され、記憶装置に格納されている対象物領域Ａ(k)に対する局所領域Ｂ（ｋ）の配置方法が読み出され、当該配置方法にしたがって局所領域Ｂ（ｋ）が設定されてもよい。
　また、第２処理要素１２０により、局所領域Ｂ（ｋ）のサイズ（対象物領域の縦幅、横幅または面積により表わされる。）の変化率Ｒａｔｅ（ｋ）が算出される（図３／Ｓ０２０）。具体的には、まず時刻ｋ－１（先時刻または過去時刻）における対象物領域（第１対象物領域）Ｂ（ｋ－１）が拡大されることによって得られた拡大対象物領域ＥＢが得られる。これにより、たとえば図５上段に示されている先局所領域Ｂ（ｋ－１）が複数の比率γ1、‥、γi、‥、γn（１＜γ1＜‥＜γi＜‥＜γn）のそれぞれで拡大され、図５中段に示されている拡大局所領域ＥＢ（γ1）、‥、ＥＢ（γi）、‥、ＥＢ（γn）が得られる。なお、先局所領域Ｂ（ｋ－１）は、その上端が対象物領域Ａ（ｋ－１）の上端に一致し、かつ、高さＨ’が対象物領域Ａ（ｋ－１）の幅Ｗ’に略同等の略正方形状になるように設定されている。また、複数の拡大局所領域ＥＢのそれぞれと、時刻ｋ（後時刻または現在時刻）における局所領域（後局所領域）Ｂ（ｋ）との相関度が評価され、後局所領域Ｂ（ｋ）との相関度が最高になる拡大局所領域ＥＢの先局所領域Ｂ（ｋ－１）からの拡大率が局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）として算出される。これにより、たとえば図５中段に示されている拡大局所領域ＥＢ（γ1）、‥、ＥＢ（γi）、‥、ＥＢ（γn）のそれぞれのうち、図５下段に示されている後局所領域Ｂ（ｋ）との相関度が最高になる拡大局所領域ＥＢ（γi）の当該拡大率γiが局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）（＞１）として算出される。また、後局所領域Ｂ（ｋ）が複数の比率で縮小されることにより複数の縮小局所領域が得られ、当該複数の縮小局所領域のうち先局所領域Ｂ（ｋ－１）との相関度が最高になる縮小局所領域の後局所領域Ｂ（ｋ）からの縮小率の逆数が局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）（＞１）として算出されてもよい。
　さらに、ヨーレートセンサ１３および速度センサ１４のそれぞれの出力に基づき、車両１の速度およびヨーレートが測定され、ヨーレートの測定値が積分されることにより、車両１の回頭角（方位角）が算出される（図３／Ｓ０２２）。また、変化率Ｒａｔｅ（ｋ）に加え、車両１の速度ｖ（ｋ）および指定期間ΔＴに基づき、車両１の速度ｖ（ｋ）と比較して対象物の速度が無視できる程度に小さいとみなして、式（１）にしたがって車両１から対象物までの距離Ｚ（ｋ）が測定される（図３／Ｓ０２４）。
　Ｚ（ｋ）＝Ｒａｔｅ（ｋ）ｖ（ｋ）Δｔ／（１－Ｒａｔｅ（ｋ））‥（１）
　また、車両周辺監視装置１０により、車両１から対象物までの距離Ｚ（ｋ）に基づき、この対象物の実空間位置Ｐ（ｋ）＝（Ｘ（ｋ），Ｙ（ｋ），Ｚ（ｋ）として算定される（図３／Ｓ０２６）。具体的には、車両１から各対象物までの補正後の距離Ｚ（ｋ）と、赤外線カメラ１１の焦点距離ｆと、撮像画像における対象物に対応した領域の画像座標ｘ（ｋ）およびｙ（ｋ）とに基づき、式（２）にしたがって実空間座標系におけるＸ座標Ｘ（ｋ）およびＹ座標Ｙ（ｋ）が算定される。撮像画像の中心、右方向および下方向のそれぞれが、画像座標系における原点ｏ、＋ｘ方向および＋ｙ方向として定義されている。また、ヨーレートセンサ１５の出力に基づいて測定される回頭角に基づき、各対象物の実空間位置（Ｘ（ｋ），Ｙ（ｋ），Ｚ（ｋ））が回頭角補正される。
　Ｘ（ｋ）＝ｘ（ｋ）・Ｚ（ｋ）／ｆ，
　Ｙ（ｋ）＝ｙ（ｋ）・Ｚ（ｋ）／ｆ　‥（２）
　また、異なる時刻における各対象物の実空間位置Ｐ（ｋ）に基づき、たとえば特開２００１－６０９６号公報に記載された衝突可能性の判定手法にしたがって、車両１と各対象物との接触可能性の高低または有無が判定される（図３／Ｓ０２８）。そして、車両１と対象物との接触可能性が高いと判定された場合（図３／Ｓ０２８‥ＹＥＳ）、「第１制御処理」が実行される（図３／Ｓ０３０）。具体的には、当該接触可能性の判定結果に応じた音声および画像（当該対象物を強調表示するためのフレームなど）のそれぞれが音声出力装置１６および画像出力装置１７のそれぞれを通じて出力される。なお、当該音声および画像のうち一方のみが出力されてもよい。また、車両１のステアリング装置、ブレーキ装置およびアクセル装置のうち一部または全部がアクチュエータにより操作され、車両１の走行挙動が操作される場合、音声および画像出力に加えてまたは代えて車両挙動が制御される。具体的には、車両１との接触可能性が高いと判定された対象物との接触を回避するように、または、回避が容易になるように車両１のステアリング装置、ブレーキ装置およびアクセル装置のうち一部または全部の動作が車両制御ユニット（図示略）により制御されてもよい。たとえば、運転者によるアクセルペダルの必要踏力が、対象物との接触を回避する必要がない通常の場合よりも大きくなるようにアクセル装置を制御して加速しにくくする。また、車両１と対象物との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行いうるようにする。さらに、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両１の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、対象物との接触を避けるための車両１の運転が容易になる。また、ブレーキセンサ１５の出力に基づいて運転者による車両１のブレーキが操作されていないことが確認されたこと、または、速度センサ１４または加速度センサ（図示略）の出力に基づいて車両１の減速度が閾値以下であることが確認されたことを要件として「第１制御処理」が実行されてもよい。
　一方、車両１と対象物との接触可能性が低いと判定された場合（図３／Ｓ０２８‥ＮＯ）、「第２制御処理」が実行される（図３／Ｓ０３２）。具体的には、当該接触可能性の判定結果に応じた音声および画像のそれぞれが、第１制御処理とは異なる形態で音声出力装置１６および画像出力装置１７のそれぞれを通じて出力される。また、第１制御処理よりも弱い力によって車両挙動が制御される。なお、「第２制御処理」は省略されてもよい。
　前記機能を発揮する車両周辺監視装置１０によれば、対象物領域Ａ（ｋ）の一部領域としての局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）が算出される（図３／Ｓ０２０参照）。具体的には、先時刻ｋ－１における局所領域（先局所領域）Ｂ（ｋ－１）が拡大されて得られた拡大局所領域ＥＢ（γi）と、先時刻ｋよりも後の後時刻ｋ－１における局所領域（後局所領域）Ｂ（ｋ）との相関度が最高になったときの当該拡大率が局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）として算出される（図５参照）。後局所領域Ｂ（ｋ）との相関度が最高になったときの拡大局所領域ＥＢ（γi）は、先局所領域Ｂ（ｋ－１）の後時刻ｋにおける予測または推測未来像に相当する。また、局所領域Ｂ（ｋ）は対象物のうち動きが少ない部分が存在する画像領域、すなわち、対象物の動きによるサイズの変動が最小限に抑制されている画像領域である。このため、画像における対象物の姿勢または形状が変化するように動いている同一対象物のサイズの変化率Ｒａｔｅ（ｋ）が高精度で算出される。そして、当該変化率Ｒａｔｅ（ｋ）を基礎とすることにより、対象物が動いている場合でも車両１から対象物までの距離Ｚ（ｋ）または位置Ｐ（ｋ）が高精度で測定されうる（図３／Ｓ０２４，Ｓ０２６，図５参照）。また、対象物の種類の相違に応じてその動きが比較的少ない部分が相違することに鑑みて、対象物の動きによるサイズの変動が最小限に抑制されている局所領域Ｂ（ｋ）のサイズの変化率を基礎とすることにより、歩行者等、さまざまな種類の対象物の車両１からの距離または位置が高精度で測定されうる（図３／Ｓ０１６，Ｓ０１８参照）。特に、対象物としての歩行者の上半身は下半身と比較して動きが少ないことに鑑みて、歩行者の動きによるサイズの変動が最小限に抑制されている局所領域Ｂ（ｋ）のサイズの変化率を基礎とすることにより、対象物である歩行者の車両１からの距離Ｚ（ｋ）または位置Ｐ（ｋ）が高精度で測定されうる。

Claims (4)

  1. 車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する装置であって、
    前記画像において対象物が存在する領域を対象物領域として設定し、前記対象物のうち動きが比較的少ない部分が存在する前記対象物領域の一部の領域を局所領域として設定する第１処理要素と、
    前記画像における前記局所領域のサイズの変化率を算出し、前記局所領域のサイズの変化率に基づいて前記車両から前記対象物までの距離を測定する第２処理要素とを備えていることを特徴とする車両周辺監視装置。
  2. 請求項１記載の車両周辺監視装置において、
    前記第１処理要素が前記対象物の種類を判定し、前記対象物の種類に基づいて前記局所領域を設定することを特徴とする車両周辺監視装置。
  3. 請求項２記載の車両周辺監視装置において、
    　前記第１処理要素が前記対象物の種類が歩行者に該当するか否かを判定し、前記対象物の種類が歩行者に該当すると判定したことを要件として前記対象物領域の上部を前記局所領域として設定することを特徴とする車両周辺監視装置。
  4. 請求項１記載の車両周辺監視装置において、
    前記第１処理要素が先時刻における前記局所領域が拡大されることにより得られる拡大局所領域と、前記先時刻よりも後の後時刻における前記局所領域との相関度を評価し、
    前記第２処理要素が、前記相関度が最高となったときの前記先時刻における前記局所領域の拡大率を前記局所領域のサイズの変化率として算出することを特徴とする車両周辺監視装置。
PCT/JP2009/000044 2008-04-24 2009-01-08 車両周辺監視装置 WO2009130828A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/988,551 US8284253B2 (en) 2008-04-24 2009-01-08 Vehicle periphery monitoring apparatus
EP09734224A EP2278574A4 (en) 2008-04-24 2009-01-08 APPARATUS FOR MONITORING VEHICLE PERIPHERY
CN200980114426.7A CN102016954B (zh) 2008-04-24 2009-01-08 车辆周围监测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-113858 2008-04-24
JP2008113858A JP4486997B2 (ja) 2008-04-24 2008-04-24 車両周辺監視装置

Publications (1)

Publication Number Publication Date
WO2009130828A1 true WO2009130828A1 (ja) 2009-10-29

Family

ID=41216571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000044 WO2009130828A1 (ja) 2008-04-24 2009-01-08 車両周辺監視装置

Country Status (5)

Country Link
US (1) US8284253B2 (ja)
EP (1) EP2278574A4 (ja)
JP (1) JP4486997B2 (ja)
CN (1) CN102016954B (ja)
WO (1) WO2009130828A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086807A1 (ja) * 2010-01-14 2011-07-21 本田技研工業株式会社 車両周辺監視装置
WO2012029382A1 (ja) * 2010-08-31 2012-03-08 本田技研工業株式会社 車両周辺監視装置
JP5530530B2 (ja) 2010-11-16 2014-06-25 本田技研工業株式会社 車両の周辺監視装置
JP5663411B2 (ja) * 2011-06-14 2015-02-04 本田技研工業株式会社 測距装置
JP5603835B2 (ja) * 2011-06-27 2014-10-08 クラリオン株式会社 車両周囲監視装置
US9235990B2 (en) * 2011-11-25 2016-01-12 Honda Motor Co., Ltd. Vehicle periphery monitoring device
KR102451091B1 (ko) * 2015-07-08 2022-10-05 엘지이노텍 주식회사 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN108109474B (zh) * 2018-02-23 2024-03-19 哈尔滨莱特兄弟科技开发有限公司 一种模拟大飞机的脚舵装置
KR102225049B1 (ko) * 2019-07-25 2021-03-09 한미헬스케어 주식회사 구동 모드의 자동 전환을 통한 절전형 리딩 제어시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2007188417A (ja) * 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP2007213561A (ja) 2006-01-16 2007-08-23 Honda Motor Co Ltd 車両周辺監視装置
JP2008021034A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
JP2008113858A (ja) 2006-11-06 2008-05-22 Aruze Corp ゲームシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3987048B2 (ja) 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
US7672514B2 (en) * 2004-03-02 2010-03-02 Sarnoff Corporation Method and apparatus for differentiating pedestrians, vehicles, and other objects
US20060222206A1 (en) * 2005-03-30 2006-10-05 Cernium, Inc. Intelligent video behavior recognition with multiple masks and configurable logic inference module
JP4544028B2 (ja) * 2005-05-13 2010-09-15 日産自動車株式会社 車載画像処理装置、および画像処理方法
JP4173896B2 (ja) 2006-04-03 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP4173901B2 (ja) 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP2007334511A (ja) 2006-06-13 2007-12-27 Honda Motor Co Ltd 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP4315991B2 (ja) * 2007-04-20 2009-08-19 本田技研工業株式会社 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2007188417A (ja) * 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP2007213561A (ja) 2006-01-16 2007-08-23 Honda Motor Co Ltd 車両周辺監視装置
JP2008021034A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
JP2008113858A (ja) 2006-11-06 2008-05-22 Aruze Corp ゲームシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2278574A4 *

Also Published As

Publication number Publication date
EP2278574A4 (en) 2011-09-28
CN102016954A (zh) 2011-04-13
US20110032358A1 (en) 2011-02-10
JP4486997B2 (ja) 2010-06-23
EP2278574A1 (en) 2011-01-26
CN102016954B (zh) 2017-06-23
US8284253B2 (en) 2012-10-09
JP2009265882A (ja) 2009-11-12

Similar Documents

Publication Publication Date Title
JP4271720B1 (ja) 車両周辺監視装置
JP4486997B2 (ja) 車両周辺監視装置
JP4521642B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
US8766816B2 (en) System for monitoring the area around a vehicle
JP4899424B2 (ja) 物体検出装置
JP4267657B2 (ja) 車両周辺監視装置
US8189868B2 (en) Vehicle periphery monitoring device
JP5687702B2 (ja) 車両周辺監視装置
US20060126899A1 (en) Vehicle surroundings monitoring apparatus
US8174578B2 (en) Vehicle periphery monitoring device
US20190213427A1 (en) Detection and Validation of Objects from Sequential Images of a Camera
WO2019194255A1 (ja) 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具
US7885430B2 (en) Automotive environment monitoring device, vehicle with the automotive environment monitoring device, and automotive environment monitoring program
JP2009075124A (ja) 距離検出装置
JP4716294B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
US7545955B2 (en) Vehicle surroundings monitoring apparatus
JP4590654B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4743797B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4496383B2 (ja) 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム
JP2008042779A (ja) 車両周辺監視システム、車両、車両周辺監視プログラム、車両周辺監視システムの構築システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980114426.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09734224

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12988551

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009734224

Country of ref document: EP