WO2010044127A1 - 車外障害物高度検出装置 - Google Patents

車外障害物高度検出装置 Download PDF

Info

Publication number
WO2010044127A1
WO2010044127A1 PCT/JP2008/002935 JP2008002935W WO2010044127A1 WO 2010044127 A1 WO2010044127 A1 WO 2010044127A1 JP 2008002935 W JP2008002935 W JP 2008002935W WO 2010044127 A1 WO2010044127 A1 WO 2010044127A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
edge
height
obstacle
Prior art date
Application number
PCT/JP2008/002935
Other languages
English (en)
French (fr)
Inventor
都丸義広
原田雅之
藤本仁志
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2008/002935 priority Critical patent/WO2010044127A1/ja
Publication of WO2010044127A1 publication Critical patent/WO2010044127A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an off-vehicle obstacle height detecting device for detecting the height of an obstacle existing around a vehicle.
  • the conventional obstacle height detection device outside the vehicle converts an image taken by the camera before the vehicle moves into an overhead view image, and converts an image taken by the camera after the vehicle moves into an overhead view image.
  • An obstacle present around the vehicle is detected from the difference image of the overhead image.
  • the vehicle obstacle height detecting device measures a three-dimensional movement of the vehicle using a distance sensor and a steering angle sensor.
  • the obstacle height detecting device outside the vehicle calculates a parallel progression using a distance sensor and calculates a rotation matrix using a steering angle sensor.
  • the obstacle height detection device outside the vehicle calculates the height of the obstacle by performing a predetermined calculation using the difference image of the two overhead images, the parallel progression row, and the rotation matrix (for example, see Patent Document 1). reference).
  • the conventional obstacle height detection device outside the vehicle is configured as described above, if the rudder angle sensor is mounted on the vehicle in addition to the distance sensor generally mounted in recent years, the height of the obstacle is calculated. be able to. However, since the error generated by the distance sensor and the error generated by the rudder angle sensor are accumulated, there is a problem that a large error occurs in the height of the obstacle.
  • the present invention has been made to solve the above-described problems, and provides an out-of-vehicle obstacle height detection device capable of accurately calculating the height of an obstacle without mounting a steering angle sensor on the vehicle. With the goal.
  • the outside obstacle height detecting device includes an object edge existing in an image before moving the vehicle extracted by the edge extracting means and an object edge existing in the image after moving the vehicle.
  • Corresponding point detecting means for detecting corresponding points and moving distance measuring means for measuring the moving distance of the vehicle are provided, and the edge height calculating means detects the moving distance of the vehicle measured by the moving distance measuring means and the corresponding point detecting means. The height of the edge of the object is calculated from the corresponding points.
  • FIG. 1 It is a block diagram which shows the vehicle exterior obstacle height detection apparatus by Embodiment 1 of this invention. It is a flowchart which shows the processing content of the vehicle exterior obstacle height detection apparatus by Embodiment 1 of this invention. It is explanatory drawing which shows the installation condition of the camera. It is explanatory drawing which shows an example of the image before a vehicle movement, and the image after a vehicle movement. 2 is an explanatory diagram showing a coordinate system of the camera 1 and the like. FIG. It is explanatory drawing which shows the projection to the projection plane coordinate system of the three-dimensional coordinates P0 and P1 of an edge. It is explanatory drawing which shows the projection to yz surface.
  • FIG. 1 is a block diagram showing an out-of-vehicle obstacle height detecting apparatus according to Embodiment 1 of the present invention.
  • a camera 1 is a digital imaging device that is installed in, for example, a vehicle bumper and captures the surroundings of the vehicle.
  • the camera 1 constitutes a photographing unit.
  • the image acquisition unit 2 acquires an image captured by the camera 1 before the vehicle moves, and performs processing for acquiring an image captured by the camera 1 after the vehicle moves.
  • the image storage unit 3 stores the pre-movement image acquired by the image acquisition unit 2 in the pre-movement image memory 4 and the post-vehicle movement image acquired by the image acquisition unit 2 in the post-movement image memory 5. Perform the process.
  • the pre-movement image memory 4 is a memory that temporarily stores the image before the vehicle movement acquired by the image acquisition unit 2.
  • the after-movement image memory 5 is a memory for temporarily storing the image after the vehicle movement acquired by the image acquisition unit 2.
  • the image acquisition unit 2, the image storage unit 3, the pre-movement image memory 4, and the post-movement image memory 5 constitute image acquisition means.
  • the edge extraction unit 6 extracts the edge of the object existing in the image before moving the vehicle stored in the pre-movement image memory 4 and also stores the image in the image after moving the vehicle stored in the post-movement image memory 5. The process of extracting the edge of the object existing in is performed.
  • the edge extracting unit 6 constitutes an edge extracting unit.
  • Corresponding point detection unit 7 performs matching for examining the correlation between the edge of the object existing in the image before moving the vehicle extracted by edge extracting unit 6 and the edge of the object existing in the image after moving the vehicle. To detect the corresponding points of both edges. Note that the corresponding point detection unit 7 constitutes a corresponding point detection unit.
  • the distance sensor 8 is an element that senses the moving distance of the vehicle.
  • the movement distance acquisition unit 9 collects sensor information of the distance sensor 8 and performs a process of acquiring the movement distance of the vehicle.
  • the distance sensor 8 and the movement distance acquisition unit 9 constitute movement distance measuring means.
  • the obstacle height calculating unit 10 calculates the height of the edge of the object present in the image from the moving distance of the vehicle acquired by the moving distance acquiring unit 9 and the corresponding point detected by the corresponding point detecting unit 7. Perform the process.
  • the obstacle height calculation unit 10 constitutes an edge height calculation means.
  • the height information display unit 11 superimposes the information indicating the height of the edge of the object calculated by the obstacle height calculating unit 10 on the image after moving the vehicle stored in the image memory 5 after moving, to obtain height information. A process of displaying the superimposed image on the display 12 is performed.
  • the height information display unit 11 and the display 12 constitute information display means.
  • FIG. 2 is a flowchart showing the processing contents of the vehicle obstacle height detection apparatus according to Embodiment 1 of the present invention.
  • the camera 1 is a calibrated digital camera having a horizontal resolution u a , a vertical resolution v a , and a viewing angle ⁇ . Further, as shown in FIG. 3, the elevation angle of the camera 1 is ⁇ with respect to the traveling road surface of the vehicle. Further, the horizontal direction of the camera 1 is parallel to the traveling road surface of the vehicle, and the camera 1 is installed at a height hc from the traveling road surface of the vehicle.
  • the camera 1 installed on the vehicle takes an image of the surroundings of the vehicle (step ST1).
  • the image acquisition unit 2 acquires an image before moving the vehicle captured by the camera 1.
  • the image storage unit 3 stores the pre-movement image acquired by the image acquisition unit 2 in the pre-movement image memory 4 (step ST2).
  • FIG. 4A is an explanatory diagram illustrating an example of an image before the vehicle moves.
  • the distance sensor 8 starts sensing before the vehicle starts moving (step ST3), and outputs sensor information indicating the moving distance of the vehicle to the moving distance acquisition unit 9. Thereafter, when the vehicle moves (step ST4), the camera 1 captures the surroundings of the vehicle (step ST5).
  • the distance sensor 8 ends sensing when the vehicle moves (step ST7).
  • the travel distance acquisition unit 9 collects sensor information output from the distance sensor 8 and acquires the travel distance D of the vehicle (step ST8).
  • the edge extraction unit 6 is stored in the pre-movement image memory 4 when the image storage unit 3 stores the pre-movement image in the pre-movement image memory 4 and the post-movement image in the post-movement image memory 5.
  • the edge of the object existing in the image before moving the vehicle is extracted, and the edge of the object existing in the image after moving the vehicle stored in the image memory 5 after movement is extracted (step) ST9).
  • edge extraction unit 6 for example, filtering that performs convolution integration with a Laplacian filter by passing an image before or after the vehicle movement through a Laplacian filter is conceivable. Further, template matching for examining the correlation between an image before or after the vehicle movement and a template that is a standard pattern of an object prepared in advance can be considered.
  • the edge extraction unit 6 extracts the edge of the object existing in the image
  • the corresponding point detection unit 7 exists in the image of the object before the vehicle movement and the image after the vehicle movement. Matching for examining the correlation with the edge of the object being performed is performed, and corresponding points of both edges are detected (step ST10).
  • a method for detecting the corresponding point in the corresponding point detection unit 7 for example, a method of comparing the minimum value (for example, the least square distance) of the sum of absolute differences around the pixel can be considered, and the corresponding point of the edge is detected.
  • the method is not particularly limited, and other image processing methods may be used.
  • the edge coordinates (u 0 , v 0 ) before moving the vehicle and the edge coordinates (u 1 , v 1 ) after moving the vehicle are detected as corresponding point information.
  • the obstacle height calculating unit 10 detects the moving distance D of the vehicle acquired by the moving distance acquiring unit 9 and the corresponding point information detected by the corresponding point detecting unit 7. From the edge coordinates (u 0 , v 0 ) before moving the vehicle and the edge coordinates (u 1 , v 1 ) after moving the vehicle, the height h of the edge of the object present in the image is calculated ( Step ST11).
  • the focal length of the camera 1 is f
  • the height of the edge from the road surface is hd.
  • the intersection of the perpendicular line from the camera 1 to the traveling road surface and the plane having the height hd is the origin O of the three-dimensional coordinates
  • the road surface vertically upward direction is the z axis
  • the optical axis of the camera 1 from the origin O and the plane having the height hd Is the y-axis
  • the vector direction given by the outer product of the y-axis and the z-axis is the x-axis
  • the coordinates of the camera 1 are C.
  • a plane perpendicular to the optical axis that is f away from the camera 1 in the optical axis direction is defined as a camera projection plane
  • a projection plane coordinate system origin Oc is defined as a projection plane coordinate system origin.
  • a line passing through the projection plane coordinate system origin Oc and parallel to the x-axis is defined as a u ′ axis
  • a vertically upward direction from the u ′ axis is defined as a v ′ axis.
  • the moving distance D of the vehicle can be expressed as the following equation (1).
  • the projection of the three-dimensional coordinates P0 (x 0 , y 0 , 0) of the edge before moving the vehicle and the three-dimensional coordinates P1 (x 1 , y 1 , 0) of the edge after moving the vehicle onto the projection plane coordinate system is as follows: As shown in FIG. 6, it is obtained as an intersection of the coordinates C of the camera 1, each edge, and the projection plane.
  • the coordinates of each point in the projection plane coordinate system are Q0 (u ′ 0 , v ′ 0 ) and Q1 (u ′ 1 , v ′ 1 ).
  • the intersection of the plane parallel to the x axis and the y axis passes through the coordinate C of the camera 1 and the three-dimensional coordinates P0 (x 0 , y 0 , 0) of the edge before moving the vehicle, and the coordinates of the camera 1 Passing through C and the three-dimensional coordinates P1 (x 1 , y 1 , 0) of the edge after moving the vehicle, the intersection point of the plane parallel to the x axis and the y axis is t1, and the angle P0-C-t0 is ⁇ , Assuming that P1-C-t1 is ⁇ , ⁇ and ⁇ can be expressed by the following equation (3).
  • FIG. 6 shows that the following expression (6) is established.
  • Equation (9) By substituting Equation (2) and Equation (8) into Equation (7), it can be summarized into Equation (9) below.
  • the height information display unit 11 displays information indicating the height h of the edge of the object as shown in FIG.
  • the image is superimposed on the image after moving the vehicle stored in the image memory 5 after movement, and the image is displayed on the display 12 (step ST12).
  • a character indicating the height h of the edge of the object is displayed in the vicinity of the edge of the object.
  • the edge of the object existing in the image before moving the vehicle extracted by the edge extraction unit 6 and the image after moving the vehicle exist.
  • a corresponding point detecting unit 7 for detecting a corresponding point with the edge of the object and a moving distance acquiring unit 9 for acquiring the moving distance of the vehicle using the distance sensor 8 are provided, and the obstacle height calculating unit 10 acquires the moving distance. Since the height of the edge of the object is calculated from the movement distance of the vehicle acquired by the unit 9 and the corresponding point detected by the corresponding point detection unit 7, without installing the rudder angle sensor on the vehicle, There is an effect that the altitude of the object can be calculated with high accuracy. Further, according to the first embodiment, since it is not necessary to calculate a special three-dimensional transformation matrix, there is an effect that the height of the object can be calculated easily and at high speed.
  • FIG. FIG. 9 is a block diagram showing an out-of-vehicle obstacle altitude detecting device according to Embodiment 2 of the present invention.
  • the overhead image conversion unit 21 converts an image before moving the vehicle stored in the pre-movement image memory 4 into an overhead image, and converts the image after moving the vehicle stored in the image memory 5 after movement into an overhead image. Perform the process.
  • the overhead image conversion unit 21 constitutes an overhead image conversion means.
  • the matching unit 22 extracts the feature points of the image before moving the vehicle and the image after moving the vehicle, which are converted into the overhead image by the overhead image conversion unit 21, and the feature point and the overhead image of the image before moving the vehicle that are the overhead images Matching with the feature points of the image after moving the vehicle is performed to associate the feature points.
  • the difference image generation unit 23 performs a process of generating a difference image between the two overhead images using the feature point association result by the matching unit 22.
  • the matching unit 22 and the difference image generation unit 23 constitute a difference image generation unit.
  • the obstacle detection unit 24 performs processing for detecting an obstacle having a height present in the difference image generated by the difference image generation unit 23.
  • the obstacle detection unit 24 constitutes an obstacle detection unit.
  • the edge extraction unit 25 performs a process of extracting an edge of an obstacle having a height detected by the obstacle detection unit 24.
  • the edge extraction unit 25 constitutes an edge extraction unit.
  • Corresponding point detection unit 26 detects the obstacle edge existing in the image before moving the vehicle and the obstacle existing in the image after moving the vehicle among the obstacle edges extracted by edge extraction unit 25. A process of detecting a corresponding point with the edge of the is performed. Note that the corresponding point detection unit 26 constitutes a corresponding point detection unit.
  • FIG. 10 is a flowchart showing the processing contents of the vehicle obstacle height detection apparatus according to Embodiment 2 of the present invention.
  • the height h of the edge of the object existing around the vehicle has been shown superimposed on the image.
  • the height is particularly high.
  • the height of the edge of the obstacle may be displayed.
  • the camera 1 installed on the vehicle takes an image of the surroundings of the vehicle (step ST1).
  • the image acquisition unit 2 acquires an image before moving the vehicle, which is captured by the camera 1, as in the first embodiment.
  • the image storage unit 3 stores the pre-movement image acquired by the image acquisition unit 2 in the pre-movement image memory 4 (step ST2).
  • the distance sensor 8 starts sensing before the vehicle starts moving (step ST3), and outputs sensor information indicating the moving distance of the vehicle to the moving distance acquisition unit 9. . Thereafter, when the vehicle moves (step ST4), the camera 1 captures the surroundings of the vehicle (step ST5).
  • the image acquisition unit 2 acquires the image after moving the vehicle captured by the camera 1 as in the first embodiment.
  • the image storage unit 3 stores the image after the vehicle movement acquired by the image acquisition unit 2 in the post-movement image memory 5 (step ST6).
  • the distance sensor 8 ends sensing as in the first embodiment (step ST7).
  • the travel distance acquisition unit 9 collects sensor information output from the distance sensor 8 and acquires the travel distance D of the vehicle (step ST8).
  • the overhead image conversion unit 21 stores the image in the image memory 4 before movement.
  • the image before moving the vehicle is converted into a bird's-eye view image
  • the image after moving the vehicle stored in the moved image memory 5 is converted into a bird's-eye view image (step ST21).
  • FIG. 11 is an explanatory diagram showing projection onto a traveling road surface.
  • the foot lowered from the coordinate C of the camera 1 to the traveling road surface is set as the origin O
  • the line segment to the coordinate C of the camera 1 is the z axis
  • the intersection point direction of the camera optical axis and the traveling road surface is the y axis
  • the y axis is the intersection point direction of the camera optical axis and the traveling road surface.
  • the vector given by the outer product of x and the z axis is the x axis.
  • the points projected on the road surface are ba, bb, bc, bd.
  • the camera is defined such that the midpoint of the upper side of the camera projection plane is cm, the midpoint of the lower side of the camera projection plane is cn, the intersection of the midpoint cm and the road surface is bm, and the intersection of the midpoint cn and the road surface is bn.
  • the center of the projection plane is Oc.
  • the y-coordinates of the points ba, bb, bc, and bd can be expressed as the following equation (10), and the z-coordinates of the four points are all 0.
  • the straight line C-cm f / cos ( ⁇ / 2) from FIG.
  • the x coordinate of the point ba is expressed as the following equation (12).
  • FIG. 14 is an explanatory view showing a bird's-eye view image converted from images before and after vehicle movement.
  • the matching unit 22 matches the two overhead images when the overhead image conversion unit 21 converts the image before moving the vehicle into an overhead image and converts the image after moving the vehicle into an overhead image.
  • Step ST22 For example, feature points of two overhead images are extracted by a general method such as SIFT (Scale-invariant features transform), and feature points having the smallest square distance are associated with each other.
  • SIFT Scale-invariant features transform
  • the difference image generation unit 23 When the matching unit 22 matches the two overhead images, the difference image generation unit 23 generates a difference image between the two overhead images using the result of matching the feature points in the two overhead images (step ST23). . That is, the difference image generation unit 23 converts the two overhead images so that the objects on the traveling road surface overlap each other, and then generates a difference image between the two images.
  • the overhead view display is a projection onto the traveling road surface
  • what is on the traveling road surface is displayed without distortion after the overhead view image conversion, but other things include the post-conversion distortion.
  • a white line or the like on a running road surface is converted normally, but a high line such as a road shoulder or an obstacle is converted with distortion.
  • the difference image is an image in which only a portion having a height from the traveling road surface is not zero.
  • the obstacle detection unit 24 detects an obstacle having a height existing in the difference image (step ST24). That is, as shown in FIG. 15, in the difference image, the obstacle detection unit 24 has a non-zero region with a height relative to the road surface of the vehicle. Decide on an area.
  • the obstacle region can be recognized in the overhead image before and after the vehicle movement.
  • InvHbef and invHaft are back-projected to an image (camera image) before being converted into a bird's-eye view image, and an obstacle area in the camera image is obtained.
  • the inverse matrices invHbef and invHaft of the plane projective transformation can be easily calculated because they are 3 ⁇ 3 inverse matrices.
  • the edge extraction unit 25 extracts an edge of the obstacle having a height (step ST25).
  • the edge extraction method in the edge extraction unit 25 is the same as that of the edge extraction unit 6 in the first embodiment.
  • the edge extraction unit 25 extracts the edge of an obstacle having a height
  • the corresponding point detection unit 26 exists in the image before moving the vehicle among the obstacle edges extracted by the edge extraction unit 25. Matching is performed to check the correlation between the edge of the obstacle and the edge of the obstacle present in the image after moving the vehicle, and corresponding points of both edges are detected (step ST26).
  • a hexagonal obstacle exists in the difference image, and the obstacle present in the image before the vehicle movement and the image after the vehicle movement exist in the difference image. Obstacles that are moving are slightly shifted and overlapped. In this case, for example, vertices of overlapping obstacles are detected as corresponding points.
  • the obstacle height calculating unit 10 detects the moving distance D of the vehicle acquired by the moving distance acquiring unit 9 and the corresponding point detecting unit, as in the first embodiment.
  • the height h of the edge of the object existing in the camera image is calculated from the information on the corresponding points detected by H (step ST11).
  • the height information display unit 11 moves the information indicating the height h of the edge of the obstacle after moving, as in the first embodiment.
  • the image is superimposed on the image after moving the vehicle stored in the image memory 5 and displayed on the display 12 (step ST12).
  • an obstacle having a particularly high height is detected from objects existing around the vehicle, and the height of the edge of the obstacle is determined. Since it is configured to display, when the user drives the vehicle, the information of the object that does not become an obstacle is not displayed, and only the information of the obstacle that the user needs to pay attention to can be accurately presented. There is an effect.
  • the vehicle obstacle height detection device is suitable for detecting the height of obstacles around the vehicle and presenting the height of the obstacle to a driver or the like to call attention. ing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　エッジ抽出部６により抽出された車両移動前の画像内に存在している物体のエッジと車両移動後の画像内に存在している物体のエッジとの対応点を検出する対応点検出部７と、距離センサ８を用いて、車両の移動距離を取得する移動距離取得部９とを設け、障害物高度算出部１０が移動距離取得部９により取得された車両の移動距離と対応点検出部７により検出された対応点から、物体のエッジの高さを算出するようにしたものである。

Description

車外障害物高度検出装置
　この発明は、車両の周囲に存在する障害物の高度を検出する車外障害物高度検出装置に関するものである。
　従来の車外障害物高度検出装置は、車両が移動する前にカメラにより撮影された画像を俯瞰画像に変換するとともに、車両が移動した後にカメラにより撮影された画像を俯瞰画像に変換し、２つの俯瞰画像の差分画像から車両の周囲に存在する障害物を検出する。
　また、車外障害物高度検出装置は、距離センサと舵角センサを用いて、３次元的な車両の移動を測定する。
　即ち、車外障害物高度検出装置は、距離センサを用いて、並進行列を算出し、舵角センサを用いて、回転行列を算出する。
　そして、車外障害物高度検出装置は、２つの俯瞰画像の差分画像と並進行列及び回転行列を用いて、所定の演算を実施することにより、障害物の高度を算出する（例えば、特許文献１を参照）。
特開２００１－１１４０４７号公報（段落番号［００２０］から［００４５］、図１）
　従来の車外障害物高度検出装置は以上のように構成されているので、近年一般的に搭載されている距離センサの他に、舵角センサを車両に搭載すれば、障害物の高度を算出することができる。しかし、距離センサで生じる誤差と、舵角センサで生じる誤差が累積してしまうため、障害物の高度に大きな誤差が生じてしまうなどの課題があった。
　この発明は上記のような課題を解決するためになされたもので、舵角センサを車両に搭載せずに、精度よく障害物の高度を算出することができる車外障害物高度検出装置を得ることを目的とする。
　この発明に係る車外障害物高度検出装置は、エッジ抽出手段により抽出された車両移動前の画像内に存在している物体のエッジと車両移動後の画像内に存在している物体のエッジとの対応点を検出する対応点検出手段と、車両の移動距離を測定する移動距離測定手段とを設け、エッジ高度算出手段が移動距離測定手段により測定された車両の移動距離と対応点検出手段により検出された対応点から、物体のエッジの高さを算出するようにしたものである。
　このことによって、舵角センサを車両に搭載せずに、精度よく物体の高度を算出することができる効果がある。
この発明の実施の形態１による車外障害物高度検出装置を示す構成図である。 この発明の実施の形態１による車外障害物高度検出装置の処理内容を示すフローチャートである。 カメラ１の設置状況を示す説明図である。 車両移動前の画像と車両移動後の画像の一例を示す説明図である。 カメラ１の座標系等を示す説明図である。 エッジの３次元座標Ｐ０，Ｐ１の投影面座標系への投影を示す説明図である。 ｙｚ面への投影を示す説明図である。 物体のエッジの高さｈを示す情報が重畳されている車両移動後の画像を示す説明図である。 この発明の実施の形態２による車外障害物高度検出装置を示す構成図である。 この発明の実施の形態２による車外障害物高度検出装置の処理内容を示すフローチャートである。 走行路面への投影を示す説明図である。 ｙｚ平面への投影を示す説明図である。 三角形Ｃ-ｂｂ-ｂｍを示す説明図である。 車両移動前後の画像から変換された俯瞰画像を示す説明図である。 差分画像生成部２３により生成される差分画像を示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
　図１はこの発明の実施の形態１による車外障害物高度検出装置を示す構成図である。
　図１において、カメラ１は例えば車両のバンパーなどに設置され、車両の周囲を撮影するデジタル撮像装置である。なお、カメラ１は撮影手段を構成している。
　画像取得部２は車両が移動する前にカメラ１により撮影された画像を取得するとともに、車両が移動した後にカメラ１により撮影された画像を取得する処理を実施する。
　画像保存部３は画像取得部２により取得された車両移動前の画像を移動前画像メモリ４に格納し、画像取得部２により取得された車両移動後の画像を移動後画像メモリ５に格納する処理を実施する。
　移動前画像メモリ４は画像取得部２により取得された車両移動前の画像を一時的に記憶するメモリである。
　移動後画像メモリ５は画像取得部２により取得された車両移動後の画像を一時的に記憶するメモリである。
　なお、画像取得部２、画像保存部３、移動前画像メモリ４及び移動後画像メモリ５から画像取得手段が構成されている。
　エッジ抽出部６は移動前画像メモリ４に格納されている車両移動前の画像内に存在している物体のエッジを抽出するとともに、移動後画像メモリ５に格納されている車両移動後の画像内に存在している物体のエッジを抽出する処理を実施する。なお、エッジ抽出部６はエッジ抽出手段を構成している。
　対応点検出部７はエッジ抽出部６により抽出された車両移動前の画像内に存在している物体のエッジと、車両移動後の画像内に存在している物体のエッジとの相関を調べるマッチングを実施して、双方のエッジの対応点を検出する処理を実施する。なお、対応点検出部７は対応点検出手段を構成している。
　距離センサ８は車両の移動距離をセンシングする素子である。
　移動距離取得部９は距離センサ８のセンサ情報を収集して、車両の移動距離を取得する処理を実施する。
　なお、距離センサ８及び移動距離取得部９から移動距離測定手段が構成されている。
　障害物高度算出部１０は移動距離取得部９により取得された車両の移動距離と対応点検出部７により検出された対応点から、画像内に存在している物体のエッジの高さを算出する処理を実施する。なお、障害物高度算出部１０はエッジ高度算出手段を構成している。
　高さ情報表示部１１は障害物高度算出部１０により算出された物体のエッジの高さを示す情報を移動後画像メモリ５に格納されている車両移動後の画像に重畳して、高さ情報重畳後の画像をディスプレイ１２に表示する処理を実施する。
　なお、高さ情報表示部１１及びディスプレイ１２から情報表示手段が構成されている。
　図２はこの発明の実施の形態１による車外障害物高度検出装置の処理内容を示すフローチャートである。
　次に動作について説明する。
　カメラ１は校正済みのデジタルカメラであり、水平解像度がｕa、垂直解像度がｖa、視野角がφである。
　また、カメラ１は、図３に示すように、車両の走行路面に対して、仰角がθである。
　また、カメラ１の水平方向と車両の走行路面が平行であり、車両の走行路面から高さｈｃの位置にカメラ１が設置されている。
　まず、車両が移動する前に、車両に設置されているカメラ１が車両の周囲を撮影する（ステップＳＴ１）。
　画像取得部２は、カメラ１が車両の周囲を撮影すると、カメラ１により撮影された車両移動前の画像を取得する。
　画像保存部３は、画像取得部２により取得された車両移動前の画像を移動前画像メモリ４に格納する（ステップＳＴ２）。
　ここで、図４（ａ）は車両移動前の画像の一例を示す説明図である。
　距離センサ８は、車両が移動を開始する前に、センシングを開始して（ステップＳＴ３）、車両の移動距離を示すセンサ情報を移動距離取得部９に出力する。
　その後、車両が移動すると（ステップＳＴ４）、カメラ１が車両の周囲を撮影する（ステップＳＴ５）。
　画像取得部２は、カメラ１が車両の周囲を撮影すると、カメラ１により撮影された車両移動後の画像を取得する。
　画像保存部３は、画像取得部２により取得された車両移動後の画像を移動後画像メモリ５に格納する（ステップＳＴ６）。
　ここで、図４（ｂ）は車両移動後の画像の一例を示す説明図である。
　距離センサ８は、車両が移動すると、センシングを終了する（ステップＳＴ７）。
　移動距離取得部９は、距離センサ８から出力されるセンサ情報を収集して、車両の移動距離Ｄを取得する（ステップＳＴ８）。
　エッジ抽出部６は、画像保存部３が車両移動前の画像を移動前画像メモリ４に格納して、車両移動後の画像を移動後画像メモリ５に格納すると、移動前画像メモリ４に格納されている車両移動前の画像内に存在している物体のエッジを抽出するとともに、移動後画像メモリ５に格納されている車両移動後の画像内に存在している物体のエッジを抽出する（ステップＳＴ９）。
　エッジ抽出部６におけるエッジの抽出方法としては、例えば、車両移動前又は車両移動後の画像をラプラシアンフィルタに通すことにより、ラプラシアンフィルタとの畳み込み積分を行うフィルタリングが考えられる。
　また、車両移動前又は車両移動後の画像と、予め用意されている物体の標準パターンであるテンプレートとの相関を調べるテンプレートマッチングなどが考えられる。
　対応点検出部７は、エッジ抽出部６が画像内に存在している物体のエッジを抽出すると、車両移動前の画像内に存在している物体のエッジと、車両移動後の画像内に存在している物体のエッジとの相関を調べるマッチングを実施して、双方のエッジの対応点を検出する（ステップＳＴ１０）。
　対応点検出部７における対応点の検出方法としては、例えば、ピクセル周辺の差分絶対値和の最小値（例えば、最小二乗距離）を比較する方法などが考えられるが、エッジの対応点を検出する方法は特に限定するものではなく、他の画像処理手法を用いてもよい。
　図４の例では、車両移動前のエッジ座標（ｕ0，ｖ0）と、車両移動後のエッジ座標（ｕ1，ｖ1）が対応点の情報として検出される。
　障害物高度算出部１０は、対応点検出部７がエッジの対応点を検出すると、移動距離取得部９により取得された車両の移動距離Ｄと対応点検出部７により検出された対応点の情報（車両移動前のエッジ座標（ｕ0，ｖ0）と、車両移動後のエッジ座標（ｕ1，ｖ1））から、画像内に存在している物体のエッジの高さｈを算出する（ステップＳＴ１１）。
　以下、障害物高度算出部１０によるエッジの高さｈの算出処理を具体的に説明する。
　ここでは、図５に示すように、カメラ１の焦点距離をｆ、走行路面からのエッジの高さをｈｄとする。
　また、カメラ１から走行路面への垂線と高さｈｄの平面との交点を３次元座標の原点Ｏとして、路面垂直上方向をｚ軸、原点Ｏからカメラ１の光軸と高さｈｄの平面の交点方向をｙ軸、ｙ軸とｚ軸の外積で与えられるベクトル方向をｘ軸、カメラ１の座標をＣとする。
　さらに、カメラ１から光軸方向にｆ離れている光軸に垂直な面をカメラ投影面として、光軸とカメラ投影面との交点を投影面座標系原点Ｏｃとする。また、投影面座標系原点Ｏｃを通り、ｘ軸と平行な線をｕ’軸、ｕ’軸と垂直上向きをｖ’軸とする。
　まず、車両の移動を考慮して、車両移動前のエッジの３次元座標をＰ０（ｘ0，ｙ0，０）、車両移動後のエッジの３次元座標をＰ１（ｘ1，ｙ1，０）とする（図６を参照）。
　このとき、カメラ１が設置されている位置に対するエッジの移動量と、車両の移動量が同じであるため、車両の移動距離Ｄは、以下の式（１）のように表すことができる。
Figure JPOXMLDOC01-appb-M000001
　車両移動前のエッジの３次元座標Ｐ０（ｘ0，ｙ0，０）と、車両移動後のエッジの３次元座標Ｐ１（ｘ1，ｙ1，０）の投影面座標系への投影は、図６に示すように、カメラ１の座標Ｃと各エッジと投影面との交点として得られる。
　図６では、投影面座標系での各点の座標をＱ０(ｕ’0，ｖ’0)、Ｑ１(ｕ’1，ｖ’1)としている。
　実際に取得されるカメラの座標系は、左上が原点であるため、投影面座標系との関係は以下の式（２）のように表現される。
Figure JPOXMLDOC01-appb-M000002
　ここで、カメラ１の座標Ｃと車両移動前のエッジの３次元座標Ｐ０（ｘ0，ｙ0，０）を通り、ｘ軸に平行な面とｙ軸との交点をｔ０、カメラ１の座標Ｃと車両移動後のエッジの３次元座標Ｐ１（ｘ1，ｙ1，０）を通り、ｘ軸に平行な面とｙ軸との交点をｔ１として、角Ｐ０-Ｃ-ｔ０をα、角Ｐ１-Ｃ-ｔ１をβとすると、α，βを下記の式（３）のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
　一方、車両の走行路面と直線Ｃ-ｔ０のなす角をγ、直線Ｃ-ｔ１のなす角をδとすると、下記の式（４）が成立する。参考のために、ｙｚ面への投影図を図７に示している。
Figure JPOXMLDOC01-appb-M000004
　また、図７より、直線Ｃ-ｔ０の長さはｈｄ／ｓｉｎγ、直線Ｃ-ｔ１の長さはｈｄ／ｓｉｎδとなり、角Ｐ０-Ｃ-ｔ０がα、角Ｐ１-Ｃ-ｔ１がβであることから、下記の式（５）が成立する。
Figure JPOXMLDOC01-appb-M000005
　また、図６より、下記の式（６）が成立することがわかる。
Figure JPOXMLDOC01-appb-M000006
　式（３）～式（６）において、γ，δがそれぞれ０°から９０°であることを考慮すると、下記の式（７）のように整理することができる。
Figure JPOXMLDOC01-appb-M000007
　また、カメラ１の垂直解像度がｖa、縦方向の視野角がφであるため、下記の式（８）が成立する。
Figure JPOXMLDOC01-appb-M000008
　式（２）及び式（８）を式（７）に代入することで、下記の式（９）にまとめることができる。
Figure JPOXMLDOC01-appb-M000009
　式（９）を式（１）に代入すると、走行路面からのエッジの高さｈｄを唯一の変数とする２次方程式になるため、容易に高さｈｄを算出することができる。
　そして、ｈ＝ｈｃ－ｈｄとすることで、物体のエッジの高さｈを算出することができる。
　高さ情報表示部１１は、上記のようにして、障害物高度算出部１０が物体のエッジの高さｈを算出すると、図８に示すように、物体のエッジの高さｈを示す情報を移動後画像メモリ５に格納されている車両移動後の画像に重畳して、当該画像をディスプレイ１２に表示する（ステップＳＴ１２）。
　図８の例では、物体のエッジの高さｈを示す文字を物体のエッジの近傍に表示している。
　以上で明らかなように、この実施の形態１によれば、エッジ抽出部６により抽出された車両移動前の画像内に存在している物体のエッジと車両移動後の画像内に存在している物体のエッジとの対応点を検出する対応点検出部７と、距離センサ８を用いて、車両の移動距離を取得する移動距離取得部９とを設け、障害物高度算出部１０が移動距離取得部９により取得された車両の移動距離と対応点検出部７により検出された対応点から、物体のエッジの高さを算出するように構成したので、舵角センサを車両に搭載せずに、精度よく物体の高度を算出することができる効果を奏する。
　また、この実施の形態１によれば、特別な３次元変換行列の算出が不要であるため、容易かつ高速に物体の高さを算出をすることができる効果を奏する。
実施の形態２．
　図９はこの発明の実施の形態２による車外障害物高度検出装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
　俯瞰画像変換部２１は移動前画像メモリ４に格納されている車両移動前の画像を俯瞰画像に変換するとともに、移動後画像メモリ５に格納されている車両移動後の画像を俯瞰画像に変換する処理を実施する。なお、俯瞰画像変換部２１は俯瞰画像変換手段を構成している。
　マッチング部２２は俯瞰画像変換部２１により俯瞰画像に変換された車両移動前の画像及び車両移動後の画像の特徴点を抽出して、俯瞰画像である車両移動前の画像の特徴点と俯瞰画像である車両移動後の画像の特徴点とのマッチングを実施して、特徴点の対応付けを行う。
　差分画像生成部２３はマッチング部２２による特徴点の対応付け結果を用いて、２つの俯瞰画像の差分画像を生成する処理を実施する。
　なお、マッチング部２２及び差分画像生成部２３から差分画像生成手段が構成されている。
　障害物検知部２４は差分画像生成部２３により生成された差分画像内に存在している高さを持つ障害物を検知する処理を実施する。なお、障害物検知部２４は障害物検出手段を構成している。
　エッジ抽出部２５は障害物検知部２４により検知された高さを持つ障害物のエッジを抽出する処理を実施する。なお、エッジ抽出部２５はエッジ抽出手段を構成している。
　対応点検出部２６はエッジ抽出部２５により抽出された障害物のエッジのうち、車両移動前の画像内に存在している障害物のエッジと車両移動後の画像内に存在している障害物のエッジとの対応点を検出する処理を実施する。なお、対応点検出部２６は対応点検出手段を構成している。
　図１０はこの発明の実施の形態２による車外障害物高度検出装置の処理内容を示すフローチャートである。
　上記実施の形態１では、車両の周辺に存在している物体のエッジの高さｈを画像に重畳表示するものについて示したが、車両の周辺に存在している物体の中で、特に高さを持つ障害物を検出して、その障害物のエッジの高さを表示するようにしてもよい。
　次に動作について説明する。
　まず、車両が移動する前に、車両に設置されているカメラ１が車両の周囲を撮影する（ステップＳＴ１）。
　画像取得部２は、カメラ１が車両の周囲を撮影すると、上記実施の形態１と同様に、カメラ１により撮影された車両移動前の画像を取得する。
　画像保存部３は、画像取得部２により取得された車両移動前の画像を移動前画像メモリ４に格納する（ステップＳＴ２）。
　距離センサ８は、上記実施の形態１と同様に、車両が移動を開始する前に、センシングを開始して（ステップＳＴ３）、車両の移動距離を示すセンサ情報を移動距離取得部９に出力する。
　その後、車両が移動すると（ステップＳＴ４）、カメラ１が車両の周囲を撮影する（ステップＳＴ５）。
　画像取得部２は、カメラ１が車両の周囲を撮影すると、上記実施の形態１と同様に、カメラ１により撮影された車両移動後の画像を取得する。
　画像保存部３は、画像取得部２により取得された車両移動後の画像を移動後画像メモリ５に格納する（ステップＳＴ６）。
　距離センサ８は、車両が移動すると、上記実施の形態１と同様に、センシングを終了する（ステップＳＴ７）。
　移動距離取得部９は、距離センサ８から出力されるセンサ情報を収集して、車両の移動距離Ｄを取得する（ステップＳＴ８）。
　俯瞰画像変換部２１は、画像保存部３が車両移動前の画像を移動前画像メモリ４に格納して、車両移動後の画像を移動後画像メモリ５に格納すると、移動前画像メモリ４に格納されている車両移動前の画像を俯瞰画像に変換するとともに、移動後画像メモリ５に格納されている車両移動後の画像を俯瞰画像に変換する（ステップＳＴ２１）。
　以下、俯瞰画像変換部２１による俯瞰画像への変換処理を具体的に説明する。
　図１１は走行路面への投影を示す説明図である。
　図１１では、カメラ１の座標Ｃから走行路面へ下ろした足を原点Ｏとして、カメラ１の座標Ｃへの線分をｚ軸、カメラの光軸と走行路面の交点方向をｙ軸、ｙ軸とｚ軸の外積で与えられるベクトルをｘ軸としている。
　また、カメラ投影面の端４点をｃａ（右上），ｃｂ（左上），ｃｃ（左下），ｃｄ（右下）として、それぞれの点を走行路面上に投影した点をｂａ，ｂｂ，ｂｃ，ｂｄとしている。
　また、カメラ投影面の上辺の中点をｃｍ、カメラ投影面の下辺の中点をｃｎ、中点ｃｍと走行路面との交点をｂｍ、中点ｃｎと走行路面との交点をｂｎとして、カメラ投影面の中心をＯｃとしている。
　俯瞰画像への変換を求めるには、“ｃａ，ｃｂ，ｃｃ，ｃｄ”に囲まれる矩形が走行路面のどの座標に投影されるかを求めればよい。
　“ｃａ，ｃｂ，ｃｃ，ｃｄ”は、カメラ座標系で（０，０）、（ｕa，０）、（０，ｖa）、（ｕa，ｖa）に対応している。
　これらの座標の走行路面を考慮するために、図１２に示すような各点のｙｚ平面への投影を行う。
　ｙｚ平面への投影を行うと、点ｂａと点ｂｂは点ｂｍに射影され、点ｂｃと点ｂｄは点ｂｎに射影される。
　また、点ｃａと点ｃｂは点ｃｍに射影され、点ｃｃと点ｃｄは点ｃｎに射影される。
　図１２より、点ｂａ，ｂｂ，ｂｃ，ｂｄのｙ座標は、下記の式（１０）のように表すことができ、４点のｚ座標は全て０である。
Figure JPOXMLDOC01-appb-M000010
　次に、図１３に示すような三角形Ｃ-ｂｂ-ｂｍを考える。
　直線Ｃ-ｂｍは、図１２より、直線Ｃ-ｂｍ＝ｈｃ／ｓｉｎ（θ－φ／２）である。
　一方、カメラの座標Ｃからカメラ投影面への距離をｆとすると、図１２より、直線Ｃ-ｃｍ＝ｆ／ｃｏｓ（φ／２）である。
　また、直線Ｃｍ-Ｏｃは、図１２より、直線Ｃｍ-Ｏｃ＝ｆ・ｔａｎ（φ／２）であるので、カメラ投影面のアスペクト比が、ｕa：ｖaであることを考慮すると、直線ｃｍ-ｃｂ＝（ｕa／ｖa）・ｆ・ｔａｎ（φ／２）となる。
　ここで、図１３に示すように、Ｃ-ｃｍ：Ｃ-ｃｂ＝Ｃ-ｂｍ：Ｃ-ｂｂであるので、直線ｂｂ-ｂｍ、即ち、点ｂｂのｘ座標は、下記の式（１１）のように表される。
Figure JPOXMLDOC01-appb-M000011
　点ｂｂと点ｂａがｙｚ面で対象であることを考慮すると、点ｂａのｘ座標は、下記の式（１２）のように表される。
Figure JPOXMLDOC01-appb-M000012
　同様に、三角形Ｃ-ｂｃ-ｂｎ、点ｂｃと点ｂｄの対称性について考えると、点ｂｃと点ｂｄのｘ座標は、下記の式（１３）のように表される。
Figure JPOXMLDOC01-appb-M000013
　整理すると、点ｂａ，ｂｂ，ｂｃ，ｂｄの座標は、下記の式（１４）のように表される。
Figure JPOXMLDOC01-appb-M000014
　これら４頂点に対応するカメラ座標は、（０，０），（ｕa－１，０），（ｕa－１，ｖa－１），（０，ｖa－１）であるので、移動前後のカメラ画像を走行路面に投影するような平面射影変換Ｈｂｅｆ，Ｈａｆｔをそれぞれ算出することができる。
　平面射影変換は自由度８の３×３行列であり、４点の対応により算出できることが知られている。
　カメラ画像から走行路面への変換、つまり俯瞰画像への変換Ｈｂｅｆ，Ｈａｆｔが算出されると、車両移動前後の画像を俯瞰画像に変換することができる。
　図１４は車両移動前後の画像から変換された俯瞰画像を示す説明図である。
　マッチング部２２は、上記のようにして、俯瞰画像変換部２１が車両移動前の画像を俯瞰画像に変換するとともに、車両移動後の画像を俯瞰画像に変換すると、２つの俯瞰画像のマッチングを行う（ステップＳＴ２２）。
　例えば、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ　ｆｅａｔｕｒｅｓ　ｔｒａｎｓｆｏｒｍ）などの一般的な手法で、２つの俯瞰画像の特徴点を抽出し、二乗距離が最小な特徴点同士の対応付けを行う。
　差分画像生成部２３は、マッチング部２２が２つの俯瞰画像のマッチングを行うと、２つの俯瞰画像における特徴点の対応付け結果を用いて、２つの俯瞰画像の差分画像を生成する（ステップＳＴ２３）。
　即ち、差分画像生成部２３は、２つの俯瞰画像の走行路面上の物体が重なるように変換し、その後、２つの画像の差分画像を生成する。
　俯瞰表示は走行路面への投影であるため、走行路面上にあるものは、俯瞰画像変換後歪みなく表示されるが、それ以外のものは変換後歪みを含むようになる。
　例えば、走行路面上にある白線などは正常に変換されるが、路肩や障害物のような高さのあるものは歪みをもって変換される。
　このため、差分画像は、図１５に示すように、走行路面から高さを持つ部分のみが０とならないような画像になる。
　障害物検知部２４は、差分画像生成部２３が差分画像を生成すると、その差分画像内に存在している高さを持つ障害物を検知する（ステップＳＴ２４）。
　即ち、障害物検知部２４は、差分画像では、図１５に示すように、車両の走行路面に対して、高さを持つ領域だけが非零となるので、その高さを持つ領域を障害物領域に決定する。
　障害物検知部２４は、差分画像内での障害物領域を決定すると、車両移動前及び車両移動後の俯瞰画像内でも障害物領域がわかるため、それらの障害物領域を平面射影変換の逆行列ｉｎｖＨｂｅｆ，ｉｎｖＨａｆｔによって俯瞰画像に変換する前の画像（カメラ画像）に逆射影し、カメラ画像内での障害物領域を求める。
　なお、平面射影変換の逆行列ｉｎｖＨｂｅｆ，ｉｎｖＨａｆｔは、３×３の逆行列であるため容易に算出することができる。
　エッジ抽出部２５は、障害物検知部２４が高さを持つ障害物を検知すると、高さを持つ障害物のエッジを抽出する（ステップＳＴ２５）。
　エッジ抽出部２５におけるエッジの抽出方法は、上記実施の形態１におけるエッジ抽出部６と同様である。
　対応点検出部２６は、エッジ抽出部２５が高さを持つ障害物のエッジを抽出すると、エッジ抽出部２５により抽出された障害物のエッジのうち、車両移動前の画像内に存在している障害物のエッジと、車両移動後の画像内に存在している障害物のエッジとの相関を調べるマッチングを実施して、双方のエッジの対応点を検出する（ステップＳＴ２６）。
　図１５の例では、差分画像内に六角形の障害物が存在しており、差分画像内には、車両移動前の画像内に存在している障害物と、車両移動後の画像内に存在している障害物とが、少しだけずれて、重なり合っている。
　この場合、例えば、重なり合っている各障害物の頂点同士を対応点として検出する。
　障害物高度算出部１０は、対応点検出部２６がエッジの対応点を検出すると、上記実施の形態１と同様に、移動距離取得部９により取得された車両の移動距離Ｄと対応点検出部２６により検出された対応点の情報から、カメラ画像内に存在している物体のエッジの高さｈを算出する（ステップＳＴ１１）。
　高さ情報表示部１１は、障害物高度算出部１０が障害物のエッジの高さｈを算出すると、上記実施の形態１と同様に、障害物のエッジの高さｈを示す情報を移動後画像メモリ５に格納されている車両移動後の画像に重畳して、当該画像をディスプレイ１２に表示する（ステップＳＴ１２）。
　以上で明らかなように、この実施の形態２によれば、車両の周辺に存在している物体の中で、特に高さを持つ障害物を検出して、その障害物のエッジの高さを表示するように構成したので、ユーザが車両を運転する上で、障害とならない物体の情報を表示することがなくなり、ユーザが注意する必要がある障害物の情報のみを的確に提示することができる効果を奏する。
　以上のように、この発明に係る車外障害物高度検出装置は、車両の周囲に存在する障害物の高度を検出し、障害物の高度を運転者などに提示して注意を喚起するものに適している。

Claims (8)

  1. 　車両の周囲を撮影する撮影手段と、上記車両が移動する前に上記撮影手段により撮影された画像を取得するとともに、上記車両が移動した後に上記撮影手段により撮影された画像を取得する画像取得手段と、上記画像取得手段により取得された車両移動前の画像内に存在している物体のエッジを抽出するとともに、上記画像取得手段により取得された車両移動後の画像内に存在している物体のエッジを抽出するエッジ抽出手段と、上記エッジ抽出手段により抽出された車両移動前の画像内に存在している物体のエッジと車両移動後の画像内に存在している物体のエッジとの対応点を検出する対応点検出手段と、上記車両の移動距離を測定する移動距離測定手段と、上記移動距離測定手段により測定された車両の移動距離と上記対応点検出手段により検出された対応点から、上記物体のエッジの高さを算出するエッジ高度算出手段とを備えた車外障害物高度検出装置。
  2. 　エッジ高度算出手段により算出された物体のエッジの高さを示す情報を画像取得手段により取得された車両移動後の画像に重畳して表示する情報表示手段を設けたことを特徴とする請求項１記載の車外障害物高度検出装置。
  3. 　エッジ抽出手段は、画像取得手段により取得された画像をラプラシアンフィルタに通すフィルタリング、または、上記画像取得手段により取得された画像と予め用意されているテンプレートの相関を調べるテンプレートマッチングを実施して、上記画像取得手段により取得された画像内に存在している物体のエッジを抽出することを特徴とする請求項１記載の車外障害物高度検出装置。
  4. 　対応点検出手段は、エッジ抽出手段により抽出された車両移動前の画像内に存在している物体のエッジと、車両移動後の画像内に存在している物体のエッジとの相関を調べるマッチングを実施して、双方のエッジの対応点を検出することを特徴とする請求項１記載の車外障害物高度検出装置。
  5. 　情報表示手段は、エッジ高度算出手段により算出された物体のエッジの高さを示す文字を車両移動後の画像内に存在している物体のエッジの近傍に表示することを特徴とする請求項２記載の車外障害物高度検出装置。
  6. 　車両の周囲を撮影する撮影手段と、上記車両が移動する前に上記撮影手段により撮影された画像を取得するとともに、上記車両が移動した後に上記撮影手段により撮影された画像を取得する画像取得手段と、上記画像取得手段により取得された車両移動前の画像を俯瞰画像に変換するとともに、上記画像取得手段により取得された車両移動後の画像を俯瞰画像に変換する俯瞰画像変換手段と、上記俯瞰画像変換手段により俯瞰画像に変換された車両移動前の画像と車両移動後の画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像内に存在している高さを持つ障害物を検出する障害物検出手段と、上記障害物検出手段により検出された障害物のエッジを抽出するエッジ抽出手段と、上記エッジ抽出手段により抽出された障害物のエッジのうち、車両移動前の画像内に存在している障害物のエッジと車両移動後の画像内に存在している障害物のエッジとの対応点を検出する対応点検出手段と、上記車両の移動距離を測定する移動距離測定手段と、上記移動距離測定手段により測定された車両の移動距離と上記対応点検出手段により検出された対応点から、上記障害物のエッジの高さを算出するエッジ高度算出手段とを備えた車外障害物高度検出装置。
  7. 　エッジ高度算出手段により算出された障害物のエッジの高さを示す情報を画像取得手段により取得された車両移動後の画像に重畳して表示する情報表示手段を設けたことを特徴とする請求項６記載の車外障害物高度検出装置。
  8. 　差分画像生成手段は、俯瞰画像変換手段により俯瞰画像に変換された車両移動前の画像及び車両移動後の画像の特徴点を抽出して、俯瞰画像である車両移動前の画像の特徴点と俯瞰画像である車両移動後の画像の特徴点との対応付けを実施し、特徴点の対応付け結果を用いて、２つの俯瞰画像の差分画像を生成することを特徴とする請求項６記載の車外障害物高度検出装置。
PCT/JP2008/002935 2008-10-16 2008-10-16 車外障害物高度検出装置 WO2010044127A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/002935 WO2010044127A1 (ja) 2008-10-16 2008-10-16 車外障害物高度検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/002935 WO2010044127A1 (ja) 2008-10-16 2008-10-16 車外障害物高度検出装置

Publications (1)

Publication Number Publication Date
WO2010044127A1 true WO2010044127A1 (ja) 2010-04-22

Family

ID=42106305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/002935 WO2010044127A1 (ja) 2008-10-16 2008-10-16 車外障害物高度検出装置

Country Status (1)

Country Link
WO (1) WO2010044127A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018999A1 (ja) * 2009-08-12 2011-02-17 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
WO2011155112A1 (ja) * 2010-06-08 2011-12-15 パナソニック株式会社 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム
WO2015160639A1 (en) * 2014-04-14 2015-10-22 Bendix Commercial Vehicle Systems Llc Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object
CN112014845A (zh) * 2020-08-28 2020-12-01 安徽江淮汽车集团股份有限公司 一种车辆障碍物定位方法、装置、设备及存储介质
WO2022009537A1 (ja) * 2020-07-07 2022-01-13 日立Astemo株式会社 画像処理装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249128A (ja) * 1994-03-08 1995-09-26 Mitsubishi Electric Corp 車両用画像処理装置
JP2000331148A (ja) * 1999-05-19 2000-11-30 Nissan Motor Co Ltd 障害物検出装置
JP2001114047A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車両周囲状況提示装置
JP2002024986A (ja) * 2000-07-06 2002-01-25 Nippon Signal Co Ltd:The 歩行者検出装置
JP2004069583A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 画像処理装置
JP2004110521A (ja) * 2002-09-19 2004-04-08 Denso Corp 変位データ抽出方法及び物体検出装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2004356846A (ja) * 2003-05-28 2004-12-16 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249128A (ja) * 1994-03-08 1995-09-26 Mitsubishi Electric Corp 車両用画像処理装置
JP2000331148A (ja) * 1999-05-19 2000-11-30 Nissan Motor Co Ltd 障害物検出装置
JP2001114047A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車両周囲状況提示装置
JP2002024986A (ja) * 2000-07-06 2002-01-25 Nippon Signal Co Ltd:The 歩行者検出装置
JP2004069583A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 画像処理装置
JP2004110521A (ja) * 2002-09-19 2004-04-08 Denso Corp 変位データ抽出方法及び物体検出装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2004356846A (ja) * 2003-05-28 2004-12-16 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018999A1 (ja) * 2009-08-12 2011-02-17 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
JP5299513B2 (ja) * 2009-08-12 2013-09-25 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
US8755634B2 (en) 2009-08-12 2014-06-17 Nec Corporation Obstacle detection device and method and obstacle detection system
WO2011155112A1 (ja) * 2010-06-08 2011-12-15 パナソニック株式会社 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム
WO2015160639A1 (en) * 2014-04-14 2015-10-22 Bendix Commercial Vehicle Systems Llc Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object
US9342747B2 (en) 2014-04-14 2016-05-17 Bendix Commercial Vehicle Systems Llc Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object
WO2022009537A1 (ja) * 2020-07-07 2022-01-13 日立Astemo株式会社 画像処理装置
JP2022014673A (ja) * 2020-07-07 2022-01-20 日立Astemo株式会社 画像処理装置
JP7404173B2 (ja) 2020-07-07 2023-12-25 日立Astemo株式会社 画像処理装置
CN112014845A (zh) * 2020-08-28 2020-12-01 安徽江淮汽车集团股份有限公司 一种车辆障碍物定位方法、装置、设备及存储介质
CN112014845B (zh) * 2020-08-28 2024-01-30 安徽江淮汽车集团股份有限公司 一种车辆障碍物定位方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
JP4899424B2 (ja) 物体検出装置
US8842181B2 (en) Camera calibration apparatus
US20170140229A1 (en) External environment recognizing device for vehicle and vehicle behavior control device
JP4803449B2 (ja) 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
CN106447730B (zh) 参数估计方法、装置和电子设备
JP4876118B2 (ja) 立体物出現検知装置
KR101243108B1 (ko) 차량의 후방 영상 표시 장치 및 방법
JP4958279B2 (ja) 物体検出装置
US20080170122A1 (en) Image processor, driving assistance system, and out-of-position detecting method
US20090268027A1 (en) Driving Assistance System And Vehicle
US20020029127A1 (en) Method and apparatus for measuring 3-D information
JP2009129001A (ja) 運転支援システム、車両、立体物領域推定方法
JP2002366937A (ja) 車外監視装置
WO2018235300A1 (ja) 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
WO2008044592A1 (en) Mobile object recognizing device, mobile object recognizing method, and computer program
US20170259830A1 (en) Moving amount derivation apparatus
WO2010044127A1 (ja) 車外障害物高度検出装置
US20160207473A1 (en) Method of calibrating an image detecting device for an automated vehicle
JP2012198857A (ja) 接近物体検知装置及び接近物体検知方法
WO2020105499A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9418443B2 (en) Apparatus and method for detecting obstacle
JP2000293693A (ja) 障害物検出方法および装置
JP4256992B2 (ja) 障害物検出装置
JP7380443B2 (ja) 部分画像生成装置及び部分画像生成用コンピュータプログラム
JP2009139324A (ja) 車両用走行路面検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08877387

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08877387

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP