WO2011016257A1 - 車両用距離算出装置 - Google Patents

車両用距離算出装置 Download PDF

Info

Publication number
WO2011016257A1
WO2011016257A1 PCT/JP2010/004977 JP2010004977W WO2011016257A1 WO 2011016257 A1 WO2011016257 A1 WO 2011016257A1 JP 2010004977 W JP2010004977 W JP 2010004977W WO 2011016257 A1 WO2011016257 A1 WO 2011016257A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
image quality
distance
distance calculation
Prior art date
Application number
PCT/JP2010/004977
Other languages
English (en)
French (fr)
Inventor
市川徹
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/388,753 priority Critical patent/US20120128211A1/en
Priority to EP10806257.1A priority patent/EP2463621A4/en
Priority to CN201080034449XA priority patent/CN102713511A/zh
Publication of WO2011016257A1 publication Critical patent/WO2011016257A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a distance calculation device for a vehicle that calculates a distance to an obstacle around a host vehicle using an on-vehicle camera.
  • a conventional vehicle distance calculation device there is a device which mounts a camera on a vehicle and detects a distance to an obstacle having a risk of collision from an image around the vehicle captured by the on-vehicle camera.
  • a stereo camera apparatus that calculates a distance to an obstacle using a plurality of cameras
  • a single camera apparatus that calculates a distance using only a single camera (for example, a patent) Reference 1 and 2).
  • the conventional distance calculation apparatus for a vehicle has the following problems.
  • the shadow of the object is used to calculate the distance using the contact point between the distance measurement object (hereinafter simply referred to as "object") and the traveling surface.
  • object the distance measurement object
  • the distance can not be calculated if the contact point between the object and the traveling surface can not be detected correctly.
  • Patent Document 2 feature points present on a running road surface in real space and feature points on an object are extracted from an image captured by one camera. The distance to the object is calculated from the time change of the image position of these feature points. This enables distance measurement to the object even when the contact point between the object and the traveling surface can not be detected correctly.
  • the feature points present on the running surface are detected using differences in the shadow portion of the object and the pattern, color tone, etc. of the running surface.
  • the distance to the object can not be accurately calculated if it is affected by the shadow of an object, or if the object is composed of patterns or shades similar to the running surface, etc.
  • An object of the present invention is to provide a distance calculation device for a vehicle capable of solving a conventional problem and accurately calculating the distance to an object even when, for example, the sunshine conditions under the imaging environment change. It is.
  • the vehicular distance calculation device adjusts the image quality of the input image based on an image quality estimation unit that analyzes the image of the own vehicle area to estimate the image quality of the input image, and the estimation result of the image quality estimation unit.
  • An adjusting means, an object detecting means for processing an input image adjusted by the image quality adjusting means to detect an object for ranging, and a distance for calculating a distance to the object detected by the object detecting means adjusts the luminance of the input image.
  • the distance to the object can be accurately determined. It can be calculated.
  • FIG. 1 A block diagram showing a configuration of a distance calculation device for a vehicle according to an embodiment of the present invention
  • the figure which shows the example of the luminance histogram in the image quality estimation means shown in FIG. A diagram showing an example of the result of the image quality adjustment in the image quality adjustment means shown in FIG. Flow chart for explaining the operation of the object detection means shown in FIG. 1
  • FIG. 2 is a diagram showing a method of calculating a distance by the distance calculating means shown in FIG.
  • FIG. 1 is a block diagram showing the configuration of a distance calculation device for a vehicle according to an embodiment of the present invention.
  • the imaging unit 101 is installed at a predetermined position of the host vehicle so that a part of the host vehicle falls within the imaging range, and captures an image of the host vehicle and the surroundings of the host vehicle.
  • the vehicle area extraction unit 102 extracts the area of the vehicle from the image (video) captured by the imaging unit 101.
  • the image quality estimation means 103 analyzes the image of the own vehicle area extracted by the own vehicle area extraction means 102 to estimate the image quality of the input image.
  • the image quality adjustment unit 104 adjusts the image quality of the input image based on the estimation result of the image quality estimation unit 103.
  • the object detection means 105 processes the input image adjusted by the image quality adjustment means 104 to detect an object.
  • the distance calculation means 106 calculates the distance to the object detected by the object detection means 105.
  • the imaging unit 101 is configured by, for example, a CCD camera or a CMOS camera as a component device.
  • a front camera 202 installed at the front part of the vehicle 201 (for example, around an emblem) and imaging the front of the host vehicle, and a host vehicle installed at a pair of side mirrors
  • a side camera 203 that captures the side of the vehicle
  • a rear camera 204 that is installed at the rear of the vehicle (for example, near the number plate or emblem, etc.) or the top and captures the rear of the vehicle.
  • a camera may be installed at a corner portion of the vehicle or behind a rearview mirror. However, regarding the installation of the camera, the position or the angle is adjusted so that a part of the host vehicle is always included in the image captured by the camera.
  • the host vehicle area extraction unit 102 performs processing of extracting only the area where the host vehicle appears from the image (video) captured by the imaging unit 101.
  • a specific processing method there are a method of detecting a feature amount of an image and extracting a vehicle portion from a captured image, and a method of extracting a specific position in a preset video region as a vehicle region Is considered.
  • the former method although it is possible to correctly extract the own vehicle area even in the case of a movable camera or when the relative positional relationship between the own vehicle and the camera changes depending on the traveling state, processing takes time. There is also the problem of.
  • color information of a vehicle body color known in advance or a boundary edge line between the own vehicle and the surrounding environment may be detected and used. Further, in the latter method, the positional relationship between the camera and the host vehicle does not change significantly during normal traveling and the like, and therefore, the position of the host vehicle region in the captured image may be stored only once at the time of installation of the camera. .
  • the image quality estimation means 103 analyzes the image quality of the own vehicle area extracted by the own vehicle area extraction means 102 to estimate the image quality of the entire input image (video).
  • an estimation unit using a template will be described as a specific example of the image quality estimation unit 103.
  • step 302 a plurality of videos 300 with different illuminances of the imaging environment and a video of the vehicle area (vehicle area video) 301 extracted by the vehicle area extraction unit 102 are input.
  • step 303 feature quantities are extracted from the host vehicle area input in step 302, and a luminance histogram 305 is created.
  • step 304 feature quantities of the entire input video are extracted, and a luminance histogram 306 is created.
  • the extraction of the feature amount in step 303 it is not necessary to uniformly process the entire input own vehicle area, and the own vehicle area is divided, for example, on the left side and the right side of the vehicle, respectively. Feature amounts may be extracted.
  • a template 308 is created by correlating each of the luminance histograms 305 and 306 according to a descriptive expression that briefly expresses the features of the histogram, such as the average value and the variance value.
  • the image quality estimation means 103 stores the created template 308 in advance in a memory or the like.
  • color information, contrast information, or the like may be used as the feature amount extracted in step 303 and step 304, or a feature amount obtained by combining a plurality of pieces may be used.
  • the image quality data closest to that of the vehicle area video 309 input during system operation is searched as the estimated image quality of the input video as a result of searching for the template 308. return it.
  • the image quality adjustment unit 104 adjusts the image quality of the input image (video) so that the process is optimally performed in the subsequent step based on the estimated image quality information in the preceding step.
  • An example of a specific adjustment method is shown in FIG.
  • the output result of the image quality estimation means 103 it is assumed that the image quality of the input image has the luminance histogram 401 shown in the upper part of FIG. In this video, the luminance distribution in the video is concentrated in the dark area, and the contrast of the dark part is not sufficiently secured, and it is predicted that it will be difficult to distinguish between the object in the video and its peripheral area.
  • gamma correction with a gamma coefficient of 1 or more may be performed so that the contrast in the low luminance region appears clearly.
  • a luminance histogram 402 in which the contrast of the low luminance portion is increased by gamma correction is shown at the bottom of FIG.
  • the gamma correction is performed by setting the gamma coefficient to 1 or less to increase the contrast of the high luminance part.
  • tone curve correction or the like may be used besides gamma correction.
  • reference numeral 501 denotes an input image
  • 502 denotes an obstacle to be detected
  • 503 denotes a traveling surface of the vehicle
  • 504 denotes a portion of the vehicle reflected in the input image
  • 505 denotes other structures.
  • the image quality is adjusted by the image quality adjustment unit 104 with respect to the input video 501, it becomes as shown by the video 506.
  • a change in luminance at the boundary between the detection object 502 and the traveling surface 503 clearly appears.
  • an edge extraction process is performed with the image 601 adjusted by the image quality adjustment means 104 as an input.
  • the edge extraction processing a portion where the luminance changes in the image, for example, the boundary portion of the detection object and the road surface, the road white line, etc. are extracted.
  • a Sobel filter, Roberts filter or the like generally used in image processing may be used.
  • the result of the edge extraction process is shown in FIG.
  • reference numeral 701 denotes an input video corresponding to the image 506 after the image quality adjustment shown in FIG. 5
  • reference numeral 702 denotes a result of edge extraction processing for the input video 701.
  • the vanishing point in the image is obtained.
  • a straight line passing through the edge point in the image is found by Hough transformation, and an intersection of the straight line is taken as the vanishing point 801.
  • the edge group on the straight line passing through the vanishing point obtained in step 603 constitutes a line or plane extending in a direction parallel to the traveling direction of the vehicle, it does not pass the vanishing point
  • a plane formed by only straight lines can be determined as three-dimensional objects 802 and 803 which have a possibility of collision, which are orthogonal to the traveling direction of the host vehicle.
  • the object detection process of step 606 from the processing results of step 603 and step 604, a three-dimensional object in the traveling region of the host vehicle is detected as an object having a possibility of collision.
  • the distance calculation means 106 will be described with reference to FIG.
  • 901 indicates a camera attached to the vehicle at a horizontal angle ⁇
  • 903 indicates the optical axis center of the camera
  • 902 indicates an image projection plane of the camera
  • 904 indicates a detected object.
  • the area of the vehicle is extracted from the captured video, and the image quality of the input video is adjusted based on the image quality information of the extracted area. Even when the sunshine conditions change, the distance to the object can be accurately calculated.
  • the distance calculation device for a vehicle adjusts the image quality of the input image (video) based on the image quality information of the own vehicle area, for example, even when the sunshine conditions under the imaging environment change, etc. It has the effect of being able to calculate the distance to an object, and is useful as a vehicular distance calculation device that calculates the distance to an obstacle around the host vehicle by means of a camera.
  • Image pickup means 101
  • Vehicle area extraction means 102
  • Image quality estimation means 104
  • Image quality adjustment means 105
  • Object detection means 106

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

　撮像環境下の日照条件が変化した場合などでも、対象物までの距離を正確に算出することができる車両用距離算出装置。本装置において、画質推定手段（１０３）は、自車両領域の画像を解析して入力画像の画質を推定する。画質調整手段（１０４）は、前記画質推定手段（１０３）の推定結果に基づいて、入力画像の画質を調整する。対象物検出手段（１０５）は、前記画質調整手段（１０４）によって調整された入力画像を処理して対象物を検出する。距離算出手段（１０６）は、前記対象物検出手段（１０５）によって検出された対象物までの距離を算出する。前記画質調整手段（１０４）は、入力画像の輝度を調整する。

Description

車両用距離算出装置
　本発明は、車載カメラを用いて自車両周辺の障害物までの距離を算出する車両用距離算出装置に関する。
　従来の車両用距離算出装置として、車両にカメラを搭載し、この車載カメラで撮像した車両周囲の映像から、衝突の危険性がある障害物までの距離を検出する装置がある。このような装置としては、複数のカメラを用いて障害物までの距離を算出するステレオカメラ装置と、単一のカメラのみで距離を算出する単一カメラ装置とが知られている（例えば、特許文献１、２参照）。
特開平５－１５７５５７号公報 特開２００５－０３０９６８号公報
　しかしながら、従来の車両用距離算出装置においては、次のような問題がある。まず、特許文献１に示すような、２台のカメラを並べたステレオ式の距離算出装置においては、システム構成が複雑で大きくなり、さらにカメラ間の高い校正精度が要求されるため、システムコストおよび車両への設置コストが大きくなるという問題があった。
　これに対し、単一カメラを用いた距離算出装置においては、測距対象物（以下単に「対象物」という）と走路面との接点を用いて距離を算出するために、対象物の影によって対象物と走路面との接点が正しく検出できない場合には距離を算出できないという課題がある。このような課題に対し、特許文献２に示す従来例においては、１台のカメラにより撮像された画像から、実空間上における走路面に存在する特徴点と対象物上の特徴点とを抽出し、これら特徴点の画像位置の時間変化から対象物までの距離を算出する。これにより、対象物と走路面との接点が正しく検出できない場合でも対象物までの測距を可能としている。ところが、走路面に存在する特徴点の検出には、対象物の影部分および走路面の模様や色合いなどの違いを利用しているため、例えば、撮像環境下の日照条件や周辺に存在する構造物の影などの影響を受ける場合、または、対象物が走路面と類似した模様や色合いなどで構成されている場合には、対象物までの距離を正確に算出することができないという問題があった。
　本発明の目的は、従来の問題を解消して、例えば、撮像環境下の日照条件が変化した場合などでも、対象物までの距離を正確に算出することができる車両用距離算出装置を提供することである。
　本発明の車両用距離算出装置は、自車両領域の画像を解析して入力画像の画質を推定する画質推定手段と、前記画質推定手段の推定結果に基づいて、入力画像の画質を調整する画質調整手段と、前記画質調整手段によって調整された入力画像を処理して測距の対象物を検出する対象物検出手段と、前記対象物検出手段によって検出された対象物までの距離を算出する距離算出手段とを有し、前記画質調整手段は、入力画像の輝度を調整する。
　本発明によれば、自車両領域の画質情報に基づいて入力画像の画質（輝度）を調整するため、例えば、撮像環境下の日照条件が変化した場合などでも、対象物までの距離を正確に算出することができる。
本発明の一実施の形態に係る車両用距離算出装置の構成を示すブロック図 図１に示す撮像手段の車両への取付け位置の例を示す図 図１に示す画質推定手段の動作を説明するフロー図 図１に示す画質推定手段における輝度ヒストグラムの例を示す図 図１に示す画質調整手段における画質調整の結果例を示す図 図１に示す対象物検出手段の動作を説明するフロー図 図１に示す対象物検出手段におけるエッジ抽出処理結果の例を示す図 図１に示す対象物検出手段における消失点の例を示す図 図１に示す距離算出手段における距離算出方法を示す図
　以下、本発明の一実施の形態に係る車両用距離算出装置について、図面を用いて説明する。
　図１は、本発明の一実施の形態に係る車両用距離算出装置の構成を示すブロック図である。
　図１の車両用距離算出装置において、撮像手段１０１は、自車両の所定位置に、その撮像範囲内に自車両の一部が入るように設置され、自車両および自車両の周辺を撮像する。自車領域抽出手段１０２は、撮像手段１０１によって撮像された画像（映像）から自車両の領域を抽出する。画質推定手段１０３は、自車領域抽出手段１０２によって抽出された自車両領域の画像を解析して入力画像の画質を推定する。画質調整手段１０４は、画質推定手段１０３の推定結果に基づいて、入力画像の画質を調整する。対象物検出手段１０５は、画質調整手段１０４によって調整された入力画像を処理して対象物を検出する。距離算出手段１０６は、対象物検出手段１０５によって検出された対象物までの距離を算出する。
　以上のように構成された車両用距離算出装置について、以下にその動作を説明する。
　まず、撮像手段１０１は、構成デバイスとして、例えば、ＣＣＤカメラやＣＭＯＳカメラなどで構成されている。撮像手段１０１としては、例えば、図２に示すように、車両２０１のフロント部（例えば、エンブレム周辺）に設置され自車両の前方を撮像するフロントカメラ２０２や、一対のサイドミラーに設置され自車両の側方を撮像するサイドカメラ２０３、車両の後部（例えば、ナンバープレートやエンブレム付近など）または最上部に設置され自車両の後方を撮像するリアカメラ２０４などがある。なお、この他にも自車両のコーナー部分やルームミラー裏などにカメラを設置してもよい。ただし、カメラの設置に関しては、カメラが撮像した画像に必ず自車両の一部が映りこむように位置または角度が調整されるものとする。
　自車領域抽出手段１０２は、撮像手段１０１によって撮像された画像（映像）中から自車両が映っている領域のみを抽出する処理を行う。具体的な処理方法としては、画像の特徴量を検出して撮像された映像内から自車両部分を抽出する方法と、予め設定された映像領域内の特定位置を自車両領域として抽出する方法とが考えられる。前者の方法においては、可動式のカメラの場合や、走行状態によって自車両とカメラの相対位置関係が変化した場合などにも、正しく自車両領域を抽出することができるものの、処理に時間がかかるという問題もある。なお、画像の特徴量としては、予め既知である車体色の色情報、または、自車両と周囲環境との境界エッジ線を検出して利用すればよい。また、後者の方法においては、カメラと自車両の位置関係は通常の走行などでは大きく変化しないため、カメラの設置時に一度だけ、撮像した映像中の自車両領域の位置を記憶しておけばよい。
　画質推定手段１０３は、自車領域抽出手段１０２によって抽出された自車両領域の画質を解析して入力画像（映像）全体の画質を推定する。以下に、画質推定手段１０３の具体的な一例として、テンプレートを利用した推定手段について述べる。
　図３において、まず、ステップ３０２では、撮像環境の照度が異なる複数の映像３００と、自車領域抽出手段１０２によって抽出された自車両領域の映像（自車領域映像）３０１を入力する。ステップ３０３では、ステップ３０２で入力された自車両領域から特徴量を抽出し、輝度ヒストグラム３０５を作成する。同様に、ステップ３０４では、入力映像全体の特徴量を抽出し、輝度ヒストグラム３０６を作成する。ここで、ステップ３０３での特徴量の抽出に関しては、入力された自車両領域全体に対して一様に処理する必要はなく、自車両領域を分割して、例えば、車両の左側と右側でそれぞれ特徴量を抽出するようにしてもよい。ステップ３０７では、各々の輝度ヒストグラム３０５、３０６から、例えば、平均値や分散値など、そのヒストグラムの特徴を簡単に表す記述式により対応付けを行い、テンプレート３０８を作成する。画質推定手段１０３は、作成したテンプレート３０８を予めメモリなどに格納しておく。また、ステップ３０３およびステップ３０４で抽出する特徴量としては、輝度ヒストグラムの他に、色情報やコントラスト情報などを用いてもよく、また、複数を組み合わせた特徴量を用いてもよい。このようにして作成されたテンプレート３０８を用いて、ステップ３１０では、システム作動中に入力される自車領域映像３０９に対し、テンプレート３０８を探索して最も近い画質データを入力映像の推定画質として結果を返す。
　画質調整手段１０４は、前段のステップにおける推定画質情報に基づいて、後段のステップにおいて処理が最適に実施されるように入力画像（映像）の画質を調整する。具体的な調整方法の一例を図４に示す。ここでは、画質推定手段１０３の出力結果として、入力画像の画質が図４の上段に示す輝度ヒストグラム４０１を持っているとする。この映像では、映像内の輝度分布が暗い領域に集中しており、暗部のコントラストが十分に確保されず、映像内の物体とその周辺領域との区別が困難になると予測される。したがって、入力映像の推定画質がこのような場合には、輝度が低い領域のコントラストがはっきりと出るように、例えば、ガンマ係数が１以上のガンマ補正を施してやればよい。ガンマ補正により低輝度部分のコントラストを増加させた輝度ヒストグラム４０２を図４の下段に示す。これとは逆に、入力映像の輝度ヒストグラムが輝度の高い部分に偏っている場合には、ガンマ係数を１以下にしてガンマ補正を施し、高輝度部分のコントラストを増加させる。画質調整の方法としては、ガンマ補正以外にもトーンカーブ補正などを用いてもよい。
　次に、対象物検出手段１０５の動作について、図５を用いて説明する。図５において、５０１は入力映像であり、５０２は検出対象の障害物、５０３は自車両の走路面、５０４は入力映像に映りこんだ自車両の一部、５０５はその他の構造物をそれぞれ示している。この入力映像５０１に対して、画質調整手段１０４によって画質を調整すると、映像５０６のようになる。この結果、例えば、検出対象物５０２と走路面５０３の境界の輝度変化がはっきりと現れる。
　対象物検出手段１０５の具体的動作を図６のフロー図を用いて説明する。画質調整手段１０４によって調整された映像６０１を入力として、最初のステップ６０２では、エッジ抽出処理を行う。エッジ抽出処理により、映像内の輝度が変化する部分、例えば、検出対象物と路面の境界部分や道路白線などを抽出する。エッジ抽出処理には、画像処理で一般に利用されるSobelフィルタやRobertsフィルタなどを利用すればよい。エッジ抽出処理の結果を図７に示す。図７において、７０１は図５に示す画質調整後の映像５０６に対応する入力映像であり、７０２は入力映像７０１に対するエッジ抽出処理の結果である。次に、ステップ６０３の消失点算出処理において、映像内の消失点を求める。消失点の求め方としては、例えば、図８に示すように、映像内のエッジ点を通る直線をハフ変換によって求め、その直線の交点を消失点８０１とする。ステップ６０４の立体物判定処理においては、ステップ６０３で求めた消失点を通る直線上のエッジ群が自車両の進行方向と平行な方向に伸びる線または面を構成することから、消失点を通らない直線のみによって形成される面を、自車両の進行方向と直交する、衝突の可能性がある立体物８０２、８０３として判断することができる。次に、ステップ６０５の自車走行領域抽出処理において、例えば、自車両の走行車線内など、一定時間内に自車両が通過するであろう領域を映像内から限定する。具体的には、ステップ６０３で検出した消失点を利用して自車両の走行車線を推定することによって実現できる。最後に、ステップ６０６の対象物検出処理においては、ステップ６０３とステップ６０４の処理結果から、自車両の走行領域内にある立体物を衝突の可能性がある対象物として検出する。
　最後に、距離算出手段１０６について、図９を用いて説明する。図９において、９０１は自車両に水平角θで取り付けられたカメラ、９０３は前記カメラの光軸中心、９０２は前記カメラの画像投影面、９０４は検出した対象物をそれぞれ示している。ここでは、カメラ（車両）から対象物までの距離Ｌを求める。図９から、カメラと対象物を結ぶ直線と路面との成す角αの間には、次の（式１）、
　ｔａｎ(α)＝ｈ／Ｌ　　…（式１）
　が成り立つ。さらに、画像面に映る対象物の位置と画像中心とのズレ量ｄｙとカメラの焦点距離ｆを用いて、次の（式２）、
　ｔａｎ(α－θ)＝ｄｙ／ｆ　　…（式２）
  が成り立つ。(式２)より、次の（式３）、
　ｔａｎ(α－θ)＝（ｔａｎ(α)－ｔａｎ(θ)）／(１＋ｔａｎ(α) ｔａｎ(α))   …（式３）
  が得られる。（式１）と（式３）より、Ｌを求めると、次の（式４）、
　Ｌ＝ｈ(ｆ－ｔａｎ(θ))／(ｄｙ＋ｆｔａｎ(θ))　　…（式４）
　が成り立つ。この（式４）を用いて、対象物までの距離を算出する。
　このように、本実施の形態によれば、撮像された映像から自車両の領域を抽出し、抽出された領域の画質情報に基づいて入力映像の画質を調整するため、例えば、撮像環境下の日照条件が変化した場合などでも、対象物までの距離を正確に算出することができる。
　２００９年８月６日出願の特願２００９－１８３００６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明に係る車両用距離算出装置は、自車両領域の画質情報に基づいて入力画像（映像）の画質を調整するため、例えば、撮像環境下の日照条件が変化した場合などでも、正確に対象物までの距離を算出することができるという効果を有し、カメラによって自車両周辺の障害物までの距離を算出する車両用距離算出装置として有用である。
　１０１　撮像手段
　１０２　自車領域抽出手段
　１０３　画質推定手段
　１０４　画質調整手段
　１０５　対象物検出手段
　１０６　距離算出手段

Claims (2)

  1. 　自車両領域の画像を解析して入力画像の画質を推定する画質推定手段と、
    　前記画質推定手段の推定結果に基づいて、入力画像の画質を調整する画質調整手段と、
    　前記画質調整手段によって調整された入力画像を処理して対象物を検出する対象物検出手段と、
    　前記対象物検出手段によって検出された対象物までの距離を算出する距離算出手段と、を有し、
    　前記画質調整手段は、入力画像の輝度を調整する、
    　車両用距離算出装置。
  2. 　自車両の所定位置に、その撮像範囲内に自車両の一部が入るように設置され、自車両および自車両の周辺を撮像する撮像手段と、
    　前記撮像手段によって撮像された画像から自車両の領域を抽出する自車領域抽出手段と、
    　をさらに有する請求項１記載の車両用距離算出装置。
     
     
PCT/JP2010/004977 2009-08-06 2010-08-06 車両用距離算出装置 WO2011016257A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/388,753 US20120128211A1 (en) 2009-08-06 2010-08-06 Distance calculation device for vehicle
EP10806257.1A EP2463621A4 (en) 2009-08-06 2010-08-06 Distance calculation device for vehicle
CN201080034449XA CN102713511A (zh) 2009-08-06 2010-08-06 车辆用距离计算装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009183006A JP2011033594A (ja) 2009-08-06 2009-08-06 車両用距離算出装置
JP2009-183006 2009-08-06

Publications (1)

Publication Number Publication Date
WO2011016257A1 true WO2011016257A1 (ja) 2011-02-10

Family

ID=43544161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004977 WO2011016257A1 (ja) 2009-08-06 2010-08-06 車両用距離算出装置

Country Status (5)

Country Link
US (1) US20120128211A1 (ja)
EP (1) EP2463621A4 (ja)
JP (1) JP2011033594A (ja)
CN (1) CN102713511A (ja)
WO (1) WO2011016257A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049651A (ja) * 2013-08-30 2015-03-16 日立建機株式会社 作業機械の周囲監視装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5812598B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 物体検出装置
JP5752728B2 (ja) * 2013-02-28 2015-07-22 富士フイルム株式会社 車両間距離算出装置およびその動作制御方法
CN107255470B (zh) * 2014-03-19 2020-01-10 能晶科技股份有限公司 障碍物检测装置
JP6458577B2 (ja) * 2015-03-19 2019-01-30 トヨタ自動車株式会社 画像測距装置
US11518390B2 (en) * 2018-04-16 2022-12-06 Mitsubishi Electric Corporation Road surface detection apparatus, image display apparatus using road surface detection apparatus, obstacle detection apparatus using road surface detection apparatus, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05157557A (ja) 1991-12-09 1993-06-22 Mitsubishi Electric Corp 車載用距離検出装置
JP2005030968A (ja) 2003-07-08 2005-02-03 Nissan Motor Co Ltd 車載用距離算出装置
JP2005135203A (ja) * 2003-10-31 2005-05-26 Hitachi Ltd 車両運転支援装置
JP2005285011A (ja) * 2004-03-30 2005-10-13 Sumitomo Electric Ind Ltd 人間認識システム、及び画像処理装置
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2007243464A (ja) * 2006-03-07 2007-09-20 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2007240422A (ja) * 2006-03-10 2007-09-20 Fujitsu Ten Ltd 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置
JP2007265281A (ja) * 2006-03-29 2007-10-11 Denso It Laboratory Inc 自影判定方法
JP2009183006A (ja) 1996-12-04 2009-08-13 Panasonic Corp 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3580152B2 (ja) * 1998-11-12 2004-10-20 三菱自動車工業株式会社 車間距離検出装置
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
JP4849933B2 (ja) * 2006-03-29 2012-01-11 富士通株式会社 ウェブ負荷試験方法及びウェブ負荷試験プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05157557A (ja) 1991-12-09 1993-06-22 Mitsubishi Electric Corp 車載用距離検出装置
JP2009183006A (ja) 1996-12-04 2009-08-13 Panasonic Corp 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置
JP2005030968A (ja) 2003-07-08 2005-02-03 Nissan Motor Co Ltd 車載用距離算出装置
JP2005135203A (ja) * 2003-10-31 2005-05-26 Hitachi Ltd 車両運転支援装置
JP2005285011A (ja) * 2004-03-30 2005-10-13 Sumitomo Electric Ind Ltd 人間認識システム、及び画像処理装置
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2007243464A (ja) * 2006-03-07 2007-09-20 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2007240422A (ja) * 2006-03-10 2007-09-20 Fujitsu Ten Ltd 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置
JP2007265281A (ja) * 2006-03-29 2007-10-11 Denso It Laboratory Inc 自影判定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2463621A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049651A (ja) * 2013-08-30 2015-03-16 日立建機株式会社 作業機械の周囲監視装置

Also Published As

Publication number Publication date
CN102713511A (zh) 2012-10-03
EP2463621A4 (en) 2017-03-15
EP2463621A1 (en) 2012-06-13
JP2011033594A (ja) 2011-02-17
US20120128211A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
US11170466B2 (en) Dense structure from motion
EP3328069B1 (en) Onboard environment recognition device
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
KR101243108B1 (ko) 차량의 후방 영상 표시 장치 및 방법
US10762656B2 (en) Information processing device, imaging device, apparatus control system, information processing method, and computer program product
US20200074212A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
WO2014132729A1 (ja) ステレオカメラ装置
WO2011016257A1 (ja) 車両用距離算出装置
EP3115966A1 (en) Object detection device, object detection method, and computer program
JP6569280B2 (ja) 路面標示検出装置及び路面標示検出方法
JP2013250907A (ja) 視差算出装置、視差算出方法及び視差算出用プログラム
US11176397B2 (en) Object recognition device
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
US20150091714A1 (en) Filtering device and environment recognition system
JP4798576B2 (ja) 付着物検出装置
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP6992356B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP7229032B2 (ja) 車外物体検出装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP4754434B2 (ja) 路面推定装置
WO2014050285A1 (ja) ステレオカメラ装置
WO2020036039A1 (ja) ステレオカメラ装置
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP5129094B2 (ja) 車両周辺監視装置
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080034449.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10806257

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010806257

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13388753

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE