JP4005679B2

JP4005679B2 - Ambient environment recognition device for autonomous vehicles

Info

Publication number: JP4005679B2
Application number: JP31852397A
Authority: JP
Inventors: 至瀬田
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 1997-11-19
Filing date: 1997-11-19
Publication date: 2007-11-07
Anticipated expiration: 2017-11-19
Also published as: JPH11149557A

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラで撮像した１対の画像をステレオ処理して周囲環境を認識する自律走行車の周囲環境認識装置に関する。
【０００２】
【従来の技術】
従来より、ゴルフ場、河川敷堤防、公園における草刈、芝刈作業や果樹園での農薬散布等の各種フィールドでの作業を無人で行いながら自律的に走行する自律走行車に係わる開発が積極的に行われている。
【０００３】
この自律走行車では、光電センサや超音波センサ等の各種センサを用いて走行制御に必要な情報を得たり、誘導ケーブルによって走行制御を行うようにしているが、センサによってはガイドやビーコン等を敷設する必要があり、また、誘導ケーブルでは、切れやすい、コストがかかる、保守管理が大変であるといった問題がある。
【０００４】
このため、近年では、画像処理の技術を適用して周囲環境を認識し、走行制御を行う技術が開発されており、例えば、特開昭６３−３１４６１６号公報には、２台のカメラを用いて撮像した進行方向のステレオ画像から自己位置を検出することにより、自律走行制御を行なう技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、果樹園等での自律走行では、木や枝等の立体障害物だけでなく、窪地、丘、段差等を考慮した走行可能領域の判断及び車体制御が必要であり、明暗の大きい環境下で撮像した一対の画像（基準画像及び比較画像）をステレオ処理して樹木等の立体物と地面形状とを３次元的に把握しなければならない。
【０００６】
しかしながら、明暗の大きい画像をバランスの取れた明るさに調整すると、カメラのダイナミックレンジの関係で地面部の輝度がつぶれてしまう（周りと非常によく似る）傾向があり、基準画像の小領域と比較画像の小領域との輝度差によるシティブロック距離を用いて２つの画像のマッチングを取る従来のステレオ処理では、シティブロック距離の変化がつきにくく、立体物と区別して地面部を検出することは困難であった。
【０００７】
この場合、地面部に合わせて画像全体の明るさを調整すると、取り込んだ画像から地面は検出できても、ほかの立体物が検出しづらくなってしまい、さらには、２台のカメラのゲイン調整（明るさの調整）のちょっとしたずれの影響を受けて視差検出の誤りが多くなる。
【０００８】
本発明は上記事情に鑑みてなされたもので、明暗の大きい環境下でステレオ撮像した一対の画像から立体物と地面部とを誤り無く検出し、立体物及び地面部の３次元情報を同時に得ることのできる自律走行車の周囲環境認識装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、２台１組のカメラからなるステレオカメラを搭載し、このステレオカメラで撮像した１対の画像をステレオ処理して周囲環境を認識する自律走行車の周囲環境認識装置であって、立体物と地面部とを含む１対の撮像画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成する手段と、上記１対の撮像画像に対し、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する手段と、上記立体物主体の距離画像と上記地面主体の距離画像とを合成し、上記１対の撮像画像に対して画面全体に渡る遠近情報を数値化した距離画像を生成する手段とを備えたことを特徴とする。
【００１０】
請求項２記載の発明は、請求項１記載の発明において、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を、地面部の視差検出範囲として設定することを特徴とする。
【００１１】
すなわち、本発明では、２台１組のカメラからなるステレオカメラで撮像した立体物と地面部とを含む１対の画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成するとともに、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する。そして、立体物主体の距離画像と地面主体の距離画像とを合成して画面全体に渡る遠近情報を数値化した距離画像を生成する。
【００１２】
この際、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を地面部の視差検出範囲として設定することが望ましい。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図７は本発明の実施の一形態に係わり、図１は周囲環境認識装置の構成図、図２は地面部ステレオ処理部の構成図、図３は元画像から立体物主体の距離画像を生成した例を示す説明図、図４はカメラと平面との位置関係を示す説明図、図５は視差検出範囲の説明図、図６は元画像から地面主体の距離画像を生成した例を示す説明図、図７は出力距離画像を示す説明図である。
【００１４】
図１において、符号１は、自律走行車、例えば果樹園における農薬散布等の作業を無人で行う作業ロボット等に搭載され、周囲を撮像した画像を処理して障害物や自己位置を認識し、地形に応じた姿勢制御を伴う自律移動をアシストする周囲環境認識装置である。
【００１５】
この周囲環境認識装置１は、２台１組のカメラ１０ａ，１０ｂからなるステレオカメラ１０、立体物ステレオ処理部２０、地面部ステレオ処理部３０、データ選択部４０、距離画像メモリ５０、認識部６０等から構成されており、果樹園等の明暗の大きい環境下で撮像した１対の元画像（基準画像及び比較画像）を立体物ステレオ処理部２０と地面部ステレオ処理部３０との２系統に分配して並列処理し、各並列処理結果を統合することで、木や枝葉等の立体障害物と、窪地、丘、段差等の地面形状とを同時に認識する。
【００１６】
具体的には、立体物ステレオ処理部２０では、２台１組のステレオカメラ１０で撮像した一対の画像をステレオマッチングして立体物主体の距離画像を生成する。この処理では、まず、地面部と樹木等の立体物とを含む元画像に対してエッジ検出を強めに行って地面部を排除し、この地面部を排除した画像の小領域、例えば４×４画素の小領域毎に、互いの画素の輝度の差から以下の(1)式に示すシティブロック距離Ｃ１を計算する。
【００１７】
Ｃ１＝Σ｜Ａ_i−Ｂ_i｜ …(1)
但し、Ａ_i：基準画像の小領域におけるｉ番目画素の輝度
Ｂ_i：比較画像の小領域におけるｉ番目画素の輝度
Σ ：ｉ＝０〜ｎ（小領域内の画素数）の総和
そして、上記(1)式によるシティブロック距離Ｃ１が最小となる比較画像の小領域を基準画像の小領域に対応する場所として決定し、互いに対応する小領域で対象物までの距離に応じて生じる画素のズレ（＝視差）を求めた後、この視差から得られる立体物までの遠近情報を数値化した３次元画像情報（距離画像）を生成する。
【００１８】
すなわち、この立体物主体のステレオ処理では、通常のステレオ処理（例えば、本出願人による特開平５−１１４０９９号公報に詳述されている）に対してエッジ検出を強めに行うことで、例えば、図３に示すような元画像から立体物主体の距離画像を生成し、地面部を排除した立体物だけの距離データを得るようにしている。
【００１９】
一方、上記地面部ステレオ処理部３０は、図２に示すように、視差検出範囲設定部３１、輝度微分シティブロック距離計算部３２、視差検出部３３等から構成されており、ステレオカメラ１０で撮像した一対の画像をステレオマッチングし、地面主体の距離画像を生成する。
【００２０】
すなわち、地面はある程度平面とみなすことができることから、視差検出範囲設定部３１では、地面を平面と仮定して基準画像の１つの小領域にマッチングする比較画像の小領域の位置を推測し、視差を検出する範囲を設定する。
【００２１】
図４に示すように、カメラが平面を写しているとすると、カメラの平面からの高さをＨ、画面上の消失点を（Ｘv，Ｙv）、画面上の任意の点を（Ｘi，Ｙi）、焦点距離をｆとして、任意点の実際の距離Ｚは、以下の(2)式で与えられる。
【００２２】
Ｚ＝Ｈ／ｔａｎ（ｔａｎ^-1(Ｙv／ｆ)−ｔａｎ^-1(Ｙi／ｆ)）…(2)
また、2台のカメラ１０ａ，１０ｂの基線長（カメラ光軸間の距離）をｒ、視差をｘとすると、レンズから目標物体までの距離Ｄは、以下の(3)式で与えられる。
【００２３】
Ｄ＝ｒｆ／ｘ …(3)
従って、上記(2)式の右辺と上記(3)式の右辺とが等しいとみなすことにより、およその視差を求めることができ、このおよその視差を用いて地面を平面と仮定した場合の基準画像の１つの小領域、例えば８×２画素の小領域に対し、図５に示すように、マッチングする比較画像の小領域の位置を推測する。そして、この推測点から水平走査方向の前後所定範囲を、比較画像の視差検出範囲として設定することで、より正確に地面部を検出することができる。
【００２４】
次に、輝度微分シティブロック距離計算部３２では、視差検出範囲内の小領域毎に、以下の(4)式による輝度微分のシティブロック距離Ｃ２を計算する。すなわち、地面部は、各部分の輝度が周りと非常によく似ており、通常のマッチング処理のように２枚の画像の輝度の差をとるだけでは視差検出の誤りが多くなる。このため、輝度の差でマッチングをとるのではなく、輝度変化点を検出することにより、マッチングをとる。
【００２５】
Ｃ２＝Σ｜(Ａ_i−Ａ_i-1)−(Ｂ_i−Ｂ_i-1)｜ …(4)
そして、視差検出部３３で、上記(4)式による輝度微分のシティブロック距離Ｃ２が最小となる比較画像の小領域を、基準画像の小領域に対応する場所として決定して互いの視差を求め、この視差から得られる地面部の遠近情報を数値化した３次元画像情報（距離画像）を生成する。図６は、元画像から輝度微分のシティブロック距離によって地面主体の距離画像を生成した例である。
【００２６】
データ選択部４０では、上記立体物ステレオ処理部２０で生成された立体物主体の距離画像に、上記地面部ステレオ処理部３０で生成された地面主体の距離画像から選択した地面部のデータを埋め込み、図７に示すように、１つの距離画像として合成する。
【００２７】
上記データ選択部４０から出力される距離画像は上記距離画像メモリ５０にストされ、認識部６０に読み込まれる。この認識部６０では、距離画像メモリ５０からの３次元の距離情報に基づいて樹木等の立体物や地面の凹凸等を認識し、図示しない走行制御装置に自律走行のための情報を出力する。
【００２８】
これにより、例えば、果樹園における農薬散布で予め走行経路を学習させて自律走行を行う場合、丘があると認識された場合には減速し、段差があると認識された場合には徐行するといったように、その場に応じた走行可能領域を判断し、地形に応じた車体制御を伴う自律走行をアシストすることができる。
【００２９】
【発明の効果】
以上説明したように請求項１記載の発明によれば、２台１組のカメラからなるステレオカメラで撮像した立体物と地面部とを含む１対の画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成するとともに、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する。そして、立体物主体の距離画像と地面主体の距離画像とを合成して画面全体に渡る遠近情報を数値化した距離画像を生成するため、例えば、果樹園等の明暗の大きい環境下においても樹木等の立体物と地面部とを誤り無く検出して正確な３次元情報を得ることができ、正確な走行可能領域の判断を可能として地形に応じた車体制御を行う自律走行をアシストすることができる。
【００３０】
この場合、請求項２に記載したように、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を地面部の視差検出範囲として設定することで、より正確に地面部を検出することができる。
【図面の簡単な説明】
【図１】周囲環境認識装置の構成図
【図２】地面部ステレオ処理部の構成図
【図３】元画像から立体物主体の距離画像を生成した例を示す説明図
【図４】カメラと平面との位置関係を示す説明図
【図５】視差検出範囲の説明図
【図６】元画像から地面主体の距離画像を生成した例を示す説明図
【図７】出力距離画像を示す説明図
【符号の説明】
１ …周囲環境認識装置
１０…ステレオカメラ
２０…立体物ステレオ処理部
３０…地面部ステレオ処理部
４０…データ選択部
５０…距離画像メモリ
６０…認識部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a surrounding environment recognition device for an autonomous vehicle that recognizes the surrounding environment by stereo-processing a pair of images captured by a stereo camera.
[0002]
[Prior art]
Conventionally, development related to autonomous vehicles that run autonomously while performing unmanned operations in various fields such as golf courses, riverbed embankments, mowing in parks, lawn mowing work and pesticide spraying in orchards has been active. It has been broken.
[0003]
In this autonomous vehicle, various sensors such as photoelectric sensors and ultrasonic sensors are used to obtain information necessary for driving control and driving control is performed using a guide cable. In addition, there is a problem that it is necessary to lay the cable, and the induction cable is easily cut, expensive, and difficult to maintain.
[0004]
For this reason, in recent years, a technology for recognizing the surrounding environment by applying image processing technology and performing traveling control has been developed. For example, Japanese Patent Application Laid-Open No. 63-314616 uses two cameras. A technique for performing autonomous running control by detecting a self-position from a stereo image in a traveling direction captured in this manner is disclosed.
[0005]
[Problems to be solved by the invention]
By the way, in autonomous driving in orchards, etc., it is necessary to determine not only three-dimensional obstacles such as trees and branches, but also a travelable area and car body control considering depressions, hills, steps, etc. A pair of images (reference image and comparative image) captured in step 3 must be stereo-processed to grasp a three-dimensional object such as a tree and the ground shape three-dimensionally.
[0006]
However, when adjusting a bright and dark image to a well-balanced brightness, the brightness of the ground tends to collapse (similarly to the surroundings) due to the dynamic range of the camera. In conventional stereo processing that matches two images using the city block distance based on the luminance difference with the small area of the comparison image, it is difficult for the city block distance to change, and it is difficult to detect the ground part separately from the three-dimensional object. It was difficult.
[0007]
In this case, if the brightness of the entire image is adjusted according to the ground, even if the ground can be detected from the captured image, it becomes difficult to detect other three-dimensional objects, and the gain adjustment of the two cameras Errors in parallax detection increase under the influence of a slight shift in (brightness adjustment).
[0008]
The present invention has been made in view of the above circumstances, and detects a three-dimensional object and a ground part without error from a pair of images taken in stereo under a light and dark environment, and simultaneously obtains three-dimensional information of the three-dimensional object and the ground part. An object of the present invention is to provide an environment recognition device for an autonomous vehicle that can handle such a situation.
[0009]
[Means for Solving the Problems]
According to the first aspect of the present invention, there is provided a surrounding environment recognition device for an autonomous vehicle equipped with a stereo camera including a set of two cameras and recognizing the surrounding environment by stereo-processing a pair of images captured by the stereo camera. Then, with respect to a pair of captured images including a three-dimensional object and a ground part, areas corresponding to each other are obtained based on the difference in luminance by removing the ground part, and the three-dimensional object obtained from the parallax of the corresponding area A means for generating a three-dimensional object-based distance image in which perspective information is digitized, and a corresponding area of the ground portion of the pair of captured images is obtained based on a difference in luminance change, and the parallax of the corresponding area A ground-based distance image obtained by quantifying the perspective information of the ground portion obtained from the above, a solid object-based distance image and the ground-based distance image are synthesized, and the pair of captured images Perspective across the entire screen Characterized by comprising a means for generating a distance image obtained by digitizing a broadcast.
[0010]
According to a second aspect of the present invention, in the first aspect of the present invention, the estimated position of a corresponding region is estimated by estimating a parallax from a distance of an arbitrary point on a screen obtained on the assumption that the ground is a plane. The predetermined range is set as the parallax detection range of the ground portion.
[0011]
That is, in the present invention, for a pair of images including a three-dimensional object and a ground portion captured by a stereo camera including a set of two cameras, regions corresponding to each other by removing the ground portion are based on a luminance difference. The distance image of the three-dimensional object mainly obtained by digitizing the perspective information from the parallax of the corresponding area to the three-dimensional object is generated, and the corresponding areas of the ground part are obtained based on the difference in luminance change and A ground-based distance image is generated by digitizing the perspective information of the ground part obtained from the parallax of the area to be processed. Then, the distance image mainly composed of the three-dimensional object and the distance image mainly composed of the ground object are combined to generate a distance image in which the perspective information over the entire screen is digitized.
[0012]
At this time, the parallax is estimated from the distance of an arbitrary point on the screen obtained on the assumption that the ground is a plane, the position of the corresponding region is estimated, and a predetermined range is set as the parallax detection range of the ground portion from the estimated position. It is desirable.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. 1 to 7 relate to an embodiment of the present invention, FIG. 1 is a configuration diagram of an ambient environment recognition device, FIG. 2 is a configuration diagram of a ground portion stereo processing unit, and FIG. 4 is an explanatory diagram showing an example of generating an image, FIG. 4 is an explanatory diagram showing a positional relationship between the camera and the plane, FIG. 5 is an explanatory diagram of a parallax detection range, and FIG. 6 is an example of generating a ground-based distance image from the original image. FIG. 7 is an explanatory diagram showing an output distance image.
[0014]
In FIG. 1, reference numeral 1 is mounted on an autonomous vehicle, for example, a work robot that performs unmanned operations such as spraying agricultural chemicals in an orchard, recognizes an obstacle or a self-position by processing an image obtained by imaging the surroundings, It is an ambient environment recognition device that assists autonomous movement with posture control according to terrain.
[0015]
The surrounding environment recognition device 1 includes a stereo camera 10 including a pair of cameras 10a and 10b, a three-dimensional object stereo processing unit 20, a ground portion stereo processing unit 30, a data selection unit 40, a distance image memory 50, and a recognition unit 60. And a pair of original images (reference image and comparative image) captured in an environment of high brightness such as an orchard into two systems of a three-dimensional object stereo processing unit 20 and a ground part stereo processing unit 30 By distributing and processing in parallel, and integrating the results of parallel processing, solid obstacles such as trees and branches and leaves and ground shapes such as depressions, hills and steps are recognized simultaneously.
[0016]
Specifically, the three-dimensional object stereo processing unit 20 generates a distance image mainly composed of a three-dimensional object by stereo-matching a pair of images captured by a pair of stereo cameras 10. In this process, first, edge detection is performed on the original image including the ground portion and a three-dimensional object such as a tree to remove the ground portion, and a small area of the image from which the ground portion is excluded, for example, 4 × 4. For each small region of the pixel, the city block distance C1 shown in the following equation (1) is calculated from the difference in luminance between the pixels.
[0017]
C1 = Σ | A _i −B _i | (1)
Where A _{i is} the luminance of the i-th pixel in the small area of the reference image B _{i is} the luminance of the i-th pixel in the small area of the comparison image Σ is the sum of i = 0 to n (the number of pixels in the small area), and The small area of the comparative image that minimizes the city block distance C1 according to the equation (1) is determined as a location corresponding to the small area of the reference image, and the pixel shift that occurs according to the distance to the object in the small area corresponding to each other. After obtaining (= parallax), three-dimensional image information (distance image) is generated by digitizing perspective information from the parallax to the three-dimensional object.
[0018]
That is, in this stereo processing mainly of a three-dimensional object, by performing edge detection more strongly than normal stereo processing (for example, detailed in Japanese Patent Application Laid-Open No. H5-114099 by the present applicant), for example, A distance image mainly composed of a three-dimensional object is generated from the original image as shown in FIG. 3, and distance data of only the three-dimensional object excluding the ground portion is obtained.
[0019]
On the other hand, as shown in FIG. 2, the ground part stereo processing unit 30 includes a parallax detection range setting unit 31, a luminance differential city block distance calculation unit 32, a parallax detection unit 33, and the like. The paired images are stereo-matched to generate a ground image.
[0020]
That is, since the ground can be regarded as a plane to some extent, the parallax detection range setting unit 31 assumes the ground as a plane and estimates the position of the small region of the comparison image that matches one small region of the reference image, and the parallax Set the detection range.
[0021]
As shown in FIG. 4, if the camera is shooting a plane, the height from the plane of the camera is H, the vanishing point on the screen is (Xv, Yv), and any point on the screen is (Xi, Yi). ), Where f is the focal length, and the actual distance Z of an arbitrary point is given by the following equation (2).
[0022]
Z = H / tan (tan ⁻¹ (Yv / f) −tan ⁻¹ (Yi / f)) (2)
Further, assuming that the base line length (distance between the camera optical axes) of the two cameras 10a and 10b is r and the parallax is x, the distance D from the lens to the target object is given by the following equation (3).
[0023]
D = rf / x (3)
Therefore, by assuming that the right side of the above equation (2) is equal to the right side of the above equation (3), an approximate parallax can be obtained, and the reference when the ground is assumed to be a plane using this approximate parallax. As shown in FIG. 5, the position of the small region of the comparison image to be matched is estimated with respect to one small region of the image, for example, a small region of 8 × 2 pixels. Then, by setting the predetermined range in the horizontal scanning direction from this estimated point as the parallax detection range of the comparative image, the ground portion can be detected more accurately.
[0024]
Next, the luminance differential city block distance calculation unit 32 calculates a luminance differential city block distance C2 according to the following equation (4) for each small region in the parallax detection range. In other words, the brightness of each part of the ground part is very similar to that of the surroundings, and errors in parallax detection increase only by taking the difference in brightness between the two images as in normal matching processing. For this reason, the matching is obtained by detecting the luminance change point, not by the luminance difference.
[0025]
C2 = Σ | (A _i −A _i−1 ) − (B _i −B _i−1 ) | (4)
Then, the parallax detection unit 33 determines the small area of the comparison image that minimizes the city block distance C2 of the luminance differentiation according to the above equation (4) as a location corresponding to the small area of the reference image, and obtains the parallax of each other. Then, three-dimensional image information (distance image) is generated by digitizing the perspective information of the ground part obtained from the parallax. FIG. 6 shows an example in which a ground-based distance image is generated from the original image based on the city block distance of luminance differentiation.
[0026]
The data selection unit 40 embeds the ground portion data selected from the ground subject distance image generated by the ground portion stereo processing unit 30 in the three-dimensional subject distance image generated by the three-dimensional object stereo processing unit 20. As shown in FIG. 7, they are synthesized as one distance image.
[0027]
The distance image output from the data selection unit 40 is stored in the distance image memory 50 and read into the recognition unit 60. The recognition unit 60 recognizes a three-dimensional object such as a tree, unevenness of the ground, or the like based on the three-dimensional distance information from the distance image memory 50, and outputs information for autonomous traveling to a traveling control device (not shown).
[0028]
Thus, for example, when autonomous driving is performed by learning a traveling route in advance by spraying pesticides in an orchard, the vehicle decelerates when it is recognized that there is a hill and slows down when it is recognized that there is a step. As described above, it is possible to determine the travelable area according to the place and assist the autonomous travel with the vehicle body control according to the terrain.
[0029]
【The invention's effect】
As described above, according to the first aspect of the present invention, with respect to a pair of images including a three-dimensional object and a ground portion captured by a stereo camera including a set of two cameras, the ground portion is excluded from each other. The corresponding area is obtained based on the difference in luminance, and a three-dimensional object-based distance image is generated by digitizing the perspective information to the three-dimensional object obtained from the parallax of the corresponding area. A ground-based distance image obtained by quantifying the perspective information of the ground portion obtained from the difference in change and obtained from the parallax of the corresponding region is generated. Then, in order to generate a distance image in which perspective information over the entire screen is digitized by synthesizing the distance image mainly composed of a three-dimensional object and the distance image mainly composed of the ground, It is possible to detect accurate three-dimensional information by detecting a three-dimensional object such as a ground part and the ground part without error, and to assist in autonomous traveling that performs vehicle body control in accordance with the terrain by enabling accurate determination of a travelable region. it can.
[0030]
In this case, as described in claim 2, the position of the corresponding region is estimated by estimating the parallax from the distance of an arbitrary point on the screen obtained on the assumption that the ground is a plane, and a predetermined range is determined from the estimated position. By setting the parallax detection range of the ground portion, the ground portion can be detected more accurately.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a surrounding environment recognition device. FIG. 2 is a configuration diagram of a ground stereo processing unit. FIG. 3 is an explanatory diagram illustrating an example of generating a distance image mainly of a three-dimensional object from an original image. FIG. 5 is an explanatory diagram showing a positional relationship with a plane. FIG. 5 is an explanatory diagram of a parallax detection range. FIG. 6 is an explanatory diagram showing an example in which a ground image is generated from an original image. [Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Ambient environment recognition apparatus 10 ... Stereo camera 20 ... Three-dimensional object stereo processing part 30 ... Ground part stereo processing part 40 ... Data selection part 50 ... Distance image memory 60 ... Recognition part

Claims

A surrounding environment recognition device for an autonomous vehicle that includes a stereo camera composed of a set of two cameras and recognizes the surrounding environment by stereo processing a pair of images captured by the stereo camera,
For a pair of captured images including a three-dimensional object and a ground part, a region corresponding to each other is obtained based on the difference in luminance by excluding the ground part, and perspective information to the three-dimensional object obtained from the parallax of the corresponding region is obtained. Means for generating a digitized three-dimensional object-based distance image;
For the pair of captured images, a corresponding area of the ground part is obtained based on the difference in luminance change, and a ground-based distance image is generated by quantifying the perspective information of the ground part obtained from the parallax of the corresponding area. Means to
Means for synthesizing the three-dimensional object-based distance image and the ground-based distance image, and generating a distance image obtained by digitizing perspective information over the entire screen for the pair of captured images. A device for recognizing the surrounding environment of a featured autonomous vehicle.

Estimating the position of the corresponding region by estimating the parallax from the distance of an arbitrary point on the screen obtained assuming the ground as a plane, and setting a predetermined range as the parallax detection range of the ground part from this estimated position The surrounding environment recognition device for an autonomous vehicle according to claim 1.