JP3279610B2 - Environment recognition device - Google Patents
Environment recognition deviceInfo
- Publication number
- JP3279610B2 JP3279610B2 JP33257091A JP33257091A JP3279610B2 JP 3279610 B2 JP3279610 B2 JP 3279610B2 JP 33257091 A JP33257091 A JP 33257091A JP 33257091 A JP33257091 A JP 33257091A JP 3279610 B2 JP3279610 B2 JP 3279610B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- reference plane
- difference
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 150
- 238000000034 method Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004441 surface measurement Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は環境認識装置、特に、自
律走行車などにおいて、走行路前方の障害物の認識を行
うのに適した環境認識装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an environment recognizing device, and more particularly to an environment recognizing device suitable for recognizing an obstacle ahead of a traveling road in an autonomous vehicle or the like.
【0002】[0002]
【従来の技術】自律走行車の走行制御においては、走行
路前方の状況を的確に認識することが重要である。特
に、走行路前方に存在する障害物は、できるだけ早く認
識し、衝突を回避するための適切な走行制御を行わねば
ならない。このような環境認識を行うために、従来から
種々の手法が提案されてきている。たとえば、特開昭6
4−26913号公報には、2台のカメラを左右に並
べ、走行路前方の障害物についてのステレオ画像を撮像
し、これに基づいて適切な制御を行う自律走行車の制御
装置が開示されている。2. Description of the Related Art In traveling control of an autonomous traveling vehicle, it is important to accurately recognize a situation ahead of a traveling road. In particular, an obstacle existing ahead of the traveling path must be recognized as soon as possible, and appropriate traveling control must be performed to avoid a collision. In order to perform such environment recognition, various methods have been conventionally proposed. For example, JP
Japanese Patent Application Laid-Open No. 4-26913 discloses a control device for an autonomous vehicle that arranges two cameras on the left and right sides, captures a stereo image of an obstacle in front of a traveling road, and performs appropriate control based on the stereo image. I have.
【0003】[0003]
【発明が解決しようとする課題】しかしながら、従来の
ステレオ画像に基づく環境認識装置には、画像データに
対する演算量が膨大なものとなり、障害物の認識までに
時間がかかるという問題がある。すなわち、実際の障害
物は三次元の物体であるのに対し、解析の材料となるス
テレオ画像はその二次元投影像であるため、左右の画像
についての特徴量の抽出処理や、特徴量の整合処理など
を行わねばならない。このような処理は、膨大な演算を
必要とし、障害物などの認識を短時間に行うことは困難
となる。However, the conventional environment recognition apparatus based on stereo images has a problem that the amount of calculation for image data is enormous and it takes time to recognize an obstacle. In other words, while the actual obstacle is a three-dimensional object, the stereo image used as the material for analysis is a two-dimensional projection image. Processing must be performed. Such processing requires an enormous amount of calculation, and it is difficult to recognize an obstacle or the like in a short time.
【0004】そこで本発明は、より簡便な演算を用い
て、短時間に環境認識を行うことができる環境認識装置
を提供することを目的とする。Accordingly, an object of the present invention is to provide an environment recognizing device capable of performing environment recognition in a short time by using simpler operations.
【0005】[0005]
(1) 本願第1の発明は、環境認識装置において、認識
対象についての右画像および左画像からなる二次元のス
テレオ画像を得るために、右撮像装置および左撮像装置
を有するステレオ画像入力手段と、左右の撮像装置相互
の向きおよび位置の関係に基づいて定まる左右の画像間
の変換情報を記憶する変換情報記憶手段と、所定の基準
面を定義し、この基準面を示す式と左右の画像間の変換
情報とに基づいて、右画像に対応する仮想左画像を作成
する右画像変換と、左画像に対応する仮想右画像を作成
する左画像変換と、の少なくとも一方を行う画像変換手
段と、右画像と仮想右画像の組み合わせ、および左画像
と仮想左画像の組み合わせ、の少なくとも一方の組み合
わせについて、差分画像を作成する画像差分手段と、異
なる複数の基準面を定義することにより得られた複数の
差分画像を相互に比較し、予め設定された基準パターン
に最も近似した差分画像が得られた基準面を選択し、こ
の選択した基準面の高さ位置に、差分画像に対応する障
害物の認識を行う障害物認識装置と、を設けたものであ
る。(1) The first invention of the present application, in an environment recognition device, a stereo image input unit having a right imaging device and a left imaging device to obtain a two-dimensional stereo image including a right image and a left image of a recognition target. A conversion information storage means for storing conversion information between the left and right images determined based on the relationship between the orientation and the position of the left and right imaging devices, and a predetermined reference plane defined; a formula indicating this reference plane; Image conversion means for performing at least one of right image conversion for creating a virtual left image corresponding to the right image, and left image conversion for creating a virtual right image corresponding to the left image, based on the conversion information between For at least one of the combination of the right image and the virtual right image and the combination of the left image and the virtual left image, an image difference unit for creating a difference image and a plurality of different reference planes are defined. The plurality of difference images obtained by the definition are compared with each other, a reference plane from which a difference image closest to a preset reference pattern is obtained is selected, and at the height position of the selected reference plane, And an obstacle recognition device that recognizes an obstacle corresponding to the difference image.
【0006】(2) 本願第2の発明は、環境認識装置に
おいて、認識対象についての右画像および左画像からな
る二次元のステレオ画像を得るために、右撮像装置およ
び左撮像装置を有するステレオ画像入力手段と、左右の
撮像装置相互の向きおよび位置の関係に基づいて定まる
左右の画像間の変換情報を記憶する変換情報記憶手段
と、所定の基準面を定義し、この基準面を示す式と左右
の画像間の変換情報とに基づいて、右画像に対応する仮
想左画像を作成する右画像変換と、左画像に対応する仮
想右画像を作成する左画像変換と、の少なくとも一方を
行う画像変換手段と、右画像と仮想右画像の組み合わ
せ、および左画像と仮想左画像の組み合わせ、の少なく
とも一方の組み合わせについて、差分画像を作成する画
像差分手段と、異なる複数の基準面を定義することによ
り得られた複数の差分画像の相互変化を認識し、この相
互変化が予め設定された変化パターンに基づくものであ
る場合には、得られた差分画像を障害物として認識する
障害物認識装置と、を設けたものである。(2) A second invention of the present application provides a stereoscopic image having a right image pickup device and a left image pickup device in an environment recognition device in order to obtain a two-dimensional stereo image composed of a right image and a left image of a recognition target. Input means, conversion information storage means for storing conversion information between the left and right images determined based on the relationship between the orientation and position of the left and right imaging devices, a predetermined reference plane is defined, and an expression indicating this reference plane An image that performs at least one of right image conversion for creating a virtual left image corresponding to a right image and left image conversion for creating a virtual right image corresponding to a left image based on conversion information between left and right images. A plurality of conversion means, a combination of a right image and a virtual right image, and a combination of at least one of a combination of a left image and a virtual left image; Recognize the mutual change of a plurality of difference images obtained by defining the reference plane, and if the mutual change is based on a change pattern set in advance, the obtained difference image is regarded as an obstacle. And an obstacle recognition device for recognition.
【0007】 (3) 本願第3の発明は、上述の第1または第2の発明
による環境認識装置において、それぞれ異なる基準面が
定義され、それぞれ独立した画像変換処理を行うことの
できる複数の画像変換装置、によって画像変換手段を構
成し、この複数の画像変換装置によって変換されたそれ
ぞれの仮想画像について、それぞれ独立して差分画像を
作成する複数の画像差分装置、によって画像差分手段を
構成し、異なる複数の基準面についての各差分画像を、
それぞれ同時に演算して求めることができるようにした
ものである。 (4) 本願第4の発明は、上述の第1〜第3の発明によ
る環境認識装置において、ステレオ画像入力手段が、右
画像および左画像をそれぞれ時系列データとして連続的
に取り込む機能を有し、画像変換手段が、時間的に前後
して与えられる画像間の差を示す時系列的な差分画像を
求め、この時系列的な差分画像に基づいて時間的な変化
を含む所定の対象領域を定め、この対象領域についての
み画像変換の処理を行うようにしたものである。 (5) 本願第5の発明は、環境認識装置において、認識
対象についての右画像および左画像からなる二次元のス
テレオ画像を得るために、右撮像装置および左撮像装置
を有するステレオ画像入力手段と、左右の撮像装置相互
の向きおよび位置の関係に基づいて定まる左右の画像間
の変換情報を記憶する変換情報記憶手段と、所定の基準
面を示す式と変換情報とに基づいて、右画像に対応する
仮想左画像を作成する右画像変換と、左画像に対応する
仮想右画像を作成する左画像変換と、の少なくとも一方
を行う画像変換手段と、右画像と仮想右画像の組み合わ
せ、および左画像と仮想左画像の組み合わせ、の少なく
とも一方の組み合わせについて、差分画像を作成する画
像差分手段と、走行路面上の部分的な特徴を認識し、右
画像および左画像のうちのいずれか一 方からなる実画像
上の特徴を示す位置に3点P1,P2,P3を定義し、
これら3点について基準面を定義することなしに変換情
報に基づいて画像変換処理を施すことにより、実画像に
対して左右反対側の仮想画像上に3点P1,P2,P3
に対応するエピポーララインQ1,Q2,Q3を求め、
この特徴を利用して、エピポーララインQ1,Q2,Q
3上に、3点P1,P2,P3についての対応点P
1′,P2′,P3′を求め、3点P1,P2,P3と
その対応点P1′,P2′,P3′とに基づいて定まる
平面を、走行路面に対応する基準面として定義し、この
基準面を画像変換手段に与える処理を行う基準面定義手
段と、 画像変換手段が走行路面に対応する基準面を示す
式を用いて画像変換を行ったときに得られる差分画像に
基づいて障害物の認識を行う障害物認識装置と、 を設け
るようにしたものである。 (6) 本願第6の発明は、上述の第5の発明による環境
認識装置において、基準面定義手段が、3点P1,P
2,P3とその対応点P1′,P2′,P3′とに基づ
いて定まる平面を仮の基準面とし、障害物が存在しない
環境において、仮の基準面を用いた画像変換を画像変換
手段に行わせることにより得られた仮想画像と実画像と
を比較し、両者が一致を示すまで仮の基準面に対する補
正を行い、補正後の基準面を走行路面に対応する基準面
として定義する処理を行うようにしたものである。 (7) 本願第7の発明は、環境認識装置において、認識
対象についての右画像および左画像からなる二次元のス
テレオ画像を得るために、右撮像装置および左撮像装置
を有するステレオ画像入力手段と、左右の撮像装置相互
の向きおよび位置の関係に基づいて定まる左右の画像間
の変換情報を記憶する変換情報記憶手段と、所定の基準
面を示す式と変換情報とに基づいて、右画像に対応する
仮想左画像を作成する右画像変換と、左画像に対応する
仮想右画像を作成する左画像変換と、の少なくとも一方
を行う画像変換手段と、右画像と仮想右画像の組み合わ
せ、および左画像と仮想左画像の組み合わせ、の少なく
とも一方の組み合わせについて、差分画像を作成する画
像差分手段と、路面上の照射点が高い輝度をもつ点とし
て認識できるように走行路面に対して光ビームを照射す
る手段と、画像変換手段が右画像上の照射点と仮想右画
像上の照射点とが一致するような画像変換もしくは左画
像上の照射点と仮想左画像上の照射点とが一致するよう
な画像変換を行うことが可能となるような基準面を、走
行路面に対応する基準面として定義し、この基準面を画
像変換手段に与える処理を行う基準面定義手段と、 画像
変換手段が走行路面に対応する基準面を示す式を用いて
画像変換を行ったときに得られる差分画像に基づいて障
害物の認識を行う障害物認識装置と、 を設けるようにし
たものである。 (8) 本願第8の発明は、環境認識装置において、認識
対象についての右画像および左画像からなる二次元のス
テレオ画像を得るために、右撮像装置および左撮像装置
を有するステレオ画像入力手段と、左右の撮像装置相互
の向きおよび位置の関係に基づいて定まる左右の画像間
の変換情報を記憶する変換情報記憶手段と、所定の基準
面を示す式と変換情報とに基づいて、右画像に対応する
仮想左画像を作成する右画像変換と、左画像に対応する
仮想右画像を作成する左画像変換と、の少なくとも一方
を行う画像変換手段と、右画像と仮想右画像の組み合わ
せ、および左画像と仮想左画像の組み合わせ、の少なく
とも一方の組み合わせについて、差分画像を作成する画
像差分手段と、路面上の照射点が高い輝度をもつ点とし
て認識できるように走行路面に対して所定の照射角度で
光ビームを照射する手段と、照射点から反射されてきた
光ビームを受光することにより、車両と照射点との距離
を求める手段と、右画像上もしくは左画像上の照射点の
位置と、照射角度と、距離と、に基づいて、走行路面に
対応する基準面を定義し、この基準面を画像変換手段に
与える処理を行う基準面定義手段と、 画像変換手段が走
行路面に対応する基準面を示す式を用いて画像変換を行
ったときに得られる差分画像に基づいて障害物の認識を
行う障害物認識装置と、 を設けるようにしたものであ
る。 (3) The third invention of the present application is the environment recognition device according to the first or second invention, wherein different reference planes are respectively defined, and a plurality of images each of which can perform independent image conversion processing. A conversion device, constituting an image conversion means, for each virtual image converted by the plurality of image conversion devices, a plurality of image difference devices to create a difference image independently, constituting an image difference means, Each difference image for a plurality of different reference planes is
Each of them can be calculated and calculated at the same time. (4) The fourth invention of the present application is the environment recognition device according to the above-described first to third inventions, wherein the stereo image input means has a function of continuously capturing the right image and the left image as time-series data. Image conversion means obtains a time-series difference image indicating a difference between images given before and after in time, and a predetermined target area including a temporal change based on the time-series difference image. The image conversion process is performed only for this target area. (5) The fifth invention of the present application is the environment recognition device, wherein a stereo image input unit having a right imaging device and a left imaging device is provided to obtain a two-dimensional stereo image including a right image and a left image of the recognition target. a conversion information storage means for storing conversion information between the left and right images determined based on the left and right image pickup apparatus mutual orientation and position of the relationship, the predetermined reference
An image performing at least one of right image conversion for creating a virtual left image corresponding to a right image and left image conversion for creating a virtual right image corresponding to a left image based on an expression indicating a plane and conversion information. Conversion means, image difference means for creating a difference image for at least one of a combination of a right image and a virtual right image, and a combination of a left image and a virtual left image, and recognition of a partial feature on a traveling road surface Then right
Defining three points P1, P2, P3 in the position indicating characteristics of the real image formed of any hand in the image and the left image,
Conversion information for these three points without defining a reference plane
By performing image conversion processing based on the distribution, the real image
3 points P1, P2, P3 on the virtual image on the left and right opposite sides
Find the epipolar lines Q1, Q2, Q3 corresponding to
By utilizing this feature, epipolar lines Q1, Q2, Q
3, the corresponding points P for the three points P1, P2, and P3
1 ', P2', P3 'are determined, and a plane determined based on the three points P1, P2, P3 and their corresponding points P1', P2 ', P3' is defined as a reference plane corresponding to the traveling road surface.
Reference plane defining means for performing processing of giving a reference plane to image conversion means
Step and image conversion means indicating a reference plane corresponding to the road surface
The difference image obtained when performing image conversion using the equation
Provided, the obstacle recognition device for recognizing the obstacle on the basis
That's what I did. (6) The sixth invention of the present application is the environment recognition device according to the fifth invention described above, wherein the reference plane defining means comprises three points P1, P
2, P3 and a plane determined based on the corresponding points P1 ', P2', P3 'are used as temporary reference planes, and in an environment where no obstacle exists, image conversion using the temporary reference plane is performed.
The virtual image and the real image obtained by the means are compared, and a correction is made to the temporary reference plane until they match, and the corrected reference plane is defined as a reference plane corresponding to the traveling road surface . The processing is performed. (7) The seventh invention of the present application is directed to an environment recognition device, wherein a stereo image input unit having a right imaging device and a left imaging device is provided to obtain a two-dimensional stereo image including a right image and a left image of a recognition target. a conversion information storage means for storing conversion information between the left and right images determined based on the left and right image pickup apparatus mutual orientation and position of the relationship, the predetermined reference
An image performing at least one of right image conversion for creating a virtual left image corresponding to a right image and left image conversion for creating a virtual right image corresponding to a left image based on an expression indicating a plane and conversion information. A conversion unit, an image difference unit that creates a difference image for at least one of a combination of the right image and the virtual right image, and a combination of the left image and the virtual left image, and the irradiation point on the road surface has a high luminance. Means for irradiating the traveling road surface with a light beam so that it can be recognized as a point;
Image conversion or left drawing so that the irradiation point on the image matches
Make sure that the irradiation point on the image matches the irradiation point on the virtual left image
On a reference plane that allows for
Is defined as a reference plane corresponding to the road surface, and this reference plane is
A reference plane defining means for performing processing to be given to the image converting means, and an image
The conversion means uses the formula showing the reference plane corresponding to the traveling road surface
Based on the difference image obtained when performing image conversion,
And the obstacle recognition device for recognizing the harm was so provided
It is a thing. (8) The eighth invention of the present application is the environment recognition device, wherein a stereo image input means having a right imaging device and a left imaging device is provided to obtain a two-dimensional stereo image including a right image and a left image of the recognition target. a conversion information storage means for storing conversion information between the left and right images determined based on the left and right image pickup apparatus mutual orientation and position of the relationship, the predetermined reference
An image performing at least one of right image conversion for creating a virtual left image corresponding to a right image and left image conversion for creating a virtual right image corresponding to a left image based on an expression indicating a plane and conversion information. A conversion unit, an image difference unit that creates a difference image for at least one of a combination of the right image and the virtual right image, and a combination of the left image and the virtual left image, and the irradiation point on the road surface has a high luminance. Means for irradiating the traveling road surface with a light beam at a predetermined irradiation angle so that it can be recognized as a point; and means for determining the distance between the vehicle and the irradiation point by receiving the light beam reflected from the irradiation point. Based on the position of the irradiation point on the right image or the left image , the irradiation angle, and the distance, a reference plane corresponding to the traveling road surface is defined, and this reference plane is used as image conversion means.
A reference plane defining means for performing processing to provide, image conversion means run
Image conversion is performed using the expression indicating the reference plane corresponding to the road surface.
Obstacle recognition based on the difference image obtained when
And an obstacle recognition device for performing the operation.
You.
【0008】[0008]
【作 用】右画像および左画像からなるステレオ画像が
得られた場合、このステレオ画像を撮像するために用い
た2台のカメラの相互位置関係から、右画像と左画像と
の関係式を導くことができる。したがって、右画像に基
づいて、これに対応する左画像を予測することができ、
逆に、左画像に基づいて、これに対応する右画像を予測
することができる。別言すれば、導かれた関係式に基づ
いて、右画像を仮想左画像に変換することができ、左画
像を仮想右画像に変換することができる。しかしなが
ら、このような変換を行うための条件として、何らかの
基準面を定義する必要がある。すなわち、二次元画像上
の各点が、三次元空間内の所定の基準面上の点であると
いう前提を置くことにより、はじめてこの変換が可能に
なる。[Operation] When a stereo image composed of a right image and a left image is obtained, a relational expression between the right image and the left image is derived from a mutual positional relationship between the two cameras used to capture the stereo image. be able to. Therefore, based on the right image, the corresponding left image can be predicted,
Conversely, based on the left image, the corresponding right image can be predicted. In other words, the right image can be converted to the virtual left image and the left image can be converted to the virtual right image based on the derived relational expression. However, it is necessary to define some reference plane as a condition for performing such conversion. That is, this conversion can be performed only on the assumption that each point on the two-dimensional image is a point on a predetermined reference plane in the three-dimensional space.
【0009】本願発明は、この性質を利用したものであ
り、その基本的な原理は次のようなものである。すなわ
ち、まず、走行路前方には障害物が無いものと仮定し、
前方の環境は、平坦な路面のみであるものと考える。こ
の場合、2台のカメラで撮像されたステレオ画像上の各
点(画素)は、すべて平坦な路面上の点であると考える
ことができる。すなわち、平坦な路面を基準面として定
義することができる。そして、2台のカメラの相互位置
関係から導出した関係式に、この基準面の条件を与えれ
ば、右画像を仮想左画像に変換することができ、左画像
を仮想右画像に変換することができる。そして、理論
上、右画像と仮想右画像とは一致し、左画像と仮想左画
像とは一致するはずである。もし、これらの間に不一致
部分(すなわち、差分画像上に現れた像)が生じていた
としたら、この不一致部分については、「ステレオ画像
上の各点は、すべて平坦な路面上の点である」という前
提に誤りがあったことになる。別言すれば、不一致部分
については、基準面たる路面上の点ではなかったという
ことになる。結局、不一致部分を示す画像は、基準面た
る路面上には無い点の集合であり、障害物の像を示して
いることになる。これが、本願発明の基本原理である。
この基本原理に基づく認識処理を行うには、変換式に基
づく座標変換演算と、2つの画像を比較する比較演算
と、を行うだけで済むので、簡便な演算を用いて短時間
に環境認識を行うことができるようになる。なお、この
基本原理については、特願平3−91168号明細書に
開示されている。The present invention makes use of this property, and its basic principle is as follows. That is, first, it is assumed that there are no obstacles in front of the traveling road,
It is assumed that the environment in front is only a flat road surface. In this case, all points (pixels) on the stereo images captured by the two cameras can be considered to be points on a flat road surface. That is, a flat road surface can be defined as a reference surface. Then, by giving the condition of this reference plane to a relational expression derived from the mutual positional relationship between the two cameras, the right image can be converted to a virtual left image, and the left image can be converted to a virtual right image. it can. Then, theoretically, the right image should match the virtual right image, and the left image should match the virtual left image. If a mismatching portion (that is, an image appearing on the difference image) occurs between these, the point on the stereoscopic image is all points on a flat road surface. That is, the assumption was incorrect. In other words, the mismatched portion is not a point on the road surface serving as the reference surface. After all, the image indicating the mismatched portion is a set of points that are not on the road surface serving as the reference surface, and indicates an image of the obstacle. This is the basic principle of the present invention.
To perform recognition processing based on this basic principle, it is only necessary to perform a coordinate conversion operation based on a conversion formula and a comparison operation for comparing two images. Therefore, environment recognition can be performed in a short time using a simple operation. Will be able to do it. The basic principle is disclosed in Japanese Patent Application No. Hei 3-91168.
【0010】本願第1の発明の特徴は、この基本原理に
よる障害物の認識に、更に、障害物の高さの認識を付加
した点にある。前述のように、本発明の基本原理では、
仮想画像を演算するために所定の基準面を定義する必要
がある。本願発明者は、この基準面の位置と、実際の障
害物の位置と、の関係により、得られる不一致部分の形
状が変化することに着目し、複数の基準面を定義するこ
とにより障害物の高さの認識を行うようにしたのであ
る。すなわち、実際の障害物の高さ位置に基準面が定義
された場合に、どのような形状の不一致部分が得られる
かを、あらかじめ基準パターンとして用意しておく。そ
して、高さが異なる複数の基準面を定義して、それぞれ
不一致部分を演算して求め、この不一致部分の形状が基
準パターンに最も近くなる基準面を選択すれば、この選
択された基準面の位置により障害物の位置を認識するこ
とができる。A feature of the first invention of the present application resides in that recognition of an obstacle height is added to recognition of an obstacle based on the basic principle. As mentioned above, in the basic principle of the present invention,
In order to calculate a virtual image, it is necessary to define a predetermined reference plane. The inventor of the present application pays attention to the fact that the shape of the obtained mismatched portion changes depending on the relationship between the position of the reference plane and the position of the actual obstacle, and defines a plurality of reference planes to define the obstacle. The height was recognized. That is, when a reference plane is defined at the actual height position of the obstacle, what kind of shape mismatching portion is obtained is prepared in advance as a reference pattern. Then, a plurality of reference planes having different heights are defined, and the unmatched portions are respectively calculated and obtained. If a reference plane whose shape of the mismatched part is closest to the reference pattern is selected, the selected reference plane is determined. The position of the obstacle can be recognized from the position.
【0011】本願第2の発明は、上述の第1の発明を応
用することにより、障害物のより確実な検出を可能にす
るものである。前述のように、定義する基準面の位置に
より、得られる不一致部分の形状は変化する。そこで、
真の障害物が存在する場合に、この不一致部分の形状変
化がどのようなものになるかを予め認識しておけば、実
際に求められた不一致部分の形状変化に基づいて、認識
された障害物が真のものであるのか、あるいは誤認識に
よるものであるのか、を判断することができる。本願第
3の発明では、複数の画像変換装置による同時演算が行
われる。本願第4の発明では、時間的な変化を含む部分
のみについて画像変換処理が行われる。また、本願第5
の発明では、エピポーララインを利用した路面決定が行
われ、本願第6の発明では、更に正確な路面決定が可能
になる。更に、本願第7および第8の発明では、路面に
ビーム照射を行うことにより路面決定が行われる。 The second invention of the present application makes it possible to more reliably detect an obstacle by applying the first invention. As described above, the shape of the obtained mismatched portion changes depending on the position of the reference plane to be defined. Therefore,
If the shape change of the mismatched portion is known in advance when a true obstacle is present, the recognized obstacle is determined based on the shape change of the mismatched portion actually obtained. It is possible to determine whether the thing is true or due to misrecognition. Application
In the invention of the third aspect, simultaneous operations by a plurality of image conversion devices are performed.
Will be In the fourth invention of the present application, a portion including a temporal change
The image conversion processing is performed only on the image data. In addition, the fifth of the present application
In the invention of the present invention, the road surface determination using the epipolar line is performed.
According to the sixth aspect of the present invention, more accurate road surface determination is possible.
become. Further, in the seventh and eighth inventions of the present application, on the road surface
The road surface is determined by beam irradiation.
【0012】[0012]
【実施例】§1. ステレオ画像変換の原理 以下、本発明を図示する実施例に基づいて詳述する。始
めに、左右の画像の相互変換の原理を簡単に説明する。
いま、図1に示すように、所定の対象物10を、右カメ
ラ11と左カメラ12とによって撮像し、ステレオ画像
を得る場合を考える。この場合、図2に示すように、右
カメラ11は対象物10を三次元右座標系RRで捕え、
左カメラ12は同じ対象物10を三次元左座標系LLで
捕えることになる。三次元右座標系RRは、座標軸XR
,YR ,ZR で表現される三次元座標系であり、三次
元左座標系LLは、座標軸XL ,YL ,ZL で表現され
る別の三次元座標系である。そして、両座標系間には、
次の変換式が成り立つことが知られている。[Example] §1. Principle of Stereo Image Conversion Hereinafter, the present invention will be described in detail with reference to an illustrated embodiment. First, the principle of mutual conversion between left and right images will be briefly described.
Now, as shown in FIG. 1, a case where a predetermined object 10 is imaged by a right camera 11 and a left camera 12 to obtain a stereo image will be considered. In this case, as shown in FIG. 2, the right camera 11 captures the object 10 in a three-dimensional right coordinate system RR,
The left camera 12 captures the same object 10 in the three-dimensional left coordinate system LL. The three-dimensional right coordinate system RR is a coordinate axis XR
, YL and ZR, and the three-dimensional left coordinate system LL is another three-dimensional coordinate system represented by coordinate axes XL, YL and ZL. And between the two coordinate systems,
It is known that the following conversion formula holds.
【0013】[0013]
【数1】 ここで、添字を伴った9つの係数Rによるマトリックス
は、ローテーションマトリックスと呼ばれ、右カメラ1
1と左カメラ12との向きについての相関関係に基づい
て定まるものであり、添字を伴った3つの係数Tによる
マトリックスは、平行移動マトリックスと呼ばれ、右カ
メラ11と左カメラ12との位置偏差についての相関関
係に基づいて定まるものである。(Equation 1) Here, a matrix of nine coefficients R with subscripts is called a rotation matrix, and the right camera 1
The matrix is determined based on the correlation between the direction of the camera 1 and the direction of the left camera 12, and a matrix of three coefficients T with subscripts is called a translation matrix, and the positional deviation between the right camera 11 and the left camera 12 Are determined based on the correlation of
【0014】ステレオ画像の撮像を行うと、右カメラ1
1は、座標系RR上の対象物10を撮像し右画像PR を
生成し、左カメラ12は、座標系LL上の対象物10を
撮像し左画像PL を生成する。図3に示すように、右画
像PR は2つの座標軸xR ,yR で表現される二次元右
座標系R上に定義される二次元画像であり、左画像PL
は2つの座標軸xL ,yL で表現される二次元左座標系
L上に定義される二次元画像である。座標系R上に得ら
れた投影像10Rは、座標系RR上の対象物10を所定
平面上に投影することによって得られる像であり、座標
系L上に得られた投影像10Lは、座標系LL上の対象
物10を所定平面上に投影することによって得られる像
である。When capturing a stereo image, the right camera 1
1 captures the object 10 on the coordinate system RR to generate a right image PR, and the left camera 12 captures the object 10 on the coordinate system LL to generate a left image PL. As shown in FIG. 3, the right image PR is a two-dimensional image defined on a two-dimensional right coordinate system R expressed by two coordinate axes xR and yR, and the left image PL
Is a two-dimensional image defined on a two-dimensional left coordinate system L represented by two coordinate axes xL and yL. The projection image 10R obtained on the coordinate system R is an image obtained by projecting the object 10 on the coordinate system RR onto a predetermined plane, and the projection image 10L obtained on the coordinate system L has the coordinates It is an image obtained by projecting the object 10 on the system LL onto a predetermined plane.
【0015】ここで、三次元座標系と二次元座標系との
関係を考える。たとえば、図4に示すように、カメラの
レンズ位置を示す点Oより右半分に三次元座標系XYZ
を定義する。各座標系の軸方向は図示のとおりであり、
Y軸は紙面に垂直な方向となる。そして、点Oより左側
へ距離fの位置に、Z軸に対して垂直な平面を定義し、
この平面上に二次元座標系xyを定義する。y軸はやは
り紙面に垂直な方向となる。このモデルにおいて、座標
系XYZ内の1点Qについての投影像qを、座標系xy
上に得ることを考える。すなわち、座標系XYZで表現
された座標値Q(XQ ,YQ ,ZQ )に基づいて、座標
系xyで表現された座標値q(xq ,yq )を求めるこ
とになる。この場合、図4から、 xQ = f ( XQ / ZQ ) なる変換式が得られることが理解できよう。同様に、 yQ = f ( YQ / ZQ ) なる変換式も得られる。ここで、fは、カメラの光学系
によって定まる定数である。このことから、図2に示す
座標系RR,LLと、図3に示す座標系R,Lと、の間
には、次のような変換式が得られる。Here, the relationship between the three-dimensional coordinate system and the two-dimensional coordinate system will be considered. For example, as shown in FIG. 4, a three-dimensional coordinate system XYZ is located on the right half of a point O indicating the lens position of the camera.
Is defined. The axis directions of each coordinate system are as shown in the figure.
The Y axis is a direction perpendicular to the paper surface. Then, a plane perpendicular to the Z axis is defined at a position at a distance f to the left of the point O,
A two-dimensional coordinate system xy is defined on this plane. The y-axis is also in the direction perpendicular to the paper. In this model, a projection image q for one point Q in the coordinate system XYZ is converted to a coordinate system xy
Think about getting on. That is, based on the coordinate value Q (XQ, YQ, ZQ) represented by the coordinate system XYZ, the coordinate value q (xq, yq) represented by the coordinate system xy is obtained. In this case, it can be understood from FIG. 4 that a conversion equation of xQ = f (XQ / ZQ) is obtained. Similarly, a conversion formula of yQ = f (YQ / ZQ) is obtained. Here, f is a constant determined by the optical system of the camera. From this, the following conversion formula is obtained between the coordinate systems RR and LL shown in FIG. 2 and the coordinate systems R and L shown in FIG.
【0016】xR = fR ( XR / ZR ) yR = fR ( YR / ZR ) xL = fL ( XL / ZL ) yL = fL ( YL / ZL ) さて、三次元座標系RRとLLとの関係は、前述のよう
に、係数マトリックスを用いた変換式によって求まり、
三次元座標系RRと二次元座標系Rとの関係および三次
元座標系RRと二次元座標系Rとの関係は上述の変換式
によって求まる。したがって、これらの変換式を用いれ
ば、二次元座標系Rと二次元座標系Lとの関係を示す変
換式が得られるはずである。しかしながら、上述の前提
だけでは、この変換式を解くことはできない。この他
に、もうひとつ、所定の基準面を定義してやる必要があ
る。その理由は、図5のようなモデルを考えれば、容易
に理解できる。すなわち、図5におけるxy平面上に投
影点Pが得られている場合、この投影点Pに対応する実
際の点が、三次元空間のどこに位置するかは、これだけ
の情報からは決定することができない。ところが、三次
元空間内に所定の基準面を決めてやり、実際の点がこの
基準面上の点であると仮定すれば、三次元空間内での実
際の点の位置は決定される。たとえば、図5の例では、
基準面S1を決めれば実際の点P1の位置が決定され、
基準面S2を決めれば実際の点P2の位置が決定され
る。XR = fR (XR / ZR) yR = fR (YR / ZR) xL = fL (XL / ZL) yL = fL (YL / ZL) The relationship between the three-dimensional coordinate system RR and LL is described above. Is obtained by a conversion formula using a coefficient matrix,
The relationship between the three-dimensional coordinate system RR and the two-dimensional coordinate system R and the relationship between the three-dimensional coordinate system RR and the two-dimensional coordinate system R are obtained by the above-described conversion formulas. Therefore, if these conversion formulas are used, a conversion formula indicating the relationship between the two-dimensional coordinate system R and the two-dimensional coordinate system L should be obtained. However, this conversion equation cannot be solved only by the above assumptions. In addition, it is necessary to define another predetermined reference plane. The reason can be easily understood by considering a model as shown in FIG. That is, when the projection point P is obtained on the xy plane in FIG. 5, where the actual point corresponding to the projection point P is located in the three-dimensional space can be determined from this information. Can not. However, assuming that a predetermined reference plane is determined in the three-dimensional space and that the actual point is a point on the reference plane, the position of the actual point in the three-dimensional space is determined. For example, in the example of FIG.
Once the reference plane S1 is determined, the actual position of the point P1 is determined,
Once the reference plane S2 is determined, the actual position of the point P2 is determined.
【0017】そこで、所定の基準面を、平面の一般式 aX + bY + cZ = 1 なる形式で与える。ここで、a,b,cは、基準面を決
定するための定数である。このような基準面の式を定義
してやり、三次元右座標系内の点(XR ,YR ,ZR )
および三次元左座標内の点(XL ,YL ,ZL )が、い
ずれもこの基準面上の点であるという条件を付加してや
れば、二次元座標系Rと二次元座標系Lとの関係を示す
変換式を次のように解くことができる。Therefore, a predetermined reference plane is given in the form of a plane general formula aX + bY + cZ = 1. Here, a, b, and c are constants for determining the reference plane. The equation of such a reference plane is defined and the point (XR, YR, ZR) in the three-dimensional right coordinate system is defined.
If the condition that the points (XL, YL, ZL) in the three-dimensional left coordinate are all points on this reference plane is added, the relationship between the two-dimensional coordinate system R and the two-dimensional coordinate system L is shown. The conversion equation can be solved as follows.
【0018】 xL =(AxR +ByR +C)/(DxR +EyR +1) yL =(FxR +GyR +H)/(DxR +EyR +1) ここで、A〜Hは、所定の定数である。この変換式を用
いれば、右画像内の任意の点(xR ,yR )について、
これに対応する左画像内の点(xL ,yL )を演算によ
り求めることができ、その逆も可能である。XL = (AxR + ByR + C) / (DxR + EyR + 1) yL = (FxR + GyR + H) / (DxR + EyR + 1) Here, A to H are predetermined constants. Using this conversion formula, for any point (xR, yR) in the right image,
The corresponding point (xL, yL) in the left image can be obtained by calculation, and vice versa.
【0019】§2. 基準面と差分画像との関係 いま、図6に示すように、車両Mが路面S0上を走行し
ているときに、走行路前方に障害物Nが存在する場合を
考える。車両Mに右カメラ11および左カメラ12を搭
載し、前方の障害物Nを捕らえれば、左画像および右画
像は、図7(a),(b) のようになる。そこで、路面S0
を基準面として、左画像から仮想右画像を得る画像変換
を行ったものとする。もし、障害物Nが存在しなけれ
ば、仮想右画像は実際の右画像と一致するはずである。
すなわち、障害物Nが存在しなければ、左画像上のすべ
ての点、および右画像上のすべての点は、路面S0上に
存在する点であるため、この路面S0を基準面とした画
像変換によって得られる仮想画像は、理論的には真の画
像と一致するはずである。ところが、障害物Nが存在す
ると、この障害物N上の点は、路面S0上にはない点で
あるから、路面S0を基準面にとった画像変換では、不
一致が生じるのである。具体的には、図7(a)に示すよ
うな左画像に基づく画像変換によって得られた仮想右画
像は、たとえば、図7(c) に示すような歪んだものとな
り、図7(b) に示す真の右画像に対して完全には一致し
ない。そこで、不一致部分を抽出するため、図7(b) に
示す右画像と、図7(c) に示す仮想右画像と、の差分を
とり、図7(d) に示す差分画像を作成する。この差分画
像上に残った像が、不一致部分に相当し、路面S0上に
ない点の集合、すなわち、障害物Nに対応する。 §2. The relationship between the reference plane and the difference image Now, as shown in FIG. 6, consider a case where an obstacle N exists in front of the traveling road when the vehicle M is traveling on the road surface S0. When the right camera 11 and the left camera 12 are mounted on the vehicle M and an obstacle N in front is captured, the left image and the right image are as shown in FIGS. 7A and 7B. Therefore, the road surface S0
It is assumed that image conversion for obtaining a virtual right image from a left image has been performed with reference to. If the obstacle N does not exist, the virtual right image should match the actual right image.
That is, if the obstacle N does not exist, all points on the left image and all points on the right image are points existing on the road surface S0. Should theoretically match the true image. However, if the obstacle N is present, the point on the obstacle N is not on the road surface S0. Therefore, in the image conversion using the road surface S0 as the reference plane, a mismatch occurs. Specifically, a virtual right image obtained by image conversion based on the left image as shown in FIG. 7A is distorted as shown in FIG. Does not completely match the true right image shown in FIG. Therefore, in order to extract a mismatched part, a difference between the right image shown in FIG. 7B and the virtual right image shown in FIG. 7C is obtained, and a difference image shown in FIG. 7D is created. The image remaining on the difference image corresponds to the mismatched portion, and corresponds to a set of points that are not on the road surface S0, that is, the obstacle N.
【0020】このように、ステレオ画像の一方に基づい
て得られる仮想画像と、ステレオ画像の他方の画像と、
の差分をとり、得られた差分画像上の像を障害物として
認識するのが、本発明における障害物認識の基本原理で
ある。一般に、ある程度の高さをもった障害物Nが路面
S0上に存在する場合は、図7(d) に示すような逆三角
形の形状をした像が差分画像上に得られる。As described above, the virtual image obtained based on one of the stereo images, the other image of the stereo image,
The basic principle of obstacle recognition in the present invention is to take the difference between the two and to recognize the obtained image on the difference image as an obstacle. Generally, when an obstacle N having a certain height is present on the road surface S0, an image having an inverted triangular shape as shown in FIG. 7D is obtained on the difference image.
【0021】さて、ここで、障害物Nが路面S0上にな
い場合を考えてみる。たとえば、図8に示すように、路
面S0から高さHの位置に障害物Nが存在する場合を考
えよう。いま、5つの基準面S0,S1,S2,S3,
S4を図8に示す位置に定義する。基準面S0は路面で
あり、基準面S1〜S4は、路面からそれぞれ高さh1
〜h4の位置にある面であり、高さh2=Hであるもの
とする。この5とおりの基準面について、それぞれ差分
画像を求めてみると、図9(a)〜(e) に示すような像が
得られる。ここで、図9(c) の差分画像では、図7(d)
に示す差分画像と同様、逆三角形の形状をした像が形成
されていることがわかる。すなわち、障害物Nの高さ位
置と同じレベルに基準面を定義すると、逆三角形の形状
をした像が差分画像上に形成される。基準面のレベルが
この位置から上にずれても下にずれても、像は三角形を
2つ重ねたような形状に変化してしまう。本発明は、こ
の性質に着目し、障害物Nの高さ位置を認識しようとす
るものである。すなわち、いくつかの異なる基準面につ
いて差分画像を求め、この差分画像内の像が図9(c) に
示すような逆三角形に最も近いものを選択し、このとき
の基準面の高さh2を障害物Nの高さHとして認識する
のである。Now, consider a case where the obstacle N is not on the road surface S0. For example, let us consider a case where an obstacle N exists at a height H from the road surface S0 as shown in FIG. Now, five reference planes S0, S1, S2, S3,
S4 is defined at the position shown in FIG. The reference plane S0 is a road surface, and the reference planes S1 to S4 each have a height h1 from the road surface.
To h4, and height h2 = H. When a difference image is obtained for each of the five reference planes, images as shown in FIGS. 9A to 9E are obtained. Here, in the difference image of FIG.
It can be seen that an image having an inverted triangular shape is formed similarly to the difference image shown in FIG. That is, when the reference plane is defined at the same level as the height position of the obstacle N, an image having an inverted triangular shape is formed on the difference image. Regardless of whether the level of the reference plane is shifted upward or downward from this position, the image changes to a shape in which two triangles are overlapped. The present invention focuses on this property and attempts to recognize the height position of the obstacle N. That is, difference images are obtained for several different reference planes, and an image in this difference image that is closest to an inverted triangle as shown in FIG. 9C is selected, and the height h2 of the reference plane at this time is determined. This is recognized as the height H of the obstacle N.
【0022】なお、基準面が障害物Nの高さ位置に一致
したとき、差分画像として得られる像の形状は、必ずし
も逆三角形であるとは限らない。障害物Nの形状によっ
て、差分画像上の像の形状は種々異なる。したがって、
厳密には、予測される障害物の形状に基づいて、予め所
定の基準パターンを設定しておき、この基準パターンに
最も近似した像が差分画像として得られる基準面を、障
害物の高さ位置を示す基準面として選択することにな
る。ただ、垂直方向の高さがある程度確保されている一
般的な障害物であれば、基準パターンはほぼ逆三角形と
なるので、実用上は、得られる像が逆三角形にもっとも
近くなる差分画像を選択するようにして問題ない。When the reference plane coincides with the height position of the obstacle N, the shape of an image obtained as a difference image is not always an inverted triangle. The shape of the image on the difference image varies depending on the shape of the obstacle N. Therefore,
Strictly speaking, a predetermined reference pattern is set in advance based on the predicted shape of the obstacle, and a reference plane on which an image closest to the reference pattern is obtained as a difference image is set at the height position of the obstacle. Will be selected as the reference plane indicating. However, in the case of a general obstacle having a certain height in the vertical direction, the reference pattern is almost an inverted triangle, so in practice, a difference image in which the obtained image is closest to the inverted triangle is selected. No problem to do so.
【0023】§3. 本発明による環境認識装置の構成
および動作 続いて、本発明による環境認識装置の構成および動作
を、図10に示すブロック図に基づいて説明する。ステ
レオ画像入力手段100は、図1に示すようなステレオ
撮影を行うための右カメラ11および左カメラ12から
構成され、右画像PR および左画像PL を得る。この実
施例は、この環境認識装置を自律走行車に搭載して利用
するので、車体前部の左右の位置に、右カメラ11およ
び左カメラ12を取り付けている。変換情報記憶手段1
10は、上述した二次元座標系Rと二次元座標系Lとの
間の相互変換を行うために必要な情報を記憶している。
前述のように、この情報は、右カメラ11および左カメ
ラ12の相互の向きおよび位置の関係に基づいて一義的
に決まる。画像変換手段200は、複数の画像変換装置
210〜214によって構成され、変換情報記憶手段1
10内の変換情報と、所定の基準面の式とに基づいて、
左画像PL に対応する仮想右画像IR0〜IR4を作成す
る。前述のように、このような仮想画像を作成するため
には、所定の基準面を定義する必要がある。画像変換装
置210〜214には、それぞれ異なる基準面が設定さ
れており、作成された仮想右画像IR0〜IR4は、それぞ
れ異なる基準面に基づいて得られた画像である。 §3. Configuration of environment recognition device according to the present invention
And operation Subsequently, the configuration and operation of the environment recognizing apparatus according to the present invention will be described with reference to a block diagram shown in FIG. 10. The stereo image input means 100 includes a right camera 11 and a left camera 12 for performing stereo shooting as shown in FIG. 1, and obtains a right image PR and a left image PL. In this embodiment, since this environment recognition device is mounted on an autonomous vehicle and used, the right camera 11 and the left camera 12 are attached to the left and right positions at the front of the vehicle body. Conversion information storage means 1
Reference numeral 10 stores information necessary for performing the mutual conversion between the two-dimensional coordinate system R and the two-dimensional coordinate system L described above.
As described above, this information is uniquely determined based on the relationship between the orientation and the position of the right camera 11 and the left camera 12. The image conversion means 200 is composed of a plurality of image conversion devices 210 to 214, and the conversion information storage means 1
Based on the conversion information in 10 and the formula of the predetermined reference plane,
Virtual right images IR0 to IR4 corresponding to the left image PL are created. As described above, in order to create such a virtual image, it is necessary to define a predetermined reference plane. Different reference planes are set in the image converters 210 to 214, respectively, and the created virtual right images IR0 to IR4 are images obtained based on the different reference planes.
【0024】一方、画像差分手段300は、複数の画像
差分装置310〜314によって構成され、画像変換装
置210〜214によって作成された仮想右画像IR0〜
IR4と、右カメラ11から得られた右画像PR と、の差
分画像DR0〜DR4を出力する。これらの差分画像DR0〜
DR4は、障害物認識装置400に入力される。On the other hand, the image difference means 300 is composed of a plurality of image difference devices 310 to 314, and the virtual right images IR0 to IR0 created by the image conversion devices 210 to 214.
The difference images DR0 to DR4 between IR4 and the right image PR obtained from the right camera 11 are output. These difference images DR0-
DR4 is input to the obstacle recognition device 400.
【0025】この装置の動作は次のとおりである。い
ま、たとえば、画像変換装置210〜214には、それ
ぞれ図8に示す基準面S0〜S4が設定されていたとす
る。この場合、画像差分装置310〜314から出力さ
れる差分画像DR0〜DR4は、図9(a) 〜(e) に示すよう
なものとなる。障害物認識装置400は、これらの差分
画像DR0〜DR4の中から、所定の基準パターン、すなわ
ち、逆三角形のパターンに最も近似した像を含むものを
選択する。この例では、図9(c) に示すような差分画像
DR2が選択され、これに対応する基準面S2が障害物の
高さを示す基準面として選択される。こうして、障害物
認識装置400は、差分画像DR2に含まれている像を障
害物として認識するとともに、この障害物が路面から高
さh2(路面S0から基準面S2までの高さ)の位置に
存在することも認識できる。The operation of this device is as follows. Now, for example, it is assumed that reference planes S0 to S4 shown in FIG. 8 are set in the image conversion apparatuses 210 to 214, respectively. In this case, the difference images DR0 to DR4 output from the image difference devices 310 to 314 are as shown in FIGS. 9 (a) to 9 (e). The obstacle recognition device 400 selects, from these difference images DR0 to DR4, a predetermined reference pattern, that is, an image including an image most similar to an inverted triangle pattern. In this example, the difference image DR2 as shown in FIG. 9C is selected, and the corresponding reference plane S2 is selected as the reference plane indicating the height of the obstacle. Thus, the obstacle recognizing device 400 recognizes the image included in the difference image DR2 as an obstacle, and places the obstacle at the position of the height h2 (the height from the road surface S0 to the reference surface S2) from the road surface. It can be recognized that it exists.
【0026】以上のように、障害物の認識とともに、そ
の障害物の高さ位置を認識することができる点が、この
装置の第1の機能である。このような手法による高さ位
置の認識において、最も演算負担の大きいのが、画像変
換手段200内で仮想画像を得るために行われる画像変
換処理である。本実施例の装置では、画像変換手段20
0を、複数の画像変換装置210〜214によって構成
し、それぞれが独立して固有の基準面に基づく画像変換
処理を実施できるようにしたため、複数の画像変換処理
を同時に並列処理として行うことができる。このため、
演算時間の短縮を図ることができる。As described above, the first function of this device is that the height position of the obstacle can be recognized together with the recognition of the obstacle. In the recognition of the height position by such a method, an image conversion process performed in order to obtain a virtual image in the image conversion means 200 has the largest computational burden. In the apparatus of the present embodiment, the image conversion means 20
0 is constituted by a plurality of image conversion devices 210 to 214, and each of them can independently execute an image conversion process based on a unique reference plane, so that a plurality of image conversion processes can be performed simultaneously as a parallel process. . For this reason,
The calculation time can be reduced.
【0027】この装置の第2の機能は、障害物の認識確
度を向上させる機能である。理論的には、上述のプロセ
スによって障害物を確実に認識することができるはずで
あるが、実際には、種々の要因により誤認識が行なわれ
ることがある。すなわち、真の障害物でないもの(たと
えば、路面の汚れ、水たまりなど)を障害物として認識
してしまうことがある。この装置では、障害物認識装置
400によって、このような誤認識が低減される。その
原理は次のとおりである。すなわち、真の障害物Nが存
在する場合、異なる複数の基準面を定義することにより
得られた複数の差分画像は、基準面の位置に基づいて、
図9に示すように相互変化する。別言すれば、図9に示
すような相互変化の見られる差分画像が得られた場合に
は、真の障害物が存在するということができる。障害物
認識装置400は、画像差分装置310〜314から与
えられる差分画像DR0〜DR4の相互変化を認識し、この
相互変化が予め設定された変化パターンに基づくもので
ある場合には、得られた差分画像を障害物として認識す
るのである。具体的には、基準面を変化させることによ
り、差分画像が、図9(a) ,(b) に示すように2つの三
角形を重ねたパターンから、図9(c) に示すような逆三
角形のパターンに変化し、更に、図9(d) ,(e) に示す
ように2つの三角形を重ねたパターンに変化する場合に
は、真の障害物が認識されたものと判断するのである。
逆に、このようなパターン変化がみられない場合には、
得られた障害物の像は誤認識によるものであると判断で
きる。The second function of this device is to improve the accuracy of recognition of obstacles. Theoretically, it should be possible to reliably recognize an obstacle by the above-described process. However, in practice, erroneous recognition may be performed due to various factors. That is, an object that is not a true obstacle (for example, dirt on a road surface or a puddle) may be recognized as an obstacle. In this device, such an erroneous recognition is reduced by the obstacle recognition device 400. The principle is as follows. That is, when a true obstacle N exists, a plurality of difference images obtained by defining a plurality of different reference planes are based on the position of the reference plane.
Mutually change as shown in FIG. In other words, when a difference image showing a mutual change as shown in FIG. 9 is obtained, it can be said that a true obstacle exists. The obstacle recognition device 400 recognizes a mutual change of the difference images DR0 to DR4 given from the image difference devices 310 to 314, and obtains the mutual change if the mutual change is based on a preset change pattern. The difference image is recognized as an obstacle. Specifically, by changing the reference plane, the difference image is changed from a pattern in which two triangles are overlapped as shown in FIGS. 9A and 9B to an inverted triangle as shown in FIG. 9C. If the pattern changes to a pattern in which two triangles are superimposed as shown in FIGS. 9D and 9E, it is determined that a true obstacle has been recognized.
Conversely, if no such pattern change is seen,
It can be determined that the obtained image of the obstacle is due to erroneous recognition.
【0028】なお、上述の実施例はいずれも、実際の左
画像を変換することにより仮想右画像を作成し、この仮
想右画像と実際の右画像との差分をとることにより差分
画像を得ているが、これとは全く逆に、実際の右画像を
変換することにより仮想左画像を作成し、この仮想左画
像と実際の左画像との差分をとることにより差分画像を
得るようにしてもかまわないし、これらの両方を行うよ
うにしてもかまわない。In each of the embodiments described above, a virtual right image is created by converting an actual left image, and a difference image is obtained by calculating a difference between the virtual right image and the actual right image. However, on the contrary, a virtual left image is created by converting an actual right image, and a difference image is obtained by taking a difference between the virtual left image and the actual left image. It does not matter, or both may be performed.
【0029】§4. 画像演算の効率化 図10に示す装置において、画像変換手段200におけ
る画像変換処理、および画像差分手段300における差
分演算処理は、多数の画素を取り扱う処理であるため、
画像の解像度が高くなればなるほど演算負担が大きくな
る処理である。そこで、ここでは、これら画像演算をよ
り効率化するための手法を開示しておく。ステレオ画像
入力手段100によって入力される右画像PR および左
画像PLは、時事刻々と変化してゆくものであり、それ
ぞれ一定の周期ごとに同期をとって画像変換手段200
や画像差分手段300に取り込まれる。別言すれば、右
画像PR および左画像PL は時系列データとして与えら
れるものである。ここに示す手法は、現時点で処理すべ
き画像のうち、前回処理した画像と同じ部分について
は、処理を省略することにより、全体的な演算負担の軽
減を図るものである。 §4. In the device shown in FIG. 10, the image conversion processing in the image conversion means 200 and the difference calculation processing in the image difference means 300 are processings that handle a large number of pixels.
This is a process in which the higher the resolution of the image, the greater the computational burden. Therefore, here, a method for making these image operations more efficient will be disclosed. The right image PR and the left image PL input by the stereo image input means 100 change moment by moment, and are synchronized with each other at regular intervals, respectively, and the image conversion means 200
And the image difference means 300. In other words, the right image PR and the left image PL are given as time-series data. The technique shown here is intended to reduce the overall calculation load by omitting the processing of the same part of the image to be processed at the present time as the previously processed image.
【0030】それでは、図11に示す具体例に即して、
この手法を説明する。図11の上段に示された4つの画
像は、左カメラ12から得られた左画像PL の時系列画
像データである。すなわち、左画像は、画像PL1〜PL4
へと時間とともに変化している。画像PL1では、遠方の
車両1が障害物として存在しているだけであるが、画像
PL2〜PL4では、近傍に新たな車両2が侵入してきて、
左右に動いている。いま、これら画像PL1〜PL4を原画
像として、隣接する時系列データ間での差分画像をとっ
てみると、図11の下段に示された4つの画像が得られ
る(ここにいう差分画像は、現時点の画像と前に得られ
た画像との差に対応する画像であり、画像差分手段30
0において得られる左右の画像差を示すものではな
い)。すなわち、画像PL1については、その前の画像が
定義されていないので、差分画像PL1' は得られない
が、その次の画像PL2については、その前の画像PL1と
の差分をとることにより、差分画像PL2' が得られる。
同様に、画像PL3と画像PL2との差分として差分画像P
L3' が得られ、画像PL4と画像PL3との差分として差分
画像PL4' が得られる。差分画像PL2' では、車両2が
そのまま像として現れているが、差分画像PL3' では車
両2の一部2a,2bが、差分画像PL4'では車両2の
一部2c,2dが、それぞれ像として現れている。これ
らの差分画像は、原画像における時間的変化分を示すも
のである。したがって、この差分画像に現れてこない車
両1は、時間的に定位置にある障害物であり、これにつ
いて毎回同じ演算を繰り返し行う必要はない。すなわ
ち、画像PL2〜PL4については、差分画像に現れている
車両2についてのみ画像演算処理を行えばよいことにな
る。Then, according to the specific example shown in FIG.
This technique will be described. The four images shown in the upper part of FIG. 11 are time-series image data of the left image PL obtained from the left camera 12. That is, the left images are images PL1 to PL4
Has changed over time. In the image PL1, only the distant vehicle 1 is present as an obstacle, but in the images PL2 to PL4, a new vehicle 2 enters the vicinity,
Moving left and right. Now, taking these images PL1 to PL4 as original images and taking difference images between adjacent time-series data, four images shown in the lower part of FIG. 11 are obtained (the difference images here are: An image corresponding to the difference between the current image and the previously obtained image;
0 does not indicate the difference between the left and right images obtained at 0). That is, since the preceding image is not defined for the image PL1, the difference image PL1 'cannot be obtained, but for the next image PL2, the difference from the preceding image PL1 is obtained. An image PL2 'is obtained.
Similarly, a difference image P3 is calculated as a difference between the image PL3 and the image PL2.
L3 'is obtained, and a difference image PL4' is obtained as a difference between the image PL4 and the image PL3. In the difference image PL2 ', the vehicle 2 appears as an image as it is, but in the difference image PL3', parts 2a and 2b of the vehicle 2 are shown as images, and in the difference image PL4 ', parts 2c and 2d of the vehicle 2 are shown as images. Is appearing. These difference images indicate temporal changes in the original image. Therefore, the vehicle 1 that does not appear in the difference image is an obstacle that is at a fixed position in time, and it is not necessary to repeat the same calculation for each time. That is, for the images PL2 to PL4, the image calculation process needs to be performed only for the vehicle 2 appearing in the difference image.
【0031】以上の考え方に基づいて、効率良い画像処
理を行うためには、図10に示す装置において次のよう
な動作を行えばよい。ここでは、説明の便宜上、画像変
換装置210および画像差分装置310における動作を
例にとって説明する。まず、画像変換装置210内に
は、複数枚の画像(少なくとも2枚以上)のデータを蓄
積することができるフレームメモリを用意しておく。し
たがって、時事刻々と与えられる左画像PL1〜PL4を、
データとして一時的に蓄積しておくことができる。ま
た、この画像変換装置210には、時系列画像データに
ついての差分を行い、得られた差分画像に基づいて対象
領域を決定する機能を付加しておく。たとえば、左画像
PL1とPL2とに基づき差分画像PL2' を求めたら、この
差分画像PL2' 内の車両2の像を含む閉領域を対象領域
として決定するのである。対象領域として、車両2の像
を含む矩形領域をとるようにすれば、左画像PL2につい
ては、図12に示す対象領域AL が決定できる。したが
って、画像変換装置210は、左画像PL1については全
領域について画像変換処理を行って仮想右画像IR0を出
力するが、左画像PL2については対象領域AL 内だけに
対して画像変換処理を行うことになる。また、この左画
像PL2上に定義された対象領域AL に対応する対象領域
AR が、右画像PR2上に求められる。画像差分装置31
0における左右の差分演算は、この対象領域内について
のみ行われる。残りの領域についての障害物(車両1)
に関する情報は、前回得られた左画像PL1および右画像
PR1に基づく結果をそのまま流用すればよい。In order to perform efficient image processing based on the above concept, the following operation may be performed in the apparatus shown in FIG. Here, for convenience of explanation, the operation in the image conversion device 210 and the image difference device 310 will be described as an example. First, a frame memory capable of storing data of a plurality of images (at least two images) is prepared in the image conversion device 210. Therefore, the left images PL1 to PL4 given momentarily are
It can be temporarily stored as data. In addition, the image conversion device 210 is provided with a function of performing a difference on the time-series image data and determining a target area based on the obtained difference image. For example, when the difference image PL2 'is obtained based on the left images PL1 and PL2, the closed region including the image of the vehicle 2 in the difference image PL2' is determined as the target region. If a rectangular area including the image of the vehicle 2 is taken as the target area, the target area AL shown in FIG. 12 can be determined for the left image PL2. Therefore, the image conversion device 210 performs the image conversion process on the entire region for the left image PL1 and outputs the virtual right image IR0, but performs the image conversion process only on the target region AL for the left image PL2. become. A target area AR corresponding to the target area AL defined on the left image PL2 is obtained on the right image PR2. Image difference device 31
The left / right difference calculation at 0 is performed only within this target area. Obstacles for the remaining area (vehicle 1)
As the information about, the result based on the left image PL1 and the right image PR1 obtained last time may be used as it is.
【0032】なお、差分画像PL3' およびPL4' では、
単一の障害物である車両2の像が、部分2a,2bおよ
び部分2c,2dに別れてしまっている。これらの別れ
た像は、1つ前の差分画像を参照することにより、単一
の障害物の一部であるものと認識することが可能であ
る。たとえば、差分画像PL3' における部分2a,2b
は、いずれも、差分画像PL2' における車両2の像に接
する位置にある。したがって、部分2a,2bは単一の
障害物の一部であるものと認識することができ、対象領
域としては、この部分2a,2bの両方を包含するよう
な矩形領域を定義すればよい。同様に、差分画像PL4'
における部分2c,2dは、いずれも、差分画像PL3'
における部分2a,2b(車両2の一部として認識済)
に接する位置にある。したがって、部分2c,2dは単
一の障害物の一部であるものと認識することができ、対
象領域としては、この部分2c,2dの両方を包含する
ような矩形領域を定義することになる。In the difference images PL3 'and PL4',
The image of the vehicle 2, which is a single obstacle, has been separated into portions 2a and 2b and portions 2c and 2d. These separated images can be recognized as being part of a single obstacle by referring to the previous difference image. For example, portions 2a and 2b in the difference image PL3 '
Are in contact with the image of the vehicle 2 in the difference image PL2 '. Therefore, the portions 2a and 2b can be recognized as being a part of a single obstacle, and a rectangular region including both the portions 2a and 2b may be defined as the target region. Similarly, the difference image PL4 ′
Are the difference images PL3 '.
2a, 2b in (recognized as part of vehicle 2)
It is located in contact with. Therefore, the portions 2c and 2d can be recognized as being a part of a single obstacle, and a rectangular region including both the portions 2c and 2d is defined as the target region. .
【0033】このような手法をとることにより、移動量
の大きな障害物についての演算を高速に行うことがで
き、極めて効率の良い画像演算が可能になる。すなわ
ち、図11に示す例では、移動量の小さい車両1に比
べ、移動量の大きい車両2に対する演算の方が頻繁に行
われ、高速に演算が行われたことになる。なお、上述の
実施例では、時系列画像データについての差分画像は、
前回の画像との間で差分をとることにより求めている
が、前回の画像、前々回の画像、とそれぞれ重みづけを
して差分をとるようにすることもできる。By employing such a method, it is possible to perform a calculation for an obstacle having a large moving amount at a high speed, and it is possible to perform a very efficient image calculation. That is, in the example shown in FIG. 11, the calculation for the vehicle 2 having a large moving amount is performed more frequently than the vehicle 1 having a small moving amount, and the calculation is performed at a high speed. In the above embodiment, the difference image of the time-series image data is
Although the difference is obtained by calculating a difference between the previous image and the previous image, the difference may be obtained by weighting the previous image and the image before the previous image, respectively.
【0034】§5. 走行路面の認識処理I 本発明による環境認識装置では、走行路面またはこの走
行路面から所定の高さにある面を基準面として用いる。
したがって、走行路面の認識処理、より具体的には、装
置内で定義した座標系における走行路面の平面の式を求
める処理が必要になる。そこで、以下に、この走行路面
の認識処理の一例を示すことにする。 §5. Travel Road Surface Recognition Process I In the environment recognition device according to the present invention, a travel road surface or a surface at a predetermined height from the travel road surface is used as a reference surface.
Therefore, a process of recognizing the traveling road surface, more specifically, a process of obtaining an equation of a plane of the traveling road surface in a coordinate system defined in the device is required. Therefore, an example of the recognition processing of the traveling road surface will be described below.
【0035】図10に示す装置において、走行路面の認
識を行うために必要な情報は、右カメラ11から得られ
る右画像PR および左カメラ12から得られる左画像P
L である。ここでは、この左右の2つの画像に基づい
て、走行路面の認識を行う方法を説明する。いま、図1
3(a) に示すように、左画像PL 上でユニークな2点P
1,P2を決める。これは、たとえば、路面上で容易に
識別できる白線Wの上の所定点として決めればよい。次
に、この2点P1,P2に対応する仮想右画像上の2点
を画像変換により求める。ただし、まだ走行路面の認識
が行われていない状態であるため、基準面は一切定義さ
れていない。このように、基準面を定義することなし
に、左画像から仮想右画像を求めようとすると、左画像
上の1点は仮想右画像上では1点としては求まらず、一
本の線(エピポーラライン)となってしまう。したがっ
て、左画像PL 上の2点P1,P2の画像変換による右
画像PR 上の投影は、図13(b) に示すように、それぞ
れエピポーララインQ1,Q2となる。2点P1,P2
についての真の対応点P1´,P2´は、それぞれ、こ
のラインQ1,Q2上の1点である。これらの真の対応
点P1´,P2´は、右画像PR 上で容易に認識でき
る。すなわち、白線WとラインQ1,Q2の交点として
認識できる。具体的には、ラインQ1,Q2上の画素を
捜索し、白線Wに相当する画素値をもった画素を見付
け、この画素の位置を真の対応点P1´,P2´とすれ
ばよい。In the apparatus shown in FIG. 10, information necessary for recognizing the traveling road surface includes a right image PR obtained from the right camera 11 and a left image P obtained from the left camera 12.
L. Here, a method for recognizing the traveling road surface based on the two images on the left and right will be described. Now, Figure 1
As shown in FIG. 3 (a), two unique points P on the left image PL
1. Determine P2. This may be determined, for example, as a predetermined point on a white line W that can be easily identified on the road surface. Next, two points on the virtual right image corresponding to the two points P1 and P2 are obtained by image conversion. However, since the road surface has not been recognized yet, no reference plane is defined. As described above, if an attempt is made to obtain a virtual right image from a left image without defining a reference plane, one point on the left image is not obtained as one point on the virtual right image, and one line is obtained. (Epipolar line). Therefore, the projection of the two points P1 and P2 on the left image PL onto the right image PR by image conversion becomes epipolar lines Q1 and Q2, respectively, as shown in FIG. 2 points P1, P2
Are the corresponding points P1 'and P2' on the lines Q1 and Q2, respectively. These true corresponding points P1 'and P2' can be easily recognized on the right image PR. That is, it can be recognized as the intersection of the white line W and the lines Q1 and Q2. More specifically, pixels on the lines Q1 and Q2 are searched, a pixel having a pixel value corresponding to the white line W is found, and the positions of these pixels may be set as true corresponding points P1 'and P2'.
【0036】以上の手順により、走行路面上にある2点
の対応点が、左画像PL 上と右画像PR 上とにプロット
されたことになる。平面を決定するためには、最低3点
必要であるため、更に走行路面上の第3の点について、
それぞれ左画像PL と右画像PR とに対応点を見付ける
必要がある。そこで、まず、図14(a) に示すように、
左画像PL 上に第3の点P3を定め、この点P3を含む
線分Sを定義する。点P3は、点P1,P2を結ぶ直線
上でなければ、どこにとってもかまわないが、できれ
ば、線分S上の画素が特徴的な画素値をもつような位置
に点P3をとるのが好ましい。続いて、左画像PL 上の
点P3を右画像PR に変換する。前述のように、基準面
を定めないと、点P3に対応するのは、点ではなくエピ
ポーララインとなる。すなわち、図14(b) に示すよう
に、エピポーララインQ3が求まる。点P3についての
真の対応点P3´は、このラインQ3上の1点である。
そこで、この点P3´を定めるために、左画像PL 上の
線分Sを、このエピポーララインQ3上に沿って動かし
ながら、線分S上の画素とエピポーララインQ3上の画
素との相関をとり、もっとも相関が高くなった位置に点
P3´を定める。すなわち、図15に示すように、ライ
ンQ3上の各画素と線分S上の各画素とを対比し、最も
画素値が近似するような対比が得られる位置に線分Sを
固定し、そのときの中心画素の位置を点P3´の位置と
して決定するのである。By the above procedure, two corresponding points on the traveling road surface are plotted on the left image PL and the right image PR. In order to determine the plane, at least three points are needed, so for the third point on the traveling road surface,
It is necessary to find corresponding points in the left image PL and the right image PR, respectively. Therefore, first, as shown in FIG.
A third point P3 is determined on the left image PL, and a line segment S including this point P3 is defined. The point P3 may be anywhere, as long as it is not on a straight line connecting the points P1 and P2. However, it is preferable that the point P3 be located at a position where a pixel on the line segment S has a characteristic pixel value. Subsequently, the point P3 on the left image PL is converted into a right image PR. As described above, if the reference plane is not determined, the point corresponding to the point P3 is not a point but an epipolar line. That is, as shown in FIG. 14B, the epipolar line Q3 is obtained. The true corresponding point P3 'for the point P3 is one point on the line Q3.
Therefore, in order to determine the point P3 ', the line segment S on the left image PL is moved along the epipolar line Q3, and the pixels on the line segment S and the pixels on the epipolar line Q3 are correlated. The point P3 'is determined at the position where the correlation becomes highest. That is, as shown in FIG. 15, each pixel on the line Q3 is compared with each pixel on the line segment S, and the line segment S is fixed at a position where a comparison is obtained such that the pixel value is most approximated. The position of the center pixel at that time is determined as the position of the point P3 '.
【0037】こうして、走行路面上にある3点の対応点
が、左画像PL 上と右画像PR 上とにプロットされたこ
とになる。したがって、この3点により、走行路面の式
を決定することができる。なお、より高精度に走行路面
の決定を行うためには、次のような誤差補正を行うのが
好ましい。すなわち、上述の手順により、ひとまず走行
路面の式が決定できたら、この式に対応する平面を基準
面として、障害物が存在しない状態での左画像PL を画
像変換し、仮想右画像を求めてみる。もし、正しい走行
路面の式が得られているのであれば、障害物が存在しな
い状態では、こうして求めた仮想右画像は、右カメラ1
1から得られた実右画像と一致するはずである。ここ
で、不一致が生じていた場合には、求めた走行路面の式
が誤差を含んでいると考えられる。そこで、2点P1,
P2を結ぶ線を回転軸として、求めた走行路面を少し回
転させるローテーション補正を行う。こうして、仮想右
画像が実右画像と一致するまで補正を繰り返し行うよう
にすれば、最終的には、誤差のない走行路面の式が得ら
れることになる。Thus, the three corresponding points on the road surface are plotted on the left image PL and the right image PR. Therefore, the equation of the traveling road surface can be determined from these three points. In order to determine the traveling road surface with higher accuracy, it is preferable to perform the following error correction. That is, once the equation of the traveling road surface can be determined by the above-described procedure, the left image PL in a state where there is no obstacle is image-converted using the plane corresponding to this equation as a reference plane to obtain a virtual right image. View. If the correct road surface equation is obtained, the virtual right image obtained in this way is the right camera 1 in the absence of an obstacle.
It should match the real right image obtained from 1. Here, in the case where a mismatch has occurred, it is considered that the equation of the obtained traveling road surface includes an error. Therefore, two points P1,
With the line connecting P2 as the rotation axis, the rotation correction for slightly rotating the obtained traveling road surface is performed. In this way, if the correction is repeatedly performed until the virtual right image matches the real right image, an equation of the road surface with no error is finally obtained.
【0038】§6. 走行路面の認識処理II 上述した走行路面の認識処理は、図10に示すステレオ
画像入力手段100から得られる画像に基づいて、走行
路面の決定を行うものである。ここでは、レーザ光を用
いて走行路面の認識処理を行う別な方法を説明する。こ
の方法では、図16に示すような測定系が必要になる。
レーザ発振器500によって作り出されたレーザビーム
は、変調器510によって変調され、ハーフミラー52
1,522,523および全反射ミラー524,525
による反射を繰り返し、4本のビームとして走行路面上
に照射される。図には示されていないが、各ビームにつ
いて、照射角度調節機構を設けておくとよい。 §6. Travel Road Surface Recognition Processing II The above-described travel road surface recognition processing is for determining a travel road surface based on an image obtained from the stereo image input unit 100 shown in FIG. Here, another method of performing the recognition processing of the traveling road surface using the laser light will be described. This method requires a measurement system as shown in FIG.
The laser beam created by the laser oscillator 500 is modulated by the modulator 510, and the half mirror 52
1,522,523 and total reflection mirrors 524,525
Is reflected on the traveling road surface as four beams. Although not shown in the drawing, it is preferable to provide an irradiation angle adjusting mechanism for each beam.
【0039】走行路面から反射してきたレーザビーム
は、受光素子530によって受光され、その検出信号は
距離計算装置540に与えられる。また、走行路面から
反射してきたレーザビームは、ステレオ画像入力手段1
00(すなわち、右カメラ11および左カメラ12)に
よっても捕らえられる。この結果、図17(a) ,(b) に
示すように、左画像PL および右画像PRには、走行路
面上における4本のレーザビームの照射点が、高輝度の
画素として認識できる。変調器510によってビームに
対する変調を行っておけば、レーザビームをそれ以外の
光源に対して識別することが可能になる。すなわち、各
画像上での高輝度画素のうち、所定の変調パターンで輝
度が変化している画素だけを、レーザビームの照射点に
対応する画素として認識することができる。The laser beam reflected from the traveling road surface is received by the light receiving element 530, and the detection signal is given to the distance calculation device 540. The laser beam reflected from the traveling road surface is transmitted to the stereo image input means 1.
00 (ie, right camera 11 and left camera 12). As a result, as shown in FIGS. 17A and 17B, the irradiation points of the four laser beams on the traveling road surface can be recognized as high-luminance pixels in the left image PL and the right image PR. If the beam is modulated by the modulator 510, the laser beam can be identified with respect to other light sources. That is, among the high-luminance pixels on each image, only the pixels whose luminance changes in a predetermined modulation pattern can be recognized as the pixels corresponding to the irradiation point of the laser beam.
【0040】このような測定系を用意しておけば、2と
おりの方法により、走行路面の決定を行うことができ
る。第1の方法は、図17に示すような左右の画像を用
いる方法である。すなわち、図17(a) ,(b) の画像上
の4点は、いずれも実走行路面上の同一点に対応するも
のであるから、一方の画像の4点を画像変換したとき
に、他方の画像の4点に一致するような基準面を、道路
平面計算装置550において演算して求めれば、その基
準面が走行路面ということになる。なお、平面は3点あ
れば決定できるので、レーザビームは3本だけにしても
かまわない。If such a measurement system is prepared, the traveling road surface can be determined by two methods. The first method is a method using left and right images as shown in FIG. That is, since the four points on the images in FIGS. 17A and 17B all correspond to the same point on the actual traveling road surface, when the four points on one image are image-converted, If the reference plane that matches the four points of the image is calculated by the road plane calculation device 550, the reference plane is determined as the traveling road surface. Since the plane can be determined if there are three points, only three laser beams may be used.
【0041】第2の方法は、距離計算装置540によっ
て求めた距離を利用する方法である。距離計算装置54
0は、路面上の照射点と車両との間を往復したレーザビ
ームに基づき、両者間の距離を演算し、これを道路平面
計算装置550に与える。道路平面計算装置550は、
図17に示すような照射点の画像に加え、各照射点まで
の距離が与えられるので、これらの情報とレーザビーム
の照射角度に関する情報とに基づき、走行路面の式を演
算することができる。The second method is to use the distance obtained by the distance calculation device 540. Distance calculation device 54
0 calculates the distance between the irradiation point on the road surface and the vehicle based on the laser beam that travels back and forth between the two, and gives the distance to the road plane calculation device 550. The road plane calculation device 550 is:
Since the distance to each irradiation point is given in addition to the image of the irradiation point as shown in FIG. 17, the formula of the traveling road surface can be calculated based on these information and the information on the irradiation angle of the laser beam.
【0042】[0042]
【発明の効果】以上のとおり、本発明による環境認識装
置によれば、得られたステレオ画像について、所定の基
準面を定義した変換処理を施して仮想画像を作成し、も
との画像と仮想画像との差として差分画像を求め、この
差分画像上の像の形状を考慮して障害物の認識を行うよ
うにしたため、障害物をその高さ位置とともに確実に認
識することができるようになる。As described above, according to the environment recognition apparatus of the present invention, the obtained stereo image is subjected to a conversion process defining a predetermined reference plane to create a virtual image, and the original image and the virtual image are created. A difference image is obtained as a difference from the image, and the obstacle is recognized in consideration of the shape of the image on the difference image, so that the obstacle can be reliably recognized together with its height position. .
【図1】本発明による環境認識装置におけるステレオ画
像の撮像原理を示す図である。FIG. 1 is a diagram illustrating a principle of capturing a stereo image in an environment recognition device according to the present invention.
【図2】図1に示す方法で撮像を行う場合に左右のカメ
ラ内で定義される三次元座標系を示す図である。FIG. 2 is a diagram showing a three-dimensional coordinate system defined in left and right cameras when imaging is performed by the method shown in FIG. 1;
【図3】図2に示す三次元座標系を二次元投影して得ら
れる二次元座標系を示す図である。3 is a diagram showing a two-dimensional coordinate system obtained by two-dimensionally projecting the three-dimensional coordinate system shown in FIG.
【図4】三次元座標系を二次元投影して二次元座標系を
得る原理を示す図である。FIG. 4 is a diagram showing the principle of obtaining a two-dimensional coordinate system by two-dimensionally projecting a three-dimensional coordinate system.
【図5】得られた二次元画像について仮想平面を定義し
てやることにより、三次元空間内の位置が決定されるこ
とを示す図である。FIG. 5 is a diagram showing that a position in a three-dimensional space is determined by defining a virtual plane for an obtained two-dimensional image.
【図6】本発明による環境認識装置による障害物Nの認
識原理を説明する図である。FIG. 6 is a diagram illustrating the principle of recognition of an obstacle N by the environment recognition device according to the present invention.
【図7】図6に示す環境において、本発明による環境認
識装置内に得られる各画像を示す図である。FIG. 7 is a diagram showing each image obtained in the environment recognition device according to the present invention in the environment shown in FIG. 6;
【図8】本発明による環境認識装置による障害物Nの高
さ位置の認識原理を説明する図である。FIG. 8 is a diagram illustrating the principle of recognizing the height position of an obstacle N by the environment recognition device according to the present invention.
【図9】図8に示す環境において、本発明による環境認
識装置内に得られる差分画像を示す図である。9 is a diagram showing a difference image obtained in the environment recognition device according to the present invention in the environment shown in FIG. 8;
【図10】本発明による環境認識装置の基本構成を示す
ブロック図である。FIG. 10 is a block diagram showing a basic configuration of an environment recognition device according to the present invention.
【図11】本発明による環境認識装置において、画像演
算処理を効率化するための原理を示す図である。FIG. 11 is a diagram illustrating a principle for improving the efficiency of image calculation processing in the environment recognition device according to the present invention.
【図12】図11に示す方法により、演算対象となる領
域を限定した状態を示す図である。FIG. 12 is a diagram showing a state in which a region to be calculated is limited by the method shown in FIG. 11;
【図13】本発明による環境認識装置において、走行路
面の認識を行うための2点の決定方法を説明する図であ
る。FIG. 13 is a diagram illustrating a method of determining two points for recognizing a traveling road surface in the environment recognition device according to the present invention.
【図14】本発明による環境認識装置において、走行路
面の認識を行うための第3の点の決定方法を説明する図
である。FIG. 14 is a diagram illustrating a method of determining a third point for recognizing a traveling road surface in the environment recognition device according to the present invention.
【図15】図14に示す方法において、画素同士の相関
を求める方法を説明する図である。FIG. 15 is a diagram illustrating a method for obtaining a correlation between pixels in the method shown in FIG. 14;
【図16】本発明による環境認識装置において、走行路
面の認識を行うための測定系の基本構成を示すブロック
図である。FIG. 16 is a block diagram showing a basic configuration of a measurement system for recognizing a traveling road surface in the environment recognition device according to the present invention.
【図17】図16に示す測定系を用いることにより得ら
れる左右の画像を示す図である。17 is a diagram showing left and right images obtained by using the measurement system shown in FIG.
1,2…車両(障害物) 10…対象物 11…右カメラ 12…左カメラ 100…ステレオ画像入力手段 110…変換情報記憶手段 200…画像変換手段 210〜214…画像変換装置 300…画像差分手段 310〜314…画像差分装置 400…障害物認識装置 500…レーザ発振器 510…変調器 521〜523…ハーフミラー 524,525…全反射ミラー 530…受光素子 540…距離計算装置 550…道路平面計算装置 AR ,AL …対象領域 M…車両 N…障害物 RR…三次元右座標系 LL…三次元左座標系 R…二次元右座標系 L…二次元左座標系 S…線分 S0〜S4…基準面 P1〜P3…平面決定のための点 P1´〜P3´…P1〜P3の対応点 Q1〜Q3…エピポーラライン PR …右画像 PL …左画像 IR …仮想右画像 DR …差分画像 W…白線 1, 2 ... vehicle (obstacle) 10 ... object 11 ... right camera 12 ... left camera 100 ... stereo image input means 110 ... conversion information storage means 200 ... image conversion means 210-214 ... image conversion device 300 ... image difference means 310 to 314 image difference device 400 obstacle recognition device 500 laser oscillator 510 modulator 521 to 523 half mirror 524, 525 total reflection mirror 530 light receiving element 540 distance calculation device 550 road plane calculation device AR , AL: Target area M: Vehicle N: Obstacle RR: Three-dimensional right coordinate system LL: Three-dimensional left coordinate system R: Two-dimensional right coordinate system L: Two-dimensional left coordinate system S: Line segment S0-S4: Reference plane P1 to P3 ... Points for plane determination P1 'to P3' ... Corresponding points of P1 to P3 Q1 to Q3 ... Epipolar line PR ... Right image PL ... Left image IR ... Virtual right Image DR: Difference image W: White line
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G05D 1/02 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) G05D 1/02
Claims (8)
からなる二次元のステレオ画像を得るために、右撮像装
置および左撮像装置を有するステレオ画像入力手段と、 前記左右の撮像装置相互の向きおよび位置の関係に基づ
いて定まる前記左右の画像間の変換情報を記憶する変換
情報記憶手段と、 所定の基準面を定義し、この基準面を示す式と前記変換
情報とに基づいて、前記右画像に対応する仮想左画像を
作成する右画像変換と、前記左画像に対応する仮想右画
像を作成する左画像変換と、の少なくとも一方を行う画
像変換手段と、 前記右画像と前記仮想右画像の組み合わせ、および前記
左画像と前記仮想左画像の組み合わせ、の少なくとも一
方の組み合わせについて、差分画像を作成する画像差分
手段と、 異なる複数の基準面を定義することにより得られた複数
の差分画像を相互に比較し、予め設定された基準パター
ンに最も近似した差分画像が得られた基準面を選択し、
この選択した基準面の高さ位置に、差分画像に対応する
障害物の認識を行う障害物認識装置と、 を備えることを特徴とする環境認識装置。1. A stereo image input means having a right image pickup device and a left image pickup device to obtain a two-dimensional stereo image composed of a right image and a left image of a recognition target; Conversion information storage means for storing conversion information between the left and right images determined based on a positional relationship; and a predetermined reference plane defined, and the right image is defined based on an expression indicating the reference plane and the conversion information. Image conversion means for performing at least one of right image conversion for creating a virtual left image corresponding to the left image conversion for creating a virtual right image corresponding to the left image, and For at least one of the combination and the combination of the left image and the virtual left image, an image difference unit that creates a difference image and a plurality of different reference planes are defined. A plurality of differential images obtained by comparison with one another, to select a preset reference plane difference image is obtained which is most approximate to the reference pattern,
An obstacle recognition device that recognizes an obstacle corresponding to the difference image at the height position of the selected reference plane.
からなる二次元のステレオ画像を得るために、右撮像装
置および左撮像装置を有するステレオ画像入力手段と、 前記左右の撮像装置相互の向きおよび位置の関係に基づ
いて定まる前記左右の画像間の変換情報を記憶する変換
情報記憶手段と、 所定の基準面を定義し、この基準面を示す式と前記変換
情報とに基づいて、前記右画像に対応する仮想左画像を
作成する右画像変換と、前記左画像に対応する仮想右画
像を作成する左画像変換と、の少なくとも一方を行う画
像変換手段と、 前記右画像と前記仮想右画像の組み合わせ、および前記
左画像と前記仮想左画像の組み合わせ、の少なくとも一
方の組み合わせについて、差分画像を作成する画像差分
手段と、 異なる複数の基準面を定義することにより得られた複数
の差分画像の相互変化を認識し、この相互変化が予め設
定された変化パターンに基づくものである場合には、得
られた差分画像を障害物として認識する障害物認識装置
と、 を備えることを特徴とする環境認識装置。2. A stereo image input means having a right image pickup device and a left image pickup device to obtain a two-dimensional stereo image composed of a right image and a left image of a recognition target; Conversion information storage means for storing conversion information between the left and right images determined based on a positional relationship; and a predetermined reference plane defined, and the right image is defined based on an expression indicating the reference plane and the conversion information. Image conversion means for performing at least one of right image conversion for creating a virtual left image corresponding to the left image conversion for creating a virtual right image corresponding to the left image, and For at least one of the combination and the combination of the left image and the virtual left image, an image difference unit that creates a difference image and a plurality of different reference planes are defined. An obstacle recognition device that recognizes a mutual change of a plurality of difference images obtained as a result and, when the mutual change is based on a preset change pattern, recognizes the obtained difference image as an obstacle. An environment recognition device, comprising:
において、 それぞれ異なる基準面が定義され、それぞれ独立した画
像変換処理を行うことのできる複数の画像変換装置、に
よって画像変換手段を構成し、 この複数の画像変換装置によって変換されたそれぞれの
仮想画像について、それぞれ独立して差分画像を作成す
る複数の画像差分装置、によって画像差分手段を構成
し、 異なる複数の基準面についての各差分画像を、それぞれ
同時に演算して求めることができるようにしたことを特
徴とする環境認識装置。3. The environment recognition apparatus according to claim 1, wherein different reference planes are defined, and a plurality of image conversion apparatuses capable of performing independent image conversion processing. Means for each of the virtual images converted by the plurality of image conversion devices, the image difference means comprising a plurality of image difference devices each independently generating a difference image, and for a plurality of different reference planes. An environment recognition device characterized in that each difference image can be calculated and obtained simultaneously.
識装置において、In the recognition device, ステレオ画像入力手段が、右画像および左画像をそれぞThe stereo image input means separates the right image and the left image
れ時系列データとして連続的に取り込む機能を有し、Has the function of continuously capturing as time-series data, 画像変換手段が、時間的に前後して与えられる画像間のThe image conversion means is provided for converting between images given before and after in time.
差を示す時系列的な差分画像を求め、この時系列的な差A time-series difference image showing the difference is obtained, and the time-series difference
分画像に基づいて時間的な変化を含む所定の対象領域をPredetermined target area including temporal change based on minute image
定め、この対象領域についてのみ画像変換の処理を行うAnd perform image conversion processing only for this target area
ことを特徴とする環境認識装置。An environment recognition device, characterized in that:
からなる二次元のステレオ画像を得るために、右撮像装
置および左撮像装置を有するステレオ画像入力手段と、 前記左右の撮像装置相互の向きおよび位置の関係に基づ
いて定まる前記左右の画像間の変換情報を記憶する変換
情報記憶手段と、所定の基準面を示す式 と前記変換情報とに基づいて、前
記右画像に対応する仮想左画像を作成する右画像変換
と、前記左画像に対応する仮想右画像を作成する左画像
変換と、の少なくとも一方を行う画像変換手段と、 前記右画像と前記仮想右画像の組み合わせ、および前記
左画像と前記仮想左画像の組み合わせ、の少なくとも一
方の組み合わせについて、差分画像を作成する画像差分
手段と、走行路面上の部分的な特徴を認識し、前記右画像および
左画像のうちのいずれか一方からなる 実画像上の前記特
徴を示す位置に3点P1,P2,P3を定義し、これら
3点について基準面を定義することなしに前記変換情報
に基づいて画像変換処理を施すことにより、前記実画像
に対して左右反対側の仮想画像上に前記3点P1,P
2,P3に対応するエピポーララインQ1,Q2,Q3
を求め、前記特徴を利用して、前記エピポーララインQ
1,Q2,Q3上に、前記3点P1,P2,P3につい
ての対応点P1′,P2′,P3′を求め、3点P1,
P2,P3とその対応点P1′,P2′,P3′とに基
づいて定まる平面を、前記走行路面に対応する基準面と
して定義し、この基準面を前記画像変換手段に与える処
理を行う基準面定義手段と、 前記画像変換手段が前記走行路面に対応する基準面を示
す式を用いて画像変換を行ったときに得られる差分画像
に基づいて障害物の認識を行う障害物認識装置と、 を備える ことを特徴とする環境認識装置。5. A stereo image input means having a right image pickup device and a left image pickup device for obtaining a two-dimensional stereo image composed of a right image and a left image of a recognition target; A conversion information storage unit that stores conversion information between the left and right images determined based on a positional relationship, and a virtual left image corresponding to the right image based on an expression indicating a predetermined reference plane and the conversion information. Image conversion means for performing at least one of right image conversion to be created, and left image conversion to create a virtual right image corresponding to the left image, and a combination of the right image and the virtual right image, and the left image the combination of the virtual left image, for at least one of a combination of, and recognition and image difference means for generating a difference image, a partial feature on road surface, Oyo said right image
Three points P1, P2, and P3 are defined at positions indicating the feature on an actual image formed of one of the left images, and the conversion information is defined without defining a reference plane for these three points.
By performing image conversion processing based on the real image
The three points P1 and P
2, P3 corresponding to epipolar lines Q1, Q2, Q3
, And using the feature, the epipolar line Q
The corresponding points P1 ', P2', P3 'for the three points P1, P2, P3 are obtained on 1, Q2, Q3.
A plane determined based on P2 and P3 and their corresponding points P1 ', P2' and P3 'is defined as a reference plane corresponding to the traveling road surface, and this reference plane is given to the image conversion means.
Reference plane defining means for performing processing , and the image conversion means indicating a reference plane corresponding to the traveling road surface.
Difference image obtained by performing image conversion using
Environment recognition apparatus characterized by comprising, an obstacle recognition device for recognizing an obstacle based on.
て、基準面定義手段が、 3点P1,P2,P3とその対応点
P1′,P2′,P3′とに基づいて定まる平面を仮の
基準面とし、障害物が存在しない環境において、前記仮
の基準面を用いた画像変換を画像変換手段に行わせるこ
とにより得られた仮想画像と実画像とを比較し、両者が
一致を示すまで前記仮の基準面に対する補正を行い、補
正後の基準面を走行路面に対応する基準面として定義す
ることを特徴とする環境認識装置。6. The environment recognition apparatus according to claim 5, wherein the reference plane defining means temporarily sets a plane defined based on the three points P1, P2, P3 and their corresponding points P1 ', P2', P3 '. In the environment where there is no obstacle , the image conversion unit uses the temporary reference plane to perform image conversion.
Then, the virtual image and the real image obtained by the above are compared, and the correction is performed on the temporary reference plane until they match, and the corrected reference plane is defined as the reference plane corresponding to the traveling road surface .
Environment recognition apparatus characterized by that.
からなる二次元のステレオ画像を得るために、右撮像装
置および左撮像装置を有するステレオ画像入力手段と、 前記左右の撮像装置相互の向きおよび位置の関係に基づ
いて定まる前記左右の画像間の変換情報を記憶する変換
情報記憶手段と、所定の基準面を示す式 と前記変換情報とに基づいて、前
記右画像に対応する仮想左画像を作成する右画像変換
と、前記左画像に対応する仮想右画像を作成する左画像
変換と、の少なくとも一方を行う画像変換手段と、 前記右画像と前記仮想右画像の組み合わせ、および前記
左画像と前記仮想左画像の組み合わせ、の少なくとも一
方の組み合わせについて、差分画像を作成する画像差分
手段と、 路面上の照射点が高い輝度をもつ点として認識できるよ
うに走行路面に対して光ビームを照射する手段と、前記画像変換手段が、前記右画像上の照射点と前記仮想
右画像上の照射点とが一致するような画像変換もしくは
前記左画像上の照射点と前記仮想左画像上の照射点とが
一致するような画像変換を行うことが可能となるような
基準面を、前記走行路面に対応する基準面として定義
し、この基準面を前記画像変換手段に与える処理を行う
基準面定義手段と、 前記画像変換手段が前記走行路面に対応する基準面を示
す式を用いて画像変換を行ったときに得られる差分画像
に基づいて障害物の認識を行う障害物認識装置と、 を備える ことを特徴とする環境認識装置。7. A stereo image input means having a right image pickup device and a left image pickup device for obtaining a two-dimensional stereo image composed of a right image and a left image of a recognition target; A conversion information storage unit that stores conversion information between the left and right images determined based on a positional relationship, and a virtual left image corresponding to the right image based on an expression indicating a predetermined reference plane and the conversion information. Image conversion means for performing at least one of right image conversion to be created, and left image conversion to create a virtual right image corresponding to the left image, and a combination of the right image and the virtual right image, and the left image An image difference means for creating a difference image for at least one of the combinations of the virtual left images, and an irradiation point on the road surface can be recognized as a point having a high luminance. Means for irradiating the traveling road surface with a light beam, and the image conversion means comprises:
Image conversion or matching of the irradiation point on the right image
The irradiation point on the left image and the irradiation point on the virtual left image are
It is possible to perform image conversion that matches
Define the reference plane as the reference plane corresponding to the traveling road surface
Then, a process of giving the reference plane to the image conversion means is performed.
Reference plane definition means and the image conversion means indicate a reference plane corresponding to the traveling road surface.
Difference image obtained by performing image conversion using
Environment recognition apparatus characterized by comprising, an obstacle recognition device for recognizing an obstacle based on.
からなる二次元のステレオ画像を得るために、右撮像装
置および左撮像装置を有するステレオ画像入力手段と、 前記左右の撮像装置相互の向きおよび位置の関係に基づ
いて定まる前記左右の画像間の変換情報を記憶する変換
情報記憶手段と、所定の基準面を示す式 と前記変換情報とに基づいて、前
記右画像に対応する仮想左画像を作成する右画像変換
と、前記左画像に対応する仮想右画像を作成する左画像
変換と、の少なくとも一方を行う画像変換手段と、 前記右画像と前記仮想右画像の組み合わせ、および前記
左画像と前記仮想左画像の組み合わせ、の少なくとも一
方の組み合わせについて、差分画像を作成する画像差分
手段と、 路面上の照射点が高い輝度をもつ点として認識できるよ
うに走行路面に対して所定の照射角度で光ビームを照射
する手段と、 前記照射点から反射されてきた光ビームを受光すること
により、車両と前記照射点との距離を求める手段と、前記右画像上もしくは左画像上 の照射点の位置と、前記
照射角度と、前記距離と、に基づいて、前記走行路面に
対応する基準面を定義し、この基準面を前記画像変換手
段に与える処理を行う基準面定義手段と、 前記画像変換手段が前記走行路面に対応する基準面を示
す式を用いて画像変換を行ったときに得られる差分画像
に基づいて障害物の認識を行う障害物認識装置と、 を備える ことを特徴とする環境認識装置。8. A stereo image input means having a right image pickup device and a left image pickup device to obtain a two-dimensional stereo image composed of a right image and a left image of the recognition target; A conversion information storage unit that stores conversion information between the left and right images determined based on a positional relationship, and a virtual left image corresponding to the right image based on an expression indicating a predetermined reference plane and the conversion information. Image conversion means for performing at least one of right image conversion to be created, and left image conversion to create a virtual right image corresponding to the left image, and a combination of the right image and the virtual right image, and the left image An image difference means for creating a difference image for at least one of the combinations of the virtual left images, and an irradiation point on the road surface can be recognized as a point having a high luminance. Means for irradiating a light beam at a predetermined irradiation angle with respect to road surface as, by receiving the light beam which has been reflected from the irradiation point, and means for determining the distance between the irradiation point and the vehicle, the A reference plane corresponding to the traveling road surface is defined based on the position of the irradiation point on the right image or the left image, the irradiation angle, and the distance, and the reference plane is defined as the image conversion point.
A reference plane defining means for performing a process given to a step, and the image conversion means indicating a reference plane corresponding to the traveling road surface.
Difference image obtained by performing image conversion using
Environment recognition apparatus characterized by comprising, an obstacle recognition device for recognizing an obstacle based on.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33257091A JP3279610B2 (en) | 1991-11-21 | 1991-11-21 | Environment recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33257091A JP3279610B2 (en) | 1991-11-21 | 1991-11-21 | Environment recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05143156A JPH05143156A (en) | 1993-06-11 |
JP3279610B2 true JP3279610B2 (en) | 2002-04-30 |
Family
ID=18256401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33257091A Expired - Fee Related JP3279610B2 (en) | 1991-11-21 | 1991-11-21 | Environment recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3279610B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0973543A (en) * | 1995-09-06 | 1997-03-18 | Toshiba Corp | Moving object recognition method/device |
RU2000128606A (en) * | 2000-11-15 | 2002-10-27 | Тойота Дзидося Кабусики Кайся (Jp) | SURFACE RECOGNITION DEVICE |
JP4765726B2 (en) * | 2006-03-31 | 2011-09-07 | トヨタ自動車株式会社 | Image processing apparatus and method |
JP4645601B2 (en) * | 2007-02-13 | 2011-03-09 | トヨタ自動車株式会社 | Environmental map generation method and mobile robot |
JP5906696B2 (en) * | 2011-11-30 | 2016-04-20 | アイシン精機株式会社 | Vehicle periphery photographing apparatus and vehicle periphery image processing method |
JP5891751B2 (en) * | 2011-11-30 | 2016-03-23 | アイシン精機株式会社 | Inter-image difference device and inter-image difference method |
-
1991
- 1991-11-21 JP JP33257091A patent/JP3279610B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH05143156A (en) | 1993-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112785702B (en) | SLAM method based on tight coupling of 2D laser radar and binocular camera | |
US4893183A (en) | Robotic vision system | |
JP5926228B2 (en) | Depth detection method and system for autonomous vehicles | |
JP2874710B2 (en) | 3D position measuring device | |
Varga et al. | Super-sensor for 360-degree environment perception: Point cloud segmentation using image features | |
EP2751521B1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
KR20220113781A (en) | How to measure the topography of your environment | |
US20240183963A1 (en) | 3d vision system with automatically calibrated stereo vision sensors and lidar sensor | |
Yabuuchi et al. | Visual localization for autonomous driving using pre-built point cloud maps | |
KR100574227B1 (en) | Apparatus and method for separating object motion from camera motion | |
JP3279610B2 (en) | Environment recognition device | |
JP2007233440A (en) | On-vehicle image processor | |
JPH1023311A (en) | Image information input method and device therefor | |
JP3326851B2 (en) | Method and apparatus for recognizing three-dimensional position and orientation based on vision | |
Pachidis et al. | Pseudo-stereo vision system: a detailed study | |
JP7365567B2 (en) | Measurement system, measurement device, measurement method and measurement program | |
JP2000222563A (en) | Obstacle detector, and mobile object mounting obstacle detector | |
Amor et al. | 3D face modeling based on structured-light assisted stereo sensor | |
JP2970835B2 (en) | 3D coordinate measuring device | |
JP2022087978A (en) | Position attitude calculation device, position attitude calculation method and surveying device | |
JPH06258028A (en) | Method and system for visually recognizing three dimensional position and attitude | |
Hemayed et al. | The CardEye: A trinocular active vision system | |
JPH09259282A (en) | Device and method for detecting moving obstacle | |
CN112804515A (en) | Omnidirectional stereoscopic vision camera configuration system and camera configuration method | |
JPH05173644A (en) | Three-dimensional body recording device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080222 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090222 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100222 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |