JP2881248B2

JP2881248B2 - 移動車の環境認識装置

Info

Publication number: JP2881248B2
Application number: JP2083607A
Authority: JP
Inventors: 健二藤田
Original assignee: Matsuda KK
Current assignee: Matsuda KK
Priority date: 1990-03-30
Filing date: 1990-03-30
Publication date: 1999-04-12
Anticipated expiration: 2014-04-12
Also published as: JPH03282710A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、外部環境を認識するための画像入力手段を
備えた自動車やロボット等の移動車の環境認識装置に関
し、特に詳細には、走行路端を３次元的に認識する機能
を備えた移動車の環境認識装置に関するものである。

（従来の技術）従来より、例えば特開昭64−26913号公報に示される
ように、移動車にテレビカメラ等からなる画像入力手段
を搭載し、この画像入力手段から入力される画像に基づ
いて外部環境を認識し、その認識結果に応じて移動車の
走行を自動制御する技術が提案されている。

ところで、上述の外部環境の１つとして、走行路端
（道路端や通行帯区分ラインやセンターライン等）を認
識することも多い。そのようにする場合、移動車の自動
走行制御をより安全に行なうためには、走行路端を３次
元的に認識するのが好ましい。

物体の位置を３次元的に認識する装置としては従来よ
り、左右１対のカメラからなるステレオ画像入力手段
と、それらから各々入力された２つの画像中の物体の位
置に基づいてその３次元位置を算出する手段とからなる
ものが知られている。このようにして物体の３次元位置
を求めるためには、まず、一方の画像中の任意の点が他
方の画像中ではそれぞれどの点（対応点）になっている
か、ということを知ることが必要である。

従来、上記対応点の検出は一般に、物体中の特徴点
（色、形状、大きさ、テクスチャ等に特徴が有る点）に
注目して、両画像を比較、探索する、という手法により
行なわれている。

（発明が解決しようとする課題）しかしながら、移動車の環境認識装置において上記の
ような対応点検出方法を適用するのは困難となってい
る。すなわち、走行路を撮影した外部環境認識用画像に
対しては、どのような点を特徴点とすれば効果的なのか
が不明であることが多い。また上記の対応点検出方法
は、対応点検出のために長い計算時間を要し、そして信
頼性の点でも難が有ることが認められている。

本発明は上記のような事情に鑑みてなされたものであ
り、走行路端の３次元位置を高速でかつ信頼性良く求め
ることができる。移動車の環境認識装置を提供すること
を目的とする。

（課題を解決するための手段）本発明による移動車の環境認識装置は、通常走行路端
は滑らかに変化することに着目して対応点を検出するよ
うにしたものであり、すなわち、左右１対のカメラからなるステレオ画像入力手段と、この画像入力手段により入力された２つの画像の各々
から、走行路端を抽出する手段と、抽出された走行路端をそれぞれ曲線に近似する手段
と、一方の画像における上記曲線上の任意点を選択し、こ
の任意点を３次元空間に逆透視変換した直線を求め、該
直線を他方の画像上に透視変換する手段と、この他方の画像における上記曲線と、透視変換された
上記直線との交点を求める手段と、この交点を一方の画像中の前記任意点に対応する対応
点とみなして、走行路端の３次元位置を算出する手段と
を備えたことを特徴としている。

（作用）一方の画像中の任意点について求められる上記のよう
な直線は、他方の画像に透視変換されたとき、該他方の
画像中で上記任意点に対応する点を必ず通るはずであ
る。したがって、この他方の画像中で走行路端を示す曲
線と上記直線との交点を求めれば、その交点が上記任意
点に対応する対応点となる。

このようにして、走行路端上の任意点と対応点との組
がいくつか求められれば、それ以降は従来から知られて
いる手法を用いて、走行路端の３次元位置を算出するこ
とができる。

（実施例）以下、図面に示す実施例に基づいて本発明を詳細に説
明する。

第１図は、本発明の一実施例による移動車の環境認識
装置の基本構成を示すものである。この実施例の装置は
一例として、自動車の自動操縦のために適用されるもの
である。図示されるように、自動車の外部環境を撮影す
る２台のテレビカメラ10a、10bが出力するテレビ信号V
a、Vbは、前処理装置11に入力される。

なお、ステレオ画像入力手段としての上記テレビカメ
ラ10a、10bは、所定の視差を持って左右に配され、自動
車の走行方向前方側の環境を撮影可能に取り付けられ
る。そのためにこれらのテレビカメラ10a、10bは、例え
ば第２図図示のように自動車５のフロントガラス近傍位
置においてルーフ６に取り付けたり、あるいはその他、
フロントグリル７の一部にガラスを嵌め込んでその後側
に取り付ければよい。またテレビカメラ10a、10bとして
は、例えばCCD等の撮像素子を備えたものが好適に用い
られる。

前処理装置11は、テレビカメラ10a、10bから送られた
テレビ信号Va、Vbを例えば平滑化、２値化、エッジ抽出
等の前処理を施した上でA/D変換し、外部環境認識のた
めのデジタル画像信号Sa、Sbを出力する。これらの画像
信号Sa、Sbは、例えば画素数256×256程度以上、階調数
が8bit程度のものとされる。

上記画像信号Sa、Sbは、環境認識手段12に送られる。
この環境認識手段12は例えば公知のコンピュータシステ
ムから構成され、画像信号Sa、Sbを所定のアルゴリズム
に従って処理することにより、走行路を３次元的に認識
する。この認識された走行路を示す情報Ｊはローカルマ
ップ生成手段13に入力され、そこで該情報Ｊに基づいて
ローカルマップ、すなわち自動車５の近傍の外界の状態
がどうなっているかを示すマップが作成される。なお走
行路の認識については後述する。

上記ローカルマップを示す情報Ｋは最適経路判定手段
14に入力され、そこで該情報Ｋおよび予め入力されてい
る目的地等の情報を基に、目的地に向かう最適経路が決
定され、さらにその最適経路を走行するための走行方向
および走行速度が決定される。これらの走行方向および
走行速度に関する情報Ｌはコントローラ15に入力され、
このコントローラ15により自動車５のステアリングおよ
び速度が該情報Ｌに基づいて制御される。

次に、環境認識手段12による走行路の認識について説
明する。この環境認識手段12に入力されるデジタル画像
信号Sa、Sbが担持する画像はそれぞれ、例えば第３図の
（１）、（２）に示すように、道路端Ｑの部分が抽出さ
れたものとなっている。環境認識手段12はまずこれらの
画像における各道路端Ｑを、高次多項式からなる曲線式
で近似して示す。この曲線近似は、例えばスプライン補
間式を用いて行なうことができる。その場合は、第４図
に示すように道路端Ｑの曲線近似式をｆ（ｘ）とする
と、 y_i（ｘ）＝d_i＋c_i（ｘ−x_i）＋b_i（ｘ−x_i）^２＋a_i（ｘ−x_i）^３［ｉ＝１、２、……ｎ］である。ここで、である。

次に環境認識手段12は、一方のテレビカメラ10aによ
る左画像における曲線ｆ上の任意点ｑを選択し、（第３
図（１）参照）、これを３次元空間に逆透視変換する。
この逆透視変換を、第５図に分かりやすく示す。この第
５図においては、テレビカメラ10a、10bによる撮像空間
をそれぞれ、Ｘ′−Ｙ′−Ｚ′座標系、Ｘ−Ｙ−Ｚ座標
系で示し、Ha、Hbを各々テレビカメラ10a、10bの撮像面
とする。またf₁、f₂はそれぞれテレビカメラ10a、10bの
レンズの焦点距離である。ここで、上記任意点ｑの撮像
面Ha上の座標を（ξ，η）とし、それに対応する３次元
空間上の点ｐの座標を（x,y,z）とすると、逆透視変換
によって得られる直線ｌは、Ｘ′−Ｙ′−Ｚ′座標系でとして示される。

環境認識手段12は次にこの直線ｌを、他方のテレビカ
メラ10bによる右画像上に透視変換する。ここで、テレ
ビカメラ10a、10bの向きが互いに平行で、また両者の視
差がｄであるとすると、直線ｌはＸ−Ｙ−Ｚ座標系にお
いて、として示される。

同座標系においてこの直線ｌを撮像面Hbに透視変換す
ると、その直線ｍは、ｂ＝（f₂/f₁）・η すなわち撮像面Hb上のａ軸に対して平行な直線となる。

次に環境認識手段12は、第３図（２）に示すように、
テレビカメラ10bによる右画像上の道路端Ｑ（曲線近似
されたもの）と、上記直線ｍとの交点ｒの座標（ａ、
ｂ）を求める。この交点ｒ（ａ、ｂ）がすなわち、３次
元空間上の点ｐ（x,y,z）に対応する点、つまり左画像
上の任意点ｑの対応点となる。環境認識手段12は以上の
ようにして、任意点ｑと対応点ｒとの組を複数求める。

なお上記交点ｒの抽出は、例えばNewton−Raphson法
により行なうことができる。そしてその際、任意点ｑと
対応点ｒとの組は、手前より順次求めて行くこととし、
１つ前に求めた点を公式適用の際の初期値x₀とする。す
なわち、ここで、ｇ（ｘ）＝ｆ（ｘ）−ｍ（ｘ）ｆ（ｘ）：道路端の曲線式ｍ（ｘ）：透視変換後の直線である。

環境認識手段12は、以上のようにして求めた複数の任
意点ｑと対応点ｒとの組に基づいて、道路端Ｑの３次元
位置を求める。この３次元位置の検出は、従来より公知
の手法により行なうことができる。こうして求められた
道路端Ｑの３次元位置情報は、前述したようにローカル
マップの作成のために供される。

なお以上説明した実施例においては、２台のテレビカ
メラ10a、10bが互いに平行な向きに設定されているが、
それらを光軸が互いに角度をなすように配置してもよ
い。その場合、直線ｌの透視変換はより複雑になるが、
基本的には上記実施例におけるのと同じ原理に基づいて
行なえばよい。

また上記実施例では、道路端Ｑの３次元位置検出に本
発明が適用されているが、本発明は滑らかに変化するそ
の他の走行路端、例えばセンターラインや通行帯区分ラ
イン等の３次元位置検出にも適用され得るものである。

また上記実施例では、走行路端を曲線近似する手段
と、逆透視変換および透視変換を行なう手段と、透視変
換された直線と近似曲線との交点を求める手段と、走行
路端の３次元位置を算出する手段とが１つにまとめられ
ているが、これらの手段は互いに別個に形成されてもよ
い。

（発明の効果）以上詳細に説明した通り本発明による移動車の環境認
識装置は、走行路端エッジ抽出、曲線近似、逆透視変
換、透視変換および交点抽出の処理により対応点検出を
行なうように構成されているので、本装置によれば、ほ
とんど数値処理のみで対応点検出が可能となり、よって
この対応点検出ひいては走行路端の３次元位置検出が、
信頼性良くかつ高速で行なわれ得るようになる。

【図面の簡単な説明】

第１図は、本発明の一実施例装置の基本構成を示すブロ
ック図、第２図は、本発明における画像入力手段を構成するテレ
ビカメラの移動車への取付状態例を示す斜視図、第３図の（１）、（２）は、本発明装置においてステレ
オ画像入力手段により取り込まれる外部環境認識用画像
の例を示す概略図、第４図は、走行路端を近似した曲線の例を示すグラフ、第５図は、本発明装置における任意点の逆透視変換、お
よび直線の透視変換を説明する説明図である。５……自動車、10a、10b……テレビカメラ 11……前処理装置、12……環境認識手段 13……ローカルマップ生成手段 14……最適経路判定手段、15……コントローラ

Claims

(57)【特許請求の範囲】

【請求項１】左右１対のカメラからなるステレオ画像入
力手段と、この画像入力手段により入力された２つの画像の各々か
ら、走行路端を抽出する手段と、抽出された走行路端をそれぞれ曲線に近似する手段と、一方の画像における前記曲線上の任意点を選択し、この
任意点を３次元空間に逆透視変換した直線を求め、該直
線を他方の画像上に透視変換する手段と、この他方の画像における前記曲線と、透視変換された前
記直線との交点を求める手段と、この交点を一方の画像中の前記任意点に対応する対応点
とみなして、前記走行路端の３次元位置を算出する手段
とを備えたことを特徴とする移動車の環境認識装置。