JPH03282710A - 移動車の環境認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、外部環境を認識するための画像入力手段を備
えた自動車やロボット等の移動車の環境認識装置に関し
、特に詳細には、走行路端を３次元的に認識する機能を
備えた移動車の環境認識装置に関するものである。

（従来の技術） 従来より、例えば特開昭６４−２８９１３号公報に示さ
れるように、移動車にテレビカメラ等からなる画像入力
手段を搭載し、この画像入力手段から入力される画像に
基づいて外部環境を認識し、その認識結果に応じて移動
車の走行を自動制御する技術が提案されている。

ところで、上述の外部環境の１つとして、走行路端（道
路端や通行帯区分ラインやセンターライン等）を認識す
ることも多い。そのようにする場合、移動車の自動走行
制御をより安全に行なうためには、走行路端を３次元的
に認識するのが好ましい。

物体の位置を３次元的に認識する装置としては従来より
、左右１対のカメラからなるステレオ画像入力手段と、
それらから各々入力された２つの画像中の物体の位置に
基づいてその３次元位置を算出する手段とからなるもの
が知られている。このようにして物体の３次元位置を求
めるためには、ます、一方の画像中の任意の点が他方の
画像中ではそれぞれどの点（対応点）になっているか、
ということを知ることか必要である。

従来、上記対応点の検出は一般に、物体中の特徴点（色
、形状、大きさ、テクスチャ等に特徴が有る点）に注目
して、両画像を比較、探索する、という手法により行な
われている。

（発明が解決しようとする課題） しかしながら、移動車の環境認識装置において上記のよ
うな対応点検出方法を適用するのは困難となっている。

すなわち、走行路を撮影した外部環境認識用画像に対し
ては、どのような点を特徴点とすれば効果的なのかが不
明であることが多い。

また上記の対応点検出方法は、対応点検出のために長い
計算時間を要し、そして信頼性の点でも難が有ることが
認められている。

本発明は上記のような事情に鑑みてなされたものであり
、走行路端の３次元位置を高速でかつ信頼性良く求める
ことができる、移動車の環境認識装置を提供することを
目的とする。

（課題を解決するための手段） 本発明による移動車の環境認識装置は、通常走行路端は
滑らかに変化することに着目して対応点を検出するよう
にしたものであり、すなわち、左右１対のカメラからな
るステレオ画像入力手段と、 この画像入力手段により入力された２つの画像の各々か
ら、走行路端を抽出する手段と、抽出された走行路端を
それぞれ曲線に近似する手段と、 一方の画像における上記曲線上の任意点を選択し、この
任意点を３次元空間に逆透視変換した直線を求め、該直
線を他方の画像上に透視変換する手段と、 づ この他方の画像における上記曲線と、透視変換された上
記直線との交点を求める手段と、この交点を一方の画像
中の上記任意点に対応する対応点とみなして、走行路端
の３次元位置を算出する手段とを備えたことを特徴とし
ている。

（作　　用） 一方の画像中の任意点について求められる上記のような
直線は、他方の画像に透視変換されたとき、該他方の画
像中で上記任意点に対応する点を必ず通るはずである。

したがって、この他方の画像中で走行路端を示す曲線と
上記直線との交点を求めれば、その交点が上記任意点に
対応する対応点となる。

このようにして、走行路端上の任意点と対応点との組が
いくつか求められれば、それ以降は従来から知られてい
る手法を用いて、走行路端の３次元位置を算出すること
ができる。

（実　施　例） 以下、図面に示す実施例に基づいて本発明の詳細な説明
する。

第１図は、本発明の一実施例による移動車の環境認識装
置の基本構成を示すものである。この実施例の装置は一
例として、自動車の自動操縦のために適用されるもので
ある。図示されるように、自動車の外部環境を撮影する
２台のテレビカメラ１、Ｏａ、１０ｂが出力するテレビ
信号ＶａＳＶｂは、前処理装置１１に入力される。

なお、ステレオ画像入力手段としての上記テレビカメラ
ｌＯａ、ｆｏｂは、所定の視差を持って左右に配され、
自動車の走行方向前方側の環境を撮影可能に取り付けら
れる。そのためにこれらのテレビカメラｔｏａ、ｔｏｂ
は、例えば第２図図示のように自動車５のフロントガラ
ス近傍位置においてルーフ６に取り付けたり、あるいは
その他、フロントグリル７の一部にガラスを嵌め込んで
その後側に取り付ければよい。またテレビカメラｌｏａ
、１．Ｏｂとしては、例えばＣＣＤ等の撮像素子を備え
たものが好適に用いられる。

前処理装置１１は、テレビカメラ１０ａＳｌＯｂから送
られたテレビ信号Ｖａ、Ｖｂを例えば平滑化、２値化、
エツジ抽出等の前処理を施した上でＡ／Ｄ変換し、外部
環境認識のためのデジタル画像信号Ｓａ、Ｓｂを出力す
る。これらの画像信号Ｓａ。

ｓｂは、例えば画素数２５１３　Ｘ２５［ｉ程度以上、
階調数が８ｂｉｔ程度のものとされる。

上記画像信号５ａ１Ｓｂは、環境認識手段１２に送られ
る。この環境認識手段１２は例えば公知のコンピュータ
システムから構成され、画像信号Ｓａ。

ｓｂを所定のアルゴリズムに従って処理することにより
、走行路を３次元的に認識する。この認識された走行路
を示す情報Ｊはローカルマツプ生成手段１３に人力され
、そこで該情報Ｊに基づいてローカルマツプ、すなわち
自動車５の近傍の外界の状態がどうなっているかを示す
マツプが作成される。なお走行路の認識については後述
する。

上記ローカルマツプを示す情報には最適経路判定手段１
４に入力され、そこで該情報におよび予め入力されてい
る目的地等の情報を基に、目的地に向かう最適経路が決
定され、さらにその最適経路を走行するための走行方向
および走行速度が決定される。これらの走行方向および
走行速度に関する情報りはコントローラ１５に入力され
、このコントローラ１５により自動車５のステアリング
および速度が該情報りに基づいて制御される。

次に、環境認識手段１２による走行路の認識について説
明する。この環境認識手段１２に入力されるデジタル画
像信号Ｓａ、Ｓｂが担持する画像はそれぞれ、例えば第
３図の（１）、（２）に示すように、道路端Ｑの部分が
抽出されたものとなっている。環境認識手段１２はまず
これらの画像における各道路端Ｑを、高次多項式からな
る曲線式で近似して示す。この曲線近似は、例えばスプ
ライン補間式を用いて行なうことができる。その場合は
、第４図に示すように道路端Ｑの曲線近似式をｆ　（ｘ
）とすると、 ｙ＋　　（ｘ）＝ｄ＋　十Ｃ＋　　（ｘ　　ｘ＋）十ｂ
＋　　（Ｘ　　ＸＩ）２ 十ａ＋　　（ｘ　　ＸＩ）３ ［ｉ−１，２、 ・・・・・・ｎ］ である。

ここで、 ＝　ｆ （Ｘ ） ｘ ａ＋　　ｈ＋＋＋　　　　　（ｈ＋　　＝ＸＩ＋＋　　
−ＸＩ　）である。

次に環境認識手段１２は、一方のテレビカメラ１０ａに
よる左画像における曲線ｆ上の任意点ｑを選択し、（第
３図（１）参照）、これを３次元空間に逆透視変換する
。この逆透視変換を、第５図に分かりやすく示す。この
第５図においては、テレビカメラ１０ａ、１０ｂによる
撮像空間をそれぞれ、Ｘ゛Ｙ’　　−Ｚ’　座標系、ｘ
−ｙ−ｚ座標系で示し、ＨａＳＨｂを各々テレビカメラ
１０ａ、１．Ｏｂの撮像面とする。またｆｌ、ｆｌはそ
れぞれテレビカメラ１０ａ、　ｌＯｂのレンズの焦点距
離である。ここで、上記任意点ｑの撮像面Ｈａ上の座標
を（ξ、η）とし、それに対応する３次元空間上の点ｐ
の座標を（ｘ、　　ｙ＋　　ｚ）とすると、逆透視変換
によって得られる直線（は、Ｘ’　　−Ｙ’−Ｚ’座標
系てξ　　　η　　ｆｌ　　　として示される。

環境認識手段１２は次にこの直線１を、他方のテレビカ
メラｌＯｂによる右画像上に透視変換する。

ここで、テレビカメラＬＯａ、１０ｂの向きが互いに平
行で、また両者の視差がｄであるとすると、直線１はｘ
−ｙ−ｚ座標系において、 ξ　　　η　　　ｆｌ　　として示される。

同座標系においてこの直線１を撮像面Ｈｂに透視変換す
ると、その直線ｍは、 ｂ＝−（ｆｚ　／ｆｘ　）　　・η すなわち撮像面Ｈｂ上のａ軸に対して平行な直線となる
。

次に環境認識手段１２は、第３図（２）に示すように、
テレビカメラ１０ｂによる右画像上の道路端Ｑ（曲線近
似されたもの）と、上記直線ｍとの交点ｒの座標（ａ、
ｂ）を求める。この交点ｒ　（ａ、ｂ）がすなわち、３
次元空間上の点ｐ　（Ｘ＋　　ｙ＋　　ｚ）に対応する
点、つまり左画像上の任意点ｑの対応点となる。環境認
識手段１２は以上のようにして、任意点ｑと対応点ｒと
の組を複数水める。

なお上記交点ｒの抽出は、例えばＮｅｗｔｏｎ　−Ｒａ
ｐｂｓｏｎ法により行なうことができる。そしてその際
、任意点ｑと対応点ｒとの組は、手前より順次求めて行
くこととし、１つ前に求めた点を公式適用の際の初期値
ｘ□とする。すなわち、ここで、 （ｘ）−ｆ （ｘ） （ｘ） ｆ　（ｘ）　　：道路端の曲線式 ｍ（ｘ）：透視変換後の直線 である。

環境認識手段１２は、以上のようにして求めた複数の任
意点ｑと対応点ｒとの組に基づいて、道路端Ｑの３次元
位置を求める。この３次元位置の検出は、従来より公知
の手法により行なうことができる。こうして求められた
道路端Ｑの３次元位置情報は、前述したようにローカル
マツプの作成のために供される。

なお以上説明した実施例においては、２台のテレビカメ
ラ１０ａ、１０ｂが互いに平行な向きに設定されている
が、それらを光軸が互いに角度をなすように配置しても
よい。その場合、直線１の透視変換はより複雑になるが
、基本的には上記実施例におけるのと同じ原理に基づい
て行なえばよい。

また上記実施例では、道路端Ｑの３次元位置検出に本発
明が適用されているが、本発明は滑らかに変化するその
他の走行路端、例えばセンターラインや通行帯区分ライ
ン等の３次元位置検出にも１ 適用され得るものである。

また上記実施例では、走行路端を曲線近似する手段と、
逆透視“変換および透視変換を行なう手段と、透視変換
された直線と近似曲線との交点を求める手段と、走行路
端の３次元位置を算出する手段とが１つにまとめられて
いるが、これらの手段は互いに別個に形成されてもよい
。

（発明の効果） 以上詳細に説明した通り本発明による移動車の環境認識
装置は、走行路端エツジ抽出、曲線近似、逆透視変換、
透視変換および交点抽出の処理により対応点検出を行な
うように構成されているので、本装置によれば、はとん
ど数値処理のみで対応点検出が可能となり、よってこの
対応点検出ひいては走行路端の３次元位置検出が、信頼
性良くかつ高速で行なわれ得るようになる。

【図面の簡単な説明】

第１図は、本発明の一実施例装置の基本構成を示すブロ
ック図、 第２図は、本発明における画像入力手段を構成するテレ
ビカメラの移動車への取付状態例を示す斜視図、 第３図の（１）、（２）は、本発明装置においてステレ
オ画像入力手段により取り込まれる外部環境認識用画像
の例を示す概略図、 第４図は、走行路端を近似した曲線の例を示すグラフ、 第５図は、本発明装置における任意点の逆透視変換、お
よび直線の透視変換を説明する説明図である。 ５・・・自動車　　　　　１０ａ、ｌＯｂ・・・テレビ
カメラ１１・・・前処理装置　　　　１２・・・環境認
識手段１３・・・ローカルマツプ生成手段 １４・・・最適経路判定手段　１５・・・コントローラ
１０ａ 第 図

Claims (1)

1. 【特許請求の範囲】 左右１対のカメラからなるステレオ画像入力手段と、 この画像入力手段により入力された２つの画像の各々か
   ら、走行路端を抽出する手段と、 抽出された走行路端をそれぞれ曲線に近似する手段と、 一方の画像における前記曲線上の任意点を選択し、この
   任意点を３次元空間に逆透視変換した直線を求め、該直
   線を他方の画像上に透視変換する手段と、 この他方の画像における前記曲線と、透視変換された前
   記直線との交点を求める手段と、 この交点を一方の画像中の前記任意点に対応する対応点
   とみなして、前記走行路端の３次元位置を算出する手段
   とを備えたことを特徴とする移動車の環境認識装置。