JPH01265399A - 車両用道路認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 光匪曳且伯 ［産業上の利用分野］ 本発明は、車両周囲の車外の画像から道路を認識する車
両用道路認識装置に関する。

［従来の技術］ 車載のテレビカメラ等の撮像手段を用いて車両前後方向
の視野を撮像し、その画像に含まれる各種情報を取り出
して利用する装置がいくつか提案されている。例えは、
特開昭５９−１２７２００号公報には、画像から道路標
識を認識するｒ車載交通標識報知装置」が開示されてい
る。また、軍用の車両として、平坦な領域を検出して自
動走行する無人戦車等の開発も行なわれている。

［発明が解決しようとする課題］ しかしながら、道路標識等は走行している車両に対して
常に一定の位置関係を有するとは限らないため、道路標
識を直接認識しようとすることは極めて困難であるとい
う問題があった。従って、こうした技術を現実化するた
めには、走行する車両に対してほぼ一定の位置関係を有
する対象を特定し、これを確実に認識する装置が不可欠
である。

かかる対象としては、道路が好適と考えられるが、３次
元の実空間における道路の形状を正確に認識する装置は
従来提案されていない。

また、一般車両の自動走行、例えば先行車を追尾するよ
うな自動走行では、撮像した２次元画像から平坦な領域
を単に認識したり２次元子面における道路像を単純に認
識するだけでは不十分であり、走行用の道路の３次元形
状を正しく認識する必要がある。こうした視点からも、
実空間における道路の形状を正確に認識する装置が必要
となる。

本発明は、上記要請に応えるものであり、車外の画像か
ら道路領域を抽出して道路の実空間における形状を好適
に認識することを目的とする。

え肌辺講戒 かかる目的を達成する本発明の構成について以下説明す
る。

［問題点を解決するための手段］ 本発明の車両用道路認識装置は、第１図に例示するよう
に、 車両Ｍ１周囲の車外を撮像する撮像手段Ｍ２と、該撮像
手段Ｍ２によって撮像された２次元画像から、道路領域
を認識する道路領域認識手段Ｍ３と、 該認識された道路領域に備わった形態上の特性に基づく
該道路領域の認識の修正と、該道路領域の２次元座標の
３次元座標への変換とを行なって、道路の実空間におけ
る形状を求める道路形状認識手段Ｍ４と ゛を備えたことを要旨とする。

ここで、道路領域の認識を行なう手段Ｍ３は、例えば撮
像された画像に対して種々の画像処理等を施して画像に
存在するいくつかの領域を抽出し、これらの領域の中か
ら道路領域に相当する領域を選択する構成や、道路とし
て指定された領域の色彩を記憶しその色彩の領域を追跡
する構成等、画像認識の種々の手法を実現するものとし
て構成することかできる。

道路の実空間における形状を求める手段Ｍ４は、認識さ
れた道路領域に備わった形態上の特性に基づく該道路領
域の認識の修正と、道路領域の座標の変換とを行なうも
のであり、１１！正と変換とは何れを先に行なっても差
し支えない。また、道路領域に備わった形態上の特性と
は、道路幅が所定の区間では一定であるとか、交差点や
分岐を除けば道路の両縁は滑らかな直線もしくは曲線で
構成されるとか、交差点・分岐点の道路形状は予め知ら
れた一定の形状となるといった特性である。

［作用］ 上記構成を有する本発明の車両用道路認識装置は、撮像
手段Ｍ２により撮像された車両Ｍ１周囲の車外の２次元
画像から、道路領域認識手段Ｍ３により道路領域を認識
し、この道路領域に備わった形態上の特性に基づく道路
領域の認識の修正と道路領域の２次元座標の３次元座標
への変換とを、道路形状認識手段Ｍ４により行なう。

この結果、本発明の車両用道路認識装置は、例えば道路
の勾配の変化や交差点等の存在等による道路領域の形態
のずれを修正し、道路の実空間に゛おける形状を認識す
る。

［実施例］ 以上説明した本発明の構成・作用を一層明らかにするた
めに、以下本発明の車両用道路認識装置の好適な実施例
について説明する。第２図は本発明一実施例としての車
両用道路認識装置の概略構成図、第３図は同じくその画
像処理装置を中心に概略構成を示すブロック図である。

図示するように、この車両用道路認識装置は、車両１の
前方を撮像するＣＣＤを用いたフルカラーのテレビカメ
ラ３と、テレビカメラ３により撮像された画像を処理す
る画像処理装置５と、処理された後の画像を乗員に視認
し得るよう映し出すカラーモニタ７とから構成されてい
る。画像処理装置５は、周知のＣＰＵＩ　１．ＲＯＭ１
２．ＲＡＭ１３９画像メモリ（以下、ＶＲＡＭと呼ぶ）
１５等から算術論理演算回路として構成されている。

この画像処理装置５には、これらＣＰＵＩＩ等のほか、
バス１７を介してこれらに相互に接続された画像信号人
力ボート１日、入力回路１９．ＣＲＴＣ２０、更にはテ
レビカメラ３からのＲＧＢ信号を各色毎にディジタル信
号に変換するＡ／Ｄ変換器２２等を備えている。

入力回路１９には、確認用スイ・ンチ２５が接続されて
いる。このスイッチ２５は、後述する道路認識処理にお
いて、乗員による最終的な判断を求める際に使用される
。ＣＰＵＩＩは、入力回路１９を介してこのスイ・ンチ
２５が操作されたか否かを随時読み取ることができる。

画像信号人力ボート１日は、Ａ／Ｄ変換器２２に接続さ
れており、テレビカメラ３からの画像信号を逐次読み込
んで、ＶＲＡＭ１５の所定の領域に展開する。従って、
ＣＰＵＩＩは、このＶＲＡＭ１５の所定アドレスをアク
セスすることにより、車外の画像を自由に処理すること
ができる。ＣＲＴＣ２０は、カラーモニタ７に接続され
ており、ｃｐｕｔｉからの指示を受けて、ＶＲＡＭ１５
内の所定の領域に展開された画像処理後の画像データを
読み出し、これをカラーモニタ７に表示する。

以上の構成を有する本実施例の車両用道路認識装置にお
ける道路認識処理について説明する。本実施例の装置は
、第４図（Ａ）、（Ｂ）に示す道路認識処理ルーチンを
実行する。電源投入後、まず、画像信号人力ボート１日
によりテレビカメラ３が撮像する車外の画像を人力する
処理を行なう（ステップ１００）。人力された画像デー
タは、上述した通り、ＶＲＡＭ１５の所定の領域に展開
される。取り込んだ画像の一例を第５図（Ａ）に示す。

続いて、取り込んだ画像データに刻して、例えばラプラ
シアンオペレータ等の周知の空間フィルタを施すことに
より二値化し、撮像した画像からエツジを抽出する処理
を行なう（ステップ１１０）。エツジ抽出により、画像
は、エツジとそれ以外の部分とに二値化される。エツジ
の抽出を行なった後、エツジの拡大◆縮小の処理を行な
うことにより、本来中じるはずの工・ンジが画像取り込
みの過程で欠落しているような部位をつなぎ合わせる処
理を行なう（ステップ１２０）。こうしたエツジ抽出・
処理の結果の一例を第５図（Ｂ）に示す。

エツジの修復を行なった後、エツジで囲まれた部分をひ
とつの領域として取り出す処理を行なう（第４図（Ａ）
ステ・ンブ１３ｏ）。エツジで囲まれた領域の取り出し
は、道路が存在する確率の高さを考慮して、画面の下部
に存在する領域から順に行ない、工・ンジを時計方向回
りにトレースすることにより、その領域の面積の算出を
併せて行なう。続いて、こうして抽出された領域が道路
に相当するか否かについて判断する。本実施例では、抽
出された領域について、ステップ１３０で算出されたそ
の面積が画面全体の１／１０以上であり（ステップ１４
０）、かつその領域の存在する位置が道路に対応した位
置であると判断されたとき（ステップ１５０）、その領
域を道路に相当する領域と判断する。画面全体に対して
道路が占めるべき面積は、車両１のどの部位にテレビカ
メラ３が設けられているか、またその１印角や倍率、あ
るいは道路の勾配変化等により異なり、判断の基準とな
る割合は、実験的に定められる。また、領域の位置につ
いての判断は、本実施例では、その領域が画面の最下部
から中央部にかけて存在するか否かにより行なう。テレ
ビカメラ３を車両１の前部に設けた場合、道路は通常こ
の位置に撮像されるからである。

抽出した領域が道路に相当しなければ、画面に存在する
領域を総て抽出・判断したか否かを判断しくステップ１
６０）、全領域の判断が済んでいなければステップ１３
０の処理に戻って次の領域についての判断を続行する。

一方、全領域についての判断が終了した場合には（ステ
ップ１６ｏ）、ステップ１００に戻って新たな画像の人
力から再度実行する。

ステップ１３０ないし１５０の処理により、抽出した領
域が道路であると判断された場合には、カラーモニタ７
にこれを表示する処理を行なう（ステップ１７０）。こ
の場合には、道路として抽出した領域に視認性の高い処
理（例えば、黄色の彩色やその領域の点滅）を施して、
撮像した原画像に重ね併せて表示すれは、−目でこれを
認識することができ好適である。この例を、第５図（Ｃ
）に示す。図において、ハツチングされた領域は、カラ
ーモニタ７上では、黄色に彩色されている。

こうしてカラーモニタフに示した領域を道路領域として
最終的に判断してよいか否かを、確認用スイッチ２５の
操作により判定する（ステップ１８０）。一定期間内に
確認用スイッチ２５が操作されれば、カラーモニタ７上
に表示した領域を道路と判断してよいとして、この領域
の属性、木実先例では道路幅りとその色彩とを、ＲＡＭ
１３の所定のエリアに格納する（ステップ１９０）。

以上の処理により、道路の初期認識が終了したとして、
ステップ２００以下、道路領域の属性を用いた道路の認
識を継続する。まず、籾量認識処理におけるステップ１
００，１１０．１２０と同様、テレビカメラ３の撮像し
た画像の人力（ステップ２００）、工・ンジの抽出（ス
テップ２１０）。

エツジのＩ＠復（ステップ２２０）を行ない、続いてＲ
ＡＭ１３に記憶した属性のひとつである道路幅りを用い
て検出点の設定を行なう（ステップ２３０）。検出点Ｓ
Ｐは、第６図（Ａ）、（Ｂ）に示すように、道路幅りの
１／２の点として設定される。道路は、カーブに差し掛
かったりすればその形状は変化するが、画面最下部を占
める幅には大きな変化はないことに着目して、このよう
に検出点ＳＰを設定し、この検出点５Ｐ（７ｐ存在する
領域から、領域の抽出を開始するのである。検出点ＳＰ
は、抽出した領域が道路と認識できなければ、次々と上
方の領域に移動されて新たな領域の抽出が行なわれるが
、検出点ＳＰが画面の最上部に至った場合には（ステッ
プ２４０）、その画像では道路領域の認識ができなかっ
たとして、再び画像の人力（ステップ２００）から上述
した処理を繰り返す。

検出点ＳＰが画面の上部まで至っていなければ、その検
出点ＳＰが存在する領域を抽出しくステップ２５０）、
その領域の面積が画面全体の１／１０以上あるか否かの
判断を行なう（ステップ２６０）。面積が道路りこ相当
する大きさ以下であれは、検出点ＳＰの設定（ステップ
２３０）から上述した処理を繰り返す。

抽出した領域の面積が画面の１７１０以上の割合を占め
ていれば、次にその領域の属性のひとつである色彩につ
いて判断する（ステップ２７０）。

その領域の色彩がステップ１９０においてＲＡＭ１３に
記憶した道路の色彩と同一とみなすことができれば、そ
の領域は道路であると判断し、この領域が画面中央部ま
で連続しているか否かの判断（連続性の判断）を行なう
（ステップ２８０）。

連続性が満足されていれば、その領域は道路領域と認識
して良いから、後述するステップ４００以下に移行する
。こうして認識された道路領域の一例を第５図（Ｄ）に
示す。

現実の路上で撮像する場合には、道路に映じた陸橋や建
物、電柱等の影により工・ンジを生じて道路領域が分断
されたていたり、あるいは横断歩道やセンタライン等の
白いラインによりエツジが生じて領域が分断されていた
りすることがある。こうした例を第５図（Ｅ）に示す。

道路領域が分断されている場合には、道路に相当する面
積と色彩とを有すると判断された領域でも画面中央部ま
で連続していないことがある。そこで、連続性がないと
判断された場合（ステップ２８０）には、分断された領
域の上部もしくは下部に検出点ＳＰを移動して領域の抽
出を行ない（ステップ３００）、その領域と先に道路と
判定された領域との色彩を比較する処理を行なう（ステ
ップ３１Ｏ）。両領域の色彩が同一とみなせる場合には
両領域を結合しくステ・ンブ３２０）、再び連続性の判
断を行なう（ステップ２８０）。結合してもその領域が
画面中央部まで連続していない場合には、更にその領域
の上下の領域が同一色とみなすことができないか判断を
続け、同一の色彩の領域がもはやないか、連続性の判断
が満たされるまで繰り返す（ステップ２８０，３００，
３１０．３２０）。連続性が満たされないまま同一色の
領域が存在しなくなった場合には、再び画像人力処理（
ステ・ンプ２００）から、上述した処理（ステップ２０
０ないし３２０）を繰り返す。

連続性が満足された場合（ステップ２８０）には、得ら
れた道路領域の形状に基づいて、認識した道路が直線道
路か否かの判断を行なう（ステップ４００）。直線道路
か否かの判断は、認識した道路領域の左右端が直線とみ
なせるか否かにより容易に判断することができる。直線
道路でなければ次式（１）、　　（２）、　　（３）に
より、一方直線道路の場合には次式（１）、　　（４）
、　　（５）により、各々認識した道路領域の座標につ
いて座標変換を行なう（ステップ４１０．４２０）。

道路領域の認識のなされた画像は、テレビカメラ３の視
野に存在した３次元空間を２次元平面に届開したもので
ある。この平面を以下イメージ平面と呼ぶが、その座標
を（、ｘ、　　ｙ）と表すものとし、実空間の座標を（
Ｘ、　　Ｙ、　　Ｚ’）と表すものとする。このとき、
両座種間には、第７図に示すように、テレビカメラ３の
路面からの高さをＨとし、テレビカメラ３からイメージ
平面までの距離をｆとすると、次式（１）の関係が存在
する。

ｘニーｘ４Ｈ／Ｖ Ｙ＝−Ｈ・・・　（１） Ｚ＝−ｆ◆Ｈ／ｙ そこで、この式（１）に従って、イメージ平面から実空
間への座標変１９を行ない、道路の座標、即ち道路左端
や右端等の座標（Ｘ、　Ｙ、　　Ｚ）を求めることがで
きる。但し、かかる変換は、テレビカメラ３によりとら
えられた道路が勾配変化等を含まない２次元平面である
と仮定した場合に、正しく成立するものである。

こうして求めた道路の座標（Ｘ、　Ｙ、　　Ｚ）に基づ
いて、道路に対する車両の相対位置や道路の左右端の方
程式が算出される。道路が曲率Ｒ１，Ｒ２であるような
場合（第８図参照）、あるいは車両１に対して角θをな
す直線道路である場合（第９図参照）、その左端、右端
を実空間上で表す方程式は、次式（２）、（３）及び式
（４）、（５）となる。尚、各式Ｗ１．Ｗ２は各々道路
左右端に対する車両１の距離を示す。

曲線道路の場合 ・道路の左端 Ｚ２＋　（Ｘ＋Ｒ１＋Ｗ１）　２＝Ｒ１”Ｈ２ｘ２−２
ｘｙＨ（Ｒ１＋Ｗ１） −（２ＲＩＷ１−Ｗｌ２）ｙ２＝−ｆ２Ｈ２・・・　（
２） ・道路の右端 Ｚ２＋　（Ｘ＋Ｒ２＋Ｗ２）”＝Ｒ２”Ｈ２ｘ”−２ｘ
ｙ）Ｉ　（Ｒ２＋Ｗ２）−（２Ｒ２Ｗ２−Ｗ２Ｂ）ｙ２
＝−ｆ”Ｒ２・・・　（３） 直線道路の場合 ・道路の左端 Ｘ　＝　−Ｗｌ　−Ｚ　ｔａｎθ ・・・　（４） ・道路の右端 Ｘ＝Ｗ２−Ｚｔａｎθ ・・・　（５） こうして求めた道路左右端の方程式と撮像された画像か
ら抽出された道路領域の左右端の座標とを比較しくステ
ップ４３０）、両者が一致しない場合には、位置補正を
行なう（ステ・ンブ４４０）。

両者が一致しないのは、 （Ａ）道路が勾配変化を伴う登り坂または下り坂を含ん
でおり、平面近似ができない場合、（Ｂ）画像信号に含
まれるノイズにより誤差が生じている場合、 （Ｃ）交差点や分岐点を含んでいる場合、等である。こ
うした場合には、正確な道路の位置を認識できないこと
が考えられる。そこで、この場合には、道路幅が一定と
いう条件やそれまでに処理した画面の道路位置の情報を
用いて、道路位置の補正を行なうのである。例えは上記
（Ａ）のケースでは、第１０図に示すように、勾配変化
がない場合の道路左右端Ｒ１，Ｒｒに対して、撮像され
た画像上の道路領域の左右端Ｆ１．Ｆｒはずれを生じる
。このため、イメージ平面上でのｙの値が変化し、実空
間における座標にもずれを生じる。こうした場合には、
道路幅Ｗが一定であるという条件を用い、次式（６）が
成立するようＬこ座標ｙを補正する。

Ｗ＝Ｘ２−Ｘ１＝ｘｉＨ／ｙｌ−ｘ２會Ｈ／ｙ２・・・
　（６） 尚、道路幅方向は通常画面に対して平行であるから、こ
の場合には、ｙｌ＝ｙ２である。また、上記（Ｂ）のケ
ースでは、道路の左右端は滑らかな直線もしくは曲線で
あるとの近似を利用して平滑化を行なう。更に、上記（
Ｃ）の場合には、道路領域の認識により得られた道路領
域の形状から交差点や分岐点を含んでいるか否かを判断
し、含んでいると判断された場合には、予め記憶した交
差点等の形状の情報を重ね合わせることにより補正する
ことができる。

こうして位置の補正を施した後、あるいはステップ４３
０の判断において式と画像データとが一致している場合
、以上の処理により得られた実空間の道路の座標に基づ
いて道路の俯唾図と車両の位置とを求め（ステップ４５
０）、これをカラーモニタフに表示する（ステップ４６
０）。俯睡図の一例を第１１図に示す。

以上のように構成された本実施例の車両用道路認識装置
によれは、車両１前邪に設けられたテレビカメラ３によ
って撮像された画像に基づいて、道路に相当する領域を
抽出した後、この領域の幅、色彩といった属性を記憶し
、以後この属性により、道路領域の抽出の修正、ここで
は領域の結合を行なう。従って、本実施例の道路認識装
置は、極めて正確かつ継続して道路を認識することがで
き、更に、こうして認識された道路に基づき、道路の実
空間における形状を勾配変化等を補正して正確に求める
ことができる。本実施例では、こうして求めた道路の形
状をモニタ７上に俯眺図として、車両１の位置と共に表
示することができる。従って、車両乗員は、この情報を
利用することができ、車両運転上の安全性を一層向上さ
せることができる。

こうして得られた道路３次元形状および車両の道路に対
する位置関係は、図示しないキーブレーン走行装置等、
種々の装置で利用することができる。かかる装置に用い
れば、運転の自動化、半自動化、あるいは追突等の事故
防止等を実現することもできる。また、道路側に識別の
ための装置を敷設する必要がないことから、現実に道路
認識装置を車載することが容易となる。

以上本発明の実施例について説明したが、本発明はこう
した実施例に同等限定されるものではなく、例えば認識
した３次元形状を用いて先行車の追尾やキーブレーン走
行を実現する構成、車両の後尾の画像も処理して道路を
認識しこれを基に車両前後の道路を俯諏図表示する装置
、あるいは道路の属性として領域の荒さ（チフスチア）
を用いたもの等、本発明の要旨を逸脱しない範囲におい
て、種々なる態様で実施し得ることは勿論である。

発明の効果 以上詳述したように、本発明の車両用道路認識装置によ
れば、道路領域を認識してその領域の形態上の特質に基
づいて修正を加えて座標変換することにより、道路の３
次元形状を正確に認識することができるという優れた効
果を奏する。この結果、認識した道路を出力すること、
例えは俯諏図等として表示することができ、乗員に道路
情報を提供して安全運転に資することができる。また、
道路側に識別用の装置を敷設する必要がないことから、
現実に道路認識装置を車載することが容易となる。

また、本発明の車両用道路認識装置と絹み合わせること
により、例えば道路の３次元形状から勾配変化を認識し
て定速走行制御に用いる構成や、自動追尾走行あるいは
キープレーン走行等を行なう構成等を実現することがで
き、これらの装置の処理の高精度化を図ることができる
。こうした装置を現実化することは、車両運転上の安全
性の向上に資することができ、極めて有益である。

【図面の簡単な説明】

第１図は本発明の基本的構成を例示するブロック図、第
２図は本発明一実施例としての車両用道路認識装置の概
略構成図、第３図は同じくそのブロック図、第４図（Ａ
）、　　（Ｂ）は実施例の画像処理装置が実行する道路
認識処理ルーチンを示すフローチャート、第５図（Ａ）
、　　（Ｂ）、　　（Ｃ）。 （Ｄ）、　　（Ｅ）は各々道路認識処理により処理され
た画像を例示する説明図、第６図（Ａ）、（Ｂ）は検出
点ＳＰ段設定様子を示す説明図、第７図はイメージ平面
と実空間との関係を示す概念図、第８図は曲線道路での
座標変換の手法を示す説明図、第９図は直線道路での座
標変換の手法を示す説明図、第１０図は勾配変化のある
道路の認識の様子を示す説明図、第１１図は本実施例に
おいて得ろれた俯唾図の一例を示す説明図、である。 １　・・・　車両 ３　・・・　テレビカメラ ５　・・・　画像処理装置 ７　・・・　カラーモニタ １５　・・・　ＶＲＡＭ ５Ｐ　・・・　検出点 ＧＳ　・・・　探索領域 代理人　弁理士　定立　勉（ほか２名）第１図 第２図 第４図 （Ｂ） 卿ｏＥ

Claims (1)

1. 【特許請求の範囲】 １　車両周囲の車外を撮像する撮像手段と、該撮像手段
   によって撮像された２次元画像から、道路領域を認識す
   る道路領域認識手段と、 該認識された道路領域に備わった形態上の特性に基づく
   該道路領域の認識の修正と、該道路領域の座標の変換と
   を行なって、道路の実空間における形状を求める道路形
   状認識手段と を備えた車両用道路認識装置。