JPH06508946A - 障害物を検出するための道路画像のシーケンス分析方法および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 障害物を検出するだの道路画像のシーケンス分析方法および装置 本発明は画像処理に関するものであり、特に道路を抽出するために道路画像をシ ーケンス分析する方法と、この方法を実施するための装置と、障害物検出へのそ の応用とに関するものである。

画像を用いて道路に関する情報を抽出する方法は可動ロボット型の車両を用いる 用途で研究され、画像から道路を検出するこの方法は可動ロボット型機械の自動 化が望まるようになってからさらに発展した。

一般に、この分野の処理ではＣＣＤセンサを備えたカメラからのビデオカラー信 号の形の情報を分析する。可動体に支持されたカメラからの画像はメモリに記憶 され、各種の処理モジュールへ送られる。

従来法の大部分は道路の縁を検出する輪郭決定法を採用しているが、道路上に投 影された影が問題になるため大抵はうまくいなかった。すなわち、画像上でコン トラストが強いセグメントを探す方法である幾何学的なモデル化方法は視界が最 適ではない条件（悪天候、ノイズのあるデータ）下では所望の直線モデルには正 しく対応しなくなる。

この分野の研究に関する文献としは下記のものがある：（１）ソールブ（Ｃ，Ｔ ＩＩＣＩＲＰＥ）達の「カーネギーーメロン　ナブラブのための映像およびナビ ゲーション（Ｖｉｓｉｏｎ　ａｎｄ　ｎａｖｉｇａｔｉｏｎ　ｆｏｒ　ｔｈｅ　 Ｃａｒｎｅｇｉｅ−ＭＢＬＬＯＮ　Ｎａｖｌａｂ）Ｊ　（１，Ｅ、Ｅ、Ｅ、Ｔｒ ａｎｓａｃｔｉｏｎｓ　ｏｎ　ｐａｔｔｅｒｎ　ａｎａｌｙｓｉｓ　ａｎｄ　ｍ ａｃｈｉｎｅ　ｉｎｔｅｌｌｉｇｅｎｃｅ。

第１０巻、第３号、８６２〜８７３頁、１９８８年５月）（２）ローリ−（Ｊ、 　Ｍ、ＬＯＷＲＩ　Ｂ’）達の「自動陸上車両の予備的道路追跡のデモンストレ ーション（Ｔｈｅ　Ａｕｔｏｎｏｍｏｕｓ　Ｌａｒ＋ｄＶｅｈｉｃｌｅｐｒｅｌ ｉｍｉｎａｒｙ　ｒｏａｄ−ｆｏｌｌｏｗｉｎｇ　ｄｅｍｏｎｓｔｒａｔｉｏｎ ）　Ｊ　（Ｐｒｏｃ。

５ＰＩＢ　５１９　カセフト（口、　Ｐ、　ＣＡＳＡＢＮＴ）版、３３６〜３５ ０頁、１９８５年９月） （３）　タルク（Ｍ、　ＴＩＩＲＫ）達のｒＶＩＴｓ：自律的な陸上車両ナビゲ ーション用のヴイジョンシステム（ＶＩＴＳ：　Ａ　ｖｉｓｉｏｎ　ｓｙｓｔｅ ｍｆｏｒ　Ａｕｔｏｎｏｍｏｕｓ　Ｌａｎｄ　Ｖｅｈｉｃｕｌｅ　ｎａｖｉｇａ ｔｉｏｎ）Ｊ　（１，Ｅ、Ｅ、Ｅ。

Ｔｒａｎｓ、ＰＡＭ［、第１Ｏ巻、第３号、３４３〜３６１頁、１９８８年５月 ） しかし、これらの研究成果を道路の安全性の面で高速道路上での自動車交通に適 用することはできない。すなわち高速道路の制約である速度が速く、交通が過密 な場合には適用できない。

障害物の検出分野では「ヒユーズ人工知能センター（Ｈｕｇｈｅｓ＾ｒｔｉｆｉ ｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　Ｃｅｎｔｅｒ）　」が認識を基礎とした 遠隔測定技術を開発している。これに関してはディ’Ｊ　（Ｍ、　Ｊ、ＤａｉＩ ｙ）達の研究「レンジ画像内の障害物の検出（Ｄｅｔｅｃｔ　ｉｎｇｏｂｓｔａ ｃＩｅｓ　ｉｎ　ｒａｎｇｅ　ｉｍａｇｅｒｉｙ）Ｊ　（Ｐｒｏｃ、ＤＡＲＰ＾ 　Ｉｍａｇｅ　ｌＪｎｄｅｒｓｔａｎｄｉｎｇ１１ｏｒｈｏρ、８７〜９７頁、 １９８７年２月）を参照することができる。遠隔測定を用いたこの種の装置の利 点は背景の照明問題無しに車両と障害物との間の距離を直接得ることができる点 にある。しかし、この方法で放出される波の放射線を所定の安全規格に適合させ るのは難しい。

一般に、自動車用認識装置は画像光学センサと画像処理方法とを組み合せて構成 することができる。この他に画像分析と背景解釈とを基礎にした多数の応用を考 えることができるが、この場合の背景を構成する主要要素は道路とそこに存在す る物体であり、画像解釈の前に先ず行わなければならないことは道路を抽出し、 その位置を決定することであり、背景はこの道路に対して記述することができる 。

これまでにも、領域を再編成するために、特徴類似性を基にした多くのセグメン ト化技術が画像処理では用いられている。

外部の自然の背景のセグメント化はそれを構成する全要素を考慮しなければなら ないため特に複雑な操作である。環境条件とその変化（季節の変化、気候の変化 、照明の変化、撮影時間の変化、太陽が低い時の光線の反射、影、車道上の泥等 ）はこの困難性をさらに大きくするだけである。

本発明の目的は走行路（道路）を抽出するために道路の画像をシーケンス分析し 且つ得られた画像から障害物を検出する方法を提供することにある。

本発明の対象は車両の運転の安全性を向上させるための道路（場合によってはそ こに存在する可能性のある障害物）に関する情報を得るための高性能な道路画像 のシーケンス分析方法にあり、この方法は高速道路でも使用可能である。これら の情報を用いて所定機能の自動化を行うことができ、また、特に高速道路での長 い運転時に警報または危険信号を出して運転者の知覚能力を拡大させることもで きる。

本発明による画像内の道路を抽出するための道路画像のシーケンス分析方法は下 記で構成されることを特徴としている二（１）ビデオ画像信号の輝度情報を分析 して画像の輪郭と領域とを抽出し、道路のマスクを設定する第１段階、（２）カ ラービデオ信号を分析して道路に属さない地点での画像を分割する第２段階、 （３）輝度分析段階とカラー分析段階とで出力された情報を結合して道路を最終 的に抽出する第３段階。

本発明の他の対象は下記で構成されることを特徴とするカメラから出力されたデ ジタルのカラー成分を輝度成分の形に変換して利用する上記方法を実施するため の道路画像のシーケンス分析装置にある： （１）水平マーカの予備決定装置と組み合わされた画像輝度信号が入力される輪 郭・領域分析装置、 （２）ビデオ画像を構成する３原色成分が入力されるカラー分析装置、 （３）輪郭・領域分析装置およびカラー分析装置の出力に接続された道路抽出装 置。

本発明のさらに他の対象は、上記方法を用いた、道路のビデオ画像をシーケンス 分析し、道路のマスクが不連続になった時に画像内の道路を抽出し且つ障害物が ある場合にはその位置を決定するための自動車交通で用いられる障害物検出装置 にある。

本発明の上記以外の特徴は添付図面を参照した下記実施例の説明から明らかにな ろう。

第１図は自動車の安全性を向上させるために使用可能な障害物検出システムの概 念図であり、 第２図は道路を抽出するための本発明による画像分析装置の概念図であり、 第３図は上記の道路抽出を実施するだめの画像分析方法のフローチャートであり 、 第４図は輝度信号から勾配を計算する段階の詳細なフローチャートであり、 第５図はカラー分析段階のフローチャートであり、第６図は説明用の概念図であ り、 第７図は道路のマスク充填段階のフローチャートであり、第８図と第９図は充填 機能を説明する概念図であり、第１Ｏ図は自動車の安全性を向上させるための障 害物検出システムで障害物検出方法と組み合わせて実施した本発明方法の概念図 である。

既に述べたように、本発明の原理は道路画像をシーケンス分析することによって 道路を抽出し且つ車道上の異常、例えば車道の舗装の異常や走行中の車の周りの 限定された安全区域内に入る物体または車両等を検出することにある。

自然の照度条件および車道の外観は種々であるため、［頑丈（ｒｏｂｕｓｔｅ） な」抽出方法が必要である。車は常に車道を走ると仮定し且つ例えばバックミラ ーに固定したカメラで道路（場合によってはそこに存在する障害物）の情報を受 けると仮定すると、本発明の視覚装置は車道の舗装の外観を反復的に「学習」し 、次いで［認識Ｊする。画像内の道路表面の抽出方法は接近する車道の特徴分析 （学習）と、遠近法による道路のセグメント化（認識）とを基にしている。画像 処理の目的は特徴付けに必要な因子、換言すれば輪郭／領域情報と、底部に対す る車道の比色分析組成に関係した色の固有のデータとをめることにある。

この画像処理を実施するために、本発明は単純且つ簡単な操作装置を使用し、そ の機能に専用なアーキテクチャを用いる。

上記分析方法は単一のビデオカメラを使用して下記の方法で実行される。このこ とは実施コストが安くなるという点で経済的に重要なファクタである。しかし、 同じ型式（ＣＣＤカメラ）または別の型式（ラダー（ｒａｄａｒ）　、レーダ、 ジャイロ等）の別のセンサーを付は加えることによって、障害物検出複合システ ムを用いたステレオビジョン、３次元情報の再構築、道路上の障害物のアクティ ブ検出等の分析を行うこともできる。

第１図は障害物検出複合システムの構造の一実施例を示している。

車両の環境は例えば４種の情報、すなわちレーダ１によって検出された情報と、 ラダー２によって検出された情報と、ＣＯＤカメラ（電荷輸送センサを使用）３ で撮影した画像と、赤外線カメラＩＲ４で撮影した画像とから分析される。レー ダおよびラダーから出力される信号は信号処理装置５で処理され、一方、各カメ ラで得られた画像は画像処理装置６で処理される。

これらの処理装置で得られた全データは融合装置７で処理されて車のダツシュボ ードに配置された視覚化・警報装置８に画像を映像しおよび／または警報を出す 。

本発明方法は特に、これらの画像から道路を抽出するために画像処理装置６で実 施される画像処理に関するものである。

第２図は本発明方法による道路を抽出するための画像分析装置の概念図である。

車両の環境の画像はＣＣＤカメラ３で撮影される。このカメラから出力される３ つのカラーアナログ信号はアナログ−デジタル変換器を有する装置１０で一連の デジタル信号に変喚され、装置１０のアナログ−デジタル変換器には基本時間回 路と画像メモリとが接続されていて、各画像はカラー分析装置１１と、カラー成 分を結合して画素の輝度Ｙを特性付ける一連のデジタル値を再生する変換装置１ ２とに送られる。一連のの輝度値は輪郭・領域分析装置１３へ送られる。カラー 分析装置１１と輪郭・領域分析装置１３とから出力された情報は道路抽出・障害 物位置決め装置１５へ送られる。

いわゆる処理方法は下記の３つの段階を有している：（１）道路を検出するため の輪郭ふよび領域の共同分析からなる第１段階。この段階はビデオ信号の輝度情 報を用いる。

（２）道路の存在の確認および位置決めを行うために、カラー信号（Ｒ−Ｖ−Ｂ ）分析により画像全体にマスクを設定するための第１段階と並行に実施される第 ２段階。

（３）以下で詳細に説明するように、輪郭・領域分析装置およびカラー分析装置 で抽出された情報を用いて道路を正確に検出する第３段階。

こうして抽出された走行路または道路を基にして車の操縦区域を決定することが できる。

この処理の輪郭・領域分析段階がこの方法の主要な段階である。この段階は輝度 信号を用いる。処理時間を短くするために時間をサブサンプリング（フレーム分 析）することもでき、それによってアーキテクチャを単純にすることができる（ 計算時間に関して）。輪郭・領域分析装置１３で実行されるこの輪郭・領域分析 段階の詳細なフローチャートは第３図に示しである。

ソース画像が段階１００で画像メモリ内に読み込まれる。そのために１フレーム の輝度信号値がデータサイズ（ｉｃｏｌ、　ｉｌｉｇ）テーブル１ｔａｂに格納 される（ｉｃｏｌおよび１１１ｇはテーブルの列数と行数である）。この表の各 要素は８ビツトでコード化され、輝度信号は２５６レベルに量化される。

段階１３０で、ブリウィッ）　（ＰＲＥＷＩＴＴ）型の水平および鉛直方向の勾 配演算子〔これは公知のたたみこみマスク　（ｍａｓｑｕｅｓ　ｄｅｃｏｎｖｏ ｌｕｔｉｏｎ）である〕を用いて輪郭の振幅が計算される。このたたみこみマス クは寸法が小さく（５Ｘ５）、コア構造（２進数加算および減算）でリアルタイ ムの演算するのに適している。

使用する水平及び鉛直マスクは、輝度信号の勾配の計算段階１３０のフローチャ ートを詳細に示す第４図に示されている。ソース画像は各々水平及び鉛直のマス ク５Ｘ５によってたたみこまれて、水平勾配値ＧＨと鉛直勾配値ＧＶとが得られ る。各点での勾配の振幅Ｇは下記式で計算される：Ｇ＝　（ＧＨ’＋ＧＶ”）” ２ 輪郭の画像はこうして計算された勾配の振幅の画像で形成される。

こうして、段階１３０の終りには、各画素について１６ビツトでコード化された 輪郭の振幅の画像の計算の結果を示すサイズ表（ｉｃｏｌ、ｉｌｉｇ）　が得ら れる。

段階１３１（第３図）では、この輝度信号の勾配振幅画像から領域特徴値が計算 される。すなわち、前段階で得られた輪郭画像を基に小さい（マスク５Ｘ５）サ ポートの勾配振幅画像を平均フィルタリングする演算をする。この目的は問題の 点の近傍での局部的な信号のエネルギー情報を得ることによって、ノイズおよび ２次検出の問題を避けることにある。このエネルギーは従来法で計算され、現在 の点を中心とした一つのウィンド内で測定すべき信号の２乗に等しい。得られた 近似値であるので、計算時間を短くするために本発明の実施例ではこの信号の単 純値のみを使用した。出力には各画素について８ビツトのコード化された特徴「 領域ｊの計算結果を示すサイズ表（ｉｃｏｌ、　ｉｌｉｇ）が得られる。この新 しい「画像」をＩＮＲＪとする。

次に、段階１３２で、画像ＩＮＲＪから道路の縁を予備決定する。すなわち、領 域の輪郭に対して高いレベルしか保持しないように閾値化を実施する。こうして 得られた道路の縁の最初の検出値は元の画像を単純に閾値化して得られたものよ りも「信頼性」が高くなる。

第３図の段階１１０すなわち第２図のカラー分析装置１１で実施されるカラー成 分の分析では、輝度信号の分析で得られた道路のマスクが有効化される（輪郭／ 領域）。これは従来の意味での背景のセグメント化ではなく、カラー信号内に存 在する情報の固有の品質を考慮して、高い信頼性と大きな堅牢性で確認された道 路のセグメント化をする事である。また、この道路のセグメント化はビデオの状 態すなわちほぼリアルタイムで行う必要がある。

以下で説明する本発明のカラー分析段階で用いられるセグメント化方法は、高速 回路で実施できるというアーキテクチャ−上の観点と、それを基にして分析した 領域の道路に独特な特徴の情報を見付けることができるという仮定とから採用さ れた。

本発明ではカラー分析で道路か非道路かの２種類のみに分ける。一つの画素はＲ −Ｖ−Ｂの３つのカラー値で表されるので、処理すべき特徴空間は直ちに定義さ れる。

最初の仮定は、道路の色の中心は緑でも赤でもないという事実から、道路を識別 することができるという点にある。一般に車道成分は青色または灰色の色調の舗 装である。

第５図はカラー分析のフローチャートを示している。このフローチャートでは「 道路」か「非道路」かの２種類の識別情報の間の差が最大となる画素を探す。こ のカラー分析では青色平均成分と赤色または緑色平均成分との間に最大の差が存 在する点をめる。そのために、画像のカラー分析ループ１１１は画像の一連の点 を記述し、赤色、緑色、青色成分から下記の値の計算を命令する： ＶＡＬ−Ｒ，ＶＡＬ−Ｖ及びＶＡＬ−Ｂ　（それぞれ一つ画素を中心とするブロ ック３×３上の平均化された赤色、緑色及び青色成分の値）とＭＡＸ−Ｒ−Ｖ　 （段階１１２で計算された２つの成分ＶＡＬ−Ｒ及びＶＡＬ−Ｖの最大値）。テ スト１１３を行って、画素の青色平均成分が値ＭＡＸ−Ｒ−Ｖ以下の強さである ことが確認された場合（換言すれば、段階１１５でマスクがゼロにされない場合 ）には、カラーマスクの値ＶＡＬ−ＰＩＸが段階１１４で分析された画素に割り 当てられる。この値ＶＡＬ−ＰＩＸは値ＭＡＸ−Ｒ−ＶとＶＡＬ−Ｂとの間の差 に等しい。

テスト　１１６の間に差ＶＡ、Ｌ−ＰＩＸがデータ閾値Ｓ−ＭＡ　ＳＫより高い と認識されると、その画素は「非道路」の組に割り当てられる（段階１１７）。

これらのマスクの点は「非道路」の組の一部分しか表さないが、これらのマスク の点を道路の境界と縁を補強するように配置するのが好ましい。

各点を「非道路」のマクスへ割り当てる決定をする前に、サポート（３Ｘ３）の 平均型の低域フィルタリングを行って検出精度を改善させることもできる。

この平均化演算は高速回路を用いてビデオでリアルタイムに実施される。

道路抽出段階の最後の段階は、輝度信号およびカラー信号の２つの分析から前段 で得られた情報を融合（ｆｕｓｉｏｎ）　シて、走行路すなわち道路を正確に抽 出する段階である。この段階１５０　（第３図）では輪郭情報を「非道路」マス クと重ねて道路を抽出する。

道路検出の問題は前記各種演算の結果連結した各セグメントになった道路の縁で 区画された領域を充填（ｒａｍｐｌｉｓｓａｇｅ）または「着色コするこ止によ って解決される。「非道路」マスクによって領域を閉じることの利点は漏れ点の あるマスクとならすに「越境ｊ無しに全区域を被覆することができる点にある。

第６〜第９図は道路抽出・障害物位置決め装置１５（図２）で実行される抽出段 １５０を表しており、この段階では先ず最初に車の前方に道路が存在するという 仮定をし、自動的に道路に対応するように描かれた輪郭の内部に一つ点をマーク し、次いで「充填」アルゴリズムによって水平走査方向および垂直走査方向に沿 って充填を停止する輪郭の点まで道路の充填を続行する。

これらの輪郭点は道路と縁の境界点すなわち輝度と「非道路」マスクの限界値と で得られる輪郭である。

ここで、１例として充填のために結合性の概念を用いた抽出方法は実施例を説明 する。以下では第６図に示した変数を用いて、第７図に図示した道路マスクの充 填操作を説明する。

（１）出発画像はサイズ（ＣＯＬ％ＬＩＧ）である。

（２）カメラは車の視野の光学中心を固定し、道路は車の前方に位置していると 最初に仮定する。

（３）　（ＩＰＣ，ＩＰＬ）はそれぞれ列と行の現在の点の座標であり、（ＴＣ Ｄ、ＩＬＤ）は分析の出発点Ｐｌの座標であり、例えば、初期化点Ｐｉが行の中 心にあり、車に近い背景に対応する画像の下方に配置されるためにはＩＬＤ＝Ｌ Ｉ　Ｇ−１００及びｒＣＤ−ＣＯＬ／２であり、コレハヨリ遠い距離の所の障害 物の問題を防ぐためである。初期化段階１５１はサブプログラムＳＰカラー１５ ２を使用する。このサブプログラムは、第８図に示すように、出発点の打上の輪 郭点で構成される限界値の開で出発点の行の全ての点を着色する。

出発点の打上のこの初期化が終了した後に、道路マスクの充填が有効に開始でき 、走査中に行の現在の点上に中心があるウィンドウ＜３Ｘ３）を分析して着色す ることが可能な道路に属する点を行ごとにめることができる。ここで行うテスト の条件はその点が輪郭点でも既に着色された点でもなく且つ少なくとも３つの着 色された近接点を有していなければならないことである。

第９図は現在の点が輪郭点でも既に着色された点でもない時にその点を着色する ８つの可能性を図示したものである。現在の点は「＊」を付けたウィンド３Ｘ３ の中心点であり、既に着色された近接点は「ｘ」で示しである。

道路の輪郭と縁との情報を融合した結果得られる着色すべき道路のマスクの境界 線は段階１５３で記憶される。行ごとの分析をするための鉛直走査方向は段階１ ５４で鉛直反復指標ｉ＋によって先ず最初に例えば＋１に固定される。分析は行 ループ１５５によって行ごとに実行される。次に、各行でのループを実行する（ １５６）。行の走査方向の開始時に指標を＋１からｉｃにし、次いで−１にする 。現在の点を中心にするランイド３Ｘ３のテスト１５７を現在の点の列の順番Ｉ ＰＣ＝ＩＰＣ＋ｉｅ後に、行す−チサブプログラムＳＰ−サーチで行の各点につ いてその点を着色すべきかどうか、すなわち、第８図に示した形状に従って、換 言すれば道路のマスクに属するからどうかをテストする。

その点が着色されてる時には、初期に０である値カラーフラッグがこの点と組み 合わされてｌにされる。現在の点が輪郭点である時には、行の初期化点へ戻り、 列の指標を１ｃ＝−１に変え、この点から片側半分の行を反対側の輪郭点まで記 述することができる。道路のマスクを得るためにこの打上で着色すべき点をめる 操作が終了すると、次の行で同じ検索ＩＰＬ＝ＩＰＬ＋１、が反復される。

区域の着色は座［Ｉ　ＬＤの行Ｉ　ＬＲＥＦで開始され、行ＩＦＩＮＬ　ｒＧ＝ Ｌ　ＴＧ−４０で終了する。有効な最後な行が着色されているさ、行の指標は出 発指標ＩＬＤに戻され、同じ方法を用いて、変更した鉛直指標！＋−１から鉛直 座標の充填停止線まで行座標ＩＬＤ上の区域のマーキングを実施する。停止行Ｉ ＬＭＩＮは輪郭の分析の終了後に検出される道路マスクを閉じる「高い輪郭Ｊに よって与えられる。この段階では輪郭点の内部の全ての点にｒｎ　１ｖ−ｒｏｕ ｔｅ」と表記されるレベルを割り当ててこれらの点をマークし、「道路のマスク Ｊを形成する。

カラー情報は特に道路の境界にはっきりした縁が存在しない場合に最初に得られ る道路のマスクの信頼性を高める。第２のマスクで路肩区域を閉じることができ る。これは道路の全体のマスクを得るのに好都合である。

第１０図は、第１図を参照して説明したように、デジタルカメラから出力され、 メモリを有する変換器１ｏ内に記憶された信号から上記のようにして道路を抽出 し障害物の位置を決定する自動車の安全装置を別のデータを基礎とした障害物検 出操作２００と組み合せた場合の概念図である。

以上説明したように、本発明方法は輝度およびカラー信号を統計分析して車道の 走行路を決定するものである。本発明方法に道路上の物体の位置決めと動的分析 による主要障害物の予備的決定とを行うことができる追加段階を追加することも できる。

すなわち、動的分析は画像のシーケンスでの運動を検出して検出された物体を分 離し、道路上で物体にマークをして障害物の位置を決めるために必要である。こ うして得られたセグメント化された画像は道路上に障害物が有ることを明らかに する。

本発明は上記方法にのみ限定されるものではない。特に、道路の抽出段階では、 結合法の代わりに、輪郭が勾配の振幅画像で決定され且つカラー分析で確認され る道路のマスクを充填することができる他の任意の方法、例えばベクトル型の方 法や処理を高速化することが可能な他の任意の方法を用いることができる。同様 に、平均化用のライドウのサイズおよびその他のパラメータも変えることができ る。また、数値は例として示したもので、それを変えたものも本発明の範囲に含 まれる。

出力 サブプログラム フロントページの続き （５１）　Ｉｎｔ、　Ｃ１，５識別記号　庁内整理番号ＧＯ８Ｇ　１１００　Ｊ 　７５３１−３Ｈ／／ＧＯ５Ｄ　１１０２　Ｋ　９３２３−３ＨＩ

Claims (1)

1. 【特許請求の範囲】 １．走行する車の端部に搭載されたカメラによって撮影された道路の画像から道 路を抽出するための画像のシーケンス分析方法において、 （１）画像の輪郭と領域とを抽出して道路のマスクを設定するための画像のビデ オ信号の輝度情報を分析する第１段階（１３０，１３１，１４０）と （２）道路に属さない点を確実に画像から分するカラービデオ信号を分析する第 ２段階（１１０）と、 （３）輝度分析段階およびカラー分析段階で得られた情報を組み合わせて道路を 最終的に抽出する第３段階（１５０）と、で構成されることを特徴とする方法。 ２．輝度分析段階が下記工程を有する請求項１に記載の方法：（１）輪郭の画像 を構成する各画素に対して勾配の振幅を算出する輝度信号の勾配を計算する段階 （１３０）と、（２）輪郭の画像から道路のマスクを決定して、現在の点の近傍 の局部的な平均フィルタリング（１３１）を行って各画素に対してその局部的近 傍での信号エネルギーの特徴値を与え、領域特性の計算段階の後に、画像内の道 路の縁の画像輪郭セグメントと組み合わされた閾値より高いエネルギー値のみを 保持する閾値化を行い、輪郭セグメントを連続し、道路の縁で区画された領域を 充填する（１３２）。 ３．カラー分析段階（１１０）が道路画像シーケンスで道路は緑色または赤色の 色はしていないという事実を利用し、さらに、（１）現在の点の周囲で３原色の 平均成分を計算し、２つの緑色成分と赤色成分との間の最大平均成分を求める段 階（１１２）と、 （２）この最大値と青色平均成分の値とを比較（１１３）し、次に、閾値に対す るこれらの値の間の差が閾値より大きい点は確実に道路の外側に位置するものと するのテスト段階（１１６）と、 を含む請求項１または２に記載の方法。 ４．第１の段階の途中で道路のマスクに関する情報と第２段階で得られた道路の 外の画像区域に関する情報とを組み合わせる段階（１５０）で、初期の道路画像 シーケンスに含まれる走行路を正確に設定し、場合によってはこの走行路上の障 害物の位置決定を行う請求項１〜３のいずれか１項に記載の方法。 ５．輝度分析段階とカラー分析段階とが並行に実施される請求項１〜４のいずれ か１項に記載の方法。 ６．カメラ（３）から出力された道路面像シーケンスをカラーデジタル成分とし 、カラー成分の変換して輝度成分として使用する請求項１〜５のいずれか１項に 記載の分析方法を実施するための分析装置において、 （１）画像輝度信号が入力される輪郭・領域分析装置（１３）と、（２）ビデオ 画像を構成する３カラー成分が入力されるカラー分析装置（１１）と、 （３）輪郭・領域分析装置とカラー分析装置の出力に接続された道路抽出装置（ １５）と とを備えることを特徴とする装置。 ７．道路画像のシーケンス分析によって画像内の道路を抽出して道路のマスクが 不連続の時に障害物の位置を決定する請求項１〜５の記載の方法の走行路上の障 害物の検出への応用。 ８．請求項６に記載の画像シーケンス分析装置から出力された情報と別の障害物 検出手段（１、２）から出力された信号を処理して得られた情報を同時に受ける ためのデータ融合装置を有し、カメラで分析および別の検出手段によって道路上 の物体に関する情報を生成し、このデータ融合装置が視覚化・警報装置（８）に 接続されていることを特徴とする請求項７に記載の応用。