JPH0410200A

JPH0410200A - 車線端認織装置

Info

Publication number: JPH0410200A
Application number: JP2114268A
Authority: JP
Inventors: Hiroshi Saito; 浩斎藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1990-04-27
Filing date: 1990-04-27
Publication date: 1992-01-14

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔発明の目的〕（産業上の利用分野）本発明は、車両の進行方向の道路上に描かれている車線
端の位置を認識する車線端認識装置に関する。

（従来の技術）この種の車線端認識装置としては、例えば特開昭６２−
２２１８００に開示されたものがある。

この車線端認識装置は、車両前方を撮像したカラー画像
から車線端を表す「白」または「黄色」の領域を抽出し
、この抽出した領域の位置および傾きから車両と車線端
との相対位置関係を算出するものである。

（発明が解決しようとする課題）上述した従来の車線端認識装置においては、車両前方を
撮像したカラー画像をそのまま利用し、２値化処理によ
って車線端を抽出しているため、例えば晴天、曇天、雨
天等の天候の変化等の環境の変化に対応し難いとともに
、遠方はど検出精度が落ちるという問題がある。

本発明は、上記に鑑みてなされたもので、その目的とす
るところは、種々の環境に安定して対応し、高い精度を
もって車線端を認識することができる車線端認識装置を
提供することにある。

〔発明の構成〕

（課題を解決するための手段）上記目的を達成するため、本発明の車線端認識装置は、
第１図に示すように、車両に搭載され、車両の進行方向
の画像を撮像する撮像手段５１と、該撮像手段で撮像し
た画像を別の視点から見た画像に変換する変換手段５３
と、該変換手段で変換された画像から車線端の位置を認
識する認識手段５５とを有することを要旨とする。

（作用）本発明の車線端認識装置では、車両の進行方向を撮像し
た画像を別の視点から見た画像に変換し、この変換した
画像から車線端の位置を認識している。

（実施例）以下、図面を用いて本発明の詳細な説明する。

第２図は本発明の一実施例に係わる車線端認識装置を適
用した走行制御装置の構成を示すブロック図である。同
図に示す走行制御装置は、本発明の車線端認識装置を使
用して車両と車線端との相対位置を算出し、これにより
車両が適切な走行位置および進行方向を保持しているか
否かを判断し、適切な走行位置および進行方向を保持し
ていない場合には、運転者に警告を発しようとするもの
である。

第２図の走行制御装置は、車両１の前方の画像を撮像す
るように車両１の前部に搭載されたＴＶ右カメラを有し
、このＴＶ右カメラて撮像した車両１の前方の画像はＡ
／Ｄ変換部５てディジタル信号に変換され、画像データ
として画像メモリ７に記憶される。

画像メモリ７に記憶された画像データは、視点変換処理
部９に供給されて、視点位置を変換された画像データに
変換される。この画像変換は、後述するように、ＴＶ右
カメラて撮像した画像を道路を真上から見た画像に変換
する。視点変換処理部９で視点変換された画像は、フィ
ルタリング演算部１１て車線端らしさを出力するフィル
タを作用される。このフィルタリング結果はテンプレー
ト生成部１３に供給されて、テンプレートとして車線端
を１つ抽出される。この抽出されたテンプレートはマツ
チング処理部１５に供給され、ここでテンプレートマツ
チングによってすべての車線端を抽出する。車線端が抽
出されると、相対位置判断部１７において、車両と車線
端との相対位置関係を判断し、両者の位置関係に異常が
ある場合には、警報出力部１９から警報が発せられる。

次に、第３図以降を参照して、各部を更に詳しく説明し
ながら作用を説明する。なお、この説明においては、片
側１車線道路を左側通行している車両が自車両と車線端
との相対位置関係を判断する場合について説明する。

まず、第３図に示すように走行している車両１に搭載し
たＴＶ右カメラによって車両の進行方向前方の画像が第
４図（ａ）に示すように観察画像または人力画像１　（
ｘ、ｙ）として撮像されると、この画像はＡ／Ｄ変換部
５てディジタル画像に変換され、画像メモリ７に記憶さ
れる。なお、］≦Ｘ≦Ｍ、１≦ｙ≦Ｎとする。

前記入力画像１　（ｘ、ｙ）は視点変換処理部９で視点
変換され、第４図（ｂ）に示すように道路の真上から見
おろした画像、すなわち視点変換画像Ｊ　　（Ｘ、Ｙ）
に変換される。なお、１≦Ｘ≦Ｍ１≦Ｙ≦Ｎとする。第
４図（ｂ）に示す視点変換画像の下部の斜線を施した部
分はＴＶ右カメラの視野外の情報欠落部である。

視点変換処理部９における処理は、前記入力画像１　（
ｘ、ｙ）内にすべての路面が映っていると仮定して視点
を変換するものであり、ＴＶカメラ３のパラメータ、す
なわち焦点位置ｆ１カメラ高さｈ、カメラ府角θ、、Ｃ
ＣＤ画素サイズ横Ｘ縦−ｐｘｑ等が既知であれば、次式
で変換可能である。

Ｘ＝ｉｎｔ　（Ｍ　　ＡｆＮ　　Ｍ−Ｘ）７　　　■１
０■　　■１７Ｙ・・・　（１）Ｙ−ｉｎｔ　　（Ｎ−−！−ｔａｎ　（ｔａｎ−１Ｎ−
ｙＢ’ＴＱ　　　　　　　　　　　　　　−「］＋θｖ
−７）　　　　　　・・・（２）なお、Ａ、Ｂは視点変
換画像で表示するエリアサイズ（横Ａ、縦Ｂのエリアを
表示する）を表し、関数１ｎｔＯは整数化関数である。

この視点変換によって第４図（ｂ）に示すように車両前
方Ｂ１左右方向Ａの範囲を真上から見おろした画像ブタ
が得られる。

次に、フィルタリング演算部１１において、前記視点変
換画像Ｊ　（Ｘ、Ｙ）の各点における車線端らしさを算
出する。車線端は一般に白または黄色のペイントで表さ
れているため、路面に比べて明度が高くなっている。こ
れは天候、昼夜、トンネル内外等に依らずに普遍である
。

そこで、このような領域を強調するために、フィルタリ
ング演算部１１において第５図に示すフィルタを作用さ
せる。これは、暗い領域に囲まれた明るい領域を強調す
るものであり、第５図に示した各フィルタ係数と対応す
る視点変換画像Ｊ（Ｘ、Ｙ）上の明度値との積和かフィ
ルタ中央（ｘ、ｙ）に蓄積される。

なお、作用させるフィルタ幅は、視点変換画像Ｊ　（Ｘ
、Ｙ）における車線端幅にセットしておくことが望まし
い。このフィルタ出力は車線端位置で突出値を呈するた
め、あるしきい値Ｔｈに対してフィルタ出力≧Ｔｈの時
、車線端候補点と見なすことができる。このようにして
生成されたフィルタ出力をＦ　（ｘ、ｙ）とする。この
フィルタ出力は第６図に示すものであるが、ここで車線
端候補点では、Ｆ　（ｘ、ｙ）−１が蓄積され、車線端
非候補点では、Ｆ　（ｘ、ｙ）＝０が蓄積される。

なお、しきい値Ｔｈは環境等によって大きく変化するた
め、視点変換画像Ｊ　（Ｘ、Ｙ）の各横ライン毎にしき
い値Ｔｈを可変にすることにより環境に対する適応性を
高めることができる。

これは、各横ライン毎にフィルタ出力の最大値を検出し
、その一定割合以上のフィルタ出力を有する点のみを抽
出するものである。

すなわち、次式で示すしきい値Ｔｈｙを各横ラインのし
きい値とするわけである。

（０＜ｋ＜１）　　　・・・（３）次に、テンプレート生成部１３において、フィルタ出力
Ｆ　（ｘ、ｙ）から最も確からしい車線端を１つ抽出す
る。この抽出処理は、領域連結処理とテンプレート生成
処理とからなる。

まず、領域連結処理について説明する。先に生成したフ
ィルタ出力Ｆ　（ｘ、ｙ）は、車線端の連続性を全く考
慮していないため、場合によっては、途切れを生ずる。

そこで、これらの途切れを連結する処理を行う。

この連結処理について、第７図を参照しながら、第８図
（ａ）のフローチャートに従って説明する。

まず、第７図（ａ）に示すような車線端候補領域から、
その中心線を抽出する（第８図（ａ）のステップ１１０
）。これは、横方向に連続したフィルタ出力Ｆ　（ｘ、
ｙ）−１の領域の中点を抽出することにより実現される
。第７図（ａ）に示す車線端候補領域に対しては、第７
図（ｂ）に示すような中心線が得られる。次に、この中
心線の端点を抽出する（ステップ１２０）’；これは、
第８図（ａ）のステップ１２０に関連した第８図（ｂ）
に示すように中心線上の点の回りに３×３のマスクを設
定し、その周囲８画素Ａ−Ｈのうち１画素のみが中心線
を構成する画素である時、マスク中心を端点と判断する
ことによって実現する。この結果、第７図（ｃ）に示す
ように端点が抽出される。

このように抽出された複数の端点のうち所定間隔以下の
端点を連結する（ステップ１３０）。これは、該ステッ
プ１３０に関連する第８図（Ｃ）に示すようなｍＸｎの
領域を上述したように抽出した端点近傍に設定する。そ
して、この領域内に端点がある時、その２点を連結する
。このようにして連結した結果が第７図（ｄ）に示され
ている。

それから、この第７図（ｄ）に示す連結結果と第７図（
ａ）に示すフィルタ出力Ｆ　（ｘ、ｙ）である車線端候
補領域との論理和を第７図（ｅ）に示すように取り（ス
テップ１４０）、第７図（ｆ）に示すように連結処理さ
れた結果か得られる。この連結処理された結果を領域連
結フィルタ出力Ｆ（ｘ、ｙ）とする。

次に、テンプレート生成処理について、第９図を参照し
て説明する。

第９図（ａ）に示すフィルタ出力Ｆ（ｘ、’ｙ）に対し
て領域連結処理を行った結果の第９図（ｂ）に示す領域
連結フィルタ出力Ｆ　（ｘ、ｙ）に対してラベリング処
理を行う。これは、画像内の各領域にナンバリングを行
う処理であり、画像処理では汎用的に用いられているも
のである。そして、このラベリング処理の結果から、最
大面積を有する領域を抽出すると、第９図（ｃ）に示す
ような最大面積領域が抽出される。このように抽出した
最大面積領域に対して、第９図（ｄ）に示すように外接
する長方形を新たに画像Ｔ　（ｘ、ｙ）とし、これをテ
ンプレートとする。この長方形の上下方向の長さはＮで
ある。また、このテンプレートの横方向のサイズをＨと
し、テンプレートの左端のＸ座標をｋとする。

次に、マツチング処理部１５において、前記領域連結フ
ィルタ出力Ｆ　（ｘ、ｙ）からテンプレートＴ　（ｘ、
ｙ）にマツチする領域を抽出する。前述した視点変換に
よって車線端は平行に変換されているため、このテンプ
レートマツチングはテンプレートの平行移動のみで実行
できる。

ところで、現在走行している道路］車線の幅が既知であ
れば、視点変換画像上で車線幅が何画素になるかは大体
予想できることである。従って、今、視点変換画像上の
１車線幅がおおよそ２画素になるものとすると、前記テ
ンプレートＴ　（ｘ。

ｙ）を±Ｐ画素または±２Ｐ画素平行移動させれば、片
側１車線の道路の場合には、すべての車線端とマツチン
グをとることができる。

なお、マツチングの尺度ｍ　（ｘ）は次式によるものと
する。

・・・　（４）なお、ｈ−０−Ｈてあり、ｍ　（ｘ）はｘ−０て最大値
１．０を取り、マツチングがとれた位置で突出値を呈す
る。この様子が第１０図に示されている。

更に、Ｘ−±Ｐ、±２Ｐの位置にそれぞれ幅２εの範囲
を設け、この範囲内でｍ　（ｘ）の最大値があるしきい
値ｍｔｈよりも大きい時、マツチングがとれたものと判
断する。第１０図の場合には、Ｘ＝ＸｌおよびＸ２でそ
れぞれマツチングが取れる。

以上のマツチング処理が第１１図（ａ）〜（Ｃ）のフロ
ーチャートに示されている。このフローチャート処理に
よって、最終結果Ｂ　（１）　、　　Ｂ　（２）Ｂ　（
３）　、　　Ｂ　（４）が得られ、各々≠９９９の時、
マツチングのとれたＸ座標の値が蓄積される。

次に、マツチングのとれた位置にテンプレート画像Ｔ　
（ｘ、ｙ）を書き込み、第１０図（ｃ）に示すようにマ
ツチング結果Ｇ　（ｘ、ｙ）とす冬。

それから、相対位置判断部１７において、自車両と車線
端との相対位置関係を算出する。

ここでは、まず、第１２図（ａ）に示すマツチング結果
Ｇ　（ｘ、ｙ）の中心線を抽和し、第１２図（ｂ）に示
す画像Ｇ’　　（ｘ、ｙ）を形成する。

そして、この抽出した３本の中心線を第１２図（ｂ）に
示すように左から準にＣ１，Ｃ２，Ｃ３とする。

次に、第１２図（ｃ）に示すように、画像Ｇ′（ｘ、ｙ
）上にＹ−ｙ＋　、Ｙ＝Ｙ２の水平線を２本設定する。

この時、Ｙ””Ｙ＋　と曲線ｃ１　との交点をＡとし、
Ｙ＝ｙ２と曲線ＣＩ、Ｃ２との交点をそれぞれＢ、Ｃと
する。これは、直線Ｖ−Ｙｌｙ２上を左から順にサーチ
することによって容易に実行可能である。

また、画像Ｇ’　　（ｘ、ｙ）上に直線ｘ　＝　Ｍ　／
　２を引き、この直線と’！””Ｙ２との交点を又とす
る。

すなわち、Ｘの座標は（Ｍ／２．Ｖ２　）である。

画像Ｇ’　　（ｘ、ｙ）上の３曲線は、前方の道路道路
の方向ベクトルと考えてよい。一方、ＴＶカメラ３の方
向、すなわち車両方向は、第１１図（ｃ）に示すように
、画像Ｇ“　（ｘ、ｙ）の鉛直を道路に対する車両方向
と考えてよいことになる。

なすわち、こ−の角度θは次式で算出される。

ｏ−ｊａｎ−”　　−Ｂ＊　　　　　　　−（５）Ｂ、
　　−Ａ但し、Ａ　（Ａ、、Ａ、）、Ｂ　（Ｂ、、Ｂ、）とする
。

車両が道路に沿って走行している時、角度θは小さい値
になるが、両者の相対位置関係に異常か発生すると、角
度θは大きな値になる。すなわち、角度θの値によって
車両方向の適否を判断でき、度θの値があるしきい値θ
、より大きい時、警報等によって運転者に異常を知らせ
るようにすればよい。

更に、点Ｘが２点Ｂ、Ｃ間のどこにあるかによって左車
線上の車両位置の適否を判断できる。今、ＴＶカメラ３
が車両中央に固定されているとすると、ＸはほぼＢ、Ｃ
の中点に一致する。

すなわち、Ｂ、十Ｃ，Ｍ　　Ｂ、＋Ｃ。

δ〈くｒ　　　　Ｔ　　　　ｒ＋δ　・・・（６）但し、Ｂ　
　（Ｂ、、Ｂ、）、Ｃ（Ｃ，、Ｃｙ）てあり、δは定数
である。

を満足する時、車両位置は適正と判断し、上式（６）を
満足しない時、警報が警報出力部１９がら運転者に発せ
られ、異常を知らせるようになっている。

〔発明の効果〕

以上説明したように、本発明によれば、車両の進行方向
を撮像した画像を別の視点から見た画像に変換し、この
変換した画像から車線端の位置を認識しているので、画
像変換により道路真上がら見た画像に変換することによ
り平行線として適確にかつ遠方まで安定してかつ環境変
化に影響されずに車線端を抽出することができる。

【図面の簡単な説明】

第１図は本発明のクレーム対応図、第２図は本発明の一
実施例に係わる走行制御装置の構成を示すブロック図、
第３図は第２図の走行制御装置の動作環境を示す説明図
、第４図は第２図の走行制御装置に使用されている視点
変換処理部の作用を示す説明図、第５図は第２図の走行
制御装置に使用されているフィルタリング演算部におい
て使用されている車線端強調フィルタの説明図、第６図
はフィルタリング演算部によるフィルタ出力結果を示す
図、第７図は第２図の走行制御装置に使用されているテ
ンプレート生成部による領域連結処理を示す説明図、第
８図は第７図の領域連結処理を示すフローチャート、第
９図はテンプレート生成部によるテンプレート生成処理
を示す説明図、第１０図は第２図の走行制御装置に使用
されているマツチング処理部によるテンプレートマツチ
ング処理の説明図、第１１図は第１０図のテンプレート
マツチング処理を示すフローチャート、第１２図は第２
図の走行制御装置に使用されている相対位置判断部によ
る車両と道路との相対位置関係の判断処理を示す説明図
である。１・　・車両、３・　・ＴＶカメラ、９・　・視点変換処理部、１１・・・フィルタリング演算部、１３・　・テンプレート生成部、１５・　・マツチング処理部、１７・・・相対位置判断部、１９・　・警報出力部。代理人　　弁理士　　三　好　　秀　和第図第２　図第３図（ａ）（ｂ）第４図（ａ）第図ｉＯ ×７フチノク゛のとれた位置第１０図第１２図

Claims

【特許請求の範囲】

（１）車両に搭載され、車両の進行方向の画像を撮像す
る撮像手段と、該撮像手段で撮像した画像を別の視点か
ら見た画像に変換する変換手段と、該変換手段で変換さ
れた画像から車線端の位置を認識する認識手段とを有す
ることを特徴とする車線端認識装置。
（２）前記変換手段は前記撮像手段で撮像した画像を道
路の真上から見た画像に変換する手段を有することを特
徴とする請求項（１）記載の車線端認識装置。
（３）前記認識手段は、該変換手段で変換された画像に
対して着目点近傍の画像濃淡値と該着目点から離隔した
点の近傍の画像の濃淡値とを比較するフィルタリング処
理によって車線端候補を抽出する抽出手段と、該抽出手
段で抽出した車線端候補から最も確からしい車線端をテ
ンプレートとして生成するテンプレート生成手段と、該
テンプレート生成手段で生成したテンプレートにマッチ
ングする車線端を前記車線端候補の中から選択するマッ
チング手段とを有することを特徴とする請求項（１）記
載の車線端認識装置。