JPH09231379A - 画像処理による走行車線認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 【解決手段】 車両前方の画像を撮像するＣＣＤカメラ
２からの画像情報を画像ズーム回路８により垂直方向に
拡大処理してから、エッジ抽出処理回路９により水平１
ライン毎に走査し、或る特定の色と、それ以外の色との
境界を調べ、その境界となる画素をエッジ画素として抽
出し、抽出したエッジ画素の位置座標を求め、左右車線
を検出するようにしたもの。画像情報を電子的に拡大し
た状態でエッジ画素を抽出し、車線を認識しているた
め、一系統の光学系と撮像素子だけを用いた簡易な構成
で、広い視野を確保しながら、遠方の走行レーンの方
向、先行車や障害物の位置等を精度良く認識することが
できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車載されたテレビ
ジョンカメラにより撮影された画像情報を処理して、自
車両の走行レーン、先行車等を認識する装置に係り、特
に自動車に好適な走行車線認識装置及び方法に関する。

【０００２】

【従来の技術】車両に搭載したテレビジョンカメラ、つ
まり車載カメラにより撮影された画像データに基づいて
走行車線を認識する装置としては、１台のカメラで車両
前方の状況を撮影して得た画像情報を使用する方法が一
般的であるが、このような装置の場合、広い範囲を撮影
するために、広角のレンズを備えた構成にすると、遠方
の画像の距離精度(遠近方向の分解能)が悪くなる。

【０００３】一方、遠方の距離精度を向上させるため
に、光学的なズーム機構を利用すると、認識可能な視野
が狭くなり、近方から遠方にかけての広範囲な認識が出
来なくなる、という問題がある。

【０００４】これを改良するための従来の装置として
は、例えば特開平６ー２２９７６０号公報に開示された
ものが挙げられる。そして、この従来の装置では、低倍
率光学系を備えた固体撮像部と、高倍率光学系を備える
固体撮像部の２種の撮像部を有し、低倍率光学系を備え
た固体撮像部によって得られる画像データと、高倍率光
学系を備える固体撮像部により得られる画像データとを
比較処理することによって、車両前方で比較的遠方の走
行路の形状が曲走路であることや、曲走路へ移行する状
態にあることを認識するようにしている。

【０００５】

【発明が解決しようとする課題】しかしながら、従来技
術では、低倍率光学系及び高倍率光学系の２種類の光学
系と、それぞれの光学系に対応した固体撮像部が必要と
なるため、装置の構成規模が大きくなり、コストの増大
につながるという問題点がある。一方、温度変化が激し
く、振動振幅の大きい車載環境を考慮すると、光学的な
ズーム機構等の複雑な機構部が極力少ない装置構成にす
ることが望ましい。

【０００６】本発明は、上記従来装置の問題点に鑑み、
車載カメラにより撮影された画像情報に基づいて、走行
レーン(白線、黄線で挟まれた車両走行部分)等の自車両
の前方状況を認識するにあたり、１系統の光学系からな
る装置構成とし、さらに、広い視野を確保しながら比較
的遠方の走行レーンに対しても、距離精度(遠近方向の
分解能)が良い状態で路面に描かれている白線、黄線な
どによる車線や、前方を走行している車両などの認識が
確実に得られるようにした装置の提供を目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、車両前方の画像を撮像して画像情報を得
る撮像手段と、撮像した画像情報を水平１ライン毎に走
査し、或る特定の条件を満たす色及び輝度の部分と、そ
れ以外の色及び輝度の部分との境界を調べ、その境界と
なる画素をエッジ画素として抽出し、抽出したエッジ画
素の位置座標を求めるエッジ画素座標検出手段とを備え
た画像処理による走行車線認識装置において、記撮像し
た画像情報を垂直方向に拡大する画像拡大処理手段を設
け、この垂直方向に拡大された画像情報に基づいてエッ
ジ画素座標検出手段によるエッジ画素検出処理が実行さ
れるようにしたものである。

【０００８】本発明では、撮像手段によって撮影された
画像情報を電子的に拡大した状態でエッジ画素を抽出
し、車線を認識するため、一系統の光学系と撮像素子の
みを用いるだけで、遠方の走行レーンの方向や先行車、
障害物の位置などを精度良く認識することができる。

【０００９】

【発明の実施の形態】以下、本発明による画像処理によ
る走行車線認識装置について、図示の実施例により詳細
に説明する。図１は、本発明の一実施例で、大略して撮
影部１と処理部５、表示部１１、それにメモリ２２とで
構成されており、さらに処理部５は、画像処理部６と判
断部７とを備え、この判断部７により、車両状態センサ
１９、車両運動制御装置２０及び警報装置２１との間で
信号が授受されるようになっている。

【００１０】つぎに、この実施例の各部について、さら
に詳細に説明する。まず撮影部１は、以下の通りであ
る。ＣＣＤカメラ２は、車両の前方の画像を撮像し画像
情報を得るための手段で、車両の前方にある走行路面や
先行車などの被写体の画像情報をカラーアナログ信号と
して取り込む働きをする。このため、車載時には、例え
ば、車両前部のグリル付近で、汚れの虞れの少ない箇
所、或いは車室内のルームミラーやサンバイザー等の前
方視界の広い箇所に設置すれば良い。

【００１１】Ａ／Ｄ変換器３は、ＣＣＤカメラ２から出
力されたアナログ画像信号を、デジタル画像信号に変換
する処理を行う。

【００１２】色差変換回路４は、Ａ／Ｄ変換器３から出
力されたデジタル信号、すなわち被写体の三原色Ｒ
(赤)、Ｇ(緑)、Ｂ(青)の各成分に相当するデジタル信号
を、次式で定義される輝度信号Ｙと、色差信号Ｒ−Ｙ、
Ｂ−Ｙに変換する処理を行う。 Ｙ ＝ 0.3Ｒ ＋ 0.6Ｇ ＋ 0.1Ｂ Ｒ−Ｙ ＝ 0.7Ｒ − 0.6Ｇ − 0.1Ｂ Ｂ−Ｙ ＝ -0.3Ｒ − 0.6Ｇ ＋ 0.9Ｂ こうして変換された輝度信号Ｙ及び色差信号Ｒ−Ｙ、Ｂ
−Ｙは表示部１１に出力され、遅延回路１２に入力され
るとともに、画像処理部６に出力され、電子ズーム回路
８に転送される。

【００１３】次に、処理部５について説明するが、その
動作については後に詳しく説明するので、ここでは、各
構成要素の機能を概説しておくことにする。まず、画像
処理部６の構成要素について説明する。電子ズ−ム回路
８は、色差変換回路４から画像情報を受け取り、予め設
定されているズーム条件(ズーム中心ライン及び拡大率)
に従って、画像情報を、その垂直方向だけ拡大する処理
を行った後、拡大処理された画像情報を、エッジ抽出処
理回路９に転送する処理を行う。なお、このズーム条件
については、後で詳述する。

【００１４】ここで、ズーム条件の中のズーム中心ライ
ンとは、画像情報を拡大する際に、拡大処理を行う基準
ラインの位置を示すパラメータであり、拡大率とは、画
像情報を拡大する倍率を示すパラメータである。なお、
これらズーム中心ラインや拡大率については、後に、画
像ズーム処理のところで詳しく説明する。

【００１５】エッジ抽出処理回路９は、電子ズーム回路
８から転送される拡大処理された画像情報から、予め設
定された抽出色条件に該当する画素を抽出し、ノイズ等
を除去する画像処理を施した後、１本の水平ライン上
で、その抽出画素に対する位置座標データ(エッジ座標
データ)を車線認識部１０に転送する働きをする。

【００１６】ここで、１本の水平ラインを調べていった
とき、抽出色条件を満足していない画素から、抽出色条
件を満足する画素へと変化した場合、該抽出色条件を満
足する画素を立上りエッジ画素と称し、その座標データ
を、この立上りエッジ画素のエッジ座標データと称す
る。

【００１７】同様に、１本の水平ラインを調べていった
時、抽出色条件を満足している画素から、抽出色条件を
満足しない画素へ変化した場合、該抽出色条件を満足す
る画素を立下りエッジと称し、その座標データを、この
立下りエッジ画素のエッジ座標データと称する。従っ
て、このエッジ座標データは、座標情報の他に、当該エ
ッジ座標が立上りなのか、又は立下りなのかを示す情報
も含んでいることになる。

【００１８】車線認識部１０は、エッジ抽出処理回路９
から転送されたエッジ座標データをもとにして、自車両
が走行する走行レーンの左右の車線に対するエッジ座標
データや、前方車、障害物に対するエッジ座標データを
抽出し、抽出したエッジ座標データに基づいて、左右の
車線や前方車、障害物を認識し、認識結果を座標系変換
部１３及び警報状態判断部１８に転送する。

【００１９】次に判断部７の構成要素について説明す
る。車両状態判断部１７は、車両状態センサ１９から送
られる信号により自車両の走行状態を判断し、その判断
結果を警報状態判断部１８に転送する。ここで、この車
両状態センサ１９は、自車両の運動量、運転者の操作意
志等を検出する手段で、例えば、自車両の速度を計測す
る車速度センサや方向指示器、ステアリング角度センサ
など、各種のセンサのことである。

【００２０】警報状態判断部１８は、車線認識部１０か
ら送られてきた自車の走行レーンに対する左右車線情報
や前方車情報、障害物情報と、車両状態判断部１７から
転送されてきた情報から、運転者に注意を喚起する必要
がある警報状態であることを判断する働きをするもの
で、例えば車速度センサが検出した自車両の速度が所定
値以上で、且つ前方の画像情報中の特定位置に、前方車
等の存在を認識した場合、これを警報状態と判断し、車
両運動制御装置２０や警報装置２１を駆動するのであ
る。

【００２１】車両運動制御装置２０は、車両の駆動系、
制御系、操舵系等の制御を行う装置で、具体例として
は、運転者に注意を喚起する必要があると警報状態判断
部１８が判断した際に自動的にブレーキをかける自動ブ
レーキ等が考えられる。

【００２２】警報装置２１は、運転者の聴覚や視覚に訴
えて、運転者に注意を喚起する手段であれば、どのよう
な手段でも良く、例えば、チャイムの駆動やＬＥＤでの
表示等が考えられる。このように、判断部７の構成例に
ついては様々な態様が考えられる。

【００２３】次に、表示部１１の構成について説明す
る。遅延回路１２は、処理部５での種々の処理と、座標
系変換部１３での処理に必要とする時間に対応する時間
だけ、入力された画像情報を遅延させて出力するために
設けたもので、色差変換回路４から出力される信号と、
座標系変換部１３から出力される処理結果とを、置換回
路１４に入力する際に同期合わせを行なう働きをする。

【００２４】座標系変換部１３は、車線認識部１０から
転送された認識車線データを、予め設定されたズーム中
心ラインと拡大率を参照して拡大処理前の座標系に変換
し、置換回路１４に転送する働きをする。

【００２５】置換回路１４は、遅延回路１２で遅延され
た画像に、座標系変換部１３で拡大前の座標系に変換さ
れた認識車線の画像情報を重ね合わせる働きをするもの
である。具体的には、遅延回路１２から出力された図３
(1)に示すような、画像処理がされていない撮影画像
に、図３(2)に示すような座標系変換部１３で変換され
た認識車線の画像情報を重ね合わせ、図３(3)に示すよ
うに、撮影画像上に認識車線を描いた画像情報を得るよ
うにするのである。

【００２６】エンコーダ回路１５は、置換回路１４から
入力された信号をＮＴＳＣ信号に変換し、ＣＲＴや液晶
などの画像表示装置からなるモニタ１６にカラー画像を
表示させる働きをする。

【００２７】一方、この実施例では、警報状態判断部１
８が警報装置２１を駆動する際には、これと同時に、警
報情報がモニタ１６に表示されるようになっており、こ
のためにスーパインポーズ警報情報が置換回路１４に与
えるように構成してある。そして、この警報情報が、エ
ンコーダ回路１５でＮＴＳＣ信号に変換され、警報表示
がモニタ１６に映しだされた様子を図３(4)に示す。

【００２８】メモリ２２は、上記したズーム条件や抽出
色条件を格納する働きをするものであるが、さらに、車
線認識部１０等が処理を行う際のワークエリアとしても
機能する。

【００２９】次に、この実施例の動作について説明す
る。この実施例では、第一の処理と第二の処理の大別し
て２種の処理が並列して実行されるようになっているの
で、以下、これらの処理につして、順次説明することに
する。

【００３０】まず、第一の処理とは、ＣＣＤカメラ２で
得た画像情報を、Ａ／Ｄ変換器３によりデジタル信号に
変換し、さらに色差変換回路４で輝度信号と色差信号に
変換し、遅延回路１２によって所定時間の遅延を与え、
座標系変換部１３と置換回路１４によって加工処理した
後、エンコーダ回路１５によって画像処理結果をＮＴＳ
Ｃ信号に変換して、モニタ１６に処理結果を画像表示す
るまでの一連の処理のことである。

【００３１】この第１の処理について、図２のフローチ
ャートを用いて説明する。なお、この第一の処理は、例
えば１６.７msなどの所定のビデオレートを周期として
順次行われるものである。まず、装置の電源がオン状態
になると(Ｓ２)、初期設定が行われる(Ｓ４)。ここで、
初期設定とは、例えばメモリ２２のワークエリア領域の
クリア等の処理が挙げられる。

【００３２】また、この初期設定と並行して、運転者な
どが行わなければならない操作もあり、この操作として
は、撮影部１と表示部１１の初期調整や、後述する第二
の処理で用いられるズーム条件や抽出色条件等を、図示
しない入力部によって設定する操作がある。

【００３３】次に、ＣＣＤカメラ２によって撮影した、
車両前方の画像情報信号をアナログＲＧＢ信号に変換し
(Ｓ６)、Ａ／Ｄ変換器３によってアナログＲＧＢ信号を
デジタルＲＧＢ信号に変換し(Ｓ８)、さらに、色差変換
回路４により、前述した変換式に従って、デジタルＲＧ
Ｂ信号を輝度Ｙ及び色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する
(Ｓ１０)。

【００３４】次に、遅延回路１２は、色差変換回路４か
ら出力された画像信号を入力信号とし、処理部５と座標
系変換部１３で必要とする処理時間だけ、入力信号に遅
延を与え(Ｓ１２)、座標系変換部１３から出力された信
号との同期合わせを行う。

【００３５】次に、画像加工処理(Ｓ１４)では、座標系
変換部１３が、処理部５から転送された、図３(2)の中
に点線で示す拡大された座標系で表されている認識車線
のデータを、予め設定されたズーム中心ラインと拡大率
とを参照して、図３(2)の実線で示す拡大前の座標系の
データに変換した後、置換回路に転送する。

【００３６】そして、置換回路１４では、図３(3)に示
すように、処理を行っていない撮影画像の上に、拡大前
の座標系に変換された認識車線情報を重ね合わせる処理
を行う。その後、エンコーダ回路１５によって、置換回
路１４の出力信号をＮＴＳＣ信号に変換し(Ｓ１６)、モ
ニタ１６にＮＴＳＣ信号に対応する表示画面を表示させ
(Ｓ１８)、次周期における被写体の画像情報を得るため
に、ステップ(Ｓ６)に戻るのである。

【００３７】次に、第二の処理について説明する。この
第二の処理は、図２において、まず画像ズーム(画像拡
大)処理(Ｓ２０)により、撮影部１から送られてくる画
像情報を垂直方向に拡大処理した後、前記エッジ画素を
抽出し(Ｓ２２)、自車両が走行する走行レーンに対する
左右車線を認識し(Ｓ２４)、自車両が車線はみ出し等の
警報状態にあるか否かを判定し(Ｓ２６)、警報装置２１
の駆動(警報)(Ｓ２８)や、車両運動制御装置２０の駆動
(回避)(Ｓ３０)を行うまでの、一連の処理のことであ
る。

【００３８】画像ズーム処理(Ｓ２０)は、後で詳述する
が、撮影部１から送られてくる画像情報を、予め設定さ
れたズーム条件に従って、画像ズーム回路８が垂直方向
にのみ拡大処理し、路面や白線等の画像を拡大する処理
であり、従って、この画像ズーム処理(Ｓ２０)では、例
えば、図４(0)に示す原画像信号を、図４(1)に示すよう
に拡大する処理が行なわれる。

【００３９】エッジ抽出処理(Ｓ２２)では、垂直方向に
拡大された画像情報から、エッジ抽出処理回路９により
エッジ画素を抽出し、そのエッジ座標データを車線認識
部１０に転送する処理を行う。

【００４０】図５は、このエッジ抽出処理(Ｓ２２)の処
理内容を示すフローチャートで、まず画素判別処理(Ｓ
２２０２)では、予め設定された抽出色条件と、拡大画
面内の全ての画素の色データとの比較を行い、抽出色条
件を満たす画素を抽出する処理を行なう。例えば、図４
(1)に示す拡大画像を、図４(2)に示すように、抽出色条
件を満たす画素と満たさない画素に二値化処理するので
ある。

【００４１】エッジ点判別処理(Ｓ２２０４)では、ノイ
ズを除去するために、図４(２)のような二値化された画
像情報を、例えば、３画素×３画素の空間フィルタリン
グを用いた平滑処理を行った後、エッジ点を判別し、判
別したエッジ座標データを車線認識部１０に転送する。

【００４２】例えば図４(2)に示したような二値化され
た画像情報をフィルタリング処理した後、１水平ライン
毎に調べていったとき、抽出色条件を満足しない画素か
ら抽出色条件を満足する画素へ変化した場合、該抽出色
条件を満足する画素を立上りエッジ画素とし、その座標
データを立上りエッジ画素のエッジ座標データとするの
である。

【００４３】同様に、１水平ライン毎に調べていったと
き、抽出色条件を満足する画素から抽出色条件を満足し
ない画素へ変化する場合、該抽出色条件を満足する画素
を立下りエッジ画素とし、その座標データを立下りエッ
ジ画素のエッジ座標データとする。こうして、図４(2)
に示した二値化画像情報をエッジ点判別処理した結果
は、図４(3)に示すようになる。

【００４４】ここで、３画素×３画素の空間フィルタリ
ングを用いた平滑処理とは、この９個の画素のうち、例
えば半数以上の画素が抽出色条件を満たす画素の集まり
であれば、この９個の画素については、抽出色条件を満
たす画素として判断する処理のことである。

【００４５】図２に戻り、車線認識処理(Ｓ２４)では、
転送されたエッジ座標データから近似直線或いは近似曲
線を求め、図４(4)に示すように、自車の走行する走行
レーンに対する車線を推定する。このため、具体的に
は、車線認識部１０により以下のような処理を行わせる
のである。

【００４６】まず、車線認識部１０は、エッジ抽出処理
回路９から送られたエッジ座標データの中の各画素につ
いて、左車線に対するものと考えられるエッジ画素、右
車線に対するものと考えられるエッジ画素、それ以外の
エッジ画素の何れの画素であるかを、次のような方法で
判断し、分別する処理を行う。

【００４７】エッジ座標データは、上記したように、各
エッジ画素の座標情報と、立上り又は立下りの情報で構
成されている。そこで路面色を抽出色条件データにした
とすると、多くの場合、立上りエッジ画素が左車線を示
し、立下りエッジ画素が右車線を示す。しかしながら、
前方車、障害物等が存在した場合には、車線以外のエッ
ジ画素も、車線のエッジ画素として認識してしまう。

【００４８】そこで、車線認識部１０は、例えば、図４
(3)に示してある画面において、図示の中心線より左側
に存在する立上りエッジ画素を左車線のエッジ画素、右
側に存在する立下りエッジ画素を右車線エッジ画素と判
断するようにしてある。

【００４９】ただし、このとき、同一水平ライン上に２
個以上の左車線エッジ画素が存在した場合には、それら
のエッジ画素の中で最も右側のものを左車線のエッジ画
素とし、同様に、同一水平ライン上に２個以上の右車線
エッジ画素が存在した場合には、それらのエッジ画素の
中で最も左側のものを右車線のエッジ画素とするのであ
る。

【００５０】また、左車線エッジと右車線エッジの間
に、立下りエッジ画素と立上りエッジ画素が対(ペア)に
なって存在した場合には、これら対をなしている立下り
エッジ画素と立上りエッジ画素は、前方車のエッジ画素
であるとして判別する。

【００５１】そして、判別された左、右車線に対するエ
ッジ画素のエッジ座標データをもとに、例えば、最小２
乗法などの技法により近似直線或いは近似曲線を求め、
これを認識車線とする。その様子を図４(4)に示す。ま
た、このとき前方車両を示すエッジ画素が存在したら、
自車両の位置に最も近いものを前方車両の存在位置とす
るのである。

【００５２】次に、警報状態判定処理(Ｓ２６)では、車
両状態センサ(例えば、車速度センサ)１９からの信号よ
り、自車両の走行状態(車速等)を判断し、その判断結果
と、車線によって定められる走行可能な路面と、前方車
両の存在位置の関係から、運転者に対して注意を喚起す
べき状態にあるか否かを推定する。例えば、車速度セン
サが検出した自車両の速度が所定値以上で、かつ、前方
車両の存在位置が所定範囲内であるとき、これを警報状
態と判断するのである。

【００５３】警報処理(Ｓ２８)では、警報状態判断部１
８で警報状態と判断した場合、警報装置２１を駆動し、
注意すべき状態であることを自車の運転者に伝える。回
避処理(Ｓ３０)では、警報状態判断部１８で警報状態と
判断した場合、車両運動制御装置２０を駆動する。

【００５４】なお、警報状態の警告に対しても運転者の
操作が不十分であったと判断した場合にだけ、車両運動
制御装置２０を駆動するような構成にしても良い。これ
らの一連の処理を繰り返すことにより、装置が動作する
ことになる。

【００５５】次に、画像ズーム処理(Ｓ２０)について詳
細に説明する。まず画像ズーム処理の対象となる画像デ
ータとして、図６(1)に示すように、１画面が９水平ラ
インで、１水平ラインが１２画素から構成された画像デ
ータ、すなわち９水平ライン×１２画素の画像データを
想定する。そして、この画像データを、矢印で示す位置
をズーム中心として、拡大率３倍で、垂直方向に拡大処
理する場合について説明する。

【００５６】まず、拡大すべき水平ライン数を求める。
この例では、拡大処理後の水平ラインの数も９水平ライ
ンでなければならないので、拡大率３倍を考慮すれば、
拡大すべき水平ラインの数は３水平ラインとなる。次
に、拡大すべき水平ラインを選ぶ。この例では、拡大す
べき水平ライン数は３ラインであるので、図示のように
ズーム中心ラインを中心にして３ラインを選ぶ。

【００５７】そして、選ばれた水平ラインに対する画像
情報の大きさを垂直方向に３倍にして、１画面を構成す
る９水平ラインに割り当てる。このような処理によっ
て、図６(1)に示した画像情報は、図６(2)に示すように
拡大処理される。

【００５８】次に、この画像の拡大処理による、エッジ
抽出の具体例を、図７、図８を用いて説明する。ここ
で、図７(1)は画像拡大処理を行っていない画像を、図
７(2)は図７(１)の画像を垂直方向に画像拡大処理(３
倍)を行った画像を、それぞれ表わしており、さらに図
７(2)のＢ部は、拡大画像に於いて、図７(1)のＡ部に対
応する部分を表わしている。

【００５９】また図８(1)は、図７(1)に示すＡ部(右車
線の一部)を、詳細に見た様子を示した図であり、図８
(2)は、図７(2)に示すＢ部、すなわち図８(1)の画像情
報を垂直方向に画像拡大処理(拡大率：３倍)した結果を
示す図である。

【００６０】上述したように、図５のエッジ点判別処理
(Ｓ２２０４)では、ノイズ除去のため３画素×３画素の
空間フィルタリングを施しており、この９画素のうち、
半数以上が抽出色条件を満たせば、この９画素は、抽出
色条件を満たしているものと判断するようになってい
る。

【００６１】そこで、いま、拡大前の水平ラインと拡大
後の水平ラインの各画素について、図８(1)、図８(2)に
太線で囲って示してあるように、「３画素×３画素」の
かたまりで区切られているものとすると、図８(1)の場
合、エッジ点判別処理においては、図８(1')に示すよう
に、３個の画素で構成されているものとみなされ、次
に、図８(2)の場合には、エッジ点判別処理において
は、図８(2')に示すように、９個の画素で構成されてい
るものとみなされる。

【００６２】この結果、図７(2)の領域Ｂ、つまり図７
(1)の領域Ａの画像情報は、拡大処理されていない画像
での白線の領域は、図８(1')に示すように、唯１個の
「かたまり」として認識されるのに対して、拡大処理さ
れた画像では、図８(2')に示すように、白線の領域が３
本の水平ラインにわたった３個の「かたまり」として認
識される。

【００６３】すなわち、同じ画像情報を処理した場合で
も、垂直方向に画像ズームを行うことにより、画像ズー
ムを行わない場合に比して、距離精度(カメラからの遠
近方向の分解能)は３倍に向上することになる。

【００６４】従って、この実施例によれば、画像情報を
拡大処理するという簡単な構成により、広い視野を確保
しながら、比較的遠方の走行レーンに対しても距離精度
の良い認識が得られることになり、この結果、複雑な光
学系や二重の撮像系が不要で充分にコストを抑えながら
高精度で信頼性の高い走行路の認識を実現することがで
きる。

【００６５】なお、上述の実施例では、撮像画像を或る
一定の倍率で拡大し、拡大画面に割り当てているが、近
距離領域は拡大率１倍(拡大なし)として、遠距離領域は
拡大率３倍にするというように、距離に応じて拡大率を
切り換えて画像拡大処理するようにしてもよい。

【００６６】

【発明の効果】本発明によれば、車載カメラにより撮影
された画像情報に基づいて、走行レーンなどの自車両の
前方状況を認識するに際して、撮影された画像情報を電
子的に拡大した状態でエッジ画素を抽出し、車線を認識
するようにしているため、一系統の光学系と撮像素子だ
けを用いた簡易な構成で、広い視野を確保しながら、遠
方の走行レーンの方向、先行車や障害物の位置等を、精
度良く認識することが可能になり、この結果、高精度で
信頼性の高い走行路の認識をローコストで得ることがで
き、車両走行の安全性の確保と自動化の促進とに大いに
寄与することができる。

【図面の簡単な説明】

【図１】本発明による画像処理による走行車線確認装置
の一実施例を示すブロック図である。

【図２】本発明の一実施例の全体の動作処理を説明する
ためのフローチャートである。

【図３】本発明の一実施例における置換回路の動作説明
図である。

【図４】本発明の一実施例に置ける車線認識処理の説明
図である。

【図５】本発明の一実施例におけるエッジ抽出処理の説
明図である。

【図６】本発明の一実施例における画像拡大処理の説明
図である。

【図７】本発明の一実施例における拡大処理前と拡大処
理後の画像の比較による処理の説明図である。

【図８】本発明の一実施例における拡大処理前後の画像
におけるフィルタリング処理の説明図である。

【符号の説明】

１ 撮影部 ５ 処理部 ６ 画像処理部 ７ 判断部 ８ 画像ズーム回路 ９ エッジ抽出処理回路 １０ 車線認識部 １１ 表示部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０ (72)発明者 高野 和朗 茨城県ひたちなか市大字高場2520番地 株 式会社日立製作所自動車機器事業部内 (72)発明者 農宗 千典 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 車両前方の画像を撮像して画像情報を得
   る撮像手段と、撮像した画像情報を水平１ライン毎に走
   査し、或る特定の条件を満たす色及び輝度の部分と、そ
   れ以外の色及び輝度の部分との境界を調べ、その境界と
   なる画素をエッジ画素として抽出し、抽出したエッジ画
   素の位置座標を求めるエッジ画素座標検出手段とを備え
   た画像処理による走行車線認識装置において、 前記撮像した画像情報を垂直方向に拡大する画像拡大処
   理手段を設け、 この垂直方向に拡大された画像情報に基づいて前記エッ
   ジ画素座標検出手段によるエッジ画素検出処理が実行さ
   れるように構成したことを特徴とする画像処理による走
   行車線認識装置。
2. 【請求項２】 請求項１の発明において、 前記エッジ画素座標検出手段で抽出したエッジ画素の位
   置座標を参照して、エッジ画素を、直線或いは曲線を構
   成するように結んで構成される左右車線を求める車線抽
   出手段と、求めた左右車線の座標系を拡大処理前の座標
   系に変換する車線座標系変換手段とが設けられているこ
   とを特徴とする画像処理による走行車線認識装置。
3. 【請求項３】 請求項１の発明又は請求項２の発明のい
   ずれかにおいて、 前記エッジ画素座標検出手段で抽出したエッジ画素の位
   置座標を参照して前方車や障害物を求める前方車抽出手
   段と、求められた前方車と障害物の座標系を拡大処理前
   の座標系に変換する前方車座標系変換手段とが設けられ
   ていることを特徴とする画像処理による走行車線認識装
   置。