JPH08315116A

JPH08315116A - 画像処理装置

Info

Publication number: JPH08315116A
Application number: JP7119856A
Authority: JP
Inventors: Kazuto Nakamura; 和人中村; Kazuro Takano; 和朗高野; Tatsuhiko Moji; 竜彦門司; Shigeyoshi Ondou; 栄良音堂
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-05-18
Filing date: 1995-05-18
Publication date: 1996-11-29
Anticipated expiration: 2015-09-04
Also published as: JP3084208B2

Abstract

(57)【要約】【目的】簡易な構成で、広い視野を確保しながら、遠方
の走行路に対す車線を正確に認識できる装置を提供す
る。【構成】車両前方の画像を撮像し、画像情報を得るため
の撮像手段と、撮像した画像情報の大きさを拡大する画
像拡大処理手段と、拡大画像情報を水平１ライン毎に走
査し、特定色と、それ以外の色との境界を調べ、境界画
素をエッジ画素として抽出し、位置座標を求めるエッジ
画素座標検出手段と、エッジ画素の位置座標を、拡大処
理前の座標に変換するエッジ画素座標変換手段と、エッ
ジ画素の変換座標を参照し、エッジ画素を、直線を構成
するように結んで構成される左右車線を求める車線抽出
手段と、各水平ライン毎に定めた、拡大率および拡大中
心座標を記憶する拡大条件記憶手段とを備える。画像拡
大処理手段は、各水平ライン毎に、拡大中心座標を中心
とし、画像情報の大きさを拡大する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮像された画像情報を
拡大処理することによって、特定の線画像を正確に認識
する装置に係り、車載カメラにより撮影された画像情報
を拡大処理することによって、自車両の走行レーンに対
する車線を正確に認識する装置に関する。

【０００２】

【従来の技術】車載カメラにより撮影された画像データ
に基づいて、走行車線を認識する装置としては、一般に
は、カメラ１台で前方の状況を撮影する方法がある。し
かし、このような装置では、広い範囲を認識するため
に、広角のレンズを備えた構成にすると、遠方の車線の
認識が困難となり、一方、遠方の車線を認識するため
に、光学系のズーム機構を利用すると、認識可能な視野
が狭くなる、という問題が存在する。

【０００３】これを改良する装置として、例えば特開平
06-229760号公報に開示されたものが挙げられる。

【０００４】この装置は、低倍率光学系を備える固体撮
像部と、高倍率光学系を備える固体撮像部を有し、低倍
率光学系を備える固体撮像部によって得られる画像デー
タと、高倍率光学系を備える固体撮像部により得られる
画像データとを比較処理するによって、車両前方の比較
的遠方の走行路の形状が曲走路であることや、曲走路へ
移行する状態にあることを認識する装置である。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
たような従来技術によれば、比較的遠方の車線の形状を
認識する際に、高倍率光学系を備えた固体撮像部を設け
た構成としている。このため、低倍率光学系および高倍
率光学系の双方の光学系と、各光学系に対する固体撮像
部が必要となり、装置構成が大きくなり、必ずしも車載
に適した装置であるとはいえず、また、コストの増大
は、免れないという問題点がある。

【０００６】また、車載環境を考慮したとき、高温下や
振動振幅の大きな環境下では、極力光学系を少なくし
た、装置構成にすることが切望されていた。

【０００７】そこで、本発明は、上記従来装置の問題点
に鑑み、車載カメラにより撮影された画像情報に基づい
て、自車両の走行レーンに対する車線を認識するにあた
り、複数の光学系を備えた構成とならないような装置構
成とし、さらに、広い視野を確保しながら比較的遠方の
走行レーンに対しても、正確に車線を認識可能な装置を
提供することを目的とする。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、以下の手段が考えられる。

【０００９】すなわち、画像を撮像し、画像情報を得る
ための撮像手段と、撮像した画像情報の大きさを拡大す
る画像拡大処理手段と、拡大した画像情報を水平１ライ
ン毎に走査し、ある特定の色と、それ以外の色との境界
を調べ、その境界となる画素をエッジ画素として抽出
し、抽出したエッジ画素の位置座標を求めるエッジ画素
座標検出手段と、抽出したエッジ画素の位置座標を、拡
大処理前の座標に変換するエッジ画素座標変換手段と、
エッジ画素の変換座標を参照し、エッジ画素を、直線を
構成するように結んで構成される線画像を求める線画像
抽出手段と、各水平ライン毎に定めた、画像情報の拡大
量である拡大率、および、画像情報の拡大処理を行なう
基準位置を示す拡大中心座標を記憶する拡大条件記憶手
段とを備える。

【００１０】そして、前記画像拡大処理手段は、前記拡
大条件記憶手段の記憶内容を参照し、各水平ライン毎
に、前記拡大中心座標を中心として、前記拡大率で示さ
れる倍率で、画像情報の大きさを拡大していく処理を行
なう装置である。

【００１１】さらに、具体的には、以下に示すような態
様も考えられる。

【００１２】すなわち、車両に搭載され、車両前方の画
像を撮像し、画像情報を得るための撮像手段と、撮像し
た画像情報の大きさを拡大する画像拡大処理手段と、拡
大した画像情報を水平１ライン毎に走査し、ある特定の
色と、それ以外の色との境界を調べ、その境界となる画
素をエッジ画素として抽出し、抽出したエッジ画素の位
置座標を求めるエッジ画素座標検出手段と、抽出したエ
ッジ画素の位置座標を、拡大処理前の座標に変換するエ
ッジ画素座標変換手段と、エッジ画素の変換座標を参照
し、エッジ画素を、直線を構成するように結んで構成さ
れる左右車線を求める車線抽出手段と、各水平ライン毎
に定めた、画像情報の拡大量である拡大率、および、画
像情報の拡大処理を行なう基準位置を示す拡大中心座標
を記憶する拡大条件記憶手段とを備える。

【００１３】そして、前記画像拡大処理手段は、前記拡
大条件記憶手段の記憶内容を参照し、各水平ライン毎
に、前記拡大中心座標を中心として、前記拡大率で示さ
れる倍率で、画像情報の大きさを拡大していく処理を行
なう装置である。

【００１４】なお、前記画像拡大処理手段は、撮影した
画像情報の大きさを、水平方向にのみに拡大する処理を
行なうことを特徴とする装置構成にすることが好まし
い。

【００１５】

【作用】車両に搭載された撮像手段によって、車両前方
の画像を撮像し、画像情報を得る。

【００１６】拡大条件記憶手段には、各水平ライン毎に
定めた、画像情報の拡大量である拡大率、および、画像
情報の拡大処理を行なう基準位置を示す拡大中心座標が
記憶される。

【００１７】そして、画像拡大処理手段によって、撮像
した画像情報の大きさを拡大する。

【００１８】具体的には、画像拡大処理手段は、拡大条
件記憶手段の記憶内容を参照し、各水平ライン毎に、前
記拡大中心座標を中心として、前記拡大率で示される倍
率で、画像情報の大きさを拡大していく処理を行なう。
この際、画像拡大処理手段は、撮影した画像情報の大き
さを、水平方向にのみに拡大する処理を行なう。

【００１９】さらに、エッジ画素座標検出手段は、拡大
した画像情報を水平１ライン毎に走査し、ある特定の色
と、それ以外の色との境界を調べ、その境界となる画素
をエッジ画素として抽出し、抽出したエッジ画素の位置
座標を求め、また、エッジ画素座標変換手段は、抽出し
たエッジ画素の位置座標を、拡大処理前の座標に変換す
る。

【００２０】また、車線抽出手段は、エッジ画素の変換
座標を参照し、エッジ画素を、直線を構成するように結
んで構成される左右車線を求める。

【００２１】以上のように、本発明では、撮影手段によ
って撮影された画像情報を拡大する（以下、適宜、単
に、「画像ズーム」と称する）ことにより、拡大処理さ
れた画像データに基づいて、走行車線を正確に認識する
ことができる。

【００２２】即ち、画像ズームを採用することにより、
車線の幅を拡大した状態で、路面と車線の境界を示す画
素（エッジ画素）を抽出することができるため、より遠
方の車線を正確に認識することが可能となる。

【００２３】

【実施例】以下、本発明にかかる実施例について、図面
を参照しつつ説明する。

【００２４】図１に、本発明にかかる実施例である装置
の構成図を示す。

【００２５】本装置は、撮影部１と処理部５とメモリ２
３と表示部１４とを有して構成されて、さらに、処理部
５は、画像処理部６と判断部７とを備えている。そし
て、車両状態センサ２０、車両運動制御装置２２および
警報装置２１と、判断部７との間で信号がやりとりされ
ている。

【００２６】以下、本装置の各構成要素について説明す
る。

【００２７】まず、撮影部１について説明する。

【００２８】ＣＣＤカメラ２は、前方の画像を撮像し、
画像情報を得るための撮像手段であり、前方の被写体の
画像情報を、カラーアナログ信号に変換する機能を有す
る。例えば、車載時には、車両前部のグリル付近で、汚
れの少ない箇所、あるいは、車室内のルームミラーやサ
ンバイザー等の前方視界の広い箇所に設置すれば良い。

【００２９】次に、Ａ／Ｄ変換器３は、ＣＣＤカメラ２
から出力されたアナログ画像信号を、デジタル信号に変
換する処理を行なう。

【００３０】次に、色差変換回路４は、Ａ／Ｄ変換器３
から出力されたデジタル信号、即ち、被写体の三原色
（Ｒ（赤）、Ｇ（緑）、Ｂ（青））に相当するデジタル
信号を、次式で定義する、輝度信号Ｙと色差信号「Ｒ−
Ｙ、Ｂ−Ｙ」とに変換する処理を行なう。

【００３１】Ｙ＝0.3Ｒ＋0.6Ｇ＋0.1ＢＲ−Ｙ＝0.7Ｒ−0.6Ｇ−0.1ＢＢ−Ｙ＝-0.3Ｒ−0.6Ｇ＋0.9Ｂ上式にて、変換されて求まった輝度信号および色差信号
は、遅延回路１６に入力されるとともに、バッファ２５
に格納される。

【００３２】次に、処理部５について説明するが、その
動作内容は後に説明するため、ここでは、各構成要素の
機能を概説しておくことにする。

【００３３】図１に示すように、処理部５は、画像処理
部６と判断部７とを備えている。

【００３４】まず、画像処理部６の構成要素について説
明する。

【００３５】バッファ２５は、色差変換回路４から送ら
れた画像情報を記憶する手段であるが、必ずしも、１フ
レーム分の容量を有している必要はない。例えば、画像
処理の処理単位が、３ラインであれば、３ライン分の容
量を有するように構成しておけば良い。

【００３６】画像ズ−ム回路８は、バッファ２５から画
像情報を受け取り、後に説明するズーム条件決定部９に
よって、１水平ライン毎に決定されたズーム条件（ズー
ム中心座標及び拡大率）に従って、画像情報を水平方向
にのみ拡大する処理を（例えば、１水平ライン毎に）行
なった後、拡大処理された画像情報を、抽出処理回路１
０に転送する処理を行なう。

【００３７】ここで、ズーム中心座標は、画像情報を拡
大する際に、拡大処理を行なう基準点の位置を示すパラ
メータであり、拡大率は、画像情報を拡大する倍率を示
すパラメータである。

【００３８】抽出処理回路１０は、拡大処理された画像
情報の中から、予め定めた抽出色条件データに該当する
画素を抽出し、ノイズ等を除去する画像処理を施した
後、１つの水平ライン上で、その抽出画素に対する位置
座標データ（エッジ座標データ）を、エッジ座標変換部
１１に転送する。なお、抽出色条件データとは、特定の
輝度および色差のデータであり、通常、道路色（走行レ
ーン）の輝度および色差のデータを採用して、メモリ２
３に予め格納しておき、抽出処理回路１０は、必要時
に、該データを取り出すように構成しておけば良い。

【００３９】なお、１つの水平ラインを調べていったと
き、抽出色条件データを満足しない画素から、抽出色条
件データを満足する画素への変化点を想定した場合、該
抽出色条件データを満足する画素を、立ち上がりエッジ
画素と称し、その座標データは、立ち上がりエッジ画素
の、エッジ座標データという。同様に、１つの水平ライ
ンを調べていったとき、抽出色条件データを満足する画
素から、抽出色条件データを満足しない画素への変化点
を想定した場合、該抽出色条件データを満足する画素
を、立ち下がりエッジ画素と称し、その座標データは、
立ち下がりエッジ画素の、エッジ座標データという。な
お、エッジ座標データは、座標情報の他に、当該エッジ
座標は、立ち上りなのか、または、立ち下がりなのかを
示す情報も含んでいるものとする。

【００４０】次に、エッジ座標変換部１１は、ズーム条
件決定部９から転送されたズーム中心座標と拡大率に基
づいて、抽出処理回路１０から転送されたエッジ座標デ
ータを、拡大処理前の座標データに変換し、車線認識部
１２に転送する。なお、ズーム中心座標や拡大率につい
ては、後に、画像ズーム処理のところで詳しく説明す
る。

【００４１】次に、車線認識部１２は、エッジ座標変換
部１１から転送されたエッジ座標データをもとに、自車
両が走行する走行レーンに対する左、右車線に対するエ
ッジ座標データを抽出し、抽出したエッジ座標データに
基づいて、左、右車線を認識し、認識結果を、ズーム条
件決定部９、危険判断部１３、および置換回路１５に転
送する。

【００４２】次に、ズーム条件決定部９は、車線認識部
１２から認識された車線情報を受け取って、ズーム中心
座標と拡大率を算出し、エッジ座標変換部１１、画像ズ
−ム回路８に転送する。なお、ズーム条件である、ズ−
ム中心座標、拡大率を、各水平ライン毎に予め設定して
おいて、画像拡大処理を行なわせるようにしても良い。

【００４３】次に、表示部１４の構成要素について説明
する。

【００４４】遅延回路１６は、処理部５での種々の処理
時間に対応する時間だけ、入力された画像情報を遅延さ
せて出力する機能を有し、色差変換回路４から出力され
る信号と、車線認識部１２から出力される処理結果と
を、置換回路１５に入力する際に同期合わせを行なうた
めの回路である。

【００４５】次に、置換回路１５は、遅延回路１６で遅
延された画像に処理部５からの処理結果を重ね合わせ
る。具体的には、何ら画像処理を行なっていない、遅延
回路１６から出力された図１５（ａ）に示すような撮影
画像に、図１５（ｂ）に示すような車線認識部１２で認
識された車線の画像情報を、重ねあわせて図１５（ｃ）
に示すような撮影画像上に認識車線を描いた画像情報を
得る。また、危険判定部１３が、警報装置２１を駆動す
る際には、これと同時に、警報情報をモニタ１８に表示
させるための、スーパインポーズ情報を置換回路１５に
与えるように構成しておけば良い。この警報情報がモニ
タ１８に表示された様子を、図１５（ｄ）に示す。

【００４６】次に、エンコーダ回路１７は、置換回路１
５から出力される画像情報を、ＮＴＳＣ信号に変換する
ための回路である。

【００４７】そして、モニタ１８は、ＮＴＳＣ信号を入
力し、これに対応する画像情報を表示画面に表示する。

【００４８】次に、判断部７の構成要素について説明す
る。

【００４９】なお、判断部７は、本発明を運転者の注意
喚起装置に応用した一例であり、本判断部自体は、本発
明の主要部をなすものではない。

【００５０】車両状態判断部１９は、車両状態センサ２
０から送られる信号により、自車両の走行状態を判断
し、その判断結果を危険判断部１３に転送する。

【００５１】ここで、車両状態センサ８は、自車両の運
動量、運転者の操作意志等を検出する手段であり、例え
ば、自車両の速度を計測する車速度センサ等や、その他
方向指示器、ステア角センサ等が挙げられる。

【００５２】危険判断部１３では、車線認識部１２より
送られてきた、左右の車線に対するエッジ座標データに
よって、自車の走行レーンを認識し、また、車線認識部
１２より送信された、左右の車線以外の物に対するエッ
ジ座標データで、前方車、障害物等の存在を認識し、車
両状態判断部１９より送信されたデータで、自車の走行
危険度を認識する。

【００５３】例えば、車速度センサが検出した、自車両
の速度が所定値以上で、かつ、前方の画像情報中の特定
位置に、前方車等の存在を認識できた場合、これを危険
状態と判断し、車両運動制御装置２２や警報装置２１を
駆動する。車両運動制御装置２２は、駆動系、制動系、
操舵系等の制御を行なう装置である。具体例としては、
自動ブレーキ等が考えられる。

【００５４】また、警報装置２１としては、運転者の聴
覚や視覚に訴えて、運転者に注意を喚起する手段であれ
ば、どのような手段でも良く、例えば、チャイムの駆動
動作やＬＥＤの表示等が考えられる。

【００５５】以上のような判断部７の構成例について
は、様々な態様が考えられる。

【００５６】また、メモリ２３は、ズーム条件決定部９
により決定されたズーム条件を格納保持し、さらに、車
線認識部１２等が処理を行う際のワークエリアとしても
機能する。

【００５７】次に、本発明にかかる装置の動作について
説明する。

【００５８】なお、本装置においては、大別して二つの
処理が別周期で、並列に実行される。

【００５９】「第１の処理」は、ＣＣＤカメラ２で得た
画像情報を、Ａ／Ｄ変換器３にてアナログ・デジタル変
換し、さらに、色差変換回路４にて、輝度、色差信号に
変換し、遅延回路１６、によって所定時間の遅延を与
え、置換回路１５の有する機能によって画像処理した
後、エンコーダ回路１７によって画像処理結果をＮＴＳ
Ｃ信号にして、モニタ１８に処理結果を表示する、一連
の処理である。

【００６０】まず、この「第１の処理」について、図
１、２を参照して説明する。

【００６１】本装置を操作することによって、装置電源
がオン状態になると（Ｓ２）、初期設定が行われる（Ｓ
４）。ここで、初期設定とは、例えば、メモリ２３のワ
ークエリア領域のクリア等の処理が挙げられる。また、
人間が行なう操作としては、撮影部１、表示部１４の初
期調整や、後述する第二の処理で用いられる抽出色条件
やズーム条件の初期値を、図示しない入力部によって設
定する。

【００６２】次に、ＣＣＤカメラ２によって撮影した、
車両前方の画像情報に対する信号をアナログＲＧＢ信号
として出力する（Ｓ６）。

【００６３】次に、Ａ／Ｄ変換器３によって、アナログ
ＲＧＢ信号をデジタルＲＧＢ信号に変換し（Ｓ８）、さ
らに、色差変換回路が、前述した変換式にしたがって、
デジタルＲＧＢ信号を、輝度および色差信号に変換する
（Ｓ１０）。

【００６４】次に、遅延回路１６は、色差変換回路４か
ら出力された画像信号を入力信号とし、処理部５で必要
とする処理時間だけ、入力信号に遅延を与え（Ｓ１
２）、処理部５で処理された信号との同期を合わせを行
なう。

【００６５】次に、置換回路１５は、処理を行っていな
い原画像情報の上に、処理部５での処理結果を重ね合わ
せる処理を行ない（Ｓ１４）、エンコーダ回路１７によ
って、置換回路１５の出力信号をＮＴＳＣ信号に変換し
（Ｓ１６）、モニタ１８に、ＮＴＳＣ信号に対応する表
示画像を表示する（Ｓ１８）。

【００６６】その後、次周期における被写体の画像情報
を得るために、ステップ（Ｓ６）にブランチする。な
お、以上の処理は、フレームレート（例えば、16.7ms）
を周期として順次行われる。

【００６７】次に、「第２の処理」について説明する第２の処理は、撮影部１から送られてくる画像情報を、
画像ズーム（画像拡大）処理（Ｓ２０）により、水平方
向に拡大処理した後、前記エッジ画素を抽出し（Ｓ２
２）、自車両が走行する走行レーンに対する車線を認識
し（Ｓ２８）、自車両が危険状態にあるか否かを判定し
（Ｓ３６）、警報装置２１の駆動（警報）（Ｓ３８）
や、車両運動制御装置２２の駆動（回避）（Ｓ４０）ま
での、一連の処理である。

【００６８】こられの各処理について、図１、２、３、
４を参照して説明する。

【００６９】画像ズーム処理（Ｓ２０）については、後
に詳細に説明するが、画像ズーム回路８が、設定された
ズーム条件に従って、撮影して得た画像情報を、水平方
向にのみ拡大処理し、路面や白線等の画像を拡大する処
理である。例えば、図３(1)に示す原画像を、図３(2)の
ように、拡大する処理を行なう。

【００７０】エッジ抽出処理（Ｓ２２）では、前述した
ように、抽出処理回路１０がエッジ画素を抽出する。こ
の様子を、図３(３)に示す。もちろん、エッジ座標デー
タも抽出する。

【００７１】ここで、図４に、エッジ抽出処理（Ｓ２
２）の処理内容をフローチャートで示す。

【００７２】画素判別処理（Ｓ２２０２）では、設定し
た抽出色条件と、全ての画素の色データとの比較を行
い、抽出色条件を満たす画素を抽出する。

【００７３】そして、エッジ点判別処理（Ｓ２２０４）
では、ノイズを除去するために、例えば「３画素×３画
素」の空間フィルタリングを用いた平滑処理を行い、こ
の９つの画素のうち、半数以上の画素が抽出色条件を満
たす画素の集まりであれば、この９つの画素について
は、抽出色条件を満たす画素とする。

【００７４】そして、図３(２)のように拡大処理された
画像情報を、１水平ライン毎に調べていったとき、抽出
色条件データを満足しない画素から、抽出色条件データ
を満足する画素へと変化した場合、該抽出色条件データ
を満足する画素を、立ち上がりエッジ画素とし、その座
標データを、立ち上がりエッジ画素の、エッジ座標デー
タとする。同様に、１つの水平ライン毎に調べていった
とき、抽出色条件データを満足する画素から、抽出色条
件データを満足しない画素へと変化した場合、該抽出色
条件データを満足する画素を、立ち下がりエッジ画素と
し、その座標データを、立ち下がりエッジ画素の、エッ
ジ座標データとする。

【００７５】そして、エッジ座標データを、エッジ座標
変換部１１に転送する。なお、図３に示す例では、路面
と車線からなる画像情報であるが、路面上に他の車両等
が存在する場合には、車線を構成しないエッジ画素が抽
出されてしまう。

【００７６】次に、エッジ座標変換処理（Ｓ２４）で
は、エッジ座標データを、ズーム条件決定部９から転送
された、ズーム中心座標と拡大率を参照し、図３(４)に
示すように、拡大前の座標データに変換し、車線認識部
１２に転送する。

【００７７】なお、図５(ａ)、(ｂ)には、夫々、拡大処
理前後の画像情報を示す。画面上端からｙ番目の水平ラ
インのズーム中心座標Ｃ、拡大率Ｒの場合、次式によっ
て、図５（ｂ）のエッジ座標データＰ'は、拡大前のエ
ッジ座標データＰに変換できる。ここで、Wは、画像情
報を構成する画素の集合の、水平方向の幅である。

【００７８】P=(P'-W/2)/R+C 次に、車線認識処理（Ｓ２８）では、転送されたエッジ
座標データから、複数の近似直線を求め、図３(５)に示
すように、自車の走行する走行レーンに対する車線を推
定する。

【００７９】すなわち、車線認識部１２は、以下のよう
な処理を行なう。

【００８０】次に、車線認識部１２は、エッジ座標変換
部１１から送られたエッジ座標データに対して、左車線
に対するものと考えられるエッジ画素、右車線に対する
ものと考えられるエッジ画素、それ以外のエッジ画素で
あるかを判断し、分別する処理を行う。

【００８１】この処理では、エッジ座標変換部１１から
送られてきたエッジ座標データに基づいて、エッジ画素
の種類を判定する。ここで、エッジ座標データは、各エ
ッジ画素の座標情報と、立ち上がりまたは立ち下がりの
情報で構成されている。一般に、路面色を抽出色条件デ
ータにすると、立ち上がりエッジ画素が左車線を示し、
立ち下がりエッジ画素が右車線を示す。しかしながら、
前方路面領域に、前方車、障害物等が存在する場合、車
線以外のエッジ画素も、車線のエッジ画素として認識し
てしまう。

【００８２】そこで、図３の画面中心線より左側に存在
する立ち上がりエッジ画素を左車線のエッジ画素、右側
に存在する立ち下がりエッジを右車線エッジ画素と仮定
し、それ以外のエッジ画素を、前方車等のエッジ画素と
して判別すればよい。

【００８３】次に、左、右車線に対するエッジ画素のエ
ッジ座標データをもとに、例えば、最小２乗法等によっ
て、近似直線を求め、これを認識車線とする。なお、
左、右車線に対するエッジ画素以外のエッジ画素のエッ
ジ座標データは、前方車両を示す画素と判断し、そのエ
ッジ座標データで、自車両の位置に最も近いものを、前
方車両の存在位置とする。

【００８４】次に、危険判定処理（Ｓ３６）では、車両
状態センサ（例えば、車速度センサ）２０からの信号よ
り、自車両の走行状態（車速等）を判断し、その判断結
果と、車線によって定められる走行可能な路面と、前方
車両の存在位置の関係から、自車両が危険状態にあるか
否かを推定する。

【００８５】例えば、車速度センサが検出した、自車両
の速度が所定値以上で、かつ、前方車両の存在位置が所
定範囲内であるとき、これを危険状態と判断する。

【００８６】次に、警報処理（Ｓ３８）では、危険判断
部１３で危険状態と判断した場合、警報装置２１を駆動
して、自車の運転者に伝える。

【００８７】次に、回避処理（Ｓ４０）では、危険判断
部１３で危険状態と判断した場合、車両運動制御装置２
２を駆動する。

【００８８】なお、危険状態の警告に対しても運転者の
操作が不十分であったと判断した場合に、車両運動制御
装置２２を駆動するような構成にしても良い。

【００８９】そして、これらの一連の処理を繰り返すこ
とにより、装置が動作することになる。

【００９０】次に、本発明における主要な処理である画
像ズーム処理（Ｓ２０）について、詳細に説明する。

【００９１】図６に、画像ズーム処理（Ｓ２０）の処理
内容を説明するための、フローチャートを示す。

【００９２】まず、前の周期で処理して得られた認識車
線の座標データ等を参照して、ズーム条件決定部９が、
各水平ライン毎に、ズーム中心座標および拡大率を決定
する（Ｓ２００２）。

【００９３】ここで、ズーム中心座標は、画像情報を拡
大する際に、拡大処理を行なう基準点の位置を示すパラ
メータであり、拡大率は、画像情報を拡大する倍率を示
すパラメータである。ズーム中心座標は、例えば、認識
された左右車線に挾まれた自車走行レーンの中心位置と
し、拡大率については、拡大後の車線が画面からはみ出
さない（例えば、画面幅Ｗの８割程度になる）ように決
定すればよい。このような決定は、ズーム条件決定部９
が、車線認識部１２から送られた、車線を構成するエッ
ジ座標データ等を参照して、認識された左右車線に挾ま
れた自車走行レーンの中心位置や走行レーン幅を把握す
ることによって行なう。もちろん、ズーム中心座標およ
び拡大率を、順次更新する必要がない場合には、水平ラ
イン毎に、予め定めておき、ズーム条件決定部９に格納
しておいても良い。

【００９４】次に、実際のシーンを図示した図面を参照
して説明をする。

【００９５】図７(ａ)に、前の周期で処理して得られた
車線認識の結果の一例を示す。画面上端からｙ番目の水
平ラインにおいて、左車線座標がｘl、右車線座標がｘr
とした時、ズーム中心座標Ｃおよび拡大率Ｒは、次式で
表される。

【００９６】ズーム中心座標： C＝(xr＋xl)/2 拡大率： R＝α×W/(xr−xl) ただし、(xr−xl)/W＜α＜1 ここで、αは、拡大処理後の車線が、画面からはみ出さ
ないようにするための係数である。ただし、αが、下限
値（(xr-xl)/W）より小さい場合には、Rが「1」より小
さくなり、画像情報が縮小されることになるため、この
場合には、α＝(xr-xl)/W、即ち、拡大率R=1とする。な
お、Wは、以下、画面幅を示す。

【００９７】図７(ｂ)に、α=0.8とした時の、拡大処理
された画像情報の一例を示す。

【００９８】次に、図８に、曲線路のシーンを想定した
場合であって、認識された左車線が、画面内に部分的に
しか存在しない場合の、車線認識結果の一例を示す。こ
の場合、画面上端からｙ番目の水平ラインにおいて、左
車線座標が画面内に存在せず、右車線座標をｘrとする
と、ズーム中心座標Ｃおよび拡大率Ｒは、次式で表され
る。

【００９９】ズーム中心座標： C＝xr／2 拡大率： R＝α×W／xr これは、図７に対する、ズーム中心座標Ｃ、拡大率Ｒを
求める式において、xl＝0とした場合に、相当する。

【０１００】さらに、図９に、曲線路のシーンを想定し
た場合であって、認識された右車線が、画面内に部分的
にしか存在しない場合の、車線認識結果の一例を示す。
この場合、画面上端からｙ番目の水平ラインにおいて、
左車線座標をｘlとし、右車線座標が画面内に存在しな
いので、ズーム中心座標Ｃおよび拡大率Ｒは、次式で表
される。

【０１０１】ズーム中心座標：C＝（W＋xl）／２拡大率： R＝α×W／（W−xl）これは、図７に対する、ズーム中心座標Ｃ、拡大率Ｒを
求める式において、xr＝Wとした場合に、相当する。

【０１０２】次に、画像ズーム回路８は、決定したズー
ム中心座標と拡大率に従って、画像を拡大する処理を行
なう（Ｓ２００４）。

【０１０３】ここで、図１０を参照して、１水平ライン
についての拡大処理について説明する。

【０１０４】図１０（ａ）に示すように、８画素のデー
タ（１水平ラインは、８画素から構成されると仮定す
る）を、矢印で示す位置をズーム中心座標として、拡大
率「２倍」で、拡大処理する場合について説明する。

【０１０５】まず、拡大する画素の数を求める。この時
には、拡大処理後の画素の数も８画素でなければならな
いので、拡大率「２倍」を考慮して、拡大する画素の数
は、４画素となる。

【０１０６】次に、拡大する画素データを選ぶ。ズーム
中心座標を中心として、４画素を選ぶことを想定する。
そして、選ばれた画素に対する画像情報の大きさを２倍
にして、１水平ラインを構成する８画素に割り当てる。

【０１０７】このような処理によって、図１０(ａ)に示
す画像情報は、図１０(ｂ)に示すように拡大処理され
る。

【０１０８】上述した処理を、総ての水平ラインに対し
て行うことで、画面情報全体を水平方向に拡大すること
ができることになる。

【０１０９】以下、画像の拡大処理による、車線認識の
具体例を、図１１、図１２を参照して説明する。

【０１１０】図１２(Ａ)は、図１１(ａ)に示すＡ部（右
車線の一部）を、詳細に見た様子を示した図である。ま
た、図１２(Ｂ)は、図１２(Ａ)を、画像拡大処理（拡大
率：２倍）した結果を示す図である。上述したように、
エッジ点判別処理（図４：Ｓ２２０４）では、ノイズ除
去のため、「３画素×３画素」の空間フィルタリングを
施している。

【０１１１】即ち、この９画素のうち、半数以上が抽出
色条件を満たせば、この９画素は、抽出色条件を満たし
ているものと判断する。なお、図１１（ｃ）は、水平ラ
イン毎に設定された、拡大率の変化の状態を示し、具体
的には、第Ｎ水平ラインより下方に位置する水平ライン
に対して、連続的に減少するように、拡大率が定められ
ている。

【０１１２】今、図１２(Ａ)(Ｂ)が、太線で示すように
「３画素×３画素」のかたまりで区切られているものと
する。図１２(Ａ)の場合、白線色を有する「３画素×３
画素」のかたまりは、１つであり、エッジ点判別処理に
おいては、図１２(Ａ')に示すように画素が構成されて
いるものとみなされる。一方、図１２(Ｂ)の場合、白線
色を有する「３画素×３画素」のかたまりは４つとな
り、エッジ点判別処理においては、図１２(Ｂ')に示す
ように画素が構成されているものとみなされる。

【０１１３】したがって、拡大処理された画像において
は、領域Ａ（図１１参照）における白線の割合が「２/
３」となり、拡大処理していない場合の「１/３」に比
べ、白線の割合が大きくなる。このため、拡大処理して
いない場合には認識できない白線も、拡大処理し、画像
情報に占める白線の割合を大きくすることにより、白線
の認識が可能になる。よって、拡大処理によって、自車
両が走行する走行レーンに対する車線を、より遠方まで
認識することが可能となる。

【０１１４】以下、画像拡大処理の他の処理方法につい
て列挙する。

【０１１５】上述したように、画像拡大処理の一例とし
て、拡大率を各水平ライン毎に計算して求める方法につ
いて述べた。しかしながら、画像拡大処理において、図
１３に示すように、拡大率を、ある水平ラインを境にし
て、不連続に変化させることも考えられる。

【０１１６】具体的には、図１３（ｃ）に示すように、
第Ｍ水平ラインより上方に位置する水平ライン（第Ｍ水
平ラインを含める）に対して、所定の拡大率を設定して
おき、また、第Ｍ水平ラインより下方に位置する水平ラ
インに対しては、前記所定の拡大率とは異なる値の拡大
率（図１３の場合、拡大率＝１より、拡大処理しないこ
とになる）を設定しておく。なお、このように、拡大率
を不連続にした場合の処理例を、図１３（ｂ）に示す。
また、図１３（ａ）に、原画像を示す。

【０１１７】このように、特定の水平ラインより上方に
位置する水平ラインに対しては、ある所定の拡大率で拡
大し、下方に位置する水平ラインには、拡大処理を行わ
ない。なお、特定の水平ラインは、いずれかの拡大率が
設定されるようにしておけば良い。

【０１１８】この方法によれば、各水平ライン毎に拡大
率を計算する方法に比べ、計算量を大幅に減らすことが
可能である。

【０１１９】また、拡大率を変化させる水平ライン、そ
の拡大率の設定法には、次のようなものが考えられる。
最も簡単な方法としては、拡大率を変化させる水平ライ
ン、および、その拡大率を予め設定しておき、これを参
照して、画像ズーム回路８が画像拡大処理を行なうこと
が、挙げられるまた、拡大率のみ固定とし、拡大率を切り換える水平ラ
インでの車線幅が一定になるように、拡大率を変化させ
る水平ラインを可変にする方法も考えられる。

【０１２０】なお、ズーム中心座標は、図１４に示すよ
うに、拡大率を変化させる水平ラインにおける左右車線
に挾まれた自車走行レーンの中心位置を採用すれば良
い。

【０１２１】以上述べてきたように、本発明によれば、
画像を拡大する処理によって、簡易な構成で、遠方の車
線の認識を正確に行なうことを可能にする装置を実現で
きる。

【０１２２】

【発明の効果】以上述べたように、本発明によれば、撮
影装置によって撮影された画像情報を、水平方向に拡大
する処理を行なうことによって、簡易な構成で、広い視
野を確保しながら遠方の走行路に対しても車線を正確に
認識できる装置を実現することが可能となる。

【図面の簡単な説明】

【図１】本発明にかかるシステム構成例を示す構成図で
ある。

【図２】全体の処理内容を示すフローチャートである。

【図３】処理によって生成された画像を示す説明図であ
る。

【図４】エッジ抽出処理を示すフローチャートである。

【図５】エッジ座標変換処理の原理の説明図である。

【図６】電子ズーム処理の処理内容を示すフローチャー
トである。

【図７】あるシーンでの、ズーム中心座標を求めるため
の説明図である。

【図８】あるシーンでの、ズーム中心座標を求めるため
の説明図である。

【図９】あるシーンでの、ズーム中心座標を求めるため
の説明図である。

【図１０】拡大処理の原理の説明図である。

【図１１】拡大処理前後の画面、拡大率の説明図であ
る。

【図１２】エッジ判別処理の原理の説明図である。

【図１３】拡大率が不連続変化する場合の拡大処理前後
の画面、拡大率の説明図である。

【図１４】拡大率が不連続変化する場合のズーム中心座
標を表す説明図である。

【図１５】置換回路による処理結果の説明図ある、

【符号の説明】

１…撮影部、５…処理部、６…画像処理部、７…判断
部、８…画像ズーム回路、９…ズーム条件決定部、１０
…抽出処理回路、１１…エッジ座標変換部、１２…車線
認識部、１４…表示部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/18 9061−5ＨＧ０６Ｆ 15/70 ３３５Ｚ (72)発明者音堂栄良東京都小平市上水本町五丁目20番１号株式会社日立製作所半導体事業部内

Claims

【特許請求の範囲】

【請求項１】画像を撮像し、画像情報を得るための撮像
手段と、撮像した画像情報の大きさを拡大する画像拡大
処理手段と、拡大した画像情報を水平１ライン毎に走査
し、ある特定の色と、それ以外の色との境界を調べ、そ
の境界となる画素をエッジ画素として抽出し、抽出した
エッジ画素の位置座標を求めるエッジ画素座標検出手段
と、抽出したエッジ画素の位置座標を、拡大処理前の座
標に変換するエッジ画素座標変換手段と、エッジ画素の
変換座標を参照し、エッジ画素を、直線を構成するよう
に結んで構成される線画像を求める線画像抽出手段と、
各水平ライン毎に定めた、画像情報の拡大量である拡大
率、および、画像情報の拡大処理を行なう基準位置を示
す拡大中心座標を記憶する拡大条件記憶手段とを備え、前記画像拡大処理手段は、前記拡大条件記憶手段の記憶
内容を参照し、各水平ライン毎に、前記拡大中心座標を
中心として、前記拡大率で示される倍率で、画像情報の
大きさを拡大していく処理を行なうことを特徴とする画
像処理装置。
【請求項２】車両に搭載され、車両前方の画像を撮像
し、画像情報を得るための撮像手段と、撮像した画像情
報の大きさを拡大する画像拡大処理手段と、拡大した画
像情報を水平１ライン毎に走査し、ある特定の色と、そ
れ以外の色との境界を調べ、その境界となる画素をエッ
ジ画素として抽出し、抽出したエッジ画素の位置座標を
求めるエッジ画素座標検出手段と、抽出したエッジ画素
の位置座標を、拡大処理前の座標に変換するエッジ画素
座標変換手段と、エッジ画素の変換座標を参照し、エッ
ジ画素を、直線を構成するように結んで構成される左右
車線を求める車線抽出手段と、各水平ライン毎に定め
た、画像情報の拡大量である拡大率、および、画像情報
の拡大処理を行なう基準位置を示す拡大中心座標を記憶
する拡大条件記憶手段とを備え、前記画像拡大処理手段は、前記拡大条件記憶手段の記憶
内容を参照し、各水平ライン毎に、前記拡大中心座標を
中心として、前記拡大率で示される倍率で、画像情報の
大きさを拡大していく処理を行なうことを特徴とする画
像処理装置。
【請求項３】請求項１および２のいずれかにおいて、前
記画像拡大処理手段は、撮影した画像情報の大きさを、
水平方向にのみに拡大する処理を行なうことを特徴とす
る画像処理装置。
【請求項４】請求項１、２および３のいずれかにおい
て、前記拡大条件記憶手段に、拡大率を、各水平ライン
毎に、連続して変化するような値にして予め記憶してお
くことを特徴とする画像処理装置。
【請求項５】請求項２および３のいずれかにおいて、前
記車線抽出手段は、前の車線抽出周期で処理して得られ
た抽出車線の座標データに基づいて、各水平ライン毎の
拡大率および拡大中心座標を求め、前記拡大条件記憶手
段に記憶する機能を有することを特徴とする画像処理装
置。
【請求項６】請求項２および３のいずれかにおいて、前
記車線抽出手段は、予め定められた画面幅を、各水平ラ
インにおける左右車線で挾まれる自車走行レーンの幅で
除した値に基づき、各水平ライン毎の拡大率を求め、前
記拡大条件記憶手段に記憶する機能を有することを特徴
とする画像処理装置。
【請求項７】請求項２、３および４のいずれかにおい
て、前記車線抽出手段は、各水平ラインにおける左右車
線で挾まれる自車走行レーンの中心位置を、各水平ライ
ン毎の拡大中心座標として求め、前記拡大条件記憶手段
に記憶する機能を有することを特徴とする画像処理装
置。
【請求項８】請求項１、２および３のいずれかにおい
て、前記拡大条件記憶手段に予め記憶しておく、拡大率
として、ある特定の水平ラインより垂直方向において上
に存在する水平ラインに対する値と、前記ある特定の水
平ラインを含み、該水平ラインより垂直方向において下
に存在する水平ラインに対する値とを、異ならせること
を特徴とする画像処理装置。