JPH1066060A

JPH1066060A - 車両用撮像装置

Info

Publication number: JPH1066060A
Application number: JP8213723A
Authority: JP
Inventors: Yuichiro Sunaga; 祐一郎須永; Masabumi Tsuji; 正文辻; Katsunori Yamada; 勝規山田; Kazunori Noso; 千典農宗
Original assignee: UD Trucks Corp; Nissan Motor Co Ltd
Current assignee: UD Trucks Corp; Nissan Motor Co Ltd
Priority date: 1996-08-13
Filing date: 1996-08-13
Publication date: 1998-03-06
Anticipated expiration: 2016-08-13
Also published as: JP3742152B2

Abstract

(57)【要約】【課題】走行環境を撮像した画像中に道路状況に応じた
適切な処理領域を設定して、走行路の境界線や障害物等
の検出に適した画像が得られるように、次回の露光量の
制御を行う車両用撮像装置を提供する。【解決手段】車載され走行環境を撮像する撮像手段Ａ
と、障害物を検出する障害物検出手段Ｂと、自車速を検
知する車速検知手段Ｆと、車線の数および形状を検出す
る車線検出手段Ｇと、撮像された画像中の障害物と自車
両との間の走行路面の画像部分に、検出された障害物の
位置、自車速、車線形状に応じて処理領域を設定する領
域設定手段Ｃと、設定された処理領域内の画像情報に基
づいて撮像手段Ａの次回の露光量を演算する露光量演算
手段Ｄと、演算された露光量に応じて撮像手段Ａの露光
時間を制御する露光制御手段Ｅと、を備えて構成され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、走行路の
境界線や障害物等を認識するのに最適な画像を得るため
の車両用撮像装置に関する。

【０００２】

【従来の技術】従来、この種の技術としては、例えば、
車両に取り付けられたカメラによって車両進行方向前方
の風景を撮像し、この撮像した画像情報に基づいてカメ
ラの次回の露光時間を制御する装置などが知られてい
る。しかし、撮像された画像には、走行路以外の種々の
画像が入り乱れているため、画像全体を処理領域とした
露光時間の制御では、空や他の構造物等の影響によって
処理対象となる障害物や境界線等の抽出に適した画像を
得るのは非常に困難である。

【０００３】これに対処した従来の装置として、例え
ば、特開平7-93689 号公報等に開示されたものがある。
このような従来の装置では、例えば、境界線の検出を目
的として、撮像された車両前方画像の下側の路面付近に
固定の処理領域を設定することにより、上述の空や他の
構造物等の影響を低減し、処理領域中の一部の領域（路
面と境界線を含む領域）での数画素の信号レベルを用い
て、境界線が検出できるようにカメラの次回の露光量を
制御する。これにより車線や障害物等の抽出に適した画
像を得ることが可能である。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
技術では、処理領域の位置が固定されているため、この
処理領域内に障害物（例えば、先行車両等）が存在する
可能性がある。障害物が存在する場合には、この障害物
の輝度が露光制御に影響を与えて、適切な露光量となら
ないことがある。

【０００５】また、前記障害物の影響を考慮して、自車
両の近くに処理領域を設定した場合には、例えば、高速
道路などで高速走行しているとき、トンネルの出入り口
等のように明るさが急峻に変化する場所では、この変化
に露光制御が追従できなくなり、このため露光量が適切
でなくなるという問題点がある。更に、検出された境界
線の輝度値に依存した露光制御を行うため、設定された
処理領域内に境界線が存在しないような道路環境では、
的確な露光制御ができないという問題点もある。

【０００６】本発明は、上記のような問題点を考慮して
なされたもので、自車両の走行状態や周囲の環境に関す
る情報を利用し、撮像手段で得られた画像中に道路状況
に応じた適切な処理領域を設定して、走行路の境界線や
障害物等の検出に適した画像が得られるように撮像手段
の次回の露光量制御を行う車両用撮像装置を提供するこ
とを目的とする。

【０００７】

【課題を解決するための手段】このため本発明のうちの
請求項１に記載の発明では、図１の実線に示すように、
車両に搭載され、走行環境を撮像して画像情報を得る撮
像手段Ａと、前記走行環境に存在する障害物を検出する
障害物検出手段Ｂと、前記撮像手段Ａで得られた画像中
の、前記障害物検出手段Ｂで検出された障害物と自車両
との間の走行路面の画像部分に、前記障害物の位置に応
じて処理領域を設定する領域設定手段Ｃと、該領域設定
手段Ｃで設定された処理領域内の画像情報に基づいて、
前記撮像手段Ａの次回の露光量を演算する露光量演算手
段Ｄと、該露光量演算手段Ｄで演算された露光量に応じ
て、前記撮像手段Ａの露光時間を制御する露光制御手段
Ｅと、を備えて構成されたことを特徴とする。

【０００８】かかる構成によれば、撮像手段Ａで走行環
境が撮像され、障害物検出手段Ｂでは走行環境中の障害
物が検出される。領域設定手段Ｃでは、撮像された画像
中に、検出された障害物の位置に応じて処理領域が設定
される。その処理領域の画像情報を基に、露光量演算手
段Ｄで演算された露光量に応じて、露光制御手段Ｅで撮
像手段Ａの露光時間が制御される。

【０００９】請求項２に記載の発明では、請求項１に記
載の発明において、図１の破線に示すように、自車両の
走行速度を検知する車速検知手段Ｆを備え、前記領域設
定手段Ｃが、前記車速検知手段Ｆで検知された自車両の
走行速度に応じて、進行方向に対する前記処理領域の設
定位置を変更する構成としたことを特徴とする。かかる
構成によれば、車速検知手段Ｆで自車両の走行速度が検
知され、検知された走行速度に応じて領域設定手段Ｃの
処理領域の設定が行われて、露光が制御されるようにな
る。

【００１０】請求項３に記載の発明では、請求項１また
は２に記載の発明において、図１の１点鎖線に示すよう
に、前記撮像手段Ａで得られた画像中から車線の形状を
検出する車線検出手段Ｇを備え、前記領域設定手段Ｃ
が、前記車線検出手段Ｇで検出された車線の形状に基づ
いて前記処理領域を常に前記車線内に設定する構成とし
たことを特徴とする。

【００１１】かかる構成によれば、車線検出手段Ｇで車
線の形状が検出され、領域設定手段Ｃでは、検出された
車線の形状に基づいて、例えば、走行路がカーブ等した
画像についても、障害物がどこの車線上に存在するかを
判断して処理領域が設定されるようになる。請求項４に
記載の発明では、請求項３に記載の発明において、前記
車線検出手段Ｇが、前記撮像手段Ａで得られた画像中か
ら複数の車線の形状を検出し、前記領域設定手段Ｃが、
前記車線検出手段Ｇで検出された複数の車線の形状に基
づいて前記処理領域を各車線毎に設定し、前記露光量演
算手段Ｄが、自車両の走行車線に対して設定された前記
処理領域内の画像情報について、他の車線に対して設定
された前記処理領域内の画像情報よりも大きな重みを付
けて前記露光量を演算する構成としたことを特徴とす
る。

【００１２】かかる構成によれば、車線検出手段Ｇで複
数の車線の形状が検出され、領域設定手段Ｃでは、各車
線の形状を基に車線毎に処理領域が設定される。また、
露光量演算手段Ｄでは、自車両の走行車線に対して設定
された処理領域内の画像情報を重視して露光量が演算さ
れる。請求項５に記載の発明では、請求項１〜４のいず
れか１つに記載の発明の具体的な構成として、前記障害
物検出手段Ｂが、前記撮像手段Ａで得られた画像情報を
処理して、前記走行環境に存在する障害物を検出するこ
とを特徴とする。

【００１３】

【発明の効果】このように本発明のうちの請求項１に記
載の発明は、撮像手段で撮像された画像中に、障害物検
出手段で検出された障害物の位置に応じて、領域設定手
段で障害物と自車両との間に処理領域を動的に設定し、
その処理領域内の画像情報に応じて次回の露光量を演算
して制御することによって、処理領域内に障害物が存在
することがなくなり、正確な露光制御を行うことができ
る。また、領域設定手段では走行路面に対して処理領域
が設定され、露光量演算手段の演算の際には境界線の情
報を必要としないため、領域内に境界線が存在しない画
像であっても露光制御を行ことができる。

【００１４】請求項２に記載の発明は、請求項１に記載
の発明の効果に加えて、速度検知手段で計測された自車
両の走行速度に応じて領域設定手段の処理領域の設定位
置を変化させることによって、トンネルの出入り口等で
露光制御が早過ぎたり遅過ぎたりすることなく最適なタ
イミングで露光制御を行うことができる。請求項３に記
載の発明は、請求項１または２に記載の発明の効果に加
えて、車線検出手段で車線の形状が検出されることによ
って、障害物検出手段で検出された障害物がどこの車線
上に存在するかを判断することが可能なため、車線の形
状に応じて確実に露光制御を行うことができる。

【００１５】請求項４に記載の発明は、請求項３に記載
の発明の効果に加えて、領域設定手段で各車線毎に処理
領域を設定し、かつ露光量演算手段の演算の際には自車
両の走行車線について算出された値に大きな重み付けを
行うことによって、自車両の走行車線の路面状況の変化
を正確に反映した露光制御を行うことができる。請求項
５に記載の発明は、請求項１〜４のいずれか１つに記載
の発明の効果に加えて、障害物検出手段が、撮像手段で
得られた画像を処理して障害物を検出することによっ
て、障害物を検出するための構成を別途設ける必要がな
くなるため、簡略な構成の装置とすることができる。

【００１６】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。図２に、本実施形態の車両用撮像装
置の構成図を示す。図２において、本装置は、車両に搭
載され車両前方を撮像して画像情報を得る撮像部１と、
撮像部１で得られた画像情報を処理する処理部７と、撮
像部１や処理部７から出力される情報や各パラメータの
初期値等を記憶するメモリ16とを備えて構成される。

【００１７】撮像部１は、例えば、レンズ３、露光制御
部４、およびＣＣＤ５を有するＣＣＤカメラ２と、ＣＣ
Ｄカメラ２の出力をＡ／Ｄ変換するＡ／Ｄ変換器６とか
ら構成される。ＣＣＤカメラ２では、レンズ３を通過し
た車両前方からの光が、露光制御部４により設定された
後述する露光時間だけＣＣＤ素子５に蓄積される。この
ＣＣＤ素子５は車両前方の被写体の画像情報をアナログ
画像信号に変換して出力する。Ａ／Ｄ変換器６では、Ｃ
ＣＤカメラ２から出力されたアナログ画像信号をデジタ
ル画像信号に変換する処理が行われ、そのデジタル画像
信号（以下、原画像とする）がメモリ16に記憶される。
このように撮像部１は、撮像手段および露光制御手段と
しての機能を備える。

【００１８】処理部７は、エッジ抽出処理回路10、車線
検出手段としての車線検出部11、および障害物検出手段
としての障害物検出部12を有する検出部８と、領域設定
手段としての領域設定部14、および露光量演算手段とし
ての信号演算部15を有する演算部９とから構成される。
エッジ抽出処理回路10は、Ａ／Ｄ変換器６から出力され
るデジタル画像信号を入力する。このデジタル画像信号
に対して、例えば、空間微分フィルタ等を用いてデジタ
ル画像中のエッジ情報を含んだエッジ画像を作成して、
車線検出部11と障害物検出部12とに出力する。

【００１９】車線検出部11は、エッジ抽出処理回路10で
作成されたエッジ画像から、自車両が走行する走行車線
に描かれた、例えば、白線等の境界線を抽出するととも
に、右または左車線が存在する場合にはその車線の境界
線も抽出する。そして、抽出した境界線の形状を基にし
て、前方の走行路の車線数および形状を検出し、検出結
果を障害物検出部12および領域設定部14に出力する。

【００２０】障害物検出部12は、車線検出部11で検出さ
れた走行路の形状に基づいて、エッジ抽出処理回路10で
作成されたエッジ画像中から、前方の障害物を検出し、
障害物までの距離を検出結果として領域設定部14に出力
する。尚、障害物検出部12は、本実施形態のような画像
処理による方法に限られることなく、障害物までの距離
を求めることができるものであればよく、例えば、レー
ザレーダ等を用いて障害物までの距離と角度を検出して
障害物の存在する車線を求めることも可能である。

【００２１】領域設定部14は、車線検出部11の出力であ
る走行路の車線数および形状と、障害物検出部12の出力
である障害物までの距離と、後述する車速検知手段とし
ての車速検知部13の出力である現在の自車速に基づい
て、露光量を演算するための処理領域を各車線の路面画
像部分に設定し、該処理領域の数と座標を信号演算部15
に出力する。ここで、前記車速検知部13は、自車両の速
度を検出する、例えば、車速度センサ等が用いられる。

【００２２】信号演算部15は、領域設定部14より出力さ
れた処理領域の数と座標とを基に、メモリ16に記憶され
た原画像中から小領域の画像を抽出し、その画像中の画
素の濃度値から次回の露光量の演算を行い、演算結果を
露光制御部４に出力する。メモリ16は、各パラメータの
初期値、Ａ／Ｄ変換器６からの出力である原画像、およ
びエッジ抽出処理回路10の出力結果であるエッジ画像を
記憶する。また、車線検出部11や障害物検出部12等がそ
れぞれの処理を行う際のワークエリアとしても機能す
る。

【００２３】次に、本実施形態の動作を図３のフローチ
ャートに従って説明する。まず、ステップ102 （図中Ｓ
102 で示し、以下同様とする）で、本装置の初期設定が
行われる。ここで、初期設定とは、例えば、メモリ16の
ワークエリア領域のクリア、検出部８での処理に用いる
テーブルの設定、露光制御部４での最初の露光時間の設
定等の処理が行われる。

【００２４】ステップ104 では、ＣＣＤカメラ２のレン
ズ３を通過した車両前方からの光が、露光制御部４によ
り設定された露光時間だけＣＣＤ素子５に蓄積され、Ｃ
ＣＤ素子５から車両前方の画像情報がアナログ信号とし
て出力される。ステップ106 では、Ａ／Ｄ変換器６によ
って、ＣＣＤカメラ２から出力されるアナログ信号が、
例えば、８ビット(0〜255)等のデジタル信号に変換され
る。デジタル信号に変換された原画像信号は、エッジ抽
出処理回路10に出力されるとともに、メモリ16に記憶さ
れる。

【００２５】ステップ108 では、エッジ抽出処理回路10
によって、Ａ／Ｄ変換器６から出力された原画像信号に
基づいてエッジ画像が作成され、車線検出部11および障
害物検出部12に出力される。ステップ110 では、車線検
出部11によって、ステップ108 で作成されたエッジ画像
中から、後述するように走行路上の境界線（例えば、白
線）に対応する画像部分が抽出され、その白線の画像情
報に基づいて、車両前方の走行路の車線数とその走行路
の形状とが求められ、障害物検出部12および領域設定部
14に出力される。ただし、車線数とは、自車両の走行車
線（以下、自車線とする）とその両隣の車線を対象とし
たときの車線の総和である。

【００２６】ここで、上記の車線検出動作について詳細
に説明する。画像情報より走行路の形状を求めること
は、例えば、走行路がカーブしている場合において、前
方の障害物がどの走行車線に存在するのかを判断するな
どのために行われる。本実施形態では、例えば、特開平
4-36878 号公報等に記載された技術を用いて走行路の形
状が求められる。この概略を説明すると、エッジ画像中
に設定された所定のウィンドウ内の走行路境界線に相当
するエッジ点の座標を計測し、このエッジ点を直線近似
して直線式を求めるとともに、計測したエッジ点を放物
線で近似する。求めた直線式および放物線の係数をそれ
ぞれ時間的に平滑化して、平均化された直線を境界線を
示すものとし、また、放物線の係数より走行路の曲がり
度合いを算出する。このようにして走行路の形状が求め
られる。

【００２７】また、走行路の車線数は、求められた走行
路の形状を基に、自車線の境界を示す左右の白線から
（左側白線については左方向に、右側白線については右
方向に）、車線の幅に相当する距離だけ離れた位置にお
いて、例えば Hough変換による直線検出等の手法を用い
て、それぞれの位置の白線を検出する。白線が検出され
ると、その白線は自車線以外の他の車線の境界を示すた
め、その方向には自車線に隣接する車線があると判断さ
れる。従って、自車線の左右両方に隣接車線が検出され
る場合には車線数は３となり、この場合の値が本処理で
の車線数の最大値となる。また、自車線の右側あるいは
左側の一方に隣接車線が検出される場合には車線数は２
となり、自車線の左右側では隣接車線が検出されないが
自車線の境界を示す白線が存在する場合には車線数は１
となる。更に、自車線に白線がない場合には車線数は最
小値の０とする。

【００２８】ステップ112 では、障害物検出部12によっ
て、車線検出部11から出力された走行路の形状に基づい
て、ステップ108 で作成されたエッジ画像中の予め設定
された範囲内について、各車線毎の障害物が検出され
る。この障害物の検出には、例えば、上記の特開平4-36
878 号公報等に記載された技術が用いられる。この概略
を説明すると、テップ110 で検出された車線の境界線間
のエッジ画像を走査し、エッジ点の有無と位置を調べ
る。そのエッジ点が所定時間以上継続して存在したとき
その車線上に障害物があると判断する。このようにして
障害物が検出されると、その障害物までの距離が求めら
れ車線に対応させて領域設定部14に出力される。

【００２９】ステップ114 では、ステップ110 で求めら
れた走行路の車線数および形状と、ステップ112 で求め
られた各車線毎の障害物までの距離と、車速検知部13で
検知された自車速度とが領域設定部14に読み込まれる。
ステップ116 では、ステップ114 で読み込まれた各デー
タを基に、領域設定部14によって、後述するようにし
て、各車線の路面上で自車両と障害物との間の画像部分
に処理領域が設定され、設定された処理領域数や処理領
域の座標が信号演算部15に出力される。処理領域の座標
は、例えば、車線中央に相当する走行路の画像部分の座
標値が求められる。

【００３０】ステップ118 では、後で詳述するように、
信号演算部15によって、メモリ16に記憶された原画像中
から、ステップ116 で設定された各処理領域の座標に対
応する小領域の画像データが抽出され、その画像データ
に基づいて次回の露光量を決定する信号（以下、露光制
御信号とする）が演算される。この露光制御信号の演算
方法は、例えば、抽出された画像データの各画素につい
て濃度の平均値を算出し、その平均値と露光量に応じて
予め設定された基準値との比較を行って露光制御信号を
生成する。このようにして演算された露光制御信号が露
光制御部４に出力される。

【００３１】ステップ120 では、ステップ118 で算出さ
れた露光制御信号に応じて、露光制御部４によって露光
時間の設定が更新される。そして、ステップ104 に戻
り、上述したステップ104 〜ステップ120 の動作が繰り
返される。ここで、ステップ116 の処理領域の設定動作
について、図４のフローチャートに従い、また、図５〜
図８に示した画像の一例を参照して詳細に説明する。

【００３２】図４において、ステップ202 では、車線検
出部11で求められた画像中の車線数Ｎが領域設定部14に
読み込まれる。ステップ204 では、以下の動作の結果と
して設定される処理領域の数を示す領域数Ｎum、および
領域設定フラグflagをそれぞれ０に初期化する。ただ
し、領域設定フラグflagは、処理領域が設定されたか否
かを示す（ここでは、設定されると１、設定されないと
０とする）。

【００３３】ステップ206 では、ステップ202 で読み込
んだ車線数Ｎが０か否かが判定される。車線数Ｎが０で
ない（即ち、０より大きい）場合には、ステップ208 に
進む。一方、車線数Ｎが０の場合には、ステップ210 に
移り、領域数Ｎumおよび領域設定フラグflagが０のまま
信号演算部15に出力される。ステップ208 では、速度検
知部13で計測された自車両の速度Ｖと、障害物検出部12
で求められた自車両から障害物までの距離Ｌが領域設定
部14に読み込まれる。ただし、車線数が２以上の場合に
はそのうちの１つの車線についての距離Ｌが読み込まれ
る。

【００３４】ステップ212 では、読み込んだ速度Ｖと予
め設定された境界速度Ｖl との大小関係が判定される。
ただし、境界速度Ｖl は、低速と中速との境界を示す車
速の設定値であり、ここでは例えば、40km/hに設定され
る。速度Ｖが境界速度Ｖl よりも大きい場合には、ステ
ップ214 に進む。一方、速度Ｖが境界速度Ｖl 以下（低
速）の場合には、ステップ216 に移り、現在の車速に対
する障害物までの距離の最大値Ｌmax に、予め設定され
た近距離と中距離との境界を示す距離Ｌl （例えば、10
ｍに設定）が代入され、ステップ222 に進む。

【００３５】ステップ214 では、速度Ｖと予め設定され
た境界速度Ｖh との大小関係が判定される。ただし、境
界速度Ｖh は、中速と高速との境界を示す車速の設定値
であり、ここでは例えば、80km/hに設定される。速度Ｖ
が境界速度Ｖh よりも大きい（高速）場合には、ステッ
プ218 に移り、距離の最大値Ｌmax に、予め設定された
処理対象となる距離の最大値Ｌ0 （例えば、30ｍに設
定）が代入され、ステップ222 に進む。一方、速度Ｖが
境界速度Ｖh 以下（中速）の場合には、ステップ220 に
移り、距離の最大値Ｌmax に、予め設定された中距離と
遠距離との境界を示す距離Ｌh （例えば、20ｍに設定）
が代入され、ステップ222 に進む。

【００３６】ステップ222 では、ステップ208 で読み込
んだ障害物までの距離Ｌと現在の車速に対する障害物ま
での距離の最大値Ｌmax との大小関係が判定される。距
離Ｌが距離の最大値Ｌmax よりも大きい場合には、ステ
ップ224 に進み、設定される処理領域までの距離Ｄ
₀に、距離の最大値Ｌmax が代入され、ステップ232 に
移る。一方、距離Ｌが距離の最大値Ｌmax 以下の場合に
は、ステップ226 に進む。

【００３７】ステップ226 では、障害物までの距離Ｌと
予め設定された処理対象となる距離の最小値Ｌmin （例
えば、５ｍに設定）との大小関係が判定される。距離Ｌ
が距離の最小値Ｌmin よりも大きい場合には、ステップ
228 に進み、設定される処理領域までの距離Ｄ₀に、障
害物までの距離Ｌが代入され、ステップ232 に移る。一
方、距離Ｌが距離の最小値Ｌmin 以下の場合には、ステ
ップ230 に移り、領域設定フラグflagに０が代入され、
ステップ240 に進む。

【００３８】ステップ232 では、領域設定フラグflagに
１が代入される。ステップ234 およびステップ236 で
は、ステップ208 で読み込んだ障害物までの距離Ｌに対
応する車線について、距離Ｄ₀を基に処理領域が設定さ
れる。具体的には、ステップ234 で、自車両から進行方
向に距離Ｄ₀だけ離れた前記車線の路面上で、例えば、
車線中央の点を想定し、メモリ16に予め記憶されたＣＣ
Ｄカメラ２の焦点距離や取り付け状態等のパラメータ値
を用いて透視変換により、前記想定した点の画像座標上
でのｘ座標とｙ座標とを計算する。そして、ステップ23
6 で、例えば、このｙ座標から10画素下の点を処理領域
の座標（ｘ_W0，ｙ_W0）として、この点を中心に10×10画
素の処理領域を設定する。図５〜図８の各斜線部分は、
設定された処理領域を表す。処理領域が設定されるとス
テップ238 に進む。

【００３９】ステップ238 では、領域数Ｎumに１が加算
されて、ステップ240 に進む。ステップ240 では、車線
数Ｎから１が減算されて、ステップ206 に戻り、車線数
Ｎが０か否かが判定される。車線数Ｎが０になるまで上
記ステップ208 〜ステップ240 の動作が繰り返され、車
線数Ｎが０になると、ステップ210 で、領域設定フラグ
flag、領域数Ｎum、および各車線毎の処理領域の座標
（ｘ_W0，ｙ_W0）が信号演算部15に出力される。

【００４０】ここで、自車両の速度Ｖおよび障害物まで
の距離Ｌと処理領域の位置との関係を図５〜図８に示
す。ただし、図では障害物が先行車両の場合を示す。図
５は、自車両の速度Ｖが低速の場合であり、（ａ）は障
害物までの距離Ｌが遠距離、（ｂ）は障害物までの距離
Ｌが中距離、（ｃ）は障害物までの距離Ｌが近距離のと
きの処理領域（斜線部）の設定位置を示している。自車
両の速度Ｖが低速時には時間経過による移動距離が小さ
いため、図のように、処理領域はなるべく自車両付近に
設定される。

【００４１】また、図６は、自車両の速度Ｖが中速の場
合であり、（ａ),（ｂ),（ｃ）は図５と同様の設定であ
る。中速時には、処理領域が前記低速時の場合よりも遠
方に設定されるが、図６（ａ）に示すように、一定以上
の遠方の領域は処理しない。また、図６（ｃ）のように
障害物までの距離Ｌが短い場合には、処理領域が距離Ｌ
の値に応じて設定される。

【００４２】一方、図７は、自車両の速度Ｖが高速の場
合であり、（ａ),（ｂ),（ｃ）は図５および図６と同様
の設定である。高速時には時間経過による移動距離が大
きいため、図のように、処理領域はなるべく遠方に設定
される。また、図５〜図７では片側１車線の道路の画像
について示したが、このような処理を各車線毎に行うこ
とによって、複数車線を有する画像についても図８に示
すように処理領域が設定される。図８（ａ）には２車
線、図８（ｂ）には３車線の場合がそれぞれ示され、各
車線毎に処理領域が設定される。また、図８（ｃ）〜
（ｅ）には、３車線の場合の自車両の速度に応じた処理
領域の設定位置が示される。図８（ｃ）は高速、図８
（ｄ）は中速、図８（ｅ）は低速の場合である。図８
（ｃ）〜（ｅ）では、障害物が自車線上の遠方にあるた
め、各車線の処理領域の設定位置は自車両の速度により
決まり、低速になる程、自車両近くに設定される。ま
た、図８（ｅ）のように、自車線に隣接する車線の処理
領域の設定位置が画像からはみ出すような場合には、そ
の車線の処理領域は設定されない。更に、図８（ｆ）に
は、図８（ｃ）と同様な場合で、自車線および右側車線
に障害物が存在する場合の画像が示される。この場合に
は、左側車線は障害物が存在しないので自車両の速度に
よって処理領域が設定され、自車線および右側車線は障
害物が存在するため各車線で障害物までの間に処理領域
が設定される。また、図８（ｇ）には、走行路がカーブ
する場合の画像が示される。このような場合でも、走行
路の形状が検出されているため、画像中に存在する障害
物が走行路上のものであるか否か、更にはその障害物が
どの車線上のものなのかを判別でき、各車線に対応させ
て処理領域が設定される。

【００４３】次に、ステップ118 の信号演算部15におけ
る露光量演算動作について、図９のフローチャートに従
って詳細に説明する。図９において、まずステップ302
では、領域設定部14から出力された領域設定フラグflag
が信号演算部15に読み込まれる。ステップ304 では、ス
テップ302 で読み込まれた領域設定フラグflagが１（処
理領域の設定有り）であるか否かが判定される。領域設
定フラグflagが１の場合にはステップ306 に進む。一
方、領域設定フラグflagが０（処理領域の設定なし）の
場合には、次回の露光量を決定する露光制御信号speed
の演算を行うことなく、現在の露光制御信号speed を保
持してステップ352 に移る。ここで、露光制御信号spee
d は、例えば、８段階の露光制御を行うことができるよ
うに０〜７の整数値に設定されるものとする。

【００４４】ステップ306 では、領域設定部14から出力
された領域数Ｎumが信号演算部15に読み込まれる。ステ
ップ308 では、読み込んだ領域数Ｎumの値が判別され
る。領域数Ｎumが１の場合にはステップ310 に進み、領
域数Ｎumが２の場合にはステップ320 に進み、領域数Ｎ
umが３の場合にはステップ330 に進む。

【００４５】ステップ310 では、領域設定部14から出力
された１つの処理領域の座標（ｘ_W0，ｙ_W0）が読み込ま
れる。ステップ312 では、メモリ16に記憶された原画像
上で、ステップ310 で読み込んだ処理領域の座標
（ｘ_W0，ｙ_W0）を中心とした例えば10×10画素の領域内
の合計 100画素の濃度の平均値ave を演算し、ステップ
340 に移る。

【００４６】ステップ320 では、領域設定部14から出力
された２つの処理領域の座標（ｘ_W0，ｙ_W0）がそれぞれ
読み込まれる。ステップ322 では、読み込まれた各処理
領域の座標（ｘ_W0，ｙ_W0）から、処理領域が設定された
車線が判定される。処理領域が左側車線および自車線に
設定されたと判定された場合には、まず、ステップ324a
で、各車線に設定された処理領域毎に、ステップ312 と
同様にしてそれぞれの画素の濃度の平均値が演算され
る。ここでは、左側車線に設定された処理領域内の画素
の濃度の平均値をave1とし、自車線に設定された処理領
域内の画素の濃度の平均値をave2とする。そして、ステ
ップ326aで、自車線に対する濃度の平均値ave2に大きな
重みを付けるように、それぞれの濃度の平均値ave1, av
e2に重み付けが行われる。ここでは、例えば、濃度の平
均値ave1に対する重みＣ1 が0.3 、濃度の平均値ave2に
対する重みＣ2 が0.7 に設定される。次に、ステップ32
8aで、濃度の平均値ave1, ave2および重みＣ1,Ｃ2 を積
和演算し、その演算結果をave として（ave ＝Ｃ1 ×av
e1＋Ｃ2 ×ave2）、ステップ340 に移る。

【００４７】処理領域が左側車線および右側車線に設定
されたとステップ311 で判定された場合には、まず、ス
テップ324bで、各車線に設定された処理領域毎に、ステ
ップ324aと同様にしてそれぞれの画素の濃度の平均値が
演算される。ただし、右側車線に設定された処理領域内
の画素の濃度の平均値をave3とする。そして、ステップ
326bでは、それぞれの濃度の平均値ave1, ave3に対等な
重み付けが行われる。ここでは、例えば、濃度の平均値
ave1に対する重みＣ1 が0.5 、濃度の平均値ave3に対す
る重みＣ3 が0.5 に設定される。次に、ステップ328b
で、濃度の平均値ave1, ave3および重みＣ1,Ｃ3 を積和
演算し、その演算結果をave として（ave＝Ｃ1 ×ave1
＋Ｃ3 ×ave3）、ステップ340 に移る。

【００４８】処理領域が自車線および右側車線に設定さ
れたとステップ311 で判定された場合には、ステップ32
4cで、ステップ324aやステップ324bと同様にして、それ
ぞれの画素の濃度の平均値ave2, ave3が演算される。そ
して、ステップ326cでは、ステップ326aと同様に自車線
に対する濃度の平均値ave2に大きな重みを付けるよう
に、それぞれの濃度の平均値ave2, ave3に重み付けが行
われる。ここでは、例えば、濃度の平均値ave2に対する
重みＣ2 が0.7 、濃度の平均値ave3に対する重みＣ3 が
0.3 に設定される。次に、ステップ328cで、濃度の平均
値ave2, ave3および重みＣ2,Ｃ3 を積和演算し、その演
算結果をave として（ave ＝Ｃ2 ×ave2＋Ｃ3 ×ave
3）、ステップ340 に移る。

【００４９】ステップ330 では、領域設定部14から出力
された３つの処理領域の座標（ｘ_W0，ｙ_W0）がそれぞれ
読み込まれる。ステップ332 では、左側車線、自車線お
よび右側車線のそれぞれに設定された処理領域毎に画素
の濃度の平均値ave1, ave2およびave3が演算される。ス
テップ334 では、自車線に対する濃度の平均値ave2に大
きな重みを付けるように、それぞれの濃度の平均値ave
1, ave2, ave3に重み付けが行われる。ここでは、例え
ば、濃度の平均値ave1に対する重みＣ1 が0.2 、濃度の
平均値ave2に対する重みＣ2 が0.6 、濃度の平均値ave3
に対する重みＣ3 が0.2 に設定される。

【００５０】ステップ336 では、濃度の平均値ave1, av
e2, ave3および重みＣ1,Ｃ2,Ｃ3 を積和演算し、その演
算結果をave として（ave ＝Ｃ1 ×ave1＋Ｃ2 ×ave2＋
Ｃ3×ave3）、ステップ340 に移る。ステップ340 〜ス
テップ350 では、濃度の平均値ave に基づいて、露光制
御信号speed が更新される。

【００５１】具体的には、ステップ340 で、濃度の平均
値ave が、例えば70より小さいか否かが判定され、70よ
り小さい場合にはステップ342 に進み、70以上の場合に
はステップ348 に移る。ステップ342 では、濃度の平均
値ave が０より大きいか否かが判定される。平均値ave
が０より大きい場合には、ステップ344 で現在の露光制
御信号speed から１が減算されステップ352 に移る。一
方、平均値ave が０以下の場合には、現在の露光制御信
号speed が保持されステップ352 に移る。

【００５２】ステップ346 では、濃度の平均値ave が、
例えば170 より大きいか否かが判定される。平均値ave
が170 より大きい場合には、ステップ348 に進む。一
方、平均値ave が170 以下の場合には、現在の露光制御
信号speed が保持されステップ352 に移る。ステップ34
8 では、現在の露光制御信号speed が７より小さいか否
かが判定される。現在の露光制御信号speed が７より小
さい場合には、ステップ350 で現在の露光制御信号spee
d に１が加算されステップ352 に進む。一方、現在の露
光制御信号speed が７の場合には、現在の露光制御信号
speed が保持されステップ352 に移る。

【００５３】このようにして求められた露光制御信号sp
eed が、ステップ352 で、露光制御部４に出力される。
最後に、ステップ120 の露光制御部４における露光時間
の制御動作について、図10のフローチャートに従って詳
細に説明する。図10において、ステップ401 では、信号
演算部15から出力された露光制御信号speed が露光制御
部４に読み込まれる。

【００５４】ステップ402 では、読み込んだ露光制御信
号speed の示す値が０であるか否かが判定される。０の
場合にはステップ410 で、露光時間が、例えば1/60[s]
に設定され、０以外の場合にはステップ403 に移る。ス
テップ403 では、読み込んだ露光制御信号speed の示す
値が１であるか否かが判定される。１の場合にはステッ
プ411 で、露光時間が、例えば1/125 [s] に設定され、
０以外の場合にはステップ404 に移る。

【００５５】以降のステップ404 〜ステップ408 では、
ステップ402 やステップ403 と同様にして露光制御信号
speed の示す値が判定され、露光制御信号speed が２の
場合には露光時間が1/250 [s] に、露光制御信号speed
が３の場合には露光時間が1/500 [s] に、露光制御信号
speed が４の場合には露光時間が1/1000[s] に、露光制
御信号speed が５の場合には露光時間が1/2000[s] に、
露光制御信号speed が６の場合には露光時間が1/4000
[s] に、露光制御信号speed が７の場合には露光時間が
1/10000 [s] に設定される。

【００５６】このようにして設定された露光時間によっ
て、ＣＣＤカメラ２における次回の撮像が実施される。
この場合、露光時間が短くなると露光量も減少するの
で、例えば、露光時間が1/60[s] の画像と1/10000 [s]
の画像とを比較すると、露光時間が1/10000 [s] の画像
の方が全体的に暗い画像となる。このように本実施形態
によれば、撮像部１で撮像された画像情報を用い、障害
物検出部12で自車両前方の障害物を検出し、領域設定部
14で自車両と障害物との間にその障害物までの距離に応
じて動的に処理領域を設定して、その処理領域内の画像
の明るさに応じて次回の露光時間を制御することによっ
て、処理領域内に障害物が存在することがなくなり、正
確な露光制御を行うことができる。

【００５７】また、速度検知部13で計測された自車両の
速度に応じて処理領域の設定位置を変化させることによ
って、例えば、トンネルの出入り口等において露光制御
が早過ぎたりあるいは遅過ぎたりすることを防止でき、
最適なタイミングで露光制御を行うことができる。更
に、車線検出部14で走行路の形状が検出されることによ
って、例えば、走行路がカーブ等した画像についても、
前方の障害物がどこの車線上に存在するかを判断するこ
とが可能であり、走行路の形状に応じて確実に露光制御
を行うことができる。

【００５８】加えて、領域設定部14で各車線毎に処理領
域を設定し、かつ信号演算部15の演算の際には自車線に
ついて算出された値に大きな重み付けを行うことによっ
て、自車線の路面状況の変化を正確に反映した露光制御
を行うことができる。また、領域設定部14では路面に対
して処理領域が設定され、信号演算部15の演算の際には
境界線の情報を必要としないため、領域内に境界線が存
在しない画像であっても露光制御を行ことができる。

【００５９】更に、障害物検出部12が、撮像部１で得ら
れた画像を処理して障害物を検出することによって、例
えば、レーザレーダ等の障害物を検出する機器を別途設
ける必要がなくなるため、簡略な構成の装置とすること
ができる。

【図面の簡単な説明】

【図１】本発明のクレーム対応図

【図２】本発明の実施形態の構成を示すブロック図

【図３】同上実施形態の全体の処理を示すフローチャー
ト

【図４】同上実施形態の処理領域の設定動作を示すフロ
ーチャート

【図５】同上実施形態の低速走行時における、障害物ま
での距離と処理領域の設定位置との関係を示す図

【図６】同上実施形態の中速走行時における、障害物ま
での距離と処理領域の設定位置との関係を示す図

【図７】同上実施形態の高速走行時における、障害物ま
での距離と処理領域の設定位置との関係を示す図

【図８】同上実施形態の複数車線が存在する場合におけ
る、処理領域の設定位置を示す図

【図９】同上実施形態の信号演算動作を示すフローチャ
ート

【図10】同上実施形態の露光時間の制御動作を示すフロ
ーチャート

【符号の説明】

Ａ撮像手段Ｂ障害物検出手段Ｃ領域設定手段Ｄ露光量演算手段Ｅ露光制御手段Ｆ車速検知手段Ｇ車線検出手段１撮像部２ＣＣＤカメラ４露光制御部７処理部８検出部９演算部 10 エッジ抽出処理回路 11 車線検出部 12 障害物検出部 13 車速検知部 14 領域設定部 15 信号演算部

フロントページの続き (72)発明者山田勝規神奈川県横浜市神奈川区宝町２番地日産自動車株式会社内 (72)発明者農宗千典神奈川県横浜市神奈川区宝町２番地日産自動車株式会社内

Claims

【特許請求の範囲】

【請求項１】車両に搭載され、走行環境を撮像して画像
情報を得る撮像手段と、前記走行環境に存在する障害物を検出する障害物検出手
段と、前記撮像手段で得られた画像中の、前記障害物検出手段
で検出された障害物と自車両との間の走行路面の画像部
分に、前記障害物の位置に応じて処理領域を設定する領
域設定手段と、該領域設定手段で設定された処理領域内の画像情報に基
づいて、前記撮像手段の次回の露光量を演算する露光量
演算手段と、該露光量演算手段で演算された露光量に応じて、前記撮
像手段の露光時間を制御する露光制御手段と、を備えて構成されたことを特徴とする車両用撮像装置。
【請求項２】自車両の走行速度を検知する車速検知手段
を備え、前記領域設定手段が、前記車速検知手段で検知
された自車両の走行速度に応じて、進行方向に対する前
記処理領域の設定位置を変更する構成としたことを特徴
とする請求項１記載の車両用撮像装置。
【請求項３】前記撮像手段で得られた画像中から車線の
形状を検出する車線検出手段を備え、前記領域設定手段
が、前記車線検出手段で検出された車線の形状に基づい
て前記処理領域を常に前記車線内に設定する構成とした
ことを特徴とする請求項１または２記載の車両用撮像装
置。
【請求項４】前記車線検出手段が、前記撮像手段で得ら
れた画像中から複数の車線の形状を検出し、前記領域設
定手段が、前記車線検出手段で検出された複数の車線の
形状に基づいて前記処理領域を各車線毎に設定し、前記
露光量演算手段が、自車両の走行車線に対して設定され
た前記処理領域内の画像情報について、他の車線に対し
て設定された前記処理領域内の画像情報よりも大きな重
みを付けて前記露光量を演算する構成としたことを特徴
とする請求項３記載の車両用撮像装置。
【請求項５】前記障害物検出手段が、前記撮像手段で得
られた画像情報を処理して、前記走行環境に存在する障
害物を検出することを特徴とする請求項１〜４のいずれ
か１つに記載の車両用撮像装置。