以下、図面を参照して本発明を実施するための形態について説明する。
<カメラの使用場面>
図1は、本発明の一実施の形態によるカメラ3を搭載した車両1の運転支援装置2の概略構成図である。図1において、自動車等の車両1に運転支援装置2が搭載されている。運転支援装置2は、カメラ3と、制御装置4と、第1の走行制御ユニット5と、第2の走行制御ユニット6等により構成される。なお、本説明では内燃機関を駆動源とする例を説明するが、モータを駆動源とするものでもよいし、内燃機関とモータを駆動源とする、いわゆるハイブリッドでもよい。
カメラ3は、複数のレンズを有する撮像光学系、撮像素子(本実施形態では積層型撮像素子(図3参照))を備え、例えば車室内の天井前方に取り付けられている。カメラ3は車両1の前方に向けられている。カメラ3は、車両1の進行方向の画像を取得し、取得した画像に基づいて撮影画面内の複数の位置における各被写体(対象物)までの距離測定(測距)を行う。距離測定は、積層型撮像素子に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する。焦点検出用画素および測距については後述する。カメラ3により取得された画像のデータおよび測距データは、制御装置4へ送出される。なお、カメラ3を車外に設けてもよく、車内・車外のカメラ3を協働してもよく、カメラ3の数も適宜設定すればよい。一例を挙げると、後述する白線検出は車外のカメラ3を用い、対象物や障害物の認識は、車内・車外のカメラ3を協働させるようにしてもよい。
制御装置4は、図2に例示するように、CPU4aおよび記憶部4bを含む。CPU4aは、記憶部4bに記憶されている各種プログラムに基づいて、記憶部4bに記憶されている制御パラメータや後述する各センサによる検出信号などを用いて各種演算を行う。
第1の走行制御ユニット5は、制御装置4からの指示に基づいて、定速走行制御および追従走行制御を行う。定速走行制御は、所定の制御プログラムに基づいて、車両1を一定速度で走行させる制御である。追従走行制御は、定速走行制御を行っている際に、制御装置4にて認識された先行車の速度が車両1に設定されている目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行させる制御である。
第2の走行制御ユニット6は、制御装置4からの指示に基づいて、運転支援制御を行う。運転支援制御は、所定の制御プログラムに基づいて、車両1が道路に沿って走行するように操舵制御装置9にステアリング制御信号を出力したり、車両1が対象物と衝突するのを回避するようにブレーキ制御装置8にブレーキ制御信号を出力したりする制御である。
図1にはさらに、スロットル制御装置7と、ブレーキ制御装置8と、操舵制御装置9と、ステアリングホイール10と、ターンシグナルスイッチ11と、車速センサ12と、ヨーレートセンサ13と、表示装置14と、GPS装置15と、シフトレバー位置検出装置16と、マイク17と、ビーム切換えスイッチ18と、降雨センサ19と、が図示されている。
スロットル制御装置7は、アクセルペダル7aの踏み込み量に応じて不図示のスロットルバルブの開度を制御する。また、スロットル制御装置7は、第1の走行制御ユニット5から送出されるスロットル制御信号に応じて上記スロットルバルブに対する開度の制御も行う。スロットル制御装置7はさらに、アクセルペダル7aの踏み込み量を示す信号を制御装置4へ送出する。
ブレーキ制御装置8は、ブレーキペダル8aの踏み込み量に応じて不図示のブレーキバルブの開度を制御する。また、ブレーキ制御装置8は、第2の走行制御ユニット6からのブレーキ制御信号に応じて上記ブレーキバルブに対する開度の制御も行う。ブレーキ制御装置8はさらに、ブレーキペダル8aの踏み込み量を示す信号を制御装置4へ送出する。
操舵制御装置9は、ステアリングホイール10の回転角に応じて不図示のステアリング装置の舵角を制御する。また、操舵制御装置9は、第2の走行制御ユニット6からのステアリング制御信号に応じて上記ステアリング装置の舵角の制御も行う。操舵制御装置9はさらに、ステアリングホイール10の回転角を示す信号を第1の走行制御ユニット5と、制御装置4と、にそれぞれ送出する。
ターンシグナルスイッチ11は、不図示のターンシグナル(ウィンカー)装置を作動させるための操作部材である。ターンシグナル装置は、車両1の進路変更を示す点滅発光装置である。車両1の乗員によってターンシグナルスイッチ11が操作されると、ターンシグナルスイッチ11からの操作信号がターンシグナル装置、第2の走行制御ユニット6および制御装置4にそれぞれ送出される。車速センサ12は車両1の車速Vを検出し、検出信号を第1の走行制御ユニット5と、第2の走行制御ユニット6と、制御装置4とにそれぞれ送出する。
ヨーレートセンサ13は車両1のヨーレートを検出し、検出信号を第2の走行制御ユニット6と、制御装置4とにそれぞれ送出する。ヨーレートは、車両1の旋回方向への回転角の変化速度である。表示装置14は、第1の走行制御ユニット5、および第2の走行制御ユニット6による制御状態を示す情報などを表示する。表示装置14は、例えばフロントガラスに情報を投映するHUD(Head Up Display)によって構成される。なお、表示装置14として、不図示のナビゲーション装置の表示部を利用するようにしてもよい。
GPS装置15は、GPS衛星からの電波を受信し、電波にのせられている情報を用いて所定の演算を行うことにより、車両1の位置(緯度、経度など)を算出する。GPS装置15で算出した位置情報は、不図示のナビゲーション装置や制御装置4へ送出される。シフトレバー位置検出装置16は、車両1の乗員によって操作された不図示のシフトレバーの位置(例えば、パーキング(P)、リバース(R)、ドライブ(D)など)を検出する。シフトレバー位置検出装置16で検出したシフトレバーの位置情報は、制御装置4へ送出される。
マイク17は、例えば前方マイクと、右側方マイクと、左側方マイクとによって構成される。前方マイクは、専ら車両1の前方の音を集音する指向性を有する。右側方マイクは、専ら車両1の右側方の音を集音する指向性を有する。左側方マイクは、専ら車両1の左側方の音を集音する指向性を有する。マイク17で集音された各音情報(前方、右側方、左側方)は、それぞれ制御装置4へ送出される。
ビーム切換えスイッチ18は、灯火装置(前照灯)の上下方向の照射角度を少なくとも2段階に切換えるための操作部材である。例えば、照明光を略水平方向に照射する「ハイビーム」と、照明光を水平方向より下向きに照射する「ロービーム」とを切換える。ビーム切換えスイッチ18からの操作信号は、不図示の照明装置および制御装置4にそれぞれ送出される。降雨センサ19は、光学式や静電容量式により雨滴を検出する検出器であり、車内または車外に取り付けられる。降雨センサ19による検出信号(降雨情報)は、制御装置4へ送出される。
<対象物の検出>
制御装置4は、車両1の走行路および対象物を検出するために、カメラ3からの画像に対し、以下のように画像処理を行う。先ず、制御装置4は、撮影画面内の複数の位置における測距データに基づいて距離画像(奥行き分布画像)を生成する。制御装置4は、距離画像のデータに基づいて、周知のグルーピング処理を行い、あらかじめ記憶部4bに記憶しておいた3次元的な道路形状データ、側壁データ、対象物データ等の枠(ウインドウ)と比較し、白線データ(道路に沿った白線データおよび道路を横断する白線(停止線:交差点情報)データを含む)、道路に沿って存在するガードレール、縁石等の側壁データを抽出するとともに、対象物・障害物を、2輪車、普通車両、大型車両、歩行者、電柱等その他の対象物に分類して抽出する。
本説明では、走行路に引かれた白色または黄色のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
また、制御装置4は、カメラ3で取得された画像データから、画像に含まれる対象物の形状検出、色検出、明暗検出を行う。具体的には、道路に沿って設けられた白線やガードレール等のラインのデータを検出(抽出)する。また、制御装置4は、後述する単位領域131ごとの明暗状態に基づいて、先行車の点灯状態のテールランプ(尾灯)のデータを検出する。
<運転支援>
制御装置4は、上記のように抽出した各情報、すなわち、白線データ、ガードレール側壁データ、および対象物データの各データに基づいて走行路や障害となる対象物・障害物を認識し、認識結果をもとに第2の走行制御ユニット6に上記運転支援制御を行わせる。すなわち、車両1を道路に沿って走行させ、車両1が対象物と衝突するのを回避させる。
<走行制御>
制御装置4は、例えば、以下の4 通りにより自車進行路の推定を行う。
(1)白線に基づく自車進行路推定
カメラ3で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから車両1が走行している車線の形状が推定できる場合、制御装置4は、車両1の幅や、車両1の現在の車線内の位置を考慮して、自車進行路が白線と並行であると推定する。
(2)ガードレール、縁石等の側壁データに基づく自車進行路推定
カメラ3で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから車両1が走行している車線の形状が推定できる場合、制御装置4は、車両1の幅や、車両1の現在の車線内の位置を考慮して、自車進行路が側壁と並行であると推定する。
(3)先行車軌跡に基づく自車進行路推定
制御装置4は、記憶部4bに記憶されている先行車の過去の走行軌跡に基づいて、自車進行路を推定する。先行車は、車両1と同じ方向に走行する対象物のうち、車両1に最も近い前方の車両をいう。
(4)車両1の走行状態に基づく自車走行路推定
制御装置4は、車両1の運転状態に基づいて、自車進行路を推定する。例えば、ヨーレートセンサ13による検出信号と、車速センサ12による検出信号と、に基づく旋回曲率を用いて自車進行路を推定する。旋回曲率Cuaは、Cua =dψ/dt/V により算出する。dψ/dtは上記ヨーレート(旋回方向への回転角の変化速度)であり、Vは車両1の車速である。
制御装置4は、記憶部4bに記憶されている所定の走行制御プログラムにしたがって、上記対象物ごとに、対象物が存在する位置における車両1の走行領域を自車進行路に基づき推定し、この走行領域と対象物位置とを比較して、それぞれの対象物が走行領域内にあるか否か判定する。制御装置4はさらに、カメラ3の撮像結果に基づき上記先行車を認識する。すなわち、制御装置4は、走行領域内に存在して順方向(車両1と同じ方向)に走行する対象物の中から、車両1に最も近い車両を先行車とする。
制御装置4は、先行車と車両1との車間距離情報、および先行車の車速情報を、車外情報として第1の走行制御ユニット5へ出力する。ここで、先行車の車速情報は、所定時間ごとに取得した車両1の車速Vと、車速Vの取得タイミングに同期して上記所定時間ごとにカメラ3で取得された画像に基づいて測距した撮影画面内の先行車までの距離(車間距離)の変化と、に基づいて算出する。
第1の走行制御ユニット5は、車速センサ12で検出される車速Vが、あらかじめセットされている所定の車速(目標速度)に収束するようにスロットル制御装置7へスロットル制御信号を送出する。これにより、スロットル制御装置7が不図示のスロットルバルブの開度をフィードバック制御し、車両1を自動で定速走行させる。
また、第1の走行制御ユニット5は、定速状態の走行制御を行っている際に制御装置4から入力された先行車の車速情報が車両1に設定されている目標速度以下の場合には、制御装置4から入力された車間距離情報に基づいてスロットル制御装置7へスロットル制御信号を送出する。具体的には、車両1から先行車までの車間距離および先行車の車速と、車両1の車速Vと、に基づいて適切な車間距離の目標値を設定し、カメラ3で取得された画像に基づいて測距される車間距離が、上記車間距離の目標値に収束するようにスロットル制御装置7へスロットル制御信号を送出する。これにより、スロットル制御装置7が不図示のスロットルバルブの開度をフィードバック制御し、車両1を先行車に追従走行させる。
<積層型撮像素子の説明>
上述したカメラ3に備わる積層型撮像素子100について説明する。なお、この積層型撮像素子100は、本願出願人が先に出願した特願2012−139026号に記載されているものである。図3は、積層型撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面(撮像面)と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図3の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が、一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。
図4は、撮像チップ113の画素配列と単位領域131を説明する図である。特に、撮像チップ113を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上もの画素がマトリックス状に配列されている。図4の例では、隣接する4画素×4画素の16画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
画素領域の部分拡大図に示すように、図4の単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素Gb、Grは、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ113のX軸方向)の間引きのみでなく、列方向(撮像チップ113のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
図5は、単位領域131における回路を説明する図である。図5の例では、隣接する3画素×3画素の9画素により一つの単位領域131を形成する。なお、上述したように単位領域131に含まれる画素の数はこれに限られず、これ以下でもこれ以上でもよい。単位領域131の二次元的な位置を符号A〜Iにより示す。
単位領域131に含まれる画素のリセットトランジスタは、画素ごとに個別にオンオフ可能に構成される。図5において、画素Aのリセットトランジスタをオンオフするリセット配線300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線310が、上記リセット配線300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線320が、上記リセット配線300、310とは別個に設けられている。他の画素Dから画素Iに対しても、それぞれのリセットトランジスタをオンオフするための専用のリセット配線が設けられている。
単位領域131に含まれる画素の転送トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図5において、画素Aの転送トランジスタをオンオフする転送配線302、画素Bの転送トランジスタをオンオフする転送配線312、画素Cの転送トランジスタをオンオフする転送配線322が、別個に設けられている。他の画素Dから画素Iに対しても、それぞれの転送トランジスタをオンオフするための専用の転送配線が設けられている。
さらに、単位領域131に含まれる画素の選択トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図5において、画素Aの選択トランジスタをオンオフする選択配線306、画素Bの選択トランジスタをオンオフする選択配線316、画素Cの選択トランジスタをオンオフする選択配線326が、別個に設けられている。他の画素Dから画素Iに対しても、それぞれの選択トランジスタをオンオフするための専用の選択配線が設けられている。
なお、電源配線304は、単位領域131に含まれる画素Aから画素Iで共通に接続されている。同様に、出力配線308は、単位領域131に含まれる画素Aから画素Iで共通に接続されている。また、電源配線304は複数の単位領域間で共通に接続されるが、出力配線308は単位領域131ごとに個別に設けられる。負荷電流源309は、出力配線308へ電流を供給する。負荷電流源309は、撮像チップ113側に設けられてもよいし、信号処理チップ111側に設けられてもよい。
単位領域131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域131に含まれる画素Aから画素Iに対して独立して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Iの画素信号を共通の出力配線308を介して出力することができる。
ここで、単位領域131に含まれる画素Aから画素Iについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図5の例では「ABCDEFGHI」の順序で画素信号が出力される。
このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域131間で異なったフレームレートによる画素信号をそれぞれ出力させることができる。また、撮像チップ113において一部のエリアに含まれる単位領域131に電荷蓄積(撮像)を行わせる間に他のエリアに含まれる単位領域131を休ませることにより、撮像チップ113の所定のエリアでのみ撮像を行わせて、その画素信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるエリア(蓄積制御の対象エリア)を切り替えて、撮像チップ113の異なるエリアで逐次撮像を行わせて、画素信号を出力させることもできる。
図6は、図5に例示した回路に対応する撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位領域131を形成する9個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線308へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。
マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図6では1つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくてもよく、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
上記の通り、単位領域131のそれぞれに対応して出力配線308が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これら出力配線308にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
<測距の説明>
図7は、撮像素子100の撮像面における焦点検出用画素の位置を例示する図である。本実施形態では、撮像チップ113のX軸方向(水平方向)に沿って離散的に焦点検出用画素が並べて設けられている。図7の例では、15本の焦点検出画素ライン60が所定の間隔で設けられる。焦点検出画素ライン60を構成する焦点検出用画素は、測距用の画像信号を出力する。撮像チップ113において焦点検出画素ライン60以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、車外監視用の画像信号を出力する。
図8は、上記焦点検出画素ライン60のうち一つのラインの一部を含む領域を拡大した図である。図8において、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bと、焦点検出用画素S1、および焦点検出用画素S2とが例示される。赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bは、上述したベイヤー配列の規則にしたがって配される。
赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系31(図9)の射出瞳を通る光束を受光する。すなわち、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。
なお、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bの受光領域(マスク開口部)の形状は四角形に限定されず、例えば円形であってもよい。
焦点検出用画素S1、および焦点検出用画素S2について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素S1は、図8において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素S1の受光部に到達する。一方、焦点検出用画素S2は、図8において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素S2の受光部に到達する。このように、焦点検出用画素S1および焦点検出用画素S2は、撮像光学系31(図9)の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。
なお、撮像チップ113における焦点検出画素ラインの位置は、図7に例示した位置に限定されない。また、焦点検出画素ラインの数についても、図7の例に限定されるものではない。さらに、焦点検出用画素S1および焦点検出用画素S2におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素R、撮像用画素G、撮像用画素Bにおける四角形状受光領域(マスク開口部)を横方向に分割した長方形状としてもよい。
また、撮像チップ113における焦点検出画素ラインは、撮像チップ113のY軸方向(鉛直方向)に沿って焦点検出用画素を並べて設けたものでもよい。図8のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
なお、図8の例では、焦点検出用画素S1、S2がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる1PD構造を説明した。この代わりに、例えば特開2007−282107号公報に開示されるように、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる2PD構造にしてもよい。このように2PD構造にすることにより、焦点検出用画素からも画像データを読み出すことが可能となり、焦点検出画素が欠陥画素になることがない。
本実施形態では、焦点検出用画素S1および焦点検出用画素S2から出力される測距用の画像信号に基づいて、撮像光学系31(図9)の異なる領域を通る一対の光束による一対の像の像ズレ量(位相差)を検出することにより、撮像光学系31の焦点調節状態(デフォーカス量)を演算する。
一般に、上記一対の像は、撮像光学系31が予定焦点面よりも前に対象物(例えば先行車)の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに対象物の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。予定焦点面において対象物の鮮鋭像を結ぶ合焦状態には、上記一対の像が相対的に一致する。したがって、一対の像の相対位置ズレ量は、対象物までの距離(奥行き情報)に対応する。
上記位相差に基づくデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。ここで、デフォーカス量と対象物までの距離とは一対一で対応するため、撮像された対象物のデータごとにデフォーカス量を求めることにより、カメラ3から各対象物までの距離を求めることができる。すなわち、撮影画面の複数の位置で、それぞれ上記対象物までの距離測定(測距)が行える。デフォーカス量と対象物までの距離との関係は、あらかじめ数式またはルックアップテーブルとして用意し、不揮発性メモリ35b(図9)に格納しておく。
<カメラの説明>
図9は、上述した撮像素子100を有するカメラ3の構成を例示するブロック図である。図9において、カメラ3は、撮像光学系31と、撮像部32と、画像処理部33と、ワークメモリ34と、制御部35と、記録部36とを有する。
撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、上記撮像素子100および駆動部32aを含み、撮像光学系31によって撮像チップ113上に結像された対象物の像を光電変換する。駆動部32aは、撮像素子100(撮像チップ113)に上述したブロック単位で独立した蓄積制御を行わせるために必要な駆動信号を生成する。上記ブロックの位置や形状、その範囲、蓄積時間などの指示は、制御装置4から駆動部32aへ送信される。
画像処理部33は、ワークメモリ34と協働して撮像部32で撮像された画像データに対する画像処理を行う。画像処理部33は、例えば輪郭強調処理やガンマ補正などの画像処理を行う。
ワークメモリ34は、画像処理前後の画像データなどを一時的に記憶する。記録部36は、不揮発性メモリなどで構成される記憶媒体に画像データなどを記録する。制御部35は、例えばCPUによって構成され、制御装置4からの制御信号に応じて、カメラ3による全体の動作を制御する。例えば、撮像部32で撮像された画像信号に基づいて所定の露出演算を行い、適正露出に必要な撮像チップ113の蓄積時間を駆動部32aへ指示する。
制御部35には、測距演算部35aと、不揮発性メモリ35bとが含まれる。測距演算部35aは、上述したように撮影画面の複数の位置で、それぞれ上記対象物までの距離測定(測距)を行う。カメラ3で取得した画像データおよびカメラ3で算出した測距データは、制御装置4へ送出される(図1)。不揮発性メモリ35bは、制御部35が実行するプログラム、および測距に必要な情報を記憶する。
<撮像素子のブロック制御>
制御装置4は、カメラ3の撮像素子100(撮像チップ113)に対し、上述したブロック単位で独立した蓄積制御を行わせる。本実施形態では、例えばトンネル走行時や降雨時など走行環境が変化した場合において道路のラインを見つけやすくするため、撮像チップ113の撮像面上の異なる領域に対し、それぞれ適切な撮像条件を設定する。
図10は、撮像チップ113上に結像される被写体(対象物)の像を模式的に示す図である。実際には倒立逆像が結像されるが、分かりやすくするために正立正像として図示している。図10において、車両1が先行車84の後ろを走行中である。撮像チップ113の撮像面(撮影領域)70には、道路上に設けられた白線82a、82b、82cと、先行車84と、対向車85の像が含まれる。これらの対象物のうち、車両1が走行する車両通行帯(走行レーン)の境界を示す白線82aおよび白線82bは、制御装置4が走行路を検出する上でとくに重要な対象物である。そこで、本説明では、白線82a、82bを含む撮像領域を注目領域71と呼ぶ。
制御装置4は、撮像面70における注目領域71と、それ以外の領域72(非注目領域)との間に異なる条件を設定して電荷蓄積(撮像)を行わせる。ここで、撮像チップ113の撮像面70における注目領域71、非注目領域72のサイズや位置も、撮像条件の一つである。
制御装置4は、注目領域71に含まれる単位領域131(図4)に対して第1の条件を設定して撮像を制御するとともに、非注目領域72に含まれる単位領域131に対して第2の条件を設定して撮像を制御する。
なお、注目領域71、非注目領域72をそれぞれ複数設けてもよいし、注目領域71内あるいは非注目領域72内に電荷蓄積制御(撮像条件)が異なる複数の領域を設けてもよい。さらに、撮像面70の行方向および列方向において電荷蓄積(撮像)を行わせない休止領域を設けてもよい。
<フローチャートの説明>
以下、フローチャート(図11,図12)を参照して、カメラ3の制御処理および撮像条件設定を主体に説明する。図11は、制御装置4が実行するカメラ3の制御処理の全体の流れを説明するフローチャートである。図11のフローチャートによる処理を実行するためのプログラムは、制御装置4の記憶部4bに格納されている。制御装置4は、例えば車両1から電源供給が開始(システムオン)されたり、エンジンが始動されたりすると、図11による処理を行うプログラムを起動する。
図11のステップS10において、制御装置4は、フラグa=0か否かを判定する。フラグaは、初期設定が終了している場合に1、初期設定が終了していない場合に0がセットされるフラグである。制御装置4は、フラグa=0の場合にステップS10を肯定判定してステップS20へ進み、フラグa≠0の場合にステップS10を否定判定してステップS30へ進む。
ステップS20において、制御装置4は、カメラ3へ初期設定を行ってステップS30へ進む。初期設定とは、カメラ3に所定の動作をさせるための予め定められた設定を行うものである。これにより、カメラ3が撮像素子100の撮像面の全域に同じ撮像条件を設定し、例えば毎秒60フレーム(60fps)のフレームレートで撮像を開始する。
ステップS30において、制御装置4は、撮像条件設定処理を行ってステップS40へ進む。撮像条件設定処理は、カメラ3の撮像素子100に対して注目領域71(図10)およびそれ以外の非注目領域72(図10)を設定し、それぞれの撮像条件を決定する処理をいう。撮像条件設定処理の詳細については後述する。本実施形態では、注目領域71について、非注目領域72に比べてフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。カメラ3は、この設定に基づいて撮像を行い、上述した距離測定(測距)を行う。
なお、注目領域71と非注目領域72との間でフレームレート、ゲイン、間引き率、蓄積時間などの全てを異ならせる必要はなく、少なくとも一つを異ならせるだけでもよい。
図11のステップS40において、制御装置4は、撮像条件設定処理後にカメラ3で取得された画像データ、測距データ、および車両1内の各部からの情報を取得してステップS50へ進む。ステップS50において、制御装置4は、情報を表示する設定が行われているか否かを判定する。制御装置4は、表示設定が行われている場合にステップ50を肯定判定してステップS60へ進む。制御装置4は、表示設定が行われていない場合には、ステップ50を否定判定してステップS70へ進む。
ステップS60において、制御装置4は、表示装置14(図1)に対する表示情報を送出してステップS70へ進む。表示情報は、撮像条件設定処理(S30)の中で判断された車両1の状態に応じた情報で、例えば「トンネルに入ります」、「ヘッドライトを点灯しました」というメッセージを表示装置14に表示させる。
なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合も不図示の音声再生装置として、不図示のナビゲーション装置の音声装置を用いてもよい。
ステップS70において、制御装置4は、オフ操作されたか否かを判定する。制御装置4は、例えば車両1からオフ信号(例えば、システムオフ信号またはエンジンのオフ信号)を受けると、ステップS70を肯定判定し、所定のオフ処理を行って図11による処理を終了する。制御装置4は、例えば車両1からオフ信号を受けない場合は、ステップS70を否定判定してステップS30へ戻る。ステップS30へ戻る場合は、上述した処理を繰り返す。
<撮像条件設定処理>
図12のフローチャートを参照して、上記撮像条件設定処理(S30)の詳細について説明する。本実施の形態では、車両1の走行環境(道路状況)の変化を5通り例示して、注目領域および非注目領域について撮像条件を決定する。
図12のステップS31において、制御装置4は、カメラ3で取得された画像データに対して上記画像処理を行ってステップS33へ進む。ステップS33において、制御装置4は、画像データから上記白線データを検出してステップS35へ進む。制御装置4は、上述したように撮影領域70中の白線82aおよび白線82bを含む領域を注目領域71とする。図10を参照して説明すると、白線82aと、白線82bと、白線82aおよび白線82b間の領域と、の3つを含む台形状の領域(破線で示す)を注目領域71とする。
ステップS35において、制御装置4は、上記注目領域71を第1撮像領域71とし、第1撮像領域71以外の領域を第2撮像領域72としてステップS37へ進む。
ステップS37において、制御装置4はカメラ3へ指示を送り、第1撮像領域71のフレームレートを第2撮像領域72のフレームレートよりも高く設定させる。例えば、第1撮像領域71のフレームレートを毎秒120フレーム(120fps)とし、第2撮像領域72のフレームレートを60fpsとする。これは、走行時に注目すべき対象物である白線についての情報を取得する頻度を高めるためである。以上説明したステップS37までの処理は、通常の走行環境下(例えば、日中の晴天時の走行)における処理の例である。
制御装置4は、走行環境が通常時と異なる場合において、上記注目領域および非注目領域についての撮像条件を変更させる。図13は、第1の走行環境(道路状況)の変化の場合の処理を例示するフローチャートである。図14は、車両1がトンネル83の入口にさしかかった場合に撮像チップ113上に結像される被写体(対象物)の像を模式的に示す図である。
図12のステップS110において、制御装置4は、トンネルの有無を判定する。制御装置4は、カメラ3で取得された画像にトンネルの出入り口が含まれている場合にステップS110を肯定判定して図13のステップS111へ進む。制御装置4は、カメラ3で取得された画像にトンネルの出入り口が含まれていない場合には、ステップS110を否定判定してステップS120へ進む。なお、前回の判定時にステップS110を肯定判定したが、今回ステップS110の否定判定に転じる場合、制御装置4は、後述する図13のフローチャートに基づくフレームレートの設定を解除する。
図13のステップS111において、制御装置4は、カメラ3で取得された画像からトンネル83の外部の明部分とトンネル83の内部の暗部分とを検出してステップS112へ進む。例えば、図14に例示した被写体像から明部分と暗部分(斜線)とを検出する。
図13のステップS112において、制御装置4は、図14に示すように、第1撮像領域71のうち暗部分の領域を第3撮像領域71aとし、第1撮像領域71のうち第3撮像領域71aを除く領域を残領域71bとする。すなわち、第1撮像領域71は、第3撮像領域71aと残領域71bとに分けられる。
ステップS113において、制御装置4はカメラ3へ指示を送り、第3撮像領域71aのフレームレートを残領域71bのフレームレートよりも低く設定させる。制御装置4は、例えば、第3撮像領域71aのフレームレートを60fpsに低下させる。これは、トンネル83内部の暗い第3撮像領域71aから明瞭な画像情報を得るためである。一方、残領域71bのフレームレートは120fpsのままとする。
ステップS114において、制御装置4はさらに、図14に示すように、第2撮像領域72のうち暗部分の領域を第4撮像領域72aとし、第2撮像領域72のうち第4撮像領域72aを除く領域を残領域72bとする。すなわち、第2撮像領域72は、第4撮像領域72aと残領域72bとに分けられる。
ステップS115において、制御装置4はカメラ3へ指示を送り、第4撮像領域72aのフレームレートを残領域72bのフレームレートよりも低く設定させる。制御装置4は、例えば、第4撮像領域72aのフレームレートを30fpsに低下させる。これは、トンネル83内部の暗い第4撮像領域72aから、明瞭な画像情報を得るためである。そして、制御装置4はステップS40(図11)へ進む。
なお、上記の説明ではトンネル入口の場合について説明したが、トンネル出口の場合にも同様である。ただし、トンネル入口の場合とトンネル出口の場合とでは、画像における明部分と暗部分との関係が逆で、トンネル内から見たトンネル外部の像が明部分になる。
図15は、第2の走行環境(道路状況)の変化の場合の処理を例示するフローチャートである。図16は、車両1がヘッドライト(前照灯)を点灯した場合に撮像チップ113上に結像される被写体(対象物)の像を模式的に示す図であり、図16(a) はハイビーム時を示し、図16(b) はロービーム時を示す。
図12のステップ120において、制御装置4は、前照灯の点灯の有無を判定する。制御装置4は、カメラ3で取得された画像に前照灯による明部分が含まれている場合にステップS120を肯定判定して図15のステップS121へ進む。制御装置4は、カメラ3で取得された画像に前照灯による明部分が含まれていない場合には、ステップS120を否定判定してステップS130へ進む。制御装置4は、前回の判定時にステップS120を肯定判定したが、今回ステップS120の否定判定に転じる場合、後述する図15のフローチャートに基づくフレームレートの設定を解除する。
なお、画像における明部分の検出に基づいて前照灯の点灯ありを判定する代わりに、運転者による点灯操作に基づいて点灯ありを判定してもよい。この場合の制御装置4は、ビーム切換えスイッチ18がハイビーム側に切換えられている場合において、図16(a) における照射領域86aの位置をカメラ3で取得された画像の明部分として扱う。また、制御装置4は、ビーム切換えスイッチ18がロービーム側に切換えられている場合において、図16(b) における照射領域86bの位置をカメラ3で取得された画像の明部分として扱う。
図15のステップS121において、制御装置4は、カメラ3で取得された画像から前照灯による照射領域(上記明部分に対応)を検出してステップS122へ進む。
ステップS122において、制御装置4は、ビーム切換えスイッチ18がハイビーム側に切換えられている場合、図16(a) に示すように、第1撮像領域73と照射領域86aとが重なり合う領域を第5撮像領域73aとし、第1撮像領域73のうち第5撮像領域73aを除く領域を残領域73bとする。すなわち、第1撮像領域73は、第5撮像領域73aと残領域73bとに分けられる。
ステップS123において、制御装置4はカメラ3へ指示を送り、第5撮像領域73aのフレームレートを残領域73bのフレームレートよりも高く設定させる。制御装置4は、例えば、残領域73bのフレームレートが60fpsであった場合に、第5撮像領域73aのフレームレートを120fpsへ上昇させる。これは、ハイビーム時に照明されて明るくなった第5撮像領域73aから画像情報を取得する頻度を高めるためである。
ステップS124において、制御装置4はさらに、図16(a) に示すように、第2撮像領域74と照射領域86aとが重なり合う領域を第6撮像領域74aとし、第2撮像領域74のうち第6撮像領域74aを除く領域を残領域74bとする。すなわち、第2撮像領域74は、第6撮像領域74aと残領域74bとに分けられる。
ステップS125において、制御装置4はカメラ3へ指示を送り、第6撮像領域74aのフレームレートを残領域74bのフレームレートよりも高く設定させる。例えば、残領域74bのフレームレートが60fpsであった場合に、第6撮像領域74aのフレームレートを120fpsに上昇させる。ハイビーム時に照明されて明るくなった第6撮像領域74aから画像情報を取得する頻度を高めるためである。そして、制御装置4はステップS40(図11)へ進む。
図16(a) を参照してハイビーム時を説明したが、ロービーム時にも同様に行うことができる。ビーム切換えスイッチ18がロービーム側に切換えられている場合、図16(b) において照射領域86bが被写体像の明部分に対応する。そして、図16(a) と図16(b) との対比において、第5撮像領域73aが第5撮像領域73cに対応し、残領域73bが残領域73dに対応し、第6撮像領域74aが第6撮像領域74cに対応し、残領域74bが残領域74dに対応する。
図17は、第3の走行環境(道路状況)の変化の場合の処理を例示するフローチャートである。図18は、先行車84がテールランプ(尾灯)を点灯している場合に撮像チップ113上に結像される被写体(対象物)の像を模式的に示す図である。
図12のステップ130において、制御装置4は、先行車84のテールランプを認識したか否かを判定する。制御装置4は、カメラ3で取得された画像から点灯状態のテールランプを認識した場合にステップS130を肯定判定して図17のステップS131へ進む。制御装置4は、カメラ3で取得された画像から点灯状態のテールランプを認識しない場合には、ステップS130を否定判定してステップS140へ進む。なお、前回の判定時にステップS130を肯定判定したが、今回ステップS130の否定判定に転じる場合、制御装置4は、後述する図17のフローチャートに基づくフレームレートの設定を解除する。
図17のステップS131において、制御装置4は、カメラ3で取得された画像から先行車84のテールランプを検出してステップS132へ進む。図18において、テールランプ84aの像が、図18の第1撮像領域75ではなく第2撮像領域76に含まれている。
図17のステップS132において、制御装置4は、先行車84のテールランプ84aの像を含む所定の領域、例えば、両サイドのテールランプ84aを含む長方形の領域を第7撮像領域87とする。ステップS133において、制御装置4は、この第7撮像領域87を第1撮像領域75と同一条件で電荷蓄積制御を行うため、第7撮像領域87を第2撮像領域76から切り離して既設の第1撮像領域75へ組み入れる。なお、第7撮像領域87の形状は、長方形に限らず、両サイドのテールランプ84aを含む楕円形や台形でもよい。
制御装置4はさらに、カメラ3へ指示を送り、第7撮像領域87のフレームレートを第1撮像領域75と同一のフレームレートに設定させる。例えば、第1撮像領域75のフレームレートが120fpsであった場合、第7撮像領域87のフレームレートも120fpsに上昇させる。これは、先行車84に対応する第7撮像領域87ついて、画像情報を取得する頻度を高めるためである。そして、制御装置4はステップS40(図11)へ進む。
図19は、第4の走行環境(道路状況)の変化の場合の処理を例示するフローチャートである。図20は、降雨が検出された場合に撮像チップ113上に結像される被写体(対象物)の像を模式的に示す図である。
図12のステップS140において、制御装置4は、降雨センサ19(図1)からの降雨情報の有無を判定する。制御装置4は、降雨情報が入力されている場合にステップS140を肯定判定して図19のステップS141へ進む。制御装置4は、降雨情報が入力されない場合には、ステップS140を否定判定してステップS150へ進む。なお、前回の判定時にステップS140を肯定判定したが、今回ステップS140の否定判定に転じる場合、制御装置4は、後述する図19のフローチャートに基づくフレームレートの設定を解除する。
一般に、降雨時は道路面が濡れるため、道路上に引かれた白線が識別し難くなる。具体的には、乾燥路面に比べて白線部分と白線以外の部分との間のコントラストが低下する。
図19のステップS141において、制御装置4は、図12のステップS35の場合と同様に、撮像チップ113上に結像される被写体(対象物)の像において注目領域を第1撮像領域77とし、第1撮像領域77以外の領域を第2撮像領域78として両者を分け、ステップS142へ進む。図20を参照して説明すると、制御装置4は、白線82aと、白線82bと、白線82aおよび白線82b間の領域と、を含む台形状の領域を第1撮像領域77とし、第1撮像領域77以外の領域を第2撮像領域78とする。
図19のステップS142において、制御装置4はカメラ3へ指示を送り、第1撮像領域77のフレームレートを、第1撮像領域71(図10)の場合のフレームレートよりも低く設定させる。例えば、第1撮像領域71のフレームレートが120fpsである場合に、第1撮像領域77のフレームレートを60fpsに変更する。これは、路面が濡れて白色部分の輝度が低下した第1撮像領域77から明瞭な画像情報を得るためである。そして、制御装置4は図12のステップS150へ進む。
なお、このようにフレームレートを低下させる代わりに、諧調カーブの調整により画像のコントラストを高めてもよい。
また、同様の理由で、第2撮像領域78のフレームレートを第2撮像領域72(図10)の場合のフレームレートよりも低く設定させてもよいし、階調カーブの調整により画像のコントラストを高めてもよい。
図21は、第5の走行環境(道路状況)の変化の場合の処理を例示するフローチャートである。図22は、進路の変更が検出された場合に撮像チップ113上に結像される被写体(対象物)の像を模式的に示す図である。図22(a) は、車線変更前の被写体像を示し、図22(b) は、車線変更中の被写体像を示す。
図12のステップ150において、制御装置4は、車線変更に関する情報の有無を判定する。不図示のナビゲーション装置は、GPS装置15から入力された位置情報を地図情報と照らし合わせることにより、例えば、車両1がどの道路(どの走行レーン)をどの向きへ走行するべきかについてルート案内を行う。制御装置4には、車両1の車線変更が必要な場合に上記ナビゲーション装置から車線の変更指示が入力される。制御装置4は、車線変更指示が入力された場合にステップS150を肯定判定して図21のステップS151へ進む。制御装置4は、車線変更指示が入力されない場合には、ステップS150を否定判定して図11のステップS40へ進む。なお、前回の判定時にステップS150を肯定判定したが、今回ステップS150の否定判定に転じる場合、制御装置4は、後述する図21のフローチャートに基づくフレームレートの設定を解除する。
図21のステップS151において、制御装置4は、撮像チップ113上に結像される被写体(対象物)の像において以下のように第1撮像領域79の変更を行う。
図22(a) を参照して説明すると、制御装置4は、図20の場合と同様に、白線87aと、白線87bと、白線87aおよび白線87b間の領域と、を含む台形状の領域を第1撮像領域79とし、第1撮像領域79以外の領域を第2撮像領域80とする。
GPS装置15から入力された位置情報が車線変更位置に該当する場合、制御装置4は、以下のように第1撮像領域79を第1撮像領域79Aへ変更する。図22(b) を参照して説明すると、新たな注目領域は、車線変更先の通行帯を規定する白線87bと、白線87cとなるので、第1撮像領域79Aは、白線87b、87cを含む台形状である。制御装置4は、図22(a) に示す第1撮像領域79から図22(b) に示す第1撮像領域79Aへと徐々に撮像領域をずらす。このように撮像領域をずらす処理は、車線変更に伴う被写界の変化に応じて連続的に行われる。
なお、撮像領域をずらす動作の代わりに、第1撮像領域79Aを含むように第1撮像領域79を拡大させてもよい。
図21のステップS152において、制御装置4はカメラ3へ指示を送り、新たに設定した第1撮像領域79Aのフレームレートを第1撮像領域79と同一のフレームレートに設定させる。これにより、進路変更を行う場合における車線変更先である注目領域のフレームレートを、車線変更前における注目領域のフレームレートと同一に保つことができる。そして、制御装置4はステップS40(図11)へ進む。
上述した実施の形態によれば、次の作用効果が得られる。
(1)制御装置4は、カメラ3において白線82a、82bを含む第1撮像領域71と、第1撮像領域71以外の第2撮像領域72とを設定し、第1撮像領域71の撮影条件を、第2撮像領域72の撮影条件と異ならせて設定する。例えば、第1撮像領域71のフレームレートを第2撮像領域72のフレームレートよりも高く設定するので、カメラ3で取得された画像において白線82a、82bを確実に認識し得る。また、白線82a、82bの認識に寄与しない第2撮像領域72のフレームレートを低くするので、カメラ3の消費電力を低減し、発熱を抑制できる。
フレームレートが高いと蓄積時間は短くなり、フレームレートが低いと蓄積時間は長くなる。
(2)制御装置4は、車両1の走行環境が変化した時でも、第1撮像領域71内の明暗に応じて第1撮像領域71を2つの撮像領域に分け、それぞれの撮像領域においてフレームレートを異ならせたので、カメラ3で取得された画像において白線82a、82bを確実に認識し続けることができる。
例えば、図14に示したトンネル83の入口の場合、第1撮像領域71内の暗部分を第3撮像領域71aとし、それ以外の領域を残領域71bにするとともに、第3撮像領域71aのフレームレートを残領域71bのフレームレートよりも低く設定したので、カメラ3で取得された画像において第3撮像領域71a内の白線82a、82bを明瞭に認識し得る。第2撮像領域72についても第1撮像領域71と同様の制御を行うことにより、カメラ3で取得された画像において走行に関係ある撮像領域を明瞭に認識し得る。
また、例えば図16(a) に示したハイビーム点灯時の場合、第1撮像領域73と照射領域86aとが重なり合う領域を第5撮像領域73aとし、それ以外の領域を残領域73bにするとともに、第5撮像領域73aのフレームレートを残領域73bのフレームレートよりも高く設定したので、カメラ3で取得された画像において第5撮像領域73a内の白線82a、82bを確実に認識し得る。第2撮像領域72についても第1撮像領域71と同様の制御を行うことにより、カメラ3で取得された画像において走行に関係ある撮像領域の情報量を増やすことができる。
(3)車両1の走行環境の変化例として、先行車84のテールランプを認識した場合(図18)、両サイドのテールランプ84aを含む領域を第7撮像領域87とし、第7撮像領域87のフレームレートを第1撮像領域75のフレームレートに等しくすることにより、カメラ3で取得された画像において先行車84のテールランプ84aの像を確実に認識し得る。
(4)車両1の走行環境の変化例として、降雨が検出された場合(図20)、第1撮像領域77のフレームレートを降雨前のフレームレートよりも低く設定するので、カメラ3で取得された画像において、濡れた路面でコントラストが低下した白線82a、82bを認識しやすくすることができる。
(5)車両1の走行環境の変化例として、車線変更する場合(図22)、車線変更先の白線87b、87cを含む第1撮像領域79Aのフレームレートを、車線変更前の第1撮像領域79のフレームレートと同一に設定するので、車線変更前後における第1撮像領域のフレームレートを一定に保ち、カメラ3で取得された画像において車線変更前後における白線を確実に認識し得る。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
上述した実施形態では、制御装置4の制御によってカメラ3を制御する例を説明したが、カメラ3の制御の一部をカメラ3の制御部35によって行う構成にしてもよい。
また、上記実施形態では、撮影条件のうち主にフレームレートについて記述したが、フレームレート以外の撮影条件について、撮影(撮像)領域毎に変更してもよい。
(変形例2)
上述した説明では、道路に沿って路面に引かれた白線を注目すべき対象物として認識する例を説明したが、白線に限らず、道路に沿って設けられたガードレールや縁石なども、注目すべき対象物としてのラインに含めてよい。
(変形例3)
上記実施形態では、撮像面70を、台形状の第1撮像領域と、第1撮像領域以外の第2撮像領域と、の2つに分けて、それぞれのフレームレートを異ならせる例を説明した。この代わりに、撮像面70を、第1撮像領域と、第2撮像領域と、第3撮像領域と、の3つ以上の撮像領域に分けて、各撮像領域のフレームレートを異ならせてもよい。
また、上記実施形態では、第1撮像領域と第2撮像領域とをさらに、それぞれ2つの撮像領域に分ける例を説明した。この代わりに、上記第1撮像領域と上記第2撮像領域とをそれぞれを3つ以上の撮像領域に分けて、3つ以上に細分化された撮像領域ごとのフレームレートを異ならせるようにしてもよい。
(変形例4)
上記実施形態では、制御装置4が、不図示のナビゲーション装置からの車線変更指示を入力したことをトリガにして、図22(a) に示す第1撮像領域79から図22(b) に示す第1撮像領域79Aへ徐々に撮像領域をずらすようにした。この代わりに、車線変更を行うタイミングを制御装置4で判断するようにしてもよい。制御装置4は、車線変更を行う地点情報の供給を車両1のカーナビゲーション装置から受けたり、地点情報を記憶部4bにあらかじめ記憶したりしておく。制御装置4は、GPS装置15から入力した位置情報が、車線変更を行う地点情報と合致する場合に、車線変更を判断する。車線変更を判断した制御装置4は、カメラ3で取得された画像に車線変更先の通行帯を検出すると、図22(a) に示す第1撮像領域79から図22(b) に示す第1撮像領域79Aへ撮像領域をずらす。
(変形例5)
以上の説明では、カメラ3で行う距離測定として、撮像素子100に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する手法を用いたが、ステレオカメラによる2枚の画像を用いて距離測定を行う手法を用いてもよい。また、カメラ3と別にミリ波レーダを用いて距離測定を行う手法を用いてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。