JP6369432B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

車両に搭載したカメラで取得した画像に基づいて車両の走行環境を検出し、検出した走行環境データに基づいて、定速走行、追従走行などの自動走行制御や、警報、制動、操舵支援などの運転支援を行う技術が開発されている（特許文献１参照）。
従来技術では、カメラを用いて道路上のラインを検出するが、例えばトンネル内や降雨時などの走行環境において、ラインの検出が困難となる場合があった。

特開２０１０−７９４２４号公報

本発明の第１の態様による撮像装置は、車に搭載される。そして、前記車の外部を撮像する撮像部と、前記撮像部の撮像条件を制御する撮像制御部とを有し、前記撮像制御部は、前記撮像部で撮像した画像にトンネルの入口が含まれると、前記トンネルの内部に対応する撮像領域から明瞭な画像が得られるように、前記トンネルの内部に対応する撮像領域と他の撮像領域との撮像条件を異ならせ、前記撮像部で撮像した画像にトンネルの出口が含まれると、前記トンネルの外部に対応する撮像領域から明瞭な画像が得られるように、前記トンネルの外部に対応する撮像領域と他の撮像領域との撮像条件を異ならせる。
本発明の第２の態様による撮像装置は、車に搭載される。そして、前記車の外部を撮像する撮像部と、前記撮像部の撮像条件を制御する撮像制御部とを有し、前記撮像制御部は、前記撮像部で撮像した画像にトンネルの入口が含まれると、前記トンネルの内部に対応する撮像領域のフレームレートが、他の撮像領域のフレームレートより低くなるように前記撮像部を制御し、前記撮像部で撮像した画像にトンネルの出口が含まれると、前記トンネルの外部に対応する撮像領域のフレームレートが、他の撮像領域のフレームレートより高くなるように前記撮像部を制御する。

車両の運転支援装置の概略構成図である。 制御装置の構成を例示するブロック図である。 積層型撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域の回路を説明する図である。 撮像素子の機能的構成を示すブロック図である。 撮像面における焦点検出用画素の位置を例示する図である。 焦点検出画素ラインの一部を含む領域を拡大した図である。 撮像素子を有するカメラの構成を例示するブロック図である。 撮像チップの撮像面上の画像を模式的に示す図である。 制御部が実行するカメラの制御処理の全体の流れを説明するフローチャートである。 撮像条件設定処理の詳細を説明するフローチャートである。 第1の走行環境の変化の場合の処理を例示するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図である。 第２の走行環境の変化の場合の処理を例示するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図であり、図１６(a) はハイビーム時の図、図１６(b) はロービーム時の図である。 第３の走行環境の変化の場合の処理を例示するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図である。 第４の走行環境の変化の場合の処理を例示するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図である。 第５の走行環境の変化の場合の処理を例示するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図であり、図２２(a) は車線変更前の図、図２２(b) は車線変更中の図である。

以下、図面を参照して本発明を実施するための形態について説明する。
＜カメラの使用場面＞
図１は、本発明の一実施の形態によるカメラ３を搭載した車両１の運転支援装置２の概略構成図である。図１において、自動車等の車両１に運転支援装置２が搭載されている。運転支援装置２は、カメラ３と、制御装置４と、第１の走行制御ユニット５と、第２の走行制御ユニット６等により構成される。なお、本説明では内燃機関を駆動源とする例を説明するが、モータを駆動源とするものでもよいし、内燃機関とモータを駆動源とする、いわゆるハイブリッドでもよい。

カメラ３は、複数のレンズを有する撮像光学系、撮像素子（本実施形態では積層型撮像素子（図３参照））を備え、例えば車室内の天井前方に取り付けられている。カメラ３は車両１の前方に向けられている。カメラ３は、車両１の進行方向の画像を取得し、取得した画像に基づいて撮影画面内の複数の位置における各被写体（対象物）までの距離測定（測距）を行う。距離測定は、積層型撮像素子に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する。焦点検出用画素および測距については後述する。カメラ３により取得された画像のデータおよび測距データは、制御装置４へ送出される。なお、カメラ３を車外に設けてもよく、車内・車外のカメラ３を協働してもよく、カメラ３の数も適宜設定すればよい。一例を挙げると、後述する白線検出は車外のカメラ３を用い、対象物や障害物の認識は、車内・車外のカメラ３を協働させるようにしてもよい。

制御装置４は、図２に例示するように、ＣＰＵ４ａおよび記憶部４ｂを含む。ＣＰＵ４ａは、記憶部４ｂに記憶されている各種プログラムに基づいて、記憶部４ｂに記憶されている制御パラメータや後述する各センサによる検出信号などを用いて各種演算を行う。

第１の走行制御ユニット５は、制御装置４からの指示に基づいて、定速走行制御および追従走行制御を行う。定速走行制御は、所定の制御プログラムに基づいて、車両１を一定速度で走行させる制御である。追従走行制御は、定速走行制御を行っている際に、制御装置４にて認識された先行車の速度が車両１に設定されている目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行させる制御である。

第２の走行制御ユニット６は、制御装置４からの指示に基づいて、運転支援制御を行う。運転支援制御は、所定の制御プログラムに基づいて、車両１が道路に沿って走行するように操舵制御装置９にステアリング制御信号を出力したり、車両１が対象物と衝突するのを回避するようにブレーキ制御装置８にブレーキ制御信号を出力したりする制御である。

図１にはさらに、スロットル制御装置７と、ブレーキ制御装置８と、操舵制御装置９と、ステアリングホイール１０と、ターンシグナルスイッチ１１と、車速センサ１２と、ヨーレートセンサ１３と、表示装置１４と、ＧＰＳ装置１５と、シフトレバー位置検出装置１６と、マイク１７と、ビーム切換えスイッチ１８と、降雨センサ１９と、が図示されている。

スロットル制御装置７は、アクセルペダル７ａの踏み込み量に応じて不図示のスロットルバルブの開度を制御する。また、スロットル制御装置７は、第１の走行制御ユニット５から送出されるスロットル制御信号に応じて上記スロットルバルブに対する開度の制御も行う。スロットル制御装置７はさらに、アクセルペダル７ａの踏み込み量を示す信号を制御装置４へ送出する。

ブレーキ制御装置８は、ブレーキペダル８ａの踏み込み量に応じて不図示のブレーキバルブの開度を制御する。また、ブレーキ制御装置８は、第２の走行制御ユニット６からのブレーキ制御信号に応じて上記ブレーキバルブに対する開度の制御も行う。ブレーキ制御装置８はさらに、ブレーキペダル８ａの踏み込み量を示す信号を制御装置４へ送出する。

操舵制御装置９は、ステアリングホイール１０の回転角に応じて不図示のステアリング装置の舵角を制御する。また、操舵制御装置９は、第２の走行制御ユニット６からのステアリング制御信号に応じて上記ステアリング装置の舵角の制御も行う。操舵制御装置９はさらに、ステアリングホイール１０の回転角を示す信号を第１の走行制御ユニット５と、制御装置４と、にそれぞれ送出する。

ターンシグナルスイッチ１１は、不図示のターンシグナル（ウィンカー）装置を作動させるための操作部材である。ターンシグナル装置は、車両１の進路変更を示す点滅発光装置である。車両１の乗員によってターンシグナルスイッチ１１が操作されると、ターンシグナルスイッチ１１からの操作信号がターンシグナル装置、第２の走行制御ユニット６および制御装置４にそれぞれ送出される。車速センサ１２は車両１の車速Ｖを検出し、検出信号を第１の走行制御ユニット５と、第２の走行制御ユニット６と、制御装置４とにそれぞれ送出する。

ヨーレートセンサ１３は車両１のヨーレートを検出し、検出信号を第２の走行制御ユニット６と、制御装置４とにそれぞれ送出する。ヨーレートは、車両１の旋回方向への回転角の変化速度である。表示装置１４は、第１の走行制御ユニット５、および第２の走行制御ユニット６による制御状態を示す情報などを表示する。表示装置１４は、例えばフロントガラスに情報を投映するＨＵＤ(Head Up Display)によって構成される。なお、表示装置１４として、不図示のナビゲーション装置の表示部を利用するようにしてもよい。

ＧＰＳ装置１５は、ＧＰＳ衛星からの電波を受信し、電波にのせられている情報を用いて所定の演算を行うことにより、車両１の位置（緯度、経度など）を算出する。ＧＰＳ装置１５で算出した位置情報は、不図示のナビゲーション装置や制御装置４へ送出される。シフトレバー位置検出装置１６は、車両１の乗員によって操作された不図示のシフトレバーの位置（例えば、パーキング（Ｐ）、リバース（Ｒ）、ドライブ（Ｄ）など）を検出する。シフトレバー位置検出装置１６で検出したシフトレバーの位置情報は、制御装置４へ送出される。

マイク１７は、例えば前方マイクと、右側方マイクと、左側方マイクとによって構成される。前方マイクは、専ら車両１の前方の音を集音する指向性を有する。右側方マイクは、専ら車両１の右側方の音を集音する指向性を有する。左側方マイクは、専ら車両１の左側方の音を集音する指向性を有する。マイク１７で集音された各音情報（前方、右側方、左側方）は、それぞれ制御装置４へ送出される。

ビーム切換えスイッチ１８は、灯火装置（前照灯）の上下方向の照射角度を少なくとも２段階に切換えるための操作部材である。例えば、照明光を略水平方向に照射する「ハイビーム」と、照明光を水平方向より下向きに照射する「ロービーム」とを切換える。ビーム切換えスイッチ１８からの操作信号は、不図示の照明装置および制御装置４にそれぞれ送出される。降雨センサ１９は、光学式や静電容量式により雨滴を検出する検出器であり、車内または車外に取り付けられる。降雨センサ１９による検出信号（降雨情報）は、制御装置４へ送出される。

＜対象物の検出＞
制御装置４は、車両１の走行路および対象物を検出するために、カメラ３からの画像に対し、以下のように画像処理を行う。先ず、制御装置４は、撮影画面内の複数の位置における測距データに基づいて距離画像（奥行き分布画像）を生成する。制御装置４は、距離画像のデータに基づいて、周知のグルーピング処理を行い、あらかじめ記憶部４ｂに記憶しておいた３次元的な道路形状データ、側壁データ、対象物データ等の枠（ウインドウ）と比較し、白線データ（道路に沿った白線データおよび道路を横断する白線（停止線：交差点情報）データを含む）、道路に沿って存在するガードレール、縁石等の側壁データを抽出するとともに、対象物・障害物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の対象物に分類して抽出する。
本説明では、走行路に引かれた白色または黄色のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。

また、制御装置４は、カメラ３で取得された画像データから、画像に含まれる対象物の形状検出、色検出、明暗検出を行う。具体的には、道路に沿って設けられた白線やガードレール等のラインのデータを検出（抽出）する。また、制御装置４は、後述する単位領域１３１ごとの明暗状態に基づいて、先行車の点灯状態のテールランプ（尾灯）のデータを検出する。

＜運転支援＞
制御装置４は、上記のように抽出した各情報、すなわち、白線データ、ガードレール側壁データ、および対象物データの各データに基づいて走行路や障害となる対象物・障害物を認識し、認識結果をもとに第２の走行制御ユニット６に上記運転支援制御を行わせる。すなわち、車両１を道路に沿って走行させ、車両１が対象物と衝突するのを回避させる。

＜走行制御＞
制御装置４は、例えば、以下の４ 通りにより自車進行路の推定を行う。
（１）白線に基づく自車進行路推定
カメラ３で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから車両１が走行している車線の形状が推定できる場合、制御装置４は、車両１の幅や、車両１の現在の車線内の位置を考慮して、自車進行路が白線と並行であると推定する。

（２）ガードレール、縁石等の側壁データに基づく自車進行路推定
カメラ３で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから車両１が走行している車線の形状が推定できる場合、制御装置４は、車両１の幅や、車両１の現在の車線内の位置を考慮して、自車進行路が側壁と並行であると推定する。

（３）先行車軌跡に基づく自車進行路推定
制御装置４は、記憶部４ｂに記憶されている先行車の過去の走行軌跡に基づいて、自車進行路を推定する。先行車は、車両１と同じ方向に走行する対象物のうち、車両１に最も近い前方の車両をいう。

（４）車両１の走行状態に基づく自車走行路推定
制御装置４は、車両１の運転状態に基づいて、自車進行路を推定する。例えば、ヨーレートセンサ１３による検出信号と、車速センサ１２による検出信号と、に基づく旋回曲率を用いて自車進行路を推定する。旋回曲率Ｃuaは、Ｃua ＝ｄψ／ｄｔ／Ｖ により算出する。ｄψ／ｄｔは上記ヨーレート（旋回方向への回転角の変化速度）であり、Ｖは車両１の車速である。

制御装置４は、記憶部４ｂに記憶されている所定の走行制御プログラムにしたがって、上記対象物ごとに、対象物が存在する位置における車両１の走行領域を自車進行路に基づき推定し、この走行領域と対象物位置とを比較して、それぞれの対象物が走行領域内にあるか否か判定する。制御装置４はさらに、カメラ３の撮像結果に基づき上記先行車を認識する。すなわち、制御装置４は、走行領域内に存在して順方向（車両１と同じ方向）に走行する対象物の中から、車両１に最も近い車両を先行車とする。

制御装置４は、先行車と車両１との車間距離情報、および先行車の車速情報を、車外情報として第１の走行制御ユニット５へ出力する。ここで、先行車の車速情報は、所定時間ごとに取得した車両１の車速Ｖと、車速Ｖの取得タイミングに同期して上記所定時間ごとにカメラ３で取得された画像に基づいて測距した撮影画面内の先行車までの距離（車間距離）の変化と、に基づいて算出する。

第１の走行制御ユニット５は、車速センサ１２で検出される車速Ｖが、あらかじめセットされている所定の車速（目標速度）に収束するようにスロットル制御装置７へスロットル制御信号を送出する。これにより、スロットル制御装置７が不図示のスロットルバルブの開度をフィードバック制御し、車両１を自動で定速走行させる。

また、第１の走行制御ユニット５は、定速状態の走行制御を行っている際に制御装置４から入力された先行車の車速情報が車両１に設定されている目標速度以下の場合には、制御装置４から入力された車間距離情報に基づいてスロットル制御装置７へスロットル制御信号を送出する。具体的には、車両１から先行車までの車間距離および先行車の車速と、車両１の車速Ｖと、に基づいて適切な車間距離の目標値を設定し、カメラ３で取得された画像に基づいて測距される車間距離が、上記車間距離の目標値に収束するようにスロットル制御装置７へスロットル制御信号を送出する。これにより、スロットル制御装置７が不図示のスロットルバルブの開度をフィードバック制御し、車両１を先行車に追従走行させる。

＜積層型撮像素子の説明＞
上述したカメラ３に備わる積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。図３は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面（撮像面）と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図３の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図４は、撮像チップ１１３の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１３を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。図４の例では、隣接する４画素×４画素の１６画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。

画素領域の部分拡大図に示すように、図４の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１３のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１３のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

図５は、単位領域１３１における回路を説明する図である。図５の例では、隣接する３画素×３画素の９画素により一つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、これ以下でもこれ以上でもよい。単位領域１３１の二次元的な位置を符号Ａ〜Ｉにより示す。

単位領域１３１に含まれる画素のリセットトランジスタは、画素ごとに個別にオンオフ可能に構成される。図５において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれのリセットトランジスタをオンオフするための専用のリセット配線が設けられている。

単位領域１３１に含まれる画素の転送トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図５において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれの転送トランジスタをオンオフするための専用の転送配線が設けられている。

さらに、単位領域１３１に含まれる画素の選択トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図５において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれの選択トランジスタをオンオフするための専用の選択配線が設けられている。

なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｉで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｉで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１３側に設けられてもよいし、信号処理チップ１１１側に設けられてもよい。

単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｉに対して独立して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｉの画素信号を共通の出力配線３０８を介して出力することができる。

ここで、単位領域１３１に含まれる画素Ａから画素Ｉについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図５の例では「ＡＢＣＤＥＦＧＨＩ」の順序で画素信号が出力される。

このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる画素信号をそれぞれ出力させることができる。また、撮像チップ１１３において一部のエリアに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のエリアに含まれる単位領域１３１を休ませることにより、撮像チップ１１３の所定のエリアでのみ撮像を行わせて、その画素信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるエリア（蓄積制御の対象エリア）を切り替えて、撮像チップ１１３の異なるエリアで逐次撮像を行わせて、画素信号を出力させることもできる。

図６は、図５に例示した回路に対応する撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位領域１３１を形成する９個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位領域１３１に対応して設けられた出力配線３０８へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図６では１つの単位領域１３１の分の接続を示すが、実際にはこれらが単位領域１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位領域１３１ごとに存在しなくてもよく、例えば、一つの演算回路４１５がそれぞれの単位領域１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０８にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜測距の説明＞
図７は、撮像素子１００の撮像面における焦点検出用画素の位置を例示する図である。本実施形態では、撮像チップ１１３のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図７の例では、１５本の焦点検出画素ライン６０が所定の間隔で設けられる。焦点検出画素ライン６０を構成する焦点検出用画素は、測距用の画像信号を出力する。撮像チップ１１３において焦点検出画素ライン６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、車外監視用の画像信号を出力する。

図８は、上記焦点検出画素ライン６０のうち一つのラインの一部を含む領域を拡大した図である。図８において、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂと、焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２とが例示される。赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂは、上述したベイヤー配列の規則にしたがって配される。

赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系３１（図９）の射出瞳を通る光束を受光する。すなわち、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。

なお、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂの受光領域（マスク開口部）の形状は四角形に限定されず、例えば円形であってもよい。

焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素Ｓ１は、図８において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ１の受光部に到達する。一方、焦点検出用画素Ｓ２は、図８において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ２の受光部に到達する。このように、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２は、撮像光学系３１（図９）の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。

なお、撮像チップ１１３における焦点検出画素ラインの位置は、図７に例示した位置に限定されない。また、焦点検出画素ラインの数についても、図７の例に限定されるものではない。さらに、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素Ｒ、撮像用画素Ｇ、撮像用画素Ｂにおける四角形状受光領域（マスク開口部）を横方向に分割した長方形状としてもよい。

また、撮像チップ１１３における焦点検出画素ラインは、撮像チップ１１３のＹ軸方向（鉛直方向）に沿って焦点検出用画素を並べて設けたものでもよい。図８のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
なお、図８の例では、焦点検出用画素Ｓ１、Ｓ２がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる１ＰＤ構造を説明した。この代わりに、例えば特開２００７−２８２１０７号公報に開示されるように、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる２ＰＤ構造にしてもよい。このように２ＰＤ構造にすることにより、焦点検出用画素からも画像データを読み出すことが可能となり、焦点検出画素が欠陥画素になることがない。

本実施形態では、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２から出力される測距用の画像信号に基づいて、撮像光学系３１（図９）の異なる領域を通る一対の光束による一対の像の像ズレ量（位相差）を検出することにより、撮像光学系３１の焦点調節状態（デフォーカス量）を演算する。

一般に、上記一対の像は、撮像光学系３１が予定焦点面よりも前に対象物（例えば先行車）の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに対象物の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。予定焦点面において対象物の鮮鋭像を結ぶ合焦状態には、上記一対の像が相対的に一致する。したがって、一対の像の相対位置ズレ量は、対象物までの距離（奥行き情報）に対応する。

上記位相差に基づくデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。ここで、デフォーカス量と対象物までの距離とは一対一で対応するため、撮像された対象物のデータごとにデフォーカス量を求めることにより、カメラ３から各対象物までの距離を求めることができる。すなわち、撮影画面の複数の位置で、それぞれ上記対象物までの距離測定（測距）が行える。デフォーカス量と対象物までの距離との関係は、あらかじめ数式またはルックアップテーブルとして用意し、不揮発性メモリ３５ｂ（図９）に格納しておく。

＜カメラの説明＞
図９は、上述した撮像素子１００を有するカメラ３の構成を例示するブロック図である。図９において、カメラ３は、撮像光学系３１と、撮像部３２と、画像処理部３３と、ワークメモリ３４と、制御部３５と、記録部３６とを有する。

撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、上記撮像素子１００および駆動部３２ａを含み、撮像光学系３１によって撮像チップ１１３上に結像された対象物の像を光電変換する。駆動部３２ａは、撮像素子１００（撮像チップ１１３）に上述したブロック単位で独立した蓄積制御を行わせるために必要な駆動信号を生成する。上記ブロックの位置や形状、その範囲、蓄積時間などの指示は、制御装置４から駆動部３２ａへ送信される。

画像処理部３３は、ワークメモリ３４と協働して撮像部３２で撮像された画像データに対する画像処理を行う。画像処理部３３は、例えば輪郭強調処理やガンマ補正などの画像処理を行う。

ワークメモリ３４は、画像処理前後の画像データなどを一時的に記憶する。記録部３６は、不揮発性メモリなどで構成される記憶媒体に画像データなどを記録する。制御部３５は、例えばＣＰＵによって構成され、制御装置４からの制御信号に応じて、カメラ３による全体の動作を制御する。例えば、撮像部３２で撮像された画像信号に基づいて所定の露出演算を行い、適正露出に必要な撮像チップ１１３の蓄積時間を駆動部３２ａへ指示する。

制御部３５には、測距演算部３５ａと、不揮発性メモリ３５ｂとが含まれる。測距演算部３５ａは、上述したように撮影画面の複数の位置で、それぞれ上記対象物までの距離測定（測距）を行う。カメラ３で取得した画像データおよびカメラ３で算出した測距データは、制御装置４へ送出される（図１）。不揮発性メモリ３５ｂは、制御部３５が実行するプログラム、および測距に必要な情報を記憶する。

＜撮像素子のブロック制御＞
制御装置４は、カメラ３の撮像素子１００（撮像チップ１１３）に対し、上述したブロック単位で独立した蓄積制御を行わせる。本実施形態では、例えばトンネル走行時や降雨時など走行環境が変化した場合において道路のラインを見つけやすくするため、撮像チップ１１３の撮像面上の異なる領域に対し、それぞれ適切な撮像条件を設定する。

図１０は、撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図である。実際には倒立逆像が結像されるが、分かりやすくするために正立正像として図示している。図１０において、車両１が先行車８４の後ろを走行中である。撮像チップ１１３の撮像面（撮影領域）７０には、道路上に設けられた白線８２ａ、８２ｂ、８２ｃと、先行車８４と、対向車８５の像が含まれる。これらの対象物のうち、車両１が走行する車両通行帯（走行レーン）の境界を示す白線８２ａおよび白線８２ｂは、制御装置４が走行路を検出する上でとくに重要な対象物である。そこで、本説明では、白線８２ａ、８２ｂを含む撮像領域を注目領域７１と呼ぶ。

制御装置４は、撮像面７０における注目領域７１と、それ以外の領域７２（非注目領域）との間に異なる条件を設定して電荷蓄積（撮像）を行わせる。ここで、撮像チップ１１３の撮像面７０における注目領域７１、非注目領域７２のサイズや位置も、撮像条件の一つである。

制御装置４は、注目領域７１に含まれる単位領域１３１（図４）に対して第１の条件を設定して撮像を制御するとともに、非注目領域７２に含まれる単位領域１３１に対して第２の条件を設定して撮像を制御する。
なお、注目領域７１、非注目領域７２をそれぞれ複数設けてもよいし、注目領域７１内あるいは非注目領域７２内に電荷蓄積制御（撮像条件）が異なる複数の領域を設けてもよい。さらに、撮像面７０の行方向および列方向において電荷蓄積（撮像）を行わせない休止領域を設けてもよい。

＜フローチャートの説明＞
以下、フローチャート（図１１，図１２）を参照して、カメラ３の制御処理および撮像条件設定を主体に説明する。図１１は、制御装置４が実行するカメラ３の制御処理の全体の流れを説明するフローチャートである。図１１のフローチャートによる処理を実行するためのプログラムは、制御装置４の記憶部４ｂに格納されている。制御装置４は、例えば車両１から電源供給が開始（システムオン）されたり、エンジンが始動されたりすると、図１１による処理を行うプログラムを起動する。

図１１のステップＳ１０において、制御装置４は、フラグａ＝０か否かを判定する。フラグａは、初期設定が終了している場合に１、初期設定が終了していない場合に０がセットされるフラグである。制御装置４は、フラグａ＝０の場合にステップＳ１０を肯定判定してステップＳ２０へ進み、フラグａ≠０の場合にステップＳ１０を否定判定してステップＳ３０へ進む。

ステップＳ２０において、制御装置４は、カメラ３へ初期設定を行ってステップＳ３０へ進む。初期設定とは、カメラ３に所定の動作をさせるための予め定められた設定を行うものである。これにより、カメラ３が撮像素子１００の撮像面の全域に同じ撮像条件を設定し、例えば毎秒６０フレーム（６０ｆｐｓ）のフレームレートで撮像を開始する。

ステップＳ３０において、制御装置４は、撮像条件設定処理を行ってステップＳ４０へ進む。撮像条件設定処理は、カメラ３の撮像素子１００に対して注目領域７１（図１０）およびそれ以外の非注目領域７２（図１０）を設定し、それぞれの撮像条件を決定する処理をいう。撮像条件設定処理の詳細については後述する。本実施形態では、注目領域７１について、非注目領域７２に比べてフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。カメラ３は、この設定に基づいて撮像を行い、上述した距離測定（測距）を行う。
なお、注目領域７１と非注目領域７２との間でフレームレート、ゲイン、間引き率、蓄積時間などの全てを異ならせる必要はなく、少なくとも一つを異ならせるだけでもよい。

図１１のステップＳ４０において、制御装置４は、撮像条件設定処理後にカメラ３で取得された画像データ、測距データ、および車両１内の各部からの情報を取得してステップＳ５０へ進む。ステップＳ５０において、制御装置４は、情報を表示する設定が行われているか否かを判定する。制御装置４は、表示設定が行われている場合にステップ５０を肯定判定してステップＳ６０へ進む。制御装置４は、表示設定が行われていない場合には、ステップ５０を否定判定してステップＳ７０へ進む。

ステップＳ６０において、制御装置４は、表示装置１４（図１）に対する表示情報を送出してステップＳ７０へ進む。表示情報は、撮像条件設定処理（Ｓ３０）の中で判断された車両１の状態に応じた情報で、例えば「トンネルに入ります」、「ヘッドライトを点灯しました」というメッセージを表示装置１４に表示させる。
なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合も不図示の音声再生装置として、不図示のナビゲーション装置の音声装置を用いてもよい。

ステップＳ７０において、制御装置４は、オフ操作されたか否かを判定する。制御装置４は、例えば車両１からオフ信号（例えば、システムオフ信号またはエンジンのオフ信号）を受けると、ステップＳ７０を肯定判定し、所定のオフ処理を行って図１１による処理を終了する。制御装置４は、例えば車両１からオフ信号を受けない場合は、ステップＳ７０を否定判定してステップＳ３０へ戻る。ステップＳ３０へ戻る場合は、上述した処理を繰り返す。

＜撮像条件設定処理＞
図１２のフローチャートを参照して、上記撮像条件設定処理（Ｓ３０）の詳細について説明する。本実施の形態では、車両１の走行環境（道路状況）の変化を５通り例示して、注目領域および非注目領域について撮像条件を決定する。

図１２のステップＳ３１において、制御装置４は、カメラ３で取得された画像データに対して上記画像処理を行ってステップＳ３３へ進む。ステップＳ３３において、制御装置４は、画像データから上記白線データを検出してステップＳ３５へ進む。制御装置４は、上述したように撮影領域７０中の白線８２ａおよび白線８２ｂを含む領域を注目領域７１とする。図１０を参照して説明すると、白線８２ａと、白線８２ｂと、白線８２ａおよび白線８２ｂ間の領域と、の３つを含む台形状の領域（破線で示す）を注目領域７１とする。

ステップＳ３５において、制御装置４は、上記注目領域７１を第１撮像領域７１とし、第１撮像領域７１以外の領域を第２撮像領域７２としてステップＳ３７へ進む。

ステップＳ３７において、制御装置４はカメラ３へ指示を送り、第１撮像領域７１のフレームレートを第２撮像領域７２のフレームレートよりも高く設定させる。例えば、第１撮像領域７１のフレームレートを毎秒１２０フレーム（１２０ｆｐｓ）とし、第２撮像領域７２のフレームレートを６０ｆｐｓとする。これは、走行時に注目すべき対象物である白線についての情報を取得する頻度を高めるためである。以上説明したステップＳ３７までの処理は、通常の走行環境下（例えば、日中の晴天時の走行）における処理の例である。

制御装置４は、走行環境が通常時と異なる場合において、上記注目領域および非注目領域についての撮像条件を変更させる。図１３は、第１の走行環境（道路状況）の変化の場合の処理を例示するフローチャートである。図１４は、車両１がトンネル８３の入口にさしかかった場合に撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図である。

図１２のステップＳ１１０において、制御装置４は、トンネルの有無を判定する。制御装置４は、カメラ３で取得された画像にトンネルの出入り口が含まれている場合にステップＳ１１０を肯定判定して図１３のステップＳ１１１へ進む。制御装置４は、カメラ３で取得された画像にトンネルの出入り口が含まれていない場合には、ステップＳ１１０を否定判定してステップＳ１２０へ進む。なお、前回の判定時にステップＳ１１０を肯定判定したが、今回ステップＳ１１０の否定判定に転じる場合、制御装置４は、後述する図１３のフローチャートに基づくフレームレートの設定を解除する。

図１３のステップＳ１１１において、制御装置４は、カメラ３で取得された画像からトンネル８３の外部の明部分とトンネル８３の内部の暗部分とを検出してステップＳ１１２へ進む。例えば、図１４に例示した被写体像から明部分と暗部分（斜線）とを検出する。

図１３のステップＳ１１２において、制御装置４は、図１４に示すように、第１撮像領域７１のうち暗部分の領域を第３撮像領域７１ａとし、第１撮像領域７１のうち第３撮像領域７１ａを除く領域を残領域７１ｂとする。すなわち、第１撮像領域７１は、第３撮像領域７１ａと残領域７１ｂとに分けられる。

ステップＳ１１３において、制御装置４はカメラ３へ指示を送り、第３撮像領域７１ａのフレームレートを残領域７１ｂのフレームレートよりも低く設定させる。制御装置４は、例えば、第３撮像領域７１ａのフレームレートを６０ｆｐｓに低下させる。これは、トンネル８３内部の暗い第３撮像領域７１ａから明瞭な画像情報を得るためである。一方、残領域７１ｂのフレームレートは１２０ｆｐｓのままとする。

ステップＳ１１４において、制御装置４はさらに、図１４に示すように、第２撮像領域７２のうち暗部分の領域を第４撮像領域７２ａとし、第２撮像領域７２のうち第４撮像領域７２ａを除く領域を残領域７２ｂとする。すなわち、第２撮像領域７２は、第４撮像領域７２ａと残領域７２ｂとに分けられる。

ステップＳ１１５において、制御装置４はカメラ３へ指示を送り、第４撮像領域７２ａのフレームレートを残領域７２ｂのフレームレートよりも低く設定させる。制御装置４は、例えば、第４撮像領域７２ａのフレームレートを３０ｆｐｓに低下させる。これは、トンネル８３内部の暗い第４撮像領域７２ａから、明瞭な画像情報を得るためである。そして、制御装置４はステップＳ４０（図１１）へ進む。
なお、上記の説明ではトンネル入口の場合について説明したが、トンネル出口の場合にも同様である。ただし、トンネル入口の場合とトンネル出口の場合とでは、画像における明部分と暗部分との関係が逆で、トンネル内から見たトンネル外部の像が明部分になる。

図１５は、第２の走行環境（道路状況）の変化の場合の処理を例示するフローチャートである。図１６は、車両１がヘッドライト（前照灯）を点灯した場合に撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図であり、図１６(a) はハイビーム時を示し、図１６(b) はロービーム時を示す。

図１２のステップ１２０において、制御装置４は、前照灯の点灯の有無を判定する。制御装置４は、カメラ３で取得された画像に前照灯による明部分が含まれている場合にステップＳ１２０を肯定判定して図１５のステップＳ１２１へ進む。制御装置４は、カメラ３で取得された画像に前照灯による明部分が含まれていない場合には、ステップＳ１２０を否定判定してステップＳ１３０へ進む。制御装置４は、前回の判定時にステップＳ１２０を肯定判定したが、今回ステップＳ１２０の否定判定に転じる場合、後述する図１５のフローチャートに基づくフレームレートの設定を解除する。

なお、画像における明部分の検出に基づいて前照灯の点灯ありを判定する代わりに、運転者による点灯操作に基づいて点灯ありを判定してもよい。この場合の制御装置４は、ビーム切換えスイッチ１８がハイビーム側に切換えられている場合において、図１６(a) における照射領域８６ａの位置をカメラ３で取得された画像の明部分として扱う。また、制御装置４は、ビーム切換えスイッチ１８がロービーム側に切換えられている場合において、図１６(b) における照射領域８６ｂの位置をカメラ３で取得された画像の明部分として扱う。
図１５のステップＳ１２１において、制御装置４は、カメラ３で取得された画像から前照灯による照射領域（上記明部分に対応）を検出してステップＳ１２２へ進む。

ステップＳ１２２において、制御装置４は、ビーム切換えスイッチ１８がハイビーム側に切換えられている場合、図１６(a) に示すように、第１撮像領域７３と照射領域８６ａとが重なり合う領域を第５撮像領域７３ａとし、第１撮像領域７３のうち第５撮像領域７３ａを除く領域を残領域７３ｂとする。すなわち、第１撮像領域７３は、第５撮像領域７３ａと残領域７３ｂとに分けられる。

ステップＳ１２３において、制御装置４はカメラ３へ指示を送り、第５撮像領域７３ａのフレームレートを残領域７３ｂのフレームレートよりも高く設定させる。制御装置４は、例えば、残領域７３ｂのフレームレートが６０ｆｐｓであった場合に、第５撮像領域７３ａのフレームレートを１２０ｆｐｓへ上昇させる。これは、ハイビーム時に照明されて明るくなった第５撮像領域７３ａから画像情報を取得する頻度を高めるためである。

ステップＳ１２４において、制御装置４はさらに、図１６(a) に示すように、第２撮像領域７４と照射領域８６ａとが重なり合う領域を第６撮像領域７４ａとし、第２撮像領域７４のうち第６撮像領域７４ａを除く領域を残領域７４ｂとする。すなわち、第２撮像領域７４は、第６撮像領域７４ａと残領域７４ｂとに分けられる。

ステップＳ１２５において、制御装置４はカメラ３へ指示を送り、第６撮像領域７４ａのフレームレートを残領域７４ｂのフレームレートよりも高く設定させる。例えば、残領域７４ｂのフレームレートが６０ｆｐｓであった場合に、第６撮像領域７４ａのフレームレートを１２０ｆｐｓに上昇させる。ハイビーム時に照明されて明るくなった第６撮像領域７４ａから画像情報を取得する頻度を高めるためである。そして、制御装置４はステップＳ４０（図１１）へ進む。

図１６(a) を参照してハイビーム時を説明したが、ロービーム時にも同様に行うことができる。ビーム切換えスイッチ１８がロービーム側に切換えられている場合、図１６(b) において照射領域８６ｂが被写体像の明部分に対応する。そして、図１６(a) と図１６(b) との対比において、第５撮像領域７３ａが第５撮像領域７３ｃに対応し、残領域７３ｂが残領域７３ｄに対応し、第６撮像領域７４ａが第６撮像領域７４ｃに対応し、残領域７４ｂが残領域７４ｄに対応する。

図１７は、第３の走行環境（道路状況）の変化の場合の処理を例示するフローチャートである。図１８は、先行車８４がテールランプ（尾灯）を点灯している場合に撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図である。

図１２のステップ１３０において、制御装置４は、先行車８４のテールランプを認識したか否かを判定する。制御装置４は、カメラ３で取得された画像から点灯状態のテールランプを認識した場合にステップＳ１３０を肯定判定して図１７のステップＳ１３１へ進む。制御装置４は、カメラ３で取得された画像から点灯状態のテールランプを認識しない場合には、ステップＳ１３０を否定判定してステップＳ１４０へ進む。なお、前回の判定時にステップＳ１３０を肯定判定したが、今回ステップＳ１３０の否定判定に転じる場合、制御装置４は、後述する図１７のフローチャートに基づくフレームレートの設定を解除する。

図１７のステップＳ１３１において、制御装置４は、カメラ３で取得された画像から先行車８４のテールランプを検出してステップＳ１３２へ進む。図１８において、テールランプ８４ａの像が、図１８の第１撮像領域７５ではなく第２撮像領域７６に含まれている。

図１７のステップＳ１３２において、制御装置４は、先行車８４のテールランプ８４ａの像を含む所定の領域、例えば、両サイドのテールランプ８４ａを含む長方形の領域を第７撮像領域８７とする。ステップＳ１３３において、制御装置４は、この第７撮像領域８７を第１撮像領域７５と同一条件で電荷蓄積制御を行うため、第７撮像領域８７を第２撮像領域７６から切り離して既設の第１撮像領域７５へ組み入れる。なお、第７撮像領域８７の形状は、長方形に限らず、両サイドのテールランプ８４ａを含む楕円形や台形でもよい。

制御装置４はさらに、カメラ３へ指示を送り、第７撮像領域８７のフレームレートを第１撮像領域７５と同一のフレームレートに設定させる。例えば、第１撮像領域７５のフレームレートが１２０ｆｐｓであった場合、第７撮像領域８７のフレームレートも１２０ｆｐｓに上昇させる。これは、先行車８４に対応する第７撮像領域８７ついて、画像情報を取得する頻度を高めるためである。そして、制御装置４はステップＳ４０（図１１）へ進む。

図１９は、第４の走行環境（道路状況）の変化の場合の処理を例示するフローチャートである。図２０は、降雨が検出された場合に撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図である。

図１２のステップＳ１４０において、制御装置４は、降雨センサ１９（図１）からの降雨情報の有無を判定する。制御装置４は、降雨情報が入力されている場合にステップＳ１４０を肯定判定して図１９のステップＳ１４１へ進む。制御装置４は、降雨情報が入力されない場合には、ステップＳ１４０を否定判定してステップＳ１５０へ進む。なお、前回の判定時にステップＳ１４０を肯定判定したが、今回ステップＳ１４０の否定判定に転じる場合、制御装置４は、後述する図１９のフローチャートに基づくフレームレートの設定を解除する。

一般に、降雨時は道路面が濡れるため、道路上に引かれた白線が識別し難くなる。具体的には、乾燥路面に比べて白線部分と白線以外の部分との間のコントラストが低下する。

図１９のステップＳ１４１において、制御装置４は、図１２のステップＳ３５の場合と同様に、撮像チップ１１３上に結像される被写体（対象物）の像において注目領域を第１撮像領域７７とし、第１撮像領域７７以外の領域を第２撮像領域７８として両者を分け、ステップＳ１４２へ進む。図２０を参照して説明すると、制御装置４は、白線８２ａと、白線８２ｂと、白線８２ａおよび白線８２ｂ間の領域と、を含む台形状の領域を第１撮像領域７７とし、第１撮像領域７７以外の領域を第２撮像領域７８とする。

図１９のステップＳ１４２において、制御装置４はカメラ３へ指示を送り、第１撮像領域７７のフレームレートを、第１撮像領域７１（図１０）の場合のフレームレートよりも低く設定させる。例えば、第１撮像領域７１のフレームレートが１２０ｆｐｓである場合に、第１撮像領域７７のフレームレートを６０ｆｐｓに変更する。これは、路面が濡れて白色部分の輝度が低下した第１撮像領域７７から明瞭な画像情報を得るためである。そして、制御装置４は図１２のステップＳ１５０へ進む。
なお、このようにフレームレートを低下させる代わりに、諧調カーブの調整により画像のコントラストを高めてもよい。
また、同様の理由で、第２撮像領域７８のフレームレートを第２撮像領域７２（図１０）の場合のフレームレートよりも低く設定させてもよいし、階調カーブの調整により画像のコントラストを高めてもよい。

図２１は、第５の走行環境（道路状況）の変化の場合の処理を例示するフローチャートである。図２２は、進路の変更が検出された場合に撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図である。図２２(a) は、車線変更前の被写体像を示し、図２２(b) は、車線変更中の被写体像を示す。

図１２のステップ１５０において、制御装置４は、車線変更に関する情報の有無を判定する。不図示のナビゲーション装置は、ＧＰＳ装置１５から入力された位置情報を地図情報と照らし合わせることにより、例えば、車両１がどの道路（どの走行レーン）をどの向きへ走行するべきかについてルート案内を行う。制御装置４には、車両１の車線変更が必要な場合に上記ナビゲーション装置から車線の変更指示が入力される。制御装置４は、車線変更指示が入力された場合にステップＳ１５０を肯定判定して図２１のステップＳ１５１へ進む。制御装置４は、車線変更指示が入力されない場合には、ステップＳ１５０を否定判定して図１１のステップＳ４０へ進む。なお、前回の判定時にステップＳ１５０を肯定判定したが、今回ステップＳ１５０の否定判定に転じる場合、制御装置４は、後述する図２１のフローチャートに基づくフレームレートの設定を解除する。

図２１のステップＳ１５１において、制御装置４は、撮像チップ１１３上に結像される被写体（対象物）の像において以下のように第１撮像領域７９の変更を行う。

図２２(a) を参照して説明すると、制御装置４は、図２０の場合と同様に、白線８７ａと、白線８７ｂと、白線８７ａおよび白線８７ｂ間の領域と、を含む台形状の領域を第１撮像領域７９とし、第１撮像領域７９以外の領域を第２撮像領域８０とする。

ＧＰＳ装置１５から入力された位置情報が車線変更位置に該当する場合、制御装置４は、以下のように第１撮像領域７９を第１撮像領域７９Ａへ変更する。図２２(b) を参照して説明すると、新たな注目領域は、車線変更先の通行帯を規定する白線８７ｂと、白線８７ｃとなるので、第１撮像領域７９Ａは、白線８７ｂ、８７ｃを含む台形状である。制御装置４は、図２２(a) に示す第１撮像領域７９から図２２(b) に示す第１撮像領域７９Ａへと徐々に撮像領域をずらす。このように撮像領域をずらす処理は、車線変更に伴う被写界の変化に応じて連続的に行われる。
なお、撮像領域をずらす動作の代わりに、第１撮像領域７９Ａを含むように第１撮像領域７９を拡大させてもよい。

図２１のステップＳ１５２において、制御装置４はカメラ３へ指示を送り、新たに設定した第１撮像領域７９Ａのフレームレートを第１撮像領域７９と同一のフレームレートに設定させる。これにより、進路変更を行う場合における車線変更先である注目領域のフレームレートを、車線変更前における注目領域のフレームレートと同一に保つことができる。そして、制御装置４はステップＳ４０（図１１）へ進む。

上述した実施の形態によれば、次の作用効果が得られる。
（１）制御装置４は、カメラ３において白線８２ａ、８２ｂを含む第１撮像領域７１と、第１撮像領域７１以外の第２撮像領域７２とを設定し、第１撮像領域７１の撮影条件を、第２撮像領域７２の撮影条件と異ならせて設定する。例えば、第１撮像領域７１のフレームレートを第２撮像領域７２のフレームレートよりも高く設定するので、カメラ３で取得された画像において白線８２ａ、８２ｂを確実に認識し得る。また、白線８２ａ、８２ｂの認識に寄与しない第２撮像領域７２のフレームレートを低くするので、カメラ３の消費電力を低減し、発熱を抑制できる。
フレームレートが高いと蓄積時間は短くなり、フレームレートが低いと蓄積時間は長くなる。

（２）制御装置４は、車両１の走行環境が変化した時でも、第１撮像領域７１内の明暗に応じて第１撮像領域７１を２つの撮像領域に分け、それぞれの撮像領域においてフレームレートを異ならせたので、カメラ３で取得された画像において白線８２ａ、８２ｂを確実に認識し続けることができる。
例えば、図１４に示したトンネル８３の入口の場合、第１撮像領域７１内の暗部分を第３撮像領域７１ａとし、それ以外の領域を残領域７１ｂにするとともに、第３撮像領域７１ａのフレームレートを残領域７１ｂのフレームレートよりも低く設定したので、カメラ３で取得された画像において第３撮像領域７１ａ内の白線８２ａ、８２ｂを明瞭に認識し得る。第２撮像領域７２についても第１撮像領域７１と同様の制御を行うことにより、カメラ３で取得された画像において走行に関係ある撮像領域を明瞭に認識し得る。

また、例えば図１６(a) に示したハイビーム点灯時の場合、第１撮像領域７３と照射領域８６ａとが重なり合う領域を第５撮像領域７３ａとし、それ以外の領域を残領域７３ｂにするとともに、第５撮像領域７３ａのフレームレートを残領域７３ｂのフレームレートよりも高く設定したので、カメラ３で取得された画像において第５撮像領域７３ａ内の白線８２ａ、８２ｂを確実に認識し得る。第２撮像領域７２についても第１撮像領域７１と同様の制御を行うことにより、カメラ３で取得された画像において走行に関係ある撮像領域の情報量を増やすことができる。

（３）車両１の走行環境の変化例として、先行車８４のテールランプを認識した場合（図１８）、両サイドのテールランプ８４ａを含む領域を第７撮像領域８７とし、第７撮像領域８７のフレームレートを第１撮像領域７５のフレームレートに等しくすることにより、カメラ３で取得された画像において先行車８４のテールランプ８４ａの像を確実に認識し得る。

（４）車両１の走行環境の変化例として、降雨が検出された場合（図２０）、第１撮像領域７７のフレームレートを降雨前のフレームレートよりも低く設定するので、カメラ３で取得された画像において、濡れた路面でコントラストが低下した白線８２ａ、８２ｂを認識しやすくすることができる。

（５）車両１の走行環境の変化例として、車線変更する場合（図２２）、車線変更先の白線８７ｂ、８７ｃを含む第１撮像領域７９Ａのフレームレートを、車線変更前の第１撮像領域７９のフレームレートと同一に設定するので、車線変更前後における第１撮像領域のフレームレートを一定に保ち、カメラ３で取得された画像において車線変更前後における白線を確実に認識し得る。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
上述した実施形態では、制御装置４の制御によってカメラ３を制御する例を説明したが、カメラ３の制御の一部をカメラ３の制御部３５によって行う構成にしてもよい。
また、上記実施形態では、撮影条件のうち主にフレームレートについて記述したが、フレームレート以外の撮影条件について、撮影（撮像）領域毎に変更してもよい。

（変形例２）
上述した説明では、道路に沿って路面に引かれた白線を注目すべき対象物として認識する例を説明したが、白線に限らず、道路に沿って設けられたガードレールや縁石なども、注目すべき対象物としてのラインに含めてよい。

（変形例３）
上記実施形態では、撮像面７０を、台形状の第１撮像領域と、第１撮像領域以外の第２撮像領域と、の２つに分けて、それぞれのフレームレートを異ならせる例を説明した。この代わりに、撮像面７０を、第１撮像領域と、第２撮像領域と、第３撮像領域と、の３つ以上の撮像領域に分けて、各撮像領域のフレームレートを異ならせてもよい。
また、上記実施形態では、第１撮像領域と第２撮像領域とをさらに、それぞれ２つの撮像領域に分ける例を説明した。この代わりに、上記第１撮像領域と上記第２撮像領域とをそれぞれを３つ以上の撮像領域に分けて、３つ以上に細分化された撮像領域ごとのフレームレートを異ならせるようにしてもよい。

（変形例４）
上記実施形態では、制御装置４が、不図示のナビゲーション装置からの車線変更指示を入力したことをトリガにして、図２２(a) に示す第１撮像領域７９から図２２(b) に示す第１撮像領域７９Ａへ徐々に撮像領域をずらすようにした。この代わりに、車線変更を行うタイミングを制御装置４で判断するようにしてもよい。制御装置４は、車線変更を行う地点情報の供給を車両１のカーナビゲーション装置から受けたり、地点情報を記憶部４ｂにあらかじめ記憶したりしておく。制御装置４は、ＧＰＳ装置１５から入力した位置情報が、車線変更を行う地点情報と合致する場合に、車線変更を判断する。車線変更を判断した制御装置４は、カメラ３で取得された画像に車線変更先の通行帯を検出すると、図２２(a) に示す第１撮像領域７９から図２２(b) に示す第１撮像領域７９Ａへ撮像領域をずらす。

（変形例５）
以上の説明では、カメラ３で行う距離測定として、撮像素子１００に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する手法を用いたが、ステレオカメラによる２枚の画像を用いて距離測定を行う手法を用いてもよい。また、カメラ３と別にミリ波レーダを用いて距離測定を行う手法を用いてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…車両
２…運転支援装置
３…カメラ
４…制御装置
４ｂ…記憶部
５…第１の走行制御ユニット
６…第２の走行制御ユニット
１２…車速センサ
１４…表示装置
１５…ＧＰＳ装置
１８…ビーム切換えスイッチ
１９…降雨センサ
３１…撮像光学系
３５…制御部
３５ａ…測距演算部
７１、７３、７５、７７、７９、７９Ａ…第１撮像領域
７２、７４、７６、７８、８０…第２撮像領域
７１ａ…第３撮像領域
７２ａ…第４撮像領域
７３ａ、７３ｃ…第５撮像領域
７４ａ、７４ｃ…第６撮像領域
８７…第７撮像領域
１００…撮像素子
１１３…撮像チップ

Claims (7)

1. 車に搭載される撮像装置において、
   前記車の外部を撮像する撮像部と、
   前記撮像部の撮像条件を制御する撮像制御部とを有し、
   前記撮像制御部は、前記撮像部で撮像した画像にトンネルの入口が含まれると、前記トンネルの内部に対応する撮像領域から明瞭な画像が得られるように、前記トンネルの内部に対応する撮像領域と他の撮像領域との撮像条件を異ならせ、前記撮像部で撮像した画像にトンネルの出口が含まれると、前記トンネルの外部に対応する撮像領域から明瞭な画像が得られるように、前記トンネルの外部に対応する撮像領域と他の撮像領域との撮像条件を異ならせる撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像制御部は、前記撮像部で撮像した画像にトンネルの入口が含まれると、前記トンネルの内部に対応する撮像領域と他の撮像領域との撮像速度を異ならせ、前記撮像部で撮像した画像にトンネルの出口が含まれると、前記トンネルの外部に対応する撮像領域と他の撮像領域との撮像速度を異ならせる撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記撮像制御部は、前記撮像部で撮像した画像にトンネルの入口が含まれると、前記トンネルの内部に対応する撮像領域と他の撮像領域との画素の間引き率を異ならせ、前記撮像部で撮像した画像にトンネルの出口が含まれると、前記トンネルの外部に対応する撮像領域と他の撮像領域との画素の間引き率を異ならせる撮像装置。
4. 請求項１から３のいずれか一項に記載の撮像装置において、
   前記撮像制御部は、前記撮像部で撮像した画像にトンネルの入口が含まれると、前記トンネルの内部に対応する撮像領域と他の撮像領域とのゲインを異ならせ、前記撮像部で撮像した画像にトンネルの出口が含まれると、前記トンネルの外部に対応する撮像領域と他の撮像領域とのゲインを異ならせる撮像装置。
5. 車に搭載される撮像装置において、
   前記車の外部を撮像する撮像部と、
   前記撮像部の撮像条件を制御する撮像制御部とを有し、
   前記撮像制御部は、前記撮像部で撮像した画像にトンネルの入口が含まれると、前記トンネルの内部に対応する撮像領域のフレームレートが、他の撮像領域のフレームレートより低くなるように前記撮像部を制御し、前記撮像部で撮像した画像にトンネルの出口が含まれると、前記トンネルの外部に対応する撮像領域のフレームレートが、他の撮像領域のフレームレートより高くなるように前記撮像部を制御する撮像装置。
6. 請求項１から５のいずれか一項に記載の撮像装置において、
   前記撮像制御部は、前記車が走行する走行路に対応する撮像領域と他の領域との撮像条件を異ならせるように前記撮像部を制御する撮像装置。
7. 請求項６に記載の撮像装置において、
   前記撮像制御部は、前記車が走行する走行路に対応する撮像領域のフレームレートを、他の撮像領域のフレームレートより高くなるように前記撮像部を制御する撮像装置。

Images