WO2017187811A1 - 撮像制御装置及び撮像制御方法、並びに撮像装置 - Google Patents

Abstract

自動車などの移動体に搭載された撮像部の動作を制御する撮像制御装置及び撮像制御方法、並びに、移動体に搭載して用いられる撮像装置を提供する。　中央領域８０１は、細かい画素で構成されることから、高解像度での撮像を実現している。一方の周辺領域８０２、８０３は、画素サイズの大きい画素で構成され又は画素加算により高感度であり、高速運転時や動被写体撮影時に露光時間を短くして、ブラーやフォーカルプレーン歪みを低減することができる。また、夜間や暗所を走行時には、ヘッドランプで照射されていない周辺領域８０２、８０３を長時間露光により十分な感度で撮像することが可能になる。

Description

撮像制御装置及び撮像制御方法、並びに撮像装置

　本明細書で開示する技術は、撮像部の動作を制御する撮像制御装置及び撮像制御方法、並びに撮像装置に係り、特に、自動車などの移動体に搭載された撮像部の動作を制御する撮像制御装置及び撮像制御方法、並びに、移動体に搭載して用いられる撮像装置に関する。

　最近、カメラを搭載する自動車が増えてきている（例えば、特許文献１を参照のこと）。車載カメラが撮影した画像をドライブ・レコーダーに記録したり、車載カメラが撮影した画像を用いて走行支援や視界支援を行なったりすることができる。例えば、夜間の走行時に、車載カメラの撮影画像を画像処理して対向車両のヘッドランプや先行車両のテールライトを検知し、周囲の他車両の情報を検出することができる。

特開２０１３－１１５６２５号公報 特開２００６－１４８４９６号公報 特開２０１１－１３００２２号公報 特開２０１４－２０４１４９号公報 特開２０１４－１５５１７５号公報 特開２０１４－１６５５２０号公報 特開２００８－１３１５８０号公報

　本明細書で開示する技術の目的は、自動車などの移動体に搭載された撮像部の動作を制御する撮像制御装置及び撮像制御方法、並びに、移動体に搭載して用いられる撮像装置を提供することにある。

　本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、複数の画素を有する撮像部における中央領域の撮像条件を、前記撮像部の周辺領域に対して高感度、高フレームレート、短露光時間、又は高動作周波数のいずれかで制御する制御部を具備する、撮像制御装置である。

　本明細書で開示する技術の第２の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記周辺領域を前記中央領域よりも高感度にするように構成されている。

　本明細書で開示する技術の第３の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記周辺領域を前記中央領域よりも短時間露光にするように構成されている。

　本明細書で開示する技術の第４の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記周辺領域を前記中央領域よりも長時間露光にするように構成されている。

　本明細書で開示する技術の第５の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記周辺領域を前記中央領域よりも高フレームレートにするように構成されている。

　本明細書で開示する技術の第６の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記周辺領域の信号処理を前記中央領域よりも高い動作周波数で実行するように構成されている。

　本明細書で開示する技術の第７の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記周辺領域を前記中央領域よりも高感度で且つ高フレームレートにするように構成されている。

　本明細書で開示する技術の第８の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記周辺領域を前記中央領域よりも高感度で且つ前記中央領域と同じフレームレートにするように構成されている。

　本明細書で開示する技術の第９の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記周辺領域を前記中央領域よりも高感度で且つ前記中央領域と同じ又はそれ以上の露光時間にするように構成されている。

　本明細書で開示する技術の第１０の側面によれば、第２の側面に係る撮像制御装置の前記制御部は、前記周辺領域に対して画素加算読み出し又は間引き読み出しを行なうように構成されている。

　本明細書で開示する技術の第１１の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記撮像部を車両に搭載した場所又は前記車両の運転状況に応じて、前記中央領域に対する前記周辺領域の撮像条件を制御するように構成されている。

　本明細書で開示する技術の第１２の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記撮像部を車両に搭載した場所又は前記車両の運転状況に応じて、前記中央領域の位置、形状、又は大きさのうち少なくとも１つを制御するように構成されている。

　本明細書で開示する技術の第１３の側面によれば、第１の側面に係る撮像制御装置の前記制御部は、前記撮像部を搭載した車両の運転状況に応じて、前記周辺領域の段階数、各周辺領域の位置、形状、又は大きさのうち少なくとも１つを制御するように構成されている。

　また、本明細書で開示する技術の第１４の側面は、複数の画素を有する撮像部における中央領域の撮像条件を、前記撮像部の周辺領域に対して高感度、高フレームレート、短露光時間、又は高動作周波数のいずれかで制御する制御ステップを有する、撮像制御方法である。

　また、本明細書で開示する技術の第１５の側面は、中央領域と、前記中央領域よりも画素サイズが大きい画素で構成される周辺領域を含む撮像素子を具備する、撮像装置である。

　本明細書で開示する技術の第１６の側面によれば、第１５の側面に係る撮像装置は、前記中央領域と前記周辺領域毎に並列してスキャンするように構成されている。

　本明細書で開示する技術の第１７の側面によれば、第１５の側面に係る撮像装置は、前記中央領域と前記周辺領域毎に画素読み出し並びにＡＤ変換処理を行なう信号処理部をさらに備えている。

　本明細書で開示する技術の第１８の側面によれば、第１５の側面に係る撮像装置は、前記周辺領域を前記中央領域よりも短時間露光にするように構成されている。

　本明細書で開示する技術の第１９の側面によれば、第１５の側面に係る撮像装置は、前記周辺領域を前記中央領域よりも高フレームレートにするように構成されている。

　本明細書で開示する技術の第２０の側面によれば、第１５の側面に係る撮像装置は、前記撮像装置を搭載した車両の運転状況に応じて、前記中央領域に対する前記周辺領域の露光時間又はフレームレートの少なくとも一方を制御するように構成されている。

　本明細書で開示する技術によれば、自動車などの移動体に搭載された撮像部の動作を制御する撮像制御装置及び撮像制御方法、並びに、移動体に搭載して用いられる撮像装置を提供することができる。

　なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術を適用することができる車両制御システム２０００の構成例を模式的に示した図である。 図２は、撮像部２４１０及び車外情報検出部２４２０の設置位置の一例を示した図である。 図３は、車載カメラ３００の撮像画像に写った各被写体３０１、３０２が車両の進行に伴って変化する様子を示した図である。 図４は、車両前方の風景を例示した図である。 図５は、図４に示した風景を前方に直進する車両の車載カメラで撮像した画像を示した図である。 図６は、車載カメラによる撮像画像の特徴を説明するための図である。 図７は、夜間又は暗所を走行中の車両の車載カメラで撮像した画像を例示した図である。 図８は、車載カメラに適用可能な撮像素子の画素領域８００の構成を示した図である。 図９は、画素領域８００を分割した領域毎にスキャンする様子を示した図である。 図１０は、撮像素子の画素領域８００の各領域８０１～８０３から並列に読み出しを行なうカメラ・モジュール１０００の構成例を模式的に示した図である。 図１１は、図８～図１０に示した構成からなる撮像装置を車両のフロントノーズに設置したときの、撮像範囲１１００を示した図である。 図１２は、画素領域８００の領域毎の露光及び読み出し処理時のタイミングチャートの一例を示した図である。 図１３は、１フレームの露光処理のタイミングチャートを示した図である。 図１４は、画素領域８００の領域毎の露光及び読み出し処理時のタイミングチャートの他の例を示した図である。 図１５は、画素領域８００の領域毎の露光及び読み出し処理時のタイミングチャートの他の例を示した図である。 図１６は、車両上の撮像装置の設置場所を例示した図である。 図１７は、撮像装置１６０１における撮像素子の画素領域の領域分割例を示した図である。 図１８は、車両上の撮像装置の設置場所を例示した図である。 図１９は、撮像装置１８０１における撮像素子の画素領域の領域分割例を示した図である。 図２０は、３段階の周辺領域に分割した画素領域２００を示した図である。 図２１は、矩形の領域で分割した画素領域２１０を例示した図である。 図２２は、画素加算により画素領域の領域分割を行なう撮像素子を例示した図である。 図２３は、画素領域の領域分割の適応制御を説明するための図である。 図２４は、画素領域の領域分割の適応制御を説明するための図である。 図２５は、画素領域の領域分割の適応制御を説明するための図である。 図２６は、画素領域の領域分割の適応制御を説明するための図である。 図２７は、画素領域の領域分割の適応制御を説明するための図である。 図２８は、画素領域の領域分割の適応制御を説明するための図である。 図２９は、運転状況に応じて周辺領域の撮像条件制御を行なうための処理手順を示したフローチャートである。 図３０は、運転状況に応じて画素領域の領域分割並びに周辺領域の撮像条件制御を行なうための処理手順を示したフローチャートである。 図３１は、車載カメラとして適用可能なカメラ・モジュール３１００の構成例を示した図である。 図３２は、撮像素子３１２０の構成例を示した図である。 図３３は、サイズが均一な画素からなる画素領域の構成例を示した図である。 図３４は、サイズが均一な画素からなる画素領域の構成例を示した図である。 図３５は、サイズが均一な画素からなる画素領域の構成例を示した図である。

　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．システム構成
　図１には、本明細書で開示する技術を適用することができる車両制御システム２０００の構成例を模式的に示している。図示の車両制御システム２０００は、駆動系制御ユニット２１００と、ボディ系制御ユニット２２００と、バッテリー・制御ユニット２３００と、車外情報検出ユニット２４００と、車内情報検出ユニット２５００と、統合制御ユニット２６００などの複数の制御ユニットで構成されている。

　各制御ユニット２１００～２６００は、通信ネットワーク２０１０を介して相互接続されている。通信ネットワーク２０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＦｌｅｘＲａｙ（登録商標）などの任意の通信規格に準拠した車載通信ネットワーク、あるいはローカルに定めた通信規格に準拠したネットワークでよい。

　各制御ユニット２１００～２６００はそれぞれ、例えば、各種プログラムに従って演算処理を行なうマイクロ・コンピューターと、マイクロ・コンピューターにより実行されるプログラム又は各種演算に用いられるパラメーターなどを記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備えている。また、各制御ユニット２１００～２６００は、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行なうためのネットワーク・インターフェース（ＩＦ）を備えるとともに、車内外の装置又はセンサーなどとの間で有線通信又は無線通信により通信を行なうための通信インターフェースを備えている。

　駆動系制御ユニット２１００は、各種プログラムに従って車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関や駆動用モーターなどの車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置などの制御装置として機能する。また、駆動系制御ユニット２１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）やＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）などの制御装置としての機能を備えてもよい。

　駆動系制御ユニット２１００には、車両状態検出部２１１０が接続されている。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロ・センサー、車両の加速度を検出する加速度センサー、あるいは、アクセル・ペダルの操作量、ブレーキ・ペダルの操作量、ステアリング・ホイールの操舵角、エンジン回転数又は車輪の回転速度などを検出するためのセンサーのうちの少なくとも１つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行ない、内燃機関や駆動用モーター、電動パワー・ステアリング装置、ブレーキ装置など（いずれも図示しない）を制御する。

　ボディ系制御ユニット２２００は、各種プログラムに従って車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリーシステムやスマートキーシステムといったドアロックの施錠と解除並びにシステム２０００の始動と停止に関する制御装置、パワーウィンドウ装置や各種ランプ（ヘッドランプ、バックランプ、ブレーキ・ランプ、ターンシグナル、フォグランプを含む）の制御装置として機能する（機能として、ヘッドランプのハイビーム又はロービームへの切り替え制御を含むものとする）。ボディ系制御ユニット２２００は、鍵に内蔵される（若しくは、鍵を代替する）携帯発信機から送出される電波又は各種スイッチの信号が到来すると、車両のドアロック装置やパワーウィンドウ装置、ランプなど（いずれも図１には図示しない）を制御する。

　バッテリー制御ユニット２３００は、各種プログラムに従って駆動用モーターの電力供給源である二次電池を制御する。例えば、バッテリー制御ユニット２３００には、二次電池を備えたバッテリー装置２３１０は、二次電池のバッテリー温度やバッテリー出力電圧、バッテリーの残存容量などを計測して、バッテリー制御ユニット２３００に出力する。バッテリー制御ユニット２３００は、バッテリー装置２３１０からの入力情報を用いて演算処理を行ない、二次電池の温度調節制御やバッテリー装置２３１０に備えられた冷却装置（図示しない）などの制御を実施する。

　車外情報検出ユニット２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続されている。

　撮像部２４１０は、いわゆる車載カメラであるが、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ又はその他のカメラのうちの少なくとも１つが含まれる。本明細書で開示する技術では、運転状況などに応じて、撮像部２４１０の撮像動作を動的にコントロールする。コントロールする撮像動作には、感度や露光時間、フレームレートなどが含まれる。撮像動作のコントロールに関しては、後に詳解する。なお、以下で言う、露光時間は、撮像の際にシャッターが開放されて撮像素子が光に晒される（すなわち露出する）時間のことであり、シャッター・スピード（ＳＳ）と同義である（露光時間が短いことはシャッター・スピードが速いことに相当し、露光時間が長いことはシャッター・スピードが遅いことに相当する）。また、フレームレートは、単位時間当たりに処理するフレーム数のことであり、一般には１秒当たりの数値を表すｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）という単位で表される。表示装置におけるフレームレートは単位時間当たりに切り替わるフレーム数のことであり、撮像装置の動画撮像時におけるフレームレートは単位時間当たりに撮像するフレーム数のことである。フレームレートが「高い」とは、フレーム間の間隔が短いことを意味する。したがって、高フレームレートは「高速連写」と同義である。

　車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサーや、周辺車両や障害物、通行人などを検出するための周囲情報検出センサー、音声センサー（車両の周辺で発生する音声を集音するマイク）のうちの少なくとも１つ（いずれも図示しない）が含まれる。車外情報検出部２４２０が音声センサーの場合、クラクションや急ブレーキ、衝突音など、事故やヒヤリハットに伴う車外の音を取得することができる。

　ここで言う環境センサーは、例えば、雨天を検出する雨滴センサー、霧を検出する霧センサー、日照度合いを検出する日照センサー、降雪を検出する雪センサーなどである。また、周囲情報検出センサーは、超音波センサーやレーダー装置、ＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）装置などで構成される。

　これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサー乃至装置として構成してもよいし、複数のセンサー乃至装置が統合された装置として構成してもよい。撮像部２４１０及び車外情報検出部２４２０の設置位置の詳細については、後述に譲る。

　車外情報検出ユニット２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを撮像部２４１０から受信する。また、車外情報検出ユニット２４００は、車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサー、レーダー装置、又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット２４００は、超音波又は電磁波などを発信させるとともに、車外情報検出部２４２０からの反射波の情報を受信する。

　車外情報検出ユニット２４００は、車外情報検出部２４２０から受信した情報に基づいて、周囲の人や車両、障害物、道路の路肩に設置された道路標識（道路案内）、道路の路面に描かれた道路標識などを認識する画像認識処理や、車外の物体を検出又は認識する物体認識処理、車外の物体までの距離検出処理を行なってもよい。また、車外情報検出ユニット２４００は、車外情報検出部２４２０から受信した情報に基づいて、降雨、霧、又は路面の状態などの周囲環境を認識する環境認識処理を行なってもよい。

　なお、車外情報検出ユニット２４００は、車外情報検出部２４２０から受信した画像データに対して歪み補正又は位置合わせなどの処理を行なうようにしてもよい。また、車外情報検出ユニット２４００は、異なる撮像部２４１０により撮像された画像データを合成して俯瞰画像又はパノラマ画像を生成するようにしてもよい。また、車外情報検出ユニット２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行なうようにしてもよい。

　車内情報検出ユニット２５００は、車内の情報を検出する。車内情報検出ユニット２５００には、例えば、車両を運転するドライバーの状態を検出する車内状態検出部２５１０が接続されており、車内状態検出部２５１０から入力されるドライバー状態情報に基づいて、車内の情報を検出する。ここで言うドライバーとは、車内にいる搭乗者のうち、車内の運転席に座っている搭乗者、あるいは、統合制御ユニット２６００が運転を行なうべき人物として記憶している搭乗者を指すものとする。

　例えば、車内情報検出ユニット２５００は、ドライバーの疲労度合い又は集中度合いを算出してもよいし、ドライバーが居眠りをしていないかを判別する。また、車内情報検出ユニット２５００は、さまざまなドライバー状態を検出するとともに、ドライバー（又は、ドライバー以外の搭乗者）によって車両の運転の実施が可能か不可能かを判別する。車内情報検出ユニット２５００は、搭乗者の座っている位置に基づいてドライバーを検知してもよいし、車内を撮像した画像に含まれる搭乗者の顔に基づいて、あらかじめドライバーとして登録してある顔画像と撮像された顔画像の比較によりドライバーを判別するようにしてもよい。

　車内状態検出部２５１０は、ドライバーや他の搭乗者など車室内を撮像する車載カメラ（ドラモニカメラ）や、ドライバーの生体情報を検出する生体センサー、車室内の音声を集音するマイクなどを含んでもよい。ドラモニカメラの撮像画像を顔認識して、ドライバーや他の搭乗者を顔認証することができる。また、認識顔の向く方向や認識顔に含まれる眼の動きに基づいて、ドライバーの注視点（若しくは視線方向）を検出することができる。生体センサーは、例えば、座面又はステアリング・ホイールなどに設けられ、運転席に座ったドライバーやステアリング・ホイールを握るドライバーの生体情報を検出する。また、マイクは、クラクションや急ブレーキ、搭乗者の音声（悲鳴）など、事故やヒヤリハットに伴う車室内の音を取得することができる。車内情報検出ユニット２５００は、マイクで集音された音声信号に対してノイズ・キャンセリングなどの信号処理を行なうようにしてもよい。車内情報検出ユニット２５００は、プライバシー保護などの目的で、特定の音声（例えば、ドライバーや事前に登録した声）以外の音声に変調をかけてもよい。

　また、車内状態検出部２５１０は、運転席やその他の座席（助手席、後部座席など）に加わる荷重（座席に人が座ったか否か）を検出する荷重センサーを含んでもよい。また、車内状態検出部２５１０は、アクセルやブレーキ、ステアリング、ワイパー、ターンシグナル、エアコン、その他のスイッチなど、ドライバーが車両を操作するさまざまなデバイスに対する操作に基づいて、ドライバーの状態を検出するようにしてもよい。また、車内状態検出部２５１０は、ドライバーの運転免許証不所持や運転拒否といったステータスのチェックを行なうようにしてもよい。

　統合制御ユニット２６００は、各種プログラムに従って車両制御システム２０００内の動作全般を制御する。図１に示す例では、統合制御ユニット２６００は、マイクロ・コンピューター２６１０と、汎用通信インターフェース２６２０と、専用通信インターフェース２６３０と、測位部２６４０と、ビーコン受信部２６５０と、車内機器インターフェース２６６０と、音声画像出力部２６７０と、車載ネットワーク・インターフェース２６８０と、記憶部２６９０を備えている。また、統合制御ユニット２６００には、入力部２８００が接続されている。

　入力部２８００は、例えば、タッチパネルやボタン、マイクロフォン、スイッチ、レバーなど、ドライバーやその他の搭乗者によって入力操作され得る装置で構成される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモート・コントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）、スマートフォン、タブレット端末などの外部接続機器（いずれも図示しない）であってもよい。入力部２８００はマイクによる音声入力でもよい。入力部２８００は、例えばカメラであってもよく、その場合、搭乗者はジェスチャーにより統合制御ユニット２６００に情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者らにより入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。ドライバーを始めとする搭乗者らは、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりすることができる。

　記憶部２６９０は、マイクロ・コンピューターにより実行される各種プログラムを記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、及び各種パラメーター、演算結果やンサーの検出値などを記憶するＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅ ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）などの磁気記憶デバイスやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などの半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイスなどで構成される大容量記憶装置（図示しない）を含んでもよい。大容量記憶装置は、例えば、撮像部２４１０で撮像した車両周辺や車室内の映像の記録（ドライブ・レコーダー）に利用することができる。

　汎用通信インターフェース２６２０は、外部環境に存在するさまざまな機器との間の通信を仲介する汎用的な通信インターフェースである。汎用通信インターフェース２６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｏｆ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装している。汎用通信インターフェース２６２０は、例えば、セルラー通信における基地局や無線ＬＡＮにおけるアクセスポイントなどを介して、外部ネットワーク（例えば、インターネット、クラウド・ネットワーク、又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーション・サーバー又は制御サーバー、管理サーバーなど）へ接続することができる。また、汎用通信インターフェース２６２０は、例えばＰ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、当該車両の近傍に存在する端末（例えば、ドライバーや通行人が携帯する情報端末、走行中の道路に隣接する店舗に設置された店舗端末、人間の介在なしに通信ネットワークに接続するＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末（家庭用ガスのメーターや自動販売機など）など）と接続してもよい。

　専用通信インターフェース２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信インターフェースである。専用通信インターフェース２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ　Ａｃｃｅｓｓ　ｉｎ　Ｖｅｈｉｃｌｅ　Ｅｎｖｉｒｏｎｍｅｎｔ）、又はＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、セルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信インターフェース２６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車と家の間（Ｖｅｈｉｃｌｅｔｏ Ｈｏｍｅ）及び歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

　測位部２６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、ＰｌａｃｅＥｎｇｉｎｅ（登録商標）などを利用して無線アクセスポイントからの電測情報に基づいて現在位置を特定してもよく、又は測位機能を有する携帯電話機、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙ－ｐｈｏｎｅ　Ｓｙｓｔｅｍ）若しくはスマートフォンといった搭乗者が所持する携帯端末から位置情報を取得するようにしてもよい。

　ビーコン受信部２６５０は、例えば、道路上に設置された無線局などから発信される電波又は電磁波を受信し、車両の現在位置や道路交通情報（渋滞、通行止め、所要時間などの情報）を取得する。なお、ビーコン受信部２６５０の機能を、上述した専用通信インターフェース２６３０に含めて実装することも可能である。

　車内機器インターフェース２６６０は、マイクロ・コンピューター２６１０と車内に存在するさまざまな機器２７６０との間の接続を仲介する通信インターフェースである。車内機器インターフェース２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ））といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器インターフェース２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ、ＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）などの有線接続を確立してもよい。車内機器インターフェース２６６０は、例えば、搭乗者が所持するモバイル機器やウェアラブル機器、又は車両に搬入され若しくは取り付けられる車内機器２７６０との間で、制御信号又はデータ信号を交換する。

　車載ネットワーク・インターフェース２６８０は、マイクロ・コンピューター２６１０と通信ネットワーク２０１０との間の通信を仲介するインターフェースである。車載ネットワーク・インターフェース２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号などを送受信する。

　統合制御ユニット２６００のマイクロ・コンピューター２６１０は、汎用通信インターフェース２６２０、専用通信インターフェース２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器インターフェース２６６０、車載ネットワーク・インターフェース２６８０のうちの少なくとも１つを介して取得される情報に基づいて、各種プログラムに従って、車両制御システム２０００を制御する。

　例えば、マイクロ・コンピューター２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロ・コンピューター２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転などを目的とした協調制御を行なうようにしてもよい。

　また、マイクロ・コンピューター２６１０は、汎用通信インターフェース２６２０、専用通信インターフェース２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器インターフェース２６６０及び車載ネットワーク・インターフェース２６８０のうちの少なくとも１つを介して取得される情報に基づいて、当該車両の現在位置の周辺情報を含むローカル地図情報を作成するようにしてもよい。また、マイクロ・コンピューター２６１０は、取得される情報に基づいて、当該車両の衝突、通行人や建造物などの接近、通行止めの道路への進入などの危険を予測して、警告用信号を生成するようにしてもよい。ここで言う警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号である。

　また、マイクロ・コンピューター２６１０は、上述した記憶部２６９０などを利用して、ドライブ・レコーダー機能を実現するようにしてもよい。具体的には、マイクロ・コンピューター２６１０は、撮像部２４１０で撮像した車両周辺や車室内の映像の記録の制御を行なうようにしてもよい。

　音声画像出力部２６７０は、当該車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。出力装置が表示装置の場合、表示装置は、マイクロ・コンピューター２６１０が行なった各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフなどさまざまな形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データなどからなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。図１に示す例では、出力装置として、オーディオ・スピーカー２７１０、表示部２７２０、並びにインストルメント・パネル２７３０が装備されている。

　表示部２７２０は、例えば、オンボード・ディスプレイ又はヘッド・アップ・ディスプレイの少なくとも１つを含んでいてもよい。ヘッド・アップ・ディスプレイは、フロントガラスを利用してドライバーの視野に（無限遠の点に結像するような）画像を映し出すデバイスである。表示部２７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を備えていてもよい。上述した以外にも、ヘッドホン、プロジェクター又はランプなどを出力装置として車両に備えていてもよい。

　また、インストルメント・パネル２７３０は、運転席（並びに助手席）の正面に配置され、スピードメーターやタコメーター、燃料計、水温計、距離計といった自動車の走行に必要な情報を指し示すメーター・パネルや、目的地までの走行案内を行なうナビゲーション・システムを含む。

　なお、図１に示した車両制御システム２０００を構成する複数の制御ユニットのうち少なくとも２つの制御ユニットを物理的に１つのユニットとして一体化して構成してもよい。また、車両制御システム２０００が図１に示した以外の制御ユニットをさらに備えていてもよい。あるいは、制御ユニット２１００～２６００のうち少なくとも１つを物理的には２以上のユニットの集まりで構成してもよい。また、制御ユニット２１００～２６００が担うべき機能のうち一部を他の制御ユニットで実現するようにしてもよい。要するに、通信ネットワーク２０１０を介した情報の送受信によって実現される上記の演算処理がいずれかの制御ユニットで行なわれるように構成されていれば、車両制御システム２０００の構成を変更することが許容される。また、いずれかの制御ユニットに接続されているセンサーや装置類が他の制御ユニットにも接続されていてもよく、あるセンサー又は装置で検出若しくは取得された情報を、通信ネットワーク２０１０を介して複数の制御ユニット間で相互に送受信するようにしてもよい。

　図２には、撮像部２４１０及び車外情報検出部２４２０の設置位置の一例を示している。同図中、撮像部２９１０、２９１２、２９１４、２９１６、２９１８は、撮像部２４１０に相当するが、例えば車両２９００のフロントノーズ、サイドミラー、リアバンパー、バックドア及び車室内のフロントガラスの上部のうちの少なくとも１つの位置に配設されている。フロントノーズのほぼ中央に備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を捕捉する。車両２９００の前方を捕捉した画像に基づいて、先行車両や通行人、障害物、信号機、道路標識、車線などを検出することができる。また、サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を捕捉する。また、リアバンパー又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を捕捉する。

　図２中、撮像範囲ａはフロントノーズのほぼ中央に設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ並びにｃはそれぞれ左右のサイドミラーに設けられた撮像部２９１２並びに２９１４の撮像範囲を示し、撮像範囲ｄはリアバンパー又はバックドアに設けられた撮像部２９１６の撮像範囲を示している。例えば、撮像部２９１０、２９１２、２９１４、２９１６で撮像された画像データを重ね合わることにより、車両２９００を上方から見た俯瞰画像を得ることができる。なお、車室内のフロントガラスの上部に設けられた撮像部２９１８の撮像範囲については、図示を省略する。

　車両２９００のフロント、リア、サイド、コーナー及び車室内のフロントガラスの上部にそれぞれ設けられる各車外情報検出部２９２０、２９２２、２９２４、２９２６、２９２８、２９３０は、例えば超音波センサーやレーダー装置で構成される。車両２９００のフロントノーズ、リアバンパー、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０、２９２６、２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０～２９３０は、主として先行車両、通行人又は障害物などの検出に用いられる。

Ｂ．車載カメラの撮像制御
Ｂ－１．車載カメラによる撮像画像
　車載カメラの設置位置については図２に例示した。車載カメラのように、移動体に搭載されるカメラで撮像した画像の特徴の１つとして、画面内の位置毎に被写体の動き・変化が不均一である、ということが挙げられる。

　図３には、車載カメラ３００の撮像画像に写った各被写体３０１、３０２が車両の走行に伴って変化する様子を示している。

　車両の正面方向３１０とほぼ等しい視線方向３１１で捉えることができる被写体３０１は、車両が進行した後も被写体３０１´の視線方向３１１がほぼ変わらず、撮像画像３２０上の位置もあまり変化しない。また、フレーム毎の画の変化が小さい。したがって、車載カメラ３００で被写体３０１を比較的鮮明（若しくは、高解像度）に撮像することができる。

　一方、車両の正面方向３１０となす角度が大きい視線方向３１２で捉えられる被写体３０２は、車両が進行した後の被写体３０２´の視線方向３１２が変わり、撮像画像３０２上の位置も移動前の被写体３０２から大きく移動するため、像がぼやけ易い。車両の速度が増すと、画像内の移動量がより大きくなり、被写体３０２´はブラーやフォーカルプレーン歪みを生じ易く、物体認識が困難になりがちである。車速が増すほど、ブラーやフォーカルプレーン歪みは甚だしくなる。

　例えば、図４に示すような車両前方の風景を、車両を走行（前方に直進）させながら撮影したとすると、図５に示すように、撮像画像の中央付近は比較的鮮明であるが、撮像画像の周辺では動被写体のブラーが発生している。

　車載カメラの撮像画像を、図６に示すように、被写体の移動量が小さい高解像度な中央領域６０１と、被写体の移動量が大きい周辺領域６０２に分けることができる。中央領域６０１では、被写体を比較的鮮明に撮像することができ、問題ない。これに対し、周辺領域６０２については、動被写体のブラーやフォーカルプレーン歪みを抑えて物体認識率を向上するためには、短い露光時間で、高速読み出しで、高速連写（若しくは、高フレームレート）で撮像する必要がある、と本出願人は思料する。

　ここで、フォーカルプレーン歪みとは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージ・センサーなどの１行単位に読み出し動作を行なう撮像素子において発生する現象であり、行毎に読み出し時間が徐々にずれていくことに起因して、１枚の画像にすると動被写体が歪んでしまう現象である（例えば、特許文献２を参照のこと）。撮像素子の読み出し速度を高速にすれば、自ずとフォーカルプレーン歪みは解消される。

　なお、図６は、視線方向が車両の正面方向と一致するように設置された車載カメラで、車両が直進走行する場合の例である。図６は、消失点を含む領域を中央領域に定義する例と言うこともできる。車載カメラの視線方向が車両の正面方向に対して傾いている場合や、車両が直進ではなく左右折しているとき、坂道（上り坂、下り坂）を走行しているときは、中央領域の配置が変化する（後述）。

　また、車載カメラの撮像画像の他の特徴として、例えば夜間（曇天時や雨天時を含む）や暗所を走行中に、領域毎の輝度が不均一になる、ということが挙げられる。

　図７には、夜間又は暗所を走行中の車両の車載カメラで撮像した画像を例示している。図示の例では、撮像画像６００の中央領域６０１に入っている路面は、同車両のヘッドランプで照射されているので、高輝度となり鮮明に撮像することができる。これに対し、周辺領域６０２は、ヘッドランプの照射光が届かないので、暗いままである。中央領域６０１と周辺領域６０２を同じ露光条件で撮像し、又は、同じ感度の撮像素子で撮像すると、周辺領域６０２は暗く写ってしまう。あるいは、周辺領域６０２に露光条件や撮像素子の感度を合わせると、中央領域６０１はオーバー露光となり、白く飽和してしまうであろう（図示しない）。したがって、周辺領域６０２については、中央領域６０１よりも長い露光時間で、若しくは高感度の撮像素子で撮像する必要がある、と本出願人は思料する。

　なお、車載カメラではなく、一般的なカメラの撮像画像でも、画角に照明が入ることにより領域毎の輝度が不均一になるという点では共通する。但し、車載カメラにおいては、ヘッドランプが照射される中央領域６０１は高輝度となり、ヘッドランプの照射光が届かない周辺領域６０２が低輝度になる（すなわち、高輝度、低輝度になる各領域が固定的である）という点で特徴的と言える。

　以上をまとめると、車両の運転状況に応じて、周辺領域を、中央領域よりも、短い（又は長い）露光時間で、高速読み出しや高フレームレートの撮像動作を実現できる撮像装置、若しくは撮像制御装置が必要である。ＣＭＯＳではなくＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）を撮像素子に用いた場合も同様である。

Ｂ－２．撮像装置の構成
　図３１には、車載カメラとして適用可能なカメラ・モジュール３１００の構成例を示している。図示のカメラ・モジュール３１００は、カメラ制御部３１１０、撮影レンズ３１１１と、撮像素子３１２０と、画像処理部３１３０と、位相差検出部３１４０と、表示処理部３１５０と、表示部３１６０と、画像出力部３１７０と、画像記録制御部３１８０と、画像記録部３１９０を備えている。

　カメラ制御部３１１０は、カメラ・モジュール３１００全体を制御する。例えば、カメラ制御部３１１０は、ユーザーの操作に従って、信号線３１１９を介して撮像素子３２００へ制御信号を出力して画像を撮像させる。この制御信号には、ライブビュー・モード又はキャプチャー・モードであるかを示す信号が含まれる。ライブビュー・モードは、画像を一定の間隔（例えば、１／３０秒毎）で撮像して表示部３１６０に表示するためのモードである。一方、キャプチャー・モードは、動画又は静止画を撮像して記録するためのモードである。動画には、一定の間隔で撮像された複数の画像が含まれる。ライブビュー・モードにおいて撮像される画像は、キャプチャー・モードにおいて撮像される画像よりも低解像度に設定される。また、カメラ制御部３１１０は、ユーザーの操作に従って、位相差検出部３１４０が検出した位相差を受け取り、撮影レンズ３１１１におけるフォーカシング・レンズなどの位置を位相差に応じて制御することにより、焦点距離を調節する。

　撮影レンズ３１１１は、焦点距離を変更することができるレンズである。例えば、フォーカシング・レンズ、バリエーター、コンペンセーター、並びにマスターレンズ（いずれも図示しない）からなる、いわゆる４群ズーム・レンズが撮影レンズ３１１１として用いられる。

　撮像素子３１２０は、撮影レンズ３１１１を介して受光した光量を電位に変換し、その電位に応じた画素値を出力する。例えば撮像素子３１２０は、複数の通常画素と複数の位相差画素とを備えている。位相差画素は、位相差を検出するための画素である。各位相差画素は、瞳分割された一対の光の各々を受光するための一対の画素（以下、「左側画素」及び「右側画素」と称する。）からなる。一方、通常画素は、位相差画素以外の画素であり、画像を生成するために用いられる。撮像素子３１２０は、カメラ制御部３１１０の制御に従って、通常画素の画素値を読み出し、信号線３１２９を介して画像処理部３１３０へ出力する。また、撮像素子３１２０は、位相差画素の画素値を読み出し、信号線３１２９を介して位相差検出部３１４０へ出力する。

　画像処理部３１３０は、通常画素の画素値により生成される画像に対して、デモザイク処理などの画像処理を実行する。画像処理部３１３０は、通常画素の画素値からなる画像を保持し、その画像において位相差画素の画素値を補間し、さらに補間後の画像にデモザイク処理やホワイトバランス処理などの画像処理を必要に応じて実行してから、表示処理部３１５０及び画像記録制御部３１８０に信号線３１３９を介して出力する。また、画像処理部３１３０において、撮像画像の認識処理を行なう場合もある。

　位相差検出部３１４０は、位相差画素の画素値から位相差を検出する。例えば、位相差検出部３１４０は、左側画素及び右側画素のそれぞれの輝度値の分布を生成し、それらの相関度から位相差を検出する。位相差検出部３１４０は、検出した位相差を、カメラ制御部３１１０に信号線３１４９を介して出力する。

　表示処理部３１５０は、画像に対して、γ補正処理、色補正処理、又はコントラスト調整処理などの表示処理を必要に応じて実行する。表示処理部３１５０は、これら表示処理後の画像を表示部３１６０及び画像出力部３１７０に信号線３１５９を介して出力する。

　表示部３１６０は、表示処理部３１５０からの画像を表示する。また、画像出力部３１７０は、表示処理部３１５０からの画像をカメラ・モジュール３１００に外部接続された機器へ出力する。

　画像記録制御部３１８０は、画像処理部３１３０からの画像を画像記録部３１９０に信号線３１８９を介して出力して、その画像を画像記録部３１９０に記録させる。画像記録部３１９０は、画像記録制御部３１８０から渡される画像を記録する。

　図３２には、撮像素子３１２０の構成例を示している。撮像素子３１２０は、タイミング制御回路３２１０と、行走査回路３２２０と、転送信号生成回路３２３０と、画素アレイ部３２４０と、Ｄ／Ａ変換部（ＤＡＣ）３２５０と、Ａ／Ｄ（ＡＤＣ）変換部３２６０と、カウンター３２７０と、列走査回路３２９０を備えている。

　タイミング制御回路３２１０は、カメラ制御部３１１０からの制御信号に従って、画素値の出力のタイミングを制御する。タイミング制御回路３２１０は、タイミング信号Ｔｃ及びＴｒを出力することにより、行及び列の走査のタイミングを制御する。タイミング信号Ｔｃは、行の走査開始のタイミングを指示する信号である。一方、タイミング信号Ｔｒは、行の各々における列の走査開始のタイミングを指示する信号である。ここで、行は、画素アレイ部３２４０において、ある一方向に複数の画素が配列されたものであり、水平ラインとも呼ばれる。これらの行（水平ライン）のうち位相差画素を含む行を位相差ラインと称し、位相差画素を含まない行を通常ラインと称する。一方、列は、画素アレイ部３２４０において、行と直交する方向に複数の画素が配列されたものであり、垂直ラインとも呼ばれる。

　具体的には、タイミング制御回路３２１０は、１枚の画像を撮像するための撮像期間の開始時にタイミング信号Ｔｃを生成して行走査回路３２２０及び転送信号生成回路３２３０に供給する。この撮像期間は、通常画素の画素値を出力するための通常画素出力期間と、位相差画素の画素値を出力するための位相差画素出力期間に分割される。タイミング制御回路３２１０は、撮像期間開始時にタイミング信号Ｔｃを出力した後、位相差画素出力期間の開始時にタイミング信号Ｔｃを出力する。そして、タイミング制御回路３２１０は、撮像期間内の行の選択のタイミングに同期してタイミング信号Ｔｒを生成して列走査回路３２９０に供給する。但し、ライブビュー・モードの場合には、選択される行の数が少なくなるため、タイミング制御回路３２１０は、キャプチャー・モードの場合より、少ない数のタイミング信号Ｔｒを撮像期間内に生成する。

　例えば、位相差ラインｋ行を含むｎ行、ｍ列の画像が１枚撮像される場合、タイミング制御回路３２１０は、撮像期間開始時にタイミング信号Ｔｃを１回生成し、通常画素出力期間内にタイミング信号Ｔｒをｎ回生成する。ここで、ｎ、ｍは、２以上の整数であり、ｋは１乃至ｎの整数である。そして、タイミング制御回路３２１０は、位相差画素出力期間開始時にタイミング信号Ｔｃを１回生成し、位相差画素出力期間内にタイミング信号Ｔｒをｋ回生成する。また、タイミング制御回路３２１０は、基準電圧値を示すデジタル信号をＤ／Ａ変換部３２５０に供給する。さらに、タイミング制御回路３２１０は、タイミング信号Ｔｒを生成するタイミングと同期してカウンター３２７０を制御してカウンター値を初期値にする。

　行走査回路３２２０は、タイミング信号Ｔｃ及び制御信号に従って、行の各々を選択するものである。この行走査回路３２２０は、通常画素出力期間内に、行選択信号を行の各々へ信号線３２２９－１乃至３２２９－ｎを介して順に出力することにより行を選択する。これらの行選択信号は、例えば、行が選択される場合にハイレベルに設定され、選択されない場合にローレベルに設定される。また、行走査回路３２２０は、位相差画素出力期間内に、位相差ラインの各々を順に選択する。但し、ライブビュー・モードの場合には、行走査回路３２２０は、キャプチャー・モードの場合より少ない数の行を撮像期間内に選択する。なお、行走査回路３２２０は、特許請求の範囲に記載の行走査部の一例である。

　転送信号生成回路３２３０は、タイミング信号Ｔｃ及び制御信号に従って、選択された列における画素の各々に転送信号を出力することにより、画素を駆動する。この転送信号は、例えば、画素を駆動させる場合にハイレベルに設定され、駆動させない場合にローレベルに設定される。転送信号生成回路３２３０は、タイミング信号Ｔｃから行走査回路３２２０が行を選択するタイミングを取得する。通常画素出力期間内においては、転送信号生成回路３２３０は、行の選択のタイミングに同期して、選択された行における通常画素の各々を同時に駆動する。そして、位相差画素出力期間内においては、転送信号生成回路３２３０は、行の選択のタイミングに同期して、選択された行における位相差画素の各々を同時に駆動する。但し、ライブビュー・モードの場合には、キャプチャー・モードの場合より少ない数の行が選択されるため、通常画素出力期間および位相差画素出力期間は短くなる。なお、転送信号生成回路３２３０は、特許請求の範囲に記載の駆動部の一例である。

　画素アレイ部（画素領域）３２４０は、例えば、複数の位相差画素３２４１と複数の通常画素３２４２とが２次元格子状に配列して構成される。それぞれの画素は、ハイレベルの行選択信号および転送信号が入力された場合に、受光量に応じた電位の電気信号である画素信号をＡ／Ｄ変換部３２６０へ信号線３２４９－１乃至３２４９－ｍのうち対応する列の信号線を介して出力する。

　Ｄ／Ａ変換部３２５０は、タイミング制御回路２１０からの基準電圧値をＤ／Ａ（Ｄｉｇｉｔａｌ　ｔｏ　Ａｎａｌｏｇ）変換して、基準電圧ＶｒｅｆをＡ／Ｄ変換部２６０に供給する。

　Ａ／Ｄ変換部３２６０は、アナログ信号である画素信号をデジタル信号に変換する。Ａ／Ｄ変換部３２６０は、複数（例えば、ｍ個）のＡ／Ｄ変換回路を備える。各々のＡ／Ｄ変換回路は、コンパレーター３２６２とメモリー３２６３を備える。コンパレーター３２６２は、参照電圧Ｖｒｅｆと、画素信号の電圧とを比較して比較結果を出力するものである。各Ａ／Ｄ変換回路は、例えば、積分回路（図示を省略）により画素信号を積分し、積分した電圧が基準電圧Ｖｒｅｆを越えたことをコンパレーター３２６２の出力値が示すまでの期間をカウンター３２７０に計数させる。そして、カウンター３２７０の計数値を画素値としてメモリー３２６３に保持する。

　メモリー３２６３は、画素値を保持するものである。各メモリー３２６３には、信号線３２９８－１乃至３２９８－ｍのうち対応する列の信号線を介して列選択信号が入力される。列選択信号は、列に対応するメモリー３２６３を選択して画素値を出力させるための信号である。例えば、画素値を出力させる場合には、列選択信号にハイレベルが設定され、出力させない場合にはローレベルが設定される。メモリー３２６３は、列選択信号がハイレベルの場合に信号線３２０９を介して画素値を出力する。

　列走査回路３２９０は、タイミング信号Ｔｒ及び制御信号に従って、選択された行における画素の各々の画素値を読み出して出力する。転送信号生成回路３２３０は、通常画素出力期間において、タイミング信号Ｔｒが入力される度に、Ａ／Ｄ変換部３２６０に保持された通常画素の画素値を所定の順番で読み出して出力する。また、転送信号生成回路３２３０は、位相差画素出力期間において、タイミング信号Ｔｒが入力される度に、Ａ／Ｄ変換部３２６０に保持された位相差画素の画素値を所定の順番で読み出して出力する。ここで、列走査回路３２９０は、タイミング信号Ｔｒの回数を計数することにより、通常画素出力期間及び位相差画素出力期間の各々の開始及び終了時点を取得する。例えば、ｎ行の画像撮像において、通常画素出力期間は、最初のタイミング信号Ｔｒが入力されてから、ｎ回目のタイミング信号Ｔｒが入力されるまでの期間である。但し、ライブビュー・モードにおいては、選択される行がキャプチャー・モードの場合より少ないため、各期間において計数されるタイミング信号の行数も少なくなる。なお、列走査回路３２９０は、特許請求の範囲に記載の列走査部の一例である。

　図８には、本実施形態において車載カメラとして適用可能な撮像素子の画素領域８００の構成例を示している。図示の画素領域８００は、複数の領域に分割され、領域毎に大きさの異なる画素を配列して、用途（若しくは、撮像時の運転状況）に応じて領域毎の感度や解像度を最適化している。

　図８に示す例では、撮像素子の画素領域８００を、中央領域８０１と、中央領域８０１の紙面左右の周辺領域８０２、８０３の３つの領域に分割している。後述するが、領域毎のＡＤ変換処理や、画素単位での独立読み出しなど、画素又は画素領域の独立制御により、領域分割が実現する。中央領域８０１に対し、周辺領域８０２、８０３をより高感度にすることで、露光時間を短くすることができ、その結果、フレームレートを高くして、周辺領域８０２、８０３におけるブラーやフォーカルプレーン歪みを解消することができる。

　それぞれ分割された領域の中で、高感度を実現する方法として、ゲイン制御（感度を上げたい領域のゲインを吊り上げる）や画素加算による方法、画素サイズの調整（感度を上げたい領域の画素サイズを大きくする）による方法を挙げることができる。例えば一部領域に対してゲイン制御や画素加算を行なうことで、当該領域における感度を高くすることができる。また、画素サイズの調整としては、領域毎にサイズが異なる画素を実装した専用の撮像素子を製造する方法がある。例えば、サイズの大きい画素を配置した領域は、サイズの小さい画素を配置した領域よりも高感度になる。なお、画素加算を行なう領域は、見かけ上の画素サイズを大きく調整することと考えることもできる。

　図８に示す例では、中央領域８０１内に細かい画素を配置する一方、各周辺領域８０２、８０３には、画素サイズの大きい画素を配置している。但し、以下の説明では、分割した領域毎に画素サイズを変えて製造した撮像素子と、画素領域全体にわたってサイズが均一な画素の配列からなる撮像素子において周辺領域８０２、８０３で画素加算を行なう場合の両方を含むものとする。また、図８では、簡素化のため、各領域８０１～８３の一部しか画素配置を描いていない。なお、画素領域全体にわたってサイズが均一な画素の配列は、図３３に示すようにすべての画素が同一のサイズからなる場合の他に、図３４や図３５に示すように、異なるサイズの画素が混在するが画素領域内に各サイズの画素が均一に分布している場合も含むものとする。

　中央領域８０１は、細かい画素で構成されることから、高解像度での撮像を実現している。一方の周辺領域８０２、８０３は、画素サイズの大きい画素で構成されることから、低解像度となる。周辺領域８０２、８０３を低解像度で撮像すること自体は目的でないが、サイズの大きい画素は受光面積が大きいことから高感度を実現することができる。したがって、高感度であることから、高速運転時や動被写体撮影時に周辺領域８０２、８０３の露光時間を短くして、ブラーを低減することができる。また、夜間や暗所を走行時において、露光時間を長くすることで、（ヘッドランプで照射されていない）周辺領域８０２、８０３を十分な感度で撮像することが可能になる。

　また、画素サイズを大きくして低解像度にすると、１行（若しくは単位長さ当たり）の画素数が少なくなることから、（ピクセルレート（画素当たりの読み出し時間）が一定という前提の下で）周辺領域８０２、８０３の読み出し速度が向上する。したがって、周辺領域８０２、８０３を高フレームレートで撮像する（すなわち、高速連写する）ことができ、高速運転時や動被写体撮影時に周辺領域８０２、８０３を高速連写することによって動被写体の物体認識率を向上することができる。

　図８に示したような、中央領域と周辺領域とでサイズが異なる画素を配置した撮像素子を用いれば、領域毎に撮像条件（露光条件、感度、フレームレート、読み出し速度）を制御することが可能である。領域毎の画素サイズの異なる撮像素子の構成方法として、サイズが均一な画素の配列で構成される撮像素子において、画素加算やゲイン調整などの信号処理によって一部の領域の画素サイズを見かけ上大きくする方法や、領域毎にサイズの異なる画素を配置した撮像素子を製作する方法が挙げられる。画素やオンチップ・レンズの設計や生産効率を考慮した場合、前者のサイズが均一な画素配列で構成される撮像素子を用いた構成方法の方が優位である。また、前者の方法によれば、中央領域、周辺領域の各位置や大きさを信号処理によって適応的に変化させることができるというメリットもある。なお、サイズの異なる画素を配置した撮像素子に関する技術については、例えば特許文献３や特許文献４にも開示されている。

　さらに、本実施形態では、撮像素子の画素領域８００を、分割した領域毎に並列してスキャン（画素読み出し）を行なう構成とした。図９には、画素領域８００を分割した領域毎にスキャンする様子を示している。同図中、中央領域８０１、並びに周辺領域８０２、８０３の各領域のスキャン・ラインをそれぞれ参照番号９０１、９０２、９０３で示している。中央領域８０１と周辺領域８０２、８０３とで画素サイズが異なるので、スキャン・ラインの間隔が相違する。すなわち、周辺領域８０２、８０３のスキャン・ライン本数は中央領域８０１よりも少なく且つライン当たりの読み出し時間が短いので、周辺領域８０２、８０３の方が１フレームの読み出し時間が短く、したがって高フレームレート化することができる。

　図１０には、撮像素子の画素領域８００の各領域８０１～８０３から並列に読み出しを行なうカメラ・モジュール１０００の構成例を模式的に示している。同図中、第１の読み出し及びＡＤ変換部１００１は、中央領域８０１内の画素読み出し及び読み出し信号のＡＤ変換を行なう。また、第２の読み出し及びＡＤ変換部１００２と第３の読み出し及びＡＤ変換部１００３は、それぞれ周辺領域８０２、８０３の画素読み出し及び読み出し信号のＡＤ変換を、第１の読み出し及びＡＤ変換部１００１と並列して行なう。各読み出し及び読み出し信号のＡＤ変換部１００１～１００３はＡＤ変換後の画素信号を画像処理部１００４に出力する。中央領域８０１と周辺領域８０２、８０３でサイズが異なる画素を配置した画素アレイを第１層とし、領域８０１～８０３毎の読み出し信号のＡＤ変換部１００１～１００３を第２層とし、最終段の画像処理部１００４を第３層として積層した撮像装置として構成することもできる。画像処理部１００４では、例えば各領域８０１～８０３で捕捉された動被写体の物体認識処理などを行なう。画素領域８００を分割した領域毎に並列してスキャンしＡＤ変換などの信号処理する構成とすることで、領域毎に露光時間やフレームレートを個別に制御することができる。なお、一般的には、画素領域８０００とＡＤ変換部１００１～１００３を合わせて（場合によっては、ＡＤ変換後の画素信号を蓄積するメモリー領域をさらに含めて）単一の撮像素子が構成され、また、この撮像素子に後段の画像処理部１００４を加えて撮像装置（カメラ・モジュール）が構成される。但し、車載カメラの場合には、画像処理部１００４に相当する機能は、カメラ・モジュール内の回路モジュールとして実装されるのではなく、車両側の制御回路チップに統合されている場合もある。

　ピクセルレートが一定であるという前提では、中央領域８０１は、画素サイズが小さく高解像度であるが、１ライン当たりの画素数が多くなる分だけ読み出し信号のＡＤ変換部１００１での読み出し速度が遅くなり、したがって中央領域８０１でのフレームレートが低くなる。一方、周辺領域８０２、８０３は、画素サイズが大きいことから、高感度であるとともに低解像度となるが、各読み出し及び読み出し信号のＡＤ変換部１００１～１００３が同一チップ内で同じ動作周波数で動作する回路であるとすると、周辺領域８０２、８０３で高フレームレートを実現することができる。

　なお、領域毎のＡＤ変換などの信号処理を並列して実行できるように構成された撮像素子については、例えば特許文献５や特許文献６にも開示されている。

　図１１には、図８～図１０に示した構成からなる撮像装置を、視線方向が車両の進行方向と一致するようにして、車両のフロントノーズ中央付近に設置したときの、撮像範囲１１００を模式的に示している。撮像装置は、撮像範囲１１００は、３つの撮像範囲１１０１～１１０３に分割して撮像し、画像処理する。

　参照番号１１０１で示す撮像範囲は、画素領域８００の中央領域８０１によって高解像度で撮像される注視領域である。例えば、先行車両の背面や、道路の路肩に設置された道路標識（道路案内）、道路の路面に描かれた道路標識、先行車両のテール・ランプ、横断歩道を渡る歩行者などの注視領域に入る物体を、中央領域８０１で高解像度に撮像することができる。また、画像処理部１００４では、中央領域８０１で撮像した画像から正確に物体認識したり、物体までの距離を計測したりすることができる。

　一方、参照番号１１０２、１１０３で示す撮像範囲は、画素領域８００の周辺領域８０２、８０３で撮像される、高速移動体認識重視領域である。図３を参照しながら既に説明したように、車両を高速で運転している際には、撮像範囲１１０２、１１０３に入る被写体は、撮像範囲１１０１内の被写体よりも高速に動く。周辺領域８０２、８０３は、画素サイズの大きい画素で構成され低解像度であるが、読み出し速度が速いので、高フレームレートで撮像（すなわち、高速連写）して、高速な移動体の認識精度を向上させることができる。また、周辺領域８０２、８０３は、画素サイズの大きく高感度であることから、注視領域１１０１よりも、露光時間を短くしてブラーを低減することができる。

　なお、高速移動体認識重視領域を、画素領域８００中の低解像度で且つ高感度にした周辺領域８０２、８０３で撮像するのではなく、高解像度のままの周辺領域８０２、８０３で撮像した画像に対して（例えば現像の過程で）エッジ処理を適用して物体認識率を向上させるようにしてもよい。

Ｂ－３．領域毎の撮像条件処理
　図８～図１０に示した撮像装置は、画素領域８００を分割した領域毎に並列してスキャンし信号処理する構成であり、領域毎に露光時間や感度、フレームレート、読み出し速度などの撮像条件を個別に制御することができる（前述）。

　図１２には、画素領域８００の領域毎の露光及び読み出し処理時のタイミングチャートの一例を示している。上述したように、中央領域８０１と周辺領域８０２、８０３の露光及び読み出し処理は並列して実行される。同図中、横軸は時間軸であり、縦軸はスキャン・ライン（行番号）である。ここでは、撮像素子として、ＣＭＯＳイメージ・センサーなどの１行単位に読み出し動作を行なう撮像素子を想定している。

　図１２中でグレー表示された平行四辺形は、中央領域８０１及び周辺領域８０２、８０３の各々における露光動作を表している。ここで、１フレームの露光処理のタイミングチャートを示した図１３を用いて説明すると、平行四辺形の底辺の長さに相当する時間Ｔ１は、１スキャン・ラインの露光時間である。露光時間は、基本的にはシャッター・スピードで決まる。また、隣接する平行四辺形間の間隔に相当する時間Ｔ２はフレーム間隔であり、単位時間をＴ２で割った値がフレームレートを示す。また、平行四辺形の斜辺の角度θは、スキャン・ライン毎の読み出し時間のずれ、すなわち読み出し速度に相当する。読み出し速度が低いと、角度θが小さく、動被写体の撮像時にフォーカルプレーン歪み（前述）を生じ易い。逆に、読み出し速度が速いと、角度θが大きくなり、フォーカルプレーン歪みを抑制することができる。低解像度にすると（言い換えれば、ライン当たりの画素数を少なくすると）、読み出し速度は速くなる。ＡＤ変換速度を速くすることによっても読み出し速度は速くなる。

　再び図１２を参照すると、中央領域８０１は、サイズの小さい画素で構成され、高解像度の画像を撮像しているものとする。一方、周辺領域８０２、８０３は、サイズの大きい画素で構成され、高感度であることから、中央領域８０１よりも露光時間を短くすることができる（図１２中、周辺領域８０２、８０３の平行四辺形の底辺の長さ（Ｔ１）は短くなる）。したがって、動被写体撮影時や高速運転時の周辺領域の景色に生じるブラーを低減することができる。さらに、周辺領域８０２、８０３の露光時間が短いことを利用して、高フレームレート化してもよく（図１３中、隣接する平行四辺形間の間隔Ｔ２を短縮することができ）、高速運転時や動被写体撮影時における物体の認識精度を向上することができる。

　また、周辺領域８０２、８０３は、低解像度にすることで、中央領域８０１よりも読み出し速度を高くすることができる。したがって、周辺領域８０２、８０３の平行四辺形の斜辺の傾きθが大きくなるので、フォーカルプレーン歪みを抑制することができる。勿論、周辺領域を低解像度にするのではなく、周辺領域における信号処理速度（ＡＤ変換速度など）を上げることによっても、読み出し速度が高くなりブラーやフォーカルプレーン歪みを抑制することができる。

　要するに、図１２に示したような露光・読み出し動作によれば、周辺領域８０２、８０３を高フレームレート化して正確に物体認識できるとともに、短時間露光であるため、高速な動被写体のブラーを低減することができる。図１２に示す露光・読み出し動作は、例えば車両の高速運転時や動被写体の認識時に有効である。

　例えば、高速道路を走行中に、追い越しのために車線変更しようとするときには、車両の後方を撮像する撮像部２９１６に本明細書で開示する技術を適用した場合、周辺領域で撮像される道路のレーンや後続車両を正確に認識して、適切な追い越し制御を行なうことができる。

　図１４には、画素領域８００の露光及び読み出し処理時のタイミングチャートの他の例を示している。周辺領域８０２、８０３において、中央領域８０１よりも短時間露光で撮像している点は、図１２に示した読み出し処理と共通するが、周辺領域８０２、８０３と中央領域８０１で同じフレームレートにした点（すなわち、周辺領域８０２、８０３を高速横流しにした点）で相違する。周辺領域８０２、８０３では高速読み出しとなるので、動被写体のブラーやフォーカルプレーン歪みが低減されるので、高フレームレート化しなくても、高速で移動する物体を正確に認識することが可能である。

　また、図１５には、画素領域８００の露光及び読み出し処理時のタイミングチャートのさらに他の例を示している。図示の例では、周辺領域８０２、８０３と中央領域８０１で、露光時間及びフレームレートを同一にして撮像を行なっている。周辺領域８０２、８０３はサイズの大きい画素が配置されているので、同じ露光時間でも受光面積に比して感度が上がる（前述）。したがって、周辺領域８０２、８０３の露光時間を中央領域８０１と同程度の長時間露光にすることで、低照度の被写体の視認性が向上する。例えば、夜間走行時には、ヘッドランプが照らされない低照度の被写体を周辺領域８０２、８０３で撮像することになるが（例えば、図７を参照のこと）、図１５に示す露光処理によれば、低照度の被写体を高感度で捉えることができる。図示を省略するが、周辺領域８０２、８０３の露光時間を、中央領域８０１よりも長くしてもよい。異なる露光条件で撮像された各領域８０１～８０３の画像を読み出して１枚の画像に合成するときには、階調補正を行なうことで、視認性の高い全体画像を得ることができる。

　なお、図３を参照しながら説明したように、中央領域はフレーム毎の画の変化が小さい。そこで、中央領域に関しては、複数フレームを合成して表示するようにしてもよい。例えば、中央領域については露光を変えながら撮像した複数枚をＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）合成して、幅広いダイナミックレンジを持つ画像を生成するようにしてもよい。

Ｂ－４．運転状況に応じた撮像条件制御
　図８～図１０に示したような、中央領域と周辺領域とで画素サイズが異なる撮像素子を備えた撮像装置によれば、車両の運転状況に応じて中央領域８０１に対する周辺領域８０２、８０３の撮像条件を適応的に制御することで、ブラー低減、動被写体の正確な認識処理、低照度の被写体の高感度撮像などを実現することができる。周辺領域８０２、８０３の撮像条件の調整パラメーターとして、露光時間、感度、フレームレート、解像度、読み出し速度を挙げることができる。以下の表１には、各運転状況における周辺領域８０２、８０３の適切な撮像条件を、調整パラメーター毎に示した。但し、同表では、中央領域８０１に対して周辺領域８０２、８０３の差分調整を行なう場合の例であり、中央領域８０１よりも「高」、「低」のいずれであるかを示した。また、差分調整が不要な（若しくは、通常調整でよい）調整パラメーターについては「－」を記入した。なお、同表中の「露光時間」や「フレームレート」の定義は、既に述べた通りである。

　まず、各調整パラメーターを調整する効果と調整方法について説明しておく。露光時間は、基本的に、撮像装置のシャッター・スピードで調整することができる。露光時間を短くするとシャッター・スピードを速くすることになり（前述）、ブレを抑制することができる。したがって、露光時間を短くすることにより、動被写体の撮影時や高速運転時の周辺領域の景色に生じるブラーを低減することができる。短露光時間では、撮像素子の受光量が少なくなるので、感度が低下し又は高感度にする必要がある。逆に、露光時間を長くすると、撮像素子の受光量が増すので高感度になるという効果がある。

　感度を高くすると、夜間やトンネル内を始めとする暗所（若しくは、ヘッドライトの照射光が届かない周辺領域）での被写体の撮像が可能になる。また、高感度であれば、短露光時間での撮像が可能となるため、結果として短露光時間にして動被写体の撮影時や高速運転時の周辺領域の景色に生じるブラーを低減するという効果を導き出することができる。例えば、撮像信号の処理時におけるゲインを上げることで感度を高くすることができる。また、画素サイズを大きくすると、画素当たりの受光量が増すので高感度になる。画素加算の機能を装備する撮像素子であれば、加算により見かけ上の画素サイズが大きくなるので、同じく高感度になる。但し、画素サイズを大きくしたり画素加算を行なったりすると、低解像度になる。

　フレームレートを高くすると、単位時間当たりに処理するフレーム数が増すので、動被写体の動きを滑らかに捉えることができ、高速運転時の周辺領域の景色に生じるブラーを低減することができる。フレームレートを高くするには、撮像信号の処理速度を向上しなければならないが、ＡＤ変換速度若しくは回路の動作クロック周波数を上げることで実現できる。また、フレームレートを高くするには、短露光時間であることが前提であり、感度が低下し、若しくは高感度にする必要がある。高感度にするには、ゲイン向上、画素サイズを大きくする、画素加算や間引き読み出しを行なうなどの方法がある。但し、画素加算や間引き読み出しを行なうと、低解像度になる。画素加算を行なうと高感度になるが、間引き読み出しでは感度は向上しない。

　読み出し速度を高くすると、読み出し時間が短くなるので（すなわち、図１３中の角度θが大きくなる）、動被写体の撮影時におけるフォーカルプレーン歪みを低減することができる。撮像信号の処理速度を上げる（例えば、回路の動作クロック周波数を吊り上げるなどしてＡＤ変換速度を向上させる）ことによって、読み出し速度を高くすることができる。

　通常（若しくは低速）走行時やバック走行の際には、中央領域と周辺領域のフレームレート及び露光時間を同じにして（例えば、図１５を参照のこと）、中央領域と周辺領域で一様な画像にする。例えば、車両状態検出部２１１０が検出する車輪の回転速度に基づいて駆動系制御ユニット２１００が通常走行又はバック走行であることを認識すると、車外情報検出ユニット２４００が撮像部２４１０に対して周辺領域のフレームレート及び露光時間の指示を行なうようにすればよい。

　高速運行時には、中央領域に対し、周辺領域を短露光時間、高フレームレート、高速読み出しにする（例えば、図１２を参照のこと）。中央領域は、解像度重視（すなわち、高解像度のまま）で、通常のフレームレート及び露光時間とする。一方、周辺領域では、短露光時間にすることで、高速運転時の周辺領域の景色に生じるブラーを低減することができる。なお、短露光時間にしたときの露光を補うために、周辺領域を高感度にすることが好ましい場合もある。また、周辺領域を高フレームレートにすることで、周辺領域の景色に生じるブラーを低減することができる。また、周辺領域で高速読み出しにすることで、高速運転時の周辺領域の景色に生じるフォーカルプレーン歪みを低減することができる。フレームレートを高くし、且つ露光時間を短くして、動被写体の解像度を重視する。例えば、車両状態検出部２１１０が検出する車輪の回転速度に基づいて駆動系制御ユニット２１００が高速運行であることを認識すると、車外情報検出ユニット２４００が撮像部２４１０に対して、周辺領域を短露光時間、高フレームレート、高速読み出しのうち少なくとも１つを指示するようにすればよい。

　すり抜けや街中運行時には、車両の横に接近した物体を検知する必要がある。そこで、すり抜けや街中運行時には、中央領域に対し、周辺領域を短露光時間、高感度にする。短露光時間にすることで、車両の横に接近した物体を少ないブラーで捉えることができる。また、高感度にすることで、短露光時間での撮像を可能にする。例えば、インストルメント・パネル２７３０に含まれるナビゲーション・システムで得られる地図情報や道路情報に基づいて、狭い街路か、建物が迫っているかを検知して、車外情報検出ユニット２４００が撮像部２４１０に対して周辺領域の短露光時間及び高感度の指示を行なうようにすればよい。

　但し、すり抜けや街中運行時において、左右両方ではなく、物体が接近してきた方の周辺領域に対してのみ短露光時間及び高感度を行なうようにすれば十分である（認識すべき動被写体が存在しない周辺領域に対して調整を行なう必要はない）。例えば、撮像部２４１０の撮像画像の物体に認識や、車外情報検出部２４２０に含まれる周囲情報検出センサーに基づいて、車両の左右いずれに物体が接近していることを認識して、車外情報検出ユニット２４００が撮像部２４１０に対して周辺領域のフレームレート及び露光時間の指示を行なうようにすればよい。

　夜間や暗所（トンネル内など）での運行時には、ヘッドライトが点灯して中央領域を明るくするが、周辺領域にはヘッドライトの照射光が届かないことが想定される。したがって、夜間や暗所（トンネル内など）での運行時には、周辺領域８０２、８０３と中央領域８０１の両領域について高感度に調整することを前提とした上で、周辺領域８０２、８０３についてはさらに長露光時間及び高感度に調整する。露光時間を長くすると撮像素子の受光量が増すので、ヘッドライトの照射光が届かない周辺領域を高感度で撮像することができる。また、周辺領域を画素サイズの大きな撮像素子で構成したり画素加算を行なったりすることによって、低解像度にはなるが高感度で撮像することができる。例えば、夜間や暗所に入ったときにドライバーが入力部２８００を介して高感度に調整する操作を行なったことに応答して、車外情報検出ユニット２４００が入力操作に応じた指示を撮像部２４１０に出力するようにすればよい。あるいは、車外情報検出部２４２０に含まれる日照センサーの検出結果に基づいて夜間や暗所であること（若しくは、照度が低下したこと）を検知すると、車外情報検出ユニット２４００が撮像部２４１０に対して周辺領域の露光時間を長くする指示を行なうようにすればよい。また、ナビゲーション・システムで得られる地図情報や道路情報に基づいてトンネルに入ったことを検知すると、車外情報検出ユニット２４００が撮像部２４１０に対して周辺領域の露光時間の指示を行なうようにすればよい。

　あるいは、夜間（曇天時や雨天時を含む）や暗所ではヘッドランプを点灯することから、ボディ系制御ユニット２２００においてヘッドランプの点灯が行なわれたことに応じて、撮像部２４１０に対して周辺領域の露光時間の指示を行なうようにすればよい。図７を参照しながら既に説明したように、ヘッドランプで照射されている中央領域は高輝度となり鮮明に撮像することができるが、周辺領域にはヘッドランプの照射光が届かないので、周辺領域は高感度で且つ長い露光時間により撮像する。また、ボディ系制御ユニット２２００においてヘッドランプをハイビーム又はロービームに切り替えたことに応じて、撮像部２４１０に対して周辺領域の露光時間の指示を行なうようしてもよい。

　動被写体認識時には、中央領域に対し、周辺領域を短露光時間、高感度、高フレームレート、高速読み出しにする。中央領域でも動被写体の認識率は低下するが、周辺領域の方が認識率の低下が大きい。短露光時間にすることで、動被写体に生じるブラーを低減することができる。また、高感度にすることで、短露光時間での撮像が可能となり、動被写体に生じるブラーを低減することができる。また、高フレームレートにすることで、動被写体に生じるブラーを低減することができる。また、高速読み出しにすることで、動被写体のフォーカルプレーン歪みを低減することができる。

　異常運転は、スピンやスリップ、車体の横転などである。一般には、スピンは、タイヤが路面に対して滑って車体が回転して、進みたい方向と車体の向きが大幅に違ってしまうことであり、タイヤが滑っても車体がそれほど回転しなければスリップである。異常運転時には、高速運行時と同様に、周辺領域では、フレームレートを高くし、且つ露光時間を短くして、動被写体の解像度を重視する。例えば、車両状態検出部２１１０に含まれる加速度センサーが異常な加速度が車両に加わったことを検出したり、撮像部２４１０が撮像した周囲画像が異常な動きをしたことを認識したりすることで、異常運転を検知することができる。そして、車外情報検出ユニット２４００が撮像部２４１０に対して周辺領域のフレームレート及び露光時間の指示を行なうようにすればよい。

　トンネル走行時には、ヘッドライトが点灯して中央領域を明るくするが、周辺領域にはヘッドライトの照射光が届かないことが想定される。したがって、トンネル走行時には、中央領域に対し、周辺領域を高感度及び高フレームレートに調整する。高感度にすることで、ヘッドライトの照射光が届かない周辺領域を好適に撮像することができる。また、高フレームレートにすることで、周辺領域の景色（トンネルの壁面）に生じるブラーを低減することができる。例えば、カーナビゲーションの情報に基づいてトンネル内を走行していることが判ると、車外情報検出ユニット２４００が撮像部２４１０に対して、周辺領域を高感度及び高フレームレートに調整するように指示すればよい。あるいは、車載カメラの撮像画像の認識結果から、トンネル内を走行していると認識することもできる。

　なお、表１では省略したが、撮像条件の調整パラメーターとして、解像度を含めるようにしてもよい。例えば、画素加算や間引き読み出しにより見かけ上の画素サイズを大きくすることができる撮像素子（後述）を利用する場合には、解像度を調整することが可能である。例えば、画素加算した領域は、低解像度となるが、感度が高くなることから、露光時間を短くすることができ、さらにフレームレートを上げることができる。

　撮像条件の調整パラメーターとして、現像モードをさらに含めることもできる。例えば、中央領域では色再現性、視認性を重視した現像処理モードに設定する一方、周辺領域では動被写体の視認性を向上するために簡易現像やエッジ強調を行なう現像処理モードに設定する。

　図２９には、画素領域に中央領域と周辺領域が設けられた撮像素子に対して、運転状況に応じて各領域（周辺領域）の撮像条件制御を行なうための処理手順をフローチャートの形式で示している。図示の処理手順は、例えば車両制御システム２０００内の統合制御ユニット２６００が主導的となって、所定のプログラムを実行することにより実現される。

　まず、車両状態検出部２１１０、車外情報検出部２４２０又は車内状態検出部２５１０の少なくとも１つの検出結果、又は、撮像部２４１０の撮像画像の解析結果などに基づいて、車両の現在の運転状況（高速運行、すり抜け・街中走行、夜間・暗所走行、動被写体出現時、異常運転時、トンネル走行など）を把握する（ステップＳ２９０１）。

　次いで、この運転状況に適当な、周辺領域の撮像条件（露光条件、感度、フレームレート、読み出し速度）を、例えば上記の表１に基づいて決定する（ステップＳ２９０２、２９０３）。

　そして、決定した撮像条件に基づいて、車載カメラの露光処理を実行する（ステップＳ２９０４）。

　さらに上記のようにして車載カメラで撮像した画像に対して認識処理を行なうとともに（ステップＳ２９０５）、周辺領域の認識結果などに基づいて車両の運転制御を実施するようにしてもよい（ステップＳ２９０６）。運転制御の詳細については後述に譲る。

Ｂ－５．サイズが均一な画素の配列からなる撮像素子を用いた撮像条件制御
　ここでは、サイズが均一な画素の配列からなる撮像素子を用いた場合の、撮像条件（露光時間、感度、フレームレート、読み出し速度）の制御方法について説明する。以下の方法を組み合わせることにより、上記Ｂ－４項で説明した運転状況に応じた制御を行なうことができる。

　露光時間はシャッター・スピードに相当する。短露光時間を実現するには、画素の感度を向上する必要がある。サイズが均一な画素の配列からなる撮像素子においては、ゲインを吊り上げる方法や、画素加算により見かけ上の画素サイズを大きくする方法が挙げられる。但し、画素加算を行なうと低解像度になる。例えば、周辺領域で短時間露光にすると、動被写体の撮影時や高速運転時の周辺領域の景色に生じるブラーを低減することができる。

　また、サイズが均一な画素の配列からなる撮像素子において、感度を上げるには、ゲインを吊り上げる方法や、画素加算により見かけ上の画素サイズを大きくする方法が挙げられる。但し、画素加算を行なうと低解像度になる。感度を高くすると、夜間やトンネル内を始めとする暗所（若しくは、ヘッドライトの照射光が届かない周辺領域）での被写体を鮮明に撮像することが可能になる。また、高感度であれば、短露光時間での撮像が可能となるため、結果として短露光時間にして動被写体の撮影時や高速運転時の周辺領域の景色に生じるブラーを低減するという効果を導き出することができる。

　また、サイズが均一な画素の配列からなる撮像素子において、フレームレートを高くするには、撮像信号の処理速度を向上しなければならないが、ＡＤ変換速度若しくは回路の動作クロック周波数を上げることで実現できる。また、画素加算や間引き処理によって見かけ上の画素数を少なくしてフレーム当たりの処理負荷を低減することで、高フレームレートを実現することができる。また、フレームレートを高くするには、短露光時間であることが前提であり、感度が低下し、若しくは高感度にする必要がある。高感度にするには、ゲイン向上、画素加算を行なうなどの方法がある。但し、画素加算を行なうと低解像度になる。なお、間引き読み出しでは、画素数削減によりフレーム当たりの処理時間を短縮できるが、感度は向上しない。フレームレートを高くすると、単位時間当たりに処理するフレーム数が増すので、動被写体の動きを滑らかに捉えることができ、高速運転時の周辺領域の景色に生じるブラーを低減することができる。

　また、サイズが均一な画素の配列からなる撮像素子において、読み出し速度を高くするには、撮像信号の処理速度を上げればよい（例えば、回路の動作クロック周波数を吊り上げるなどしてＡＤ変換速度を向上させる）。読み出し速度を高くすると、読み出し時間が短くなるので（すなわち、図１３中の角度θが大きくなる）、動被写体の撮影時におけるフォーカルプレーン歪みを低減することができる。

　なお、画素加算は、画素値の読み出し処理において、同じ色の複数の画素の画素値の加算信号を得ることである。例えば、加算の対象となる各画素に発生した電子をフローティング・ディフュージョン（ＦＤ）に蓄積して加算することで、画素加算を実現する。画素加算された画素同士は見かけ上は１画素となる。すなわち、画素加算された画素は低解像度となり、その結果、高感度で高速読み出しが可能な画素となる。但し、画素加算を行なう画素は、隣接する画素同士の他、隣接しないが距離が近い画素を含むものとする。図８～図１０に示した例に当てはめると、中央領域では画素加算を行なわずに高解像度を保つ一方、周辺領域では画素加算を行なうことにより、周辺領域の高感度、高フレームレートを実現することができる。

　色配列として、２×２の４画素を単位配列とする周期配列で、その単位配列の４画素中２画素をＧ画素として対角に配置し、他の２画素をＲ画素及びＢ画素とするベイヤー配列が一般的である。ベイヤー配列の撮像素子においては、水平方向又は垂直方向、又は、水平方向及び垂直方向において同色の色フィルターが隣接する複数画素を加算して読み出す同色画素加算読み出しにより画素加算を行なう方法などが知られている。

　但し、色配列はベイヤー配列には限定されず、他の配列パターンでもよく、その場合は同色画素加算読み出しによる画素加算を行なってもよい。ここで、他の配列パターンは、２×２の単位画素による周期配列には限定されず、３×３や３×４などの単位画素による周期配列でもよい。

　図２２には、画素加算により画素領域の領域分割を行なう撮像素子を例示している。ＲＧＢの各画素をそれぞれ２×２画素で構成し、全体の有効画素数は１／４にしている。但し、図面の簡素化のため、画素数を少なくして描いているが、実際には縦横ともに大画素数からなる画素アレイであると理解されたい。

　図２２中、参照番号２２１で示す太線で囲った領域の内側は中央領域であり、画素加算を行なわずに画素値の読み出し処理を行なう。したがって、中央領域の撮像画像は、高解像度のままである。一方、太線２２１の外側は周辺領域であり、ＲＧＢの各画素について、２×２画素加算を行なうことで、見かけ上は４倍サイズの画素として機能させている。したがって、周辺領域は、中央領域（若しくは、画素加算を行なわない通常の画素値読み出し処理の場合）と比べて、解像度は４分の１になるが、高感度となり、且つ、高速読み出しが可能になる。勿論、図２２に示した撮像素子において画素加算を行なわなければ、通常の（画素加算せず、全画素読み出しを行なう）撮像素子として利用できる。例えば、停車時や通常走行時には、全画素読み出しを行なう撮像素子として利用すればよい。

　図２２には、各２×２画素に溜まった電荷を加算してから読み出しを行なう回路構成例を示しているが、各画素から読み出した信号を信号処理部で加算処理するようにしてもよい。また、図２２には、２×２画素配列の撮像素子について画素加算により領域分割を行なう例を示したが、本明細書で開示する技術は特定のカラーフィルター配列には限定されない。例えば、Ｇ画素の一部をＩＲ（赤外線センサー）として利用するＲＧＢＩＲや、Ｗｈｉｔｅ画素を含むＲＧＢＷ、位相差画素を埋め込んだ配列（例えば、２×２画素配列のＲ画素の一部を位相差画素に置き換える配列、一部の画素に偏光フィルターが用いられる配列など）、さらにはベイヤー配列以外の配列方式など、他のさまざまな色配列をした撮像素子についても、画素加算する構成をとることにより上記と同様の領域分割を行なうことができる。

　なお、画素加算自体は、特許文献７にも開示されている技術であり。例えば高感度撮影のために利用されている。また、画素加算ではなく、間引き処理によっても読み出し速度を上げることは可能であるが、感度を上げることはできない。

Ｂ－６．専用の撮像素子を用いた撮像条件制御
　続いて、中央領域、周辺領域の領域毎にサイズが異なる画素が配列された専用の撮像素子を用いた場合の、撮像条件（露光時間、感度、フレームレート、読み出し速度）の制御方法について説明する。特に言及しない限り、中央領域には周辺領域と相対して小サイズで高解像度の画素が配列され、言い換えれば、周辺領域には中央領域と相対してサイズの大きい画素が配列されるものとする。以下の方法を組み合わせることにより、上記Ｂ－４項で説明した運転状況に応じた制御を行なうことができる。

　既に述べたように、サイズの大きい画素は高感度で且つ高読み出し速度である。高感度であることから、短露光時間を実現し易く、また、長露光時間とすることで感度がますます高くなる。また、短露光時間及び高読み出し速度であることから、高フレームレートを実現し易い。

　露光時間はシャッター・スピードに相当する。サイズの大きい画素が配列された領域は、高感度であることから短露光時間にすることができる。例えば、サイズの大きい画素が配列された周辺領域で短時間露光にすると、動被写体の撮影時や高速運転時の周辺領域の景色に生じるブラーを低減することができる。

　また、サイズの大きい画素が配列された領域は、高感度であることから、夜間や暗所を走行中に、ヘッドライトの照射光が届かなくても、長露光時間にすると、より高感度となり、被写体を鮮明に撮像することが可能になる。また、ゲインを吊り上げる方法によって、さらに高感度になる。勿論、画素加算を併用するようにしてもよい。

　また、サイズの大きい画素が配列された領域は、高感度であることから短露光時間となり、且つ、高読み出し速度であることから、フレームレートを高くすることが容易である。ＡＤ変換速度若しくは回路の動作クロック周波数を上げることで、さらに高フレームレートを実現することができる。フレームレートを高くすると、単位時間当たりに処理するフレーム数が増すので、動被写体の動きを滑らかに捉えることができ、高速運転時の周辺領域の景色に生じるブラーを低減することができる。

　また、サイズの大きい画素が配列された領域は、そもそも高読み出し速度である。撮像信号の処理速度を上げることで（例えば、回路の動作クロック周波数を吊り上げるなどしてＡＤ変換速度を向上させる）、さらに読み出し速度を高くすることができる。読み出し速度を高くすると、読み出し時間が短くなるので（すなわち、図１３中の角度θが大きくなる）、動被写体の撮影時におけるフォーカルプレーン歪みを低減することができる。

Ｂ－７．領域分割のバリエーション
　図８には、ほぼ中央に中央領域８０１を配置し、その左右が周辺領域８０２、８０３となるように、撮像素子の画素領域８００を３つの領域に分割する例を示した。このような領域分割は、図１１に示したように、例えば車両のフロントノーズ中央付近に、車両の視線方向に視線方向が向くように撮像装置を設置した場合に、適用することができる。

　車両上の撮像装置の設置場所や、設置場所における撮像素子の視線方向の向き（車両の進行方向からの傾斜）に応じて、最適な領域分割方法は異なる。

　例えば、図１６中、参照番号１６０１で示すように、車両のフロントノーズの左端付近（若しくは、左フェンダーの先頭付近、左のヘッドランプ付近）に、車両の進行方向よりも左側に視線方向を傾けて設置した撮像装置の場合には、図１７に示すように、高解像度の中央領域１７０１を画素領域の中央よりも左側に寄せて配置し、その左右に低解像度（若しくは、高感度、高速読み出し）の周辺領域１７０２、１７０３を配置するように領域分割することが好ましい。左側の周辺領域１７０２は狭く、右側の周辺領域１７０３は広くなる。

　同様に、図１８中、参照番号１８０１で示すように、車両のフロントノーズの右端付近（若しくは、右フェンダーの先頭付近、右のヘッドランプ付近）に、車両の進行方向よりも右側に視線方向を傾けて設置した撮像装置の場合には、図１９に示すように、高解像度の中央領域１９０１を画素領域の中央よりも右側に寄せて配置し、その左右に低解像度（若しくは、高感度、高速読み出し）の周辺領域１９０２、１９０３を配置するように領域分割することが好ましい。左側の周辺領域１９０２は広く、右側の周辺領域１９０３は狭くなる。

　また、図８には、画素サイズが異なる２種類の画素を用いて、サイズが小さい画素からなる高解像度の中央領域８０１と、サイズが大きい画素からなる低解像度（高感度、高速読み出し）の周辺領域８０２、８０３からなる画素領域８００を例示した。その変形例として、図２０に示すように、３種類の領域に分割した画素領域２００を構成してもよい。同図中、参照番号２０１は、サイズが小さい画素からなる中央領域であり、参照番号２０２、２０３は中サイズの画素からなる第１の周辺領域であり、参照番号２０４、２０５はサイズが大きい画素からなる第２の周辺領域である。図示しないが、さらにサイズが異なる４種類以上の画素を利用して、３段階以上の周辺領域に分割した画素領域を構成することもできる。

　図２０に示すように複数段階の周辺領域に分割される場合には、基本的には、中央領域から遠ざかるに従って、より低解像度（言い換えれば、より高解像度、高速読み出し）となるように画素領域を構成する。例えば、車速が増すに従って、中央領域を縮退させていったり、周辺領域をより高感度又はより高フレームレートにしたり、周辺領域の分割数を増やしていったりしてもよい。

　また、分割した各領域の形（輪郭）は円形に限定されない。図２１には、それぞれ矩形からなる中央領域２１１、第１の周辺領域２１２、第２の周辺領域２１３、２１４に分割した画素領域２１０の構成例を示している。

　なお、図２０並びに図２１では、高感度（若しくは、低解像度）の領域ほど濃いグレーで描いている。

　図１７や図１９に示した、中央領域が画素領域の中央よりも左方又は右方に寄った撮像素子についても、図２０や図２１に示した例と同様に、２段階以上の周辺領域に分割するようにしてもよいし、各領域の形状を円以外にしてもよい。

　図８～図１０とは異なる形態で領域分割された撮像素子の場合も、上記の表１に示したように、車両の運転状況（高速運行、すり抜け・街中走行、夜間・暗所走行、動被写体出現時、異常運転時、トンネル走行など）に応じて、各段階の周辺領域の撮像条件（露光時間、感度、フレームレート、並びに読み出し速度）の制御を行なうようにすればよい。

　領域毎にサイズが異なる画素を配列した専用の撮像素子においては、中央領域並びに周辺領域の配置は固定的である。これに対し、サイズが均一な画素の配列からなる撮像素子においてゲイン制御や画素加算などの信号処理を利用して中央領域並びに周辺領域を形成する方法を採用する場合（上記Ｂ－４項を参照のこと）には、領域毎又は画素単位で独立して信号処理を切り替えることで、各領域の位置、形状、大きさを柔軟に且つ動的に変更することができる。また、画素加算を行なう画素数を変更することで、図２０や図２１に例示したような任意の段階数の周辺領域を形成することができる。付言すれば、画素やオンチップ・レンズの設計や生産効率を考慮した場合、同一サイズの画素を配列した撮像素子の方が、専用の撮像素子よりも優位である。

　サイズが均一な画素の配列からなる撮像素子に信号処理を適用する方法によれば、例えば、撮像装置を設置する場所や向きに応じて、図１７や図１９に示したように中央領域の位置を左又は右に移動させることができる。また、車両の運転状況（高速運行、すり抜け・街中走行、夜間・暗所走行、動被写体出現時、異常運転時、トンネル走行など）に応じて、中央領域や周辺領域の位置や大きさ、形状、周辺領域の段階数を決定することができるとともに、各領域の撮像条件（露光時間、感度、フレームレート、読み出し速度）を、上記の表１に示したように適応的且つ動的に変更することができる。

　例えば、図２３（Ａ）に示すように車両が左カーブ２３０１に差し掛かったときに、車両のフロントノーズのほぼ中央に設置された撮像装置で正面方向（車両の進行方向）を撮像した画像は、カーブ２３０１の外周に相当する画素領域右側の風景（被写体）ほど速く動き、ブラーを生じ易くなる。カーブ２３０１での車速が増すほど、ブラーは著しくなる。したがって、図２３（Ｂ）に示すように、中央領域２３１１が画素領域の中央よりも左寄りになるように、画素領域の領域分割を変更することが好ましい。この結果、左側の周辺領域２３１２は狭くなるとともに、右側の周辺領域２３１３は広くなる。また、左右の周辺領域で適切な撮像条件が同じとは限らない。右側の周辺領域２３１３の方を、左側の周辺領域２３１２よりも、短時間露光で高フレームレートにするようにしてもよい。

　ステアリング・ホイールの操舵角が一定角度を超える度に、段階的に中央領域２３１１を左側にシフトさせていくようにしてもよい。また、車速が増すに従って、中央領域のシフト量を大きくし又は縮退させたり、周辺領域をより高感度又はより高フレームレートにしたり、周辺領域の分割数を増やしたりしてもよい。

　車両の速度が増すと、カーブ２３０１の外周の被写体はより速く動く。そこで、図２３（Ｃ）に示すように、中央領域２３２１をより小さくするとともに、周辺領域を多段階（図示の例では２段階の周辺領域２３２３、２３２４）に分割して、外側の周辺領域２３２４ほど高感度及び高速読み出し（若しくは、低解像度）にして、画素領域の周縁部分の動被写体の物体認識率を保つようにすると好ましい。カーブ２３０１での車速が一定値を超えると周辺領域をより高感度、高フレームレートにしたり、あるいは周辺領域を多段階に分割したりするようにしてもよい。

　また、図２４（Ａ）に示すように車両が右カーブ２４０１に差し掛かったときに、車両のフロントノーズのほぼ中央に設置された撮像装置で正面方向（車両の進行方向）を撮像した画像は、カーブ２４０１の外周に相当する画素領域右側の風景（被写体）ほど速く動き、ブラーを生じ易くなる。カーブ２４０１での車速が増すほど、ブラーは著しくなる。したがって、図２４（Ｂ）に示すように、中央領域２４１１が画素領域の中央よりも右寄りになるように、画素領域の領域分割を変更することが好ましい。この結果、右側の周辺領域２４１３は狭くなるとともに、左側の周辺領域２４１２は広くなる。また、左右の周辺領域で適切な撮像条件が同じとは限らない。左側の周辺領域２４１２の方を、右側の周辺領域２４１３よりも、短時間露光で高フレームレートにするようにしてもよい。

　ステアリング・ホイールの操舵角が一定角度を超える度に、段階的に中央領域２４１１を右側にシフトさせていくようにしてもよい。また、車速が増すに従って、中央領域のシフト量を大きくし又は縮退させたり、周辺領域をより高感度又はより高フレームレートにしたり、周辺領域の分割数を増やしたりしてもよい。

　車両の速度が増すと、カーブ２４０１の外周の被写体はより速く動く。そこで、図２４（Ｃ）に示すように、中央領域２４２１をより小さくするとともに、周辺領域を多段階（図示の例では２段階の周辺領域２４２２、２４２３）に分割して、外側の周辺領域２４２３ほど高感度及び高速読み出し（若しくは、低解像度）にして、画素領域の周縁部分の動被写体の物体認識率を保つようにすると好ましい。カーブ２４０１での車速が一定値を超えると周辺領域をより高感度、高フレームレートにしたり、あるいは周辺領域を多段階に分割したりするようにしてもよい。

　例えば、車両状態検出部２１１０で検出されるステアリング・ホイールの操舵角や、エンジン回転数又は車輪の回転速度などに基づいて、車両が左又は右のカーブに差し掛かっていることや、そのときの車速を計測して、図２３並びに図２４に示したような領域分割の適応制御を実施することができる。

　また、図２５（Ａ）に示すように車両が上り坂２５０１に差し掛かったときには、運転手の注視領域が車両のフロントノーズのほぼ中央に設置された撮像装置で正面方向（車両の進行方向）を撮像した画像内では、上り坂２５０１の遠方消失点が画面中央より上にシフトするとともに、路面が大きく写り込む。あるいは、ドライバーの視線は上に向きがちである。したがって、図２５（Ｂ）に示すように、上り坂２５０１に沿って中央領域２５１１の中心位置を上方にシフトさせるとともに、広くすることが好ましい。

　一方、図２６（Ａ）に示すように車両が下り坂２６０１に差し掛かったときには、運転手の注視領域が車両のフロントノーズのほぼ中央に設置された撮像装置で正面方向（車両の進行方向）を撮像した画像内では、下り坂２６０１の遠方消失点が画面中央より下にシフトし、路面が早く消失する。あるいは、ドライバーの視線は下に向きがちである。したがって、図２６（Ｂ）に示すように、下り坂２６０１に沿って中央領域２６１１の中心位置を下方にシフトさせることが好ましい。

　例えば、車両状態検出部２１１０で検出される車体の軸回転運動の角速度（主に、ピッチレート）や、車載カメラの撮像画像に写った路面の物体認識結果、インストルメント・パネル２７３０に含まれるナビゲーション・システムで得られる地図情報や道路情報などに基づいて、坂道を走行中であるか否かを判定して、図２５並びに図２６に示したような領域分割の適応制御を実施することができる。

　図２３～図２６に示した領域分割の適応制御例は、消失点を含む領域を中央領域に定義する、という言い方もできる。したがって、ステアリング・ホイールの操舵角や車体のピッチ軸回りの傾きの計測結果などに基づいて、車載カメラの消失点を時々刻々トラッキングして、消失点を含むように中央領域をシフトしていくようにしてもよい。また、車速やその他の運転状況に応じて、中央領域の大きさや形状を変化させるようにしてもよい。

　また、消失点ではなく、ドライバーの注視点（若しくは視線方向）を含む領域を中央領域に定義するという方法もある。例えば、車内情報検出部２５１０に含まれるドラモニカメラによる撮像画像に基づいて検知されるドライバーの注視点に追従するように、中央領域の中心位置を動的に（時々刻々と）シフトさせ、さらにその外側の周辺領域もシフトさせる。あるいは、ドライバーの注視点に従って中央領域をシフトさせるのではなく、周辺領域内にドライバーの注視点が移動したときには、その注視点付近を高解像度にする（若しくは、画素加算を行なわずに、中央領域と同等の解像度に戻す）ようにしてもよい。何故ならば、ドライバーの視線方向には関心のある被写体が存在し、高解像度で認識しなければならない場合があるからである。

　また、夜間（曇天時や雨天時を含む）や暗所でヘッドランプを点灯すると、図７を参照しながら既に説明したように、ヘッドランプで照射される中央領域は高輝度となり鮮明に撮像することができるが、周辺領域にはヘッドランプの照射光が届かない。そこで、周辺領域では、画素加算により高感度にするとともに、長時間露光で撮像する。

　さらに、ヘッドランプの点灯中にボディ系制御ユニット２２００においてハイビーム又はロービームに切り替えたことに応じて、撮像素子の画素領域の領域分割を適応制御するようしてもよい。

　ヘッドランプをハイビームに切り替えたときには、図２７（Ａ）に示すように、ヘッドランプで照射される高輝度な領域は画素領域の中央より上方にシフトする。したがって、図２７（Ｂ）に示すように、中央領域２７０１の中心位置を上方にシフトさせて、ヘッドランプの照射光が届かない部分を周辺領域２７０２にして高解像度で撮像できるようにすることが好ましい。

　逆に、ヘッドランプをロービームに切り替えたときには、図２８（Ａ）に示すように、ヘッドランプで照射される高輝度な領域は画素領域の中央より下方にシフトする。したがって、図２８（Ｂ）に示すように、中央領域２８０１の中心位置を下方にシフトさせて、ヘッドランプの照射光が届かない部分を周辺領域２８０２にして高解像度で撮像できるようにすることが好ましい。

　例えば、ボディ系制御ユニット２２００でヘッドランプのハイビーム又はビームへの切り替え制御が行なわれたことに連動して、図２７並びに図２８に示したような領域分割の適応制御を実施することができる。

　図３０には、画素加算などの信号処理を利用して画素領域に中央領域と周辺領域が設けられた撮像装置において、運転状況に応じて画素領域の領域分割並びに各領域（周辺領域）の撮像条件制御を行なうための処理手順をフローチャートの形式で示している。図示の処理手順は、サイズが均一な画素の配列で構成される撮像装置に適用することを想定しているが、サイズの異なる画素で各領域を構成した撮像装置でも実施することができる。また、図示の処理手順は、例えば車両制御システム２０００内の統合制御ユニット２６００が主導的となって、所定のプログラムを実行することにより実現される。

　まず、車両状態検出部２１１０、車外情報検出部２４２０又は車内状態検出部２５１０の少なくとも１つの検出結果、又は、撮像部２４１０の撮像画像の解析結果になど基づいて、車両の現在の運転状況（高速運行、すり抜け・街中走行、夜間・暗所走行、動被写体出現時、異常運転時、トンネル走行など）を把握する（ステップＳ３００１）。

　次いで、この運転状況に適当な、中央領域の位置、形状、大きさを決定する（ステップＳ３００２）。

　次いで、この運転状況に適当な、周辺領域の段階数、各段階の周辺領域の位置、形状、大きさを決定する（ステップＳ３００３）。

　次いで、この運転状況に適当な、各段階の周辺領域の撮像条件（露光条件、感度、フレームレート、読み出し速度）を、例えば上記の表１に基づいて決定する（ステップＳ３００４、３００５）。

　そして、決定した撮像条件に基づいて、車載カメラの露光処理を実行する（ステップＳ３００６）。

　さらに上記のようにして車載カメラで撮像した画像に対して認識処理を行なうとともに（ステップＳ３００７）、周辺領域の認識結果などに基づいて車両の運転制御を実施するようにしてもよい（ステップＳ３００８）。運転制御の詳細については後述に譲る。

Ｂ－８．周辺領域の画像の利用方法
　本明細書で開示する技術によれば、車載カメラによる撮像画像の周辺領域の物体認識率を向上することができる。周辺領域で認識された物体をモニタリング若しくはトラッキングすることで衝突などの危険を予知又は回避したり、車両の運転支援や運転制御に利用したりすることができる。

　周辺領域を高感度して、適応的に高フレームレート又は短時間露光で撮像を行なうことにより、路肩に設置された道路標識（道路案内）や路面に描かれた道路標識や車線（レーン）の認識率が高まる。道路標識などの認識結果を、車線逸脱警告、走行速度制御、追い越し制御などの安全運転支援やクルーズ・コントロールに利用することができる。

　また、周辺領域を高感度して、適応的に高フレームレート又は短時間露光で撮像を行なうことにより、周辺領域に入って来た歩行者や、交差点、障害物の認識率が高まる。これらの認識結果を、ヘッド・アップ・ディスプレイやインストルメント・パネルなどを利用して車内に表示したり、音声を出力したりして、歩行者や障害物を警告するようにしてもよい。

　周辺領域の画像を利用した運転制御例を以下に挙げておく。

（１）対向車両又は順向車両の認識
　－危険警告、車間調整、ブレーキ制御、追い越し制御、車線変更通知
（２）自転車、二輪車認識
　－飛び出し警告、ブレーキ制御、危険・衝突からの回避運転、ユーザー（ドライバー）への通知
（３）歩行者認識、交差点認識
　－飛び出し警告、ブレーキ制御、危険・衝突からの回避運転
（４）レーン認識
　－車線逸脱の警告、クルーズ・コントロール
（５）標識認識
　－速度制御、警告
（６）道路案内認識
　－速度制御、ナビゲーション
（７）事故につながる予知（ヒヤリハット）認識
　－自己記録（ドライブ・レコーダー）、安全装置（エアバッグなど）の作動

Ｂ－９．撮像画像の表示方法
　画素領域を領域分割した撮像装置による撮像画像を、例えば、ヘッド・アップ・ディスプレイやインストルメント・パネルを使って車内で表示したり、あるいは記録画像として車外の装置で表示したりすることができる。

　また、本明細書で開示する技術をオートバイに適用した場合には、車載カメラの撮像画像（あるいは、周辺領域の画像や、周辺領域の物体認識結果から得られる情報など）を、例えばドライバーが被っているヘルメットのシールドなどにＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示するようにしてもよい。

　画像表示の際に、画面内のどの部分が中央領域で周辺領域かを認識し難いこともある。とりわけ、Ｂ－７項で説明したように、領域分割を適応制御する場合には、各分割領域を把握することは極めて困難である。そこで、画素領域を領域分割した撮像装置による撮像画像を表示する場合には、分割領域毎に画を提示するようにしてもよい。あるいは、１枚の画像で表示する際には、領域間をブレンディングするなど、領域の境界を視認できるようにするとよい。

　また、図３を参照しながら説明したように、中央領域はフレーム毎の画の変化が小さい。そこで、中央領域に関しては、複数フレームを合成して表示するようにしてもよい。例えば、中央領域については露光を変えながら撮像した複数枚をＨＤＲ合成して、幅広いダイナミックレンジを持つ画像を生成するようにしてもよい。

　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

　本明細書で開示する技術は、車両のフロントノーズ、サイドミラー、リアバンパー、バックドアなど、車両の周辺（車外）を撮像するために車両の任意の場所に任意の視線方向で設置される車載カメラに適用することができる。また、デジタルミラーのカメラに対して本明細書で開示する技術を適用することもできる。

　また、本明細書で開示する技術は、自動車（ガソリン車及びディーゼル車を含む）、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナル・モビリティーなどさまざまな車両に適用することができる。さらには本明細書で開示する技術は、道路を走行する車両以外の形態の移動体（飛行機など）に搭載される撮像装置や、監視カメラに適用することができる。

　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）複数の画素を有する撮像部における中央領域の撮像条件を、前記撮像部の周辺領域に対して高感度、高フレームレート、短露光時間、又は高動作周波数のいずれかで制御する制御部を具備する、撮像制御装置。
（２）前記制御部は、前記周辺領域を前記中央領域よりも高感度にする、
上記（１）に記載の撮像制御装置。
（３）前記制御部は、前記周辺領域を前記中央領域よりも短時間露光にする、
上記（１）に記載の撮像制御装置。
（４）前記制御部は、前記周辺領域を前記中央領域よりも長時間露光にする、
上記（１）に記載の撮像制御装置。
（５）前記制御部は、前記周辺領域を前記中央領域よりも高フレームレートにする、
上記（１）に記載の撮像制御装置。
（６）前記制御部は、前記周辺領域の信号処理を前記中央領域よりも高い動作周波数で実行する、
上記（１）に記載の撮像制御装置。
（７）前記制御部は、前記周辺領域を前記中央領域よりも高感度で且つ高フレームレートにする、
上記（１）に記載の撮像制御装置。
（８）前記制御部は、前記周辺領域を前記中央領域よりも高感度で且つ前記中央領域と同じフレームレートにする、
上記（１）に記載の撮像制御装置。
（９）前記制御部は、前記周辺領域を前記中央領域よりも高感度で且つ前記中央領域と同じ又はそれ以上の露光時間にする、
上記（１）に記載の撮像制御装置。
（１０）前記制御部は、前記周辺領域に対して画素加算読み出し又は間引き読み出しを行なう、
上記（２）乃至（９）のいずれかに記載の撮像制御装置。
（１１）前記制御部は、前記撮像部を車両に搭載した場所又は前記車両の運転状況に応じて、前記中央領域に対する前記周辺領域の撮像条件を制御する、
上記（１）乃至（１０）のいずれかに記載の撮像制御装置。
（１２）前記制御部は、前記撮像部を車両に搭載した場所又は前記車両の運転状況に応じて、前記中央領域の位置、形状、又は大きさのうち少なくとも１つを制御する、
上記（１）乃至（１１）のいずれかに記載の撮像制御装置。
（１３）前記制御部は、前記撮像部を搭載した車両の運転状況に応じて、前記周辺領域の段階数、各周辺領域の位置、形状、又は大きさのうち少なくとも１つを制御する、
上記（１）乃至（１２）のいずれかに記載の撮像制御装置。
（１４）複数の画素を有する撮像部における中央領域の撮像条件を、前記撮像部の周辺領域に対して高感度、高フレームレート、短露光時間、又は高動作周波数のいずれかで制御する制御ステップを有する、撮像制御方法。
（１５）中央領域と、前記中央領域よりも画素サイズが大きい画素で構成される周辺領域を含む撮像素子を具備する、撮像装置。
（１６）前記中央領域と前記周辺領域毎に並列してスキャンするように構成される、
上記（１５）に記載の撮像装置。
（１７）前記中央領域と前記周辺領域毎に画素読み出し並びにＡＤ変換処理を行なう信号処理部をさらに備える、
上記（１５）に記載の撮像装置。
（１８）前記周辺領域を前記中央領域よりも短時間露光にする、
上記（１５）に記載の撮像装置。
（１９）前記周辺領域を前記中央領域よりも高フレームレートにする、
上記（１５）に記載の撮像装置。
（２０）前記撮像装置を搭載した車両の運転状況に応じて、前記中央領域に対する前記周辺領域の露光時間又はフレームレートの少なくとも一方を制御する、
上記（１５）に記載の撮像装置。

　２０００…車両制御システム、２０１０…通信ネットワーク
　２１００…駆動系制御ユニット、２１１０…車両状態検出部
　２２００…ボディ系制御ユニット
　２３００…バッテリー制御ユニット、２３１０…バッテリー装置
　２４００…車外情報検出ユニット
　２４１０…撮像部、２４２０…車外情報検出部
　２５００…車内情報検出ユニット、２５１０…車内状態検出部
　２６００…統合制御ユニット、２６１０…マイクロ・コンピューター
　２６２０…汎用通信インターフェース
　２６３０…専用通信インターフェース、２６４０…測位部
　２６５０…ビーコン受信部、２６６０…車内機器インターフェース
　２６７０…音声画像出力部
　２６８０…車載ネットワーク・インターフェース、２６９０…記憶部
　２７１０…オーディオ・スピーカー、２７２０…表示部
　２７３０…インストルメント・パネル、２７６０…車内機器
　２８００…入力部、２９００…車両
　２９１０、２９１２、２９１４、２９１６、２９１８…撮像部
　２９２０、２９２２、２９２４…車外情報検出部
　２９２６、２９２８、２９３０…車外情報検出部
　３１００…カメラ・モジュール、３１１０…カメラ制御部
　３１１１…撮影レンズ、３１２０…撮像素子、３１３０…画像処理部
　３１４０…位相差検出部、３１５０…表示処理部、３１６０…表示部
　３１７０…画像出力部、３１８０…画像記録制御部
　３２１０…タイミング制御回路、３２２０…行走査回路
　３２３０…転送信号生成回路、３２４０…画素アレイ部
　３２４１…位相差画素、３２４２…通常画素
　３２５０…Ｄ／Ａ変換部、３２６０…Ａ／Ｄ変換部
　３２６２…コンパレーター、３２６３…メモリー
　３２７０…カウンター、３２９０…列走査回路

Claims (20)

1. 　複数の画素を有する撮像部における中央領域の撮像条件を、前記撮像部の周辺領域に対して高感度、高フレームレート、短露光時間、又は高動作周波数のいずれかで制御する制御部を具備する、撮像制御装置。
2. 　前記制御部は、前記周辺領域を前記中央領域よりも高感度にする、
   請求項１に記載の撮像制御装置。
3. 　前記制御部は、前記周辺領域を前記中央領域よりも短時間露光にする、
   請求項１に記載の撮像制御装置。
4. 　前記制御部は、前記周辺領域を前記中央領域よりも長時間露光にする、
   請求項１に記載の撮像制御装置。
5. 　前記制御部は、前記周辺領域を前記中央領域よりも高フレームレートにする、
   請求項１に記載の撮像制御装置。
6. 　前記制御部は、前記周辺領域の信号処理を前記中央領域よりも高い動作周波数で実行する、
   請求項１に記載の撮像制御装置。
7. 　前記制御部は、前記周辺領域を前記中央領域よりも高感度で且つ高フレームレートにする、
   請求項１に記載の撮像制御装置。
8. 　前記制御部は、前記周辺領域を前記中央領域よりも高感度で且つ前記中央領域と同じフレームレートにする、
   請求項１に記載の撮像制御装置。
9. 　前記制御部は、前記周辺領域を前記中央領域よりも高感度で且つ前記中央領域と同じ又はそれ以上の露光時間にする、
   請求項１に記載の撮像制御装置。
10. 　前記制御部は、前記周辺領域に対して画素加算読み出し又は間引き読み出しを行なう、
    請求項２に記載の撮像制御装置。
11. 　前記制御部は、前記撮像部を車両に搭載した場所又は前記車両の運転状況に応じて、前記中央領域に対する前記周辺領域の撮像条件を制御する、
    請求項１に記載の撮像制御装置。
12. 　前記制御部は、前記撮像部を車両に搭載した場所又は前記車両の運転状況に応じて、前記中央領域の位置、形状、又は大きさのうち少なくとも１つを制御する、
    請求項１に記載の撮像制御装置。
13. 　前記制御部は、前記撮像部を搭載した車両の運転状況に応じて、前記周辺領域の段階数、各周辺領域の位置、形状、又は大きさのうち少なくとも１つを制御する、
    請求項１に記載の撮像制御装置。
14. 　複数の画素を有する撮像部における中央領域の撮像条件を、前記撮像部の周辺領域に対して高感度、高フレームレート、短露光時間、又は高動作周波数のいずれかで制御する制御ステップを有する、撮像制御方法。
15. 　中央領域と、前記中央領域よりも画素サイズが大きい画素で構成される周辺領域を含む撮像素子を具備する、撮像装置。
16. 　前記中央領域と前記周辺領域毎に並列してスキャンするように構成される、
    請求項１５に記載の撮像装置。
17. 　前記中央領域と前記周辺領域毎に画素読み出し並びにＡＤ変換処理を行なう信号処理部をさらに備える、
    請求項１５に記載の撮像装置。
18. 　前記周辺領域を前記中央領域よりも短時間露光にする、
    請求項１５に記載の撮像装置。
19. 　前記周辺領域を前記中央領域よりも高フレームレートにする、
    請求項１５に記載の撮像装置。
20. 　前記撮像装置を搭載した車両の運転状況に応じて、前記中央領域に対する前記周辺領域の露光時間又はフレームレートの少なくとも一方を制御する、
    請求項１５に記載の撮像装置。

Images