JP7476627B2 - 車両用撮像装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、魚眼レンズを用いて車両の前後及び左右の３６０度の被写体を撮像する車両用撮像装置、画像処理方法、及び画像処理プログラムに関する。

特許文献１には、魚眼レンズを用いて車両の前後及び左右の３６０度の被写体を撮像する車両用撮像装置（いわゆるドライブレコーダ）が記載されている。

特開２０１８－１９５３４８号公報

上記のような車両用撮像装置は、３６０度の撮像画像を解析して車両の前後を判定し、前方画像領域、後方画像領域、左右の側方画像領域に相当する領域画像を抽出して、前方画像、後方画像、右側方画像、及び左側方画像の各方向画像を生成する。車両に対する太陽光の入射方向が異なると、車両の前方、後方、右側方、左側方で明るさが異なる。太陽光の入射方向にかかわらず、適切な各方向画像とすることが望まれる。

本発明は、車両に対する太陽光の入射方向に応じて適切な前方画像、後方画像、右側方画像、及び左側方画像の各方向画像を得ることができる車両用撮像装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本発明は、車両内に取り付けられる車両用撮像装置であり、魚眼レンズを介して光が入射され、第１の露光時間で３６０度の被写体を撮像した長時間露光画像と、前記第１の露光時間より短い第２の露光時間で３６０度の被写体を撮像した短時間露光画像を生成する撮像部と、前記長時間露光画像及び前記短時間露光画像に基づいて、前記車両の前後及び左右を判定して、前記長時間露光画像及び前記短時間露光画像のうちの前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の周方向の位置を決定する前後左右判定部と、前記長時間露光画像及び前記短時間露光画像のうち、前記前方画像領域、前記後方画像領域、前記右側方画像領域、及び前記左側方画像領域の各領域画像を抽出して、前方画像、後方画像、右側方画像、及び左側方画像の各方向画像を生成する画像抽出部と、前記画像抽出部が、前記長時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像と、前記画像抽出部が、前記短時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像とをそれぞれ合成するハイダイナミックレンジ画像合成部と、前記車両用撮像装置に入射する太陽光の入射方向を判定する太陽光入射方向判定部とを備え、前記ハイダイナミックレンジ画像合成部は、前記前方画像、前記後方画像、前記右側方画像、及び前記左側方画像のうち、前記太陽光入射方向判定部によって判定された太陽光の入射方向に応じて選択された前記長時間露光画像に基づく方向画像の割合を、非選択の前記長時間露光画像に基づく方向画像の割合よりも増加させる車両用撮像装置を提供する。

本発明は、車両内に取り付けられる車両用撮像装置の画像処理方法であり、魚眼レンズを介して光が入射される撮像部が、第１の露光時間で３６０度の被写体を撮像した長時間露光画像と、前記第１の露光時間より短い第２の露光時間で３６０度の被写体を撮像した短時間露光画像を生成し、前記長時間露光画像及び前記短時間露光画像に基づいて、前記車両の前後及び左右を判定して、前記長時間露光画像及び前記短時間露光画像のうちの前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の周方向の位置を決定し、前記長時間露光画像及び前記短時間露光画像のうち、前記前方画像領域、前記後方画像領域、前記右側方画像領域、及び前記左側方画像領域の各領域画像を抽出して、前方画像、後方画像、右側方画像、及び左側方画像の各方向画像を生成し、前記長時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像と、前記短時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像とをそれぞれ合成してハイダイナミックレンジ合成画像を生成し、前記車両用撮像装置に入射する太陽光の入射方向を判定し、前記ハイダイナミックレンジ合成画像を生成するとき、前記前方画像、前記後方画像、前記右側方画像、及び前記左側方画像のうち、判定された太陽光の入射方向に応じて選択された前記長時間露光画像に基づく方向画像の割合を、非選択の前記長時間露光画像に基づく方向画像の割合よりも増加させる画像処理方法を提供する。

本発明は、車両内に取り付けられる車両用撮像装置に搭載されるコンピュータに、魚眼レンズを介して光が入射される撮像部によって、第１の露光時間で３６０度の被写体を撮像した長時間露光画像と、前記第１の露光時間より短い第２の露光時間で３６０度の被写体を撮像した短時間露光画像を生成するステップと、前記長時間露光画像及び前記短時間露光画像に基づいて、前記車両の前後及び左右を判定して、前記長時間露光画像及び前記短時間露光画像のうちの前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の周方向の位置を決定するステップと、前記長時間露光画像及び前記短時間露光画像のうち、前記前方画像領域、前記後方画像領域、前記右側方画像領域、及び前記左側方画像領域の各領域画像を抽出して、前方画像、後方画像、右側方画像、及び左側方画像の各方向画像を生成するステップと、前記長時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像と、前記短時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像とをそれぞれ合成してハイダイナミックレンジ合成画像を生成するステップと、前記車両用撮像装置に入射する太陽光の入射方向を判定するステップと、前記ハイダイナミックレンジ合成画像を生成するとき、前記前方画像、前記後方画像、前記右側方画像、及び前記左側方画像のうち、判定された太陽光の入射方向に応じて選択された前記長時間露光画像に基づく方向画像の割合を、非選択の前記長時間露光画像に基づく方向画像の割合よりも増加させるステップとを実行させる画像処理プログラムを提供する。

本発明の車両用撮像装置、画像処理方法、及び画像処理プログラムによれば、車両に対する太陽光の入射方向に応じて適切な前方画像、後方画像、右側方画像、及び左側方画像の各方向画像を得ることができる。

各実施形態の車両用撮像装置が車内に取り付けられた車両の一例を示す斜視図である。 各実施形態の車両用撮像装置の具体的な構成例を示すブロック図である。 各実施形態の車両用撮像装置の撮像部が生成する３６０度の撮像画像であって、車両の前方を正しく判定した状態を示す概念図である。 各実施形態の車両用撮像装置の撮像部が生成する３６０度の撮像画像であって、車両の前方を誤判定した状態の一例を示す概念図である。 図４に示す車両の前方を誤判定した状態の前方画像の一例を示す図である。 図４に示す車両の前方を誤判定した状態の後方画像の一例を示す図である。 図４に示す車両の前方を誤判定した状態の右側方画像の一例を示す図である。 図４に示す車両の前方を誤判定した状態の左側方画像の一例を示す図である。 図３に示す車両の前方を正しく判定した状態で、前方画像、後方画像、右側方画像、左側方画像において検出される動きベクトルを示す図である。 図４に示す車両の前方を誤判定した状態で、前方画像、後方画像、右側方画像、左側方画像において検出される動きベクトルを示す図である。 第１実施形態で実行される処理を示すフローチャートである。 第１実施形態で図８に示すフローチャートに続けて実行される処理を示すフローチャートである。 前方画像の方向を車両の前方と一致させるよう調整した状態の前方画像の一例を示す図である。 前方画像の方向を車両の前方と一致させるよう調整した状態の後方画像の一例を示す図である。 前方画像の方向を車両の前方と一致させるよう調整した状態の右側方画像の一例を示す図である。 前方画像の方向を車両の前方と一致させるよう調整した状態の左側方画像の一例を示す図である。 第２実施形態の車両用撮像装置において、右側方画像内または左側方画像内の被写体の画像のぶれを示す概念図である。 第２実施形態の車両用撮像装置において、右側方画像内または左側方画像内の被写体の画像のぶれを補正した状態を示す概念図である。 第２実施形態で実行される処理を示すフローチャートである。 第３実施形態の車両用撮像装置において、動きの方向が異なる複数の動きベクトルが検出される右側方画像の一例を示す図である。 第３実施形態の車両用撮像装置において、単一の動きベクトルが検出される左側方画像の一例を示す図である。 第３実施形態で実行される処理を示すフローチャートである。 自車両の前方及び後方に車両が走行し、自車両が走行する車線の右車線及び左車線に車両が走行している状態で、太陽光が白抜き矢印の方向から各車両を照らしている状態を示す概念図である。 第４実施形態において太陽光の入射方向を８分割した状態を示す図である。 第４実施形態で実行される処理を示す部分的なフローチャートである。 図１８Ａに続く、第４実施形態で実行される処理を示す部分的なフローチャートである。 車両がトンネルに接近し、トンネルに入ってトンネル内を走行し、トンネルから出た状態を示す概念図である。 第５実施形態で実行される処理を示す部分的なフローチャートである。 図２０Ａに続く、第５実施形態で実行される処理を示す部分的なフローチャートである。 第６実施形態の車両用撮像装置の具体的な構成例を示すブロック図である。 第６実施形態で実行される処理を示すフローチャートである。 第７実施形態において車内画像領域に設定されるインストルメントパネル領域及び非インストルメントパネル領域を示す概念図である。 第７実施形態で実行される処理を示すフローチャートである。 長時間露光画像を生成する際の第１の露光時間と短時間露光画像を生成する際の第２の露光時間とを示す概念図である。

以下、各実施形態の車両用撮像装置、画像処理方法、及び画像処理プログラムについて、添付図面を参照して説明する。

＜第１実施形態＞
図１において、車両２００内のフロントガラス２０１の上部には、車両用撮像装置１００が取り付けられている。車両用撮像装置１００はいわゆるドライブレコーダである。車両用撮像装置１００の取り付け位置はフロントガラス２０１に限定されない。車両用撮像装置１００は魚眼レンズ１１を備え、車内の上方から見た車内を含む車両２００の前後及び左右の３６０度を撮像する。

図２は、車両用撮像装置１００の具体的な構成例を示す。車両用撮像装置１００は、魚眼レンズ１１、撮像部１２、画像処理部１３、画像解析部１４、通信部１５、制御部１６、記録再生部１７、モニタ１８を備え、撮像部１２～モニタ１８はバス１９で接続されている。

画像処理部１３は、画像回転部１３１、画像抽出部１３２、ハイダイナミックレンジ画像合成部１３３を備える。以下、ハイダイナミックレンジをＨＤＲと略記する。画像解析部１４は、動きベクトル検出部１４１と前後左右判定部１４２を備える。制御部１６は、計測部１６１を備える。記録再生部１７は、記録媒体（記憶媒体）として着脱自在のメモリカード１７０を有する。記録媒体はメモリカードに限定されない。

撮像部１２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）である撮像素子を備える。撮像部１２は、魚眼レンズ１１を介して入射された被写体からの一点鎖線で示す光によって３６０度の被写体を撮像した撮像画像（全周画像）を生成する。

車両用撮像装置１００が６０フレーム／秒の撮像画像を生成する場合を例とすると、撮像部１２は１２０フレーム／秒で被写体を撮像する。このとき、撮像部１２は、隣接する２フレームのうちの一方を第１の露光時間（長時間）で露光し、他方を第１の時間より短い第２の露光時間（短時間）で露光する。撮像部１２は電子シャッタを備え、制御部１６による制御によって露光時間を任意に可変することができる。撮像部１２は、３６０度の撮像画像として、長時間露光画像と短時間露光画像とを生成する。

撮像部１２が生成した３６０度の長時間露光画像及び短時間露光画像は画像処理部１３及び画像解析部１４に供給される。

図３に概念的に示すように、撮像部１２が生成する３６０度の撮像画像は、撮像素子の矩形状の画素領域のうちの一部の円形の画素領域によって生成される。円形の画素領域によって生成される撮像画像は、車両２００の車内の上方から見た車内画像領域と、車内画像領域の周囲の前方画像領域、後方画像領域、右側方画像領域、左側方画像領域とを含む。３６０度の撮像画像は撮像部１２が魚眼レンズ１１を介して被写体を撮像した撮像画像であるから、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域における画像は大きく歪んでいる。

図３に示す前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の周方向の位置は単なる一例である。周方向のどの位置を前方画像領域、後方画像領域、右側方画像領域、左側方画像領域とするかは、動きベクトル検出部１４１によって検出される動きベクトル及び前後左右判定部１４２による判定に基づいて最終的に決定される。図３に示す前方画像領域は、車両２００の前方が正しく判定されて、車両２００のフロントガラス２０１の方向である破線の矩形で示す実際の前方を示す画像であるとする。

車両用撮像装置１００を最初に起動させたとき、ＨＤＲ画像合成部１３３は長時間露光画像と短時間露光画像の３６０度の撮像画像を合成して、ダイナミックレンジを拡大した６０フレーム／秒の合成画像（ＨＤＲ合成画像）を生成する。ＨＤＲ画像合成部１３３は、制御部１６による制御に基づき、画像解析部１４によって解析された画像の明るさに応じて、長時間露光画像と短時間露光画像とを所定の割合で混合する。但し、第１実施形態においては、ＨＤＲ画像合成部１３３は省略されてもよい。

前後左右判定部１４２は、制御部１６による制御に基づき、ＨＤＲ画像合成部１３３によって生成された合成画像に基づいて車両２００の前後及び左右を判定して、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の周方向の位置を仮判定する。前後左右の方向は後述の処理によって修正されることがあるから、ここでは前後左右の方向の仮判定とする。

前後左右判定部１４２は、例えば、車両２００のステアリングホイール２０２の画像に基づいて車両２００の前方を判定する。ところが、車両用撮像装置１００の取り付け位置、取り付け角度、向きによってステアリングホイール２０２の画像の状態が変化する。取り付け位置とは、車両用撮像装置１００がステアリングホイール２０２のよりも前方に取り付けられているのか、後方に取り付けられているのかということである。取り付け角度とは、車両用撮像装置１００の撮像中心が鉛直方向に対してどのような角度であるのかということである。向きとは、車両用撮像装置１００を周方向のどのような方向に取り付けたかということである。

前後左右判定部１４２は、ステアリングホイール２０２の画像の状態によっては、車両２００の前方を誤判定することがある。前後左右判定部１４２は、車両２００のステアリングホイール２０２以外の画像に基づいて車両２００の前方を判定してもよい。この場合も、前後左右判定部１４２は、車両２００の前方を誤判定することがある。

図４に示すように、前後左右判定部１４２が、車両２００の進行方向から左方向に所定の角度だけずれた方向を前方と誤判定したとする。この場合、前後左右判定部１４２が前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の周方向の位置を決定すると、前方画像領域は、破線の矩形で示す実際の車両２００の前方を示す画像とは一致しない。

ここでは、前方画像領域が車両２００の進行方向から左方向に所定の角度だけずれた場合を示している。車両用撮像装置１００の取り付け位置によっては、車両２００の後方を前方と誤判定したり、右側方または左側方を前方と誤判定したりして、車両２００の前方とは完全に異なる周方向の位置を前方画像領域と誤って決定する可能性もある。

画像処理部１３の画像回転部１３１は、後述するように、制御部１６による制御に基づき、３６０度の撮像画像を回転することがある。画像抽出部１３２は、制御部１６による制御に基づき、前後左右判定部１４２が周方向の位置を決定した前方画像領域、後方画像領域、右側方画像領域、左側方画像領域に基づいて各領域画像を抽出する。画像抽出部１３２は、人が車両２００の前方、後方、左側方、右側方を通常見ている状態に近付けるように、抽出した大きく歪んだ前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の各領域画像の魚眼レンズ１１による歪を補正する。

図５Ａ～図５Ｄは、画像抽出部１３２が各領域画像を抽出して歪を補正した状態の前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌの一例を概念的に示している。図５Ａ～図５Ｄは、前後左右判定部１４２が車両２００の進行方向から左方向に所定の角度だけずれた方向を前方と誤判定して、角度のずれを補正していない状態を示している。

図５Ａに示すように、前方画像２０Ｆは左側のＡピラー２０３ＡＬ側にずれている。図５Ｂに示すように、後方画像２０Ｂは運転者３００を含み、車両２００の右側にずれている。図５Ｃに示すように、右側方画像２０Ｒは前方側にずれている。図５Ｄに示すように、左側方画像２０Ｌは、後方側にずれている。

動きベクトル検出部１４１は、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域それぞれの動きベクトルを検出する。動きベクトル検出部１４１は、基本的には短時間露光画像に基づいて動きベクトルを検出する。動きベクトル検出部１４１は、短時間露光画像に基づいて動きベクトルを検出できないとき、または検出しにくいときに、長時間露光画像に基づいて動きベクトルを検出する。前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の動きベクトルを、それぞれ、ＭＶＦ、ＭＶＢ、ＭＶＲ、ＭＶＬと称することとする。

図６は、図３に示すように車両２００の前方が正しく判定されて、前方画像２０Ｆが実際の車両２００の前方と一致した状態の動きベクトルＭＶＦ、ＭＶＢ、ＭＶＲ、ＭＶＬを示している。図６及び後述する図７においては、右側方画像２０Ｒ及び左側方画像２０Ｌを９０度回転させた状態としている。前方画像２０Ｆ内の動きベクトルＭＶＦは、発散を開始する一点を消失点Ｐｖ１として放射状に発散する。後方画像２０Ｂ内の動きベクトルＭＶＢは、収束する一点を消失点Ｐｖ２として収束する。右側方画像２０Ｒの動きベクトルＭＶＲ及び左側方画像２０Ｌの動きベクトルＭＶＬは、前方から後方へと向かう。

前方画像２０Ｆが実際の車両２００の前方と一致していれば、前方画像２０Ｆの消失点Ｐｖ１は、前方画像２０Ｆの左右方向のほぼ中央Ｈｃｔｒに位置する。

図７は、図４に示すように車両２００の前方が誤判定されて、前方画像２０Ｆが実際の車両前方よりも左方向に所定の角度だけずれた状態の動きベクトルＭＶＦ、ＭＶＢ、ＭＶＲ、ＭＶＬを示している。前方画像２０Ｆが実際の車両２００の前方と一致しておらず、左方向に所定の角度だけずれているので、前方画像２０Ｆの消失点Ｐｖ１は、前方画像２０Ｆの左右方向のほぼ中央Ｈｃｔｒよりも右側に位置する。

第１実施形態の車両用撮像装置１００において、画像回転部１３１は、前方画像２０Ｆと実際の車両前方とのずれを解消するために、消失点Ｐｖ１を中央Ｈｃｔｒに一致させるように、図４に示す３６０度の撮像画像を右方向に回転させる。すると、図３のように、前方画像領域は破線の矩形で示す実際の車両２００の前方と一致した状態となり、前方画像２０Ｆは車両２００の前方を示す画像となる。

画像抽出部１３２は、前方画像２０Ｆと実際の車両前方とのずれが解消された状態で、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の各領域画像を抽出して、歪を補正した前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌを生成する。

前方画像２０Ｆと実際の車両前方とのずれを解消すると、前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌは、車両２００の前方が正しく判定された図６と等価の状態となる。

ここでは、前方画像２０Ｆが車両２００の進行方向から左方向に所定の角度だけずれた状態で画像回転部１３１がずれを解消して、画像抽出部１３２が各領域画像を抽出した場合を例としている。上記のように、車両２００の前方とは完全に異なる周方向の位置を前方画像領域と誤って決定することがある。この場合、誤った前方画像領域に基づいて抽出した前方画像２０Ｆ内には消失点Ｐｖ１は存在しない。前方画像２０Ｆ内に消失点Ｐｖ１は存在しない場合であっても、画像回転部１３１は、消失点Ｐｖ１を前方画像２０Ｆの中央Ｈｃｔｒに一致させるように、３６０度の撮像画像を回転させればよい。

以上のようにして、画像回転部１３１が３６０度の撮像画像を回転させて前方画像２０Ｆと実際の車両前方とのずれを解消し、画像抽出部１３２が各領域画像を抽出して歪を補正する。ＨＤＲ画像合成部１３３は、長時間露光画像と短時間露光画像の歪が補正された前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌを画像合成する。

制御部１６は、ＨＤＲ画像合成部１３３による画像合成後の前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌをメモリカード１７０に記録するよう制御する。制御部１６は、図４に示すような撮像部１２が生成する長時間露光画像及び短時間露光画像の３６０度の撮像画像を長時間露光画像と短時間露光画像に記録するよう制御してもよい。制御部１６は、前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌと、３６０度の撮像画像との双方を記録するよう制御するのがよい。

制御部１６は、モニタ１８に、フレーム内に前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌを配置した４分割画像を表示するよう制御してもよい。制御部１６は、モニタ１８に、フレーム内に後方画像２０Ｂ及び右側方画像２０Ｒを配置した２分割画像を表示するよう制御してもよい。制御部１６は、モニタ１８に、前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌのうちの選択した１つの画像（例えば前方画像２０Ｆ）のみ表示するよう制御してもよい。

通信部１５は、制御部１６による制御に基づき、車両用撮像装置１００が撮像している画像を、または記録再生部１７に記録した画像を外部に送信してもよい。通信部１５は省略されてもよい。

図８及び図９に示すフローチャートを用いて、画像処理部１３、画像解析部１４、または制御部１６が実行する処理を説明する。図８において、処理が開始されると、前後左右判定部１４２は、ステップＳ１にて、撮像画像（ＨＤＲ画像合成部１３３より出力された合成画像）に基づいて前後左右の方向を仮判定する。

画像解析部１４は、ステップＳ２にて、車両２００が移動したか否かを判定する。画像解析部１４は、動きベクトル検出部１４１が動きベクトルを検出したら、車両２００が移動したと判定することができる。制御部１６が、車両２００のＣＡＮ（Controller Area Network）から供給される情報に基づいて車両２００が移動したか否かを判定してもよい。

車両２００が移動しなければ（NO）、画像解析部１４（または制御部１６）はステップＳ２の処理を繰り返す。車両２００が移動すれば（YES）、画像回転部１３１は、ステップＳ３にて、発散する動きベクトルの消失点Ｐｖ１に基づいて３６０度の撮像画像を回転させて、前方画像２０Ｆの方向を調整して、処理を一旦終了させる。

図９において、処理が開始されると、動きベクトル検出部１４１は、ステップＳ１１にて、発散する動きベクトルの消失点Ｐｖ１と、収束する動きベクトルの消失点Ｐｖ２を検出する。計測部１６１は、ステップＳ１２にて、前方画像２０Ｆ内に位置する消失点Ｐｖ１の発生時間と消失点Ｐｖ２の発生時間を測定する。

制御部１６は、ステップＳ１３にて、所定時間経過したか否かを判定する。所定時間は例えば１０分間である。所定時間経過していなければ（NO）、制御部１６はステップＳ１３の処理を繰り返す。所定時間経過していれば（YES）、制御部１６は、ステップＳ１４にて、消失点Ｐｖ１の発生時間が消失点Ｐｖ２の発生時間より長いか否かを判定する。発生時間とは所定時間内での延べ発生時間である。

ステップＳ１４にて消失点Ｐｖ１の発生時間が消失点Ｐｖ２の発生時間より長ければ（YES）、図８のステップＳ３にて方向を調整した前方画像２０Ｆは、実際の車両２００の前方と一致していると判定される。そこで、制御部１６、画像処理部１３、及び画像解析部１４は、そのまま処理を終了させる。

この場合、ＨＤＲ画像合成部１３３は、ステップＳ３にて方向を調整した長時間露光画像と短時間露光画像の前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌを画像合成して出力する。

ステップＳ１４にて消失点Ｐｖ１の発生時間が消失点Ｐｖ２の発生時間より長くなければ（NO）、図８のステップＳ３にて方向を調整した前方画像２０Ｆは、実際の車両２００の前方ではなく、後方であると判定される。これは、図８のステップＳ２にて車両２００が後退して、車両２００の後方の画像内に一時的に発生した消失点Ｐｖ１に基づいて前方画像２０Ｆの方向を調整したことによる。

そこで、ステップＳ１４にて消失点Ｐｖ１の発生時間が消失点Ｐｖ２の発生時間より長くなければ、前後左右判定部１４２は、ステップＳ１５にて、前後方向を反転させる。即ち、前後左右判定部１４２は、前方画像領域と後方画像領域とを反転し、右側方画像領域と左側方画像領域とを反転する。画像回転部１３１は、ステップＳ１６にて、消失点Ｐｖ１に基づいて３６０度の撮像画像を回転させて、前方画像２０Ｆの方向を調整して、処理を終了させる。

この場合、ＨＤＲ画像合成部１３３は、ステップＳ１５にて前後方向を反転してステップＳ１６にて方向を調整した長時間露光画像と短時間露光画像の前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌを画像合成して出力する。

ステップＳ１６の処理を設けることは必須ではないが、設けることが好ましい。

図１０Ａ～図１０Ｄは、以上の処理によって、前方画像２０Ｆの方向を車両２００の前方と一致させるように調整した状態の、前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、左側方画像２０Ｌの一例を概念的に示している。図１０Ａに示すように、前方画像２０Ｆの左側のＡピラー２０３ＡＬ側へのずれが解消されている。図１０Ｂに示すように、後方画像２０Ｂの車両２００の右側へのずれが解消されている。図１０Ｃに示すように、右側方画像２０Ｒの前方側へのずれが解消されている。図１０Ｄに示すように、左側方画像２０Ｌの後方側へのずれが解消されている。

第１実施形態において、右側方画像２０Ｒ及び左側方画像２０Ｌの生成を省略して、前方画像２０Ｆ及び後方画像２０Ｂのみを生成してもよい。

以上のように、第１実施形態の車両用撮像装置１００は、画像回転部１３１、画像抽出部１３２、前後左右判定部１４２、動きベクトル検出部１４１、計測部１６１を備える。動きベクトル検出部１４１は、撮像部１２が３６０度の被写体を撮像した撮像画像の動きベクトルを検出する。前後左右判定部１４２は、撮像画像に基づいて、車両２００の前後及び左右を判定して、撮像画像のうちの少なくとも前方画像領域及び後方画像領域の周方向の位置を決定する。

画像回転部１３１は、車両２００が移動を開始した直後に動きベクトル検出部１４１によって検出される動きベクトルのうち、放射状に発散する複数の動きベクトルの消失点Ｐｖ１（第１の消失点）に基づいて撮像画像を回転させる。これによって、画像回転部１３１は、前方画像領域及び後方画像領域の周方向の位置を調整する。

計測部１６１は、画像回転部１３１が前方画像領域及び後方画像領域の周方向の位置を調整した状態で、所定時間内に、前方画像領域に発生する消失点Ｐｖ１の第１の発生時間を計測する。また、計測部１６１は、その所定時間内に、前方画像領域に発生する、収束する複数の動きベクトルの消失点Ｐｖ２（第２の消失点）の第２の発生時間を計測する。

画像回転部１３１は、計測部１６１によって、第１の発生時間が第２の発生時間より長く計測されたとき、前方画像領域及び後方画像領域の周方向の位置を維持する。画像回転部１３１は、計測部１６１によって、第１の発生時間が第２の発生時間より長く計測されなかったとき、前方画像領域と後方画像領域とを反転するよう撮像画像を回転させる。

画像抽出部１３２は、撮像画像のうち、画像回転部１３１によって維持された、または反転された、前方画像領域及び後方画像領域の各領域画像を抽出して、前方画像２０Ｆ及び後方画像２０Ｂを生成する。

以上のようにして、第１実施形態の車両用撮像装置１００によれば、３６０度の撮像画像から車両の前方画像領域及び後方画像領域を正しく抽出して、前方画像２０Ｆ及び後方画像２０Ｂを生成することができる。

画像回転部１３１は、前方画像領域と後方画像領域とを反転するよう撮像画像を回転した後、新たに前方画像領域とされた領域画像内に発生する消失点Ｐｖ１に基づいて撮像画像を回転させて、前方画像領域及び後方画像領域の周方向の位置を調整することが好ましい。

画像抽出部１３２は、人が車両２００の前方及び後方を見ている状態に近付けるよう、抽出した前方画像領域及び後方画像領域の歪を補正して、前方画像２０Ｆ及び後方画像２０Ｂを生成することが好ましい。

前後左右判定部１４２は、前方画像領域及び後方画像領域に加えて、撮像画像のうちの右側方画像領域及び左側方画像領域の周方向の位置を決定することが好ましい。画像回転部１３１は、前方画像領域及び後方画像領域に加えて、右側方画像領域及び左側方画像領域の周方向の位置を調整することが好ましい。画像抽出部１３２は、前方画像領域及び後方画像領域に加えて、撮像画像のうち、右側方画像領域及び左側方画像領域の各領域画像を抽出して、右側方画像２０Ｒ及び左側方画像２０Ｌを生成することが好ましい。

＜第２実施形態＞
第２実施形態は、車両用撮像装置１００が撮像する被写体の画像のぶれをどのように補正すべきかを検討し、画像のぶれを適切に補正することができる車両用撮像装置１００を提供する。第２実施形態において、第１実施形態と共通部分の説明を省略する。第２実施形態の車両用撮像装置１００の具体的な構成は、図２と同様である。

図１１は、標識等の被写体が車両２００の前方にあり、車両２００の移動に伴って被写体に近付いて被写体の横を通過し、相対的に被写体が後方に移動していく状態を概念的に示している。標識等の被写体が前方画像２０Ｆ、右側方画像２０Ｒ、及び後方画像２０Ｂに同時に現れているのではなく、相対的に位置が変化する被写体を前方画像２０Ｆ、右側方画像２０Ｒ、及び後方画像２０Ｂに同時に示している。

前方画像２０Ｆ及び後方画像２０Ｂにおいては、被写体の時間的な変化が少ないため、物体の長時間露光画像２１Ｌと短時間露光画像２１Ｓとの位置はほとんどずれず、被写体の画像はぶれない。ところが、右側方画像２０Ｒ及び左側方画像２０Ｌにおいては、車両２００の近くに位置する被写体の撮像画像の時間的な変化が大きいため、撮像タイミングのずれに伴って長時間露光画像２１Ｌと短時間露光画像２１Ｓとの位置がずれ、被写体の画像がぶれる。

このように、右側方画像２０Ｒ及び左側方画像２０Ｌにおける被写体の画像は、前方画像２０Ｆ及び後方画像２０Ｂにおける被写体の画像よりぶれやすい。そこで、第２実施形態においては、次のようにして右側方画像２０Ｒ及び左側方画像２０Ｌにおける被写体の画像のみ、ぶれを補正する。

図１１に示す例では、ＨＤＲ画像合成部１３３は、右側方画像２０Ｒにおいて、動きベクトルに基づいて先に得られている長時間露光画像２１Ｌを短時間露光画像２１Ｓの位置に一致させるようずらした上で、長時間露光画像２１Ｌと短時間露光画像２１Ｓとを合成する。図１１では、撮長時間露光を先に短時間露光を後にしている例を示しているが、逆であってもよい。

図１２に示すように、ＨＤＲ画像合成部１３３による画像のぶれを補正する処理によって、右側方画像２０Ｒにおいて画像のぶれが補正された被写体の画像２１が得られる。前方画像２０Ｆ及び後方画像２０Ｂにおいては、被写体の時間的な変化が少ないため、ＨＤＲ画像合成部１３３による画像のぶれを補正する処理を実行しなくても、ぶれていない画像２１が得られる。

図１３に示すフローチャートを用いて、第２実施形態において、画像処理部１３または制御部１６が実行する処理を説明する。処理が開始されると、画像抽出部１３２は、ステップＳ２１にて、右側方画像領域及び左側方画像領域を抽出する。ステップＳ２１は、第１実施形態と同様に、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域を抽出する処理であってもよい。

ＨＤＲ画像合成部１３３は、ステップＳ２２にて、右側方画像領域及び左側方画像領域における長時間露光画像と短時間露光画像とを動きベクトルを参照して合成する。これによって、長時間露光画像２１Ｌに基づく右側方画像または左側方画像に含まれている所定の被写体と短時間露光画像２１Ｓに基づく右側方画像及び左側方画像に含まれているその所定の被写体との撮像タイミングのずれに伴う画像のぶれが補正される。

制御部１６は、ステップＳ２３にて、車両用撮像装置１００の電源がオフされたか否かを判定する。車両用撮像装置１００の電源がオフされなければ（NO）、制御部１６及び画像処理部１３はステップＳ２１～Ｓ２３の処理を繰り返す。車両用撮像装置１００の電源がオフされれば（YES）、制御部１６は処理を終了させる。

第２実施形態の車両用撮像装置１００の構成及び動作は次のとおりである。第２実施形態の車両用撮像装置１００における撮像部１２は、第１の露光時間で被写体を撮像した長時間露光画像と、第２の露光時間で前記被写体を撮像した短時間露光画像を生成する。第２実施形態の車両用撮像装置１００は、画像抽出部１３２、ＨＤＲ画像合成部１３３、動きベクトル検出部１４１、前後左右判定部１４２を備える。

動きベクトル検出部１４１は、撮像画像の動きベクトルを検出する。前後左右判定部１４２は、撮像画像のうちの少なくとも右側方画像領域及び左側方画像領域の周方向の位置を決定する。画像抽出部１３２は、撮像画像のうち、右側方画像領域及び左側方画像領域の各領域画像を抽出して、右側方画像２０Ｒ及び左側方画像２０Ｌを生成する。

ＨＤＲ画像合成部１３３は、画像抽出部１３２が長時間露光画像に基づいて生成した右側方画像２０Ｒ及び左側方画像２０Ｌと短時間露光画像に基づいて生成した右側方画像２０Ｒ及び左側方画像２０Ｌとをそれぞれ合成する。このとき、ＨＤＲ画像合成部１３３は、動きベクトル検出部１４１が右側方画像領域または左側方画像領域において検出した動きベクトルを参照する。これによって、右側方画像２０Ｒまたは左側方画像２０Ｌはダイナミックレンジが拡大され、かつ、右側方画像２０Ｒまたは左側方画像２０Ｌに含まれている被写体の画像のぶれが補正される。

以上のようにして、第２実施形態の車両用撮像装置１００によれば、画像のぶれを適切に補正することができる。

前後左右判定部１４２は、右側方画像領域及び左側方画像領域に加えて、撮像画像のうちの前方画像領域及び後方画像領域の周方向の位置を決定することが好ましい。画像抽出部１３２は、右側方画像領域及び左側方画像領域に加えて、撮像画像のうち、前方画像領域及び後方画像領域の各領域画像を抽出して、前方画像２０Ｆ及び後方画像２０Ｂを生成することが好ましい。

ＨＤＲ画像合成部１３３は、動きベクトル検出部１４１が検出した動きベクトルを参照することなく、画像抽出部１３２が長時間露光画像に基づいて生成した前方画像２０Ｆ及び後方画像２０Ｂと、短時間露光画像に基づいて生成した前方画像２０Ｆ及び後方画像２０Ｂとをそれぞれ合成することが好ましい。これによって、前方画像２０Ｆ及び後方画像２０Ｂはダイナミックレンジが拡大される。なお、第２実施形態においては、画像回転部１３１は省略されてもよいが、画像回転部１３１を備えることが好ましい。

＜第３実施形態＞
第３実施形態は、第２実施形態を発展させた実施形態である。第３実施形態は、車両用撮像装置１００が生成する画像に含まれている被写体のうち、画像のぶれを補正する対象をどのように選択すべきかを検討し、選択した被写体の画像のぶれを適切に補正することができる車両用撮像装置１００を提供する。第３実施形態において、第２実施形態と共通部分の説明を省略する。第３実施形態の車両用撮像装置１００の具体的な構成は、図２と同様である。

図１４Ａ及び図１４Ｂは、それぞれ右側方画像２０Ｒ及び左側方画像２０Ｌの一例を示している。図１４Ａに示すように、右側方画像２０Ｒは、被写体として、ここでは図示されていない自車両である車両２００の右隣の車線を走行する車両２３０と、標識３１を含む。車両２３０は車両２００よりも高速で走行しており、相対的に右側方画像２０Ｒの左方向（車両２００の前方）へと移動する。標識３１は相対的に右側方画像２０Ｒの右方向（車両２００の後方）へと移動する。左側方画像２０Ｌは、被写体として標識３２を含む。標識３２は、相対的に左側方画像２０Ｌの左方向（車両２００の後方）へと移動する。

制御部１６には、動きの方向が異なる複数の動きベクトルが検出された場合に、ＨＤＲ画像合成部１３３が画像のぶれを優先的に補正する際の補正モードとして、次のいずれかの選択肢が設定されている。動きの方向が異なる複数の動きベクトルとは、互いに逆方向の２つの動きベクトルであってもよい。運転者３００等の車両用撮像装置１００のユーザが、図示していない操作部によっていずれかの補正モードを選択して、選択された補正モードが制御部１６に設定される。

補正モード１は、車両２００の後方に移動する被写体のぶれを補正する補正モードである。補正モード２は、車両２００の前方に移動する被写体のぶれを補正する補正モードである。補正モード３は、車両２００により近い方の被写体のぶれを補正する補正モードである。補正モード４は、右側方画像２０Ｒまたは左側方画像２０Ｌ内で、車両２００の前方に移動する被写体の面積が所定の割合以上であるときに、前方に移動する被写体のぶれを補正する補正モードである。所定の割合は例えば２０％である。

補正モード３に関して、被写体が静止物体であれば、車両２００から遠い被写体ほど低速で相対的に移動し、車両２００に近いほど高速で相対的に移動する。制御部１６は、動きベクトルに基づいて車両２００により近い方の被写体を特定することができる。画像解析部１４が画像解析することによって、車両２００により近い方の被写体を抽出してもよい。この場合、制御部１６は、画像解析部１４による画像解析結果に基づいて車両２００により近い方の被写体のぶれを補正するよう、ＨＤＲ画像合成部１３３を制御すればよい。

制御部１６は、右側方画像２０Ｒと左側方画像２０Ｌとで個別に、補正モード１～４のうちのいずれかの補正モードを設定するのがよい。

図１４Ａにおいて、補正モード１が設定されていれば、図１１及び図１２と同様にして、標識３１の画像のぶれがＨＤＲ画像合成部１３３によって補正される。補正モード２が設定されていれば、車両２３０の画像のぶれがＨＤＲ画像合成部１３３によって補正される。補正モード３が設定されていれば、車両２３０が標識３１よりも車両２００に近いため、車両２３０の画像のぶれがＨＤＲ画像合成部１３３によって補正される。

図１４Ａにおいて、補正モード４が設定されていれば、相対的に車両２００の前方に移動する車両２３０の画像の面積は右側方画像２０Ｒ内で２０％以上であるため、車両２３０の画像のぶれがＨＤＲ画像合成部１３３によって補正される。

図１４Ｂにおいては、標識３２が左方向へと移動する動きベクトルしか存在しない。よって、制御部１６は、補正モードの設定にかかわらず、標識３２が移動する動きベクトルを参照して標識３２の画像のぶれを補正するよう、ＨＤＲ画像合成部１３３を制御する。

図１５に示すフローチャートを用いて、第３実施形態において、画像処理部１３または制御部１６が実行する処理を説明する。図１５においては、処理が開始された後に、互いに逆方向の２つの動きベクトルが存在すると判定された場合を例とする。

図１５において、画像抽出部１３２は、ステップＳ３１にて、右側方画像領域及び左側方画像領域を抽出する。ステップＳ３１は、第１実施形態と同様に、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域を抽出する処理であってもよい。制御部１６は、ステップＳ３２にて、車両２００の後方に移動する被写体のぶれを優先的に補正する補正モード１に設定されているか否かを判定する。補正モード１に設定されていれば（YES）、ＨＤＲ画像合成部１３３は、ステップＳ３３にて、後方への動きベクトルを参照して後方に移動する被写体の画像のぶれを補正して、処理をステップＳ３９に移行させる。

ステップＳ３２にて補正モード１に設定されていなければ（NO）、制御部１６は、ステップＳ３４にて、車両２００の前方に移動する被写体のぶれを優先的に補正する補正モード２に設定されているか否かを判定する。補正モード２に設定されていれば（YES）、ＨＤＲ画像合成部１３３は、ステップＳ３５にて、前方への動きベクトルを参照して前方に移動する被写体の画像のぶれを補正して、処理をステップＳ３９に移行させる。

ステップＳ３４にて補正モード２に設定されていなければ（NO）、制御部１６は、ステップＳ３６にて、車両２００のより近くに位置する被写体のぶれを優先的に補正する補正モード３に設定されているか否かを判定する。補正モード３に設定されていれば（YES）、ＨＤＲ画像合成部１３３は、ステップＳ３７にて、より近くに位置している被写体の動きベクトルを参照してより近くに位置している被写体の画像のぶれを補正して、処理をステップＳ３９に移行させる。

ステップＳ３６にて補正モード３に設定されていなければ（NO）、補正モード４に設定されているということである。制御部１６は、ステップＳ３８にて、車両２００の前方に移動する被写体の面積が所定の割合以上であるか否かを判定する。車両２００の前方に移動する被写体の面積が所定の割合以上でなければ（NO）、ＨＤＲ画像合成部１３３は、ステップＳ３３にて、後方への動きベクトルを参照して後方に移動する被写体の画像のぶれを補正して、処理をステップＳ３９に移行させる。

ステップＳ３８にて車両２００の前方に移動する被写体の面積が所定の割合以上であれば（YES）、ＨＤＲ画像合成部１３３は、ステップＳ３５にて、前方への動きベクトルを参照して前方に移動する被写体の画像のぶれを補正して、処理をステップＳ３９に移行させる。

制御部１６は、ステップＳ３９にて、車両用撮像装置１００の電源がオフされたか否かを判定する。車両用撮像装置１００の電源がオフされなければ（NO）、制御部１６及び画像処理部１３はステップＳ３１～Ｓ３９の処理を繰り返す。車両用撮像装置１００の電源がオフされれば（YES）、制御部１６は処理を終了させる。

第３実施形態の車両用撮像装置１００の構成及び動作は次のとおりである。第３実施形態の車両用撮像装置１００における撮像部１２は、第１の露光時間で被写体を撮像した長時間露光画像と、第２の露光時間で前記被写体を撮像した短時間露光画像を生成する。第３実施形態の車両用撮像装置１００は、画像抽出部１３２、ＨＤＲ画像合成部１３３、２動きベクトル検出部１４１、前後左右判定部１４２を備える。

動きベクトル検出部１４１は、撮像画像の動きベクトルを検出する。前後左右判定部１４２は、撮像画像のうちの少なくとも右側方画像領域及び左側方画像領域の周方向の位置を決定する。画像抽出部１３２は、撮像画像のうち、右側方画像領域及び左側方画像領域の各領域画像を抽出して、右側方画像２０Ｒ及び左側方画像２０Ｌを生成する。

ＨＤＲ画像合成部１３３は、画像抽出部１３２が長時間露光画像に基づいて生成した右側方画像２０Ｒ及び左側方画像２０Ｌと短時間露光画像に基づいて生成した右側方画像２０Ｒ及び左側方画像２０Ｌとをそれぞれ合成する。このとき、ＨＤＲ画像合成部１３３は、動きベクトル検出部１４１が右側方画像領域または左側方画像領域において検出した動きベクトルを参照する。

動きベクトル検出部１４１が右側方画像領域または左側方画像領域において互いに異なる複数の動きベクトルを検出することがある。ＨＤＲ画像合成部１３３は、右側方画像２０Ｒまたは左側方画像２０Ｌに含まれている、予め設定された補正モードに応じて補正対象の被写体と決定される被写体の画像のぶれを補正するよう、補正対象の被写体の動きベクトルを参照する。

よって、第３実施形態の車両用撮像装置１００によれば、選択した被写体の画像のぶれを適切に補正することができる。

互いに異なる複数の動きベクトルは、車両２０００の後方への第１の動きベクトルと車両２００の前方への第２の動きベクトルであることがある。補正モードとして、相対的に車両２００の後方に移動する被写体を補正対象の被写体とすることができる。この場合、ＨＤＲ画像合成部１３３は、第１の動きベクトルを参照して、長時間露光画像に基づいて生成した右側方画像２０Ｒまたは左側方画像２０Ｌと短時間露光画像に基づいて生成した右側方画像２０Ｒまたは左側方画像２０Ｌとを合成する。

補正モードとして、相対的に車両２００の前方に移動する被写体を補正対象の被写体とすることができる。この場合、ＨＤＲ画像合成部１３３は、第２の動きベクトルを参照して、長時間露光画像に基づいて生成した右側方画像２０Ｒまたは左側方画像と短時間露光画像に基づいて生成した右側方画像２０Ｒまたは左側方画像２０Ｌとを合成する。

右側方画像２０Ｒ内または左側方画像２０Ｌ内に複数の被写体が存在するとき、上記の２つの補正モードに加えて、補正モードとして、車両２００により近くに位置する被写体を補正対象の被写体としてもよい。ＨＤＲ画像合成部１３３は、より近くに位置する被写体が移動する方向である第１または第２の動きベクトルを参照して、長時間露光画像及び短時間露光画像に基づく右側方画像２０Ｒまたは左側方画像２０Ｌを合成する。

右側方画像２０Ｒ内または左側方画像２０Ｌ内に、相対的に車両２００の後方に移動する第１の被写体と相対的に車両２００の前方に移動する第２の被写体とが存在することがある。このとき、上記の２つまたは３つの補正モードに加えて、補正モードとして、右側方画像２０Ｒまたは左側方画像２０Ｌのうちの第２の被写体の面積の割合に応じて補正対象の被写体を決定してもよい。

ＨＤＲ画像合成部１３３は、第２の被写体の面積の割合が右側方画像２０Ｒまたは左側方画像２０Ｌのうちの所定の割合以上でければ、第１の動きベクトルを参照して、長時間露光画像及び短時間露光画像に基づく右側方画像２０Ｒまたは左側方画像２０Ｌを合成する。ＨＤＲ画像合成部１３３は、第２の被写体の面積が右側方画像２０Ｒまたは左側方画像２０Ｌのうちの所定の割合以上であれば、第２の動きベクトルを参照して、長時間露光画像及び短時間露光画像に基づく右側方画像２０Ｒまたは左側方画像２０Ｌを合成する。

＜第４実施形態＞
第４実施形態は、太陽光の入射方向に応じて適切な前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌを得ることができる車両用撮像装置１００を提供する。第４実施形態において、第１実施形態と共通部分の説明を省略する。第４実施形態の車両用撮像装置１００の具体的な構成は、図２と同様である。

図１６において、自車両である車両２００が走行する車線の前方には車両２４１、後方には車両２４２が走行している。車両２００が走行する車線の右車線には車両２４３が走行し、左車線には車両２４４が走行している。太陽光が白抜き矢印の方向から車両２００及び２４１～２４４を照らすとすると、車両２００及び２４１～２４４には、ハッチングを付していない明るい部分とハッチングを付した暗い部分とが形成される。このように、太陽光が被写体を照らす際の太陽光の入射方向によって明るい部分と暗い部分とが形成される。

第４実施形態において、車両用撮像装置１００は、太陽光の入射方向に応じてＨＤＲ画像合成部１３３における長時間露光画像と短時間露光画像との合成の仕方を異ならせる。

図１７に示すように、制御部１６は、一例として、車両用撮像装置１００が撮像する３６０度の方向を４５度ずつの８つの方向に分割する。制御部１６は、太陽光の入射方向が８つの方向のうちのいずれの方向であるかに応じて、長時間露光画像と短時間露光画像との合成の仕方を異ならせるようＨＤＲ画像合成部１３３を制御する。８つの方向を、前、右前、右、右後、後、左後、左、左前の各方向とする。なお、画像解析部１４が撮像画像を解析することによって太陽光の入射方向を判定することができる。画像解析部１４は、太陽光の入射方向を判定する太陽光入射方向判定部として機能する。

図１８Ａ及び図１８Ｂに示すフローチャートを用いて、第４実施形態において、画像処理部１３、画像解析部１４、または制御部１６が実行する処理を説明する。図１８Ａにおいて、処理が開始されると、画像解析部１４は、ステップＳ４０１にて、太陽光の入射方向を判定する。制御部１６は、ステップＳ４０２にて、太陽光の入射方向が画像解析部１４によって前方向と判定されたか否かを判定する。

ステップＳ４０２にて太陽光の入射方向が前方向と判定されれば（YES）、制御部１６は、ステップＳ４０３にて、前方画像２０Ｆにおける長時間露光画像の割合を、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌにおける長時間露光画像の割合よりも増加させるようＨＤＲ画像合成部１３３を制御する。これは、車両２００の前方に位置する車両２４１の後方が影となり、車両用撮像装置１００が車両２４１の後方を撮像するからである。制御部１６は、ステップＳ４０３に続けて処理をステップＳ４１８に移行させる。

一例として、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌにおける長時間露光画像と短時間露光画像との比が４：６であるとき、制御部１６は、ステップＳ４０３にて、前方画像２０Ｆにおける長時間露光画像と短時間露光画像との比を９：１とするようＨＤＲ画像合成部１３３を制御する。

ステップＳ４０２にて太陽光の入射方向が前方向と判定されなければ（NO）、制御部１６は、ステップＳ４０４にて、太陽光の入射方向が右前方向と判定されたか否かを判定する。太陽光の入射方向が右前方向と判定されれば（YES）、制御部１６は、ステップＳ４０５にて、前方画像２０Ｆ及び右側方画像２０Ｒにおける長時間露光画像の割合を、後方画像２０Ｂ及び左側方画像２０Ｌにおける長時間露光画像の割合よりも増加させるようＨＤＲ画像合成部１３３を制御する。制御部１６は、ステップＳ４０５に続けて処理をステップＳ４１８に移行させる。

一例として、後方画像２０Ｂ及び左側方画像２０Ｌにおける長時間露光画像と短時間露光画像との比が４：６であるとき、制御部１６は、前方画像２０Ｆ及び右側方画像２０Ｒにおける長時間露光画像と短時間露光画像との比を９：１とするようＨＤＲ画像合成部１３３を制御する。

ステップＳ４０４にて太陽光の入射方向が右前方向と判定されなければ（NO）、制御部１６は、ステップＳ４０６にて、太陽光の入射方向が右方向と判定されたか否かを判定する。太陽光の入射方向が右方向と判定されれば（YES）、制御部１６は、ステップＳ４０７にて、前方画像２０Ｆにおける長時間露光画像の割合を、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌにおける長時間露光画像の割合よりも増加させるようＨＤＲ画像合成部１３３を制御する。長時間露光画像の割合の増加のさせ方はステップＳ４０５と同様である。制御部１６は、ステップＳ４０７に続けて処理をステップＳ４１８に移行させる。

ステップＳ４０６にて太陽光の入射方向が右方向と判定されなければ（NO）、制御部１６は、ステップＳ４０８にて、太陽光の入射方向が右後方向と判定されたか否かを判定する。太陽光の入射方向が右後方向と判定されれば（YES）、制御部１６は、ステップＳ４０９にて、後方画像２０Ｂ及び右側方画像２０Ｒにおける長時間露光画像の割合を、前方画像２０Ｆ及び左側方画像２０Ｌにおける長時間露光画像の割合よりも増加させるようＨＤＲ画像合成部１３３を制御する。長時間露光画像の割合の増加のさせ方はステップＳ４０５と同様である。制御部１６は、ステップＳ４０９に続けて処理をステップＳ４１８に移行させる。

ステップＳ４０８にて太陽光の入射方向が右後方向と判定されなければ（NO）、制御部１６は、図１８ＢのステップＳ４１０にて、太陽光の入射方向が後方向と判定されたか否かを判定する。太陽光の入射方向が後方向と判定されれば（YES）、制御部１６は、ステップＳ４１１にて、後方画像２０Ｂにおける長時間露光画像の割合を、前方画像２０Ｆ、右側方画像２０Ｒ、及び左側方画像２０Ｌにおける長時間露光画像の割合よりも増加させるようＨＤＲ画像合成部１３３を制御する。長時間露光画像の割合の増加のさせ方はステップＳ４０５と同様である。制御部１６は、ステップＳ４１１に続けて処理をステップＳ４１８に移行させる。

ステップＳ４１０にて太陽光の入射方向が後方向と判定されなければ（NO）、制御部１６は、ステップＳ４１２にて、太陽光の入射方向が左後方向と判定されたか否かを判定する。太陽光の入射方向が左後方向と判定されれば（YES）、制御部１６は、ステップＳ４１３にて、後方画像２０Ｂ及び左側方画像２０Ｌにおける長時間露光画像の割合を、前方画像２０Ｆ及び右側方画像２０Ｒにおける長時間露光画像の割合よりも増加させるようＨＤＲ画像合成部１３３を制御する。長時間露光画像の割合の増加のさせ方はステップＳ４０５と同様である。制御部１６は、ステップＳ４１３に続けて処理をステップＳ４１８に移行させる。

ステップＳ４１２にて太陽光の入射方向が左後方向と判定されなければ（NO）、制御部１６は、ステップＳ４１４にて、太陽光の入射方向が左方向と判定されたか否かを判定する。太陽光の入射方向が左方向と判定されれば（YES）、制御部１６は、ステップＳ４１５にて、左側方画像２０Ｌにおける長時間露光画像の割合を、前方画像２０Ｆ、後方画像２０Ｂ、及び右側方画像２０Ｒにおける長時間露光画像の割合よりも増加させるようＨＤＲ画像合成部１３３を制御する。長時間露光画像の割合の増加のさせ方はステップＳ４０５と同様である。制御部１６は、ステップＳ４１５に続けて処理をステップＳ４１８に移行させる。

ステップＳ４１４にて太陽光の入射方向が左方向と判定されなければ（NO）、制御部１６は、ステップＳ４１６にて、太陽光の入射方向が左前方向と判定されたか否かを判定する。太陽光の入射方向が左前方向と判定されれば（YES）、制御部１６は、ステップＳ４１７にて、前方画像２０Ｆ及び左側方画像２０Ｌにおける長時間露光画像の割合を、後方画像２０Ｂ及び右側方画像２０Ｒにおける長時間露光画像の割合よりも増加させるようＨＤＲ画像合成部１３３を制御する。長時間露光画像の割合の増加のさせ方はステップＳ４０５と同様である。制御部１６は、ステップＳ４１７に続けて処理をステップＳ４１８に移行させる。

ステップＳ４１６にて太陽光の入射方向が左前方向と判定されなければ（NO）、制御部１６は処理をステップＳ４１８に移行させる。

制御部１６は、ステップＳ４１８にて、車両用撮像装置１００の電源がオフされたか否かを判定する。車両用撮像装置１００の電源がオフされなければ（NO）、画像処理部１３、画像解析部１４、または制御部１６はステップＳ４０１～Ｓ４１８の処理を繰り返す。車両用撮像装置１００の電源がオフされれば（YES）、制御部１６は処理を終了させる。

第４実施形態の車両用撮像装置１００の構成及び動作は次のとおりである。第４実施形態の車両用撮像装置１００における撮像部１２は、第１の露光時間で被写体を撮像した長時間露光画像と、第２の露光時間で前記被写体を撮像した短時間露光画像を生成する。第４実施形態の車両用撮像装置１００は、太陽光入射方向判定部（画像解析部１４）、画像抽出部１３２、ＨＤＲ画像合成部１３３、前後左右判定部１４２を備える。

前後左右判定部１４２は、撮像画像のうちの前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の周方向の位置を決定する。画像抽出部１３２は、撮像画像のうち、前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の各領域画像を抽出して、前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌの各方向画像を生成する。

ＨＤＲ画像合成部１３３は、長時間露光画像に基づいて生成した前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌと、短時間露光画像に基づいて生成した前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌとをそれぞれ合成する。

ＨＤＲ画像合成部１３３は、前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌのうち、太陽光入射方向判定部によって判定された太陽光の入射方向に応じて選択された長時間露光画像に基づく方向画像の割合を、非選択の長時間露光画像に基づく方向画像の割合よりも増加させる。

第４実施形態の車両用撮像装置１００によれば、太陽光の入射方向に応じて適切な前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌを得ることができる。

太陽光入射方向判定部は、車両用撮像装置１００が撮像する３６０度の方向を少なくとも前方向、後方向、右方向、左方向を含む複数の方向に分割して、太陽光の入射方向がいずれの方向であるかを判定すればよい。

ＨＤＲ画像合成部１３３は、太陽光の入射方向が前方向であるとき、長時間露光画像に基づく前方画像の割合を増加させ、太陽光の入射方向が後方向であるとき、長時間露光画像に基づく後方画像の割合を増加させるのがよい。ＨＤＲ画像合成部１３３は、太陽光の入射方向が右方向であるとき、長時間露光画像に基づく右側方画像の割合を増加させ、太陽光の入射方向が左方向であるとき、長時間露光画像に基づく左側方画像の割合を増加させるのがよい。

太陽光入射方向判定部は、車両用撮像装置１００が撮像する３６０度の方向を、前方向、後方向、右方向、左方向に加えて、右前方向、右後方向、左後方向、左前方向を含む複数の方向に分割して、太陽光の入射方向がいずれの方向であるかを判定することが好ましい。

ＨＤＲ画像合成部１３３は、太陽光の入射方向が右前方向であるとき、長時間露光画像に基づく前方画像及び右側方画像の割合を増加させ、太陽光の入射方向が右後方向であるとき、長時間露光画像に基づく後方画像及び右側方画像の割合を増加させるのがよい。ＨＤＲ画像合成部１３３は、太陽光の入射方向が左後方向であるとき、長時間露光画像に基づく後方画像及び左側方画像の割合を増加させ、太陽光の入射方向が左前方向であるとき、長時間露光画像に基づく前方画像及び左側方画像の割合を増加させるのがよい。

＜第５実施形態＞
第５実施形態は、車両２００が走行している際に、トンネルに入る前からトンネル内を走行してトンネルから出た後までの車両２００位置に応じて、適切な前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌを得ることができる車両用撮像装置１００を提供する。第５実施形態において、第１実施形態と共通部分の説明を省略する。第５実施形態の車両用撮像装置１００の具体的な構成は、図２と同様である。

図１９において、道路を走行している車両２００はトンネル５０に接近して、領域Ｒ５１を走行する。このとき、前方画像２０Ｆに含まれているトンネル５０の内部の画像が所定の割合以上となる。トンネル５０の内部の画像が明瞭に視認できるように、制御部１６は、ＨＤＲ画像合成部１３３が前方画像２０Ｆにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を大きくするようＨＤＲ画像合成部１３３を制御するのがよい。

一例として、車両２００が領域Ｒ５１に到達する前で撮像画像にトンネル５０の内部の画像が含まれていない状態で、長時間露光画像と短時間露光画像との比が４：６であるとき、制御部１６は、前方画像２０Ｆにおける長時間露光画像と短時間露光画像との比を８：２とする。

車両２００はさらにトンネル５０の入口５０ｉｎに近付き、車両２００の一部がトンネル５０内に侵入する領域Ｒ５２に到達する。このとき、制御部１６は、右側方画像２０Ｒ及び左側方画像２０Ｌにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を大きくするようＨＤＲ画像合成部１３３を制御するのがよい。

一例として、車両２００が領域Ｒ５１を走行しているときに右側方画像２０Ｒ及び左側方画像２０Ｌにおける長時間露光画像と短時間露光画像との比が４：６であるとき、制御部１６は、右側方画像２０Ｒ及び左側方画像２０Ｌにおける長時間露光画像と短時間露光画像との比を８：２とする。

車両２００はさらにトンネル５０内を走行し、領域Ｒ５３に到達する。このとき、後方画像２０Ｂに含まれているトンネル５０の入口５０ｉｎ側のトンネル５０以外の画像が所定の割合以下となる。制御部１６は、後方画像２０Ｂにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を大きくするようＨＤＲ画像合成部１３３を制御するのがよい。

一例として、車両２００が領域Ｒ５１及びＲ５２を走行しているときに後方画像２０Ｂにおける長時間露光画像と短時間露光画像との比が４：６であるとき、制御部１６は、後方画像２０Ｂにおける長時間露光画像と短時間露光画像との比を８：２とする。

車両２００はさらにトンネル５０内を走行し、トンネル５０の出口５０ｏｕｔに近付いた領域Ｒ５４に到達する。このとき、前方画像２０Ｆに含まれているトンネル５０の出口５０ｏｕｔ側のトンネル５０以外の画像が所定の割合以上となる。トンネル５０の外部の画像が明瞭に視認できるように、制御部１６は、前方画像２０Ｆにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を小さくするようＨＤＲ画像合成部１３３を制御するのがよい。

一例として、車両２００が領域Ｒ５４に到達する直前まで前方画像２０Ｆにおける長時間露光画像と短時間露光画像との比が８：２であるので、領域Ｒ５４に到達したら長時間露光画像と短時間露光画像との比を４：６とする。

車両２００はさらにトンネル５０内を走行し、車両２００の一部がトンネル５０の出口５０ｏｕｔに出る領域Ｒ５５に到達する。このとき、制御部１６は、右側方画像２０Ｒ及び左側方画像２０Ｌにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を小さくするようＨＤＲ画像合成部１３３を制御するのがよい。

一例として、車両２００が領域Ｒ５５に到達する直前まで右側方画像２０Ｒ及び左側方画像２０Ｌにおける長時間露光画像と短時間露光画像との比が８：２であるので、領域Ｒ５５に到達したら長時間露光画像と短時間露光画像との比を４：６とする。

車両２００が完全にトンネル５０の外に出て領域Ｒ５６に到達すると、後方画像２０Ｂに含まれているトンネル５０の内部の画像が所定の割合以下となる。制御部１６は、ＨＤＲ画像合成部１３３が後方画像２０Ｂにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を小さくするようＨＤＲ画像合成部１３３を制御するのがよい。

一例として、車両２００が領域Ｒ５６に到達する直前まで後方画像２０Ｂにおける長時間露光画像と短時間露光画像との比が８：２であるので、領域Ｒ５６に到達したら長時間露光画像と短時間露光画像との比を４：６とする。

車両２００が図１９に示す領域Ｒ５１～Ｒ５６のどこを走行しているかは、画像解析部１４が撮像画像に基づいて判定することができる。画像解析部１４は、トンネル走行判定部として機能する。

車両用撮像装置１００がＧＰＳ（Global Positioning System）等の全地球航法衛星システム（Global Navigation Satellite System: GNSS）用の衛星からの電波を受信するＧＮＳＳ受信部と地図情報を備える場合には、制御部１６が、ＧＮＳＳ受信部が受信したＧＮＳＳ信号と地図情報に基づいて車両２００のトンネル５０内外の位置を検出してもよい。この場合、制御部１６がトンネル走行判定部として機能する。

図２０Ａ及び図２０Ｂに示すフローチャートを用いて、第５実施形態において、画像処理部１３、トンネル走行判定部（画像解析部１４）、または制御部１６が実行する処理を説明する。図２０Ａにおいて、処理が開始されると、トンネル走行判定部は、ステップＳ５０１にて、車両２００の前方にトンネルを認識して、トンネル５０の内部の画像が所定の割合以上となったか否かを判定する。

ステップＳ５０１にてトンネル５０の内部の画像が所定の割合以上となったと判定されれば（YES）、制御部１６は、ステップＳ５０２にて、前方画像２０Ｆにおける長時間露光画像の割合を増加させるようＨＤＲ画像合成部１３３を制御して、処理をステップＳ５１３に移行させる。ステップＳ５０１にてトンネル５０の内部の画像が所定の割合以上となったと判定されなければ（NO）、トンネル走行判定部は、ステップＳ５０３にて、車両２００がトンネル５０に侵入しているか否かを判定する。

ステップＳ５０３にて車両２００がトンネル５０に侵入したと判定されれば（YES）、制御部１６は、ステップＳ５０４にて、右側方画像２０Ｒ及び左側方画像２０Ｌにおける長時間露光画像の割合を増加させるようＨＤＲ画像合成部１３３を制御して、処理をステップＳ５１３に移行させる。ステップＳ５０３にて車両２００がトンネル５０に侵入したと判定されなければ（NO）、トンネル走行判定部は、ステップＳ５０５にて、後方画像２０Ｂに含まれているトンネル５０の入口５０ｉｎ側のトンネル５０以外の画像が所定の割合以下であるか否かを判定する。

ステップＳ５０５にてトンネル５０の入口５０ｉｎ側のトンネル５０以外の画像が所定の割合以下であると判定されれば（YES）、制御部１６は、ステップＳ５０６にて、後方画像２０Ｂにおける長時間露光画像の割合を増加させるようＨＤＲ画像合成部１３３を制御して、処理をステップＳ５１３に移行させる。ステップＳ５０５にてトンネル５０の入口５０ｉｎ側のトンネル５０以外の画像が所定の割合以下であると判定されなければ（NO）、トンネル走行判定部は、図２０ＢのステップＳ５０７にて、前方画像２０Ｆに含まれているトンネル５０の出口５０ｏｕｔ側のトンネル５０以外の画像が所定の割合以上であるか否かを判定する。

ステップＳ５０７にてトンネル５０の出口５０ｏｕｔ側のトンネル５０以外の画像が所定の割合以上であると判定されれば（YES）、制御部１６は、ステップＳ５０８にて、前方画像２０Ｆにおける長時間露光画像の割合を減少させるようＨＤＲ画像合成部１３３を制御して、処理をステップＳ５１３に移行させる。ステップＳ５０７にてトンネル５０の出口５０ｏｕｔ側のトンネル５０以外の画像が所定の割合以上であると判定されなければ（NO）、トンネル走行判定部は、ステップＳ５０９にて、車両２００の一部がトンネル５０の外へと移動したか否かを判定する。

ステップＳ５０９にて車両２００の一部がトンネル５０の外へと移動したと判定されれば（YES）、制御部１６は、ステップＳ５１０にて、右側方画像２０Ｒ及び左側方画像２０Ｌにおける長時間露光画像の割合を減少させるようＨＤＲ画像合成部１３３を制御して、処理をステップＳ５１３に移行させる。ステップＳ５０９にて車両２００の一部がトンネル５０の外へと移動したと判定されなければ（NO）、トンネル走行判定部は、ステップＳ５１１にて、車両２００がトンネル５０の外へと移動して、後方画像２０Ｂに含まれているトンネル５０の内部の画像が所定の割合以下であるか否かを判定する。

ステップＳ５１１にてトンネル５０の内部の画像が所定の割合以下であると判定されれば（YES）、制御部１６は、ステップＳ５１２にて、後方画像２０Ｂにおける長時間露光画像の割合を減少させるようＨＤＲ画像合成部１３３を制御して、処理をステップＳ５１３に移行させる。ステップＳ５１１にてトンネル５０の内部の画像が所定の割合以下であると判定されなければ（NO）、制御部１６は処理をステップＳ５１３に移行させる。

制御部１６は、ステップＳ５１３にて、車両用撮像装置１００の電源がオフされたか否かを判定する。車両用撮像装置１００の電源がオフされなければ（NO）、画像処理部１３、トンネル走行判定部、または制御部１６はステップＳ５０１～Ｓ５１３の処理を繰り返す。車両用撮像装置１００の電源がオフされれば（YES）、制御部１６は処理を終了させる。

第５実施形態の車両用撮像装置１００の構成及び動作は次のとおりである。第５実施形態の車両用撮像装置１００における撮像部１２は、第１の露光時間で被写体を撮像した長時間露光画像と、第２の露光時間で前記被写体を撮像した短時間露光画像を生成する。第５実施形態の車両用撮像装置１００は、トンネル走行判定部（画像解析部１４）、画像抽出部１３２、ＨＤＲ画像合成部１３３、前後左右判定部１４２を備える。

前後左右判定部１４２は、撮像画像のうちの前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の周方向の位置を決定する。画像抽出部１３２は、撮像画像のうち、前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の各領域画像を抽出して、前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌの各方向画像を生成する。

ＨＤＲ画像合成部１３３は、長時間露光画像に基づいて生成した前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌと、短時間露光画像に基づいて生成した前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌとをそれぞれ合成する。

トンネル走行判定部は、走行している車両２００がトンネル５０に接近し、トンネル５０に入ってトンネル５０内を走行し、トンネル５０から出た状態を判定する。

ＨＤＲ画像合成部１３３は、前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌのうちの選択された方向画像の長時間露光画像に基づく方向画像の割合または短時間露光画像に基づく方向画像の割合を調整する。ＨＤＲ画像合成部１３３は、トンネル走行判定部による判定に基づいて、車両２００がトンネル５０に入る前からトンネル５０内を走行してトンネル５０から出た後までの車両２００の位置に応じて割合を調整する。

具体的には、ＨＤＲ画像合成部１３３は車両２００の位置に応じて次のように割合を調整するのがよい。

トンネル走行判定部が、車両２００がトンネル５０に接近して、トンネル５０の内部の画像が前方画像２０Ｆのうちの所定の割合以上となったと判定したとき、ＨＤＲ画像合成部１３３は、長時間露光画像に基づく前方画像２０Ｆの割合を増加させるのがよい。

トンネル走行判定部が、車両２００がトンネル５０に侵入したと判定したとき、ＨＤＲ画像合成部１３３は、長時間露光画像に基づく右側方画像２０Ｒ及び左側方画像２０Ｌの割合を増加させるのがよい。

トンネル走行判定部が、車両２００がトンネル５０に侵入した後にトンネル５０の入口５０ｉｎ側のトンネル５０以外の画像が後方画像２０Ｂのうちの所定の割合以下になったと判定したとき、ＨＤＲ画像合成部１３３は、長時間露光画像に基づく後方画像２０Ｂの割合を増加させるのがよい。

トンネル走行判定部が、車両２００がトンネル５０の出口５０ｏｕｔに接近して、出口５０ｏｕｔ側のトンネル５０以外の画像が前方画像２０Ｆのうちの所定の割合以上になったと判定したとき、ＨＤＲ画像合成部１３３は、長時間露光画像に基づく前方画像２０Ｆの割合を減少させるのがよい。即ち、上記のように車両２００がトンネル５０に接近した時点で増加させた長時間露光画像に基づく前方画像２０Ｆの割合を元の割合に戻す。

トンネル走行判定部が、車両２００がトンネル５０の外に出たと判定したとき、ＨＤＲ画像合成部１３３は、長時間露光画像に基づく右側方画像２０Ｒ及び左側方画像２０Ｌの割合を減少させるのがよい。即ち、上記のように車両２００がトンネル５０に侵入した時点で増加させた長時間露光画像に基づく右側方画像２０Ｒ及び左側方画像２０Ｌの割合を元の割合に戻す。

トンネル走行判定部が、車両２００がトンネル５０の外に出て、トンネル５０の内部の画像が後方画像２０Ｂのうちの所定の割合以下になったと判定したとき、ＨＤＲ画像合成部１３３は、長時間露光画像に基づく後方画像２０Ｂの割合を減少させるのがよい。即ち、トンネル５０の入口５０ｉｎ側のトンネル５０以外の画像が後方画像２０Ｂのうちの所定の割合以下になった時点で増加させた長時間露光画像に基づく後方画像２０Ｂの割合を元の割合に戻す。

以上のようにして、第５実施形態の車両用撮像装置１００によれば、車両２００がトンネル５０に入る前からトンネル５０から出た後までの車両２００位置に応じて、適切な前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌを得ることができる。

＜第６実施形態＞
第６実施形態は、車両２００に事故等のイベントが発生したときにぶれの少ない撮像画像を保存することができる車両用撮像装置１００を提供する。第６実施形態において、第１実施形態と共通部分の説明を省略する。

図２１に示すように、第６実施形態の車両用撮像装置１００は、バス１９に接続された加速度センサ６０を備える。加速度センサ６０は、車両２００にイベントが発生したか否かを判定するイベント検出センサの一例である。記録再生部１７は、メモリカード１７０とリングバッファ１７１とを有する。リングバッファ１７１は車両用撮像装置１００が備える非着脱自在の本体メモリである。メモリカード１７０には、イベント記録領域１７２と通常記録領域１７３とが設けられている。イベント記録領域１７２自動的にはデータが上書きされない記録領域である。

イベント記録領域１７２及び通常記録領域１７３はメモリカード１７０に設けられることに限定されない。イベント記録領域１７２が本体メモリに設けられてもよい。通常記録領域１７３が本体メモリに設けられてもよい。イベント記録領域１７２及び通常記録領域１７３が本体メモリに設けられてもよい。

リングバッファ１７１は、長時間露光画像と短時間露光画像の３６０度の撮像画像の撮像画像データを所定時間分だけ記録する容量を有し、撮像画像データはリングバッファ１７１に循環的に記憶される。即ち、リングバッファ１７１の全ての容量に撮像画像データが記憶されたら、最も古い撮像画像データが最新の撮像画像データへと書き換えられ、撮像画像データを更新する動作が繰り返される。

ＨＤＲ画像合成部１３３によって画像合成された前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌは、リングバッファ１７１に一時的に記録されることなく通常記録領域１７３に記録される。

図２２に示すフローチャートを用いて、第６実施形態において制御部１６が実行する処理を説明する。処理が開始されると、制御部１６は、ステップＳ６１にて、撮像画像データを所定時間分だけリングバッファ１７１に記憶させる。上記のように、撮像画像データとは、長時間露光画像と短時間露光画像の３６０度の撮像画像の撮像画像データである。

制御部１６は、ステップＳ６２にて、加速度センサ６０が検出した加速度の変化に基づいて、イベントが発生したか否かを判定する。制御部１６は、加速度が急増したり急減したりした場合にイベントが発生したと判定する。

ステップＳ６２にてイベントが発生したと判定されなければ（NO）、制御部１６はステップＳ６１及びＳ６２の処理を繰り返す。ステップＳ６２にてイベントが発生したと判定されれば（YES）、制御部１６は処理をステップＳ６３に移行させる。制御部１６は、ステップＳ６３にて、リングバッファ１７１に記憶されている撮像画像データをイベント記録領域１７２にコピーして、処理を終了させる。

イベント発生時に、画像のぶれがなく通常記録領域１７３に記録されていることが望まれる被写体がぶれた状態で記録されてしまうことがある。具体的には、一例として次のような場合に画像のぶれが大きい状態で通常記録領域１７３に記録されてしまう。

図１４Ａにおいて、右側方画像２０Ｒのうちの車両２３０の面積が２０％未満であったとする。この場合、右側方画像２０Ｒにおいて相対的に後方に移動する標識３１の画像のぶれがＨＤＲ画像合成部１３３によって補正される。この状態で、車両２００と車両２３０との間で事故が発生すると、車両２３０の画像のぶれはＨＤＲ画像合成部１３３によって補正されないため、画像のぶれが大きい状態で通常記録領域１７３に記録される。

そこで、イベント発生時には、ＨＤＲ画像合成部１３３による長時間露光画像と短時間露光画像との合成画像を通常記録領域１７３に保存するだけでは不十分である。イベント発生時には、ＨＤＲ画像合成部１３３で画像合成される前の長時間露光画像と短時間露光画像の３６０度の撮像画像の撮像画像データをイベント記録領域１７２にコピーして保存することが好ましい。第６実施形態によれば、車両２００に事故等のイベントが発生したときにぶれの少ない撮像画像を保存することができる。

第６実施形態の車両用撮像装置１００において、ＨＤＲ画像合成部１３３によって画像合成された各方向画像の画像データもリングバッファ１７１に記憶して、イベント発生時にイベント記録領域１７２にコピーして保存するようにしてもよい。また、第６実施形態の車両用撮像装置１００において、ＨＤＲ画像合成部１３３によって画像合成された各方向画像をリングバッファ１７１または通常記録領域１７３に記録しないように構成してもよい。

以上のように、第６実施形態の車両用撮像装置１００において、撮像部１２は長時間露光画像と短時間露光画像とを生成する。第６実施形態の車両用撮像装置１００は、画像抽出部１３２とＨＤＲ画像合成部１３３とを備える。画像抽出部１３２は、長時間露光画像に及び短時間露光画像に基づいて、前方画像、後方画像、右側方画像、及び左側方画像を生成する。ＨＤＲ画像合成部１３３は、長時間露光画像に及び短時間露光画像に基づく前方画像２０Ｆ、後方画像２０Ｂ、右側方画像２０Ｒ、及び左側方画像２０Ｌを合成する。

また、第６実施形態の車両用撮像装置１００は、リングバッファ１７１とイベント検出センサ（加速度センサ６０）とを備える。リングバッファ１７１は、長時間露光画像及び短時間露光画像を循環的に記憶する。イベント検出センサは、車両２００にイベントが発生したか否かを判定する。制御部１６は、イベント検出センサによって車両２００にイベントが発生したと判定されたとき、リングバッファ１７１に記憶されている長時間露光画像及び短時間露光画像をイベント記録領域１７２にコピーして保存するよう制御する。

第６実施形態の車両用撮像装置１００によれば、車両２００に事故等のイベントが発生したときにぶれの少ない撮像画像を保存することができる。

＜第７実施形態＞
第７実施形態は、適切な車内画像を生成することができる車両用撮像装置１００を提供する。図２３は、図８及び図９に示す処理によって前方画像２０Ｆの方向を車両２００の前方に正しく調整した状態で、撮像部１２が生成する３６０度の撮像画像を示している。車内画像領域には、計器類を有するインストルメントパネルが含まれている。インストルメントパネル付近の画像が車内画像領域の中で重要である。そこで、第７実施形態の車両用撮像装置１００は、図２４に示す処理を実行させる。

制御部１６は、ステップＳ７１にて、車両用撮像装置１００（車両２００）の前後方向が決定済みで、前方画像２０Ｆ及び後方画像２０Ｂの方向が調整済みであるか否かを判定する。前後方向が決定済みと判定されなければ（NO）、制御部１６は、第１実施形態の図８及び図９に示す処理が完了するまで、ステップＳ７１の処理を繰り返す。

ステップＳ７１にて前後方向が決定済みと判定されれば（YES）、制御部１６は、ステップＳ７２にて、図２３に示すように、車内画像領域の前方にインストルメントパネル領域７１を設定する。制御部１６は、車内画像領域のうちの前方の所定の領域をインストルメントパネル領域７１と設定することができる。画像解析部１４が画像解析によってインストルメントパネルを検出して、制御部１６が画像解析部１４による検出結果に基づいてインストルメントパネル領域７１と設定してもよい。

制御部１６は、長時間露光画像及び短時間露光画像における車内画像領域内に、インストルメントパネル領域７１と、インストルメントパネル領域７１以外の領域である非インストルメントパネル領域７２とを設定する領域設定部として機能する。

制御部１６は、ステップＳ７３にて、インストルメントパネル領域７１が明瞭に撮像されるように車内画像を最適化する。具体的には、制御部１６は、インストルメントパネル領域７１内のＬＥＤ等で表示された高輝度の画像が白飛びの状態で撮像されないよう、長時間露光画像と短時間露光画像を生成する際の露光時間を最適化するよう撮像部１２を制御する。

長時間露光画像を生成する際の第１の露光時間と、短時間露光画像を生成する際の第２の露光時間とは次のように設定される。第１及び第２の露光時間には最長時間と最短時間とがあり、第１及び第２の露光時間は画像の明るさに応じて決まる最長時間と最短時間との間の時間に設定される。

図２５の（ａ）に示すように、長時間露光の第１の露光時間と短時間露光の第２の露光時間との比が例えば１０：１であるとする。車両２００の車内が暗く、非インストルメントパネル領域７２における最適な露光時間の割合が図２５の（ｂ）に示すように最長時間の１００％であるとする。インストルメントパネル領域７１は非インストルメントパネル領域７２よりも明るく、インストルメントパネル領域７１における最適な露光時間の割合が図２５の（ｃ）に示すように最長時間の５０％であるとする。

通常、１つの画像領域内に明るい領域と暗い領域とが存在する場合、最適な露光時間の割合は明るい領域の面積と暗い領域の面積とを考慮して決定される。インストルメントパネル領域７１と非インストルメントパネル領域７２との面積が１：９であるとする。この場合、制御部１６は、９／１０×１００％＋１／１０×５０％＝９５％なる計算式によって、図２５の（ｄ）に示すように、長時間露光の第１の露光時間と短時間露光の第２の露光時間との最適な露光時間の割合を９５％と決定する。ところが、最適な露光時間の割合を９５％と決定すると、インストルメントパネル領域７１において白飛びが発生してしまう。

そこで、制御部１６は、インストルメントパネル領域７１における最適な露光時間の割合である５０％と、非インストルメントパネル領域７２における最適な露光時間の割合である１００％とに基づいて、両者の最適な露光時間の割合を決定するのがよい。インストルメントパネル領域７１における最適な露光時間の割合を第１の最適露光時間割合、非インストルメントパネル領域７２における最適な露光時間の割合を第２の最適露光時間割合とする。制御部１６は、インストルメントパネル領域７１と非インストルメントパネル領域７２とで共通の露光時間の割合である第３の最適露光時間割合を設定する。

このとき、制御部１６は、インストルメントパネル領域７１と非インストルメントパネル領域７２との面積比を考慮しない。図２５の（ｅ）に示すように、制御部１６は、一例として、５０％と１００％との平均値である７５％を第３の最適露光時間割合に設定する。インストルメントパネル領域７１における露光時間は９５％から７５％へと短くなるので、白飛びが発生する可能性を低減させることができる。

ここでは、非インストルメントパネル領域７２が暗くインストルメントパネル領域７１が明るい場合を例としたが、インストルメントパネル領域７１と非インストルメントパネル領域７２との明るさの関係によっては、次のようにインストルメントパネル領域７１における露光時間の割合の上限値を設定するのがよい。

インストルメントパネル領域７１における画像が黒つぶれしないという条件での最短の露光時間割合をＴ７１Ｓ、インストルメントパネル領域７１における画像が白飛びしないという条件での最長の露光時間割合をＴ７１Ｌ、インストルメントパネル領域７１における最適な露光時間割合をＴ７１Ｏとする。非インストルメントパネル領域７２における最適な露光時間割合をＴ７２Ｏとする。制御部１６は、画像が黒つぶれするか否かの条件、画像が白飛びするか否かの条件を判定することができる。よって、制御部１６は、画像の明るさに応じて、黒つぶれしない最短の露光時間、白飛びしない最長の露光時間、及び最適な露光時間を計算することができるから、それぞれの露光時間割合を決定することができる。

車内が暗く、非インストルメントパネル領域７２よりもインストルメントパネル領域７１が明るい場合、露光時間割合Ｔ７１Ｓ、Ｔ７１Ｌ、Ｔ７１Ｏ、Ｔ７２Ｏは例えば１０％、５０％、３０％、８０％のようになる。最長露光時間割合Ｔ７１Ｌと最適露光時間割合Ｔ７２ＯとがＴ７１Ｌ＜Ｔ７２Ｏを満たすとき、制御部１６は、インストルメントパネル領域７１における露光時間割合の最大値を最長露光時間割合Ｔ７１Ｌとするよう撮像部１２を制御するのがよい。

車内が太陽光で照らされて明るく、インストルメントパネル領域７１よりも非インストルメントパネル領域７２が明るい場合、露光時間割合Ｔ７１Ｓ、Ｔ７１Ｌ、Ｔ７１Ｏ、Ｔ７２Ｏは例えば６０％、８０％、７０％、２０％のようになる。最短露光時間割合Ｔ７１Ｓと最適露光時間割合Ｔ７２ＯとがＴ７２Ｏ＜Ｔ７１Ｓを満たすとき、制御部１６は、インストルメントパネル領域７１における露光時間割合の最小値を最短露光時間割合Ｔ７１Ｓとするよう撮像部１２を制御するのがよい。

制御部１６が撮像部１２をこのように制御すれば、インストルメントパネル領域７１が白飛びの状態で撮像されることなく、また、非インストルメントパネル領域７２は明るい状態で撮像される。よって、第７実施形態の車両用撮像装置１００によれば、適切な車内画像を生成することができる。

図２及び図２１に示す構成のうち、少なくとも、画像処理部１３、画像解析部１４、及び制御部１６は、車両用撮像装置１００に搭載されるコンピュータまたはコンピュータの中央処理装置（ＣＰＵ）と、ＣＰＵに実行させるコンピュータプログラム（画像処理プログラム）で構成することができる。

第１実施形態は、図８及び図９に示す処理をＣＰＵに実行させる画像処理プログラムであってもよい。第２実施形態は、図１３示す処理をＣＰＵに実行させる画像処理プログラムであってもよい。第３実施形態は、図１５示す処理をＣＰＵに実行させる画像処理プログラムであってもよい。第４実施形態は、図１８Ａ及び図１８Ｂ示す処理をＣＰＵに実行させる画像処理プログラムであってもよい。第５実施形態は、図２０Ａ及び図２０Ｂ示す処理をＣＰＵに実行させる画像処理プログラムであってもよい。第６実施形態は、図２２に示す処理をＣＰＵに実行させる画像処理プログラムであってもよい。第７実施形態は、図２４に示す処理をＣＰＵに実行させる画像処理プログラムであってもよい。

本発明は以上説明した第１～第７実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。第１～第７実施形態は互いに矛盾が生じない範囲で任意に組み合わせが可能である。ハードウェアとソフトウェア（コンピュータプログラム）の使い分けは任意である。

１１ 魚眼レンズ
１２ 撮像部
１３ 画像処理部
１４ 画像解析部（太陽光入射方向判定部，トンネル走行判定部）
１５ 通信部
１６ 制御部（領域設定部）
１７ 記録再生部
１８ モニタ
１９ バス
２０Ｂ 後方画像
２０Ｆ 前方画像
２０Ｌ 左側方画像
２０Ｒ 右側方画像
５０ トンネル
５０ｉｎ 入口
５０ｏｕｔ 出口
６０ 加速度センサ（イベント検出センサ）
１３１ 画像回転部
１３２ 画像抽出部
１３３ ハイダイナミックレンジ画像合成部
１４１ 動きベクトル検出部
１４２ 前後左右判定部
１６１ 計測部
１７０ メモリカード
１７１ リングバッファ
１７２ イベント記録領域
１７３ 通常記録領域
２００，２４１～２４４ 車両
２０２ ステアリングホイール
３００ 運転者

Claims (5)

1. 車両内に取り付けられる車両用撮像装置であり、
   魚眼レンズを介して光が入射され、第１の露光時間で３６０度の被写体を撮像した長時間露光画像と、前記第１の露光時間より短い第２の露光時間で３６０度の被写体を撮像した短時間露光画像を生成する撮像部と、
   前記長時間露光画像及び前記短時間露光画像に基づいて、前記車両の前後及び左右を判定して、前記長時間露光画像及び前記短時間露光画像のうちの前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の周方向の位置を決定する前後左右判定部と、
   前記長時間露光画像及び前記短時間露光画像のうち、前記前方画像領域、前記後方画像領域、前記右側方画像領域、及び前記左側方画像領域の各領域画像を抽出して、前方画像、後方画像、右側方画像、及び左側方画像の各方向画像を生成する画像抽出部と、
   前記画像抽出部が、前記長時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像と、前記画像抽出部が、前記短時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像とをそれぞれ合成するハイダイナミックレンジ画像合成部と、
   前記車両用撮像装置に入射する太陽光の入射方向を判定する太陽光入射方向判定部と、
   を備え、
   前記ハイダイナミックレンジ画像合成部は、前記前方画像、前記後方画像、前記右側方画像、及び前記左側方画像のうち、前記太陽光入射方向判定部によって判定された太陽光の入射方向に応じて選択された前記長時間露光画像に基づく方向画像の割合を、非選択の前記長時間露光画像に基づく方向画像の割合よりも増加させる
   車両用撮像装置。
2. 前記太陽光入射方向判定部は、前記車両用撮像装置が撮像する３６０度の方向を少なくとも前方向、後方向、右方向、左方向を含む複数の方向に分割して、太陽光の入射方向がいずれの方向であるかを判定し、
   前記ハイダイナミックレンジ画像合成部は、
   太陽光の入射方向が前方向であるとき、前記長時間露光画像に基づく前記前方画像の割合を増加させ、
   太陽光の入射方向が後方向であるとき、前記長時間露光画像に基づく前記後方画像の割合を増加させ、
   太陽光の入射方向が右方向であるとき、前記長時間露光画像に基づく前記右側方画像の割合を増加させ、
   太陽光の入射方向が左方向であるとき、前記長時間露光画像に基づく前記左側方画像の割合を増加させる
   請求項１に記載の車両用撮像装置。
3. 前記太陽光入射方向判定部は、前記車両用撮像装置が撮像する３６０度の方向を、前方向、後方向、右方向、左方向に加えて、右前方向、右後方向、左後方向、左前方向を含む複数の方向に分割して、太陽光の入射方向がいずれの方向であるかを判定し、
   前記ハイダイナミックレンジ画像合成部は、
   太陽光の入射方向が右前方向であるとき、前記長時間露光画像に基づく前記前方画像及び前記右側方画像の割合を増加させ、
   太陽光の入射方向が右後方向であるとき、前記長時間露光画像に基づく前記後方画像及び前記右側方画像の割合を増加させ、
   太陽光の入射方向が左後方向であるとき、前記長時間露光画像に基づく前記後方画像及び前記左側方画像の割合を増加させ、
   太陽光の入射方向が左前方向であるとき、前記長時間露光画像に基づく前記前方画像及び前記左側方画像の割合を増加させる
   請求項２に記載の車両用撮像装置。
4. 車両内に取り付けられる車両用撮像装置の画像処理方法であり、
   魚眼レンズを介して光が入射される撮像部が、第１の露光時間で３６０度の被写体を撮像した長時間露光画像と、前記第１の露光時間より短い第２の露光時間で３６０度の被写体を撮像した短時間露光画像を生成し、
   前記長時間露光画像及び前記短時間露光画像に基づいて、前記車両の前後及び左右を判定して、前記長時間露光画像及び前記短時間露光画像のうちの前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の周方向の位置を決定し、
   前記長時間露光画像及び前記短時間露光画像のうち、前記前方画像領域、前記後方画像領域、前記右側方画像領域、及び前記左側方画像領域の各領域画像を抽出して、前方画像、後方画像、右側方画像、及び左側方画像の各方向画像を生成し、
   前記長時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像と、前記短時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像とをそれぞれ合成してハイダイナミックレンジ合成画像を生成し、
   前記車両用撮像装置に入射する太陽光の入射方向を判定し、
   前記ハイダイナミックレンジ合成画像を生成するとき、前記前方画像、前記後方画像、前記右側方画像、及び前記左側方画像のうち、判定された太陽光の入射方向に応じて選択された前記長時間露光画像に基づく方向画像の割合を、非選択の前記長時間露光画像に基づく方向画像の割合よりも増加させる
   画像処理方法。
5. 車両内に取り付けられる車両用撮像装置に搭載されるコンピュータに、
   魚眼レンズを介して光が入射される撮像部によって、第１の露光時間で３６０度の被写体を撮像した長時間露光画像と、前記第１の露光時間より短い第２の露光時間で３６０度の被写体を撮像した短時間露光画像を生成するステップと、
   前記長時間露光画像及び前記短時間露光画像に基づいて、前記車両の前後及び左右を判定して、前記長時間露光画像及び前記短時間露光画像のうちの前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の周方向の位置を決定するステップと、
   前記長時間露光画像及び前記短時間露光画像のうち、前記前方画像領域、前記後方画像領域、前記右側方画像領域、及び前記左側方画像領域の各領域画像を抽出して、前方画像、後方画像、右側方画像、及び左側方画像の各方向画像を生成するステップと、
   前記長時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像と、前記短時間露光画像に基づいて生成した前方画像、後方画像、右側方画像、及び左側方画像とをそれぞれ合成してハイダイナミックレンジ合成画像を生成するステップと、
   前記車両用撮像装置に入射する太陽光の入射方向を判定するステップと、
   前記ハイダイナミックレンジ合成画像を生成するとき、前記前方画像、前記後方画像、前記右側方画像、及び前記左側方画像のうち、判定された太陽光の入射方向に応じて選択された前記長時間露光画像に基づく方向画像の割合を、非選択の前記長時間露光画像に基づく方向画像の割合よりも増加させるステップと、
   を実行させる画像処理プログラム。

Images