以下、各実施形態の車両用撮像装置、画像処理方法、及び画像処理プログラムについて、添付図面を参照して説明する。
<第1実施形態>
図1において、車両200内のフロントガラス201の上部には、車両用撮像装置100が取り付けられている。車両用撮像装置100はいわゆるドライブレコーダである。車両用撮像装置100の取り付け位置はフロントガラス201に限定されない。車両用撮像装置100は魚眼レンズ11を備え、車内の上方から見た車内を含む車両200の前後及び左右の360度を撮像する。
図2は、車両用撮像装置100の具体的な構成例を示す。車両用撮像装置100は、魚眼レンズ11、撮像部12、画像処理部13、画像解析部14、通信部15、制御部16、記録再生部17、モニタ18を備え、撮像部12~モニタ18はバス19で接続されている。
画像処理部13は、画像回転部131、画像抽出部132、ハイダイナミックレンジ画像合成部133を備える。以下、ハイダイナミックレンジをHDRと略記する。画像解析部14は、動きベクトル検出部141と前後左右判定部142を備える。制御部16は、計測部161を備える。記録再生部17は、記録媒体(記憶媒体)として着脱自在のメモリカード170を有する。記録媒体はメモリカードに限定されない。
撮像部12は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)である撮像素子を備える。撮像部12は、魚眼レンズ11を介して入射された被写体からの一点鎖線で示す光によって360度の被写体を撮像した撮像画像(全周画像)を生成する。
車両用撮像装置100が60フレーム/秒の撮像画像を生成する場合を例とすると、撮像部12は120フレーム/秒で被写体を撮像する。このとき、撮像部12は、隣接する2フレームのうちの一方を第1の露光時間(長時間)で露光し、他方を第1の時間より短い第2の露光時間(短時間)で露光する。撮像部12は電子シャッタを備え、制御部16による制御によって露光時間を任意に可変することができる。撮像部12は、360度の撮像画像として、長時間露光画像と短時間露光画像とを生成する。
撮像部12が生成した360度の長時間露光画像及び短時間露光画像は画像処理部13及び画像解析部14に供給される。
図3に概念的に示すように、撮像部12が生成する360度の撮像画像は、撮像素子の矩形状の画素領域のうちの一部の円形の画素領域によって生成される。円形の画素領域によって生成される撮像画像は、車両200の車内の上方から見た車内画像領域と、車内画像領域の周囲の前方画像領域、後方画像領域、右側方画像領域、左側方画像領域とを含む。360度の撮像画像は撮像部12が魚眼レンズ11を介して被写体を撮像した撮像画像であるから、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域における画像は大きく歪んでいる。
図3に示す前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の周方向の位置は単なる一例である。周方向のどの位置を前方画像領域、後方画像領域、右側方画像領域、左側方画像領域とするかは、動きベクトル検出部141によって検出される動きベクトル及び前後左右判定部142による判定に基づいて最終的に決定される。図3に示す前方画像領域は、車両200の前方が正しく判定されて、車両200のフロントガラス201の方向である破線の矩形で示す実際の前方を示す画像であるとする。
車両用撮像装置100を最初に起動させたとき、HDR画像合成部133は長時間露光画像と短時間露光画像の360度の撮像画像を合成して、ダイナミックレンジを拡大した60フレーム/秒の合成画像(HDR合成画像)を生成する。HDR画像合成部133は、制御部16による制御に基づき、画像解析部14によって解析された画像の明るさに応じて、長時間露光画像と短時間露光画像とを所定の割合で混合する。但し、第1実施形態においては、HDR画像合成部133は省略されてもよい。
前後左右判定部142は、制御部16による制御に基づき、HDR画像合成部133によって生成された合成画像に基づいて車両200の前後及び左右を判定して、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の周方向の位置を仮判定する。前後左右の方向は後述の処理によって修正されることがあるから、ここでは前後左右の方向の仮判定とする。
前後左右判定部142は、例えば、車両200のステアリングホイール202の画像に基づいて車両200の前方を判定する。ところが、車両用撮像装置100の取り付け位置、取り付け角度、向きによってステアリングホイール202の画像の状態が変化する。取り付け位置とは、車両用撮像装置100がステアリングホイール202のよりも前方に取り付けられているのか、後方に取り付けられているのかということである。取り付け角度とは、車両用撮像装置100の撮像中心が鉛直方向に対してどのような角度であるのかということである。向きとは、車両用撮像装置100を周方向のどのような方向に取り付けたかということである。
前後左右判定部142は、ステアリングホイール202の画像の状態によっては、車両200の前方を誤判定することがある。前後左右判定部142は、車両200のステアリングホイール202以外の画像に基づいて車両200の前方を判定してもよい。この場合も、前後左右判定部142は、車両200の前方を誤判定することがある。
図4に示すように、前後左右判定部142が、車両200の進行方向から左方向に所定の角度だけずれた方向を前方と誤判定したとする。この場合、前後左右判定部142が前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の周方向の位置を決定すると、前方画像領域は、破線の矩形で示す実際の車両200の前方を示す画像とは一致しない。
ここでは、前方画像領域が車両200の進行方向から左方向に所定の角度だけずれた場合を示している。車両用撮像装置100の取り付け位置によっては、車両200の後方を前方と誤判定したり、右側方または左側方を前方と誤判定したりして、車両200の前方とは完全に異なる周方向の位置を前方画像領域と誤って決定する可能性もある。
画像処理部13の画像回転部131は、後述するように、制御部16による制御に基づき、360度の撮像画像を回転することがある。画像抽出部132は、制御部16による制御に基づき、前後左右判定部142が周方向の位置を決定した前方画像領域、後方画像領域、右側方画像領域、左側方画像領域に基づいて各領域画像を抽出する。画像抽出部132は、人が車両200の前方、後方、左側方、右側方を通常見ている状態に近付けるように、抽出した大きく歪んだ前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の各領域画像の魚眼レンズ11による歪を補正する。
図5A~図5Dは、画像抽出部132が各領域画像を抽出して歪を補正した状態の前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lの一例を概念的に示している。図5A~図5Dは、前後左右判定部142が車両200の進行方向から左方向に所定の角度だけずれた方向を前方と誤判定して、角度のずれを補正していない状態を示している。
図5Aに示すように、前方画像20Fは左側のAピラー203AL側にずれている。図5Bに示すように、後方画像20Bは運転者300を含み、車両200の右側にずれている。図5Cに示すように、右側方画像20Rは前方側にずれている。図5Dに示すように、左側方画像20Lは、後方側にずれている。
動きベクトル検出部141は、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域それぞれの動きベクトルを検出する。動きベクトル検出部141は、基本的には短時間露光画像に基づいて動きベクトルを検出する。動きベクトル検出部141は、短時間露光画像に基づいて動きベクトルを検出できないとき、または検出しにくいときに、長時間露光画像に基づいて動きベクトルを検出する。前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の動きベクトルを、それぞれ、MVF、MVB、MVR、MVLと称することとする。
図6は、図3に示すように車両200の前方が正しく判定されて、前方画像20Fが実際の車両200の前方と一致した状態の動きベクトルMVF、MVB、MVR、MVLを示している。図6及び後述する図7においては、右側方画像20R及び左側方画像20Lを90度回転させた状態としている。前方画像20F内の動きベクトルMVFは、発散を開始する一点を消失点Pv1として放射状に発散する。後方画像20B内の動きベクトルMVBは、収束する一点を消失点Pv2として収束する。右側方画像20Rの動きベクトルMVR及び左側方画像20Lの動きベクトルMVLは、前方から後方へと向かう。
前方画像20Fが実際の車両200の前方と一致していれば、前方画像20Fの消失点Pv1は、前方画像20Fの左右方向のほぼ中央Hctrに位置する。
図7は、図4に示すように車両200の前方が誤判定されて、前方画像20Fが実際の車両前方よりも左方向に所定の角度だけずれた状態の動きベクトルMVF、MVB、MVR、MVLを示している。前方画像20Fが実際の車両200の前方と一致しておらず、左方向に所定の角度だけずれているので、前方画像20Fの消失点Pv1は、前方画像20Fの左右方向のほぼ中央Hctrよりも右側に位置する。
第1実施形態の車両用撮像装置100において、画像回転部131は、前方画像20Fと実際の車両前方とのずれを解消するために、消失点Pv1を中央Hctrに一致させるように、図4に示す360度の撮像画像を右方向に回転させる。すると、図3のように、前方画像領域は破線の矩形で示す実際の車両200の前方と一致した状態となり、前方画像20Fは車両200の前方を示す画像となる。
画像抽出部132は、前方画像20Fと実際の車両前方とのずれが解消された状態で、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域の各領域画像を抽出して、歪を補正した前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lを生成する。
前方画像20Fと実際の車両前方とのずれを解消すると、前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lは、車両200の前方が正しく判定された図6と等価の状態となる。
ここでは、前方画像20Fが車両200の進行方向から左方向に所定の角度だけずれた状態で画像回転部131がずれを解消して、画像抽出部132が各領域画像を抽出した場合を例としている。上記のように、車両200の前方とは完全に異なる周方向の位置を前方画像領域と誤って決定することがある。この場合、誤った前方画像領域に基づいて抽出した前方画像20F内には消失点Pv1は存在しない。前方画像20F内に消失点Pv1は存在しない場合であっても、画像回転部131は、消失点Pv1を前方画像20Fの中央Hctrに一致させるように、360度の撮像画像を回転させればよい。
以上のようにして、画像回転部131が360度の撮像画像を回転させて前方画像20Fと実際の車両前方とのずれを解消し、画像抽出部132が各領域画像を抽出して歪を補正する。HDR画像合成部133は、長時間露光画像と短時間露光画像の歪が補正された前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lを画像合成する。
制御部16は、HDR画像合成部133による画像合成後の前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lをメモリカード170に記録するよう制御する。制御部16は、図4に示すような撮像部12が生成する長時間露光画像及び短時間露光画像の360度の撮像画像を長時間露光画像と短時間露光画像に記録するよう制御してもよい。制御部16は、前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lと、360度の撮像画像との双方を記録するよう制御するのがよい。
制御部16は、モニタ18に、フレーム内に前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lを配置した4分割画像を表示するよう制御してもよい。制御部16は、モニタ18に、フレーム内に後方画像20B及び右側方画像20Rを配置した2分割画像を表示するよう制御してもよい。制御部16は、モニタ18に、前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lのうちの選択した1つの画像(例えば前方画像20F)のみ表示するよう制御してもよい。
通信部15は、制御部16による制御に基づき、車両用撮像装置100が撮像している画像を、または記録再生部17に記録した画像を外部に送信してもよい。通信部15は省略されてもよい。
図8及び図9に示すフローチャートを用いて、画像処理部13、画像解析部14、または制御部16が実行する処理を説明する。図8において、処理が開始されると、前後左右判定部142は、ステップS1にて、撮像画像(HDR画像合成部133より出力された合成画像)に基づいて前後左右の方向を仮判定する。
画像解析部14は、ステップS2にて、車両200が移動したか否かを判定する。画像解析部14は、動きベクトル検出部141が動きベクトルを検出したら、車両200が移動したと判定することができる。制御部16が、車両200のCAN(Controller Area Network)から供給される情報に基づいて車両200が移動したか否かを判定してもよい。
車両200が移動しなければ(NO)、画像解析部14(または制御部16)はステップS2の処理を繰り返す。車両200が移動すれば(YES)、画像回転部131は、ステップS3にて、発散する動きベクトルの消失点Pv1に基づいて360度の撮像画像を回転させて、前方画像20Fの方向を調整して、処理を一旦終了させる。
図9において、処理が開始されると、動きベクトル検出部141は、ステップS11にて、発散する動きベクトルの消失点Pv1と、収束する動きベクトルの消失点Pv2を検出する。計測部161は、ステップS12にて、前方画像20F内に位置する消失点Pv1の発生時間と消失点Pv2の発生時間を測定する。
制御部16は、ステップS13にて、所定時間経過したか否かを判定する。所定時間は例えば10分間である。所定時間経過していなければ(NO)、制御部16はステップS13の処理を繰り返す。所定時間経過していれば(YES)、制御部16は、ステップS14にて、消失点Pv1の発生時間が消失点Pv2の発生時間より長いか否かを判定する。発生時間とは所定時間内での延べ発生時間である。
ステップS14にて消失点Pv1の発生時間が消失点Pv2の発生時間より長ければ(YES)、図8のステップS3にて方向を調整した前方画像20Fは、実際の車両200の前方と一致していると判定される。そこで、制御部16、画像処理部13、及び画像解析部14は、そのまま処理を終了させる。
この場合、HDR画像合成部133は、ステップS3にて方向を調整した長時間露光画像と短時間露光画像の前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lを画像合成して出力する。
ステップS14にて消失点Pv1の発生時間が消失点Pv2の発生時間より長くなければ(NO)、図8のステップS3にて方向を調整した前方画像20Fは、実際の車両200の前方ではなく、後方であると判定される。これは、図8のステップS2にて車両200が後退して、車両200の後方の画像内に一時的に発生した消失点Pv1に基づいて前方画像20Fの方向を調整したことによる。
そこで、ステップS14にて消失点Pv1の発生時間が消失点Pv2の発生時間より長くなければ、前後左右判定部142は、ステップS15にて、前後方向を反転させる。即ち、前後左右判定部142は、前方画像領域と後方画像領域とを反転し、右側方画像領域と左側方画像領域とを反転する。画像回転部131は、ステップS16にて、消失点Pv1に基づいて360度の撮像画像を回転させて、前方画像20Fの方向を調整して、処理を終了させる。
この場合、HDR画像合成部133は、ステップS15にて前後方向を反転してステップS16にて方向を調整した長時間露光画像と短時間露光画像の前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lを画像合成して出力する。
ステップS16の処理を設けることは必須ではないが、設けることが好ましい。
図10A~図10Dは、以上の処理によって、前方画像20Fの方向を車両200の前方と一致させるように調整した状態の、前方画像20F、後方画像20B、右側方画像20R、左側方画像20Lの一例を概念的に示している。図10Aに示すように、前方画像20Fの左側のAピラー203AL側へのずれが解消されている。図10Bに示すように、後方画像20Bの車両200の右側へのずれが解消されている。図10Cに示すように、右側方画像20Rの前方側へのずれが解消されている。図10Dに示すように、左側方画像20Lの後方側へのずれが解消されている。
第1実施形態において、右側方画像20R及び左側方画像20Lの生成を省略して、前方画像20F及び後方画像20Bのみを生成してもよい。
以上のように、第1実施形態の車両用撮像装置100は、画像回転部131、画像抽出部132、前後左右判定部142、動きベクトル検出部141、計測部161を備える。動きベクトル検出部141は、撮像部12が360度の被写体を撮像した撮像画像の動きベクトルを検出する。前後左右判定部142は、撮像画像に基づいて、車両200の前後及び左右を判定して、撮像画像のうちの少なくとも前方画像領域及び後方画像領域の周方向の位置を決定する。
画像回転部131は、車両200が移動を開始した直後に動きベクトル検出部141によって検出される動きベクトルのうち、放射状に発散する複数の動きベクトルの消失点Pv1(第1の消失点)に基づいて撮像画像を回転させる。これによって、画像回転部131は、前方画像領域及び後方画像領域の周方向の位置を調整する。
計測部161は、画像回転部131が前方画像領域及び後方画像領域の周方向の位置を調整した状態で、所定時間内に、前方画像領域に発生する消失点Pv1の第1の発生時間を計測する。また、計測部161は、その所定時間内に、前方画像領域に発生する、収束する複数の動きベクトルの消失点Pv2(第2の消失点)の第2の発生時間を計測する。
画像回転部131は、計測部161によって、第1の発生時間が第2の発生時間より長く計測されたとき、前方画像領域及び後方画像領域の周方向の位置を維持する。画像回転部131は、計測部161によって、第1の発生時間が第2の発生時間より長く計測されなかったとき、前方画像領域と後方画像領域とを反転するよう撮像画像を回転させる。
画像抽出部132は、撮像画像のうち、画像回転部131によって維持された、または反転された、前方画像領域及び後方画像領域の各領域画像を抽出して、前方画像20F及び後方画像20Bを生成する。
以上のようにして、第1実施形態の車両用撮像装置100によれば、360度の撮像画像から車両の前方画像領域及び後方画像領域を正しく抽出して、前方画像20F及び後方画像20Bを生成することができる。
画像回転部131は、前方画像領域と後方画像領域とを反転するよう撮像画像を回転した後、新たに前方画像領域とされた領域画像内に発生する消失点Pv1に基づいて撮像画像を回転させて、前方画像領域及び後方画像領域の周方向の位置を調整することが好ましい。
画像抽出部132は、人が車両200の前方及び後方を見ている状態に近付けるよう、抽出した前方画像領域及び後方画像領域の歪を補正して、前方画像20F及び後方画像20Bを生成することが好ましい。
前後左右判定部142は、前方画像領域及び後方画像領域に加えて、撮像画像のうちの右側方画像領域及び左側方画像領域の周方向の位置を決定することが好ましい。画像回転部131は、前方画像領域及び後方画像領域に加えて、右側方画像領域及び左側方画像領域の周方向の位置を調整することが好ましい。画像抽出部132は、前方画像領域及び後方画像領域に加えて、撮像画像のうち、右側方画像領域及び左側方画像領域の各領域画像を抽出して、右側方画像20R及び左側方画像20Lを生成することが好ましい。
<第2実施形態>
第2実施形態は、車両用撮像装置100が撮像する被写体の画像のぶれをどのように補正すべきかを検討し、画像のぶれを適切に補正することができる車両用撮像装置100を提供する。第2実施形態において、第1実施形態と共通部分の説明を省略する。第2実施形態の車両用撮像装置100の具体的な構成は、図2と同様である。
図11は、標識等の被写体が車両200の前方にあり、車両200の移動に伴って被写体に近付いて被写体の横を通過し、相対的に被写体が後方に移動していく状態を概念的に示している。標識等の被写体が前方画像20F、右側方画像20R、及び後方画像20Bに同時に現れているのではなく、相対的に位置が変化する被写体を前方画像20F、右側方画像20R、及び後方画像20Bに同時に示している。
前方画像20F及び後方画像20Bにおいては、被写体の時間的な変化が少ないため、物体の長時間露光画像21Lと短時間露光画像21Sとの位置はほとんどずれず、被写体の画像はぶれない。ところが、右側方画像20R及び左側方画像20Lにおいては、車両200の近くに位置する被写体の撮像画像の時間的な変化が大きいため、撮像タイミングのずれに伴って長時間露光画像21Lと短時間露光画像21Sとの位置がずれ、被写体の画像がぶれる。
このように、右側方画像20R及び左側方画像20Lにおける被写体の画像は、前方画像20F及び後方画像20Bにおける被写体の画像よりぶれやすい。そこで、第2実施形態においては、次のようにして右側方画像20R及び左側方画像20Lにおける被写体の画像のみ、ぶれを補正する。
図11に示す例では、HDR画像合成部133は、右側方画像20Rにおいて、動きベクトルに基づいて先に得られている長時間露光画像21Lを短時間露光画像21Sの位置に一致させるようずらした上で、長時間露光画像21Lと短時間露光画像21Sとを合成する。図11では、撮長時間露光を先に短時間露光を後にしている例を示しているが、逆であってもよい。
図12に示すように、HDR画像合成部133による画像のぶれを補正する処理によって、右側方画像20Rにおいて画像のぶれが補正された被写体の画像21が得られる。前方画像20F及び後方画像20Bにおいては、被写体の時間的な変化が少ないため、HDR画像合成部133による画像のぶれを補正する処理を実行しなくても、ぶれていない画像21が得られる。
図13に示すフローチャートを用いて、第2実施形態において、画像処理部13または制御部16が実行する処理を説明する。処理が開始されると、画像抽出部132は、ステップS21にて、右側方画像領域及び左側方画像領域を抽出する。ステップS21は、第1実施形態と同様に、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域を抽出する処理であってもよい。
HDR画像合成部133は、ステップS22にて、右側方画像領域及び左側方画像領域における長時間露光画像と短時間露光画像とを動きベクトルを参照して合成する。これによって、長時間露光画像21Lに基づく右側方画像または左側方画像に含まれている所定の被写体と短時間露光画像21Sに基づく右側方画像及び左側方画像に含まれているその所定の被写体との撮像タイミングのずれに伴う画像のぶれが補正される。
制御部16は、ステップS23にて、車両用撮像装置100の電源がオフされたか否かを判定する。車両用撮像装置100の電源がオフされなければ(NO)、制御部16及び画像処理部13はステップS21~S23の処理を繰り返す。車両用撮像装置100の電源がオフされれば(YES)、制御部16は処理を終了させる。
第2実施形態の車両用撮像装置100の構成及び動作は次のとおりである。第2実施形態の車両用撮像装置100における撮像部12は、第1の露光時間で被写体を撮像した長時間露光画像と、第2の露光時間で前記被写体を撮像した短時間露光画像を生成する。第2実施形態の車両用撮像装置100は、画像抽出部132、HDR画像合成部133、動きベクトル検出部141、前後左右判定部142を備える。
動きベクトル検出部141は、撮像画像の動きベクトルを検出する。前後左右判定部142は、撮像画像のうちの少なくとも右側方画像領域及び左側方画像領域の周方向の位置を決定する。画像抽出部132は、撮像画像のうち、右側方画像領域及び左側方画像領域の各領域画像を抽出して、右側方画像20R及び左側方画像20Lを生成する。
HDR画像合成部133は、画像抽出部132が長時間露光画像に基づいて生成した右側方画像20R及び左側方画像20Lと短時間露光画像に基づいて生成した右側方画像20R及び左側方画像20Lとをそれぞれ合成する。このとき、HDR画像合成部133は、動きベクトル検出部141が右側方画像領域または左側方画像領域において検出した動きベクトルを参照する。これによって、右側方画像20Rまたは左側方画像20Lはダイナミックレンジが拡大され、かつ、右側方画像20Rまたは左側方画像20Lに含まれている被写体の画像のぶれが補正される。
以上のようにして、第2実施形態の車両用撮像装置100によれば、画像のぶれを適切に補正することができる。
前後左右判定部142は、右側方画像領域及び左側方画像領域に加えて、撮像画像のうちの前方画像領域及び後方画像領域の周方向の位置を決定することが好ましい。画像抽出部132は、右側方画像領域及び左側方画像領域に加えて、撮像画像のうち、前方画像領域及び後方画像領域の各領域画像を抽出して、前方画像20F及び後方画像20Bを生成することが好ましい。
HDR画像合成部133は、動きベクトル検出部141が検出した動きベクトルを参照することなく、画像抽出部132が長時間露光画像に基づいて生成した前方画像20F及び後方画像20Bと、短時間露光画像に基づいて生成した前方画像20F及び後方画像20Bとをそれぞれ合成することが好ましい。これによって、前方画像20F及び後方画像20Bはダイナミックレンジが拡大される。なお、第2実施形態においては、画像回転部131は省略されてもよいが、画像回転部131を備えることが好ましい。
<第3実施形態>
第3実施形態は、第2実施形態を発展させた実施形態である。第3実施形態は、車両用撮像装置100が生成する画像に含まれている被写体のうち、画像のぶれを補正する対象をどのように選択すべきかを検討し、選択した被写体の画像のぶれを適切に補正することができる車両用撮像装置100を提供する。第3実施形態において、第2実施形態と共通部分の説明を省略する。第3実施形態の車両用撮像装置100の具体的な構成は、図2と同様である。
図14A及び図14Bは、それぞれ右側方画像20R及び左側方画像20Lの一例を示している。図14Aに示すように、右側方画像20Rは、被写体として、ここでは図示されていない自車両である車両200の右隣の車線を走行する車両230と、標識31を含む。車両230は車両200よりも高速で走行しており、相対的に右側方画像20Rの左方向(車両200の前方)へと移動する。標識31は相対的に右側方画像20Rの右方向(車両200の後方)へと移動する。左側方画像20Lは、被写体として標識32を含む。標識32は、相対的に左側方画像20Lの左方向(車両200の後方)へと移動する。
制御部16には、動きの方向が異なる複数の動きベクトルが検出された場合に、HDR画像合成部133が画像のぶれを優先的に補正する際の補正モードとして、次のいずれかの選択肢が設定されている。動きの方向が異なる複数の動きベクトルとは、互いに逆方向の2つの動きベクトルであってもよい。運転者300等の車両用撮像装置100のユーザが、図示していない操作部によっていずれかの補正モードを選択して、選択された補正モードが制御部16に設定される。
補正モード1は、車両200の後方に移動する被写体のぶれを補正する補正モードである。補正モード2は、車両200の前方に移動する被写体のぶれを補正する補正モードである。補正モード3は、車両200により近い方の被写体のぶれを補正する補正モードである。補正モード4は、右側方画像20Rまたは左側方画像20L内で、車両200の前方に移動する被写体の面積が所定の割合以上であるときに、前方に移動する被写体のぶれを補正する補正モードである。所定の割合は例えば20%である。
補正モード3に関して、被写体が静止物体であれば、車両200から遠い被写体ほど低速で相対的に移動し、車両200に近いほど高速で相対的に移動する。制御部16は、動きベクトルに基づいて車両200により近い方の被写体を特定することができる。画像解析部14が画像解析することによって、車両200により近い方の被写体を抽出してもよい。この場合、制御部16は、画像解析部14による画像解析結果に基づいて車両200により近い方の被写体のぶれを補正するよう、HDR画像合成部133を制御すればよい。
制御部16は、右側方画像20Rと左側方画像20Lとで個別に、補正モード1~4のうちのいずれかの補正モードを設定するのがよい。
図14Aにおいて、補正モード1が設定されていれば、図11及び図12と同様にして、標識31の画像のぶれがHDR画像合成部133によって補正される。補正モード2が設定されていれば、車両230の画像のぶれがHDR画像合成部133によって補正される。補正モード3が設定されていれば、車両230が標識31よりも車両200に近いため、車両230の画像のぶれがHDR画像合成部133によって補正される。
図14Aにおいて、補正モード4が設定されていれば、相対的に車両200の前方に移動する車両230の画像の面積は右側方画像20R内で20%以上であるため、車両230の画像のぶれがHDR画像合成部133によって補正される。
図14Bにおいては、標識32が左方向へと移動する動きベクトルしか存在しない。よって、制御部16は、補正モードの設定にかかわらず、標識32が移動する動きベクトルを参照して標識32の画像のぶれを補正するよう、HDR画像合成部133を制御する。
図15に示すフローチャートを用いて、第3実施形態において、画像処理部13または制御部16が実行する処理を説明する。図15においては、処理が開始された後に、互いに逆方向の2つの動きベクトルが存在すると判定された場合を例とする。
図15において、画像抽出部132は、ステップS31にて、右側方画像領域及び左側方画像領域を抽出する。ステップS31は、第1実施形態と同様に、前方画像領域、後方画像領域、右側方画像領域、左側方画像領域を抽出する処理であってもよい。制御部16は、ステップS32にて、車両200の後方に移動する被写体のぶれを優先的に補正する補正モード1に設定されているか否かを判定する。補正モード1に設定されていれば(YES)、HDR画像合成部133は、ステップS33にて、後方への動きベクトルを参照して後方に移動する被写体の画像のぶれを補正して、処理をステップS39に移行させる。
ステップS32にて補正モード1に設定されていなければ(NO)、制御部16は、ステップS34にて、車両200の前方に移動する被写体のぶれを優先的に補正する補正モード2に設定されているか否かを判定する。補正モード2に設定されていれば(YES)、HDR画像合成部133は、ステップS35にて、前方への動きベクトルを参照して前方に移動する被写体の画像のぶれを補正して、処理をステップS39に移行させる。
ステップS34にて補正モード2に設定されていなければ(NO)、制御部16は、ステップS36にて、車両200のより近くに位置する被写体のぶれを優先的に補正する補正モード3に設定されているか否かを判定する。補正モード3に設定されていれば(YES)、HDR画像合成部133は、ステップS37にて、より近くに位置している被写体の動きベクトルを参照してより近くに位置している被写体の画像のぶれを補正して、処理をステップS39に移行させる。
ステップS36にて補正モード3に設定されていなければ(NO)、補正モード4に設定されているということである。制御部16は、ステップS38にて、車両200の前方に移動する被写体の面積が所定の割合以上であるか否かを判定する。車両200の前方に移動する被写体の面積が所定の割合以上でなければ(NO)、HDR画像合成部133は、ステップS33にて、後方への動きベクトルを参照して後方に移動する被写体の画像のぶれを補正して、処理をステップS39に移行させる。
ステップS38にて車両200の前方に移動する被写体の面積が所定の割合以上であれば(YES)、HDR画像合成部133は、ステップS35にて、前方への動きベクトルを参照して前方に移動する被写体の画像のぶれを補正して、処理をステップS39に移行させる。
制御部16は、ステップS39にて、車両用撮像装置100の電源がオフされたか否かを判定する。車両用撮像装置100の電源がオフされなければ(NO)、制御部16及び画像処理部13はステップS31~S39の処理を繰り返す。車両用撮像装置100の電源がオフされれば(YES)、制御部16は処理を終了させる。
第3実施形態の車両用撮像装置100の構成及び動作は次のとおりである。第3実施形態の車両用撮像装置100における撮像部12は、第1の露光時間で被写体を撮像した長時間露光画像と、第2の露光時間で前記被写体を撮像した短時間露光画像を生成する。第3実施形態の車両用撮像装置100は、画像抽出部132、HDR画像合成部133、2動きベクトル検出部141、前後左右判定部142を備える。
動きベクトル検出部141は、撮像画像の動きベクトルを検出する。前後左右判定部142は、撮像画像のうちの少なくとも右側方画像領域及び左側方画像領域の周方向の位置を決定する。画像抽出部132は、撮像画像のうち、右側方画像領域及び左側方画像領域の各領域画像を抽出して、右側方画像20R及び左側方画像20Lを生成する。
HDR画像合成部133は、画像抽出部132が長時間露光画像に基づいて生成した右側方画像20R及び左側方画像20Lと短時間露光画像に基づいて生成した右側方画像20R及び左側方画像20Lとをそれぞれ合成する。このとき、HDR画像合成部133は、動きベクトル検出部141が右側方画像領域または左側方画像領域において検出した動きベクトルを参照する。
動きベクトル検出部141が右側方画像領域または左側方画像領域において互いに異なる複数の動きベクトルを検出することがある。HDR画像合成部133は、右側方画像20Rまたは左側方画像20Lに含まれている、予め設定された補正モードに応じて補正対象の被写体と決定される被写体の画像のぶれを補正するよう、補正対象の被写体の動きベクトルを参照する。
よって、第3実施形態の車両用撮像装置100によれば、選択した被写体の画像のぶれを適切に補正することができる。
互いに異なる複数の動きベクトルは、車両2000の後方への第1の動きベクトルと車両200の前方への第2の動きベクトルであることがある。補正モードとして、相対的に車両200の後方に移動する被写体を補正対象の被写体とすることができる。この場合、HDR画像合成部133は、第1の動きベクトルを参照して、長時間露光画像に基づいて生成した右側方画像20Rまたは左側方画像20Lと短時間露光画像に基づいて生成した右側方画像20Rまたは左側方画像20Lとを合成する。
補正モードとして、相対的に車両200の前方に移動する被写体を補正対象の被写体とすることができる。この場合、HDR画像合成部133は、第2の動きベクトルを参照して、長時間露光画像に基づいて生成した右側方画像20Rまたは左側方画像と短時間露光画像に基づいて生成した右側方画像20Rまたは左側方画像20Lとを合成する。
右側方画像20R内または左側方画像20L内に複数の被写体が存在するとき、上記の2つの補正モードに加えて、補正モードとして、車両200により近くに位置する被写体を補正対象の被写体としてもよい。HDR画像合成部133は、より近くに位置する被写体が移動する方向である第1または第2の動きベクトルを参照して、長時間露光画像及び短時間露光画像に基づく右側方画像20Rまたは左側方画像20Lを合成する。
右側方画像20R内または左側方画像20L内に、相対的に車両200の後方に移動する第1の被写体と相対的に車両200の前方に移動する第2の被写体とが存在することがある。このとき、上記の2つまたは3つの補正モードに加えて、補正モードとして、右側方画像20Rまたは左側方画像20Lのうちの第2の被写体の面積の割合に応じて補正対象の被写体を決定してもよい。
HDR画像合成部133は、第2の被写体の面積の割合が右側方画像20Rまたは左側方画像20Lのうちの所定の割合以上でければ、第1の動きベクトルを参照して、長時間露光画像及び短時間露光画像に基づく右側方画像20Rまたは左側方画像20Lを合成する。HDR画像合成部133は、第2の被写体の面積が右側方画像20Rまたは左側方画像20Lのうちの所定の割合以上であれば、第2の動きベクトルを参照して、長時間露光画像及び短時間露光画像に基づく右側方画像20Rまたは左側方画像20Lを合成する。
<第4実施形態>
第4実施形態は、太陽光の入射方向に応じて適切な前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lを得ることができる車両用撮像装置100を提供する。第4実施形態において、第1実施形態と共通部分の説明を省略する。第4実施形態の車両用撮像装置100の具体的な構成は、図2と同様である。
図16において、自車両である車両200が走行する車線の前方には車両241、後方には車両242が走行している。車両200が走行する車線の右車線には車両243が走行し、左車線には車両244が走行している。太陽光が白抜き矢印の方向から車両200及び241~244を照らすとすると、車両200及び241~244には、ハッチングを付していない明るい部分とハッチングを付した暗い部分とが形成される。このように、太陽光が被写体を照らす際の太陽光の入射方向によって明るい部分と暗い部分とが形成される。
第4実施形態において、車両用撮像装置100は、太陽光の入射方向に応じてHDR画像合成部133における長時間露光画像と短時間露光画像との合成の仕方を異ならせる。
図17に示すように、制御部16は、一例として、車両用撮像装置100が撮像する360度の方向を45度ずつの8つの方向に分割する。制御部16は、太陽光の入射方向が8つの方向のうちのいずれの方向であるかに応じて、長時間露光画像と短時間露光画像との合成の仕方を異ならせるようHDR画像合成部133を制御する。8つの方向を、前、右前、右、右後、後、左後、左、左前の各方向とする。なお、画像解析部14が撮像画像を解析することによって太陽光の入射方向を判定することができる。画像解析部14は、太陽光の入射方向を判定する太陽光入射方向判定部として機能する。
図18A及び図18Bに示すフローチャートを用いて、第4実施形態において、画像処理部13、画像解析部14、または制御部16が実行する処理を説明する。図18Aにおいて、処理が開始されると、画像解析部14は、ステップS401にて、太陽光の入射方向を判定する。制御部16は、ステップS402にて、太陽光の入射方向が画像解析部14によって前方向と判定されたか否かを判定する。
ステップS402にて太陽光の入射方向が前方向と判定されれば(YES)、制御部16は、ステップS403にて、前方画像20Fにおける長時間露光画像の割合を、後方画像20B、右側方画像20R、及び左側方画像20Lにおける長時間露光画像の割合よりも増加させるようHDR画像合成部133を制御する。これは、車両200の前方に位置する車両241の後方が影となり、車両用撮像装置100が車両241の後方を撮像するからである。制御部16は、ステップS403に続けて処理をステップS418に移行させる。
一例として、後方画像20B、右側方画像20R、及び左側方画像20Lにおける長時間露光画像と短時間露光画像との比が4:6であるとき、制御部16は、ステップS403にて、前方画像20Fにおける長時間露光画像と短時間露光画像との比を9:1とするようHDR画像合成部133を制御する。
ステップS402にて太陽光の入射方向が前方向と判定されなければ(NO)、制御部16は、ステップS404にて、太陽光の入射方向が右前方向と判定されたか否かを判定する。太陽光の入射方向が右前方向と判定されれば(YES)、制御部16は、ステップS405にて、前方画像20F及び右側方画像20Rにおける長時間露光画像の割合を、後方画像20B及び左側方画像20Lにおける長時間露光画像の割合よりも増加させるようHDR画像合成部133を制御する。制御部16は、ステップS405に続けて処理をステップS418に移行させる。
一例として、後方画像20B及び左側方画像20Lにおける長時間露光画像と短時間露光画像との比が4:6であるとき、制御部16は、前方画像20F及び右側方画像20Rにおける長時間露光画像と短時間露光画像との比を9:1とするようHDR画像合成部133を制御する。
ステップS404にて太陽光の入射方向が右前方向と判定されなければ(NO)、制御部16は、ステップS406にて、太陽光の入射方向が右方向と判定されたか否かを判定する。太陽光の入射方向が右方向と判定されれば(YES)、制御部16は、ステップS407にて、前方画像20Fにおける長時間露光画像の割合を、後方画像20B、右側方画像20R、及び左側方画像20Lにおける長時間露光画像の割合よりも増加させるようHDR画像合成部133を制御する。長時間露光画像の割合の増加のさせ方はステップS405と同様である。制御部16は、ステップS407に続けて処理をステップS418に移行させる。
ステップS406にて太陽光の入射方向が右方向と判定されなければ(NO)、制御部16は、ステップS408にて、太陽光の入射方向が右後方向と判定されたか否かを判定する。太陽光の入射方向が右後方向と判定されれば(YES)、制御部16は、ステップS409にて、後方画像20B及び右側方画像20Rにおける長時間露光画像の割合を、前方画像20F及び左側方画像20Lにおける長時間露光画像の割合よりも増加させるようHDR画像合成部133を制御する。長時間露光画像の割合の増加のさせ方はステップS405と同様である。制御部16は、ステップS409に続けて処理をステップS418に移行させる。
ステップS408にて太陽光の入射方向が右後方向と判定されなければ(NO)、制御部16は、図18BのステップS410にて、太陽光の入射方向が後方向と判定されたか否かを判定する。太陽光の入射方向が後方向と判定されれば(YES)、制御部16は、ステップS411にて、後方画像20Bにおける長時間露光画像の割合を、前方画像20F、右側方画像20R、及び左側方画像20Lにおける長時間露光画像の割合よりも増加させるようHDR画像合成部133を制御する。長時間露光画像の割合の増加のさせ方はステップS405と同様である。制御部16は、ステップS411に続けて処理をステップS418に移行させる。
ステップS410にて太陽光の入射方向が後方向と判定されなければ(NO)、制御部16は、ステップS412にて、太陽光の入射方向が左後方向と判定されたか否かを判定する。太陽光の入射方向が左後方向と判定されれば(YES)、制御部16は、ステップS413にて、後方画像20B及び左側方画像20Lにおける長時間露光画像の割合を、前方画像20F及び右側方画像20Rにおける長時間露光画像の割合よりも増加させるようHDR画像合成部133を制御する。長時間露光画像の割合の増加のさせ方はステップS405と同様である。制御部16は、ステップS413に続けて処理をステップS418に移行させる。
ステップS412にて太陽光の入射方向が左後方向と判定されなければ(NO)、制御部16は、ステップS414にて、太陽光の入射方向が左方向と判定されたか否かを判定する。太陽光の入射方向が左方向と判定されれば(YES)、制御部16は、ステップS415にて、左側方画像20Lにおける長時間露光画像の割合を、前方画像20F、後方画像20B、及び右側方画像20Rにおける長時間露光画像の割合よりも増加させるようHDR画像合成部133を制御する。長時間露光画像の割合の増加のさせ方はステップS405と同様である。制御部16は、ステップS415に続けて処理をステップS418に移行させる。
ステップS414にて太陽光の入射方向が左方向と判定されなければ(NO)、制御部16は、ステップS416にて、太陽光の入射方向が左前方向と判定されたか否かを判定する。太陽光の入射方向が左前方向と判定されれば(YES)、制御部16は、ステップS417にて、前方画像20F及び左側方画像20Lにおける長時間露光画像の割合を、後方画像20B及び右側方画像20Rにおける長時間露光画像の割合よりも増加させるようHDR画像合成部133を制御する。長時間露光画像の割合の増加のさせ方はステップS405と同様である。制御部16は、ステップS417に続けて処理をステップS418に移行させる。
ステップS416にて太陽光の入射方向が左前方向と判定されなければ(NO)、制御部16は処理をステップS418に移行させる。
制御部16は、ステップS418にて、車両用撮像装置100の電源がオフされたか否かを判定する。車両用撮像装置100の電源がオフされなければ(NO)、画像処理部13、画像解析部14、または制御部16はステップS401~S418の処理を繰り返す。車両用撮像装置100の電源がオフされれば(YES)、制御部16は処理を終了させる。
第4実施形態の車両用撮像装置100の構成及び動作は次のとおりである。第4実施形態の車両用撮像装置100における撮像部12は、第1の露光時間で被写体を撮像した長時間露光画像と、第2の露光時間で前記被写体を撮像した短時間露光画像を生成する。第4実施形態の車両用撮像装置100は、太陽光入射方向判定部(画像解析部14)、画像抽出部132、HDR画像合成部133、前後左右判定部142を備える。
前後左右判定部142は、撮像画像のうちの前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の周方向の位置を決定する。画像抽出部132は、撮像画像のうち、前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の各領域画像を抽出して、前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lの各方向画像を生成する。
HDR画像合成部133は、長時間露光画像に基づいて生成した前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lと、短時間露光画像に基づいて生成した前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lとをそれぞれ合成する。
HDR画像合成部133は、前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lのうち、太陽光入射方向判定部によって判定された太陽光の入射方向に応じて選択された長時間露光画像に基づく方向画像の割合を、非選択の長時間露光画像に基づく方向画像の割合よりも増加させる。
第4実施形態の車両用撮像装置100によれば、太陽光の入射方向に応じて適切な前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lを得ることができる。
太陽光入射方向判定部は、車両用撮像装置100が撮像する360度の方向を少なくとも前方向、後方向、右方向、左方向を含む複数の方向に分割して、太陽光の入射方向がいずれの方向であるかを判定すればよい。
HDR画像合成部133は、太陽光の入射方向が前方向であるとき、長時間露光画像に基づく前方画像の割合を増加させ、太陽光の入射方向が後方向であるとき、長時間露光画像に基づく後方画像の割合を増加させるのがよい。HDR画像合成部133は、太陽光の入射方向が右方向であるとき、長時間露光画像に基づく右側方画像の割合を増加させ、太陽光の入射方向が左方向であるとき、長時間露光画像に基づく左側方画像の割合を増加させるのがよい。
太陽光入射方向判定部は、車両用撮像装置100が撮像する360度の方向を、前方向、後方向、右方向、左方向に加えて、右前方向、右後方向、左後方向、左前方向を含む複数の方向に分割して、太陽光の入射方向がいずれの方向であるかを判定することが好ましい。
HDR画像合成部133は、太陽光の入射方向が右前方向であるとき、長時間露光画像に基づく前方画像及び右側方画像の割合を増加させ、太陽光の入射方向が右後方向であるとき、長時間露光画像に基づく後方画像及び右側方画像の割合を増加させるのがよい。HDR画像合成部133は、太陽光の入射方向が左後方向であるとき、長時間露光画像に基づく後方画像及び左側方画像の割合を増加させ、太陽光の入射方向が左前方向であるとき、長時間露光画像に基づく前方画像及び左側方画像の割合を増加させるのがよい。
<第5実施形態>
第5実施形態は、車両200が走行している際に、トンネルに入る前からトンネル内を走行してトンネルから出た後までの車両200位置に応じて、適切な前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lを得ることができる車両用撮像装置100を提供する。第5実施形態において、第1実施形態と共通部分の説明を省略する。第5実施形態の車両用撮像装置100の具体的な構成は、図2と同様である。
図19において、道路を走行している車両200はトンネル50に接近して、領域R51を走行する。このとき、前方画像20Fに含まれているトンネル50の内部の画像が所定の割合以上となる。トンネル50の内部の画像が明瞭に視認できるように、制御部16は、HDR画像合成部133が前方画像20Fにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を大きくするようHDR画像合成部133を制御するのがよい。
一例として、車両200が領域R51に到達する前で撮像画像にトンネル50の内部の画像が含まれていない状態で、長時間露光画像と短時間露光画像との比が4:6であるとき、制御部16は、前方画像20Fにおける長時間露光画像と短時間露光画像との比を8:2とする。
車両200はさらにトンネル50の入口50inに近付き、車両200の一部がトンネル50内に侵入する領域R52に到達する。このとき、制御部16は、右側方画像20R及び左側方画像20Lにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を大きくするようHDR画像合成部133を制御するのがよい。
一例として、車両200が領域R51を走行しているときに右側方画像20R及び左側方画像20Lにおける長時間露光画像と短時間露光画像との比が4:6であるとき、制御部16は、右側方画像20R及び左側方画像20Lにおける長時間露光画像と短時間露光画像との比を8:2とする。
車両200はさらにトンネル50内を走行し、領域R53に到達する。このとき、後方画像20Bに含まれているトンネル50の入口50in側のトンネル50以外の画像が所定の割合以下となる。制御部16は、後方画像20Bにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を大きくするようHDR画像合成部133を制御するのがよい。
一例として、車両200が領域R51及びR52を走行しているときに後方画像20Bにおける長時間露光画像と短時間露光画像との比が4:6であるとき、制御部16は、後方画像20Bにおける長時間露光画像と短時間露光画像との比を8:2とする。
車両200はさらにトンネル50内を走行し、トンネル50の出口50outに近付いた領域R54に到達する。このとき、前方画像20Fに含まれているトンネル50の出口50out側のトンネル50以外の画像が所定の割合以上となる。トンネル50の外部の画像が明瞭に視認できるように、制御部16は、前方画像20Fにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を小さくするようHDR画像合成部133を制御するのがよい。
一例として、車両200が領域R54に到達する直前まで前方画像20Fにおける長時間露光画像と短時間露光画像との比が8:2であるので、領域R54に到達したら長時間露光画像と短時間露光画像との比を4:6とする。
車両200はさらにトンネル50内を走行し、車両200の一部がトンネル50の出口50outに出る領域R55に到達する。このとき、制御部16は、右側方画像20R及び左側方画像20Lにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を小さくするようHDR画像合成部133を制御するのがよい。
一例として、車両200が領域R55に到達する直前まで右側方画像20R及び左側方画像20Lにおける長時間露光画像と短時間露光画像との比が8:2であるので、領域R55に到達したら長時間露光画像と短時間露光画像との比を4:6とする。
車両200が完全にトンネル50の外に出て領域R56に到達すると、後方画像20Bに含まれているトンネル50の内部の画像が所定の割合以下となる。制御部16は、HDR画像合成部133が後方画像20Bにおける長時間露光画像と短時間露光画像とを合成する際の長時間露光画像の割合を小さくするようHDR画像合成部133を制御するのがよい。
一例として、車両200が領域R56に到達する直前まで後方画像20Bにおける長時間露光画像と短時間露光画像との比が8:2であるので、領域R56に到達したら長時間露光画像と短時間露光画像との比を4:6とする。
車両200が図19に示す領域R51~R56のどこを走行しているかは、画像解析部14が撮像画像に基づいて判定することができる。画像解析部14は、トンネル走行判定部として機能する。
車両用撮像装置100がGPS(Global Positioning System)等の全地球航法衛星システム(Global Navigation Satellite System: GNSS)用の衛星からの電波を受信するGNSS受信部と地図情報を備える場合には、制御部16が、GNSS受信部が受信したGNSS信号と地図情報に基づいて車両200のトンネル50内外の位置を検出してもよい。この場合、制御部16がトンネル走行判定部として機能する。
図20A及び図20Bに示すフローチャートを用いて、第5実施形態において、画像処理部13、トンネル走行判定部(画像解析部14)、または制御部16が実行する処理を説明する。図20Aにおいて、処理が開始されると、トンネル走行判定部は、ステップS501にて、車両200の前方にトンネルを認識して、トンネル50の内部の画像が所定の割合以上となったか否かを判定する。
ステップS501にてトンネル50の内部の画像が所定の割合以上となったと判定されれば(YES)、制御部16は、ステップS502にて、前方画像20Fにおける長時間露光画像の割合を増加させるようHDR画像合成部133を制御して、処理をステップS513に移行させる。ステップS501にてトンネル50の内部の画像が所定の割合以上となったと判定されなければ(NO)、トンネル走行判定部は、ステップS503にて、車両200がトンネル50に侵入しているか否かを判定する。
ステップS503にて車両200がトンネル50に侵入したと判定されれば(YES)、制御部16は、ステップS504にて、右側方画像20R及び左側方画像20Lにおける長時間露光画像の割合を増加させるようHDR画像合成部133を制御して、処理をステップS513に移行させる。ステップS503にて車両200がトンネル50に侵入したと判定されなければ(NO)、トンネル走行判定部は、ステップS505にて、後方画像20Bに含まれているトンネル50の入口50in側のトンネル50以外の画像が所定の割合以下であるか否かを判定する。
ステップS505にてトンネル50の入口50in側のトンネル50以外の画像が所定の割合以下であると判定されれば(YES)、制御部16は、ステップS506にて、後方画像20Bにおける長時間露光画像の割合を増加させるようHDR画像合成部133を制御して、処理をステップS513に移行させる。ステップS505にてトンネル50の入口50in側のトンネル50以外の画像が所定の割合以下であると判定されなければ(NO)、トンネル走行判定部は、図20BのステップS507にて、前方画像20Fに含まれているトンネル50の出口50out側のトンネル50以外の画像が所定の割合以上であるか否かを判定する。
ステップS507にてトンネル50の出口50out側のトンネル50以外の画像が所定の割合以上であると判定されれば(YES)、制御部16は、ステップS508にて、前方画像20Fにおける長時間露光画像の割合を減少させるようHDR画像合成部133を制御して、処理をステップS513に移行させる。ステップS507にてトンネル50の出口50out側のトンネル50以外の画像が所定の割合以上であると判定されなければ(NO)、トンネル走行判定部は、ステップS509にて、車両200の一部がトンネル50の外へと移動したか否かを判定する。
ステップS509にて車両200の一部がトンネル50の外へと移動したと判定されれば(YES)、制御部16は、ステップS510にて、右側方画像20R及び左側方画像20Lにおける長時間露光画像の割合を減少させるようHDR画像合成部133を制御して、処理をステップS513に移行させる。ステップS509にて車両200の一部がトンネル50の外へと移動したと判定されなければ(NO)、トンネル走行判定部は、ステップS511にて、車両200がトンネル50の外へと移動して、後方画像20Bに含まれているトンネル50の内部の画像が所定の割合以下であるか否かを判定する。
ステップS511にてトンネル50の内部の画像が所定の割合以下であると判定されれば(YES)、制御部16は、ステップS512にて、後方画像20Bにおける長時間露光画像の割合を減少させるようHDR画像合成部133を制御して、処理をステップS513に移行させる。ステップS511にてトンネル50の内部の画像が所定の割合以下であると判定されなければ(NO)、制御部16は処理をステップS513に移行させる。
制御部16は、ステップS513にて、車両用撮像装置100の電源がオフされたか否かを判定する。車両用撮像装置100の電源がオフされなければ(NO)、画像処理部13、トンネル走行判定部、または制御部16はステップS501~S513の処理を繰り返す。車両用撮像装置100の電源がオフされれば(YES)、制御部16は処理を終了させる。
第5実施形態の車両用撮像装置100の構成及び動作は次のとおりである。第5実施形態の車両用撮像装置100における撮像部12は、第1の露光時間で被写体を撮像した長時間露光画像と、第2の露光時間で前記被写体を撮像した短時間露光画像を生成する。第5実施形態の車両用撮像装置100は、トンネル走行判定部(画像解析部14)、画像抽出部132、HDR画像合成部133、前後左右判定部142を備える。
前後左右判定部142は、撮像画像のうちの前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の周方向の位置を決定する。画像抽出部132は、撮像画像のうち、前方画像領域、後方画像領域、右側方画像領域、及び左側方画像領域の各領域画像を抽出して、前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lの各方向画像を生成する。
HDR画像合成部133は、長時間露光画像に基づいて生成した前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lと、短時間露光画像に基づいて生成した前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lとをそれぞれ合成する。
トンネル走行判定部は、走行している車両200がトンネル50に接近し、トンネル50に入ってトンネル50内を走行し、トンネル50から出た状態を判定する。
HDR画像合成部133は、前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lのうちの選択された方向画像の長時間露光画像に基づく方向画像の割合または短時間露光画像に基づく方向画像の割合を調整する。HDR画像合成部133は、トンネル走行判定部による判定に基づいて、車両200がトンネル50に入る前からトンネル50内を走行してトンネル50から出た後までの車両200の位置に応じて割合を調整する。
具体的には、HDR画像合成部133は車両200の位置に応じて次のように割合を調整するのがよい。
トンネル走行判定部が、車両200がトンネル50に接近して、トンネル50の内部の画像が前方画像20Fのうちの所定の割合以上となったと判定したとき、HDR画像合成部133は、長時間露光画像に基づく前方画像20Fの割合を増加させるのがよい。
トンネル走行判定部が、車両200がトンネル50に侵入したと判定したとき、HDR画像合成部133は、長時間露光画像に基づく右側方画像20R及び左側方画像20Lの割合を増加させるのがよい。
トンネル走行判定部が、車両200がトンネル50に侵入した後にトンネル50の入口50in側のトンネル50以外の画像が後方画像20Bのうちの所定の割合以下になったと判定したとき、HDR画像合成部133は、長時間露光画像に基づく後方画像20Bの割合を増加させるのがよい。
トンネル走行判定部が、車両200がトンネル50の出口50outに接近して、出口50out側のトンネル50以外の画像が前方画像20Fのうちの所定の割合以上になったと判定したとき、HDR画像合成部133は、長時間露光画像に基づく前方画像20Fの割合を減少させるのがよい。即ち、上記のように車両200がトンネル50に接近した時点で増加させた長時間露光画像に基づく前方画像20Fの割合を元の割合に戻す。
トンネル走行判定部が、車両200がトンネル50の外に出たと判定したとき、HDR画像合成部133は、長時間露光画像に基づく右側方画像20R及び左側方画像20Lの割合を減少させるのがよい。即ち、上記のように車両200がトンネル50に侵入した時点で増加させた長時間露光画像に基づく右側方画像20R及び左側方画像20Lの割合を元の割合に戻す。
トンネル走行判定部が、車両200がトンネル50の外に出て、トンネル50の内部の画像が後方画像20Bのうちの所定の割合以下になったと判定したとき、HDR画像合成部133は、長時間露光画像に基づく後方画像20Bの割合を減少させるのがよい。即ち、トンネル50の入口50in側のトンネル50以外の画像が後方画像20Bのうちの所定の割合以下になった時点で増加させた長時間露光画像に基づく後方画像20Bの割合を元の割合に戻す。
以上のようにして、第5実施形態の車両用撮像装置100によれば、車両200がトンネル50に入る前からトンネル50から出た後までの車両200位置に応じて、適切な前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lを得ることができる。
<第6実施形態>
第6実施形態は、車両200に事故等のイベントが発生したときにぶれの少ない撮像画像を保存することができる車両用撮像装置100を提供する。第6実施形態において、第1実施形態と共通部分の説明を省略する。
図21に示すように、第6実施形態の車両用撮像装置100は、バス19に接続された加速度センサ60を備える。加速度センサ60は、車両200にイベントが発生したか否かを判定するイベント検出センサの一例である。記録再生部17は、メモリカード170とリングバッファ171とを有する。リングバッファ171は車両用撮像装置100が備える非着脱自在の本体メモリである。メモリカード170には、イベント記録領域172と通常記録領域173とが設けられている。イベント記録領域172自動的にはデータが上書きされない記録領域である。
イベント記録領域172及び通常記録領域173はメモリカード170に設けられることに限定されない。イベント記録領域172が本体メモリに設けられてもよい。通常記録領域173が本体メモリに設けられてもよい。イベント記録領域172及び通常記録領域173が本体メモリに設けられてもよい。
リングバッファ171は、長時間露光画像と短時間露光画像の360度の撮像画像の撮像画像データを所定時間分だけ記録する容量を有し、撮像画像データはリングバッファ171に循環的に記憶される。即ち、リングバッファ171の全ての容量に撮像画像データが記憶されたら、最も古い撮像画像データが最新の撮像画像データへと書き換えられ、撮像画像データを更新する動作が繰り返される。
HDR画像合成部133によって画像合成された前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lは、リングバッファ171に一時的に記録されることなく通常記録領域173に記録される。
図22に示すフローチャートを用いて、第6実施形態において制御部16が実行する処理を説明する。処理が開始されると、制御部16は、ステップS61にて、撮像画像データを所定時間分だけリングバッファ171に記憶させる。上記のように、撮像画像データとは、長時間露光画像と短時間露光画像の360度の撮像画像の撮像画像データである。
制御部16は、ステップS62にて、加速度センサ60が検出した加速度の変化に基づいて、イベントが発生したか否かを判定する。制御部16は、加速度が急増したり急減したりした場合にイベントが発生したと判定する。
ステップS62にてイベントが発生したと判定されなければ(NO)、制御部16はステップS61及びS62の処理を繰り返す。ステップS62にてイベントが発生したと判定されれば(YES)、制御部16は処理をステップS63に移行させる。制御部16は、ステップS63にて、リングバッファ171に記憶されている撮像画像データをイベント記録領域172にコピーして、処理を終了させる。
イベント発生時に、画像のぶれがなく通常記録領域173に記録されていることが望まれる被写体がぶれた状態で記録されてしまうことがある。具体的には、一例として次のような場合に画像のぶれが大きい状態で通常記録領域173に記録されてしまう。
図14Aにおいて、右側方画像20Rのうちの車両230の面積が20%未満であったとする。この場合、右側方画像20Rにおいて相対的に後方に移動する標識31の画像のぶれがHDR画像合成部133によって補正される。この状態で、車両200と車両230との間で事故が発生すると、車両230の画像のぶれはHDR画像合成部133によって補正されないため、画像のぶれが大きい状態で通常記録領域173に記録される。
そこで、イベント発生時には、HDR画像合成部133による長時間露光画像と短時間露光画像との合成画像を通常記録領域173に保存するだけでは不十分である。イベント発生時には、HDR画像合成部133で画像合成される前の長時間露光画像と短時間露光画像の360度の撮像画像の撮像画像データをイベント記録領域172にコピーして保存することが好ましい。第6実施形態によれば、車両200に事故等のイベントが発生したときにぶれの少ない撮像画像を保存することができる。
第6実施形態の車両用撮像装置100において、HDR画像合成部133によって画像合成された各方向画像の画像データもリングバッファ171に記憶して、イベント発生時にイベント記録領域172にコピーして保存するようにしてもよい。また、第6実施形態の車両用撮像装置100において、HDR画像合成部133によって画像合成された各方向画像をリングバッファ171または通常記録領域173に記録しないように構成してもよい。
以上のように、第6実施形態の車両用撮像装置100において、撮像部12は長時間露光画像と短時間露光画像とを生成する。第6実施形態の車両用撮像装置100は、画像抽出部132とHDR画像合成部133とを備える。画像抽出部132は、長時間露光画像に及び短時間露光画像に基づいて、前方画像、後方画像、右側方画像、及び左側方画像を生成する。HDR画像合成部133は、長時間露光画像に及び短時間露光画像に基づく前方画像20F、後方画像20B、右側方画像20R、及び左側方画像20Lを合成する。
また、第6実施形態の車両用撮像装置100は、リングバッファ171とイベント検出センサ(加速度センサ60)とを備える。リングバッファ171は、長時間露光画像及び短時間露光画像を循環的に記憶する。イベント検出センサは、車両200にイベントが発生したか否かを判定する。制御部16は、イベント検出センサによって車両200にイベントが発生したと判定されたとき、リングバッファ171に記憶されている長時間露光画像及び短時間露光画像をイベント記録領域172にコピーして保存するよう制御する。
第6実施形態の車両用撮像装置100によれば、車両200に事故等のイベントが発生したときにぶれの少ない撮像画像を保存することができる。
<第7実施形態>
第7実施形態は、適切な車内画像を生成することができる車両用撮像装置100を提供する。図23は、図8及び図9に示す処理によって前方画像20Fの方向を車両200の前方に正しく調整した状態で、撮像部12が生成する360度の撮像画像を示している。車内画像領域には、計器類を有するインストルメントパネルが含まれている。インストルメントパネル付近の画像が車内画像領域の中で重要である。そこで、第7実施形態の車両用撮像装置100は、図24に示す処理を実行させる。
制御部16は、ステップS71にて、車両用撮像装置100(車両200)の前後方向が決定済みで、前方画像20F及び後方画像20Bの方向が調整済みであるか否かを判定する。前後方向が決定済みと判定されなければ(NO)、制御部16は、第1実施形態の図8及び図9に示す処理が完了するまで、ステップS71の処理を繰り返す。
ステップS71にて前後方向が決定済みと判定されれば(YES)、制御部16は、ステップS72にて、図23に示すように、車内画像領域の前方にインストルメントパネル領域71を設定する。制御部16は、車内画像領域のうちの前方の所定の領域をインストルメントパネル領域71と設定することができる。画像解析部14が画像解析によってインストルメントパネルを検出して、制御部16が画像解析部14による検出結果に基づいてインストルメントパネル領域71と設定してもよい。
制御部16は、長時間露光画像及び短時間露光画像における車内画像領域内に、インストルメントパネル領域71と、インストルメントパネル領域71以外の領域である非インストルメントパネル領域72とを設定する領域設定部として機能する。
制御部16は、ステップS73にて、インストルメントパネル領域71が明瞭に撮像されるように車内画像を最適化する。具体的には、制御部16は、インストルメントパネル領域71内のLED等で表示された高輝度の画像が白飛びの状態で撮像されないよう、長時間露光画像と短時間露光画像を生成する際の露光時間を最適化するよう撮像部12を制御する。
長時間露光画像を生成する際の第1の露光時間と、短時間露光画像を生成する際の第2の露光時間とは次のように設定される。第1及び第2の露光時間には最長時間と最短時間とがあり、第1及び第2の露光時間は画像の明るさに応じて決まる最長時間と最短時間との間の時間に設定される。
図25の(a)に示すように、長時間露光の第1の露光時間と短時間露光の第2の露光時間との比が例えば10:1であるとする。車両200の車内が暗く、非インストルメントパネル領域72における最適な露光時間の割合が図25の(b)に示すように最長時間の100%であるとする。インストルメントパネル領域71は非インストルメントパネル領域72よりも明るく、インストルメントパネル領域71における最適な露光時間の割合が図25の(c)に示すように最長時間の50%であるとする。
通常、1つの画像領域内に明るい領域と暗い領域とが存在する場合、最適な露光時間の割合は明るい領域の面積と暗い領域の面積とを考慮して決定される。インストルメントパネル領域71と非インストルメントパネル領域72との面積が1:9であるとする。この場合、制御部16は、9/10×100%+1/10×50%=95%なる計算式によって、図25の(d)に示すように、長時間露光の第1の露光時間と短時間露光の第2の露光時間との最適な露光時間の割合を95%と決定する。ところが、最適な露光時間の割合を95%と決定すると、インストルメントパネル領域71において白飛びが発生してしまう。
そこで、制御部16は、インストルメントパネル領域71における最適な露光時間の割合である50%と、非インストルメントパネル領域72における最適な露光時間の割合である100%とに基づいて、両者の最適な露光時間の割合を決定するのがよい。インストルメントパネル領域71における最適な露光時間の割合を第1の最適露光時間割合、非インストルメントパネル領域72における最適な露光時間の割合を第2の最適露光時間割合とする。制御部16は、インストルメントパネル領域71と非インストルメントパネル領域72とで共通の露光時間の割合である第3の最適露光時間割合を設定する。
このとき、制御部16は、インストルメントパネル領域71と非インストルメントパネル領域72との面積比を考慮しない。図25の(e)に示すように、制御部16は、一例として、50%と100%との平均値である75%を第3の最適露光時間割合に設定する。インストルメントパネル領域71における露光時間は95%から75%へと短くなるので、白飛びが発生する可能性を低減させることができる。
ここでは、非インストルメントパネル領域72が暗くインストルメントパネル領域71が明るい場合を例としたが、インストルメントパネル領域71と非インストルメントパネル領域72との明るさの関係によっては、次のようにインストルメントパネル領域71における露光時間の割合の上限値を設定するのがよい。
インストルメントパネル領域71における画像が黒つぶれしないという条件での最短の露光時間割合をT71S、インストルメントパネル領域71における画像が白飛びしないという条件での最長の露光時間割合をT71L、インストルメントパネル領域71における最適な露光時間割合をT71Oとする。非インストルメントパネル領域72における最適な露光時間割合をT72Oとする。制御部16は、画像が黒つぶれするか否かの条件、画像が白飛びするか否かの条件を判定することができる。よって、制御部16は、画像の明るさに応じて、黒つぶれしない最短の露光時間、白飛びしない最長の露光時間、及び最適な露光時間を計算することができるから、それぞれの露光時間割合を決定することができる。
車内が暗く、非インストルメントパネル領域72よりもインストルメントパネル領域71が明るい場合、露光時間割合T71S、T71L、T71O、T72Oは例えば10%、50%、30%、80%のようになる。最長露光時間割合T71Lと最適露光時間割合T72OとがT71L<T72Oを満たすとき、制御部16は、インストルメントパネル領域71における露光時間割合の最大値を最長露光時間割合T71Lとするよう撮像部12を制御するのがよい。
車内が太陽光で照らされて明るく、インストルメントパネル領域71よりも非インストルメントパネル領域72が明るい場合、露光時間割合T71S、T71L、T71O、T72Oは例えば60%、80%、70%、20%のようになる。最短露光時間割合T71Sと最適露光時間割合T72OとがT72O<T71Sを満たすとき、制御部16は、インストルメントパネル領域71における露光時間割合の最小値を最短露光時間割合T71Sとするよう撮像部12を制御するのがよい。
制御部16が撮像部12をこのように制御すれば、インストルメントパネル領域71が白飛びの状態で撮像されることなく、また、非インストルメントパネル領域72は明るい状態で撮像される。よって、第7実施形態の車両用撮像装置100によれば、適切な車内画像を生成することができる。
図2及び図21に示す構成のうち、少なくとも、画像処理部13、画像解析部14、及び制御部16は、車両用撮像装置100に搭載されるコンピュータまたはコンピュータの中央処理装置(CPU)と、CPUに実行させるコンピュータプログラム(画像処理プログラム)で構成することができる。
第1実施形態は、図8及び図9に示す処理をCPUに実行させる画像処理プログラムであってもよい。第2実施形態は、図13示す処理をCPUに実行させる画像処理プログラムであってもよい。第3実施形態は、図15示す処理をCPUに実行させる画像処理プログラムであってもよい。第4実施形態は、図18A及び図18B示す処理をCPUに実行させる画像処理プログラムであってもよい。第5実施形態は、図20A及び図20B示す処理をCPUに実行させる画像処理プログラムであってもよい。第6実施形態は、図22に示す処理をCPUに実行させる画像処理プログラムであってもよい。第7実施形態は、図24に示す処理をCPUに実行させる画像処理プログラムであってもよい。
本発明は以上説明した第1~第7実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。第1~第7実施形態は互いに矛盾が生じない範囲で任意に組み合わせが可能である。ハードウェアとソフトウェア(コンピュータプログラム)の使い分けは任意である。