JP7384343B2 - 画像処理装置、画像処理プログラム - Google Patents

Description

本発明は、分割して撮像した車両周囲画像を合成する画像処理装置、画像処理プログラムに関する。

特許文献１には、重複画像を用いて合成することが記載されており、特に、特許文献１の段落番号００６６には、ルームミラーに表示することが記載されている。但し、ダイナミックレンジについての記載はなく、白飛び、黒つぶれの課題が残る。

また、特許文献２には、フロントカメラ、左サイドカメラ、右サイドカメラ、および、リヤカメラによる撮像された画像を選択に表示可能な表示手段を備えると共に、車両を俯瞰するように視点変換を行ったアラウンドビューの画像を生成する画像生成手段を備え、アラウンドビューの画像を表示手段に表示させることが記載されている。

特開２０１７－１７５４８０号公報 特開２０１２－６５５１号公報

しかしながら、従来技術では、例えば、何れかの輝度に合わせる程度であるため、撮像領域毎に適正露出で撮像した画像の全ての情報を反映できないため、各画像のダイナミックレンジの違いにより、単一画像として違和感があり、対象物（走行の際の障害物等）を誤認（見落としを含む）する場合がある。

特に、特許文献２は、アラウンドビューの合成についての技術であるが、アラウンドビューを生成する場合の、各カメラヘッドで撮像した画像のコントラスト等を考慮した合成については記載されていない。

本発明は、複数の画像情報を合成する場合に、各画像の撮像パラメータ等に基づいて、違和感のない画像を生成し、かつ、幅広いダイナミックレンジを表現することができる画像処理装置、画像処理プログラムを得ることが目的である。

本発明に係る画像処理装置は、車両における運転者の視野の補助となり得る特定の画角を、複数の撮像装置で分割して撮像したときの各々の画像情報、及び画像の属性情報を取得する取得部と、前記取得部で取得した前記属性情報から、各撮像装置間のダイナミックレンジを一致させるための補正値を計算する計算部と、前記計算部で計算された補正値と、各画像情報の属性情報と、に基づいて、前記各々の画像情報を単一のダイナミックレンジの画像へ合成する画像合成部と、前記画像合成部で合成した画像情報を表示デバイスへ出力する出力部とを有し、前記画像合成部で合成した画像情報が、複数の撮像装置で撮像した最も暗い部分から最も明るい部分までの情報を持つ、ことを特徴としている。

本発明に係る画像処理装置は、車両における運転者の視野の補助となり得る特定の画角を、複数の撮像装置で分割して撮像したときの各々の画像情報、及び画像の属性情報を取得する取得部と、前記取得部で取得した前記属性情報から、各撮像装置間のダイナミックレンジを一致させるための補正値を計算する計算部と、前記計算部で計算された補正値と、各画像情報の属性情報と、に基づいて、前記各々の画像情報を単一のダイナミックレンジの画像へ合成する画像合成部と、前記画像合成部で合成した画像情報を表示デバイスへ出力する出力部とを有し、前記画像合成部で合成した画像情報が、撮像装置のダイナミックレンジより広いダイナミックレンジを持ち、前記表示デバイスへの表示の際に、前記単一のダイナミックレンジの画像の全領域又は一部領域に対して、コントラストを調整する、ことを特徴としている。

本発明において、前記画像合成部で合成した画像情報を、前記報知デバイスの仕様に合わせてダイナミックレンジを調整する調整部をさらに有している。

本発明において、前記属性情報が、各画像の撮像時の感度、露出時間、絞りを含む撮像パラメータである。

本発明において、前記属性情報が、各画像情報の重複撮像領域から得られる各撮像画像の個体差情報である。

本発明に係る画像処理装置は、車両における運転者の視野の補助となり得る特定の画角を、複数の撮像装置で分割して撮像したときの各々の画像情報、及び画像の属性情報を取得する取得部と、前記取得部で取得した前記属性情報から、各撮像装置間のダイナミックレンジを一致させるための補正値を計算する計算部と、前記計算部で計算された補正値と、各画像情報の属性情報と、に基づいて、前記各々の画像情報を、表示デバイスに表示される画像ではなく、かつ、前記各々の画像情報を単純に合成し得る高ダイナミックレンジ幅とされたダイナミックレンジの画像へ合成する画像合成部と、前記画像合成部で合成した画像情報を表示デバイスへ出力する出力部と、前記画像合成部で合成した画像情報を、前記表示デバイスで表示可能なダイナミックレンジに調整すると共に、前記複数の撮像装置で撮像した最も暗い部分から最も明るい部分までの情報を持った画像情報を保持することで、前記ダイナミックレンジの調整の際に、前記画像の一部の領域に対して、局所的にコントラストを調整し得る調整部と、を有している。
本発明によれば、複数の画像情報の属性情報によって、複数の画像情報のダイナミックレンジを一致させるための補正値を得ることができる。例えば、属性情報としては、撮像時の、感度、露出時間、絞りを含む撮像パラメータが挙げられ、撮像情報とセットで取得すればよい。

この補正値と、撮像パラメータ（例えば、座標）とによって、複数の画像情報を合成して、単一の画像情報を生成する。これにより、違和感のない画像を得ることができ、対象物の誤認等を防止することができる。

なお、属性情報は、各画像情報の重複撮像領域から得られる各撮像画像の個体差情報であってもよい。

ここで、合成された画像情報はＨＤＲ（高ダイナミックレンジ）であるため、調整部による調整、例えば、トーンマッピング等の調整で、デバイスの仕様（ダイナミックレンジ範囲）に合わせて高ダイナミックレンジを圧縮して調整すればよい。

なお、特定の画角とは、車両の後方視界を補助する画角を例示したが、車両の周囲を俯瞰で表現して補助する画角（所謂アラウンドビュー）等を含み、後方視界に限定されるものではない。

本発明において、複数の撮像装置が、それぞれ車両に搭載され、当該車両の右後方を撮像するＲＨカメラヘッドと、当該車両の左後方を撮像するＬＨカメラヘッドと、当該車両の後方を撮像するＲＲカメラヘッドとを含み、各撮像装置で撮像した画像情報の少なくとも一部が重複するように、各撮像装置で撮像する画角が定められる。

本発明において、前記報知デバイスが、車両の後方を確認するためのミラーの代用として設置されるモニタである。

車両の後方視界は、前方視界に比べて死角が多く、例えば、ルームミラーやサイドミラー等の鏡面画像では、特に、周囲の明るさ（輝度）の違いで障害物を見落とす可能性がある。

本発明によれば、車両を運転している場合に、後方視野の死角を無くすことができ、かつ、車両後進時の障害物を誤認（見落としを含む）することがないので、安全な走行が可能となる。

本発明において、前記報知デバイスが、予め定めた期間の撮像情報を、期間の古い撮像情報から削除し、期間の新しい撮像を記憶する循環記憶を行う記憶装置である。

本発明における出力部から出力される画像情報を、例えば、車両に加わる衝撃の前後を記録するドライブレコーダの画像として適用することができる。すなわち、本発明の、境界等の違和感がない広角な画像を、車両に加わる衝撃の正確な原因の解析材料として用いることができる。

本発明に係る画像処理プログラムは、コンピュータを、上記の何れかの画像処理装置として動作させる。

以上説明したように本発明によれば、複数の画像情報を合成する場合に、各画像の撮像パラメータ等に基づいて、違和感のない画像を生成し、かつ、幅広いダイナミックレンジを表現することができるという効果を奏する。

本実施の形態に係る車両が示されており、（Ａ）は車両の平面図、（Ｂ）は車両の側面図である。 本実施の形態に係る車両の室内を、後席中央から前席を見たときの概略図である。 本実施の形態に係る画像合成のための画像処理装置の概略図である。 本実施の形態に係る画像処理装置の処理の流れを示す制御フローチャートである。 各カメラヘッドで撮像した画像を単純に合成したときの画像である。 図５の画像に対して、高タイナミックレンジ処理を施した画像である。 図６の画像をそのまま表示デバイスに表示したときの画像である（白飛び発生時）。 図６の画像をそのまま表示デバイスに表示したときの画像である（黒つぶれ発生時）。 図６の画像を単一ダイナミックレンジ圧縮して表示デバイスに表示したときの画像である。 図６の画像をローカルトーン圧縮して表示デバイスに表示したときの画像である。

図１には、本実施の形態に係る車両１０が示されており、（Ａ）は車両１０の平面図、（Ｂ）は車両１０の側面図である。

図１（Ａ）に示される如く、車両１０の前進方向右側面には、右カメラアダプタ１２が取り付けられている。右カメラアダプタ１２には、光軸が車両１０の右後方に向けられたＲＨカメラヘッド１４が取り付けられている。ＲＨカメラヘッド１４では、図１（Ａ）の一点鎖線Ｒで囲まれた領域ＡＲを撮像する。

また、図１（Ａ）に示される如く、車両１０の前進方向左側面には、左カメラアダプタ１６が突出されている。左カメラアダプタ１６には、光軸が車両１０の左後方に向けられたＬＨカメラヘッド１８が取り付けられている。ＬＨカメラヘッド１８では、図１（Ａ）の一点鎖線Ｌで囲まれた領域ＡＬを撮像する。

さらに、図１（Ａ）に示される如く、車両１０の後部における、車両幅方向中央部には、光軸が車両１０の後方（光軸が路面に略水平）に向けられたＲＲカメラヘッド２０が取り付けられている。ＲＲカメラヘッド２０では、図１（Ａ）の一点鎖線Ｃで囲まれた領域ＡＣを撮像する。

ここで、領域ＡＲと領域ＡＣとは、それぞれ一部が重なっており、撮像される画像の一部が重複している。また、領域ＡＬと領域ＡＣとは、それぞれ一部が重なっており、撮像される画像の一部が重複している。

図１（Ｂ）に示される如く、車両１０の後部には、ＲＲカメラヘッド２０とは別に、後進専用カメラ２２が取り付けられている。後進専用カメラ２２は、一点鎖線Ｂで囲まれた領域ＡＢを撮像するようになっており、撮像画像は、車両１０が後進する際に、車室内の情報表示用モニタ２４（図２参照）に表示されるようになっている。領域ＡＢは、車両１０の後方端部（例えば、後部バンパ）を含むように光軸が設定され、ＲＲカメラヘッド２０の光軸よりも下向きとされる。

すなわち、前述したＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０には、車両１０の通常走行（前進及び後進、停車を問わず）の運転者の支援として用いられるのに対し、後進専用カメラ２２は、車両１０の後進時に特化して運転者の支援として用いられるものであり、用途が互いに異なるものである。

図２は、車両１０の室内を、後席中央から前席を見たときの概略図である。

車両１０の右サイドウィンドウ部２６の前方には、前述した右カメラアダプタ１２が位置しており、ＲＨカメラヘッド１４が取り付けられている。

右サイドウィンドウ部２６とフロントウィンドウ部２８との間に位置する右サイドＡピラー３０の下部には、ＲＨモニタ３２が取り付けられている。ＲＨモニタ３２には、ＲＨカメラヘッド１４で撮像された車両右後方の領域ＡＲ（図１（Ａ）参照）の画像が鏡面反転処理された状態で表示されるようになっている。すなわち、ＲＨカメラヘッド１４とＲＨモニタ３２は、光学式の右サイドドアミラーと同等の役目を有する。

車両１０の左サイドウィンドウ部３４の前方には、前述した左カメラアダプタ１６が位置しており、ＬＨカメラヘッド１８が取り付けられている。

左サイドウィンドウ部３４とフロントウィンドウ部２８との間に位置する左サイドＡピラー３６の下部には、ＬＨモニタ３８が取り付けられている。ＬＨモニタ３８には、ＬＨカメラヘッド１８で撮像された車両右後方の領域ＡＬ（図１（Ａ）参照）の画像が鏡面反転処理された状態で表示されるようになっている。すなわち、ＬＨカメラヘッド１８とＬＨモニタ３８は、光学式の左サイドドアミラーと同等の役目を有する。

また、車室内における、センターコンソール部４０の上部には、情報表示用モニタ２４が取り付けられている。情報表示用モニタ２４は、車両１０のトランスミッション（図示省略）のシフトレバー４２が後進レンジ（Ｒレンジ）に入っているときに、後進専用カメラ２２で撮像した画像を表示する。

情報表示用モニタ２４は多機能モニタとして利用されるものであり、上記車両後方画像の表示以外に、例えば、図示しないナビゲーションシステムやオーディオシステムと連携し、切替操作によって、ナビゲーション画面（ナビゲーション情報画面等）やオーディオ画面（音楽に関する情報画面等）を表示する。例えば、ナビゲーション画面では、車両１０に搭載したＧＰＳ機能で取得した位置情報に基づき、地図画像と共に自車の走行位置を地図画像上に表示する。なお、情報表示用モニタ２４がタッチパネルの場合は、入力デバイスとしての機能を併せ持つ。

ここで、本実施の形態の車両１０のフロントウィンドウ部２８の中央上部（又は、天井部）に取り付けられたルームミラー部４４は、本発明の報知デバイス（表示デバイス）として機能する。

すなわち、ルームミラー部４４は、光学式の鏡面となる鏡面機能と、画像を表示するモニタ機能とを併せ持っている。

鏡面機能では、運転中の運転者等の視野の範囲（目線の移動）で車両後方の状況を確認することができる。

一方、モニタ機能では、前記ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０で撮像した画像の合成画像を表示することができる。

図３に示される如く、ルームミラー部４４は、表示ドライバ４５と、ＬＣＤ等の表示デバイス４６が組み込まれ、かつ表面が鏡面処理された表示部４８とを備えている。表示部４８は、光の強度の関係で、表示デバイス４６に画像が表示されないときは鏡面として機能し、表示デバイス４６に画像が表示されるとモニタとして機能する。

なお、光の強度の関係とは、表示デバイス４６で表示される画像の輝度が、鏡面で光学反射される画像の輝度よりも高いため、表示デバイス４６で表示される画像が優先されることを言う。

図３には、画像合成のための画像処理装置５０の概略が示されている。

なお、以下では、ルームミラー部４４の表示デバイス４６が、合成画像を表示するモニタ機能として動作することを前提として説明するが、合成画像のモニタ機能は、ルームミラー部４６に限定されるものではなく、情報表示用モニタ２４の１つの機能としてもよいし、ルームミラー部４４及び情報表示用モニタ２４とは別に、車室内に、本発明の合成画像を表示するための専用のモニタを、新たに設けてもよい。

図３に示される如く、ＲＨカメラヘッド１４で撮像した領域ＡＲの画像情報は、画像情報メモリ５２に一時的に記憶される。この画像情報が画像情報メモリ５２に記憶されるのと同期して、ＲＨカメラヘッド１４で撮像したときのＲＨカメラヘッド１４の撮像パラメータ（感度、露出時間、絞りを含む）が撮像パラメータ情報メモリ５４に記憶される。

ＲＲカメラヘッド２０で撮像した領域ＡＣの画像情報は、画像情報メモリ５６に一時的に記憶される。この画像情報が画像情報メモリ５６に記憶されるのと同期して、ＲＲカメラヘッド２０で撮像したときの撮像パラメータ（感度、露出時間、絞りを含む）が撮像パラメータ情報メモリ５８に記憶される。

ＲＨカメラヘッド１６で撮像した領域ＡＲの画像情報は、画像情報メモリ６０に一時的に記憶される。この画像情報が画像情報メモリ６０に記憶されるのと同期して、ＲＨカメラヘッド１６で撮像したときの撮像パラメータ（感度、露出時間、絞りを含む）が撮像パラメータ情報メモリ６２に記憶される。

画像情報メモリ５２、画像情報メモリ５６、及び画像情報メモリ６０は、それぞれ輝度合成部６３に接続されている。輝度合成部６３は、画像合成部６４に接続されている。

一方、撮像パラメータ情報メモリ５４、撮像パラメータ情報メモリ５８、及び撮像パラメータ情報メモリ６２は、それぞれカメラ間補正値計算部６６に接続されている。

カメラ間補正値計算部６６では、カメラ間の輝度、特に、重複部分の輝度が近似するように調整するための、各画像情報に対する補正値を計算する。この場合、何れかの画像情報を基準として補正値を計算するのではなく、３種類の画像のダイナミックレンジを包含可能な単一のダイナミックレンジ（ＨＤＲ）の画像情報を生成するための、各画像情報に対する補正値を各撮像パラメータから計算する。

カメラ間補正値計算部６６は、前記輝度合成部６３に接続されている。

輝度合成部６３では、カメラ間補正値計算部６６で計算した補正値に基づいて、各記録画像の画像輝度を補正する。この補正の際に桁落ちや桁溢れがないのように、画像情報を高ダイナミックレンジな格納形式に変換する。

画像合成部６４では、輝度合成部６３で輝度補正された画像情報に対して、ＲＨカメラヘッド１４で撮像された画像情報と、ＲＲカメラヘッド２０で撮像された画像情報と、ＬＨカメラヘッド１６で撮像された画像情報とを、それぞれの重複撮像された領域を基準として、相互に合成する。なお、本実施の形態では、後方画像の支援であるため、画像合成部６４では、画像合成と共に、鏡面反転処理を実行する。これにより、鏡面による左右反転画像と同等の画像となる。

すなわち、重複部分が同時期に撮像された領域であるため、例えば、濃淡の差が大きい輪郭部分の位置を一致させる等の処理で、ずれを補正して合成することができる。

なお、本実施の形態では、重複撮像された領域を持たせたが、少なくとも隣接（画像同士が連続）していれば、重複した撮像にしなくてもよい。

図５は、本実施の形態において表示デバイス４６等に表示される画像ではなく、ＲＨカメラヘッド１４、ＲＲカメラヘッド２０、及びＬＨカメラヘッド１６（総称する場合、各カメラヘッドという）で撮像した画像を単純に合成したときの画像である。

各カメラヘッドの視野で照度が異なると、各カメラヘッドの自動露出機能により、各カメラヘッドの露光が異なる。このような場合、重複領域において、各カメラヘッド間で画像輝度が異なるという問題が生じる。

画像合成部６４では、カメラ間補正値計算部６６から取得した補正値に基づき、各画像情報の輝度を補正する。この輝度補正された各画像に対し、位置ずれを補正した合成をする。

図６は、画像合成部６４において、図５の合成画像に対して、高ダイナミックレンジ処理を施した画像である。画像データ上は、黒つぶれや白飛びがないが、実際には表示デバイス４６の表示可能なダイナミックレンジを逸脱し、画像データ通りに表示することは難しい。

すなわち、図７及び図８は、図６の画像をそのまま表示デバイス４６に表示した画像であり、高ダイナミックレンジ画像となるため、十分なダイナックレンジを持たない一般の表示デバイス４６ではそのまま表示できず、明るい部分が白飛びしたり（図７参照）、暗い側がつぶれたり（図８参照）することになる。

そこで、画像合成部６４は、ダイナミックレンジ圧縮部６８に接続されており、合成された画像情報は、ダイナミックレンジ圧縮部６８に送出される。

ダイナミックレンジ圧縮部６８は、背景輝度推定部７０と、輝度差分・トーン圧縮部７２と、を備えている。

ダイナミックレンジ圧縮部６８では、基本的に、ＨＤＲ処理された合成画像情報を、場所により、黒潰れや白飛びを抑制して、表示デバイス４６で表示可能なダイナミックレンジに変換する役目を有する。

このため、背景輝度推定部７０では、ＨＤＲ処理された合成画像情報において、低周波成分として背景輝度を推定する。

輝度差分・トーン圧縮部７２では、ＨＤＲ処理された合成画像から背景輝度差分を抽出する。背景輝度推定部７０で推定された背景輝度のコントラストの圧縮をし、抽出した背景輝度差分と再度合成する。再度合成された画像は全体のダイナミックレンジが圧縮されつつも、局所的なコントラストが保持される。なお、ダイナミックレンジ圧縮部は背景・輝度差分の分離無く、ＨＤＲ処理された合成画像情報のコントラストを単純に下げてもよいし（図９参照）、局所的に下げてもよい（図１０参照）。ただしコントラストを単純に下げた場合、相対的に、乗員の見やすさの度合いとしては低い画像になる。

ダイナミックレンジ圧縮部６８は、出力部７４を介して、ルームミラー部４４の表示ドライバ４５に接続されている。

出力部７４では、図示しない出力指示に基づいて、ダイナミックレンジ圧縮部６８で圧縮処理された画像情報を、表示ドライバ４５へ送出する。表示ドライバ４５では、表示デバイス４６に画像情報を表示する（図９または図１０参照）。

なお、出力部７４への出力時は、常時出力指示であってもよいし、鏡面による後方視界が悪い状況（雨天、朝夕の太陽が低い状態、夜間等）を、センサ等で感知して、表示デバイス４６の表示に切り替えるようにしてもよい。また、運転者の指示によって表示デバイス４６に表示させるようにしてもよい。

以下に本実施の形態の作用を図４のフローチャートに従い説明する。

図４は、画像処理装置５において、ＲＨカメラヘッド１４、ＲＲカメラヘッド２０、及びＲＬカメラヘッド１６で撮像した画像情報を、表示デバイス４６に表示するまでの画像処理の流れを示す制御フローチャートである。

ステップ１００では、後方画像の出力指示があるか否かを判断し、否定判定された場合は、このルーチンは終了する。また、ステップ１００で肯定判定された場合は、ステップア１０２へ移行する。なお、ステップ１００の肯定判定は、常時出力指示を含む。

ステップ１０２では、各カメラヘッド（ＲＨカメラヘッド１４、ＲＲカメラヘッド２０、及びＲＬカメラヘッド１６）で撮像した画像情報を取得し、次いで、ステップ１０４へ移行して、画像情報を各々の画像情報メモリ５２、画像情報メモリ５６、及び画像情報メモリ６０に一時記憶して、ステップ１０６へ移行する。

ステップ１０６では、各カメラヘッド（ＲＨカメラヘッド１４、ＲＲカメラヘッド２０、及びＲＬカメラヘッド１６）の撮像時の撮像パラメータを取得し、次いで、ステップ１０８へ移行して、撮像パラメータを各々の撮像パラメータ情報メモリ５４、撮像パラメータ情報メモリ５８、及び撮像パラメータ情報メモリ６２へ一時記憶して、ステップ１１０へ移行する。

ステップ１１０では、撮像パラメータを各々の撮像パラメータ情報メモリ５４、撮像パラメータ情報メモリ５８、及び撮像パラメータ情報メモリ６２に一時記憶された撮像パラメータに基づいて、カメラ間補正値を計算する。

次のステップ１１２では、画像情報メモリ５２、画像情報メモリ５６、及び画像情報メモリ６０に記憶された画像情報に基づいて、重複領域を抽出し、ステップ１１４へ移行する。

ステップ１１４では、カメラ間補正値計算部６６で計算した補正値に基づいて、各記録画像の画像輝度を補正する。この補正の際に桁落ちや桁溢れが生じないよう、画像情報を高ダイナミックレンジな格納形式に変換する。

次のステップ１１６では、輝度補正がされた画像情報に対して画像合成処理を実行する。

このステップ１１６で合成処理された画像も高ダイナミックレンジな画像情報であり、図６に示す画像（推定）であり、画像情報としては、最も暗い部分から最も明るい部分までの情報が存在するものの、表示デバイス４６の仕様により、暗い部分に黒潰れが発生し、明るい部分に白飛びが発生する可能性がある。

次のステップ１１８では、ステップ１１６で合成処理されたＨＤＲ画像から、背景輝度を推定し、次いで、ステップ１２０へ移行して、背景輝度から輝度の差分を得て、ダイナミックレンジ圧縮部６８の輝度差分・トーン圧縮部７２において、トーン圧縮処理を実行する。

次のステップ１２２では、ステップ１２０でトーン圧縮処理された画像を表示デバイス４６へ出力する。これにより、表示デバイス４６には、図９または図１０に示す単一のダイナミックレンジの画像が表示される。表示デバイス４６に表示された画像は、表示デバイス４６のダイナミックレンジに適合しているため、黒潰れや白飛びが解消している。

以上説明したように本実施の形態では、複数のカメラ（ＲＨカメラヘッド１４、ＲＲカメラヘッド２０、及びＲＬカメラヘッド１６）で撮像した画像情報を、輝度を合わせてＨＤＲ画像として合成し、さらに、表示デバイス４６で表示可能なダイナミックレンジに合わせて、トーン圧縮して表示するようにしたため、例えば、日向や日陰が存在し、画像のコントラストが非常に高い画像であっても、表示デバイス４６では、暗い部分の黒潰れや明るい部分の白飛びを抑えた状態で表示することができる。

（ＨＤＲ処理と表示デバイス４６との関係について）

一例として、ＲＨカメラヘッド１４、ＲＲカメラヘッド２０、及びＲＬカメラヘッド１６で撮像する車両１０の後方の範囲として、一方が日陰で、他方が日向のような風景の場合、当該風景のダイナミックレンジ（最も明るい部分と最も暗い部分の明暗の比）は開く、コントラスト比として１００００：１を超える場合がある。

一方、ＲＨカメラヘッド１４、ＲＲカメラヘッド２０、及びＲＬカメラヘッド１６の受光部（例えば、ＣＭＯＳセンサやＣＣＤセンサ等）のダイナミックレンジのコントラスト比は、１０００：１程度である。

このため、各ＲＨカメラヘッド１４、ＲＲカメラヘッド２０、及びＲＬカメラヘッド１６毎に独立して、ダイナミックレンジをシフト(露光量を変化)させて、それぞれが表示デバイス４６に表示するのに適したダイナミックレンジで撮像されることになるため、単純に合成処理したのみでは、表示デバイス４６に表示するときに、各カメラヘッド画像の繋ぎ部分で画像輝度が急激に飛ぶ場合がある（図５参照）。

そこで本実施形態では、各カメラヘッド画像を同一の輝度レンジ画像とするために輝度補正を行う。露光量の大きな画像に対しては小さなゲインを、露光量の小さな画像に対しては大きなゲインを掛けることにより、各画像を同一の露光量の画像のようにできる。このゲイン補正の際、桁落ちや桁溢れを防ぐため、補正後の画像は充分に広いダイナミックレンジを持つ格納形式で保持される。この輝度補正がされた画像に対して画像合成処理を行う。この合成された画像は広いダイナミックレンジを持つ（図６参照）。

このため、この合成画像をそのまま表示デバイス４６に表示すると、各カメラヘッド画像繋ぎ部分での画像輝度の飛びは相対的に暗い部分の一部が黒く潰れたり、相対的に明るい部分の一部白く飛んだりする場合がある（図７及び図８参照）。

本実施の形態では、さらに、高ダイナミックレンジに合成処理された画像を、ダイナミックレンジ圧縮部６８において、表示デバイス４６に合わせた（単一の）ダイナミックレンジに圧縮し（図９または図１０参照）、かつ、ＨＤＲ処理された合成画像情報を、場所により、黒潰れや白飛びを抑制して、表示デバイス４６で表示可能なダイナミックレンジに変換する。

これにより、図９や図１０に示すように、実際に、ルームミラー部４４の表示部４８（表示デバイス４６）に表示される画像は、図７及び図８の画像では白飛びしていた明るい部分や、黒潰れしていた暗い部分も、明確に後方視野情報として認識することができる。

なお、本実施の形態において、合成画像をＨＤＲで保持すること、及び、表示時にダイナミックレンジ圧縮をすること自体が、車両の周囲を分割して撮像し合成する技術においてユニークな技術である。言い換えれば、従来は、分割した画像情報の１つを基本画像として、他の画像情報の輝度を調整して合成することはなされていたが、分割して撮像した複数の画像情報のＨＤＲ処理は行っていなかった。

例えば、ＨＤＲ画像は、図５（Ｂ）に示される如く、そのままでは、黒潰れ等が発生する場合があるが、ＨＤＲ画像さえあれば、例えば、表示デバイス４６の表示領域内で、運転者の視線位置を感知し、視線位置が暗い画像部分の場合は、暗い画像が見やすくなるようにコントラストを調整し、視線が明るい画像部分の場合は、明るい画像が見やすくなるようにコントラストを調整する等、ダイナミックレンジ圧縮部６８側で、様々な処理が可能となる。

すなわち、本実施の形態では、車両の周囲を分割して撮像し合成する技術において、ＨＤＲ画像処理を施した画像により、カメラ間の境目で画像輝度が異なる画像に比べて、障害物等を見落とす確率を軽減することができ、運転支援のための最適な画像を提供することができる。

さらに、本実施の形態では、適用される表示デバイス４６に併せて、高ダイナミックレンジな合成画像情報をダイナミックレンジ圧縮処理することで、表示デバイス４６での通常表示状態（特に、上記のように視線に合わせてコントラスト調整をすることがない状態）で、暗い部分から明るい部分まで表現することができる（図９または図１０参照）。

なお、本実施の形態では、各カメラヘッド（ＲＨカメラ１４、ＲＲカメラ２０、ＲＬカメラ１６）から画像情報を取得するときに、併せて、画像合成に必要な属性情報として、撮像時の感度、露出時間、絞りを含む撮像パラメータを得るようにしたが、属性情報を画像情報から得るようにしてもよい。すなわち、それぞれの画像情報の重複部分の輝度の差分を属性情報として、補正値を計算するようにしてもよい。

また、本実施の形態では、車両１０の後方の視野を支援するために、車両１０の後方の画像を撮像するようにしたが、本実施の形態の画像処理装置５０は、アラウンドビュー、フロントビュー等で表示する画像等、他の画像の合成技術にも適用可能である。その場合には、本実施の形態に記載したカメラ４台の他に、フロント側を撮像するカメラが１台または複数台追加される。

また、本実施の形態では、ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０で撮像した画像を、ＨＤＲ処理等を施した後、表示デバイス４６に表示するようにしたが、表示はせず、車両に衝撃等が加わった時点で、記録を停止して、車両の衝撃時前後の画像を保存するドライブレコーダの画像記録として適用してもよい。画像を記録する記録装置は、一定期間毎の画像を先入れ先出しの法則で（ループさせながら）記録してもよい。ドライブレコーダに適用した場合は、暗い部分、明るい部分に関わらず、鮮明な画像情報を得ることができ、車両の衝撃時の正確な解析として利用することができる。

さらに、本実施の形態では、車両１０に搭載したカメラ（ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０）に限定して画像情報を取得して合成するようにしたが、通信手段を用いて、走行中の道路に沿って設置されたインフラカメラや、周囲の他の車両に搭載されたカメラからの撮像情報を入手して、例えば、ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０では死角となる領域を補間する情報として用いてもよい。

１０ 車両
１２ 右カメラアダプタ
１４ ＲＨカメラヘッド（撮像装置）
１６ 左カメラアダプタ
１８ ＬＨカメラヘッド（撮像装置）
２０ ＲＲカメラヘッド（撮像装置）
２２ 後進専用カメラ
２４ 情報表示用モニタ
２６ 右サイドウィンドウ部
２８ フロントウィンドウ部
３０ 右サイドＡピラー
３２ ＲＨモニタ
３４ 左サイドウィンドウ部
３６ 左サイドＡピラー
３８ ＬＨモニタ
４０ センターコンソール部
４２ シフトレバー
４４ ルームミラー部
４５ 表示ドライバ
４６ 表示デバイス
４８ 表示部
５０ 画像処理装置
５２ 画像情報メモリ（取得部）
５４ 撮像パラメータ情報メモリ（取得部）
５６ 画像情報メモリ（取得部）
５８ 撮像パラメータ情報メモリ（取得部）
６０ 画像情報メモリ（取得部）
６２ 撮像パラメータ情報メモリ（取得部）
６３ 輝度合成部
６４ 画像合成部（画像合成部）
６６ カメラ間補正値計算部（計算部）
６８ ローカルトーンマッピング部（調整部）
７０ 背景輝度推定部
７２ 輝度差分・トーン圧縮部
７４ 出力部
Ｒ 一点鎖線
ＡＲ 視野領域
Ｌ 一点鎖線
ＡＬ 領域
Ｃ 一点鎖線
ＡＣ 領域
Ｂ 一点鎖線
ＡＢ 領域

Claims (7)

1. 車両における運転者の視野の補助となり得る特定の画角を、複数の撮像装置で分割して撮像したときの各々の画像情報、及び画像の属性情報を取得する取得部と、
   前記取得部で取得した前記属性情報から、各撮像装置間のダイナミックレンジを一致させるための補正値を計算する計算部と、
   前記計算部で計算された補正値と、各画像情報の属性情報と、に基づいて、前記各々の画像情報を、表示デバイスに表示される画像ではなく、かつ、前記各々の画像情報を単純に合成し得る高ダイナミックレンジ幅とされたダイナミックレンジの画像へ合成する画像合成部と、
   前記画像合成部で合成した画像情報を表示デバイスへ出力する出力部と、
   前記画像合成部で合成した画像情報を、前記表示デバイスで表示可能なダイナミックレンジに調整すると共に、前記複数の撮像装置で撮像した最も暗い部分から最も明るい部分までの情報を持った画像情報を保持することで、前記ダイナミックレンジの調整の際に、前記画像の一部の領域に対して、局所的にコントラストを調整し得る調整部と、
   を有する画像処理装置。
2. 前記属性情報が、各画像の撮像時の感度、露出時間、絞りを含む撮像パラメータである請求項１記載の画像処理装置。
3. 前記属性情報が、各画像情報の重複撮像領域から得られる各撮像装置の個体差情報である請求項１又は請求項２記載の画像処理装置。
4. 複数の撮像装置が、それぞれ車両に搭載され、当該車両の右後方を撮像するＲＨカメラヘッドと、当該車両の左後方を撮像するＬＨカメラヘッドと、当該車両の後方を撮像するＲＲカメラヘッドとを含み、各撮像装置で撮像した画像情報の少なくとも一部が重複するように、各撮像装置で撮像する画角が定められる請求項１から請求項３の何れか１項記載の画像処理装置。
5. 前記表示デバイスが、車両の後方を確認するためのミラーの代用として設置されるモニタである請求項１から請求項４の何れか１項記載の画像処理装置。
6. 前記表示デバイスが、予め定めた期間の撮像情報を、期間の古い撮像情報から削除し、期間の新しい撮像を記憶する循環記憶を行う記憶装置である請求項１から請求項４の何れか１項記載の画像処理装置。
7. コンピュータを、
   請求項１～請求項６の何れか１項記載の画像処理装置として動作させる、
   画像処理プログラム。