JP7047549B2 - 画像処理装置 - Google Patents

Description

本発明の実施形態は、画像処理装置に関する。

従来、車両に設けられた複数の撮像部（カメラ）により車両周囲の状況をそれぞれ異なる方向で撮像し、撮像した複数の画像の画像処理（例えば視点変換）を行うとともに、各画像を繋げて周辺画像（例えば俯瞰画像）を生成する画像処理装置が知られている。このような画像処理装置においては、撮像部の取付位置や撮像（撮影）方向、撮影時間帯、前照灯の点灯の有無、撮像部ごとの絞り調整の程度差等により各撮像部で撮像される画像に明るさ（輝度）にずれが生じる場合がある。その結果、繋ぎ合わせて生成した周辺画像が方向によって明るさが異なり、繋ぎ合わせた位置で輝度差が目立ち、違和感のある画像になってしまう場合があった。そこで、複数の画像の平均輝度に基づき全画面の輝度を補正したり、前方の画像について四箇所の輝度平均値を算出して他の画像の輝度を調整したり、前後の画像の輝度平均値を用いて側方の画像の輝度を補正したりする等の技術が提案されている。

特許第５４６４７４１号公報 特許第５６８４１４４号公報 特許第６１１５１０４号公報

しかしながら、各撮像部は、上述のように撮像の際に個々に絞り調整（ゲイン調整）が行われることがあり、車両の周囲の状況によっては、撮像画像ごとに被撮像領域の明るさ（輝度）が大きく異なる場合がある。例えば、夜間で、車両の周囲に街灯や他車の照明等の明かりが存在する場合、撮像部ごとの絞り調整の差は、極端に大きくならない。一方、夜間で、照明のない場所に車両（自車）単独で存在し、自車のヘッドライトを付けていた場合、車両前方はヘッドライトにより被撮像領域の全体が十分に明るいため、絞り値が大きくなり、画像全体の輝度が下げられる。逆に、車両の側方は、車両前方側はヘッドライトにより明るいが、それ以外の部分は非常に暗い。その結果、側方画像の被撮像領域は、全体として暗いと見なされ、絞り値が小さくなり、画像全体の輝度が上げられる。その結果、元々ヘッドライトの影響で明るかった部分がさらに明るくなる。このような状況で複数の画像を繋ぎ合わせた周辺画像を従来のように平均輝度等を用いて生成すると、側方画像の前方部分の明るい部分が暗くなるように補正され、側方(特に側方前方領域)の視認性が低下してしまう場合があった。したがって、複数の画像を繋ぎ合わせて周辺画像を表示する場合に、車両の周囲の状況を適切に判定し、適切な輝度補正を行い、画像内容の認識をしやすくする画像処理装置が提供できれば有意義である。

本発明の実施形態にかかる画像処理装置は、例えば、車両に設けられた複数の撮像部で、上記車両の周辺状況として撮像された複数の画像情報を取得する取得部と、上記車両の側方を撮像した側方画像情報において、当該側方画像情報の車両前方領域に含まれる第一の関心領域の輝度が第一の所定値以上であり、かつ上記側方画像情報の車両後方領域に含まれる第二の関心領域の輝度と上記第一の関心領域の輝度との差が第二の所定値以上の場合に特定輝度状態であると判定する判定部と、上記特定輝度状態と判定された場合、上記第一の関心領域の輝度を第一の目標輝度にするための第一の補正値を上記車両前方領域の輝度に応じて決定するとともに、上記車両後方領域に含まれる第二の関心領域の輝度を第二の目標輝度にするための第二の補正値を上記車両の後方を撮像した後方画像情報の輝度に応じて決定する第一の設定部と、上記第一の補正値と上記第二の補正値とに基づき、上記第一の関心領域と上記第二の関心領域との間の領域の輝度を補正する個別補正値を設定する第二の設定部と、を含む。この構成によれば、例えば、車両の存在する状況が、自車の周囲が暗く、自車の前方が特に明るい（第一の所定値以上の輝度）という特定輝度状態であると撮像画像を用いて適切に判定することができる。その結果、車両の現在の周囲状況に応じた輝度補正を適切に行うことが可能になり、複数の画像を繋ぎ合わせて周辺画像を表示する場合に、画像内容の認識がしやすい画像の提供ができる。

本発明の実施形態にかかる画像処理装置の上記第一の設定部は、例えば、上記第一の補正値を決定する場合、上記第一の目標輝度を、上記第一の関心領域の輝度としてもよい。この構成によれば、第一の目標輝度は、撮像部が撮像した画像の輝度がそのまま利用されるため、側方画像の前方側の画像内容は、撮像時の内容を維持し易く、複数の画像を繋ぎ合わせて周辺画像を生成する場合、画像内容の認識をしやすくすることができる。

本発明の実施形態にかかる画像処理装置の上記第一の設定部は、例えば、上記第一の補正値を決定する場合、上記第一の関心領域の周辺で輝度が上記第一の所定値未満の領域に上記第一の関心領域を移動させて、その領域の輝度を上記第一の目標輝度としてもよい。この構成によれば、側方画像情報の前方領域で第一の所定値より明るい輝度の領域が存在する場合、その明るい部分の周辺でかつ第一の所定値未満の部分の輝度に基づき、第一の補正値を決定するので、第一の所定値以上の明るい領域の補正は行わず、かつそれ以外で補正を行う側方領域については画像が極端に暗くなることが抑制される。その結果、複数の画像を繋ぎ合わせた周辺画像の画像内容の認識をしやすくすることができる。

本発明の実施形態にかかる画像処理装置の上記第一の設定部は、例えば、上記第二の補正値を決定する場合、上記第二の目標輝度を予め定められた所定の目標輝度としてもよい。この構成によれば、自車の周囲が暗く、自車の前方が特に明るいという特定輝度状態である場合でも自車後方の明るさを容易に決定することができるので、後方画像に関しても容易に画像内容の認識性を向上することができる。

本発明の実施形態にかかる画像処理装置の上記判定部は、例えば、上記第一の関心領域を上記側方画像情報の上記車両前方領域と上記車両の前方を撮像した前方画像情報とが一部重複する第一の重複領域内に設定し、上記第二の関心領域を上記側方画像情報の上記車両後方領域と上記後方画像情報とが一部重複する第二の重複領域内に設定するようにしてもよい。この構成によれば、複数の画像において輝度補正を行う場合に、特定輝度状態か否かの判定処理のときと、輝度補正処理のときとで、共通の関心領域の利用が可能となり、画像処理の負荷の軽減に寄与できる。

図１は、実施形態にかかる画像処理装置を搭載可能な車両の一例を示す模式的な平面図である。 図２は、実施形態にかかる画像処理装置を含む画像処理システムの構成の例示的なブロック図である。 図３は、実施形態にかかる画像処理装置のＣＰＵの構成の例示的なブロック図である。 図４は、各撮像部により撮像される被撮像領域とその重複領域を説明する俯瞰的な模式図である。 図５は、実施形態にかかる画像処理装置で処理対象とする元画像の輝度分布と関心領域（ＲＯＩ：Region of Interest）の設定位置の一例を示す模式図である。 図６は、実施形態にかかる画像処理装置において、車両周囲の状態が通常輝度状態のときに固定の目標輝度を用いて輝度修正を行う場合の処理の流れの一例を説明するフローチャートである。 図７は、実施形態にかかる像処理装置の処理の一部を例示的に説明する図であり、車両の前方の被撮像領域の関心領域の輝度を固定の目標輝度に補正し、その補正に対応する直線補間式を示す模式図である。 図８は、図７の直線補間式により設定された輝度による補正が実行される場合を説明する図であり、車両の前方の被撮像領域の補正前後の輝度状態の変化例を示す模式図である。 図９は、実施形態にかかる画像処理装置の処理の一部を例示的に説明する図であり、車両の側方の被撮像領域の関心領域の輝度を固定の目標輝度に補正し、その補正に対応する直線補間式を示す模式図である。 図１０は、車両の周囲の被撮像領域に対して輝度補正を行った場合に生成される周辺画像の輝度状態の一例を示す模式図である。 図１１は、実施形態にかかる画像処理装置において、輝度の補正を行う場合に用いる直線補間式の傾きが大きすぎる例を示す模式図である。 図１２は、図１１の場合に、直線補間式の傾きの補正例を説明する模式図である。 図１３は、実施形態にかかる画像処理装置において、輝度の補正を行うとき補正量が大きすぎる場合に、補正上限値に基づき補正量の制限を行う例を示す模式図である。 図１４は、γ曲線の係数を用いた輝度の線形補間を説明する場合の入力輝度と出力輝度の関係の一例を示す模式図である。 図１５は、γ曲線の係数を用いた輝度の線形補間を説明する場合の入力輝度と出力輝度の他の関係の例を示す模式図である。 図１６は、図１４および図１５のγ曲線の係数を用いて生成した線形補間式を示す模式図である。 図１７は、実施形態にかかる画像処理装置において、車両周囲の状態が通常輝度状態のときに所定の値（固定値）を用いて、直線補間式の補正（底上げ補正）を行い、輝度補正を行う場合の処理の流れの一例を説明するフローチャートである。 図１８は、図１７に示す画像処理を行う際に、補正前の直線補間式の例を説明する図であり、車両の前方の被撮像領域の関心領域の目標輝度を一対の関心領域の平均値を用いて決定する場合を説明する模式図である。 図１９は、図１８に示す直線補間式を所定の値（調整値）によって補正（底上げ補正）する例を示す模式図である。 図２０は、図１９に示す補正後の直線補間式による前方の被撮像領域の輝度設定および同様な方法による後方の被撮像領域の輝度設定の後に、側方の被撮像領域の輝度設定を行う例を説明する模式図である。 図２１は、実施形態にかかる画像処理装置において、車両周囲の状態が特定輝度状態か否かの判定を行った上で、輝度補正を行う場合の処理の流れの一例を説明するフローチャートである。 図２２は、本実施形態にかかる画像処理装置で判定可能な特定輝度状態のときの前方画像および後方画像の関心領域の輝度を例示的に示す模式図である。 図２３は、本実施形態にかかる画像処理装置で判定可能な特定輝度状態のときの左右の側方画像の関心領域の輝度を例示的に示す模式図である。 図２４は、実施形態にかかる画像処理装置において、車両周囲の状態が特定輝度状態の場合の輝度補正の一例を説明する模式図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

図１は、本実施形態の画像処理装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ、画像情報）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲（被撮像領域）を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定され得る。よって、撮像部１４は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す線、車線分離線等を含む）や物体（例えば、歩行者、車両等）を含む車両１０の外部の周辺状況を逐次撮影し、撮像画像データとして出力する。

撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像（前方の被撮像領域）を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｂに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像（左側方の被撮像領域）を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像（右側方の被撮像領域）を撮像可能である。また、撮像部１４ｄは、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｄの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｄ）を含む後方画像（後方の被撮像領域）を撮像可能である。

本実施形態の画像処理装置は、複数の撮像部１４で得られた撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成したりすることができる。なお、各撮像部１４が撮像する撮像画像データ（画像）には、互いに重複する重複領域が設けられ、画像を繋ぎ合わせるときに欠落領域が生じないようにしている。例えば、撮像部１４ａの撮像した撮像画像データの車幅方向左側の端部領域と撮像部１４ｂが撮像した撮像画像データの車両前後方向のうち前方側の端部領域とが重複する。そして、二つの画像を繋げる（合成する）処理が実行される。同様に、前方画像と右側方画像、左側方画像と後方画像、後方画像と右側方画像についても重複領域が設けられて二つの画像を繋げる（合成する）処理が実行される。

図２は、車両１０に搭載される画像処理装置を含む画像処理システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。乗員（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図２に例示されるように、画像処理システム１００（画像処理装置）は、撮像部１４（１４ａ～１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic control unit）が含まれる。画像処理システム１００（画像処理装置）では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、操作入力部２０や各種スイッチの操作信号等や図示を省略している各種センサの検出信号等を、受け取ることができる。

ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した周辺画像や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（central processing unit）や、ＲＯＭ２４ｂ（read only memory）、ＲＡＭ２４ｃ（random access memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（solid state drive、フラッシュメモリ）等を有している。

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＣＰＵ２４ａは、例えば、図３に示すような各種モジュールを備え、表示装置１６で表示される画像に関連した処理を実行する。例えば、ＣＰＵ２４ａは、処理の一例として、撮像部１４が撮像した撮像画像データに補正処理や演算処理、画像処理等を実行して、複数の画像を繋ぎ合わせた周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ２４ａの詳細は後述する。

ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示させる表示用の画像のデータ変換等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。

本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示装置１６に表示する画像の画像生成処理を司る。ＥＣＵ２４は、撮像部１４が撮像した撮像画像データ（画像）に画像処理、例えば視点変換処理等を施して表示装置１６に表示させる際に、画像の輝度補正を行う。ＥＣＵ２４は、前後左右の画像を繋ぎ合わせた場合に、輝度差による画像間の連続性が低下する不都合や部分的または全体的に画像が明るすぎたり、逆に暗すぎたりすることを抑制し、画像全体（繋ぎ合わせることで生成する周辺画像、俯瞰画像）の視認性が低下することを抑制する。

図３は、ＥＣＵ２４に含まれるＣＰＵ２４ａにおいて、本実施形態の画像処理を実現するための構成の例示的なブロック図である。なお、ＣＰＵ２４ａにおいて、本実施形態の画像処理を実行する以外の構成は図示を省略している。ＣＰＵ２４ａは、上述したような輝度補正を含む画像処理を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ２４ａがＲＯＭ２４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ２４ａは、図３に示されるように、取得部２８、関心領域設定部３０、特定モード判定部３１、第１設定部３２（第一の設定部）、第２設定部３４（第二の設定部）等を備える。また、第１設定部３２は、固定値設定部３２ａ、固定値加算設定部３２ｂ、特定モード補正部３２ｃ等を含む。また、第２設定部３４は、線形補間部３４ａ、傾き設定部３４ｂ、γ曲線係数算出部３４ｃ、輝度設定部３４ｄ等を含む。

取得部２８は、各撮像部１４が撮像した画像を表示制御部２４ｄを介して取得する。各撮像部１４(１４ａ～１４ｄ)は、図４に示すような被撮像領域３６を撮像可能である。そして、各被撮像領域３６は、前述したように隣接する被撮像領域３６とそれぞれ一部が重なった重複領域３８を含む。被撮像領域３６のうち車両１０の前方の被撮像領域３６Ｆの車幅方向左側と車両１０の左側方の被撮像領域３６ＳＬの車両前方側とは、重複領域３８ＦＬを形成する。被撮像領域３６のうち被撮像領域３６ＳＬの車両後方側と車両１０の後方の被撮像領域３６Ｒの車幅方向左側とは、重複領域３８ＲＬを形成する。被撮像領域３６のうち被撮像領域３６Ｒの車幅方向右側と車両１０の右側方の被撮像領域３６ＳＲの車両後方側とは、重複領域３８ＲＲを形成する。そして、被撮像領域３６のうち被撮像領域３６ＳＲの車両前方側と被撮像領域３６Ｆの車幅方向右側とは、重複領域３８ＦＲを形成する。各撮像部１４は、撮像した撮像画像データに撮像部１４ごとの識別符号を添付して取得部２８に出力してもよいし、取得部２８側で取得した撮像画像データごとに出力元を識別する識別符号を添付するようにしてもよい。

なお、本実施形態において、例えば、被撮像領域３６Ｆに着目する処理を行う場合、車両１０を挟んで離間する一対の被撮像領域３６（例えば、被撮像領域３６Ｆと被撮像領域３６Ｒ）のうち一方（例えば被撮像領域３６Ｆ）を第一の被撮像領域と称する場合がある。また、第一の被撮像領域に隣接する一対の被撮像領域３６（例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲ）のうち一方を第二の被撮像領域（例えば、被撮像領域３６ＳＬ）と称する場合がある。そして、第一被撮像領域と第二被撮像領域とが重なる重複領域３８（重複領域３８ＦＬ）を第一の重複領域と称する場合がある。同様に、第一の被撮像領域に隣接する一対の被撮像領域３６（例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲ）のうち他方を第三の被撮像領域（例えば、被撮像領域３６ＳＲ）と称する場合がある。そして、第一被撮像領域と第三被撮像領域とが重なる重複領域３８（重複領域３８ＦＲ）を第二の重複領域と称する場合がある。なお、車両１０を挟んで離間する一対の被撮像領域３６を例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲとすることもできる。この場合、第二の被撮像領域は、被撮像領域３６Ｆと被撮像領域３６Ｒとのいずれか一方、第三の被撮像領域が他方となる。

関心領域設定部３０は、図５に示すように、取得部２８が取得した被撮像領域３６の重複領域３８ごとに、輝度調整を行う際に参照する関心領域４０(４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）を設定する。関心領域４０は、車両１０の車幅方向および前後方向に所定の長さを持つ、例えば矩形の領域で、関心領域４０の輝度とは、関心領域４０に含まれる各画素の輝度の例えば平均値である。また、本実施形態において関心領域４０の位置を特定する場合、その位置は、例えば関心領域４０の中心位置（車幅方向および前後方向の中点）とする。

なお、各撮像部１４は、撮像時に自動的に絞り調整（ゲイン調整）が行われ、各被撮像領域３６の明るさ調整(輝度調整)が成される。その結果、被撮像領域３６に明るい領域が多く存在する場合、絞り値が大きくなり、明るさが抑えられた暗めの画像が撮像される。逆に被撮像領域３６に暗い領域が多く存在する場合、絞り値が小さくなり、明るさが向上された明るめの画像が撮像される。したがって、図５に示すように、例えば重複領域３８ＦＬに含まれる関心領域４０ＦＬにおいて、被撮像領域３６Ｆ側の関心領域４０ＦＬに対応する部分と被撮像領域３６ＳＬ側の関心領域４０ＦＬに対応する部分で、明るさ（輝度）が異なる場合がある。例えば、図５において、輝度を０～２５５の２５６階調（「０」が暗く、「２５５」が明るい）で表した場合、例えば、重複領域３８ＦＬに含まれる関心領域４０ＦＬの場合、被撮像領域３６Ｆ側の輝度は、「２５０」で明るく、被撮像領域３６ＳＬ側の輝度は、「１００」で被撮像領域３６Ｆ側より暗い。なお、図５において、「１００」等で標記された数字が輝度を示す。また、別の図においては、関心領域４０の中に標記された数字が輝度を表す場合もある。なお、関心領域設定部３０は、関心領域４０の設定位置を予め定めた位置に設定してもよいし、被撮像領域３６の輝度分布に応じて設定位置を変更するようにしてもよい。

特定モード判定部３１は、車両１０の周囲の明るさの状態が「通常輝度状態」か「特定輝度状態」かの判定を行う。「通常輝度状態」とは、各画像間の輝度に大きな格差は生じにくい状態である。例えば、車両１０の周囲が明るかったり適度に照明等の明かりが存在したりする場合、各撮像部１４で撮像される画像の輝度の格差が大きくなり難い。例えば、日中であれば、影等の存在により各画像間で輝度の差は生じるものの、絞り調整が成されても画像間で大きな輝度格差は生じにくい。同様に、夜間の場合でも、車両１０の周囲に街灯や他車のヘッドライト等による明かりが存在する場合、絞り調整が成されても各画像間の輝度の大きな格差は生じにくい。一方、「特定輝度状態」とは、各画像間の輝度の大きな格差が生じやすい状態である。例えば、車両１０が、夜間等で周囲が完全に暗い状態のときに、周囲に街灯や他車による照明が存在しない場所（例えば、夜間の山中）でヘッドライトを点灯して単独で存在している場合、車両１０の前方側のみが明るく、車両１０の後方側は暗く、その輝度の格差は非常に大きくなる。

特定モード判定部３１は、車両１０の側方画像（被撮像領域３６ＳＬや被撮像領域３６ＳＲの画像）の撮像時の輝度が少なくとも二つの条件を満たした場合に、「特定輝度状態」であると判定する。例えば、特定モード判定部３１は、車両１０の側方を撮像した側方画像情報（被撮像領域３６ＳＬや被撮像領域３６ＳＲの画像情報）において、側方画像情報（例えば、被撮像領域３６ＳＬの画像情報）の車両前方領域に含まれる第一の関心領域（例えば、関心領域４０ＦＬ）の輝度が第一の所定値（例えば、予め定めた目標輝度）以上の場合、第一の条件を満たしたと判定する。また、車両後方領域に含まれる第二の関心領域（例えば、関心領域４０ＲＬ）の輝度と第一の関心領域(例えば、関心領域４０ＦＬ)の輝度との差が第二の所定値（例えば、輝度格差「１００」）以上の場合に、第二の条件を満たしたと判定する。そして、特定モード判定部３１は、第一の条件と第二の条件を満たした場合に、車両１０の周囲の明るさの状態が「特定輝度状態」であると判定する。したがって、特定モード判定部３１は、第一の条件と第二の条件のいずれか一方でも満たされない場合、車両１０の周囲の明るさの状態は、「通常輝度状態」であると判定する。特定モード判定部３１は、車両１０の周囲の明るさの状態が「特定輝度状態」であるか「通常輝度状態」であるかの判定を行う際に、輝度補正を行う際に参照する重複領域３８内に設定された関心領域４０を参照する。その結果、処理対象領域（関心領域）の共通化が行われ、処理負荷の軽減に寄与することができる。また、本実施形態の画像処理装置の場合、「通常輝度状態」か「特定輝度状態」かに基づき、後述する輝度補正の方法を選択する。特定モード判定部３１を用いた制御に関しては後述する。なお、「特定輝度状態」であると判定されていても、例えば、ヘッドライトを点灯した後続車が現れる等、新たに明かりが現れた場合には、第二の条件が満たされなくなり、「通常輝度状態」に移行する場合がある。その場合には、「通常輝度状態」に対応する処理に移行することになる。

第１設定部３２は、関心領域４０の輝度を補正する。例えば、車両１０を挟んで離間する一対の被撮像領域３６（例えば被撮像領域３６Ｆと被撮像領域３６Ｒ）のうち一方である第一の被撮像領域（例えば被撮像領域３６Ｆ）を考える。第１設定部３２は、第一の被撮像領域（例えば被撮像領域３６Ｆ）と、当該第一の被撮像領域に隣接する一対の被撮像領域３６のうち一方である第二の被撮像領域(例えば被撮像領域３６ＳＬ)と、が重なる第一の重複領域（例えば重複領域３８ＦＬ）に含まれる第一の関心領域（例えば関心領域４０ＦＬ）の輝度を補正する。同様に、第１設定部３２は、第一の被撮像領域（例えば被撮像領域３６Ｆ）と当該第一の被撮像領域に隣接する他方の被撮像領域３６である第三の被撮像領域（例えば被撮像領域３６ＳＲ）とが重なる第二の重複領域(例えば重複領域３８ＦＲ)に含まれる第二の関心領域（関心領域４０ＦＲ）の輝度を補正する。同様に、第１設定部３２は、関心領域４０ＲＬおよび関心領域４０ＲＲの輝度を補正する。

本実施形態の場合、第１設定部３２は関心領域４０の輝度を補正する場合、複数の方法によって行うことができる。例えば、固定値設定部３２ａは、所定の値として定めた目標輝度になるような補正値を決定して、輝度の補正を行う。固定値設定部３２ａは、例えば、予め実験等で導き出した、周囲の明暗環境に拘わらず、最も視認性がよいとされる目標輝度（例えば、２５６階調の「２００」）に関心領域４０の輝度がなるような補正値を用いて補正を行う。

また、第１設定部３２に含まれる固定値加算設定部３２ｂは、被撮像領域３６に含まれる関心領域４０の輝度を補正するための目標輝度を算出した場合、目標輝度に所定の値として定めた調整値を加算することで、被撮像領域３６の輝度を一律に底上げ補正する。例えば、被撮像領域３６Ｆの場合、車幅方向左側の関心領域４０ＦＬの輝度が「１５０」と車幅方向右側の関心領域４０ＦＲの輝度が「１００」であった場合、少なくとも一方の輝度を用いて、目標輝度を決める。例えば、関心領域４０ＦＬと関心領域４０ＦＲとの平均の輝度「１２５」を目標輝度とする。この目標輝度で補正を行った場合、被撮像領域３６Ｆ全体の明るさが足りないと判定した場合には、所定の値として定めた調整値を加算する。例えば、予め実験等により定めた調整値である「調整輝度値＝５０」を加算して、被撮像領域３６Ｆ全体の明るさを一律に底上げする。

また、第１設定部３２に含まれる特定モード補正部３２ｃは、特定モード判定部３１によって、車両１０の周囲の明るさの状態が「特定輝度状態」であると判定された場合に、側方画像に関して固定値設定部３２ａや固定値加算設定部３２ｂとは異なる方法で、目標輝度の設定を行い、輝度補正を行う。特定モード補正部３２ｃは、車両１０の周囲の明るさの状態が「特定輝度状態」の場合、側方画像の車両前方領域に含まれる第一の関心領域（例えば、関心領域４０ＦＬ）の輝度を第一の目標輝度にするための第一の補正値と、車両後方領域に含まれる第二の関心領域(例えば、関心領域４０ＲＬ）の輝度を第二の目標輝度にするための第二の補正値を異なる方法で決定する。特定モード補正部３２ｃは、例えば、第一の補正値を車両前方領域の輝度に応じて決定する。一例として、特定モード補正部３２ｃは、第一の関心領域の現在の輝度を第一の目標輝度に設定して、第一の補正値を決定する。また別の例では、特定モード補正部３２ｃは、第一の関心領域の周辺で輝度が第一の所定値(例えば、予め定めた目標輝度)未満の領域に第一の関心領域を移動させて、その領域の輝度を第一の目標輝度に設定して、第一の補正値を決定する。なお、特定モード補正部３２ｃは、第二の補正値を車両１０の後方を撮像した後方画像情報（被撮像領域３６Ｒの画像情報）の輝度に応じて決定する。

固定値設定部３２ａ、固定値加算設定部３２ｂ、特定モード補正部３２ｃによる補正の具体的な例は後述する。

第２設定部３４は、隣り合う関心領域４０のそれぞれの補正値に基づいて、その間の輝度を設定する。例えば、被撮像領域３６Ｆの車幅方向左側の関心領域４０ＦＬを第一の関心領域とした場合、例えば、固定値設定部３２ａによって設定された固定の目標輝度に補正する補正値を第一の補正値とする。同様に、被撮像領域３６Ｆの車幅方向右側の関心領域４０ＦＲを第二の関心領域とした場合、例えば、固定値設定部３２ａによって設定された固定の目標輝度に補正する補正値を第二の補正値とする。この場合、線形補間部３４ａは、第一の補正値と第二の補正値とを用いて、線形補間を行うための例えば直線補間式（第一の補正値と第二の補正値とを結ぶ直線）を生成する。そして、生成した線形補間式(例えば直線補間式)に基づいて、二つの関心領域４０の間領域の輝度を補正する。

傾き設定部３４ｂは、線形補間部３４ａで生成した線形補間式の傾きが所定の制限値以上の場合に、直線補間式の傾きを補正する。例えば、隣接する関心領域４０の一方の輝度が固定値設定部３２ａで設定した目標輝度から大きく乖離していた場合、線形補間部３４ａが生成する直線補間式の傾きは大きくなる。その結果、例えば関心領域４０の周辺で、関心領域４０より暗い部分も関心領域４０の輝度の補正の影響を受けてより明るい方向に補正されてしまうことがある。その結果、必要以上に輝度が高くなるような補正が行われ、いわゆる「白飛び」してしまう場合がある。傾き設定部３４ｂは、線形補間部３４ａで生成した線形補間式の傾きを予め設定した曲線によって補正する。この曲線は、例えば、線形補間式の傾きが制限値より小さい場合は補正なしとし、傾きが所定以上の場合に傾きを減少補正するような特性を備える。なお、この曲線は、傾きが制限値よりさらに大きな限界値以上になった場合、傾きが予め設定した所定の値（固定値）となるような特性を備えてもよい。

線形補間部３４ａは、一例として、隣接する二つの関心領域４０に対する補正値を直線で結ぶことで、直線補間式を生成する。この場合、補正値によっては、中間部分の輝度補正において、補正量が小さすぎて画像の「黒つぶれ」が生じたり、逆に補正量が大きすぎたりして画像の「白飛び」が生じてしまう場合がる。そこで、γ曲線係数算出部３４ｃは、第一の関心領域（例えば、関心領域４０ＦＬ）の輝度に対して第一の目標輝度となる曲線式として算出された第一のγ曲線の第一の係数を算出する。同様に、γ曲線係数算出部３４ｃは、第二の関心領域（例えば（関心領域４０ＦＲ）の輝度に対して第二の目標輝度となる曲線式として算出された第二のγ曲線の第二の係数を算出する。そして、γ曲線係数算出部３４ｃは、算出した第一の係数と第二の係数に基づく線形補間式（直線補間式）を生成し、この線形補間式により算出した補正値（γ曲線係数）にしたがい第一の関心領域と第二の関心領域との間の領域の輝度を設定する。この場合、γ曲線式は、輝度を２５６階調で表す場合の最低輝度値「０」と最高輝度値「２５５」を必ず含む曲線であるため、γ曲線の係数を用いることにより、画像の黒つぶれ（暗すぎる補正）や白飛び（明るすぎる補正）を発生しにくくすることができる。その結果、黒つぶれや白飛び等の情報欠如の抑制が可能で、認識しやすい周辺画像の生成ができる。

輝度設定部３４ｄは、線形補間部３４ａで生成された線形補間式（例えば、直線補間式）に基づき、第一の関心領域（例えば、関心領域４０ＦＬ）と第二の関心領域（例えば、関心領域４０ＦＲ）の間の領域の輝度を補正する個別補正値を設定する。輝度設定部３４ｄは、線形補間部３４ａで生成された線形補間式が、車両１０の前方の被撮像領域３６Ｆに関する線形補間式である場合、この線形補間式にしたがい、被撮像領域３６Ｆにおける車両前後方向の領域に関しても同様に輝度補正を行う。したがって、被撮像領域３６Ｆの場合、車両前後方向の領域は、同様な補正値（補正量）で輝度の補正が実行される。

図３のＣＰＵ２４ａの構成は、一例であり、例えば、第１設定部３２において、所定の値による補正（固定値設定部３２ａや固定値加算設定部３２ｂ）は、いずれか一方を選択できるようにしてもよい。また、いずれか一方を固定で利用する場合は、固定値設定部３２ａと固定値加算設定部３２ｂのいずれか一方を省略した構成としてもよい。また、第２設定部３４において、線形補間部３４ａが関心領域４０の補正値によってのみ線形補間式を形成する場合には、γ曲線係数算出部３４ｃを省略した構成としてもよい。

このように構成される画像処理システム１００（画像処理装置）の処理の一例について、図６のフローチャートおよび図１～図５に加え図７～図１６を用いて説明する。

図６のフローチャートを用いて、まず、「通常輝度状態」の場合、つまり、各撮像部１４で撮像した各画像間の輝度に大きな格差は生じにくい状態で、固定値設定部３２ａにより所定の値として、予め設定された目標輝度が設定される場合に実行される輝度補正について説明する。

まず、ＣＰＵ２４ａは、車両１０を中心とする俯瞰視の周辺画像を生成するタイミングであるかを判定する（Ｓ１００）。この判定は、例えば、ＣＰＵ２４ａが車両１０の操作状態（例えば、シフトレバーが後退走行の位置に移動された場合等）や操作入力部２０等を介して運転者の表示要求操作が行われた場合に肯定判定となる。ＣＰＵ２４ａが、周辺画像を生成すると判定した場合（Ｓ１００のＹｅｓ）、取得部２８は、各撮像部１４が撮像する被撮像領域３６の画像（画像情報）を取得する（Ｓ１０２）。なお、周辺画像を生成するタイミングではないと判定された場合（Ｓ１００のＮｏ）、一旦、図６のフローを終了する。

続いて、関心領域設定部３０は、取得した各画像の被撮像領域３６に対して関心領域４０の設定を行う（Ｓ１０４）。各被撮像領域３６の関心領域４０における輝度が例えば、図５で示すような場合、固定値設定部３２ａは、各関心領域４０に対して、所定の値として定めた目標輝度（例えば、２５６階調で「２００」）を設定するとともに（Ｓ１０６）、関心領域４０の輝度が目標輝度（例えば「２００」）になるように補正するための補正値を設定する（Ｓ１０８）。図７は、車両１０の前方の被撮像領域３６Ｆの輝度を補正する例である。被撮像領域３６Ｆの場合、車幅方向（Ｘ軸方向）左側の関心領域４０ＦＬの輝度が２５６階調で「２５０」であり、車幅方向右側の関心領域４０ＦＲの輝度が２５６階調で「１５０」となっている例である。これに対して、固定値設定部３２ａが設定した目標輝度が２５６階調で「２００」の場合、被撮像領域３６Ｆにおいて、関心領域４０ＦＬは、輝度値Ｍとして「－５０」の補正値が設定され、関心領域４０ＦＲは、「＋５０」の補正値が設定される。

線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝－５０）と、関心領域４０ＦＲの補正値（Ｎ＝＋５０）を用いて、直線補間式４２（４２Ｆ）を生成する（Ｓ１１０）。その結果、関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量が直線補間式４２Ｆによって示される。そして、輝度設定部３４ｄは、生成された直線補間式４２Ｆで算出される補正値（個別補正値）に基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度を補正（設定）する。同様に、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な補正値で設定（補正）する（Ｓ１１２）。その結果、図８に示すように、補正前の被撮像領域３６Ｆは、車幅方向左側（関心領域４０ＦＬの部分）の輝度が例えば「２５０」から「２００」に暗くなるように補正され、車幅方向右側（関心領域４０ＦＲの部分）の輝度が例えば「１５０」から「２００」に明るくなるように補正される。

ＣＰＵ２４ａは、上述のような補正処理が全画面に対して完了したか否かを監視する（Ｓ１１４）。そして、補正処理が完了していない場合（Ｓ１１４のＮｏ）、Ｓ１０２に戻り、関心領域設定部３０、第１設定部３２、第２設定部３４は、上述した処理を、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲに対して実行する。

例えば、関心領域設定部３０、第１設定部３２、第２設定部３４は、車両１０の後方の被撮像領域３６Ｒに対して上述と同様な処理を実行する。その結果、補正前の被撮像領域３６Ｒは、車幅方向左側（関心領域４０ＲＬの部分）の輝度が「５０」から「２００」に明るくなるように補正され、車幅方向右側（関心領域４０ＲＲの部分）の輝度が「５０」から「２００」に明るくなるように補正される。

同様に、関心領域設定部３０、第１設定部３２、第２設定部３４は、図９に示すように、車両１０の左側方の被撮像領域３６ＳＬおよび右側方の被撮像領域３６ＳＲについても同様な補正を行う。例えば、被撮像領域３６ＳＬの場合、車両前後方向（Ｚ軸方向）の前方側の関心領域４０ＦＬの輝度が２５６階調で「１００」であり、後方側の関心領域４０ＲＬの輝度が２５６階調で「５０」である。これに対して、固定値設定部３２ａが設定した目標輝度が２５６階調で「２００」の場合、第１設定部３２において、関心領域４０ＦＬは、輝度値Ｍとして「＋１００」の補正値が設定され、後方側の関心領域４０ＲＬは、「＋１５０」の補正値が設定される。線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝＋１００）と、関心領域４０ＲＬの補正値（Ｎ＝＋１５０）を用いて、直線補間式４２Ｌを生成する。同様に、被撮像領域３６ＳＲの場合、車両前後方向（Ｚ軸方向）の前方側の関心領域４０ＦＲの輝度が２５６階調で「１００」であり、後方側の関心領域４０ＲＲの輝度が２５６階調で「５０」である。これに対して、固定値設定部３２ａが設定した目標輝度が２５６階調で「２００」の場合、第１設定部３２において、関心領域４０ＦＲは、輝度値Ｍとして「＋１００」の補正値が設定され、後方側の関心領域４０ＲＲは、「＋１５０」の補正値が設定される。線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＲの補正値（Ｎ＝＋１００）と、関心領域４０ＲＲの補正値（Ｎ＝＋１５０）を用いて、直線補間式４２Ｒを生成する。

その結果、被撮像領域３６ＳＬにおける関心領域４０ＦＬと関心領域４０ＲＬとの間の車両前後方向（Ｚ軸方向）の輝度の補正量が直線補間式４２Ｌによって示され、被撮像領域３６ＳＲにおける関心領域４０ＦＲと関心領域４０ＲＲとの間の車両前後方向（Ｚ軸方向）の輝度の個別補正量が直線補間式４２Ｒによって示される。そして、輝度設定部３４ｄは、直線補間式４２Ｌに基づき、関心領域４０ＦＬと関心領域４０ＲＬの間の領域の輝度および、被撮像領域３６ＳＬにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な個別補正量で補正する。また、輝度設定部３４ｄは、直線補間式４２Ｒに基づき、関心領域４０ＦＲと関心領域４０ＲＲの間の領域の輝度および、被撮像領域３６ＳＲにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な個別補正量で補正する。

ＣＰＵ２４ａは、全ての画像（被撮像領域３６Ｆ、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲの画像）に対して補正処理が完了すると（Ｓ１１４のＹｅｓ）、表示制御部２４ｄにより、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成させ、表示装置１６に表示させて（Ｓ１１６）、次の処理周期でＳ１００からの処理を繰り返すことで周辺画像の更新を行う。この場合、図１０に示すように、各関心領域４０（４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）の輝度が２５６階調で「２００」となり、各被撮像領域３６（３６Ｆ，３６ＳＬ，３６Ｒ，３６ＳＲ）を繋ぎ合わせが滑らかに行われた周辺画像４４を生成することができる。また、各関心領域４０の間の輝度も直線補間式４２によって補正されているため、明るすぎる部分や暗すぎる部分の生成が抑制され、周辺画像４４のいずれの部分でも画像内容の認識がしやすくなる。

ところで、隣接する関心領域４０の輝度差が元々大きい場合がある。例えば、図１１に示すように、屋外で日差しが強い場合に、車両１０の周囲の一部に自車の濃い影４６が存在する場合がある。この場合、影４６に含まれない関心領域４０ＲＬの輝度（例えば、２５６階調で「１８０」）と影４６に含まれる関心領域４０ＲＲの輝度（例えば、２５６階調で「操作入力部２０」）とで輝度の差が大きい場合がある。このような場合に、上述した場合と同様に、固定値設定部３２ａが目標輝度を「２００」に設定すると、関心領域４０ＲＬに対する補正値は「＋２０」となるのに対して、関心領域４０ＲＲに対する補正値は「＋１８０」となる。その結果、線形補間部３４ａが直線補間式４２を生成すると、図１１に示すように、傾きが大きな直線補間式４２が生成されてしまう場合がある。この場合、関心領域４０ＲＲの周辺で、関心領域４０ＲＲより明るい領域４８も関心領域４０ＲＲの輝度の補正の影響を受けてより明るい方向に補正されてしまうことがある。その結果、関心領域４０ＲＲより明るい領域４８が、いわゆる「白飛び」してしまう場合がある。そこで、傾き設定部３４ｂは、線形補間部３４ａで生成した直線補間式４２の傾きを、図１２に示すような予め設定した曲線５０によって補正する。この曲線５０は、例えば、直線補間式４２の傾きが所定の制限値未満の場合は、「通常ゾーン」とし傾き補正なしとし、傾きが所定の制限値以上の場合は、「制限ゾーン」として、傾きを減少補正する。また、曲線５０は、傾きが制限値より大きな所定の限界値以上になった場合には、補正後の傾きが予め設定した所定の値（固定値）となるような補正を行う。

直線補間式４２の傾きが所定の制限値以上の場合に、その傾きを曲線５０によって補正することで、関心領域４０ＲＲより明るい領域４８に対する輝度補正が緩和され、「白飛び」を抑制することができる。また、傾きを限界値（固定値）で補正することにより、それ以上の輝度増加が生じないようにすることができる。なお、この場合、本来明るく補正されることで、滑らかな輝度変化を実現しているものに対して、補正の制限を加えることになるので、輝度変化の滑らかさが低減するが、「白飛び」が抑制できるので、画像内容の認識性向上に寄与できる。なお、曲線５０の形状や制限値や限界値（固定値）は、予め実験等により周囲の輝度とのバランス等を考慮し適宜決定することができる。また、曲線５０は、周囲の輝度とのバランス等を考慮して、線形補間部３４ａで算出するようにしてもよい。

また、別の実施形態においては、輝度設定部３４ｄは、直線補間式４２に基づいて関心領域４０ＲＬと関心領域４０ＲＲの間の領域の輝度を補正する補正値（個別補正値）を設定する場合、補正値に制限を加えてもよい。例えば、図１３に示すように、補正値に対して補正上限値Ｍａｘを設定し、直線補間式４２にしたがい、輝度の補正量が増加するのに伴い、設定する個別補正量が補正上限値Ｍａｘに収束するようにする。この場合も、関心領域４０ＲＲより明るい領域４８に対する輝度補正が緩和され、「白飛び」を抑制することができる。なお、補正上限値Ｍａｘは、予め固定値で設定してもよいし、算出した直線補間式４２の傾きに応じて、設定してもよい。

また、上述したように、固定値設定部３２ａ等で設定された目標輝度によって、隣接する二つの関心領域４０の補正値を直線で結んで直線補間式４２を生成する場合、処理負荷を増大させることなく、輝度修正を行うことができるというメリットがある反面、補正値によっては、中間部分の輝度補正において、補正量が小さすぎる場合に画像の「黒つぶれ」が生じた入り、逆に大きすぎる場合に、画像の「白飛び」が生じてしまう場合がる。そこで、本実施形態の場合、輝度の補正の際にγ補正を利用するようにし得る。例えば、車両１０の前方の被撮像領域３６Ｆにおいて、関心領域４０ＦＬ（第一の関心領域）と、関心領域４０ＦＲ（第二の関心領域）を考える。関心領域４０ＦＬの輝度（領域内の平均輝度）が２５６階調の「１５０」であり、関心領域４０ＦＲの輝度が「１００」であり、固定値設定部３２ａにより設定された目標輝度が２５６階調で「１２５」であったとする。この場合、目標輝度にするためには、関心領域４０ＦＬは、「－２５」の補正値が必要で、関心領域４０ＦＲは、「＋２５」の補正値が必要となる。

そこで、γ曲線係数算出部３４ｃは、関心領域４０ＦＬについて、図１４に示すように、横軸を入力輝度Ｙ_０、縦軸を出力輝度Ｙ_１Ｌとした場合の第一のγ曲線５２Ｌを算出する。この場合、γ曲線係数算出部３４ｃは、第一のγ曲線５２Ｌとして、最低値（最低輝度）の座標ｐ＝（０，０）と、最高値（最高輝度）の座標ｑ＝（２５５，２５５）と、を通るととともに、入力輝度Ｙ_０に対して出力輝度Ｙ_１Ｌが「－２５」となる座標ｒとの三点を通る曲線（Ｙ_１Ｌ＝Ｙ_０ ^１/γ１）を算出する。そして、γ曲線係数算出部３４ｃは、第一の係数として、「γ１」を算出する。この場合、第一のγ曲線５２Ｌは、出力輝度Ｙ_１Ｌ＝入力輝度Ｙ_０となる直線５４に対して下に凸の曲線となる。同様に、γ曲線係数算出部３４ｃは、関心領域４０ＦＲについて、図１５に示すように、第二のγ曲線５２Ｒとして、最低値（最低輝度）の座標ｐ＝（０，０）と、最高値（最高輝度）の座標ｑ＝（２５５，２５５）と、を通るととともに、入力輝度Ｙ_０に対して出力輝度Ｙ_１Ｒが「＋２５」となる座標ｓとの三点を通る曲線（Ｙ_１Ｒ＝Ｙ_０ ^１/γ２）を算出する。そして、γ曲線係数算出部３４ｃは、第二の係数として、「γ２」を算出する。この場合、第二のγ曲線５２Ｒは、出力輝度Ｙ_１Ｒ＝入力輝度Ｙ_０となる直線５４に対して上に凸の曲線となる。

線形補間部３４ａは、γ曲線係数算出部３４ｃが算出したγ曲線係数γ１およびγ２を用いて、直線補間式５６を生成する。図１６は、縦軸をγ曲線係数、横軸を車幅方向の輝度補正対象の位置座標とした図であり、関心領域４０ＦＬの中心座標をＸ１として場合にγ曲線係数が「γ１」となり、関心領域４０ＦＲの中心座標をＸ２として場合に、γ曲線係数が「γ２」となる場合の、直線補間式５６（γ＝ａＸ＋ｂ）である。したがって、輝度設定部３４ｄは、直線補間式５６に基づき関心領域４０ＦＬと関心領域４０ＦＲの間の位置の補正対象の位置に対応するγ曲線係数を算出し、入力輝度Ｙ_０（元画像の輝度）と出力輝度Ｙ_１との関係を示すＹ_１＝Ｙ_０ ^１/γに、算出したγ曲線係数と補正対象の位置の輝度（元画像の輝度値、入力輝度Ｙ_０）を代入する。その結果、一対の関心領域４０の間の領域の補正後の輝度（出力輝度Ｙ_１）を算出することができる。このような補正を他の画像においても実行することにより、画像が黒つぶれ（暗すぎる補正）や白飛び（明るすぎる補正）を発生しにくい、情報欠如の抑制が可能で、認識しやすい周辺画像を生成できる。

次に、画像処理システム１００（画像処理装置）の処理の他の例について、図１７のフローチャートおよび図１８～図２０を用いて説明する。

図１７のフローチャートを用いて、「通常輝度状態」の場合、つまり、各撮像部１４で撮像した各画像間の輝度に大きな格差が生じにくい状態で、固定値加算設定部３２ｂにより、線形補間式の補正を所定の値により行い、輝度補正（輝度の底上げ補正）を実行する場合について説明する。

まず、ＣＰＵ２４ａは、車両１０を中心とする俯瞰視の周辺画像を生成するタイミングであるかを判定する（Ｓ２００）。この判定は、例えば、ＣＰＵ２４ａが車両１０の操作状態（例えば、シフトレバーが後退走行の位置に移動された場合等）や操作入力部２０等を介して運転者の表示要求操作が行われた場合に肯定判定とある。ＣＰＵ２４ａが、周辺画像を生成すると判定した場合（Ｓ２００のＹｅｓ）、取得部２８は、各撮像部１４が撮像する被撮像領域３６の画像（画像情報）を取得する（Ｓ２０２）。なお、周辺画像を生成するタイミングではないと判定された場合（Ｓ２００のＮｏ）、一旦、図１７のフローを終了する。

続いて、関心領域設定部３０は、取得した各画像の被撮像領域３６に対して関心領域４０の設定を行う（Ｓ２０４）。続いて、固定値加算設定部３２ｂは、例えば、車両１０の前方の被撮像領域３６Ｆについて、設定された車幅方向の二つの関心領域４０（関心領域４０ＦＬと関心領域４０ＦＲ）の輝度（関心領域４０内の平均輝度）の平均値を算出し被撮像領域３６Ｆの目標輝度とする（Ｓ２０６）。例えば、図１８に示すように、被撮像領域３６Ｆの車幅方向（Ｘ軸方向）左側の関心領域４０ＦＬの輝度が２５６階調の「１５０」であり、右側の関心領域４０ＦＲの輝度が２５６階調で「１００」であるとする。この場合、固定値加算設定部３２ｂは、「１２５」を目標輝度に設定し、関心領域４０ＦＬおよび関心領域４０ＦＲの輝度が目標輝度（例えば「１２５」）になるように補正するための補正値を設定する（Ｓ２０８）。図１７の場合、被撮像領域３６Ｆにおいて、関心領域４０ＦＬは、輝度値Ｍとして「－２５」の補正値が設定され、関心領域４０ＦＲは、「＋２５」の補正値が設定される。

線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝－２５）と、関心領域４０ＦＲの補正値（Ｎ＝＋２５）を用いて、直線補間式４２を生成する（Ｓ２１０）。その結果、関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量が直線補間式４２Ｆによって示される。

ところで、この例の場合、目標輝度は、補正対象の被撮像領域３６に含まれる二箇所の関心領域４０（例えば、関心領域４０ＦＬと関心領域４０ＦＲ）の輝度の平均値により決定され、直線補間式４２が生成されている。そのため、目標輝度が低すぎる、つまり、輝度補正処理を実行したにも拘わらず、補正後の画像が十分に明るくない場合がある。そこで、固定値加算設定部３２ｂは、直線補間式４２によって補正される輝度が予め設定された輝度（下限輝度）より低く、増加調整が必要であると判定した場合（Ｓ２１２のＹｅｓ）、固定値加算設定部３２ｂは所定の値（調整値）による補正を実行する（Ｓ２１４）。例えば、Ｓ２０８で設定した補正値に予め定めた調整値（例えば、調整輝度値＝５０）を加算する。すなわち、図１９に示すように、関心領域４０ＦＬの輝度と関心領域４０ＦＲの輝度の平均値によって定められた目標輝度（例えば「１２５」）になるような補正値（「－２５」および「＋２５」）のそれぞれに、調整輝度値＝５０を加算する。言い換えれば、直線補間式４２をそのまま輝度値＋５０となるように増加方向にシフトして、直線補間式４２ａを生成する。輝度設定部３４ｄは、直線補間式４２ａに基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度および、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な補正量で設定（補正）する（Ｓ２１６）。この場合、被撮像領域３６Ｆの輝度は、一律に「＋５０」だけ底上げされ、明るい画像となる。なお、Ｓ２１２において、直線補間式４２によって補正される輝度が予め設定された輝度（下限輝度）以上の場合、増加調整の必要はないと判定し（Ｓ２１２のＮｏ）、Ｓ２１４の処理をスキップする。

第１設定部３２は、車両１０の前方の被撮像領域３６Ｆおよび後方の被撮像領域３６Ｒの輝度補正が完了したか否かの監視を行い（Ｓ２１８）、完了していない場合（Ｓ２１８のＮｏ）、Ｓ２０４に戻り、同様な処理を実行する。一方、車両１０の前方の被撮像領域３６Ｆおよび後方の被撮像領域３６Ｒの輝度補正が完了している場合（Ｓ２１８のＹｅｓ）、第１設定部３２は、車両１０の側方の被撮像領域３６ＳＬおよび被撮像領域３６ＳＲの輝度補正のために、関心領域４０の設定を行う（Ｓ２２０）。そして、第１設定部３２は、被撮像領域３６ＳＬおよび被撮像領域３６ＳＲの関心領域４０の輝度を既に輝度補正が完了している被撮像領域３６Ｆおよび被撮像領域３６Ｒの関心領域４０の輝度を目標輝度として設定する（Ｓ２２２）。

例えば、図２０に示されるように、被撮像領域３６Ｆにおける関心領域４０ＦＬの補正後の輝度が「１７５」で、被撮像領域３６ＳＬの関心領域４０ＦＬの補正前（撮像時の輝度）が「１００」の場合、第１設定部３２は、被撮像領域３６ＳＬの関心領域４０ＦＬの目標輝度を「１７５」に設定する（Ｓ２２２）。つまり、第１設定部３２は、被撮像領域３６ＳＬの関心領域４０ＦＬの補正値として「＋７５」を設定する（Ｓ２２４）。一方、被撮像領域３６Ｒにおける関心領域４０ＲＬの補正後の輝度が「１００」で、被撮像領域３６ＳＬの関心領域４０ＲＬの補正前（撮像時の輝度）が「５０」の場合、第１設定部３２は、被撮像領域３６ＳＬの関心領域４０ＲＬの目標輝度を「１００」に設定する（Ｓ２２２）。つまり、被撮像領域３６ＳＬの関心領域４０ＲＬの補正値は「＋５０」となる（Ｓ２２４）。

線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝＋７５）と、関心領域４０ＲＬの補正値（Ｎ＝＋５０）を用いて、直線補間式４２Ｌを生成する（Ｓ２２６）。その結果、関心領域４０ＦＬとの関心領域４０ＲＬとの間の車両前後方向（Ｚ軸方向）の輝度の補正量が直線補間式４２Ｌによって示される。そして、輝度設定部３４ｄは、直線補間式４２Ｌに基づき、関心領域４０ＦＬと関心領域４０ＲＬとの間の領域の輝度および、被撮像領域３６ＳＬにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な補正量で設定（補正）する（Ｓ２２８）。

第１設定部３２は、車両１０の左側方の被撮像領域３６ＳＬおよび右側方の被撮像領域３６ＳＲの輝度補正が完了したか否かの監視を行い（Ｓ２３０）、完了していない場合（Ｓ２３０のＮｏ）、Ｓ２２０に戻り、同様な処理で被撮像領域３６ＳＲに関する直線補間式４２Ｒを生成して、右側方の輝度補正処理を実行する。一方、左側方の被撮像領域３６ＳＬおよび右側方の被撮像領域３６ＳＲの輝度補正が完了している場合（Ｓ２３０のＹｅｓ）、ＣＰＵ２４ａは、表示制御部２４ｄを用いて、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成させ、表示装置１６に表示させて（Ｓ２３２）、次の処理周期でＳ２００からの処理を繰り返すことで、周辺画像の更新を行う。この場合、図２０に示すように、関心領域４０ＦＬが含まれる被撮像領域３６Ｆと被撮像領域３６ＳＬとは、輝度「１７５」で統一され滑らかに繋がる。同様に、関心領域４０ＲＬが含まれる被撮像領域３６ＳＬと被撮像領域３６Ｒとは、輝度「１００」で統一され滑らかに繋がる。また、関心領域４０ＲＲが含まれる被撮像領域３６Ｒと被撮像領域３６ＳＲとは、輝度「１００」で統一され滑らかに繋がる。関心領域４０ＦＲが含まれる被撮像領域３６ＳＲと被撮像領域３６Ｆとは、輝度「１７５」で統一され滑らかに繋がる。つまり、生成される周辺画像は、各画像の繋ぎ合わせ部分に輝度の格差がなく滑らかに繋がった違和感のない見やすい画像となる。また、各関心領域４０の間の輝度も直線補間式４２ａ，４２Ｌ，直線補間式４２Ｒによって補正されているため、明るすぎる部分や暗すぎる部分の生成が抑制され、周辺画像のいずれの部分でも画像内容の認識がしやすくなる。なお、図１７の処理においても、前述したような、線形補間式の傾きの補正や、γ曲線係数を用いた線形補間式の算出を適用可能であり、同様の効果を得ることができる。

次に、画像処理システム１００（画像処理装置）の処理の他の例について、図２１のフローチャートおよび図２２～図２４を用いて説明する。

図２１のフローチャートを用いて、車両１０の周囲の明るさの状況が「特定輝度状態」であるか否かの判定を含む場合、つまり、各撮像部１４で撮像した各画像間の輝度に大きな格差が生じ得る場合の輝度補正の処理について説明する。

まず、ＣＰＵ２４ａは、他の補正処理の場合と同様に、車両１０を中心とする俯瞰視の周辺画像を生成するタイミングであるかを判定する（Ｓ３００）。この判定は、例えば、ＣＰＵ２４ａが車両１０の操作状態（例えば、シフトレバーが後退走行の位置に移動された場合等）や操作入力部２０等を介して運転者の表示要求操作が行われた場合に肯定判定となる。ＣＰＵ２４ａが、周辺画像を生成すると判定した場合（Ｓ３００のＹｅｓ）、取得部２８は、各撮像部１４が撮像する被撮像領域３６の画像（画像情報）を取得する（Ｓ３０２）。なお、周辺画像を生成するタイミングではないと判定された場合（Ｓ３００のＮｏ）、一旦、図２０のフローを終了する。

続いて、関心領域設定部３０は、取得した各画像の被撮像領域３６に対して関心領域４０の設定を行う（Ｓ３０４）。続いて、特定モード判定部３１は、側方画像情報（被撮像領域３６ＳＬや被撮像領域３６ＳＲ）を参照し、車両１０の周囲の明るさの状態が「通常輝度状態」か「特定輝度状態」かの判定を実行する（Ｓ３０６）。特定モード判定部３１の判定の結果、「特定輝度状態」ではない場合（Ｓ３０６のＮｏ）、第１設定部３２は、輝度補正の処理設定を「通常輝度状態」に対応する「通常モード設定」に移行する（Ｓ３０８）。一方、特定モード判定部３１の判定の結果、「特定輝度状態」である場合（Ｓ３０６のＹｅｓ）、第１設定部３２は、輝度補正の処理設定を「特定輝度状態」に対応する「特定モード設定」に移行する（Ｓ３１０）。

「通常モード設定」に移行した場合、まず、車両１０の前方の被撮像領域３６Ｆに対して、図６のフローチャートで説明した処理と同様な処理を実行する。例えば、固定値設定部３２ａは、各関心領域４０に対して、所定の値として定めた目標輝度（例えば、２５６階調で「２００」）を設定する（Ｓ３１２）。そして、固定値設定部３２ａは、関心領域４０の輝度が目標輝度（例えば「２００」）になるように補正するための補正値を、例えば、図７で説明したように設定する（Ｓ３１４）。

続いて、線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（例えば、Ｎ＝－５０）と、関心領域４０ＦＲの補正値（例えばＮ＝＋５０）を用いて、直線補間式４２（４２Ｆ）を生成する（Ｓ３１６）。その結果、被撮像領域３６Ｆにおける関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量（個別補正値）が直線補間式４２Ｆによって示される。そして、輝度設定部３４ｄは、生成された直線補間式４２Ｆで算出される個別補正値に基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度を補正する。同様に、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な個別補正値で補正する（Ｓ３１８）。その結果、図８で説明したものと同様に、補正前の被撮像領域３６Ｆは、車幅方向左側（関心領域４０ＦＬの部分）の輝度が例えば「２５０」から「２００」に暗くなるように補正され、車幅方向右側（関心領域４０ＦＲの部分）の輝度が例えば「１５０」から「２００」に明るくなるように補正される。

ＣＰＵ２４ａは、「通常モード設定」の場合、上述のような補正処理が全画面に対して完了したか否かを監視する（Ｓ３２０）。そして、補正処理が完了していない場合（Ｓ３２０のＮｏ）、Ｓ３０４に戻り、関心領域設定部３０、第１設定部３２、第２設定部３４は、上述した処理を、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲに対して実行する。

ＣＰＵ２４ａは、全ての画像（被撮像領域３６Ｆ、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲの画像）に対して補正処理が完了したことが確認されると（Ｓ３２０のＹｅｓ）、周辺画像を生成させる。つまり、ＣＰＵ２４ａは、表示制御部２４ｄにより、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成させ、表示装置１６に表示させて（Ｓ３２２）、次の処理周期でＳ３００からの処理を繰り返すことで周辺画像の更新を行う。この場合、図１０に示すように、各関心領域４０（４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）の輝度が２５６階調で「２００」となり、各被撮像領域３６（３６Ｆ，３６ＳＬ，３６Ｒ，３６ＳＲ）を繋ぎ合わせが滑らかに行われた周辺画像４４を生成することができる。また、各関心領域４０の間の輝度も直線補間式４２によって補正されているため、明るすぎる部分や暗すぎる部分の生成が抑制され、周辺画像４４のいずれの部分でも画像内容の認識がしやすくなる。なお、「通常モード設定」における輝度補正は、固定値設定部３２ａに代えて固定値加算設定部３２ｂで実行してもよい。

一方、Ｓ３０６で、特定モード判定部３１により現在の状態が「特定輝度状態」であると判定され、「特定モード設定」に移行した場合（Ｓ３１０）、特定モード補正部３２ｃは、各画像に対して、特定モード用の輝度設定を実行する。

図２２は、「特定輝度状態」であると判定される場合の、車両１０の前方の被撮像領域３６Ｆおよび後方の被撮像領域３６Ｒの撮像時の輝度状態の例を示す模式図である。前述したように、例えば、夜間で周囲の明かりが無い状態で、車両１０が単独で存在し、ヘッドライトを点灯した場合、車両１０の前方側のみが非常に明るくなる。そのため、撮像部１４ａで撮像を行うと、絞り調整が行われ、実際の輝度より暗めの画像が撮像される。図２２の場合、関心領域４０ＦＬの輝度が例えば「１２０」、関心領域４０ＦＲの輝度が例えば「１３０」に抑えられている例である。また、実質的に真っ暗な車両１０の後方を撮像する撮像部１４ｄから取得された被撮像領域３６Ｒに関しては、絞り調整により関心領域４０ＲＬの輝度が「１０」に、関心領域４０ＲＲの輝度が「２０」に増加調整されている例である。

特定モード補正部３２ｃは、「特定モード設定」の場合、被撮像領域３６Ｆには、固定値設定部３２ａと同様な輝度補正を実行し、被撮像領域３６Ｒに関しては、固定値設定部３２ａまたは固定値加算設定部３２ｂと同様な輝度補正を実行する。図２１のフローチャートで示す例では、固定値設定部３２ａと同様な処理で固定の目標輝度を設定する例を説明する。したがって、特定モード補正部３２ｃは、まず、関心領域４０ＦＬおよび関心領域４０ＦＲに対して、図７で説明した場合と同様に、所定の値として目標輝度（例えば、２５６階調で「１５０」）を設定するとともに（Ｓ３１２）、関心領域４０ＦＬおよび関心領域４０ＦＲの輝度が目標輝度（例えば「１５０」）になるように補正するための補正値を設定する。この場合、関心領域４０ＦＬの補正値は、例えば「Ｎ＝＋３０」に設定され、関心領域４０ＦＲの補正値は、例えば「Ｎ＝＋２０」）に設定される（Ｓ３１４）。続いて、線形補間部３４ａは、特定モード補正部３２ｃが設定した関心領域４０ＦＬの補正値（例えば、Ｎ＝＋３０）と、関心領域４０ＦＲの補正値（例えばＮ＝＋２０）を用いて、直線補間式４２（４２Ｆ）を生成する（Ｓ３１６）。その結果、関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量が直線補間式４２Ｆによって示される。そして、輝度設定部３４ｄは、生成された直線補間式４２Ｆで算出される補正値に基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度を補正する。また、輝度設定部３４ｄは、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な補正値で補正する（Ｓ３１８）。その結果、図８で説明したように、補正前の被撮像領域３６Ｆは、車幅方向左側（関心領域４０ＦＬの部分）の輝度が例えば「１２０」から「１５０」に明るくなるように補正され、車幅方向右側（関心領域４０ＦＲの部分）の輝度が例えば「１３０」から「１５０」に明るくなるように補正される。

ＣＰＵ２４ａは、「特定モード設定」の場合、上述のような補正処理が全画面に対して完了したか否かの監視を行う（Ｓ３２０）。この場合、ＣＰＵ２４ａは、補正処理がまだ完了していないと判定して（Ｓ３２０のＮｏ）、Ｓ３０４に戻る。そして、関心領域設定部３０、第１設定部３２、第２設定部３４は、上述した処理を、被撮像領域３６Ｒに対して実行する。その結果、被撮像領域３６Ｒは、車幅方向左側（関心領域４０ＲＬの部分）の輝度が例えば「車両１０」から「１５０」に明るくなるように補正され、車幅方向右側（関心領域４０ＲＲの部分）の輝度が例えば「２０」から「１５０」に明るくなるように補正される。

次に、ＣＰＵ２４ａは、車両１０の側方の被撮像領域３６ＳＬに関する輝度補正をＳ３０４～Ｓ３１８にしたがって実行する。図２３は、「特定輝度状態」であると判定される場合の、車両１０の側方の被撮像領域３６ＳＬおよび被撮像領域３６ＳＲの撮像時の輝度状態の例を示す模式図である。例えば、夜間に明かりのない状況で車両１０のヘッドライトが点灯している場合、被撮像領域３６ＳＬの前方側の領域Ｈのみが非常に明るく、他の大部分は非常に暗くなる。そのため、撮像部１４ｂで撮像を行うと、絞り調整が行われ、実際の輝度より明るく調整された画像が撮像される。図２２の場合、領域Ｈに含まれる関心領域４０ＦＬおよび関心領域４０ＦＲはより明るくなるような調整が行われ、例えば「２５５」で最高輝度値を示している。また、車両後方の関心領域４０ＲＬも明るくなるような補正が行われ、輝度が例えば「３０」に増加調整され、関心領域４０ＲＲに関しても輝度が例えば「２０」に増加調整されている例である。

特定モード補正部３２ｃは、「特定モード設定」の場合、被撮像領域３６ＳＬおよび被撮像領域３６ＳＲに関して、前方側の関心領域４０（関心領域４０ＦＬおよび関心領域４０ＦＲ）の輝度を目標輝度（第一の目標輝度）にするための補正値（第一の補正値）を当該車両前方領域の輝度に応じて決定している。例えば、図２４に示すように、被撮像領域３６ＳＬの現在の前方側の関心領域４０ＦＬの輝度（例えば、「２５５」）をそのまま目標輝度に設定する（Ｓ３１２）。したがって、関心領域４０ＦＬの補正値は、「Ｎ＝＋０」となり（Ｓ３１４）、増減調整が行われないようにする。

一方、特定モード補正部３２ｃは、被撮像領域３６ＳＬおよび被撮像領域３６ＳＲの車両後方領域に含まれる関心領域（関心領域４０ＲＬおよび４０ＲＲ：第二の関心領域）の輝度を目標輝度（第二の目標輝度）にするための補正値（第二の補正値）を車両の後方を撮像した被撮像領域３６Ｒの後方画像情報の輝度に応じて決定する。上述したように、特定モード補正部３２ｃは、被撮像領域３６Ｒについて、所定の値として予め決定された目標輝度（例えば「１５０」）になるように補正しているため、関心領域４０ＲＬおよび関心領域４０ＲＲも同じ目標輝度「１５０」になるように、補正値（第二の補正値）を決定する。したがって、図２４の場合、被撮像領域３６ＳＬの関心領域４０ＲＬの補正値は、「Ｎ＝＋１２０」に設定される（Ｓ３１４）。

続いて、線形補間部３４ａは、特定モード補正部３２ｃが設定した関心領域４０ＦＬの補正値（例えば、Ｎ＝＋０）と、関心領域４０ＲＬの補正値（例えばＮ＝＋１２０）を用いて、直線補間式４２（４２Ｌ）を生成する（Ｓ３１６）。その結果、関心領域４０ＦＬと関心領域４０ＲＬとの間の車両前後方向（Ｚ軸方向）の輝度の補正量が直線補間式４２Ｌによって示される。そして、輝度設定部３４ｄは、生成された直線補間式４２Ｌで算出される補正値に基づき、関心領域４０ＦＬと関心領域４０ＲＬとの間の領域の輝度を補正（設定）する。また、輝度設定部３４ｄは、被撮像領域３６ＳＬにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な補正値で設定（補正）する（Ｓ３１８）。このように、関心領域４０ＦＬの補正量が「Ｎ＝＋０」で関心領域４０ＲＬの補正量が「＋１２０」となるような直線補間式４２Ｌで、被撮像領域３６ＳＬの車両前方領域が輝度補正される。その結果、明るい状態からの補正量が少なく抑えられる。つまり、固定値設定部３２ａや固定値加算設定部３２ｂのみを用いた輝度補正では、ヘッドライトの影響が現れる車両１０の左前方領域の輝度が、輝度補正によって下げられて画像内容の視認性が低下する場合があった。一方、本実施形態においては、「特定輝度状態」であることを、被撮像領域３６ＳＬの画像から判定し、特定モード補正部３２ｃの処理によって、車両左前方領域の明るさを保ち、視認性を維持することができる。

特定モード補正部３２ｃは、被撮像領域３６ＳＲに関する輝度補正も３６ＳＬと東洋に、Ｓ３０４～Ｓ３１８にしたがって実行する。その結果、被撮像領域３６ＳＲについて、関心領域４０ＦＲの補正量が「Ｎ＝＋０」で関心領域４０ＲＲの補正値の補正量が「＋１３０」となるような直線補間式４２Ｒで、３６ＳＲの車両前方領域が輝度補正される。その結果、明るい状態からの補正量が少なく抑えられる。つまり、固定値設定部３２ａや固定値加算設定部３２ｂのみを用いた輝度補正では、ヘッドライトの影響が現れる車両１０の右前方領域の輝度が、輝度補正によって下げられて画像内容の視認性が低下する場合があった。一方、本実施形態においては、「特定輝度状態」であることを被撮像領域３６ＳＲの画像から判定し、特定モード補正部３２ｃの処理によって、車両右前方領域の明るさを保ち、視認性を維持することができる。

ＣＰＵ２４ａは、全ての画像（被撮像領域３６Ｆ、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲの画像）に対して補正処理が完了すると（Ｓ３２０のＹｅｓ）、表示制御部２４ｄにより、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成させ、表示装置１６に表示させて（Ｓ３２２）、次の処理周期でＳ３００からの処理を繰り返すことで周辺画像の更新を行う。

このように、特定モード補正部３２ｃを用いた輝度補正によれば、固定値設定部３２ａや固定値加算設定部３２ｂのみを用いた輝度補正では、暗くなり視認性が低下する領域が発生する虞のある「特定輝度状態」の場合でも、視認性の低下を抑制することができる。なお、被撮像領域３６Ｆと被撮像領域３６ＳＬおよび被撮像領域３６ＳＲとの繋ぎ合わせ部分は、ヘッドライトの光に基づく高輝度部分により輝度境界が生じる。一方、被撮像領域３６Ｒと被撮像領域３６ＳＬおよび被撮像領域３６ＳＲとの繋ぎ合わせ部分は、被撮像領域３６Ｒの輝度に応じて輝度調整が行われるので、滑らかな繋がりとなる。その結果、周辺画像全体をしては、概ね輝度が滑らかに変化する視認性がよい画像を生成することができる。

なお、上述した例で、特定モード補正部３２ｃは、被撮像領域３６ＳＬおよび被撮像領域３６ＳＲについて、現在の前方側の関心領域４０ＦＬおよび関心領域４０ＦＲの輝度（例えば、「２５５」）をそのまま目標輝度に設定して、側方画像の車両前方部分の視認性が低下することを抑制した。別の実施形態では、図２３に示すように、関心領域４０（関心領域４０ＦＬ、４０ＦＲ：第一の関心領域）の補正値（第一の補正値）を決定する場合、第一の関心領域の周辺で輝度が第一の所定値（例えば、被撮像領域３６Ｆの目標輝度値である輝度「１５０」）未満の領域（シフト領域４０ＦＬｄおよびシフト領域４０ＦＲｄ）に第一の関心領域を移動させて、そのシフト領域４０ＦＬｄおよびシフト領域４０ＦＲｄの輝度を第一の目標輝度としてもよい。この場合も移動した領域（シフト領域４０ＦＬｄおよびシフト領域４０ＦＲｄ）における補正値は「＋０」となる。一方、被撮像領域３６ＳＲの車両後方側は、大分部が暗く輝度差がないので、いずれの領域でも例えば、関心領域４０ＲＬと同様な輝度、例えば「３０」と見なせる。したがって、被撮像領域３６ＳＬについて、シフト領域４０ＦＬｄ（移動した領域）の補正量が「Ｎ＝＋０」となり、シフト領域４０ＦＬｄに対する車両後方側の関心領域の補正量が「＋１３０」となるような直線補間式４２が得られる。その結果、関心領域４０ＦＬの輝度をそのまま目標輝度とする場合と同様に、撮像時に明るかった車両前方側の領域の補正量が少なく抑えられる。つまり、車両前方側の領域の輝度の変化が軽減できて、画像内容の視認性を維持することができる。また、この場合、第一の所定値以上の明るい領域の補正を行うことなく（明るい領域を残しつつ）、かつ極端に暗くなることを抑制して、側方画像の全体の輝度補正を行うことができる。被撮像領域３６ＳＲについても同様である。その結果、複数の画像を繋ぎ合わせた周辺画像の画像内容の認識をしやすくすることができる。

また、上述した「特定モード設定」に移行して、被撮像領域３６Ｒの輝度補正を行う際に、予め設定された目標輝度（例えば、「１５０」）になるように補正する場合を示した。別の例では、被撮像領域３６Ｒにおいて、関心領域４０ＲＬと関心領域４０ＲＲの輝度の平均値を求めて、その平均値を目標輝度としてもよい。この場合、車両１０の側方の被撮像領域３６ＳＬの関心領域４０ＲＬおよび被撮像領域３６ＳＲの関心領域４０ＲＲの目標輝度を平均値に設定する。被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲの関心領域４０ＲＬおよび関心領域４０ＲＲの目標輝度として、平均値を用いることにより、各被撮像領域３６を繋ぐ場合に、隣接する被撮像領域３６間で輝度格差が抑制され滑らかな接続ができる。また、実際は真っ暗な領域である、被撮像領域３６Ｒ等が、実際の輝度に近い状態で暗く表示されるので、視認性の向上性は少ないが、より現実に近い周辺画像の表示が可能になる。なお、被撮像領域３６Ｆについても平均値を用いることができるが、ヘッドライトの影響で被撮像領域３６Ｆ全体の輝度が明かり過ぎてしまう場合がある。そのため、平均値の利用を被撮像領域３６Ｆの輝度に応じて決定するようにしてもよい。

上述した実施形態において、固定値設定部３２ａの設定する目標輝度や、固定値加算設定部３２ｂが設定する調整値は、車両１０の周囲の状況に拘わらず所定の値として説明した。例えば、夜間は、表示装置１６の周囲が暗いので、表示装置１６に表示する画像の輝度を全体として落としても、違和感はなく画像内容を認識することができる場合がある。逆に、昼間は周囲が明るいので、表示装置１６の輝度をさらに高めた方が画像内容を認識しやすい場合がある。したがって、別の実施形態においては、例えば、昼夜等車両１０の周囲の明るさ状態、または、表示装置１６の明るさ設定に応じて所定の値を変更するようにしてもよい。

また、本実施形態の場合、撮像部１４ｂは左のドアミラー１０ｂに固定され、撮像部１４ｃは右のドアミラー１０ｃに固定されている。この場合、車両１０のドアが閉まっている状態で撮影された画像を用いることで、撮像部１４ａや撮像部１４ｄが撮像した画像との繋ぎ合わせが正確にできる。したがって。表示制御部２４ｄは、ドアが開いている場合は、画像のつなぎ合わせが正確にできない。そのためＣＰＵ２４ａは、上述したような輝度の補正処理を実行せずに、参考としての周辺画像を生成するようにしてもよい。

本実施形態のＣＰＵ２４ａで実行される画像処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２４…ＥＣＵ、２４ａ…ＣＰＵ、２４ｄ…表示制御部、２８…取得部、３０…関心領域設定部、３１…特定モード判定部、３２…第１設定部（第一に設定部）、３２ａ…固定値設定部、３２ｂ…固定値加算設定部、３２ｃ…特定モード補正部、３４…第２設定部（第二の設定部）、３４ａ…線形補間部、３４ｂ…傾き設定部、３４ｃ…γ曲線係数算出部、３４ｄ…輝度設定部、３６，３６Ｆ，３６ＳＬ，３６ＳＲ，３６Ｒ…被撮像領域、３８，３８ＦＬ，３８ＦＲ，３８ＲＬ，３８ＲＲ…重複領域、４０、４０ＦＬ，４０ＦＲ，４０ＲＬ，４０ＲＲ…関心領域、４２，４２ａ，４２Ｌ，４２Ｒ，５６…直線補間式、４４…周辺画像、５０…曲線、５２Ｌ…第一のγ曲線、５２Ｒ…第二のγ曲線、５４…直線、１００…画像処理システム。

Claims (5)

1. 車両に設けられた複数の撮像部で、前記車両の周辺状況として撮像された複数の画像情報を取得する取得部と、
   前記車両の側方を撮像した側方画像情報において、当該側方画像情報の車両前方領域に含まれる第一の関心領域の輝度が第一の所定値以上であり、かつ前記側方画像情報の車両後方領域に含まれる第二の関心領域の輝度と前記第一の関心領域の輝度との差が第二の所定値以上の場合に特定輝度状態であると判定する判定部と、
   前記特定輝度状態と判定された場合、前記第一の関心領域の輝度を第一の目標輝度にするための第一の補正値を前記車両前方領域の輝度に応じて決定するとともに、前記車両後方領域に含まれる第二の関心領域の輝度を第二の目標輝度にするための第二の補正値を前記車両の後方を撮像した後方画像情報の輝度に応じて決定する第一の設定部と、
   前記第一の補正値と前記第二の補正値とに基づき、前記第一の関心領域と前記第二の関心領域との間の領域の輝度を補正する個別補正値を設定する第二の設定部と、
   を含む画像処理装置。
2. 前記第一の設定部は、前記第一の補正値を決定する場合、前記第一の目標輝度を、前記第一の関心領域の輝度とする、請求項１に記載の画像処理装置。
3. 前記第一の設定部は、前記第一の補正値を決定する場合、前記第一の関心領域の周辺で輝度が前記第一の所定値未満の領域に前記第一の関心領域を移動させて、その領域の輝度を前記第一の目標輝度とする、請求項１に記載の画像処理装置。
4. 前記第一の設定部は、前記第二の補正値を決定する場合、前記第二の目標輝度を予め定められた所定の目標輝度とする、請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記判定部は、前記第一の関心領域を前記側方画像情報の前記車両前方領域と前記車両の前方を撮像した前方画像情報とが一部重複する第一の重複領域内に設定し、前記第二の関心領域を前記側方画像情報の前記車両後方領域と前記後方画像情報とが一部重複する第二の重複領域内に設定する、請求項１から請求項４のいずれか１項に記載の画像処理装置。

Images