JP6589741B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関する。

従来、車載カメラを用いて車両の周辺を撮像し、得られた画像を車室内のディスプレイに表示する技術が知られている。車載カメラは、例えば、ドライバにとって車両の死角となる範囲を撮像する。また、車載カメラとディスプレイとを備えるシステムを、ルームミラーやサイドミラーの代わりに用いることが提案されている。上記の技術は特許文献１に開示されている。

特開２０１３−５２３４号公報

降雪時等、特定の環境下では、車載カメラで撮像した画像のコントラストが低く、視認性が低い。この場合ドライバは、表示された画像において、例えば、雪で覆われた路面の凹凸、路面と雪壁との境界等を認識することが困難となる。

本発明は、こうした問題に鑑みてなされたものであり、視認性が高い画像を生成できる画像処理装置を提供することを目的としている。

本発明の画像処理装置（１）は、車両の周辺を表す画像を取得する画像取得ユニット（７）と、画像の一部である判断領域（３９）において、視認性が予め設定された閾値以下であるか否かを判断する視認性判断ユニット（１２）と、視認性が閾値以下である視認性判断ユニットが判断した場合、画像における輝度を調整する輝度調整ユニット（１３）とを備える。

前記の輝度調整ユニットは、判断領域における輝度ヒストグラムにて度数が最大である輝度ａを取得する輝度取得ユニット（１５）と、画像における輝度範囲を、輝度ａが属する領域Ａを含む複数の領域に区分する区分ユニット（１７）と、複数の領域のうち、属する画素数が予め設定された閾値以下である領域Ｘの少なくとも一部を削除する領域Ｘ削除ユニット（１９）と、領域Ａを、少なくとも、領域Ｘにおいて削除した幅ΔＸだけ、領域Ｘの側に拡張する領域Ａ拡張ユニット（１９）と、領域Ｘと領域Ａとの間に他の領域が存在する場合は、他の領域を領域Ｘの側に移動させる領域移動ユニット（１９）とを備える。

本発明の画像処理装置は領域Ａを拡張する。そのため、領域Ａにおけるコントラストを向上させ、視認性を向上させることができる。また、拡張幅ΔＡのうち、少なくとも一部は、画素数が少ない領域Ｘを削除して得られるものである。そのため、領域Ａ及び領域Ｘ以外の領域における縮小幅を抑制することができる。その結果、輝度を調整した後でも、画像の画質が劣化しにくい。

画像処理装置は、領域Ｘと領域Ａとの間に他の領域が存在する場合は、他の領域を領域Ｘの側に移動させる。そのため、領域Ｘが領域Ａと隣接していない場合でも、領域Ａを領域Ｘの側に拡張することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

画像処理装置１の構成を表すブロック図である。 画像処理装置１の機能的構成を表すブロック図である。 画像処理装置１が実行する処理の全体を表すフローチャートである。 画像処理装置１が実行する判断領域決定処理を表すフローチャートである。 画像処理装置１が実行する補正テーブル算出処理を表すフローチャートである。 画像４１と判断領域３９とを表す説明図である。 輝度ヒストグラム４３を表す説明図である。 輝度ヒストグラム４５を表す説明図である。 第１パターンの補正テーブルを表す説明図である。 第２パターンの補正テーブルを表す説明図である。 コントラストを判断する方法を表す説明図である。

本開示の実施形態を図面に基づき説明する。
＜第１実施形態＞
１．画像処理装置１の構成
画像処理装置１の構成を、図１、図２に基づき説明する。画像処理装置１は車両に搭載される車載装置である。画像処理装置１を搭載する車両を以下では自車両とする。

画像処理装置１は、ＣＰＵ３と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ５とする）と、を有する周知のマイクロコンピュータを中心に構成される。画像処理装置１の各種機能は、ＣＰＵ３が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ５が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理装置１を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像処理装置１は、ＣＰＵ３がプログラムを実行することで実現される機能の構成として、図２に示すように、画像取得ユニット７と、周辺情報取得ユニット９と、判断領域決定ユニット１１と、視認性判断ユニット１２と、輝度調整ユニット１３と、を備える。

輝度調整ユニット１３は、輝度取得ユニット１５と、区分ユニット１７と、領域調整ユニット１９と、天候情報取得ユニット２７と、拡張幅設定ユニット２９と、を備える。画像処理装置１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

領域調整ユニット１９は、領域Ｘ削除ユニット、領域Ａ拡張ユニット、領域移動ユニット、縮小幅設定ユニット、及び領域Ｙ縮小ユニットに対応する。
自車両は、画像処理装置１に加えて、カメラ３３、車両信号線３５、及びディスプレイ３７を備える。カメラ３３は、自車両の周辺を撮影し、画像を作成する。画像は複数の画素から構成される。各画素は輝度を有する。各画素の輝度は一定の輝度範囲内にある。カメラ３３は画像を画像処理装置１に出力する。

車両信号線３５は、様々な情報を画像処理装置１に出力する。その情報として、ソナー情報、舵角情報、速度情報、加速度情報、ギア情報、天候情報等がある。ソナー情報は、自車両が備えるソナーにより検出した物標の位置、自車両から物標までの距離、物標の速度、物標の移動方向等を表す情報である。

舵角情報は、自車両の操舵角の大きさ、操舵の方向を表す情報である。速度情報は自車両の速度を表す情報である。加速度情報は自車両の加速度を表す情報である。ギア情報は、自車両のギアの状況を表す情報である。天候情報は、自車両の場所における、降雨又は降雪の有無、気温、湿度等を表す情報である。

ディスプレイ３７は、自車両の車室内に設けられている。ディスプレイ３７は、画像処理装置１から画像を受け取り、表示する。画像処理装置１から受け取る画像には、後述するように、輝度を調整された画像と、輝度を調整していない画像とがある。

２．画像処理装置１が実行する処理
画像処理装置１が所定時間ごとに繰り返し実行する処理を図３〜図１０に基づき説明する。図３のステップ１では、画像取得ユニット７が、カメラ３３を用いて画像を取得する。

ステップ２では、周辺情報取得ユニット９が、車両信号線３５から、舵角情報を取得する。なお、舵角情報は周辺情報に対応する。また、舵角情報は、自車両が走行中である道路の形状を表す情報に対応する。

ステップ３では、判断領域決定ユニット１１が、判断領域を決定する。この処理を、図４、図６に基づき説明する。図６に示すように、判断領域３９とは、前記ステップ１で取得した画像４１の一部である。判断領域３９は、画像４１における下方に位置し、主に路面によって占められる領域である。

図４のステップ２１では、判断領域３９の位置及び大きさを、デフォルトの値とする。判断領域３９の位置とは、画像４１における相対的な位置である。判断領域３９の大きさとは、画像４１の大きさに対する相対的な大きさである。メモリ５には、予め、判断領域３９のデフォルトの位置及び大きさが記憶されている。

ステップ２２では、前記ステップ２で取得した舵角情報を用いて、自車両がカーブを走行中であるか否かを判断する。自車両がカーブを走行中であると判断した場合はステップ２３に進む。一方、自車両がカーブを走行中ではないと判断した場合は本処理を終了する。この場合、判断領域３９の位置及び大きさはデフォルトの値となる。

ステップ２３では、前記ステップ２で取得した舵角情報を用いて、自車両が右カーブを走行中であるか否かを判断する。自車両が右カーブを走行中であると判断した場合はステップ２４に進む。一方、自車両が右カーブを走行中ではないと判断した場合はステップ２５に進む。ステップ２５に進む場合は、自車両が左カーブを走行中である場合である。

ステップ２４では、図６に示すように、判断領域３９を右方向Ｒに移動させる。移動量は、舵角が大きいほど大きい。メモリ５には、予め、舵角と移動量との関係を規定するマップが記憶されている。判断領域３９の大きさは一定である。なお、ここでは自車両が前進しているとする。自車両が後進している場合は、ステップ２４において、判断領域３９を左方向Ｌに移動させる。

ステップ２５では、図６に示すように、判断領域３９を左方向Ｌに移動させる。移動量は、舵角が大きいほど大きい。メモリ５には、予め、舵角と移動量との関係を規定するマップが記憶されている。判断領域３９の大きさは一定である。なお、ここでは自車両が前進しているとする。自車両が後進している場合は、ステップ２５において、判断領域３９を右方向Ｒに移動させる。

図３に戻り、ステップ４では、輝度取得ユニット１５が、前記ステップ３で決定した判断領域３９について、図７に示す輝度ヒストグラム４３を作成する。この輝度ヒストグラム４３の横軸は、輝度である。輝度ヒストグラム４３の縦軸は、判断領域３９にある全画素のうち、対応する輝度を有する画素の数（以下では度数とする）である。

ステップ５では、輝度取得ユニット１５が、前記ステップ４で作成した輝度ヒストグラム４３を用いて、輝度ａを取得する。輝度ａとは、図７に示すように、輝度ヒストグラム４３において、度数が最大である輝度である。判断領域３９は、主として路面を含む領域であるから、輝度ａは、路面を表す画素における最大度数の輝度である。路面に降雪がある場合、輝度ａは、路面を覆う雪を表す画素における最大度数の輝度である。

ステップ６では、判断領域３９におけるコントラストの大きさが、予め設定された閾値以下であるか否かを、視認性判断ユニット１２が判断する。その判断方法は以下のとおりである。まず、輝度ヒストグラム４３において、輝度ａを中心とする範囲であって、判断領域３９にある全画素のうち、所定の割合が属する範囲を算出する。次に、その範囲における幅を算出する。算出した幅の値が、閾値より小さければ、コントラストが小さいと判断する。一方、算出した幅の値が、閾値以上であれば、コントラストが大きいと判断する。なお、コントラストが大きいことは視認性が高いことに対応する。

コントラストが小さいと判断した場合はステップ７に進み、コントラストが大きいと判断した場合はステップ１２に進む。
ステップ７では、区分ユニット１７が、輝度ヒストグラム４３において、領域Ａを決定する。領域Ａとは、図７に示すように、輝度ａを含む輝度の範囲であって、ヒストグラムを表す曲線における傾きの絶対値が、予め設定された閾値より大きい範囲である。領域Ａは、主として、路面を表す画素の輝度を含む範囲である。路面に降雪がある場合、領域Ａは、主として、路面を覆う雪を表す画素の輝度を含む範囲である。

ステップ８では、区分ユニット１７が、まず、前記ステップ１で取得した画像全体について、図８に示す輝度ヒストグラム４５を作成する。この輝度ヒストグラム４５の横軸は、輝度である。輝度ヒストグラム４５の縦軸は、画像全体の画素のうち、対応する輝度を有する画素の度数である。

次に、区分ユニット１７は、輝度ヒストグラム４５おける輝度範囲を、複数の領域Ａ〜Ｄに区分する。領域Ａは、前記ステップ７で決定した領域である。領域Ｂ〜Ｄは、予め決められたルールに従って区分することができる。領域Ａ〜Ｄの幅を、それぞれ、幅Ｗ_Ａ、幅Ｗ_Ｂ、幅Ｗ_Ｃ、幅Ｗ_Ｄとする。領域Ｂ、領域Ｃは、領域Ａ以外の領域Ｙ_１、領域Ｙ_２に対応する。領域Ｂ、領域Ｃは領域Ａに隣接する。

ステップ９では、輝度調整ユニット１３が、画像の輝度を調整するために用いる補正テーブルを算出する。この処理を、図５、図９、図１０に基づき説明する。
図５のステップ３１では、天候情報取得ユニット２７が、車両信号線３５から、天候情報を取得する。

ステップ３２では、拡張幅設定ユニット２９が、前記ステップ３１で取得した天候情報に応じて、領域Ａの拡張率Ｒ_Ａを決定する。拡張率Ｒ_Ａは、以下の式（２）で表される。
式（２） Ｒ_Ａ＝Ｗ_Ａ’／Ｗ_Ａ
式（２）においてＷ_Ａ’は、輝度を調整した後における領域Ａの幅である。

ステップ３３では、拡張幅設定ユニット２９が、拡張幅ΔＡを設定する。拡張幅ΔＡとは、輝度の調整において領域Ａを拡張する幅である。拡張幅ΔＡは、以下の式（３）で表される。

式（３） ΔＡ＝Ｗ_Ａ’−Ｗ_Ａ＝Ｗ_Ａ（Ｒ_Ａ−１）
Ｗ_Ａ、Ｒ_Ａはそれぞれ既知の値であるので、ΔＡも既知の値である。
ステップ３４では、領域調整ユニット１９が、輝度ヒストグラム４５において、領域Ｘを検索する。領域Ｘとは、領域Ｂ〜Ｄのうちのいずれかの領域であって、その領域に属する画素数が予め設定された閾値以下である領域である。本実施形態では、領域Ｄが領域Ｘであるとする。

ステップ３５では、領域調整ユニット１９が、領域Ｘの幅Ｗ_Ｘを算出する。本実施形態では、幅Ｗ_Ｘは、幅Ｗ_Ｄである。
ステップ３６では、前記ステップ３３で算出した拡張幅ΔＡが、前記ステップ３５で算出した幅Ｗ_Ｘより小さいか否かを、領域調整ユニット１９が判断する。拡張幅ΔＡが幅Ｗ_Ｘより小さい場合はステップ３７に進む。拡張幅Δ_Ａが幅Ｗ_Ｘ以上である場合はステップ３９に進む。

ステップ３７では、領域調整ユニット１９が、幅ΔＸの値を、前記ステップ３３で算出した拡張幅ΔＡとする。幅ΔＸとは、領域Ｘにおいて削除する幅である。
ステップ３８では、領域調整ユニット１９が、第１パターンの補正テーブルを算出する。第１パターンの補正テーブルとは、図９に示すように、画像の輝度を調整する補正テーブルである。第１パターンの補正テーブルでは、領域Ｘを、幅ΔＸだけ削除する。また、領域Ａを幅ΔＸだけ、領域Ｘの側に拡張する。拡張後の領域Ａの幅Ｗ_Ａ’は、（Ｗ_Ａ＋ΔＸ）となる。また、領域Ｃを、幅ΔＸだけ、領域Ｘ側に移動させる。領域Ｃは、領域Ａと領域Ｘとの間に存在する領域である。

前記ステップ３６で否定判断した場合はステップ３９に進む。ステップ３９では、領域調整ユニット１９が、幅ΔＸの値を、幅Ｗ_Ｘとする。
ステップ４０では、領域調整ユニット１９が、以下の式（４）で表される幅ΔＷ_ＢＣを算出する。なお、幅ΔＷ_ＢＣは、領域Ｂにおける縮小幅と、領域Ｃにおける縮小幅との合計である。なお、縮小とは、圧縮と同義である。

式（４） ΔＷ_ＢＣ＝ΔＡ−ΔＸ
式（４）において、ΔＡは前記ステップ３３で算出した値であり、ΔＸは、前記ステップ３９で算出した値である。

ステップ４１では、領域調整ユニット１９が、以下の式（５）、及び式（６）を充足する幅ΔＷ_Ｂ、幅ΔＷ_Ｃを算出する。幅ΔＷ_Ｂは、領域Ｂにおける縮小幅であり、幅ΔＷ_Ｃは、領域Ｃにおける縮小幅である。式（６）はΔＷ_ＢとΔＷ_Ｃとの比率を規定する。

式（５） ΔＷ_ＢＣ＝ΔＷ_Ｂ+ΔＷ_Ｃ
式（６） ΔＷ_Ｂ／ΔＷ_Ｃ＝Ｎ_Ｂ／Ｎ_Ｃ
式（６）において、Ｎ_Ｂは、画像４１の全画素のうち、領域Ｂに属する画素数であり、Ｎ_Ｃは、画像４１の全画素のうち、領域Ｃに属する画素数である。ΔＷ_ＢはΔＹ_１に対応し、ΔＷ_ＣはΔＹ_２に対応する。

ステップ４２では、幅ΔＷ_Ｃが、上限値Ｌ_Ｃより小さいか否かを領域調整ユニット１９が判断する。上限値Ｌ_Ｃは、領域Ｃにおける縮小幅の上限値であり、予め定められた値である。幅ΔＷ_Ｃが上限値Ｌ_Ｃより小さい場合はステップ４４に進み、幅ΔＷ_Ｃが上限値Ｌ_Ｃ以上である場合はステップ４３に進む。

ステップ４３では、領域調整ユニット１９が、幅ΔＷ_Ｃの値を、上限値Ｌ_Ｃに書き換える。また、領域調整ユニット１９が、幅ΔＷ_Ｂの値を、ΔＷ_ＢＣから上限値Ｌ_Ｃを差し引いた値に書き換える。

ステップ４４では、幅ΔＷ_Ｂが、上限値Ｌ_Ｂより小さいか否かを領域調整ユニット１９が判断する。上限値Ｌ_Ｂは、領域Ｂにおける縮小幅の上限値であり、予め定められた値である。幅ΔＷ_Ｂが上限値Ｌ_Ｃより小さい場合はステップ４６に進み、幅ΔＷ_Ｂが上限値Ｌ_Ｂ以上である場合はステップ４５に進む。

ステップ４５では、領域調整ユニット１９が、幅ΔＷ_Ｂの値を、上限値Ｌ_Ｂに書き換える。
ステップ４６では、領域調整ユニット１９が、第２パターンの補正テーブルを算出する。第２パターンの補正テーブルとは、図１０に示すように、画像の輝度を調整する補正テーブルである。

第２パターンの補正テーブルでは、領域Ｘを全て削除する。また、領域Ａを、幅ΔＸ＋幅ΔＷ_Ｃだけ、領域Ｘ側に拡張し、幅ΔＷ_Ｂだけ、領域Ｂ側に拡張する。領域Ａは、全体として、幅ΔＸ＋幅ΔＷ_Ｃ＋幅ΔＷ_Ｃだけ拡張する。領域Ａと領域Ｂとの境界は、幅ΔＷ_Ｂだけ、領域Ｂ側に移動する。領域Ｂは、幅ΔＷ_Ｂだけ縮小する。領域Ａと領域Ｃとの境界は、幅ΔＸ＋幅ΔＷ_Ｃだけ、領域Ｃ側に移動する。領域Ｃは、幅ΔＷ_Ｃだけ縮小する。幅ΔＷ_Ｂ、幅ΔＷ_Ｃの値は、前記ステップ４１、４３、４５のいずれかで設定された値である。上述した幅ΔＷ_Ｂ、幅ΔＷ_Ｃの設定方法は、少なくとも拡張幅ΔＡに応じた設定方法に対応する。

図３に戻り、ステップ１０では、前記ステップ９で算出した補正テーブルに基づき、画像４１の輝度を調整する。調整後の画像４１における輝度ヒストグラムは、第１パターンの補正テーブル、又は第２パターンの補正テーブルで表されるものになる。なお、輝度を調整した画像４１において、領域Ａに属する任意の画素の輝度Ｉは、以下の式（７）で表される。

式（７） Ｉ＝（Ｉ_０-Ｋ_ＡＢ）×（Ｗ_Ａ’／Ｗ_Ａ）＋Ｋ_ＡＢ’
式（７）において、Ｉ_０は、同じ画素の、輝度を調整する前の輝度である。Ｋ_ＡＢは、輝度を調整する前の、領域Ａと領域Ｂとの境界における輝度である。Ｗ_Ａ’は、輝度を調整した後の、領域Ａの幅である。Ｋ_ＡＢ’は、輝度を調整した後の、領域Ａと領域Ｂとの境界における輝度である。

ステップ１１では、前記ステップ１０で輝度を調整した画像をディスプレイ３７に出力する。
前記ステップ６で否定判断した場合はステップ１２に進む。ステップ１２では、前記ステップ１で取得した画像をそのままディスプレイ３７に出力する。
３．画像処理装置１が奏する効果
（１Ａ）画像処理装置１は領域Ａを拡張する。そのため、領域Ａにおけるコントラストを向上させることができる。そのことにより、画像の視認性が向上する。また、拡張幅ΔＡのうち、少なくとも一部は、画素数が少ない領域Ｘを削除して得られるものである。そのため、領域Ｂ、領域Ｃの縮小幅を抑制することができる。その結果、輝度を調整した後でも、画像の画質が劣化しにくい。

（１Ｂ）画像処理装置１は、領域Ｃを領域Ｘの側に移動させる。そのため、領域Ｘが領域Ａと隣接していない場合でも、領域Ａを領域Ｘの側に拡張することができる。
（１Ｃ）画像処理装置１は、領域Ｂ、領域Ｃを縮小し、その縮小した分だけ、さらに領域Ａを拡張することができる。その結果、領域Ａにおけるコントラストを一層向上させることができる。

（１Ｄ）画像処理装置１は、拡張幅ΔＡに応じて、幅ΔＷ_Ｂ、幅ΔＷ_Ｃを設定する。そのため、幅ΔＷ_Ｂ、幅ΔＷ_Ｃを適切に設定できる。また、画像処理装置１は、幅ΔＷ_Ｂ、及び幅ΔＷ_Ｃを、式（５）、式（６）を充足するように設定する。そのため、領域Ｂ及び領域Ｃのうちの一方のみを過度に縮小することを抑制できる。その結果、輝度を調整した後でも、画像の画質が劣化しにくい。

（１Ｅ）画像処理装置１は、天候情報を取得し、天候情報に応じて拡張幅ΔＡを設定する。そのため、天候に応じて適切な拡張幅ΔＡを設定することができる。例えば、降雪があり、領域Ａにおけるコントラストが小さい可能性が高い場合は、拡張幅ΔＡを大きく設定し、領域Ａにおけるコントラストを一層向上させることができる。

（１Ｆ）画像処理装置１は、幅ΔＷ_Ｂを、上限値Ｌ_Ｂ以下の範囲で設定する。また、画像処理装置１は、幅ΔＷ_Ｃを、上限値Ｌ_Ｃ以下の範囲で設定する。そのことにより、領域Ｂ、領域Ｃを過度に縮小することを抑制できる。その結果、輝度を調整した後でも、画像の画質が劣化しにくい。

（１Ｇ）画像処理装置１は、舵角情報を取得し、その舵角情報から、自車両が走行中の道路の形状を判断する。さらに、画像処理装置１は、自車両が走行中の道路の形状に応じて判断領域３９の位置を決定する。そのことにより、判断領域３９の中に路面を含めることができる。また、判断領域３９の中に、路面以外の物が含まれることを抑制できる。
＜他の実施形態＞
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）判断領域３９の大きさや位置を決定する方法は、他の方法であってもよい。例えば、車両信号線３５からソナー情報を取得し、自車両に近づいている物標の有無、及び、物標が自車両に近づいているか、自車両から遠ざかっているかを判断することができる。

自車両が前進しており、物標が存在する場合、以下のように判断領域３９を変化させる。
・物標が自車両に近づいていれば、判断領域３９における上側の境界線４７を、標準の位置より下げる。すなわち、判断領域３９を、標準よりも低い範囲に限定する。

・物標が自車両から遠ざかっていれば、上側の境界線４７の位置を、標準の位置に戻す。
自車両が後進しており、物標が存在する場合、以下のように判断領域３９を変化させる。

・物標が自車両に近づいていれば、判断領域３９における上側の境界線４７を、標準の位置より上げる。すなわち、判断領域３９を、標準よりも高い範囲まで広げる。
・物標が自車両から遠ざかっていれば、上側の境界線４７の位置を、標準の位置に戻す。

（２）判断領域３９の大きさや位置を決定する方法は、他の方法であってもよい。例えば、サイドカメラやバックカメラに映っている物標の位置を算出し、その物標を避けるように、判断領域３９を設定することができる。

（３）判断領域３９の大きさや位置を決定する方法は、他の方法であってもよい。例えば、自車両、又は自車両のタイヤの振動データから路面の状態を推測し、判断領域３９の大きさや位置を決定してもよい。路面の状態としては、例えば、積雪の有無等が挙げられる。

（４）判断領域３９の大きさや位置は固定されていてもよい。判断領域３９の位置は、画像４１の中央付近、又は、画像４１の上方であってもよい。また、判断領域３９の大きさや位置は固定し、判断領域３９の形状を、周辺情報に応じて変更してもよい。

例えば、周辺情報の内容が、自車両の周辺の道路が直線路であるという内容である場合、判断領域３９の形状を、台形又は三角形とすることができる。また、周辺情報の内容が、自車両の周辺の道路がカーブであるという内容である場合、判断領域３９の形状を、上記の台形又は三角形を変形した形状にすることができる。その変形した形状とは、台形又は三角形の底辺が、カーブの外側方向に延び、カーブの外側の縁、又はその近傍に至っている形状である。また、上記の変形した形状では、カーブの外側の境界線を、カーブの外側に膨らんだ曲線又は折れ線としてもよい。

また、判断領域３９の大きさや位置を周辺情報に応じて決定するとともに、判断領域３９の形状も、周辺情報に応じて決定してもよい。
（５）拡張幅ΔＡが幅Ｗ_Ｘより小さい場合でも、領域Ｘの全てを削除してもよい。そして、拡張幅ΔＡを、幅Ｗ_Ｘとすることができる。

（６）領域Ａを設定する方法は他の方法であってもよい。例えば、輝度ａを中心とし、一定の幅を有する領域を領域Ａとしてもよい。
（７）領域Ａ以外の領域の数は適宜設定できる。その数は、例えば、２、４、５、６・・・とすることができる。

（８）領域Ｂ、領域Ｃのうち一方だけを縮小し、他方は縮小しないようにしてもよい。また、領域Ａに隣接しない領域が存在する場合は、領域Ａに隣接しない領域を縮小してもよい。

（９）領域Ｂを、上限値Ｌ_Ｂを超えて縮小するようにしてもよい。また、領域Ｃを、上限値Ｌ_Ｃを超えて縮小するようにしてもよい。
（１０）判断領域決定ユニット１１は、天候情報に応じて判断領域３９の位置、大きさ、及び形状から成る群から選択される１以上を決定してもよい。例えば、天候が曇天の場合、それ以外の場合よりも、判断領域３９の位置を下げることができる。また、天候が吹雪の場合、それ以外の場合よりも、判断領域３９を大きくすることができる。また、天候が雪の場合の判断領域３９の形状を、後述するデフォルトの形状より縦長とし、それ以外の場合の形状をデフォルトの形状とすることができる。

（１１）視認性判断ユニット１２は、前記ステップ６の処理で使用する閾値を、天候情報に応じて設定することができる。例えば、天候が雨である場合は、それ以外の場合よりも閾値を大きくすることができる。上記の場合、視認性判断ユニット１２は、閾値設定ユニットに対応する。

（１２）前記ステップ６において、以下の方法で、判断領域３９におけるコントラストの大きさを判断してもよい。なお、コントラストが大きいことは、視認性が高いことに対応する。

まず、図１１に示すように、輝度ヒストグラム４３において、輝度ａを中心とする、幅が一定値である範囲Ｚを設定する。次に、範囲Ｚにおける平均度数を算出する。平均度数が閾値より大きければ、コントラストが小さいと判断する。一方、平均度数が閾値以下であれば、コントラストが大きいと判断する。

（１３）前記ステップ６において、以下の方法で、判断領域３９におけるコントラストの大きさを判断してもよい。なお、コントラストが大きいことは、視認性が高いことに対応する。

まず、図１１に示すように、輝度ヒストグラム４３において、輝度ａにおける度数Ｆａを取得する。度数Ｆａが閾値より大きければ、コントラストが小さいと判断する。一方、度数Ｆａが閾値以下であれば、コントラストが大きいと判断する。

（１４）前記ステップ６において、以下の方法で、判断領域３９におけるコントラストの大きさを判断してもよい。なお、コントラストが大きいことは、視認性が高いことに対応する。

まず、図１１に示すように、輝度ヒストグラム４３において、範囲Ｚでのピーク面積Ｓａを算出する。ピーク面積Ｓａが閾値より大きければ、コントラストが小さいと判断する。一方、ピーク面積Ｓａが閾値以下であれば、コントラストが大きいと判断する。

（１５）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（１６）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法等、種々の形態で本発明を実現することもできる。

１…画像処理装置、３…ＣＰＵ、５…メモリ、７…画像取得ユニット、９…周辺情報取得ユニット、１１…判断領域決定ユニット、１２…視認性判断ユニット、１３…輝度調整ユニット、１５…輝度取得ユニット、１７…区分ユニット、１９…領域調整ユニット、２７…天候情報取得ユニット、２９…拡張幅設定ユニット、３３…カメラ、３５…車両信号線、３７…ディスプレイ、３９…判断領域、４１…画像、４３…輝度ヒストグラム、４５…輝度ヒストグラム、４７…境界線

Claims (8)

1. 画像処理装置（１）であって、
   車両の周辺を表す画像を取得する画像取得ユニット（７）と、
   前記画像の一部である判断領域（３９）において、視認性が予め設定された閾値以下であるか否かを判断する視認性判断ユニット（１２）と、
   前記視認性が前記閾値以下であると前記視認性判断ユニットが判断した場合、前記画像における輝度を調整する輝度調整ユニット（１３）と、
   前記車両の周辺における状況を表す周辺情報を取得する周辺情報取得ユニット（９）と、
   前記周辺情報に応じて前記判断領域の位置、大きさ、及び形状から成る群から選択される１以上を決定する判断領域決定ユニット（１１）と、
   を備え、
   前記輝度調整ユニットは、
   前記判断領域における輝度ヒストグラムにて度数が最大である輝度ａを取得する輝度取得ユニット（１５）と、
   前記画像における輝度範囲を、前記輝度ａが属する領域Ａを含む複数の領域に区分する区分ユニット（１７）と、
   複数の前記領域のうち、属する画素数が予め設定された閾値以下である領域Ｘの少なくとも一部を削除する領域Ｘ削除ユニット（１９）と、
   前記領域Ａを、少なくとも、前記領域Ｘにおいて削除した幅ΔＸだけ、前記領域Ｘの側に拡張する領域Ａ拡張ユニット（１９）と、
   前記領域Ｘと前記領域Ａとの間に他の前記領域が存在する場合は、他の前記領域を前記領域Ｘの側に移動させる領域移動ユニット（１９）と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記周辺情報は、前記車両が走行中である道路の形状を表す情報、又は、前記車両の周辺に存在する物標を表す情報である画像処理装置。
3. 画像処理装置（１）であって、
   車両の周辺を表す画像を取得する画像取得ユニット（７）と、
   前記画像の一部である判断領域（３９）において、視認性が予め設定された閾値以下であるか否かを判断する視認性判断ユニット（１２）と、
   前記視認性が前記閾値以下であると前記視認性判断ユニットが判断した場合、前記画像における輝度を調整する輝度調整ユニット（１３）と、
   天候情報を取得する天候情報取得ユニットと、
   前記天候情報に応じて前記判断領域の位置、大きさ、及び形状から成る群から選択される１以上を決定する判断領域決定ユニット（１１）と、
   を備え、
   前記輝度調整ユニットは、
   前記判断領域における輝度ヒストグラムにて度数が最大である輝度ａを取得する輝度取得ユニット（１５）と、
   前記画像における輝度範囲を、前記輝度ａが属する領域Ａを含む複数の領域に区分する区分ユニット（１７）と、
   複数の前記領域のうち、属する画素数が予め設定された閾値以下である領域Ｘの少なくとも一部を削除する領域Ｘ削除ユニット（１９）と、
   前記領域Ａを、少なくとも、前記領域Ｘにおいて削除した幅ΔＸだけ、前記領域Ｘの側に拡張する領域Ａ拡張ユニット（１９）と、
   前記領域Ｘと前記領域Ａとの間に他の前記領域が存在する場合は、他の前記領域を前記領域Ｘの側に移動させる領域移動ユニット（１９）と、
   を備える画像処理装置。
4. 画像処理装置（１）であって、
   車両の周辺を表す画像を取得する画像取得ユニット（７）と、
   前記画像の一部である判断領域（３９）において、視認性が予め設定された閾値以下であるか否かを判断する視認性判断ユニット（１２）と、
   前記視認性が前記閾値以下であると前記視認性判断ユニットが判断した場合、前記画像における輝度を調整する輝度調整ユニット（１３）と、
   天候情報を取得する天候情報取得ユニットと、
   前記天候情報に応じて前記視認性の判断における前記閾値を設定する閾値設定ユニットと、
   を備え、
   前記輝度調整ユニットは、
   前記判断領域における輝度ヒストグラムにて度数が最大である輝度ａを取得する輝度取得ユニット（１５）と、
   前記画像における輝度範囲を、前記輝度ａが属する領域Ａを含む複数の領域に区分する区分ユニット（１７）と、
   複数の前記領域のうち、属する画素数が予め設定された閾値以下である領域Ｘの少なくとも一部を削除する領域Ｘ削除ユニット（１９）と、
   前記領域Ａを、少なくとも、前記領域Ｘにおいて削除した幅ΔＸだけ、前記領域Ｘの側に拡張する領域Ａ拡張ユニット（１９）と、
   前記領域Ｘと前記領域Ａとの間に他の前記領域が存在する場合は、他の前記領域を前記領域Ｘの側に移動させる領域移動ユニット（１９）と、
   を備える画像処理装置。
5. 請求項１〜４のいずれか１項に記載の画像処理装置であって、
   前記輝度調整ユニットは、複数の前記領域のうち、前記領域Ａ以外の領域である領域Ｙを幅ΔＹだけ縮小する領域Ｙ縮小ユニット（１９）をさらに備え、
   前記領域Ａ拡張ユニットは、少なくとも、前記幅ΔＸと前記幅ΔＹとの和だけ前記領域Ａを拡張するように構成された画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   少なくとも前記領域Ａの拡張幅である拡張幅ΔＡに応じて、前記幅ΔＹを設定する縮小幅設定ユニット（１９）をさらに備える画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記領域Ｙ縮小ユニットは、一方の側において前記領域Ａに隣接する領域Ｙ_１を幅ΔＹ_１だけ縮小するとともに、他方の側において前記領域Ａに隣接する領域Ｙ_２を幅ΔＹ_２だけ縮小するように構成され、
   前記領域Ａ拡張ユニットは、少なくとも、前記幅ΔＸと前記幅ΔＹ_１と前記幅ΔＹ_２との和だけ前記領域Ａを拡張するように構成され、
   前記幅ΔＹ_１と前記幅ΔＹ_２との比率は、以下の式（１）で表される画像処理装置。
   式（１） ΔＹ_１／ΔＹ_２＝Ｎ_１／Ｎ_２
   前記Ｎ_１は前記領域Ｙ_１に属する画素数であり、前記Ｎ_２は前記領域Ｙ_２に属する画素数である。
8. 請求項７に記載の画像処理装置であって、
   前記縮小幅設定ユニットは、予め決められた上限値以下の範囲で、前記幅ΔＹ_１及び前記幅ΔＹ_２を設定するように構成された画像処理装置。

Images