JPWO2012066609A1 - 環境推定装置及び車両制御装置 - Google Patents

Abstract

車両カメラで撮像されたカメラ画像を複数の画像領域に分割する画像領域分割部３と、画像領域分割部３に分割された複数の画像領域のうち、空が撮像されている画像領域から、当該画像領域の特徴を示す画像情報を抽出するカメラ画像情報抽出部４と、カメラ画像情報抽出部４によって抽出された画像情報に基づいて、画像領域の特徴と周辺環境の天候又は明暗との対応関係を示す対応データを参照することにより、周辺環境の天候又は明暗を推定する環境推定部５とを備える。

Description

この発明は、車両等に固定設置されたカメラで撮像したカメラ画像を基に当該車両等の周辺環境を推定する環境推定装置及びこの装置を用いた車両制御装置に関する。

車両に固定設置された車両カメラは、カメラ画像から車外の障害物の発見や駐車支援等に利用される。また、車両カメラのカメラ画像からは、撮像範囲の明るさを示す照度情報が得られ、この照度情報から特定される画面全体の照度によって、車両が位置する場所の明暗を判定することができる。この判定結果を利用すれば、ライトの自動点灯又は消灯が可能である。
例えば、特許文献１には、自車前方を撮像する撮像手段と、撮像手段により撮像された画像に基づいてライト類を点灯又は消灯させるライト制御を行うライト制御手段とを有するオートライト装置が開示されている。この装置では、自車前方の明るさ（ｃｄ／ｍ^２）が、予め設定されたレベル１（第１基準値）以上である場合には、ライトの消灯が選択され、予め設定されたレベル２（第２基準値）よりも明るく、かつレベル１未満の明るさである場合には、スモールライトの点灯が選択される。そして、レベル２未満の明るさであると、ヘッドライトの点灯が選択される。

特開２０１０−６１７２号公報

特許文献１に代表される従来の技術は、カメラ画像中で明るさを判断する領域を自車の走行状態や自車周囲の環境状態に基づいて設定している。このため、自車の走行状態として車速や操舵角度等の車両情報を検出するセンサが必要であり、また、カメラ画像から先行車両の有無や走行車線を認識して自車周囲の環境状態を特定する必要がある。
このように、従来の技術では、車両情報を検出するセンサや特別な画像認識処理チップが必要であり、構成の複雑化や部品点数の増加を招くという課題があった。

この発明は、上記のような課題を解決するためになされたもので、簡易な構成でカメラ画像から撮像対象の周辺環境を推定することができる環境推定装置を得ることを目的とする。また、この発明は、上記環境推定装置で推定された周辺環境に応じた車載機器の動作を制御する車両制御装置を得ることを目的とする。

この発明に係る環境推定装置は、撮像部で撮像された撮像画像を複数の画像領域に分割する画像領域分割部と、画像領域分割部に分割された複数の画像領域のうち、空が撮像されている画像領域から、当該画像領域の特徴を示す画像情報を抽出する情報抽出部と、情報抽出部によって抽出された画像情報に基づいて、画像領域の特徴と周辺環境の天候又は明暗との対応関係を示す対応データを参照することにより、周辺環境の天候又は明暗を推定する環境推定部とを備える。

この発明によれば、簡易な構成でカメラ画像から撮像対象の周辺環境を推定することができるという効果がある。

この発明の実施の形態１による環境推定装置を用いた車両制御装置の構成を示すブロック図である。 実施の形態１によるカメラ画像の分割処理の一例を示す図である。 画像領域の平均照度と周辺環境の照度状態及び車両ライトへの車両信号の内容との対応関係を示す図である。 実施の形態１による環境推定及び車両制御の流れを示すフローチャートである。 この発明の実施の形態２による環境推定装置を用いた車両制御装置の構成を示すブロック図である。 実施の形態２による環境推定及び車両制御の流れを示すフローチャートである。 画像領域の色相、色調及び色状態と周辺環境及び車両ライトへの車両信号の内容との対応関係の一例を示す図である。 この発明の実施の形態３による環境推定装置を用いた車両制御装置の構成を示すブロック図である。 各矩形画像領域の平均照度の関係と周辺環境及び車両信号の内容との対応関係の一例を示す図である。 実施の形態３による環境推定及び車両制御の流れを示すフローチャートである。 雨滴や雨膜による投影面上の被写体の変化を説明するための図である。 この発明の実施の形態４による環境推定装置を用いた車両制御装置の構成を示すブロック図である。 実施の形態４によるカメラ画像の分割処理の一例を示す図である。 実施の形態４による環境推定及び車両制御の流れを示すフローチャートである。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による環境推定装置を用いた車両制御装置の構成を示すブロック図である。図１において、実施の形態１の車両制御装置１は、車載機器の動作を制御する制御装置であり、環境推定装置２及び車両信号制御部６を備える。また、環境推定装置２は、車両カメラ（撮像部）で撮像されたカメラ画像（撮像画像）から当該車両の周辺環境を推定する装置であり、画像領域分割部３、カメラ画像情報抽出部（情報抽出部）４及び環境推定部５を備える。なお、車両カメラは、車外の風景のうち、特定の属性を有する風景の一部（例えば、空）が被写体に含まれる撮像範囲になるように、当該車両に固定設置されたカメラである。

画像領域分割部３は、車両カメラで撮像されたカメラ画像を所定の画像領域に分割する構成部である。例えば、カメラ画像を表示した画面の水平方向（左右方向）にＸ軸を割り当て、垂直方向（上下方向）にＹ軸を割り当てて、ＸＹ軸方向に所定のサイズで区画することにより、複数の矩形画像領域を規定する。なお、この実施の形態１では、カメラ画像を複数に分割した矩形画像領域の少なくとも１つの矩形画像領域が、空を撮像範囲に含むものとする。つまり、本発明の車両カメラは、所定の垂直画角を有するカメラを、被写体に空が含まれるように、車両への取り付け高さ、取り付け水平角度、取り付け垂直角度、車両幅の中心からの偏移の距離が固定される。

カメラ画像情報抽出部４は、画像領域分割部３によって複数に分割された画像領域からカメラ画像情報を抽出する構成部であり、単一領域輝度情報抽出部４１を有する。本発明でいうカメラ画像情報には、カメラ画像の被写体の形状情報、輝度情報及び色情報等が含まれる。単一領域輝度情報抽出部４１は、画像領域分割部３により得られた複数の画像領域のうち、被写体に空を含む画像領域から、当該画像領域内の画素の照度を平均した平均照度を、輝度情報として抽出する構成部である。

環境推定部５は、カメラ画像情報抽出部４で抽出されたカメラ画像情報から自車の周辺環境を推定する構成部である。実施の形態１では、環境推定部５が、単一領域輝度情報抽出部４１によって抽出された被写体に空を含む画像領域の平均照度と画像の照度に関する所定の閾値との大小比較の結果から、自車が位置する場所の周辺環境が暗いか明るいかを推定する。

車両信号制御部６は、環境推定部５による周辺環境の推定結果に応じて自車の車載機器の動作を制御する構成部である。実施の形態６では、環境推定部５による自車の周辺環境が暗いか明るいかの推定結果に応じて、周辺環境に適応した車両状態となるように車載機器を動作させる車両制御信号を生成する。例えば、自車の周辺環境が暗いと推定された場合には、車両ライトを点灯する車両制御信号を車両ＥＣＵ（Electric Control Unit）に出力する。車両ＥＣＵは、車両制御信号を受けると、当該車両制御信号に該当する車載機器を動作させる。

なお、図１では、実施の形態１の車両制御装置１を車両ＥＣＵとは別個の装置として設けた場合を示したが、車両ＥＣＵにおける１つの機能構成として設けてもかまわない。
また、画像領域分割部３、カメラ画像情報抽出部４、環境推定部５及び車両信号制御部６は、車両制御装置１又は車両ＥＣＵを構成するコンピュータが、本発明の趣旨に従う環境推定及び車両制御用プログラムを実行することにより、ソフトウェアとハードウェアとが協働した具体的手段として実現される。

図２は、実施の形態１によるカメラ画像の分割処理の一例を示す図である。図２に示すカメラ画像は、水平画角１８０度及び垂直画角１５０度のカメラを、車両幅の中央で、取り付け高さ２００ｍｍ、取り付け水平角度０度、取り付け垂直角度３０度で、車両の前方方向が撮像範囲になるように車両に固定設置したフロントカメラにより撮像された画像である。図２の例では、画像領域分割部３が、カメラ画像を表示した画面の水平方向（左右方向）にＸ軸を割り当て、垂直方向（上下方向）にＹ軸を割り当てて、ＸＹ軸方向に所定のサイズでそれぞれ３つに区画することにより、画像領域（ＸＹ＝１１〜３３）を規定している。すなわち、カメラ画像のＸ軸方向を、左矩形領域（Ｘ＝１）、中央矩形領域（Ｘ＝２）、右矩形領域（Ｘ＝３）に３分割し、Ｙ軸方向を、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）、下部矩形領域（Ｙ＝３）に３分割することにより、全部で９つの画像領域に分割している。

ここで、図２は、自車が都市を走行しているときのカメラ画像を示しており、車両カメラの被写体には、都市の建造物や樹木等の“地物”、自然風景である“空”、走行道路を示す“地面”が含まれる。各画像領域での主な被写体は、領域（ＸＹ＝１１）では建物の一部と空が主に映っていることから“地物と空”であり、領域（ＸＹ＝２１）では“空”、領域（ＸＹ＝３１）では樹木と空が主に映っているので“地物と空”である。また、領域（ＸＹ＝１２）では“地物”、領域（ＸＹ＝２２）も“地物”、領域（ＸＹ＝３２）では“地物”であり、領域（ＸＹ＝１３）では“地物と地面”、領域（ＸＹ＝２３）では“地面”、領域（ＸＹ＝３３）で“地物と地面”である。
また、自車が山間部を走行したときの車両カメラの被写体には、自然風景である“山”、“空”、走行道路を示す“地面”が含まれる。例えば、山道を走行し、自車の進行方向に山が遠目で見える場合、各画像領域での主な被写体は、領域（ＸＹ＝１１）では“山と空”、領域（ＸＹ＝２１）で“空”、領域（ＸＹ＝３１）で“山と空”である。また、領域（ＸＹ＝１２）で“山”、領域（ＸＹ＝２２）で“山と空”、領域（ＸＹ＝３２）では“山と空”であり、領域（ＸＹ＝１３）で“地面”、領域（ＸＹ＝２３）で“地面”、領域（ＸＹ＝３３）で“地面”である。
さらに、自車が都市以外の平野（建物がない草原など）を走行したときの車両カメラの被写体には、自然風景である草原などの“平野”、“空”、走行道路を示す“地面”が含まれる。例えば、平野を抜ける道路を走行している場合、各画像領域での主な被写体は、領域（ＸＹ＝１１）で“空”、領域（ＸＹ＝２１）で“空”、領域（ＸＹ＝３１）で“空”であり、領域（ＸＹ＝１２）で“平野”、領域（ＸＹ＝２２）で“平野と空”、領域（ＸＹ＝３２）では“平野”であり、領域（ＸＹ＝１３）で“地面”、領域（ＸＹ＝２３）で“地面”、領域（ＸＹ＝３３）で“地面”である。

このように、撮像方向を極端に地面に向けるようなことをせず、自車の周辺の所定方向の風景を遠目で見渡せる視野を有するように車両カメラを固定設置することにより、自車が屋外を走行して撮像を連続的又は周期的に繰り返せば、少なくとも被写体に空が含まれる場合が多くなる。例えば、図２では、車両より上方の風景が撮像される上部矩形領域（Ｙ＝１）に被写体に空が含まれる場合が多い。なお、通常の車両カメラは、自車の前方、後方あるいは側方の風景を遠目で見渡せる視野を有するように取り付けられている。
そこで、実施の形態１では、上部矩形領域（Ｙ＝１）における画像領域（ＸＹ＝１１，２１，３１）のうちの少なくとも１つの画像領域を、被写体に空を含む画像領域として規定する。

図３は、画像領域の平均照度と周辺環境の照度状態及び車両ライトへの車両信号の内容との対応関係を示す図である。図３において、閾値ＩＬＬ＿ａは、車両ライトを消灯していてもよい明るさを示す平均照度の下限値であり、環境推定部５に設定される。また、環境推定部５には、図３に示す平均照度と照度状態との対応関係を示すデータが設定されている。さらに、図３に示す照度状態と車両信号の内容との対応関係を示すデータは、車両信号制御部６に設定される。照度状態が“低”、すなわち、自車の周辺が暗い場合には、車両ライトの点灯を指示する車両信号ＩＬＬがオンとなり、照度状態が“高”、すなわち自車の周辺が明るい場合は、車両ライトの点灯を指示する車両信号ＩＬＬがオフとなる。

次に動作について説明する。
図４は、実施の形態１による環境推定及び車両制御の流れを示すフローチャートである。この図に沿って環境推定処理と車両制御処理の詳細を説明する。なお、装置の構成については、図１を参照する。
先ず、カメラ画像情報抽出部４の単一領域輝度情報抽出部４１が、画像領域分割部３により得られた複数の画像領域のうち、被写体に空を含む画像領域（「空」領域）から、当該画像領域内の画素の照度を平均した平均照度Ｅを検出する（ステップＳＴ１）。ここでは、車両カメラのカメラ画像のうち、図２の上部矩形領域（Ｙ＝１）に相当する画像領域の一部が、被写体に空を含む画像領域として特定される。以降では、単一領域輝度情報抽出部４１が、上部矩形領域（Ｙ＝１）のうち、被写体が主に空である領域（ＸＹ＝２１）を被写体に空を含む画像領域として特定し、その平均照度Ｅを検出した場合を述べる。

環境推定部５は、単一領域輝度情報抽出部４１から、被写体に空を含む画像領域（領域（ＸＹ＝２１））の平均照度Ｅを入力すると、平均照度Ｅが所定の閾値ＩＬＬ＿ａ未満であるか否かを判定する（ステップＳＴ２）。平均照度Ｅが所定の閾値ＩＬＬ＿ａ以上であると（ステップＳＴ２；ＮＯ）、環境推定部５は、この比較判定の結果に基づいて、図３に示した平均照度と照度状態との対応関係を示すデータを参照することにより、自車の周辺環境（空）は明るいと推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ３）。
車両信号制御部６は、自車の周辺環境（空）が明るいことを示す照度状態（高）の推定結果を受けると、この推定結果に基づいて、図３に示す照度状態と車両信号の内容との対応関係を示すデータを参照することで、車両ライトを消灯させる車両信号を車両ＥＣＵに出力する。これにより、車両ＥＣＵは、車両信号制御部６からの車両信号に従って、車両イルミネーションをオフする（ステップＳＴ４）。

一方、平均照度Ｅが所定の閾値ＩＬＬ＿ａ未満であると（ステップＳＴ２；ＹＥＳ）、環境推定部５は、この比較判定の結果に基づいて、図３に示した平均照度と照度状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は暗いと推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ５）。
車両信号制御部６は、自車の周辺環境（空）が暗いことを示す照度状態（低）の推定結果を受けると、この推定結果に基づいて、図３に示す照度状態と車両信号の内容との対応関係を示すデータを参照することにより、車両ライトを点灯する車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従って、車両イルミネーションをオンする（ステップＳＴ６）。
ステップＳＴ４又はステップＳＴ６の処理を完了すると、ステップＳＴ１に戻り、上記処理を繰り返して空の明暗の変化を監視し、この変化に応じた車載機器（車両ライト）の制御を行う。

なお、ステップＳＴ２の環境推定処理において、閾値ＩＬＬ＿ａを平均照度Ｅに関する第１の閾値とし、この閾値ＩＬＬ＿ａより小さい値の閾値ＩＬＬ＿ｂを第２の閾値としてを設け、第１及び第２の閾値で規定される照度範囲を用いて、より詳細に明暗を推定するようにしてもよい。
例えば、平均照度Ｅが閾値ＩＬＬ＿ａ以上の場合には、自車の周辺環境（空）が明るいと推定し、自車の全ての車両ライトを消灯する。平均照度Ｅが閾値ＩＬＬ＿ｂ未満である場合は、自車の周辺環境（空）が暗いと推定し、車両ライトのうち、ヘッドライトを点灯する。また、平均照度Ｅが閾値ＩＬＬ＿ａ未満で閾値ＩＬＬ＿ｂ以上の場合には、自車の周辺環境（空）がやや明るいと推定し、車両ライトのうち、スモールライトを点灯する。

以上のように、この実施の形態１によれば、車両カメラで撮像されたカメラ画像を複数の画像領域に分割する画像領域分割部３と、画像領域分割部３に分割された複数の画像領域のうち、空が撮像されている画像領域から、当該画像領域の特徴を示す画像情報を抽出するカメラ画像情報抽出部４と、カメラ画像情報抽出部４によって抽出された画像情報に基づいて、画像領域の特徴と周辺環境の天候又は明暗との対応関係を示す対応データを参照することにより、周辺環境の天候又は明暗を推定する環境推定部５とを備える。
特に、カメラ画像情報抽出部４が、空が撮像されている画像領域から、その輝度情報を抽出し、環境推定部５が、カメラ画像情報抽出部４によって抽出された輝度情報に基づいて、画像領域の輝度情報と周辺環境の明暗との対応関係を示す対応データを参照することにより、周辺環境の明暗を推定する。
このように、車両に固定設置された車両カメラのカメラ画像を分割した複数の画像領域のうち、被写体に空を含む画像領域は、一定位置の画像領域として特定できることから、この画像領域の平均照度Ｅを用いれば、自車の周辺環境の明暗の推定が可能である。これにより、専用の照度センサや画像認識用チップが不要であり、簡易な構成で自車の周辺環境を推定できる。

実施の形態２．
図５は、この発明の実施の形態２による環境推定装置を用いた車両制御装置の構成を示すブロック図である。図５において、実施の形態２の車両制御装置１Ａは、車載機器の動作を制御する制御装置であり、環境推定装置２ａ及び車両信号制御部６を備える。また、環境推定装置２ａは、車両カメラで撮像されたカメラ画像から当該車両の周辺環境を推定する装置であり、画像領域分割部３、カメラ画像情報抽出部４ａ及び環境推定部５ａを備える。なお、図５において、図１と同一構成要素には同一符号を付して説明を省略する。

カメラ画像情報抽出部４ａは、画像領域分割部３によって複数に分割された画像領域からカメラ画像情報を抽出する構成部であり、単一領域色情報抽出部４２を有する。単一領域色情報抽出部４２は、画像領域分割部３により得られた複数の画像領域のうち、被写体に空を含む画像領域から、当該画像領域内の画素の色相を平均した平均色相Ｈ、画素の彩度を平均した平均彩度Ｓ及び画素の明度を平均した平均明度Ｖを、色情報として抽出する構成部である。

環境推定部５ａは、カメラ画像情報抽出部４ａで抽出されたカメラ画像情報から自車の周辺環境を推定する構成部である。実施の形態２では、環境推定部５ａが、単一領域色情報抽出部４２によって抽出された被写体に空を含む画像領域の平均色相Ｈ、平均彩度Ｓ、平均明度Ｖと、これらに関する所定の閾値との大小比較の結果から、自車が位置する場所の周辺環境を推定する。

次に動作について説明する。
図６は、実施の形態２による環境推定及び車両制御の流れを示すフローチャートである。この図に沿って環境推定処理と車両制御処理の詳細を説明する。なお、装置の構成については、図５を参照する。
先ず、カメラ画像情報抽出部４ａの単一領域色情報抽出部４２が、画像領域分割部３により得られた複数の画像領域のうち、被写体に空を含む画像領域から、当該画像領域内の画素の色相を平均した平均色相Ｈ、画素の彩度を平均した平均彩度Ｓ及び画素の明度を平均した平均明度Ｖを検出する（ステップＳＴ１ａ）。ここでは、車両カメラのカメラ画像のうち、上記実施の形態１で示した図２の上部矩形領域（Ｙ＝１）が、被写体に空を含む画像領域として特定される。

環境推定部５ａは、単一領域色情報抽出部４２から、被写体に空を含む画像領域の平均色相Ｈ、平均彩度Ｓ及び平均明度Ｖを入力すると、平均色相Ｈが所定の色相範囲Ｈ＿ａ（１７０度より大きく２５０度より小さい色相範囲）であるか否かを判定する（ステップＳＴ２ａ−１）。また、環境推定部５ａは、平均彩度Ｓが所定の彩度閾値Ｓ＿ａ（図６の例では５０）より大きいか否かを判定する（ステップＳＴ２ａ−２）。さらに、環境推定部５ａは、平均明度Ｖが所定の明度閾値Ｖ＿ａ（図６の例では３０）より大きいか否かを判定する（ステップＳＴ２ａ−３）。

平均色相Ｈが所定の色相範囲Ｈ＿ａにはない場合（ステップＳＴ２ａ−１；ＮＯ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均色相と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は青くないと推定して、この推定結果を車両信号制御部６に出力する（ステップＳＴ３ａ−１）。
また、平均彩度Ｓが所定の彩度閾値Ｓ＿ａより大きくない場合（ステップＳＴ２ａ−２；ＮＯ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均彩度と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は霞んでいると推定して、この推定結果を車両信号制御部６に出力する（ステップＳＴ３ａ−２）。
さらに、平均明度Ｖが所定の明度閾値Ｖ＿ａより大きくない場合（ステップＳＴ２ａ−３；ＮＯ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均明度と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は暗いと推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ３ａ−３）。

一方、平均色相Ｈが所定の色相範囲Ｈ＿ａにある場合（ステップＳＴ２ａ−１；ＹＥＳ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均色相と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は青いと推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ４ａ−１）。
また、平均彩度Ｓが所定の彩度閾値Ｓ＿ａよりも大きい場合（ステップＳＴ２ａ−２；ＹＥＳ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均彩度と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）の色彩は、くっきりしていると推定して、この推定結果を車両信号制御部６に出力する（ステップＳＴ４ａ−２）。
さらに、平均明度Ｖが所定の明度閾値Ｖ＿ａより大きい場合（ステップＳＴ２ａ−３；ＹＥＳ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均明度と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は明るいと推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ４ａ−３）。

車両信号制御部６は、自車の周辺環境（空）が青くない（ステップＳＴ３ａ−１）、あるいは、自車の周辺環境（空）は霞んでいる（ステップＳＴ３ａ−２）との推定結果を受けると、この推定結果に基づいて、予め設定された色状態と車両信号の内容との対応関係を示すデータを参照することで、スモールライトを点灯させる車両信号を車両ＥＣＵに出力する。これにより、車両ＥＣＵは、車両信号制御部６からの車両信号に従って、スモールライトを点灯する（ステップＳＴ５ａ）。

また、車両信号制御部６は、自車の周辺環境（空）が青く（ステップＳＴ４ａ−１）、かつ自車の周辺環境（空）の色彩がくっきりしており（ステップＳＴ４ａ−２）、かつ自車の周辺環境（空）は明るい（ステップＳＴ４ａ−３）との推定結果を受けると、この推定結果に基づいて、予め設定された色状態と車両信号の内容との対応関係を示すデータを参照することで、車両ライトを消灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従って車両ライトを消灯する（ステップＳＴ６ａ）。

さらに、車両信号制御部６は、自車の周辺環境（空）が暗い（ステップＳＴ３ａ−３）という推定結果を受けると、この推定結果に基づいて、予め設定された色状態と車両信号の内容との対応関係を示すデータを参照することで、ヘッドライトを点灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従って、ヘッドライトを点灯する（ステップＳＴ７ａ）。
ステップＳＴ５ａ、ステップＳＴ６ａ又はステップＳＴ７ａの処理を完了すると、ステップＳＴ１ａに戻り、上記処理を繰り返して自車の周辺環境の変化を監視し、この変化に応じた車載機器（車両ライト）の制御を行う。

なお、ステップＳＴ２ａ−１〜２ａ−３の環境推定処理において、平均色相Ｈ、平均彩度Ｓ及び平均明度Ｖについての各閾値を組み合わせた判定範囲を設定して、周囲環境の状態をより詳細に推定するようにしてもよい。
図７は、画像領域の色相、色調及び色状態と周辺環境及び車両ライトへの車両信号の内容との対応関係の一例を示す図である。図７の例では、被写体に空を含む画像領域（上部矩形領域（Ｙ＝１））の平均色相Ｈが所定の色相範囲Ｈ＿ａにあり、かつその平均彩度Ｓが所定の彩度閾値Ｓ＿ａよりも大きく、かつその平均明度Ｖが所定の明度閾値Ｖ＿ａよりも大きい場合、自車の周辺環境（空）が青い色状態であると判断して、自車の周辺環境が昼で天気（晴れ）であると推定し、車両ライトを消灯する。
被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａにあり、かつその平均彩度Ｓが所定の彩度閾値Ｓ＿ａよりも大きいが、その平均明度Ｖが所定の明度閾値Ｖ＿ａ以下であると、自車の周辺環境（空）が黒い色状態であると判断して、自車の周辺環境が夜であると推定し、車両ライト（ヘッドライト）を点灯する。
また、被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａにあるが、その平均彩度Ｓが所定の彩度閾値Ｓ＿ａ以下であり、その平均明度Ｖが所定の明度閾値Ｖ＿ａよりも大きい場合は、自車の周辺環境（空）が灰色の色状態であると判断して、自車の周辺環境が昼で曇天であると推定し、車両ライト（スモールライト）を点灯する。
さらに、被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａにあるが、その平均彩度Ｓが所定の彩度閾値Ｓ＿ａ以下、かつその平均明度Ｖが所定の明度閾値Ｖ＿ａ以下である場合、自車の周辺環境（空）が黒い色状態にあると判断して、自車の周辺環境が夜であると推定し、車両ライト（ヘッドライト）を点灯する。

被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａになく、かつその平均彩度Ｓが所定の彩度閾値Ｓ＿ａよりも大きく、その平均明度Ｖが所定の明度閾値Ｖ＿ａよりも大きい場合、自車の周辺環境（空）が橙色の色状態であると判断して、自車の周辺環境が夕方で天気（晴れ）であると推定し、車両ライト（スモールライト又はヘッドライト）を点灯する。
被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａになく、かつその平均彩度Ｓが所定の彩度閾値Ｓ＿ａよりも大きいが、その平均明度Ｖが所定の明度閾値Ｖ＿ａ以下であると、自車の周辺環境（空）が黒い色状態であると判断して、自車の周辺環境が夜であると推定し、車両ライト（ヘッドライト）を点灯する。
また、被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａになく、その平均彩度Ｓが所定の彩度閾値Ｓ＿ａ以下であり、その平均明度Ｖが所定の明度閾値Ｖ＿ａよりも大きい場合には、自車の周辺環境（空）が赤灰色の色状態であると判断して、自車の周辺環境が夕方で曇天であると推定し、車両ライト（スモールライト又はヘッドライト）を点灯する。
さらに、被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａになく、その平均彩度Ｓが所定の彩度閾値Ｓ＿ａ以下かつその平均明度Ｖが所定の明度閾値Ｖ＿ａ以下である場合、自車の周辺環境（空）が黒い色状態にあると判断して、自車の周辺環境が夜であると推定し、車両ライト（ヘッドライト）を点灯する。

以上のように、この実施の形態２によれば、カメラ画像情報抽出部４ａが、空が撮像されている画像領域の色情報を抽出し、環境推定部５ａが、カメラ画像情報抽出部４ａによって抽出された色情報に基づいて、画像領域の色情報と周辺環境の天候及び明暗との対応関係を示す対応データを参照することにより、周辺環境の天候及び明暗を推定する。このように、車両に固定設置された車両カメラのカメラ画像を分割した複数の画像領域のうち、被写体に空を含む画像領域は一定位置の画像領域として特定できることから、この画像領域の平均色相Ｈ、平均彩度Ｓ及び平均明度Ｖを用いて自車の周辺環境を推定することから、専用センサや画像認識用チップが不要であり、簡易な構成で自車の周辺環境を推定できる。

実施の形態３．
図８は、この発明の実施の形態３による環境推定装置を用いた車両制御装置の構成を示すブロック図である。図８において、実施の形態３の車両制御装置１Ｂは、車載機器の動作を制御する制御装置であり、環境推定装置２ｂ及び車両信号制御部６を備える。また、環境推定装置２ｂは、車両カメラで撮像されたカメラ画像から当該車両の周辺環境を推定する装置であり、画像領域分割部３、カメラ画像情報抽出部４ｂ及び環境推定部５ｂを備える。なお、図８において、図１と同一構成要素には同一符号を付して説明を省略する。

カメラ画像情報抽出部４ｂは、画像領域分割部３によって複数に分割された画像領域からカメラ画像情報を抽出する構成部であり、複数領域輝度情報抽出部４３を有する。複数領域輝度情報抽出部４３は、画像領域分割部３により得られた複数の画像領域を上部、中部、下部の３つの画像領域に区画して、上部、中部、下部に区画された各画像領域内の画素の照度をそれぞれ平均した平均照度Ｅ１，Ｅ２，Ｅ３を、輝度情報として抽出する構成部である。
なお、上部、中部、下部に区画された３つの画像領域とは、上記実施の形態１で示した図２の上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）、下部矩形領域（Ｙ＝３）に相当するものである。以降の説明では、複数領域輝度情報抽出部４３が、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）、下部矩形領域（Ｙ＝３）から、平均照度Ｅ１，Ｅ２，Ｅ３を求めるものとする。

環境推定部５ｂは、カメラ画像情報抽出部４ｂで抽出されたカメラ画像情報から自車の周辺環境を推定する構成部である。実施の形態３では、環境推定部５ｂが、複数領域輝度情報抽出部４３によって抽出された上部、中部、下部に区画された画像領域の各平均照度Ｅ１，Ｅ２，Ｅ３とこれらに関する所定の閾値との大小比較の結果から、自車が位置する場所の周辺環境を推定する。

図９は、実施の形態３における、各矩形画像領域の平均照度の関係と周辺環境及び車両信号の内容との対応関係の一例を示す図である。図９において、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）及び下部矩形領域（Ｙ＝３）の平均照度Ｅ１，Ｅ２，Ｅ３がとり得る値の関係と環境推定の内容との対応関係を示すデータは、環境推定部５ｂに設定される。また、図９に示す環境推定の内容と車両信号の内容との対応関係を示すデータは、車両信号制御部６に設定される。

例えば、環境推定の内容が昼であり、かつ雨でない場合（昼快晴、昼晴れ、昼曇り）には、車両ライトの点灯を指示する車両信号ＩＬＬがオフ、ワイパーの駆動を指示する車両信号がオフ、フォグライトの点灯を指示する車両信号がオフとなる。
環境推定の内容が昼であるが、霧の場合には、車両ライトのうち、スモールライトの点灯を指示する車両信号ＩＬＬがオンとなり、ワイパーの駆動を指示する車両信号がオフ、フォグライトの点灯を指示する車両信号がオンとなる。
環境推定の内容が夜であり、かつ雨でない場合は、車両ライト（ヘッドライト）の点灯を指示する車両信号ＩＬＬがオン、ワイパーの駆動を指示する車両信号がオフ、フォグライトの点灯を指示する車両信号がオフとなる。また、環境推定の内容が夜で雨の場合は、これに加えてワイパーの駆動を指示する車両信号がオンとなる。
環境推定の内容が昼であり、かつ雨の場合には、車両ライトのうち、スモールライトの点灯を指示する車両信号ＩＬＬがオンとなり、ワイパーの駆動を指示する車両信号がオン、フォグライトの点灯を指示する車両信号がオフとなる。

次に動作について説明する。
図１０は、実施の形態３による環境推定及び車両制御の流れを示すフローチャートである。この図に沿って環境推定処理と車両制御処理の詳細を説明する。なお、装置の構成については、図８を参照する。
先ず、カメラ画像情報抽出部４ｂの複数領域輝度情報抽出部４３が、画像領域分割部３により得られた複数の画像領域のうち、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）及び下部矩形領域（Ｙ＝３）から、上部矩形領域（Ｙ＝１）の平均照度Ｅ１、中部矩形領域（Ｙ＝２）の平均照度Ｅ２、下部矩形領域（Ｙ＝３）の平均照度Ｅ３を検出する（ステップＳＴ１ｂ）。

次に、環境推定部５ｂは、複数領域輝度情報抽出部４３から、上部矩形領域（Ｙ＝１）の平均照度Ｅ１、中部矩形領域（Ｙ＝２）の平均照度Ｅ２、下部矩形領域（Ｙ＝３）の平均照度Ｅ３を入力すると、平均照度Ｅ２が平均照度Ｅ３よりも大きくなく、かつ平均照度Ｅ１が平均照度Ｅ２，Ｅ３のいずれよりも大きい照度関係（Ｅ２＞Ｅ３ではなく、Ｅ１＞Ｅ２，Ｅ３）にあるか否かを判定する（ステップＳＴ２ｂ）。
この照度関係にあれば（ステップＳＴ２ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することで、自車の周辺環境は昼で晴れであると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ３ｂ）。
一方、この照度関係にない場合（ステップＳＴ２ｂ；ＮＯ）、環境推定部５ｂは、平均照度Ｅ１が平均照度Ｅ２，Ｅ３のいずれよりも大きく、かつ平均照度Ｅ２が平均照度Ｅ３よりも大きい照度関係（Ｅ１＞Ｅ２，Ｅ３かつＥ２＞Ｅ３）にあるか否かを判定する（ステップＳＴ４ｂ）。
ここで、Ｅ１＞Ｅ２，Ｅ３かつＥ２＞Ｅ３の照度関係にある場合（ステップＳＴ４ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することにより、自車の周辺環境は昼で曇りであると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ５ｂ）。

また、Ｅ１＞Ｅ２，Ｅ３かつＥ２＞Ｅ３の照度関係にない場合（ステップＳＴ４ｂ；ＮＯ）、環境推定部５ｂは、平均照度Ｅ１，Ｅ３のいずれも平均照度Ｅ２よりも大きいか、又は平均照度Ｅ１，Ｅ２，Ｅ３がほぼ同一の値である照度関係（Ｅ１，Ｅ３＞Ｅ２、又はＥ１≒Ｅ２≒Ｅ３）にあるか否かを判定する（ステップＳＴ６ｂ）。
この照度関係にあれば（ステップＳＴ６ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することで、自車の周辺環境は霧であると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ７ｂ）。
一方、この照度関係にない場合（ステップＳＴ６ｂ；ＮＯ）、環境推定部５ｂは、平均照度Ｅ３が平均照度Ｅ１よりも大きくなく、かつ平均照度Ｅ２が平均照度Ｅ１，Ｅ３のいずれよりも大きい照度関係（Ｅ３＞Ｅ１でなく、Ｅ２＞Ｅ１，Ｅ３）にあるか否かを判定する（ステップＳＴ８ｂ）。
ここで、Ｅ３＞Ｅ１でなく、Ｅ２＞Ｅ１，Ｅ３の照度関係にある場合（ステップＳＴ８ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することで、自車の周辺環境は夜であると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ９ｂ）。

Ｅ３＞Ｅ１でなく、Ｅ２＞Ｅ１，Ｅ３の照度関係にない場合（ステップＳＴ８ｂ；ＮＯ）、環境推定部５ｂは、平均照度Ｅ２が平均照度Ｅ１，Ｅ３のいずれよりも大きく、かつ平均照度Ｅ３が平均照度Ｅ１よりも大きい照度関係（Ｅ２＞Ｅ１，Ｅ３、かつＥ３＞Ｅ１）にあるか否かを判定する（ステップＳＴ１０ｂ）。
この照度関係にあれば（ステップＳＴ１０ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することで、自車の周辺環境は夜で雨であると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ１１ｂ）。
一方、この照度関係にない場合（ステップＳＴ１０ｂ；ＮＯ）、環境推定部５ｂは、平均照度Ｅ２が平均照度Ｅ１よりも大きくなく、かつ平均照度Ｅ３が平均照度Ｅ１，Ｅ２のいずれよりも大きい照度関係（Ｅ２＞Ｅ１でなく、Ｅ３＞Ｅ１，Ｅ２）にあるか否かを判定する（ステップＳＴ１２ｂ）。
ここで、Ｅ２＞Ｅ１でなく、かつＥ３＞Ｅ１，Ｅ２の照度関係にある場合（ステップＳＴ１２ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することにより、自車の周辺環境は雨であると推定して、この推定結果を車両信号制御部６に出力する（ステップＳＴ１３ｂ）。
Ｅ２＞Ｅ１でなく、かつＥ３＞Ｅ１，Ｅ２の照度関係になければ（ステップＳＴ１２ｂ；ＮＯ）、ステップＳＴ１ｂに戻り、上記処理を繰り返して自車の周辺環境の変化を監視し、この変化に応じた車載機器の制御を行う。

車両信号制御部６は、自車の周辺環境が昼で晴れ（ステップＳＴ３ｂ）、あるいは自車の周辺環境が昼で曇り（ステップＳＴ５ｂ）、自車の周辺環境が霧（ステップＳＴ７ｂ）、自車の周辺環境が夜（ステップＳＴ９ｂ）という推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、ワイパーを停止させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従いワイパーを停止する（ステップＳＴ１４ｂ）。
また、車両信号制御部６は、自車の周辺環境が昼で曇り（ステップＳＴ５ｂ）との推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、車両ライトを消灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従い、車両ライトを消灯する（ステップＳＴ１５ｂ）。

さらに、車両信号制御部６は、自車の周辺環境が霧（ステップＳＴ７ｂ）という推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、フォグライトを点灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従い、フォグライトを点灯する（ステップＳＴ１６ｂ）。
また、車両信号制御部６は、自車の周辺環境が夜（ステップＳＴ９ｂ）であるか、あるいは自車の周辺環境が夜で雨（ステップＳＴ１１ｂ）という推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、車両ライトを消灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従い、車両ライトのうち、ヘッドライトを点灯する（ステップＳＴ１７ｂ）。

車両信号制御部６は、自車の周辺環境が夜で雨（ステップＳＴ１１ｂ）、あるいは自車の周辺環境が雨（ステップＳＴ１３ｂ）という推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、ワイパーを駆動させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従い、ワイパーを駆動する（ステップＳＴ１８ｂ）。
また、車両信号制御部６は、自車の周辺環境が雨（ステップＳＴ１３ｂ）という推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、スモールライトを点灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従い、スモールライトを消灯する（ステップＳＴ１９ｂ）。

ステップＳＴ１４ｂ、ステップＳＴ１５ｂ、ステップＳＴ１６ｂ、ステップＳＴ１７ｂ、ステップＳＴ１８ｂ又はステップＳＴ１９ｂの処理を完了すると、ステップＳＴ１ｂに戻り、環境推定部５ｂは、上記処理を繰り返して自車の周辺環境の変化を監視して、この変化に応じた車載機器の制御を行う。

以上のように、この実施の形態３によれば、カメラ画像情報抽出部４ｂが、画像領域分割部３に分割された複数の画像領域のうち、少なくとも空が撮像されている画像領域を含む上部画像領域（Ｙ＝１）、及び地面が撮像されている下部画像領域（Ｙ＝３）の輝度情報をそれぞれ抽出し、環境推定部５ｂが、カメラ画像情報抽出部４ｂによって抽出された各輝度情報に基づいて、各画像領域の輝度情報と周辺環境の天候及び明暗との対応関係を示す対応データを参照することにより、周辺環境の天候及び明暗を推定する。
このように、車両に固定設置された車両カメラのカメラ画像を、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）及び下部矩形領域（Ｙ＝３）の３つの画像領域に区画しておき、各画像領域の平均照度Ｅ１，Ｅ２，Ｅ３の関係を用いて自車の周辺環境を推定することから、専用センサや画像認識用チップが不要であり、簡易な構成で自車の周辺環境を推定できる。

実施の形態４．
実施の形態４は、車両カメラで撮像されたカメラ画像上のマーカーの形状が変化したか否かに応じて、自車の周辺環境を推定する。具体的には、車両カメラの投影面上の被写体の像が変化した場合に、当該車両カメラのカメラレンズ上の雨滴や雨膜によって光の反射や屈折が発生したと判断して自車の周辺が雨天であると推定する。

図１１は、雨滴による投影面上の被写体の変化を説明するための図である。図１１（ａ）に示すように、カメラレンズ７の表面上に雨滴や雨膜がない場合には、カメラレンズ７における光の屈折現象によって、被写体Ｓ０は、車両カメラ内の投影面に像Ｓ１を結ぶ。実施の形態４では、車両カメラの撮像範囲内に含まれる車体の一部に特定形状のマーカーを設け、このマーカーの形状を示す被写体形状データを予め用意しておく。
自車の周辺が雨になって、図１１（ｂ）に示すように、カメラレンズ７上に雨滴や雨膜のような光を屈折させる異物８が付着すると、カメラレンズ７での屈折に加え、異物８での屈折も起こることから、被写体Ｓ０は、車両カメラ内の投影面において、図１１（ａ）とは異なる像Ｓ２を結ぶ。この場合、カメラ画像上で被写体Ｓ０の形状が変化する。
従って、カメラ画像におけるマーカーが、予め用意した被写体形状データで規定される形状から変化した場合には、自車の周辺が雨天であると判断できる。

図１２は、この発明の実施の形態４による環境推定装置を用いた車両制御装置の構成を示すブロック図であり、図１と同一構成要素には同一符号を付して説明を省略する。図１２において、実施の形態４の車両制御装置１Ｃは、車載機器の動作を制御する制御装置であり、環境推定装置２ｃ及び車両信号制御部６を備える。
また、環境推定装置２ｃは、車両カメラで撮像されたカメラ画像から当該車両の周辺環境を推定する装置であり、画像領域分割部３、カメラ画像情報抽出部４ｃ及び環境推定部５ｃを備える。なお、この実施の形態４では、車体の一部が撮像範囲内に含まれるように車両カメラを固定設置しておき、当該車体の一部に特定形状のマーカーを設ける。

カメラ画像情報抽出部４ｃは、画像領域分割部３によって複数に分割された画像領域からカメラ画像情報を抽出する構成部であり、被写体形状抽出部４４、被写体形状判定部４５及び特定形状記憶部４６を有する。
被写体形状抽出部４４は、画像領域分割部３により得られた複数の画像領域から、特定形状のマーカーを設けた車体の一部が撮像されている画像領域を特定し、この画像領域でのマーカーの形状を抽出する構成部である。
被写体形状判定部４５は、被写体形状抽出部４４に抽出された画像領域でのマーカーの形状と、特定形状記憶部４６に記憶される特定形状データが示す形状とが一致するか否かを判定する構成部であり、この形状判定結果をカメラ画像情報であるものとして環境推定部５ｃへ出力する。
特定形状記憶部４６は、車両カメラのカメラレンズに光の屈折を生じる雨滴等の異物がない状態における、カメラ画像でのマーカーの形状を示す特定形状データを記憶する記憶部である。

環境推定部５ｃは、カメラ画像情報抽出部４ｃから入力したカメラ画像情報から自車の周辺環境を推定する構成部である。実施の形態４では、環境推定部５ｃが、被写体形状判定部４５による形状判定の結果から、自車が位置する場所の周辺環境を推定する。
すなわち、画像領域でのマーカーの形状と特定形状データが示す形状とが一致しなければ、車両カメラのカメラレンズ７に雨滴や雨膜のような異物８が付着しており、自車の周辺が、異物８を付着させるような例えば雨天であると推定する。
また、画像領域でのマーカーの形状と特定形状データが示す形状とが一致していれば、自車の周辺が、雨ではなく、カメラレンズ７に異物８が付着しない天候であると推定される。

図１３は、実施の形態４によるカメラ画像の分割処理の一例を示す図である。図１３に示すカメラ画像は、水平画角１８０度及び垂直画角１５０度のカメラを、車両幅の中央で、取り付け高さ５００ｍｍ、取り付け水平角度０度、取り付け垂直角度４５度で、車両の後方が撮像範囲になるように車両に固定設置したリアカメラにより撮像された画像である。図１３の例では、画像領域分割部３が、カメラ画像を表示した画面の水平方向（左右方向）にＸ軸を割り当て、垂直方向（上下方向）にＹ軸を割り当てて、Ｘ軸方向に所定のサイズで３つに区画し、Ｙ軸方向に所定のサイズで４つに区画することにより、画像領域（ＸＹ＝１１〜３４）を規定している。すなわち、カメラ画像のＸ軸方向を、左矩形領域（Ｘ＝１）、中央矩形領域（Ｘ＝２）、右矩形領域（Ｘ＝３）に３分割し、Ｙ軸方向を、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）、下部矩形領域（Ｙ＝３）、及び最下部矩形領域（Ｙ＝４）に４分割することにより、全部で１２個の画像領域に分割している。

ここで、図１３は、自車が都市を走行しているときのカメラ画像を示しており、車両カメラの被写体には、都市の建造物や樹木等の“地物”、自然風景である“空”、走行道路を示す“地面”、特定形状のマーカーＳ０を設けた車体の一部９である“ボディ”が含まれる。なお、この車体の一部９としては、例えばバンパーやナンバープレートが挙げられる。

各画像領域での主な被写体は、領域（ＸＹ＝１１）では建物の一部と空が主に映っていることから“地物と空”であり、領域（ＸＹ＝２１）では“空”、領域（ＸＹ＝３１）では樹木と空が主に映っているので“地物と空”である。また、領域（ＸＹ＝１２）では“地物”、領域（ＸＹ＝２２）も“地物”、領域（ＸＹ＝３２）でも“地物”であり、領域（ＸＹ＝１３）では“地物と地面”、領域（ＸＹ＝２３）では“地面”、領域（ＸＹ＝３３）では“地物と地面”である。さらに、領域（ＸＹ＝１４）、領域（ＸＹ＝２４）、領域（ＸＹ＝３４）では“ボディ”である。
また、自車が山間部を走行したときの車両カメラの被写体には、自然風景である“山”、“空”、走行道路を示す“地面”、車体の一部９である“ボディ”が含まれる。
例えば、山道を走行し、自車の進行方向に山が遠目で見える場合、各画像領域での主な被写体は、領域（ＸＹ＝１１）では“山と空”、領域（ＸＹ＝２１）で“空”、領域（ＸＹ＝３１）で“山と空”である。また、領域（ＸＹ＝１２）で“山”、領域（ＸＹ＝２２）で“山と空”、領域（ＸＹ＝３２）でも“山と空”であり、領域（ＸＹ＝１３）で“地面”、領域（ＸＹ＝２３）で“地面”、領域（ＸＹ＝３３）で“地面”である。さらに、領域（ＸＹ＝１４）、領域（ＸＹ＝２４）、領域（ＸＹ＝３４）では“ボディ”である。
さらに、自車が都市以外の平野（建物がない草原など）を走行したときの車両カメラの被写体には、自然風景である草原などの“平野”、“空”、走行道路を示す“地面”が含まれる。例えば、平野を抜ける道路を走行している場合、各画像領域での主な被写体は、領域（ＸＹ＝１１）で“空”、領域（ＸＹ＝２１）で“空”、領域（ＸＹ＝３１）で“空”であり、領域（ＸＹ＝１２）で“平野”、領域（ＸＹ＝２２）で“平野と空”、領域（ＸＹ＝３２）では“平野”であり、領域（ＸＹ＝１３）で“地面”、領域（ＸＹ＝２３）で“地面”、領域（ＸＹ＝３３）で“地面”である。領域（ＸＹ＝１４）、領域（ＸＹ＝２４）、領域（ＸＹ＝３４）では“ボディ”である。

このように、特定形状のマーカーＳ０を設けた車体の一部９を視野に含むように車両カメラを固定設置することにより、自車が屋外を走行して撮像を連続的又は周期的に繰り返せば、少なくとも被写体に車体の一部９が含まれる。例えば、図１３では、最下部矩形領域（Ｙ＝４）に被写体に車体の一部９が含まれている。
そこで、この実施の形態４では、最下部矩形領域（Ｙ＝４）における画像領域（ＸＹ＝１４，２４，３４）の画像領域を、車体の一部９を含む画像領域として規定する。また、画像領域（ＸＹ＝２４）を被写体に特定形状のマーカーＳ０を含む画像領域と規定する。

次に動作について説明する。
図１４は、実施の形態４による環境推定及び車両制御の流れを示すフローチャートである。この図に沿って環境推定処理と車両制御処理の詳細を説明する。なお、装置の構成については、図１２を参照する。
先ず、カメラ画像情報抽出部４ｃの被写体形状抽出部４４が、画像領域分割部３により得られた複数の画像領域の中から被写体に車体の一部９を含む矩形画像領域を特定して、この矩形画像領域から、マーカーＳ０を被写体に含む画像領域を抽出する（ステップＳＴ１ｃ）。ここでは、車両カメラのカメラ画像のうち、図１３の最下部矩形領域（Ｙ＝４）に相当する画像領域が、被写体に車体の一部９を含む矩形画像領域として特定され、最下部矩形領域（Ｙ＝４）中の画像領域（ＸＹ＝２４）が被写体にマーカーＳ０を含む画像領域として抽出される。

次に、被写体形状判定部４５が、被写体形状抽出部４４により抽出されたマーカーＳ０を被写体に含む画像領域（ＸＹ＝２４）に対して、特定形状記憶部４６から読み出した特定形状データを用いて形状認識処理を実施することにより、画像領域（ＸＹ＝２４）中のマーカーＳ０の形状が、特定形状データが示す形状と一致するか否かを判定する（ステップＳＴ２ｃ）。この形状判定結果は、被写体形状判定部４５から環境推定部５ｃへ出力される。

環境推定部５ｃは、被写体形状判定部４５から、マーカーＳ０の形状と特定形状データの形状とが一致しない旨の形状判定結果を受けると（ステップＳＴ２ｃ；ＮＯ）、自車の周辺環境が雨であると推定して、この推定結果を車両信号制御部６に出力する（ステップＳＴ３ｃ）。
車両信号制御部６は、自車の周辺環境が雨であることを示す推定結果を受けると、従前にワイパーが駆動していなければ、この推定結果に基づいて、ワイパーを駆動させる車両信号を車両ＥＣＵに出力する。これにより、車両ＥＣＵは、車両信号制御部６からの車両信号に従って、ワイパーを駆動させる（ステップＳＴ４ｃ）。

一方、マーカーＳ０の形状と特定形状データの形状とが一致する旨の形状判定結果を受けると（ステップＳＴ２ｃ；ＹＥＳ）、環境推定部５ｃは、自車の周辺環境が雨以外の天候であると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ５ｃ）。
車両信号制御部６は、この推定結果を受けると、従前にワイパーを駆動させていれば、ワイパーを停止する車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従って、ワイパーを停止する（ステップＳＴ６ｃ）。
ステップＳＴ４ｃ又はステップＳＴ６ｃの処理が完了すると、再びステップＳＴ１ｃに戻り、上記処理を繰り返して天候の変化を監視し、この変化に応じた車載機器の制御を行う。

以上のように、この実施の形態４によれば、車両カメラで撮像されたカメラ画像を複数の画像領域に分割する画像領域分割部３と、画像領域分割部３に分割された複数の画像領域のうち、特定の形状を有するマーカーＳ０が撮像されている画像領域を抽出するカメラ画像情報抽出部４ｃと、カメラ画像情報抽出部４ｃによって抽出されたマーカーＳ０が撮像されている画像領域での当該マーカーＳ０の形状と、予め用意した当該マーカーＳ０の形状を示す特定形状データとが一致するか否かに応じて、周辺環境の天候を推定する環境推定部５ｃとを備える。このように、車両に固定設置された車両カメラのカメラ画像から、特定形状のマーカーＳ０を被写体に含む画像領域を特定し、この画像領域でのマーカーＳ０の形状と予め用意した特定形状データの形状とが一致するか否かに応じて自車の周辺環境を推定することから、専用センサや画像認識用チップが不要であり、簡易な構成で自車の周辺環境を推定できる。

上記実施の形態１〜４では、本発明に係る環境推定装置を、車載機器等を制御する車両制御装置に適用した場合を示したが、被写体に周辺環境の変化を特定できる空などを含むカメラ画像が得られるシステムであれば適用可能である。例えば、屋外を監視対象とする監視カメラシステムにおいて、空を被写体を含むようにカメラが固定設置されていれば、カメラ画像のみから監視対象の周辺環境を推定することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る環境推定装置は、簡易な構成でカメラ画像から撮像対象の周辺環境を推定できることから、車両カメラを搭載した車両の車載機器の動作を制御する車両制御装置に好適である。

１，１Ａ，１Ｂ，１Ｃ 車両制御装置、２，２ａ，２ｂ，２ｃ 環境推定装置、３ 画像領域分割部、４，４ａ，４ｂ，４ｃ カメラ画像情報抽出部（情報抽出部）、５，５ａ，５ｂ，５ｃ 環境推定部、６ 車両信号制御部、７、カメラレンズ、８ 異物、９ 車両の一部、４１ 単一領域輝度情報抽出部、４２ 単一領域色情報抽出部、４３ 複数領域輝度情報抽出部、４４ 被写体形状抽出部、４５ 被写体形状判定部、４６ 特定形状記憶部４６。

この発明は、車両等に固定設置されたカメラで撮像したカメラ画像を基に当該車両等の周辺環境を推定する環境推定装置及びこの装置を用いた車両制御装置に関する。

車両に固定設置された車両カメラは、カメラ画像から車外の障害物の発見や駐車支援等に利用される。また、車両カメラのカメラ画像からは、撮像範囲の明るさを示す照度情報が得られ、この照度情報から特定される画面全体の照度によって、車両が位置する場所の明暗を判定することができる。この判定結果を利用すれば、ライトの自動点灯又は消灯が可能である。
例えば、特許文献１には、自車前方を撮像する撮像手段と、撮像手段により撮像された画像に基づいてライト類を点灯又は消灯させるライト制御を行うライト制御手段とを有するオートライト装置が開示されている。この装置では、自車前方の明るさ（ｃｄ／ｍ²）が、予め設定されたレベル１（第１基準値）以上である場合には、ライトの消灯が選択され、予め設定されたレベル２（第２基準値）よりも明るく、かつレベル１未満の明るさである場合には、スモールライトの点灯が選択される。そして、レベル２未満の明るさであると、ヘッドライトの点灯が選択される。

特開２０１０−６１７２号公報

特許文献１に代表される従来の技術は、カメラ画像中で明るさを判断する領域を自車の走行状態や自車周囲の環境状態に基づいて設定している。このため、自車の走行状態として車速や操舵角度等の車両情報を検出するセンサが必要であり、また、カメラ画像から先行車両の有無や走行車線を認識して自車周囲の環境状態を特定する必要がある。
このように、従来の技術では、車両情報を検出するセンサや特別な画像認識処理チップが必要であり、構成の複雑化や部品点数の増加を招くという課題があった。

この発明は、上記のような課題を解決するためになされたもので、簡易な構成でカメラ画像から撮像対象の周辺環境を推定することができる環境推定装置を得ることを目的とする。また、この発明は、上記環境推定装置で推定された周辺環境に応じた車載機器の動作を制御する車両制御装置を得ることを目的とする。

この発明に係る環境推定装置は、撮像部で撮像された撮像画像を複数の画像領域に分割する画像領域分割部と、画像領域分割部に分割された複数の画像領域のうち、空が撮像されている画像領域から、当該画像領域の特徴を示す画像情報を抽出する情報抽出部と、情報抽出部によって抽出された画像情報に基づいて、画像領域の特徴と周辺環境の天候又は明暗との対応関係を示す対応データを参照することにより、周辺環境の天候又は明暗を推定する環境推定部とを備え、情報抽出部は、空が撮像されている画像領域の彩度及び明度の色情報を常に抽出し、環境推定部は、情報抽出部によって抽出された色情報に基づいて、画像領域の色情報と周辺環境の天候及び明暗との対応関係を示す対応データを参照することにより、周辺環境の天候及び明暗を推定することを特徴とする。

この発明によれば、簡易な構成でカメラ画像から撮像対象の周辺環境を推定することができるという効果がある。

この発明の実施の形態１による環境推定装置を用いた車両制御装置の構成を示すブロック図である。 実施の形態１によるカメラ画像の分割処理の一例を示す図である。 画像領域の平均照度と周辺環境の照度状態及び車両ライトへの車両信号の内容との対応関係を示す図である。 実施の形態１による環境推定及び車両制御の流れを示すフローチャートである。 この発明の実施の形態２による環境推定装置を用いた車両制御装置の構成を示すブロック図である。 実施の形態２による環境推定及び車両制御の流れを示すフローチャートである。 画像領域の色相、色調及び色状態と周辺環境及び車両ライトへの車両信号の内容との対応関係の一例を示す図である。 この発明の実施の形態３による環境推定装置を用いた車両制御装置の構成を示すブロック図である。 各矩形画像領域の平均照度の関係と周辺環境及び車両信号の内容との対応関係の一例を示す図である。 実施の形態３による環境推定及び車両制御の流れを示すフローチャートである。 雨滴や雨膜による投影面上の被写体の変化を説明するための図である。 この発明の実施の形態４による環境推定装置を用いた車両制御装置の構成を示すブロック図である。 実施の形態４によるカメラ画像の分割処理の一例を示す図である。 実施の形態４による環境推定及び車両制御の流れを示すフローチャートである。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による環境推定装置を用いた車両制御装置の構成を示すブロック図である。図１において、実施の形態１の車両制御装置１は、車載機器の動作を制御する制御装置であり、環境推定装置２及び車両信号制御部６を備える。また、環境推定装置２は、車両カメラ（撮像部）で撮像されたカメラ画像（撮像画像）から当該車両の周辺環境を推定する装置であり、画像領域分割部３、カメラ画像情報抽出部（情報抽出部）４及び環境推定部５を備える。なお、車両カメラは、車外の風景のうち、特定の属性を有する風景の一部（例えば、空）が被写体に含まれる撮像範囲になるように、当該車両に固定設置されたカメラである。

画像領域分割部３は、車両カメラで撮像されたカメラ画像を所定の画像領域に分割する構成部である。例えば、カメラ画像を表示した画面の水平方向（左右方向）にＸ軸を割り当て、垂直方向（上下方向）にＹ軸を割り当てて、ＸＹ軸方向に所定のサイズで区画することにより、複数の矩形画像領域を規定する。なお、この実施の形態１では、カメラ画像を複数に分割した矩形画像領域の少なくとも１つの矩形画像領域が、空を撮像範囲に含むものとする。つまり、本発明の車両カメラは、所定の垂直画角を有するカメラを、被写体に空が含まれるように、車両への取り付け高さ、取り付け水平角度、取り付け垂直角度、車両幅の中心からの偏移の距離が固定される。

カメラ画像情報抽出部４は、画像領域分割部３によって複数に分割された画像領域からカメラ画像情報を抽出する構成部であり、単一領域輝度情報抽出部４１を有する。本発明でいうカメラ画像情報には、カメラ画像の被写体の形状情報、輝度情報及び色情報等が含まれる。単一領域輝度情報抽出部４１は、画像領域分割部３により得られた複数の画像領域のうち、被写体に空を含む画像領域から、当該画像領域内の画素の照度を平均した平均照度を、輝度情報として抽出する構成部である。

環境推定部５は、カメラ画像情報抽出部４で抽出されたカメラ画像情報から自車の周辺環境を推定する構成部である。実施の形態１では、環境推定部５が、単一領域輝度情報抽出部４１によって抽出された被写体に空を含む画像領域の平均照度と画像の照度に関する所定の閾値との大小比較の結果から、自車が位置する場所の周辺環境が暗いか明るいかを推定する。

車両信号制御部６は、環境推定部５による周辺環境の推定結果に応じて自車の車載機器の動作を制御する構成部である。実施の形態６では、環境推定部５による自車の周辺環境が暗いか明るいかの推定結果に応じて、周辺環境に適応した車両状態となるように車載機器を動作させる車両制御信号を生成する。例えば、自車の周辺環境が暗いと推定された場合には、車両ライトを点灯する車両制御信号を車両ＥＣＵ（Electric Control Unit）に出力する。車両ＥＣＵは、車両制御信号を受けると、当該車両制御信号に該当する車載機器を動作させる。

なお、図１では、実施の形態１の車両制御装置１を車両ＥＣＵとは別個の装置として設けた場合を示したが、車両ＥＣＵにおける１つの機能構成として設けてもかまわない。
また、画像領域分割部３、カメラ画像情報抽出部４、環境推定部５及び車両信号制御部６は、車両制御装置１又は車両ＥＣＵを構成するコンピュータが、本発明の趣旨に従う環境推定及び車両制御用プログラムを実行することにより、ソフトウェアとハードウェアとが協働した具体的手段として実現される。

図２は、実施の形態１によるカメラ画像の分割処理の一例を示す図である。図２に示すカメラ画像は、水平画角１８０度及び垂直画角１５０度のカメラを、車両幅の中央で、取り付け高さ２００ｍｍ、取り付け水平角度０度、取り付け垂直角度３０度で、車両の前方方向が撮像範囲になるように車両に固定設置したフロントカメラにより撮像された画像である。図２の例では、画像領域分割部３が、カメラ画像を表示した画面の水平方向（左右方向）にＸ軸を割り当て、垂直方向（上下方向）にＹ軸を割り当てて、ＸＹ軸方向に所定のサイズでそれぞれ３つに区画することにより、画像領域（ＸＹ＝１１〜３３）を規定している。すなわち、カメラ画像のＸ軸方向を、左矩形領域（Ｘ＝１）、中央矩形領域（Ｘ＝２）、右矩形領域（Ｘ＝３）に３分割し、Ｙ軸方向を、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）、下部矩形領域（Ｙ＝３）に３分割することにより、全部で９つの画像領域に分割している。

ここで、図２は、自車が都市を走行しているときのカメラ画像を示しており、車両カメラの被写体には、都市の建造物や樹木等の“地物”、自然風景である“空”、走行道路を示す“地面”が含まれる。各画像領域での主な被写体は、領域（ＸＹ＝１１）では建物の一部と空が主に映っていることから“地物と空”であり、領域（ＸＹ＝２１）では“空”、領域（ＸＹ＝３１）では樹木と空が主に映っているので“地物と空”である。また、領域（ＸＹ＝１２）では“地物”、領域（ＸＹ＝２２）も“地物”、領域（ＸＹ＝３２）では“地物”であり、領域（ＸＹ＝１３）では“地物と地面”、領域（ＸＹ＝２３）では“地面”、領域（ＸＹ＝３３）で“地物と地面”である。
また、自車が山間部を走行したときの車両カメラの被写体には、自然風景である“山”、“空”、走行道路を示す“地面”が含まれる。例えば、山道を走行し、自車の進行方向に山が遠目で見える場合、各画像領域での主な被写体は、領域（ＸＹ＝１１）では“山と空”、領域（ＸＹ＝２１）で“空”、領域（ＸＹ＝３１）で“山と空”である。また、領域（ＸＹ＝１２）で“山”、領域（ＸＹ＝２２）で“山と空”、領域（ＸＹ＝３２）では“山と空”であり、領域（ＸＹ＝１３）で“地面”、領域（ＸＹ＝２３）で“地面”、領域（ＸＹ＝３３）で“地面”である。
さらに、自車が都市以外の平野（建物がない草原など）を走行したときの車両カメラの被写体には、自然風景である草原などの“平野”、“空”、走行道路を示す“地面”が含まれる。例えば、平野を抜ける道路を走行している場合、各画像領域での主な被写体は、領域（ＸＹ＝１１）で“空”、領域（ＸＹ＝２１）で“空”、領域（ＸＹ＝３１）で“空”であり、領域（ＸＹ＝１２）で“平野”、領域（ＸＹ＝２２）で“平野と空”、領域（ＸＹ＝３２）では“平野”であり、領域（ＸＹ＝１３）で“地面”、領域（ＸＹ＝２３）で“地面”、領域（ＸＹ＝３３）で“地面”である。

このように、撮像方向を極端に地面に向けるようなことをせず、自車の周辺の所定方向の風景を遠目で見渡せる視野を有するように車両カメラを固定設置することにより、自車が屋外を走行して撮像を連続的又は周期的に繰り返せば、少なくとも被写体に空が含まれる場合が多くなる。例えば、図２では、車両より上方の風景が撮像される上部矩形領域（Ｙ＝１）に被写体に空が含まれる場合が多い。なお、通常の車両カメラは、自車の前方、後方あるいは側方の風景を遠目で見渡せる視野を有するように取り付けられている。
そこで、実施の形態１では、上部矩形領域（Ｙ＝１）における画像領域（ＸＹ＝１１，２１，３１）のうちの少なくとも１つの画像領域を、被写体に空を含む画像領域として規定する。

図３は、画像領域の平均照度と周辺環境の照度状態及び車両ライトへの車両信号の内容との対応関係を示す図である。図３において、閾値ＩＬＬ＿ａは、車両ライトを消灯していてもよい明るさを示す平均照度の下限値であり、環境推定部５に設定される。また、環境推定部５には、図３に示す平均照度と照度状態との対応関係を示すデータが設定されている。さらに、図３に示す照度状態と車両信号の内容との対応関係を示すデータは、車両信号制御部６に設定される。照度状態が“低”、すなわち、自車の周辺が暗い場合には、車両ライトの点灯を指示する車両信号ＩＬＬがオンとなり、照度状態が“高”、すなわち自車の周辺が明るい場合は、車両ライトの点灯を指示する車両信号ＩＬＬがオフとなる。

次に動作について説明する。
図４は、実施の形態１による環境推定及び車両制御の流れを示すフローチャートである。この図に沿って環境推定処理と車両制御処理の詳細を説明する。なお、装置の構成については、図１を参照する。
先ず、カメラ画像情報抽出部４の単一領域輝度情報抽出部４１が、画像領域分割部３により得られた複数の画像領域のうち、被写体に空を含む画像領域（「空」領域）から、当該画像領域内の画素の照度を平均した平均照度Ｅを検出する（ステップＳＴ１）。ここでは、車両カメラのカメラ画像のうち、図２の上部矩形領域（Ｙ＝１）に相当する画像領域の一部が、被写体に空を含む画像領域として特定される。以降では、単一領域輝度情報抽出部４１が、上部矩形領域（Ｙ＝１）のうち、被写体が主に空である領域（ＸＹ＝２１）を被写体に空を含む画像領域として特定し、その平均照度Ｅを検出した場合を述べる。

環境推定部５は、単一領域輝度情報抽出部４１から、被写体に空を含む画像領域（領域（ＸＹ＝２１））の平均照度Ｅを入力すると、平均照度Ｅが所定の閾値ＩＬＬ＿ａ未満であるか否かを判定する（ステップＳＴ２）。平均照度Ｅが所定の閾値ＩＬＬ＿ａ以上であると（ステップＳＴ２；ＮＯ）、環境推定部５は、この比較判定の結果に基づいて、図３に示した平均照度と照度状態との対応関係を示すデータを参照することにより、自車の周辺環境（空）は明るいと推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ３）。
車両信号制御部６は、自車の周辺環境（空）が明るいことを示す照度状態（高）の推定結果を受けると、この推定結果に基づいて、図３に示す照度状態と車両信号の内容との対応関係を示すデータを参照することで、車両ライトを消灯させる車両信号を車両ＥＣＵに出力する。これにより、車両ＥＣＵは、車両信号制御部６からの車両信号に従って、車両イルミネーションをオフする（ステップＳＴ４）。

一方、平均照度Ｅが所定の閾値ＩＬＬ＿ａ未満であると（ステップＳＴ２；ＹＥＳ）、環境推定部５は、この比較判定の結果に基づいて、図３に示した平均照度と照度状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は暗いと推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ５）。
車両信号制御部６は、自車の周辺環境（空）が暗いことを示す照度状態（低）の推定結果を受けると、この推定結果に基づいて、図３に示す照度状態と車両信号の内容との対応関係を示すデータを参照することにより、車両ライトを点灯する車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従って、車両イルミネーションをオンする（ステップＳＴ６）。
ステップＳＴ４又はステップＳＴ６の処理を完了すると、ステップＳＴ１に戻り、上記処理を繰り返して空の明暗の変化を監視し、この変化に応じた車載機器（車両ライト）の制御を行う。

なお、ステップＳＴ２の環境推定処理において、閾値ＩＬＬ＿ａを平均照度Ｅに関する第１の閾値とし、この閾値ＩＬＬ＿ａより小さい値の閾値ＩＬＬ＿ｂを第２の閾値としてを設け、第１及び第２の閾値で規定される照度範囲を用いて、より詳細に明暗を推定するようにしてもよい。
例えば、平均照度Ｅが閾値ＩＬＬ＿ａ以上の場合には、自車の周辺環境（空）が明るいと推定し、自車の全ての車両ライトを消灯する。平均照度Ｅが閾値ＩＬＬ＿ｂ未満である場合は、自車の周辺環境（空）が暗いと推定し、車両ライトのうち、ヘッドライトを点灯する。また、平均照度Ｅが閾値ＩＬＬ＿ａ未満で閾値ＩＬＬ＿ｂ以上の場合には、自車の周辺環境（空）がやや明るいと推定し、車両ライトのうち、スモールライトを点灯する。

以上のように、この実施の形態１によれば、車両カメラで撮像されたカメラ画像を複数の画像領域に分割する画像領域分割部３と、画像領域分割部３に分割された複数の画像領域のうち、空が撮像されている画像領域から、当該画像領域の特徴を示す画像情報を抽出するカメラ画像情報抽出部４と、カメラ画像情報抽出部４によって抽出された画像情報に基づいて、画像領域の特徴と周辺環境の天候又は明暗との対応関係を示す対応データを参照することにより、周辺環境の天候又は明暗を推定する環境推定部５とを備える。
特に、カメラ画像情報抽出部４が、空が撮像されている画像領域から、その輝度情報を抽出し、環境推定部５が、カメラ画像情報抽出部４によって抽出された輝度情報に基づいて、画像領域の輝度情報と周辺環境の明暗との対応関係を示す対応データを参照することにより、周辺環境の明暗を推定する。
このように、車両に固定設置された車両カメラのカメラ画像を分割した複数の画像領域のうち、被写体に空を含む画像領域は、一定位置の画像領域として特定できることから、この画像領域の平均照度Ｅを用いれば、自車の周辺環境の明暗の推定が可能である。これにより、専用の照度センサや画像認識用チップが不要であり、簡易な構成で自車の周辺環境を推定できる。

実施の形態２．
図５は、この発明の実施の形態２による環境推定装置を用いた車両制御装置の構成を示すブロック図である。図５において、実施の形態２の車両制御装置１Ａは、車載機器の動作を制御する制御装置であり、環境推定装置２ａ及び車両信号制御部６を備える。また、環境推定装置２ａは、車両カメラで撮像されたカメラ画像から当該車両の周辺環境を推定する装置であり、画像領域分割部３、カメラ画像情報抽出部４ａ及び環境推定部５ａを備える。なお、図５において、図１と同一構成要素には同一符号を付して説明を省略する。

カメラ画像情報抽出部４ａは、画像領域分割部３によって複数に分割された画像領域からカメラ画像情報を抽出する構成部であり、単一領域色情報抽出部４２を有する。単一領域色情報抽出部４２は、画像領域分割部３により得られた複数の画像領域のうち、被写体に空を含む画像領域から、当該画像領域内の画素の色相を平均した平均色相Ｈ、画素の彩度を平均した平均彩度Ｓ及び画素の明度を平均した平均明度Ｖを、色情報として抽出する構成部である。

環境推定部５ａは、カメラ画像情報抽出部４ａで抽出されたカメラ画像情報から自車の周辺環境を推定する構成部である。実施の形態２では、環境推定部５ａが、単一領域色情報抽出部４２によって抽出された被写体に空を含む画像領域の平均色相Ｈ、平均彩度Ｓ、平均明度Ｖと、これらに関する所定の閾値との大小比較の結果から、自車が位置する場所の周辺環境を推定する。

次に動作について説明する。
図６は、実施の形態２による環境推定及び車両制御の流れを示すフローチャートである。この図に沿って環境推定処理と車両制御処理の詳細を説明する。なお、装置の構成については、図５を参照する。
先ず、カメラ画像情報抽出部４ａの単一領域色情報抽出部４２が、画像領域分割部３により得られた複数の画像領域のうち、被写体に空を含む画像領域から、当該画像領域内の画素の色相を平均した平均色相Ｈ、画素の彩度を平均した平均彩度Ｓ及び画素の明度を平均した平均明度Ｖを検出する（ステップＳＴ１ａ）。ここでは、車両カメラのカメラ画像のうち、上記実施の形態１で示した図２の上部矩形領域（Ｙ＝１）が、被写体に空を含む画像領域として特定される。

環境推定部５ａは、単一領域色情報抽出部４２から、被写体に空を含む画像領域の平均色相Ｈ、平均彩度Ｓ及び平均明度Ｖを入力すると、平均色相Ｈが所定の色相範囲Ｈ＿ａ（１７０度より大きく２５０度より小さい色相範囲）であるか否かを判定する（ステップＳＴ２ａ−１）。また、環境推定部５ａは、平均彩度Ｓが所定の彩度閾値Ｓ＿ａ（図６の例では５０）より大きいか否かを判定する（ステップＳＴ２ａ−２）。さらに、環境推定部５ａは、平均明度Ｖが所定の明度閾値Ｖ＿ａ（図６の例では３０）より大きいか否かを判定する（ステップＳＴ２ａ−３）。

平均色相Ｈが所定の色相範囲Ｈ＿ａにはない場合（ステップＳＴ２ａ−１；ＮＯ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均色相と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は青くないと推定して、この推定結果を車両信号制御部６に出力する（ステップＳＴ３ａ−１）。
また、平均彩度Ｓが所定の彩度閾値Ｓ＿ａより大きくない場合（ステップＳＴ２ａ−２；ＮＯ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均彩度と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は霞んでいると推定して、この推定結果を車両信号制御部６に出力する（ステップＳＴ３ａ−２）。
さらに、平均明度Ｖが所定の明度閾値Ｖ＿ａより大きくない場合（ステップＳＴ２ａ−３；ＮＯ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均明度と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は暗いと推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ３ａ−３）。

一方、平均色相Ｈが所定の色相範囲Ｈ＿ａにある場合（ステップＳＴ２ａ−１；ＹＥＳ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均色相と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は青いと推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ４ａ−１）。
また、平均彩度Ｓが所定の彩度閾値Ｓ＿ａよりも大きい場合（ステップＳＴ２ａ−２；ＹＥＳ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均彩度と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）の色彩は、くっきりしていると推定して、この推定結果を車両信号制御部６に出力する（ステップＳＴ４ａ−２）。
さらに、平均明度Ｖが所定の明度閾値Ｖ＿ａより大きい場合（ステップＳＴ２ａ−３；ＹＥＳ）、環境推定部５ａは、この比較判定の結果に基づいて、予め設定された平均明度と色状態との対応関係を示すデータを参照することで、自車の周辺環境（空）は明るいと推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ４ａ−３）。

車両信号制御部６は、自車の周辺環境（空）が青くない（ステップＳＴ３ａ−１）、あるいは、自車の周辺環境（空）は霞んでいる（ステップＳＴ３ａ−２）との推定結果を受けると、この推定結果に基づいて、予め設定された色状態と車両信号の内容との対応関係を示すデータを参照することで、スモールライトを点灯させる車両信号を車両ＥＣＵに出力する。これにより、車両ＥＣＵは、車両信号制御部６からの車両信号に従って、スモールライトを点灯する（ステップＳＴ５ａ）。

また、車両信号制御部６は、自車の周辺環境（空）が青く（ステップＳＴ４ａ−１）、かつ自車の周辺環境（空）の色彩がくっきりしており（ステップＳＴ４ａ−２）、かつ自車の周辺環境（空）は明るい（ステップＳＴ４ａ−３）との推定結果を受けると、この推定結果に基づいて、予め設定された色状態と車両信号の内容との対応関係を示すデータを参照することで、車両ライトを消灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従って車両ライトを消灯する（ステップＳＴ６ａ）。

さらに、車両信号制御部６は、自車の周辺環境（空）が暗い（ステップＳＴ３ａ−３）という推定結果を受けると、この推定結果に基づいて、予め設定された色状態と車両信号の内容との対応関係を示すデータを参照することで、ヘッドライトを点灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従って、ヘッドライトを点灯する（ステップＳＴ７ａ）。
ステップＳＴ５ａ、ステップＳＴ６ａ又はステップＳＴ７ａの処理を完了すると、ステップＳＴ１ａに戻り、上記処理を繰り返して自車の周辺環境の変化を監視し、この変化に応じた車載機器（車両ライト）の制御を行う。

なお、ステップＳＴ２ａ−１〜２ａ−３の環境推定処理において、平均色相Ｈ、平均彩度Ｓ及び平均明度Ｖについての各閾値を組み合わせた判定範囲を設定して、周囲環境の状態をより詳細に推定するようにしてもよい。
図７は、画像領域の色相、色調及び色状態と周辺環境及び車両ライトへの車両信号の内容との対応関係の一例を示す図である。図７の例では、被写体に空を含む画像領域（上部矩形領域（Ｙ＝１））の平均色相Ｈが所定の色相範囲Ｈ＿ａにあり、かつその平均彩度Ｓが所定の彩度閾値Ｓ＿ａよりも大きく、かつその平均明度Ｖが所定の明度閾値Ｖ＿ａよりも大きい場合、自車の周辺環境（空）が青い色状態であると判断して、自車の周辺環境が昼で天気（晴れ）であると推定し、車両ライトを消灯する。
被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａにあり、かつその平均彩度Ｓが所定の彩度閾値Ｓ＿ａよりも大きいが、その平均明度Ｖが所定の明度閾値Ｖ＿ａ以下であると、自車の周辺環境（空）が黒い色状態であると判断して、自車の周辺環境が夜であると推定し、車両ライト（ヘッドライト）を点灯する。
また、被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａにあるが、その平均彩度Ｓが所定の彩度閾値Ｓ＿ａ以下であり、その平均明度Ｖが所定の明度閾値Ｖ＿ａよりも大きい場合は、自車の周辺環境（空）が灰色の色状態であると判断して、自車の周辺環境が昼で曇天であると推定し、車両ライト（スモールライト）を点灯する。
さらに、被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａにあるが、その平均彩度Ｓが所定の彩度閾値Ｓ＿ａ以下、かつその平均明度Ｖが所定の明度閾値Ｖ＿ａ以下である場合、自車の周辺環境（空）が黒い色状態にあると判断して、自車の周辺環境が夜であると推定し、車両ライト（ヘッドライト）を点灯する。

被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａになく、かつその平均彩度Ｓが所定の彩度閾値Ｓ＿ａよりも大きく、その平均明度Ｖが所定の明度閾値Ｖ＿ａよりも大きい場合、自車の周辺環境（空）が橙色の色状態であると判断して、自車の周辺環境が夕方で天気（晴れ）であると推定し、車両ライト（スモールライト又はヘッドライト）を点灯する。
被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａになく、かつその平均彩度Ｓが所定の彩度閾値Ｓ＿ａよりも大きいが、その平均明度Ｖが所定の明度閾値Ｖ＿ａ以下であると、自車の周辺環境（空）が黒い色状態であると判断して、自車の周辺環境が夜であると推定し、車両ライト（ヘッドライト）を点灯する。
また、被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａになく、その平均彩度Ｓが所定の彩度閾値Ｓ＿ａ以下であり、その平均明度Ｖが所定の明度閾値Ｖ＿ａよりも大きい場合には、自車の周辺環境（空）が赤灰色の色状態であると判断して、自車の周辺環境が夕方で曇天であると推定し、車両ライト（スモールライト又はヘッドライト）を点灯する。
さらに、被写体に空を含む画像領域の平均色相Ｈが所定の色相範囲Ｈ＿ａになく、その平均彩度Ｓが所定の彩度閾値Ｓ＿ａ以下かつその平均明度Ｖが所定の明度閾値Ｖ＿ａ以下である場合、自車の周辺環境（空）が黒い色状態にあると判断して、自車の周辺環境が夜であると推定し、車両ライト（ヘッドライト）を点灯する。

以上のように、この実施の形態２によれば、カメラ画像情報抽出部４ａが、空が撮像されている画像領域の色情報を抽出し、環境推定部５ａが、カメラ画像情報抽出部４ａによって抽出された色情報に基づいて、画像領域の色情報と周辺環境の天候及び明暗との対応関係を示す対応データを参照することにより、周辺環境の天候及び明暗を推定する。このように、車両に固定設置された車両カメラのカメラ画像を分割した複数の画像領域のうち、被写体に空を含む画像領域は一定位置の画像領域として特定できることから、この画像領域の平均色相Ｈ、平均彩度Ｓ及び平均明度Ｖを用いて自車の周辺環境を推定することから、専用センサや画像認識用チップが不要であり、簡易な構成で自車の周辺環境を推定できる。

実施の形態３．
図８は、この発明の実施の形態３による環境推定装置を用いた車両制御装置の構成を示すブロック図である。図８において、実施の形態３の車両制御装置１Ｂは、車載機器の動作を制御する制御装置であり、環境推定装置２ｂ及び車両信号制御部６を備える。また、環境推定装置２ｂは、車両カメラで撮像されたカメラ画像から当該車両の周辺環境を推定する装置であり、画像領域分割部３、カメラ画像情報抽出部４ｂ及び環境推定部５ｂを備える。なお、図８において、図１と同一構成要素には同一符号を付して説明を省略する。

カメラ画像情報抽出部４ｂは、画像領域分割部３によって複数に分割された画像領域からカメラ画像情報を抽出する構成部であり、複数領域輝度情報抽出部４３を有する。複数領域輝度情報抽出部４３は、画像領域分割部３により得られた複数の画像領域を上部、中部、下部の３つの画像領域に区画して、上部、中部、下部に区画された各画像領域内の画素の照度をそれぞれ平均した平均照度Ｅ１，Ｅ２，Ｅ３を、輝度情報として抽出する構成部である。
なお、上部、中部、下部に区画された３つの画像領域とは、上記実施の形態１で示した図２の上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）、下部矩形領域（Ｙ＝３）に相当するものである。以降の説明では、複数領域輝度情報抽出部４３が、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）、下部矩形領域（Ｙ＝３）から、平均照度Ｅ１，Ｅ２，Ｅ３を求めるものとする。

環境推定部５ｂは、カメラ画像情報抽出部４ｂで抽出されたカメラ画像情報から自車の周辺環境を推定する構成部である。実施の形態３では、環境推定部５ｂが、複数領域輝度情報抽出部４３によって抽出された上部、中部、下部に区画された画像領域の各平均照度Ｅ１，Ｅ２，Ｅ３とこれらに関する所定の閾値との大小比較の結果から、自車が位置する場所の周辺環境を推定する。

図９は、実施の形態３における、各矩形画像領域の平均照度の関係と周辺環境及び車両信号の内容との対応関係の一例を示す図である。図９において、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）及び下部矩形領域（Ｙ＝３）の平均照度Ｅ１，Ｅ２，Ｅ３がとり得る値の関係と環境推定の内容との対応関係を示すデータは、環境推定部５ｂに設定される。また、図９に示す環境推定の内容と車両信号の内容との対応関係を示すデータは、車両信号制御部６に設定される。

例えば、環境推定の内容が昼であり、かつ雨でない場合（昼快晴、昼晴れ、昼曇り）には、車両ライトの点灯を指示する車両信号ＩＬＬがオフ、ワイパーの駆動を指示する車両信号がオフ、フォグライトの点灯を指示する車両信号がオフとなる。
環境推定の内容が昼であるが、霧の場合には、車両ライトのうち、スモールライトの点灯を指示する車両信号ＩＬＬがオンとなり、ワイパーの駆動を指示する車両信号がオフ、フォグライトの点灯を指示する車両信号がオンとなる。
環境推定の内容が夜であり、かつ雨でない場合は、車両ライト（ヘッドライト）の点灯を指示する車両信号ＩＬＬがオン、ワイパーの駆動を指示する車両信号がオフ、フォグライトの点灯を指示する車両信号がオフとなる。また、環境推定の内容が夜で雨の場合は、これに加えてワイパーの駆動を指示する車両信号がオンとなる。
環境推定の内容が昼であり、かつ雨の場合には、車両ライトのうち、スモールライトの点灯を指示する車両信号ＩＬＬがオンとなり、ワイパーの駆動を指示する車両信号がオン、フォグライトの点灯を指示する車両信号がオフとなる。

次に動作について説明する。
図１０は、実施の形態３による環境推定及び車両制御の流れを示すフローチャートである。この図に沿って環境推定処理と車両制御処理の詳細を説明する。なお、装置の構成については、図８を参照する。
先ず、カメラ画像情報抽出部４ｂの複数領域輝度情報抽出部４３が、画像領域分割部３により得られた複数の画像領域のうち、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）及び下部矩形領域（Ｙ＝３）から、上部矩形領域（Ｙ＝１）の平均照度Ｅ１、中部矩形領域（Ｙ＝２）の平均照度Ｅ２、下部矩形領域（Ｙ＝３）の平均照度Ｅ３を検出する（ステップＳＴ１ｂ）。

次に、環境推定部５ｂは、複数領域輝度情報抽出部４３から、上部矩形領域（Ｙ＝１）の平均照度Ｅ１、中部矩形領域（Ｙ＝２）の平均照度Ｅ２、下部矩形領域（Ｙ＝３）の平均照度Ｅ３を入力すると、平均照度Ｅ２が平均照度Ｅ３よりも大きくなく、かつ平均照度Ｅ１が平均照度Ｅ２，Ｅ３のいずれよりも大きい照度関係（Ｅ２＞Ｅ３ではなく、Ｅ１＞Ｅ２，Ｅ３）にあるか否かを判定する（ステップＳＴ２ｂ）。
この照度関係にあれば（ステップＳＴ２ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することで、自車の周辺環境は昼で晴れであると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ３ｂ）。
一方、この照度関係にない場合（ステップＳＴ２ｂ；ＮＯ）、環境推定部５ｂは、平均照度Ｅ１が平均照度Ｅ２，Ｅ３のいずれよりも大きく、かつ平均照度Ｅ２が平均照度Ｅ３よりも大きい照度関係（Ｅ１＞Ｅ２，Ｅ３かつＥ２＞Ｅ３）にあるか否かを判定する（ステップＳＴ４ｂ）。
ここで、Ｅ１＞Ｅ２，Ｅ３かつＥ２＞Ｅ３の照度関係にある場合（ステップＳＴ４ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することにより、自車の周辺環境は昼で曇りであると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ５ｂ）。

また、Ｅ１＞Ｅ２，Ｅ３かつＥ２＞Ｅ３の照度関係にない場合（ステップＳＴ４ｂ；ＮＯ）、環境推定部５ｂは、平均照度Ｅ１，Ｅ３のいずれも平均照度Ｅ２よりも大きいか、又は平均照度Ｅ１，Ｅ２，Ｅ３がほぼ同一の値である照度関係（Ｅ１，Ｅ３＞Ｅ２、又はＥ１≒Ｅ２≒Ｅ３）にあるか否かを判定する（ステップＳＴ６ｂ）。
この照度関係にあれば（ステップＳＴ６ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することで、自車の周辺環境は霧であると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ７ｂ）。
一方、この照度関係にない場合（ステップＳＴ６ｂ；ＮＯ）、環境推定部５ｂは、平均照度Ｅ３が平均照度Ｅ１よりも大きくなく、かつ平均照度Ｅ２が平均照度Ｅ１，Ｅ３のいずれよりも大きい照度関係（Ｅ３＞Ｅ１でなく、Ｅ２＞Ｅ１，Ｅ３）にあるか否かを判定する（ステップＳＴ８ｂ）。
ここで、Ｅ３＞Ｅ１でなく、Ｅ２＞Ｅ１，Ｅ３の照度関係にある場合（ステップＳＴ８ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することで、自車の周辺環境は夜であると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ９ｂ）。

Ｅ３＞Ｅ１でなく、Ｅ２＞Ｅ１，Ｅ３の照度関係にない場合（ステップＳＴ８ｂ；ＮＯ）、環境推定部５ｂは、平均照度Ｅ２が平均照度Ｅ１，Ｅ３のいずれよりも大きく、かつ平均照度Ｅ３が平均照度Ｅ１よりも大きい照度関係（Ｅ２＞Ｅ１，Ｅ３、かつＥ３＞Ｅ１）にあるか否かを判定する（ステップＳＴ１０ｂ）。
この照度関係にあれば（ステップＳＴ１０ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することで、自車の周辺環境は夜で雨であると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ１１ｂ）。
一方、この照度関係にない場合（ステップＳＴ１０ｂ；ＮＯ）、環境推定部５ｂは、平均照度Ｅ２が平均照度Ｅ１よりも大きくなく、かつ平均照度Ｅ３が平均照度Ｅ１，Ｅ２のいずれよりも大きい照度関係（Ｅ２＞Ｅ１でなく、Ｅ３＞Ｅ１，Ｅ２）にあるか否かを判定する（ステップＳＴ１２ｂ）。
ここで、Ｅ２＞Ｅ１でなく、かつＥ３＞Ｅ１，Ｅ２の照度関係にある場合（ステップＳＴ１２ｂ；ＹＥＳ）、環境推定部５ｂは、この判定結果に基づいて、予め設定された平均照度の関係と環境推定の内容との対応関係を示すデータを参照することにより、自車の周辺環境は雨であると推定して、この推定結果を車両信号制御部６に出力する（ステップＳＴ１３ｂ）。
Ｅ２＞Ｅ１でなく、かつＥ３＞Ｅ１，Ｅ２の照度関係になければ（ステップＳＴ１２ｂ；ＮＯ）、ステップＳＴ１ｂに戻り、上記処理を繰り返して自車の周辺環境の変化を監視し、この変化に応じた車載機器の制御を行う。

車両信号制御部６は、自車の周辺環境が昼で晴れ（ステップＳＴ３ｂ）、あるいは自車の周辺環境が昼で曇り（ステップＳＴ５ｂ）、自車の周辺環境が霧（ステップＳＴ７ｂ）、自車の周辺環境が夜（ステップＳＴ９ｂ）という推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、ワイパーを停止させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従いワイパーを停止する（ステップＳＴ１４ｂ）。
また、車両信号制御部６は、自車の周辺環境が昼で曇り（ステップＳＴ５ｂ）との推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、車両ライトを消灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従い、車両ライトを消灯する（ステップＳＴ１５ｂ）。

さらに、車両信号制御部６は、自車の周辺環境が霧（ステップＳＴ７ｂ）という推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、フォグライトを点灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従い、フォグライトを点灯する（ステップＳＴ１６ｂ）。
また、車両信号制御部６は、自車の周辺環境が夜（ステップＳＴ９ｂ）であるか、あるいは自車の周辺環境が夜で雨（ステップＳＴ１１ｂ）という推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、車両ライトを消灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従い、車両ライトのうち、ヘッドライトを点灯する（ステップＳＴ１７ｂ）。

車両信号制御部６は、自車の周辺環境が夜で雨（ステップＳＴ１１ｂ）、あるいは自車の周辺環境が雨（ステップＳＴ１３ｂ）という推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、ワイパーを駆動させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従い、ワイパーを駆動する（ステップＳＴ１８ｂ）。
また、車両信号制御部６は、自車の周辺環境が雨（ステップＳＴ１３ｂ）という推定結果を受けると、この推定結果に基づいて、予め設定された環境推定の内容と車両信号の内容との対応関係を示すデータを参照することで、スモールライトを点灯させる車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従い、スモールライトを消灯する（ステップＳＴ１９ｂ）。

ステップＳＴ１４ｂ、ステップＳＴ１５ｂ、ステップＳＴ１６ｂ、ステップＳＴ１７ｂ、ステップＳＴ１８ｂ又はステップＳＴ１９ｂの処理を完了すると、ステップＳＴ１ｂに戻り、環境推定部５ｂは、上記処理を繰り返して自車の周辺環境の変化を監視して、この変化に応じた車載機器の制御を行う。

以上のように、この実施の形態３によれば、カメラ画像情報抽出部４ｂが、画像領域分割部３に分割された複数の画像領域のうち、少なくとも空が撮像されている画像領域を含む上部画像領域（Ｙ＝１）、及び地面が撮像されている下部画像領域（Ｙ＝３）の輝度情報をそれぞれ抽出し、環境推定部５ｂが、カメラ画像情報抽出部４ｂによって抽出された各輝度情報に基づいて、各画像領域の輝度情報と周辺環境の天候及び明暗との対応関係を示す対応データを参照することにより、周辺環境の天候及び明暗を推定する。
このように、車両に固定設置された車両カメラのカメラ画像を、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）及び下部矩形領域（Ｙ＝３）の３つの画像領域に区画しておき、各画像領域の平均照度Ｅ１，Ｅ２，Ｅ３の関係を用いて自車の周辺環境を推定することから、専用センサや画像認識用チップが不要であり、簡易な構成で自車の周辺環境を推定できる。

実施の形態４．
実施の形態４は、車両カメラで撮像されたカメラ画像上のマーカーの形状が変化したか否かに応じて、自車の周辺環境を推定する。具体的には、車両カメラの投影面上の被写体の像が変化した場合に、当該車両カメラのカメラレンズ上の雨滴や雨膜によって光の反射や屈折が発生したと判断して自車の周辺が雨天であると推定する。

図１１は、雨滴による投影面上の被写体の変化を説明するための図である。図１１（ａ）に示すように、カメラレンズ７の表面上に雨滴や雨膜がない場合には、カメラレンズ７における光の屈折現象によって、被写体Ｓ０は、車両カメラ内の投影面に像Ｓ１を結ぶ。実施の形態４では、車両カメラの撮像範囲内に含まれる車体の一部に特定形状のマーカーを設け、このマーカーの形状を示す被写体形状データを予め用意しておく。
自車の周辺が雨になって、図１１（ｂ）に示すように、カメラレンズ７上に雨滴や雨膜のような光を屈折させる異物８が付着すると、カメラレンズ７での屈折に加え、異物８での屈折も起こることから、被写体Ｓ０は、車両カメラ内の投影面において、図１１（ａ）とは異なる像Ｓ２を結ぶ。この場合、カメラ画像上で被写体Ｓ０の形状が変化する。
従って、カメラ画像におけるマーカーが、予め用意した被写体形状データで規定される形状から変化した場合には、自車の周辺が雨天であると判断できる。

図１２は、この発明の実施の形態４による環境推定装置を用いた車両制御装置の構成を示すブロック図であり、図１と同一構成要素には同一符号を付して説明を省略する。図１２において、実施の形態４の車両制御装置１Ｃは、車載機器の動作を制御する制御装置であり、環境推定装置２ｃ及び車両信号制御部６を備える。
また、環境推定装置２ｃは、車両カメラで撮像されたカメラ画像から当該車両の周辺環境を推定する装置であり、画像領域分割部３、カメラ画像情報抽出部４ｃ及び環境推定部５ｃを備える。なお、この実施の形態４では、車体の一部が撮像範囲内に含まれるように車両カメラを固定設置しておき、当該車体の一部に特定形状のマーカーを設ける。

カメラ画像情報抽出部４ｃは、画像領域分割部３によって複数に分割された画像領域からカメラ画像情報を抽出する構成部であり、被写体形状抽出部４４、被写体形状判定部４５及び特定形状記憶部４６を有する。
被写体形状抽出部４４は、画像領域分割部３により得られた複数の画像領域から、特定形状のマーカーを設けた車体の一部が撮像されている画像領域を特定し、この画像領域でのマーカーの形状を抽出する構成部である。
被写体形状判定部４５は、被写体形状抽出部４４に抽出された画像領域でのマーカーの形状と、特定形状記憶部４６に記憶される特定形状データが示す形状とが一致するか否かを判定する構成部であり、この形状判定結果をカメラ画像情報であるものとして環境推定部５ｃへ出力する。
特定形状記憶部４６は、車両カメラのカメラレンズに光の屈折を生じる雨滴等の異物がない状態における、カメラ画像でのマーカーの形状を示す特定形状データを記憶する記憶部である。

環境推定部５ｃは、カメラ画像情報抽出部４ｃから入力したカメラ画像情報から自車の周辺環境を推定する構成部である。実施の形態４では、環境推定部５ｃが、被写体形状判定部４５による形状判定の結果から、自車が位置する場所の周辺環境を推定する。
すなわち、画像領域でのマーカーの形状と特定形状データが示す形状とが一致しなければ、車両カメラのカメラレンズ７に雨滴や雨膜のような異物８が付着しており、自車の周辺が、異物８を付着させるような例えば雨天であると推定する。
また、画像領域でのマーカーの形状と特定形状データが示す形状とが一致していれば、自車の周辺が、雨ではなく、カメラレンズ７に異物８が付着しない天候であると推定される。

図１３は、実施の形態４によるカメラ画像の分割処理の一例を示す図である。図１３に示すカメラ画像は、水平画角１８０度及び垂直画角１５０度のカメラを、車両幅の中央で、取り付け高さ５００ｍｍ、取り付け水平角度０度、取り付け垂直角度４５度で、車両の後方が撮像範囲になるように車両に固定設置したリアカメラにより撮像された画像である。図１３の例では、画像領域分割部３が、カメラ画像を表示した画面の水平方向（左右方向）にＸ軸を割り当て、垂直方向（上下方向）にＹ軸を割り当てて、Ｘ軸方向に所定のサイズで３つに区画し、Ｙ軸方向に所定のサイズで４つに区画することにより、画像領域（ＸＹ＝１１〜３４）を規定している。すなわち、カメラ画像のＸ軸方向を、左矩形領域（Ｘ＝１）、中央矩形領域（Ｘ＝２）、右矩形領域（Ｘ＝３）に３分割し、Ｙ軸方向を、上部矩形領域（Ｙ＝１）、中部矩形領域（Ｙ＝２）、下部矩形領域（Ｙ＝３）、及び最下部矩形領域（Ｙ＝４）に４分割することにより、全部で１２個の画像領域に分割している。

ここで、図１３は、自車が都市を走行しているときのカメラ画像を示しており、車両カメラの被写体には、都市の建造物や樹木等の“地物”、自然風景である“空”、走行道路を示す“地面”、特定形状のマーカーＳ０を設けた車体の一部９である“ボディ”が含まれる。なお、この車体の一部９としては、例えばバンパーやナンバープレートが挙げられる。

各画像領域での主な被写体は、領域（ＸＹ＝１１）では建物の一部と空が主に映っていることから“地物と空”であり、領域（ＸＹ＝２１）では“空”、領域（ＸＹ＝３１）では樹木と空が主に映っているので“地物と空”である。また、領域（ＸＹ＝１２）では“地物”、領域（ＸＹ＝２２）も“地物”、領域（ＸＹ＝３２）でも“地物”であり、領域（ＸＹ＝１３）では“地物と地面”、領域（ＸＹ＝２３）では“地面”、領域（ＸＹ＝３３）では“地物と地面”である。さらに、領域（ＸＹ＝１４）、領域（ＸＹ＝２４）、領域（ＸＹ＝３４）では“ボディ”である。
また、自車が山間部を走行したときの車両カメラの被写体には、自然風景である“山”、“空”、走行道路を示す“地面”、車体の一部９である“ボディ”が含まれる。
例えば、山道を走行し、自車の進行方向に山が遠目で見える場合、各画像領域での主な被写体は、領域（ＸＹ＝１１）では“山と空”、領域（ＸＹ＝２１）で“空”、領域（ＸＹ＝３１）で“山と空”である。また、領域（ＸＹ＝１２）で“山”、領域（ＸＹ＝２２）で“山と空”、領域（ＸＹ＝３２）でも“山と空”であり、領域（ＸＹ＝１３）で“地面”、領域（ＸＹ＝２３）で“地面”、領域（ＸＹ＝３３）で“地面”である。さらに、領域（ＸＹ＝１４）、領域（ＸＹ＝２４）、領域（ＸＹ＝３４）では“ボディ”である。
さらに、自車が都市以外の平野（建物がない草原など）を走行したときの車両カメラの被写体には、自然風景である草原などの“平野”、“空”、走行道路を示す“地面”が含まれる。例えば、平野を抜ける道路を走行している場合、各画像領域での主な被写体は、領域（ＸＹ＝１１）で“空”、領域（ＸＹ＝２１）で“空”、領域（ＸＹ＝３１）で“空”であり、領域（ＸＹ＝１２）で“平野”、領域（ＸＹ＝２２）で“平野と空”、領域（ＸＹ＝３２）では“平野”であり、領域（ＸＹ＝１３）で“地面”、領域（ＸＹ＝２３）で“地面”、領域（ＸＹ＝３３）で“地面”である。領域（ＸＹ＝１４）、領域（ＸＹ＝２４）、領域（ＸＹ＝３４）では“ボディ”である。

このように、特定形状のマーカーＳ０を設けた車体の一部９を視野に含むように車両カメラを固定設置することにより、自車が屋外を走行して撮像を連続的又は周期的に繰り返せば、少なくとも被写体に車体の一部９が含まれる。例えば、図１３では、最下部矩形領域（Ｙ＝４）に被写体に車体の一部９が含まれている。
そこで、この実施の形態４では、最下部矩形領域（Ｙ＝４）における画像領域（ＸＹ＝１４，２４，３４）の画像領域を、車体の一部９を含む画像領域として規定する。また、画像領域（ＸＹ＝２４）を被写体に特定形状のマーカーＳ０を含む画像領域と規定する。

次に動作について説明する。
図１４は、実施の形態４による環境推定及び車両制御の流れを示すフローチャートである。この図に沿って環境推定処理と車両制御処理の詳細を説明する。なお、装置の構成については、図１２を参照する。
先ず、カメラ画像情報抽出部４ｃの被写体形状抽出部４４が、画像領域分割部３により得られた複数の画像領域の中から被写体に車体の一部９を含む矩形画像領域を特定して、この矩形画像領域から、マーカーＳ０を被写体に含む画像領域を抽出する（ステップＳＴ１ｃ）。ここでは、車両カメラのカメラ画像のうち、図１３の最下部矩形領域（Ｙ＝４）に相当する画像領域が、被写体に車体の一部９を含む矩形画像領域として特定され、最下部矩形領域（Ｙ＝４）中の画像領域（ＸＹ＝２４）が被写体にマーカーＳ０を含む画像領域として抽出される。

次に、被写体形状判定部４５が、被写体形状抽出部４４により抽出されたマーカーＳ０を被写体に含む画像領域（ＸＹ＝２４）に対して、特定形状記憶部４６から読み出した特定形状データを用いて形状認識処理を実施することにより、画像領域（ＸＹ＝２４）中のマーカーＳ０の形状が、特定形状データが示す形状と一致するか否かを判定する（ステップＳＴ２ｃ）。この形状判定結果は、被写体形状判定部４５から環境推定部５ｃへ出力される。

環境推定部５ｃは、被写体形状判定部４５から、マーカーＳ０の形状と特定形状データの形状とが一致しない旨の形状判定結果を受けると（ステップＳＴ２ｃ；ＮＯ）、自車の周辺環境が雨であると推定して、この推定結果を車両信号制御部６に出力する（ステップＳＴ３ｃ）。
車両信号制御部６は、自車の周辺環境が雨であることを示す推定結果を受けると、従前にワイパーが駆動していなければ、この推定結果に基づいて、ワイパーを駆動させる車両信号を車両ＥＣＵに出力する。これにより、車両ＥＣＵは、車両信号制御部６からの車両信号に従って、ワイパーを駆動させる（ステップＳＴ４ｃ）。

一方、マーカーＳ０の形状と特定形状データの形状とが一致する旨の形状判定結果を受けると（ステップＳＴ２ｃ；ＹＥＳ）、環境推定部５ｃは、自車の周辺環境が雨以外の天候であると推定し、この推定結果を車両信号制御部６に出力する（ステップＳＴ５ｃ）。
車両信号制御部６は、この推定結果を受けると、従前にワイパーを駆動させていれば、ワイパーを停止する車両信号を車両ＥＣＵに出力する。車両ＥＣＵは、車両信号制御部６からの車両信号に従って、ワイパーを停止する（ステップＳＴ６ｃ）。
ステップＳＴ４ｃ又はステップＳＴ６ｃの処理が完了すると、再びステップＳＴ１ｃに戻り、上記処理を繰り返して天候の変化を監視し、この変化に応じた車載機器の制御を行う。

以上のように、この実施の形態４によれば、車両カメラで撮像されたカメラ画像を複数の画像領域に分割する画像領域分割部３と、画像領域分割部３に分割された複数の画像領域のうち、特定の形状を有するマーカーＳ０が撮像されている画像領域を抽出するカメラ画像情報抽出部４ｃと、カメラ画像情報抽出部４ｃによって抽出されたマーカーＳ０が撮像されている画像領域での当該マーカーＳ０の形状と、予め用意した当該マーカーＳ０の形状を示す特定形状データとが一致するか否かに応じて、周辺環境の天候を推定する環境推定部５ｃとを備える。このように、車両に固定設置された車両カメラのカメラ画像から、特定形状のマーカーＳ０を被写体に含む画像領域を特定し、この画像領域でのマーカーＳ０の形状と予め用意した特定形状データの形状とが一致するか否かに応じて自車の周辺環境を推定することから、専用センサや画像認識用チップが不要であり、簡易な構成で自車の周辺環境を推定できる。

上記実施の形態１〜４では、本発明に係る環境推定装置を、車載機器等を制御する車両制御装置に適用した場合を示したが、被写体に周辺環境の変化を特定できる空などを含むカメラ画像が得られるシステムであれば適用可能である。例えば、屋外を監視対象とする監視カメラシステムにおいて、空を被写体を含むようにカメラが固定設置されていれば、カメラ画像のみから監視対象の周辺環境を推定することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１，１Ａ，１Ｂ，１Ｃ 車両制御装置、２，２ａ，２ｂ，２ｃ 環境推定装置、３ 画像領域分割部、４，４ａ，４ｂ，４ｃ カメラ画像情報抽出部（情報抽出部）、５，５ａ，５ｂ，５ｃ 環境推定部、６ 車両信号制御部、７、カメラレンズ、８ 異物、９ 車両の一部、４１ 単一領域輝度情報抽出部、４２ 単一領域色情報抽出部、４３ 複数領域輝度情報抽出部、４４ 被写体形状抽出部、４５ 被写体形状判定部、４６ 特定形状記憶部４６。

この発明に係る環境推定装置は、撮像部で撮像された撮像画像を複数の画像領域に分割する画像領域分割部と、画像領域分割部に分割された複数の画像領域のうち、空が撮像されている画像領域から、当該画像領域の特徴を示す画像情報を抽出する情報抽出部と、情報抽出部によって抽出された画像情報に基づいて、画像領域の特徴と周辺環境の天候又は明暗との対応関係を示す対応データを参照することにより、周辺環境の天候又は明暗を推定する環境推定部とを備え、情報抽出部は、空が撮像されている画像領域の色相、彩度及び明度の色情報を常に抽出し、環境推定部は、情報抽出部によって抽出された色情報に基づいて、画像領域の色相の値と彩度の値と明度の値と周辺環境の天候及び明暗との対応関係を示す対応データを参照することにより、周辺環境の天候及び明暗を推定することを特徴とするものである。
または、撮像部で撮像された撮像画像を複数の画像領域に分割する画像領域分割部と、画像領域分割部に分割された複数の画像領域のうち、空が撮像されている画像領域から、当該画像領域の特徴を示す画像情報を抽出する情報抽出部と、情報抽出部によって抽出された画像情報に基づいて、画像領域の特徴と周辺環境の天候又は明暗との対応関係を示す対応データを参照することにより、周辺環境の天候又は明暗を推定する環境推定部とを備え、情報抽出部は、画像領域分割部に分割された複数の画像領域のうち、少なくとも空が撮像されている画像領域を含む上部画像領域、及び地面が撮像されている下部画像領域の輝度情報をそれぞれ抽出し、環境推定部は、情報抽出部によって抽出された各分割領域に対する各輝度情報を比較して各分割領域の輝度情報の大きさ関係を判断し、各分割領域の輝度情報の大きさ関係と周辺環境の天候及び明暗との対応関係を示す対応データを参照することにより、周辺環境の天候及び明暗を推定することを特徴とするものである。

Claims (6)

1. 撮像部で撮像された撮像画像を複数の画像領域に分割する画像領域分割部と、
   前記画像領域分割部に分割された複数の画像領域のうち、空が撮像されている画像領域から、当該画像領域の特徴を示す画像情報を抽出する情報抽出部と、
   前記情報抽出部によって抽出された前記画像情報に基づいて、前記画像領域の特徴と周辺環境の天候又は明暗との対応関係を示す対応データを参照することにより、周辺環境の天候又は明暗を推定する環境推定部とを備えた環境推定装置。
2. 前記情報抽出部は、前記空が撮像されている画像領域の輝度情報を抽出し、
   前記環境推定部は、前記情報抽出部によって抽出された前記輝度情報に基づいて、前記画像領域の輝度情報と周辺環境の明暗との対応関係を示す対応データを参照することにより、周辺環境の明暗を推定することを特徴とする請求項１記載の環境推定装置。
3. 前記情報抽出部は、前記空が撮像されている画像領域の色情報を抽出し、
   前記環境推定部は、前記情報抽出部によって抽出された前記色情報に基づいて、前記画像領域の色情報と周辺環境の天候及び明暗との対応関係を示す対応データを参照することにより、周辺環境の天候及び明暗を推定することを特徴とする請求項１記載の環境推定装置。
4. 前記情報抽出部は、前記画像領域分割部に分割された複数の画像領域のうち、少なくとも前記空が撮像されている画像領域を含む上部画像領域、及び地面が撮像されている下部画像領域の輝度情報をそれぞれ抽出し、
   前記環境推定部は、前記情報抽出部によって抽出された前記各輝度情報に基づいて、前記各画像領域の輝度情報と周辺環境の天候及び明暗との対応関係を示す対応データを参照することにより、周辺環境の天候及び明暗を推定することを特徴とする請求項１記載の環境推定装置。
5. 撮像部で撮像された撮像画像を複数の画像領域に分割する画像領域分割部と、
   前記画像領域分割部に分割された複数の画像領域のうち、特定の形状を有するマーカーが撮像されている画像領域を抽出する情報抽出部と、
   前記情報抽出部によって抽出された前記マーカーが撮像されている画像領域での当該マーカーの形状と、予め用意した当該マーカーの形状を示す形状データとが一致するか否かに応じて、周辺環境の天候を推定する環境推定部とを備えた環境推定装置。
6. 撮像部で撮像された撮像画像を複数の画像領域に分割する画像領域分割部と、前記画像領域分割部に分割された複数の画像領域のうち、空が撮像されている画像領域から、当該画像領域の特徴を示す画像情報を抽出する情報抽出部と、前記情報抽出部によって抽出された前記画像情報に基づいて、前記画像領域の特徴と周辺環境の天候又は明暗との対応関係を示す対応データを参照することにより、周辺環境の天候又は明暗を推定する環境推定部とを有する環境推定装置と、
   前記環境推定部による推定結果に応じて車載機器の駆動を制御する車両信号を生成する車両信号制御部とを備えた車両制御装置。

Images