JP7439792B2 - 照度推定装置 - Google Patents

Description

本発明は、照度推定装置に関する。

従来、自車の前方を撮影した画像を用いて、自車の周囲の照度を推定する装置が、例えば特許文献１で提案されている。装置は、予め撮影された学習用画像と、学習用画像が撮影された時刻と、学習用画像が撮影された時刻における車両の周囲にて計測された照度と、を学習データとして有する。すなわち、装置は、撮影した画像と、画像が撮影された時刻と、に基づいて、撮影時刻における車両の周囲の照度を学習データに基づいて推定する。

特開２０２０－１７５７４３号公報

しかしながら、上記従来の技術では、車両の周囲の情報として前方を撮影した画像しか用いていないので、照度を推定するための情報が車両の前方の状況に偏ってしまう。このため、路面の状態、天候、太陽の位置、太陽の高さ等に基づく実際の照度と、推定される照度と、に差が生じてしまう。その結果、照度の推定の精度が低下してしまう。

本発明は上記点に鑑み、照度の推定の精度を向上させることができる照度推定装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明では、照度推定装置は、カメラ（１０１～１１０）、通信部（１１２、１１３）、及び推定部（１１５）を含む。

カメラは、自車（１１１）に搭載されると共に、太陽（２００）の光が直接的あるいは間接的に照らされる領域を撮影する。通信部は、少なくとも自車の現在の位置、自車の現在の向き、及び現在の日時を含む車両情報を取得する。

推定部は、カメラから画像を取得すると共に、通信部から車両情報を取得し、画像及び車両情報に基づいて、現在の太陽の位置及び自車の周囲の照度を推定する。

これによると、複数の情報を含む車両情報と画像とを用いて照度が推定されるので、照度を推定するための情報が自車の前方の状況に偏らない。このため、実際の照度と推定される照度との差を小さくすることができる。したがって、照度の推定の精度を向上させることができる。

なお、この欄及び特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

第１実施形態に係る照度推定装置を含むブロック図である。 自車における各カメラの設置場所を示した模式図である。 照度推定装置の作動の一例を示した図である。 自車に対する現在の太陽の方向の一例を示した図である。

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付してある。

（第１実施形態）
以下、第１実施形態について図を参照して説明する。本実施形態に係る照度推定装置は、車両に搭載されるものである。照度推定装置は、自車の周囲の照度を推定し、推定した照度に基づいてライトの点消灯の制御やエアコンの制御を決定する装置である。

図１及び図２に示されるように、照度推定装置１００は、ドライバ検知カメラ１０１、乗員検知カメラ１０２、レインカメラ１０３、前方カメラ１０４、複数の周辺カメラ１０５～１０８、及び電子ミラー用カメラ１０９、１１０を含む。各カメラ１０１～１１０は、自車１１１に搭載されると共に、太陽の光が直接的あるいは間接的に照らされる領域を撮影するための撮影装置である。

また、照度推定装置１００は、ナビゲーションシステム１１２、通信モジュール１１３、温度センサ１１４、及び電子制御ユニット１１５を含む。

ドライバ検知カメラ１０１は、自車１１１のドライバを撮影する。ドライバ検知カメラ１０１は、例えば、ドライバの顔を撮影することでドライバの居眠り、わき見、運転姿勢を監視するためのＤＳＭ（Driver Status Monitor）の一部である。ＤＳＭは、例えば、近赤外光源、ドライバ検知カメラ１０１、これらを制御する制御ユニット等を含む。

ドライバ検知カメラ１０１は、運転席のヘッドレスト部を撮影するように、例えばステアリングコラム部の上面やインストルメントパネルの上面等に設置される。ドライバ検知カメラ１０１は、近赤外光源の近赤外光が照射されたドライバの頭部を撮影する。

ＤＳＭの制御ユニットは、ドライバ検知カメラ１０１で撮影されたドライバ画像を解析する。制御ユニットは、例えば、ドライバの右眼の位置、左眼の位置等の情報をドライバ画像から抽出し、抽出した眼球位置の情報に基づき、ドライバに音声メッセージを出す。また、ＤＳＭの制御ユニットは、電子制御ユニット１１５の要求に応じてドライバ画像のデータを電子制御ユニット１１５に出力する。

乗員検知カメラ１０２は、自車１１１の室内の乗員を撮影する。乗員検知カメラ１０２は、例えば、自車１１１の室内の乗員の状態を検知する乗員検知システムの一部である。乗員検知カメラ１０２は、例えばルームミラーの裏側や天井等に設置される。

乗員には、ドライバが含まれる場合と、ドライバが含まれない場合と、の両方を含む。乗員検知カメラ１０２が後部座席を撮影する場合、ドライバは乗員検知カメラ１０２によって撮影された乗員画像に含まれない。乗員検知カメラ１０２が運転席や助手席が含まれるように撮影する場合、ドライバは乗員画像に含まれる。乗員検知カメラ１０２は、電子制御ユニット１１５の要求に応じて乗員画像のデータを電子制御ユニット１１５に出力する。

レインカメラ１０３は、自車１１１のウィンドシールド１１６に付着する雨滴を撮影するレインセンサ用のカメラである。レインカメラ１０３は、例えばルームミラーの裏側やウィンドシールド１１６に設置される。レインカメラ１０３は、ウィンドシールド１１６に付着した雨滴の量に応じて自車１１１のワイパ装置を制御する雨滴検出装置の一部である。レインカメラ１０３は、電子制御ユニット１１５の要求に応じてレイン画像のデータを電子制御ユニット１１５に出力する。

前方カメラ１０４は、自車１１１の進行方向を基準とした自車１１１の前方を撮影する。前方カメラ１０４は、例えば、電子制御ユニット１１５と共に、先進運転支援システム（Advanced Driver Assistance System：ＡＤＡＳ）を構成する。前方カメラ１０４は、電子制御ユニット１１５の要求に応じて前方画像のデータを電子制御ユニット１１５に出力する。

複数の周辺カメラ１０５～１０８は、自車１１１の進行方向を基準として自車１１１の位置を俯瞰的に把握するために、自車１１１の周囲を撮影する。周辺カメラ１０５は、自車１１１の前方を撮影する。周辺カメラ１０５は、自車１１１のフロント部に設置される。周辺カメラ１０６は、自車１１１の後方を撮影する。周辺カメラ１０６は、自車１１１のリア部に設置される。周辺カメラ１０７は、自車１１１の左側を撮影する。周辺カメラ１０７は、電子ミラー用カメラ１０９や助手席側ドア等の自車１１１の左側に設置される。周辺カメラ１０８は、自車１１１の右側を撮影する。周辺カメラ１０８は、電子ミラー用カメラ１１０や運転席側ドア等の自車１１１の右側に設置される。

周辺カメラ１０５～１０８は、例えば、自車１１１を駐停車させる際や発進させる際にドライバの視界を補助するための周辺監視システムの一部である。周辺監視システムは、各周辺カメラ１０５～１０８から各周辺画像の各データを取得し、各周辺画像を合成する等の画像処理を行う。そして、周辺監視システムは、周囲の風景を含めた俯瞰的な画像をナビゲーションシステム１１２のディスプレイやメータのディスプレイに表示する。また、周辺カメラ１０５～１０８は、電子制御ユニット１１５の要求に応じて各周辺画像の各データを電子制御ユニット１１５に出力する。

電子ミラー用カメラ１０９、１１０は、自車１１１の後方及び後側方を撮影する。電子ミラー用カメラ１０９、１１０は、例えば、自車１１１の後方及び後側方の映像を室内のドアミラー用のディスプレイに表示させる電子ミラーシステムの一部である。電子ミラー用カメラ１０９は、自車１１１のうちの左のドアミラーに対応する位置に設置される。電子ミラー用カメラ１１０は、自車１１１のうちの右のドアミラーに対応する位置に設置される。電子ミラー用カメラ１０９、１１０は、電子制御ユニット１１５の要求に応じて各電子ミラー用画像の各データを電子制御ユニット１１５に出力する。

ナビゲーションシステム１１２は、目的地へのナビゲーションを実行するための装置である。ナビゲーションシステム１１２は、ＧＰＳ（Global Positioning System）や制御ユニット等を備える。ナビゲーションシステム１１２は、電子制御ユニット１１５の要求に応じて、少なくとも自車１１１の現在の位置、自車１１１の現在の向き、及び現在の日時を含む車両情報を電子制御ユニット１１５に出力する。

通信モジュール１１３は、自車１１１に搭載されると共に自車１１１の周囲の通信対象との間で通信可能な装置である。通信モジュール１１３は、例えば、ＤＣＭ（Data Communication Module）である。通信モジュール１１３は、ＬＴＥ（Long Term Evolution）及び５Ｇ（5th Generation）等の通信規格に沿った無線通信により、自車１１１と周囲の通信対象との間で電波を送受信する。通信対象は、例えば、他の車両、路側装置、携帯端末、店舗が備える通信装置等である。携帯端末は、例えば、ドライバや他の乗員が携帯するスマートフォン等である。

自車１１１は、通信モジュール１１３により、インターネットに接続されたコネクテッドカーとなる。通信モジュール１１３は、クラウドに設けられたサーバから、自車１１１が走行する道路の最新の高精度地図データ等を取得する。通信モジュール１１３は、電子制御ユニット１１５の要求に応じて、少なくとも自車１１１の現在の位置、自車１１１の現在の向き、及び現在の日時を含む車両情報を電子制御ユニット１１５に出力する。

温度センサ１１４は、自車１１１のウィンドシールド１１６の温度を測定する。温度センサ１１４は、例えばルームミラーの裏側等に設置される。温度センサ１１４は、電子制御ユニット１１５の要求に応じて、ウィンドシールド１１６の温度のデータを電子制御ユニット１１５に出力する。なお、温度センサ１１４は、例えば雨滴検出装置に内蔵されていても良い。

電子制御ユニット１１５は、照度推定機能、ライトセンサ機能、及び日射センサ機能を有する装置である。電子制御ユニット１１５は、ＥＣＵ（Electronic Control Unit）である。電子制御ユニット１１５は、各カメラ１０１～１１０から各画像を取得すると共に、ナビゲーションシステム１１２または通信モジュール１１３から車両情報を取得する。

照度推定機能は、電子制御ユニット１１５が、各画像及び車両情報に基づいて、現在の太陽の位置及び自車１１１の周囲の照度を推定する機能である。電子制御ユニット１１５は、画像の画素値と照度との相関関係のデータを有する。画素値は、各画素の色の濃淡や明るさを表す。電子制御ユニット１１５は、画像処理によって画素値を取得すると共に、自車１１１に関する車両情報を用いて画素値を調整する。

すなわち、電子制御ユニット１１５は、現在の日時、自車１１１の位置や向き、現在の太陽の位置に応じて太陽の光がどのように自車１１１に照らされているのか、という情報を、画素値に反映させる。そして、電子制御ユニット１１５は、取得した画像値に対応する照度を取得することで、照度を推定する。さらに、電子制御ユニット１１５は、ウィンドシールド１１６の温度等の情報を用いて、推定した照度を補正する。

ライトセンサ機能は、電子制御ユニット１１５が、複数の画像、車両情報、及び推定した照度に基づいて、自車１１１のライトの点消灯の制御を決定する機能である。つまり、電子制御ユニット１１５は、ライトの点灯または消灯を判定する。電子制御ユニット１１５は、ライトの制御内容を含んだライト信号を生成する。電子制御ユニット１１５は、ライト信号をボデーＥＣＵ１１７に出力する。ボデーＥＣＵ１１７は、電子制御ユニット１１５から入力するライト信号の制御内容に従って自車１１１のライトの点消灯を制御する。

日射センサ機能は、電子制御ユニット１１５が、複数の画像、車両情報、及び推定した照度に基づいて、自車１１１の空調装置の制御を決定する機能である。電子制御ユニット１１５は、取得した画像に表される被写体の明るさに基づいて、自車１１１の周囲の日射量や、自車１１１を基準とした現在の太陽の位置を推定する。また、電子制御ユニット１１５は、日射量や現在の太陽の位置に基づいて、吹き出し風量や室内温度等の車室内空調の制御を決定する。

電子制御ユニット１１５は、エアコンの制御内容を含んだ日射信号を生成する。あるいは、電子制御ユニット１１５は、エアコンの制御内容を含まない日射信号を生成する。電子制御ユニット１１５は、日射信号をエアコンＥＣＵ１１８に出力する。

エアコンＥＣＵ１１８は、電子制御ユニット１１５から入力する日射信号の制御内容に従って自車１１１のエアコンを制御する。あるいは、エアコンＥＣＵ１１８は、日射信号を利用して自車１１１のエアコンを制御する。

また、電子制御ユニット１１５は、ドライバの運転を支援する制御を行う先進運転支援システムの一部である。このため、電子制御ユニット１１５は、前方カメラ１０４の前方画像の画像処理を行うことにより、自車１１１の周囲の状況を検出する。電子制御ユニット１１５は、車速センサ、ステアリングセンサ、アクセルセンサ等の各センサの情報を入力する。電子制御ユニット１１５は、各センサの情報をボデーＥＣＵ１１７から取得しても良いし、各センサから直接取得しても良い。電子制御ユニット１１５は、ナビゲーションシステム１１２や通信モジュール１１３から取得した車両情報を自車１１１の制御に利用する。

電子制御ユニット１１５は、前方画像の画像処理の結果及び各センサの情報に基づいて、自車１１１の運転状況を把握すると共に、自車１１１が周囲の物体と接触することを防止、軽減する制御を実行する。例えば、電子制御ユニット１１５は、車両前方の物体との接触を回避あるいは軽減するためにブレーキを動作させたり、ステアリングを動作させたりすることが必要であると判定すると、急ハンドル予告信号や急ブレーキ予告信号をボデーＥＣＵ１１７に出力する。ボデーＥＣＵ１１７は、電子制御ユニット１１５の各信号に基づいてドライバに自車１１１の周囲の状況を伝えたり、自車１１１の動作を制御したりする。以上が、照度推定装置１００の全体構成である。

次に、照度推定装置１００の作動について説明する。照度推定装置１００は、予め設定されたプログラムに従って、照度を推定する。一つの例として、電子制御ユニット１１５は、各カメラ１０１～１１０から各画像を取得すると共に、各画像のうちの前方画像を用いて晴天時の照度を推定する場合について説明する。

図３に示されるように、電子制御ユニット１１５は、前方カメラ１０４から前方画像を取得すると共に、ナビゲーションシステム１１２から車両情報を取得する。電子制御ユニット１１５は、通信モジュール１１３から車両情報を取得しても良い。

そして、電子制御ユニット１１５は、前方画像及び車両情報に基づいて、現在の太陽の位置を取得する。現在の太陽の位置は、自車１１１を基準とした太陽の方位角及び仰角である。仰角から太陽の高さを推定できる。

例えば、前方画像に太陽が写っている場合、電子制御ユニット１１５は、前方画像の中の太陽の位置から、自車１１１を基準とした現在の太陽の位置を容易に推定することができる。一方、前方画像に太陽が写っていない場合、電子制御ユニット１１５は、前方画像のうちの空領域に対応する空検知範囲の水平方向の輝度値のピークから方向角を推定する。また、電子制御ユニット１１５は、車両情報に含まれる緯度、経度、日時、自車１１１の向きの情報から仰角を推定する。

なお、電子制御ユニット１１５は、車両情報に含まれる緯度、経度、日時、自車１１１の向きの各情報に基づいて、現在の太陽の位置を推定しても良い。また、電子制御ユニット１１５は、現在の太陽の位置を推定する際に、エアコン制御のために、前方画像の画素値に基づいて、日射量を推定しても良い。さらに、複数の周辺画像や電子ミラー用画像に表される被写体の明るさに基づいて、自車１１１の周囲の日射量や、自車１１１を基準とした現在の太陽の位置を推定しても良い。

この後、電子制御ユニット１１５は、前方画像の画素値に各情報を反映させ、画素値と照度との相関関係のデータを用いて、晴天時の照度を推定する。なお、レイン画像、各周辺画像、電子ミラー用画像を用いて晴天時の照度を推定しても良い。

さらに、電子制御ユニット１１５は、推定した照度を補正する。照度の補正は必須ではないが、照度を補正することにより、推定した照度の精度を向上させることができる。例えば、照度補正パラメータとして、前方画像に表される被写体の輝度値を用いることができる。

具体的には、電子制御ユニット１１５は、前方画像に表される被写体の中から路面または空の領域を判定する。領域判定は、例えばセマンティックセグメンテーションを用いた手法によって行われる。セマンティックセグメンテーションは、前方画像内の全画素にラベルやカテゴリを関連付けるディープラーニングのアルゴリズムである。電子制御ユニット１１５は、路面、空の領域、歩行者、建物、トンネル、橋げた等の被写体について学習済みのＤＮＮ（Deep Neural Network）を有する。したがって、電子制御ユニット１１５は、学習済みのＤＮＮを辞書として、電子制御ユニット１１５は、前方画像に表される被写体の中から、路面、空の領域、歩行者、建物、トンネル、及び橋げた等の領域判定を行う。

電子制御ユニット１１５は、被写体の中に路面、空の領域、歩行者、建物、トンネル、橋げた等が含まれる場合、これらの輝度値の合計値を取得する。または、電子制御ユニット１１５は、これらの輝度値の平均値を取得する。輝度値は、被写体の明るさに対応する。例えば、電子制御ユニット１１５は、路面の輝度値の合計値または平均値を取得する。あるいは、電子制御ユニット１１５は、被写体の中の２つ以上の対象の輝度値の合計値または平均値を取得しても良い。電子制御ユニット１１５は、取得した輝度値の合計値または平均値に基づいて、推定した照度を補正する。

なお、電子制御ユニット１１５は、輝度値の合計値または平均値と閾値との比較に基づいて、自車１１１のライトの点消灯の制御を決定しても良い。

別の照度補正パラメータとして、現在の太陽の方向を用いることができる。現在の太陽の方向は、現在の太陽の位置とは異なり、自車１１１に対してどの方向から太陽の光が照らされるのか、という日差しの方向に対応する。

例えば、図４に示されるように、太陽２００の光が自車１１１の右斜め前から車室内に照らされる場合がある。この場合、太陽２００の光がドライバ、その他の乗員、座席の被写体に照らされる部分は明るくなり、太陽２００の光が照らされない部分は暗くなる。このような明るさの分布を判定することで、自車１１１を基準とした現在の太陽２００の方向を推定することができる。

電子制御ユニット１１５は現在の太陽２００の方向を推定するために、まず、ドライバ検知カメラ１０１のドライバ画像及び乗員検知カメラ１０２の乗員画像を取得する。続いて、電子制御ユニット１１５は、ドライバ画像及び乗員画像の中からドライバや他の乗員の顔を検出する。

この後、電子制御ユニット１１５は、顔の輝度分布を取得する。これにより、顔のどの部分が明るいのか、また、どの部分が暗いのかがわかる。そして、電子制御ユニット１１５は、取得した顔の輝度分布に基づいて、現在の太陽２００の方向を推定する。すなわち、自車１１１に対する太陽２００の日差しの方向を取得する。さらに、電子制御ユニット１１５は、取得した現在の太陽２００の方向に基づいて、推定した照度を補正する。

なお、電子制御ユニット１１５は、ドライバを含む乗員以外の場所の輝度分布を取得することで現在の太陽２００の方向を推定しても良い。また、電子制御ユニット１１５は、ドライバ画像及び乗員画像の両方ではなく、いずれか一方を用いて現在の太陽２００の方向を推定しても良い。

別の照度補正パラメータとして、自車１１１のウィンドシールド１１６の温度の情報を用いることができる。電子制御ユニット１１５は、画像の中の被写体の明るさを取得することはできるが、熱量を取得することは難しい。そこで、電子制御ユニット１１５は、温度センサ１１４から温度の情報を取得する。これにより、太陽２００からどれだけ照らされているのか、という熱の情報を得ることができる。よって、電子制御ユニット１１５は、ウィンドシールド１１６の温度の値に応じて、推定した照度を補正する。

なお、熱量の情報として、先行車の色の情報を用いても良い。先行車の色と先行車の明るさとの関係から、太陽２００からどれだけ照らされているのかという情報が得られる。電子制御ユニット１１５は、前方画像、レイン画像、自車１１１の前方が撮影された周辺画像のいずれかを取得し、画像に表される被写体の中から先行車を判定する。そして、電子制御ユニット１１５は、先行車の色に基づいて、推定した照度を補正する。あるいは、電子制御ユニット１１５は、ウィンドシールド１１６の温度の情報及び先行車の色の両方に基づいて、推定した照度を補正しても良い。先行車が画像に写っていない場合、電子制御ユニット１１５は、先行車の色に基づく照度の補正を行わない。

さらに、別の照度補正パラメータとして、現在の天気や季節等の気象情報を用いることができる。電子制御ユニット１１５は、車両情報に雨や曇り等の現在の天気情報が含まれる場合、日時に対応した季節及び天気情報に基づいて、推定した照度を補正する。

さらに、別の照度補正パラメータとして、自車１１１の傾きや路面の凹凸の情報を用いることができる。自車１１１の周囲に対する太陽２００の光の照らされ方は、自車１１１の傾きや路面の凹凸によって変化するためである。自車１１１の傾きや路面の凹凸は、傾斜センサ、ハイトセンサ、加速度センサ等によって検出される。電子制御ユニット１１５は、自車１１１の傾きや路面の凹凸の情報を各センサから取得し、これらの情報に基づいて推定した照度を補正する。

そして、電子制御ユニット１１５は、推定した照度あるいは補正した照度と閾値との比較に基づいて、自車１１１のライトの点消灯の制御を決定する。電子制御ユニット１１５は、ライトの制御内容を含んだライト信号をボデーＥＣＵ１１７に出力する。これにより、ボデーＥＣＵ１１７は、自車１１１のライトの点消灯を制御する。また、電子制御ユニット１１５は、吹き出し風量や室内温度等のエアコン制御を決定する。電子制御ユニット１１５は、エアコンの制御内容を含んだ日射信号をエアコンＥＣＵ１１８に出力する。これにより、エアコンＥＣＵ１１８は、自車１１１のエアコンを制御する。

以上説明したように、本実施形態では、複数の情報を含む車両情報と画像とを用いて自車１１１の周囲の照度が推定される。このため、照度を推定するための情報が自車１１１における一方向の状況に偏らないようにすることができる。このため、自車１１１の周囲の実際の照度と、推定される照度と、の差が小さくなるので、照度の推定の精度を向上させることができる。また、推定した照度を補正しているので、照度の推定の精度をさらに向上させることができる。

なお、本実施形態の記載と特許請求の範囲の記載との対応関係については、ナビゲーションシステム１１２及び通信モジュール１１３が特許請求の範囲の「通信部」に対応する。また、電子制御ユニット１１５が特許請求の範囲の「推定部」に対応する。

（第２実施形態）
本実施形態では、主に第１実施形態と異なる部分について説明する。本実施形態では、電子制御ユニット１１５は、自車１１１の車体の色及び車体の明るさに基づいて、自車１１１の周囲の照度を推定する。あるいは、電子制御ユニット１１５は、自車１１１の車体の色及び車体の明るさに基づいて、推定した照度を補正する。電子制御ユニット１１５は、照度を補正する場合、車体の色及び車体の明るさ以外の情報に基づいて推定した照度を補正する。

電子制御ユニット１１５は、車体の色及び車体の画素値と照度との相関関係のデータを有する。電子制御ユニット１１５は、少なくとも自車１１１の車体の一部が撮影された画像を用いる。例えば、前方画像、レイン画像、各周辺画像、電子ミラー用画像のいずれかを用いる。これにより、第１実施形態と同様の効果が得られる。

（第３実施形態）
本実施形態では、主に第１、第２実施形態と異なる部分について説明する。本実施形態では、各カメラ１０１～１１０は、各画像として、露光時間を変更した複数の画像を撮影する。また、電子制御ユニット１１５は、各カメラ１０１～１１０から露光時間が変更された複数の画像を取得し、露光時間が変更された複数の画像及び車両情報に基づいて、照度を推定する。

これにより、電子制御ユニット１１５が取得する画像のダイナミックレンジを確保することができる。このため、画像の白飛びや黒つぶれを抑制することができる。また、例えば、０［ｌｘ］～５万［ｌｘ］の範囲の照度を推定することができる。これにより、第１実施形態と同様の効果が得られる。

なお、各カメラ１０１～１１０の全てがダイナミックレンジに対応していなくても良い。照度推定のために用いる画像を撮影するカメラを、ダイナミックレンジに対応させれば良い。例えば、前方画像を照度推定のために用いる場合、前方カメラ１０４をダイナミックレンジに対応させる。

（第４実施形態）
本実施形態では、主に第１～第３実施形態と異なる部分について説明する。本実施形態では、電子制御ユニット１１５は、取得した画像に表される被写体の中から路面または空の領域を判定する。このため、電子制御ユニット１１５は、少なくとも路面または空の領域が撮影された画像を用いる。例えば、前方画像、レイン画像、自車１１１の前方が撮影された周辺画像のいずれかを用いる。

電子制御ユニット１１５は、第１実施形態と同様に、セマンティックセグメンテーションを用いた手法によって、前方画像に含まれる路面、空の領域、歩行者、建物、トンネル、橋げた等を認識する。

電子制御ユニット１１５は、路面または空の領域の画素値の合計値と照度との相関関係のデータ、あるいは、路面または空の領域の画素値の平均値と照度との相関関係のデータを有する。そして、電子制御ユニット１１５は、路面または空の領域の画素値の合計値に基づいて、照度を推定する。または、電子制御ユニット１１５は、路面または空の領域の画素値の平均値に基づいて、照度を推定する。これにより、第１実施形態と同様の効果が得られる。

（第５実施形態）
本実施形態では、主に第１～第４実施形態と異なる部分について説明する。本実施形態では、電子制御ユニット１１５は、照度を推定するために用いる画像から一部を切り出し、切り出した画像に基づいて、照度を推定する。

撮影画角が予め分かっているので、画像のどの領域に空が位置するのかを予め把握することができる。したがって、電子制御ユニット１１５は、前方画像やレイン画像の中から空の領域が含まれる部分を切り出す。言い換えると、電子制御ユニット１１５は画像の画角を絞る。切り取った画像は元の画像よりも範囲が狭いので、画像処理の演算量を低減させることができる。

なお、照度推定のために用いる画像を撮影するカメラが、画像から一部を切り出し、切り出した画像を電子制御ユニット１１５に出力しても良い。これにより、画像処理の負荷だけでなく、通信量及び通信負荷を低減させることもできる。

（第６実施形態）
本実施形態では、主に第１実施形態と異なる部分について説明する。照度は短時間で変化しないので、毎フレーム毎の判定が不要である。そこで、本実施形態では、各カメラ１０１～１１０は、撮影した画像のデータを一定時間毎に電子制御ユニット１１５に出力する。例えば、各カメラ１０１～１１０は、０．１秒～２秒の間隔で画像のデータを出力する。

なお、各カメラ１０１～１１０の全てが、画像のデータを一定時間毎に出力しなくても良い。例えば、前方画像を照度推定のために用いる場合、前方カメラ１０４の前方画像のデータを一定時間毎に出力すれば良い。

そして、電子制御ユニット１１５は、一定時間毎に取得する画像に基づき、照度を推定する。これにより、各カメラ１０１～１１０の通信量を低減させることができる。また、電子制御ユニット１１５の通信量、通信負荷、及び画像処理の演算量を低減させることができる。

（他の実施形態）
上記各実施形態で示された照度推定装置１００の構成は一例であり、上記で示した構成に限定されることなく、本発明を実現できる他の構成とすることもできる。例えば、電子ミラー用カメラ１０９、１１０には、ルームミラー用のカメラが含まれていても良い。

また、照度推定装置１００は、先進運転支援システムの一部として説明したが、各カメラ１０１～１１０や電子制御ユニット１１５は照度推定装置１００の専用品であっても構わない。また、各カメラ１０１～１１０の全てを備える必要はなく、照度推定のために必要なカメラを備えていれば良い。

１００ 照度推定装置
１０１～１１０ カメラ
１１１ 自車
１１２ ナビゲーションシステム（通信部）
１１３ 通信モジュール（通信部）
１１４ 温度センサ
１１５ 電子制御ユニット（推定部）
１１６ ウィンドシールド
２００ 太陽

Claims (12)

1. 自車（１１１）に搭載されると共に、太陽（２００）の光が直接的あるいは間接的に照らされる領域を撮影するカメラ（１０１～１１０）と、
   少なくとも前記自車の現在の位置、前記自車の現在の向き、及び現在の日時を含む車両情報を取得する通信部（１１２、１１３）と、
   前記カメラから画像を取得すると共に、前記通信部から前記車両情報を取得し、前記画像及び前記車両情報に基づいて、現在の太陽の位置及び前記自車の周囲の照度を推定する推定部（１１５）と、
   を含む、照度推定装置。
2. 前記カメラは、ドライバを撮影するドライバ検知カメラ（１０１）と、乗員を撮影する乗員検知カメラ（１０２）と、を含み、
   前記推定部は、前記ドライバ検知カメラで撮影されたドライバ画像及び前記乗員検知カメラで撮影された乗員画像を取得し、前記ドライバ画像に表される被写体の明るさまたは前記乗員画像に表される被写体の明るさに基づいて、前記自車を基準とした現在の太陽の方向を推定する、請求項１に記載の照度推定装置。
3. 前記カメラは、前記自車の進行方向を基準とした前記自車の前方を撮影するレインセンサ用のレインカメラ（１０３）、前記自車の進行方向を基準とした前記自車の前方を撮影する前方カメラ（１０４）、前記自車の前記進行方向を基準とした前記自車の前方、後方、左側、右側を撮影する複数の周辺カメラ（１０５～１０８）、及び前記自車の後方及び後側方を撮影する電子ミラー用カメラ（１０９、１１０）のうちの少なくとも１つを含み、
   前記推定部は、前記レインカメラで撮影されたレイン画像、前記前方カメラで撮影された前方画像、前記複数の周辺カメラで撮影された複数の周辺画像、及び前記電子ミラー用カメラで撮影された電子ミラー用画像のうちの少なくとも１つを取得し、取得した画像に表される被写体の明るさに基づいて、前記自車の周囲の日射量を推定し、あるいは、前記自車を基準とした前記現在の太陽の位置を推定する、請求項１または２に記載の照度推定装置。
4. 前記通信部は、前記自車に搭載されたナビゲーションシステム（１１２）、あるいは、前記自車に搭載されると共に前記自車の周囲の通信対象との間で通信可能な通信モジュール（１１３）を含み、
   前記推定部は、前記ナビゲーションシステムまたは前記通信モジュールから取得する前記車両情報に基づいて前記現在の太陽の位置を推定し、また、前記車両情報に現在の天気情報が含まれる場合、前記日時に対応した季節及び前記天気情報に基づいて前記推定した照度を補正する、請求項１ないし３のいずれか１つに記載の照度推定装置。
5. 前記推定部は、前記画像のうちの車体が撮影された画像に表される前記車体の色及び前記車体の明るさに基づいて、前記自車の周囲の照度を推定する、あるいは、推定した照度を補正する、請求項１ないし４のいずれか１つに記載の照度推定装置。
6. 前記カメラは、前記画像として、露光時間を変更した複数の画像を撮影し、
   前記推定部は、前記カメラから前記露光時間が変更された前記複数の画像を取得し、前記露光時間が変更された前記複数の画像及び前記車両情報に基づいて、前記照度を推定する、請求項１ないし５のいずれか１つに記載の照度推定装置。
7. 前記推定部は、前記画像に表される被写体の中から、路面、空の領域、建物、トンネル、及び橋げたのうちのいずれかを判定し、前記被写体の中に前記路面、前記空の領域、前記建物、前記トンネル、及び前記橋げたのうちのいずれかが含まれる場合、含まれるものの明るさに基づいて、前記推定した照度を補正する、請求項１ないし６のいずれか１つに記載の照度推定装置。
8. 前記自車のウィンドシールド（１１６）の温度を測定する温度センサ（１１４）を含み、
   前記推定部は、前記温度センサから温度の情報を取得し、前記画像に表される被写体の中から先行車を判定し、前記温度の情報に基づいて前記推定した照度を補正する、あるいは、前記先行車の色に基づいて前記推定した照度を補正する、あるいは、前記温度の情報及び前記先行車の色に基づいて前記推定した照度を補正する、請求項１ないし７のいずれか１つに記載の照度推定装置。
9. 前記推定部は、前記画像、前記車両情報、及び前記推定した照度に基づいて、前記自車のライトの点消灯の制御を決定する、あるいは、前記自車の空調装置の制御を決定する、請求項１ないし８のいずれか１つに記載の照度推定装置。
10. 前記推定部は、前記画像に表される被写体の中から路面または空の領域を判定し、前記路面または前記空の領域の画素値の合計値に基づいて、または、前記路面または前記空の領域の画素値の平均値に基づいて、前記照度を推定する、請求項１ないし９のいずれか１つに記載の照度推定装置。
11. 前記推定部は、前記画像から一部を切り出し、切り出した画像に基づいて、前記照度を推定する、請求項１ないし１０のいずれか１つに記載の照度推定装置。
12. 前記カメラは、撮影した画像のデータを一定時間毎に前記推定部に出力し、
    前記推定部は、前記カメラから前記一定時間毎に取得する画像に基づき、前記照度を推定する、請求項１ないし１１のいずれか１つに記載の照度推定装置。

Images