WO2019163315A1

WO2019163315A1 - 情報処理装置、撮像装置、及び撮像システム

Info

Publication number: WO2019163315A1
Application number: PCT/JP2019/000364
Authority: WO
Inventors: 山本　英明
Original assignee: ソニーセミコンダクタソリューションズ株式会社
Priority date: 2018-02-23
Filing date: 2019-01-09
Publication date: 2019-08-29
Also published as: JP2019145021A

Abstract

本技術の一形態に係る情報処理装置は、取得部と、検出部と、補正部とを具備する。前記取得部は、車両の窓ガラスを介して撮影された前記車両の外部画像を取得する。前記検出部は、前記車両の内部に存在し前記窓ガラスに映り込む対象物の明るさに関する明るさ情報を検出する。前記補正部は、前記検出された明るさ情報に基づいて、前記車両の前記外部画像を補正する。

Description

情報処理装置、撮像装置、及び撮像システム

　本技術は、車載カメラ等に適用可能な情報処理装置、撮像装置、及び撮像システムに関する。

　従来、車内に配置された車載カメラ等を用いて車両の外部を撮影する技術が開発されている。車両の外部が撮影された画像を用いることで、例えば車両周辺の障害物や歩行者等をセンシングすることが可能となる。

　例えば特許文献１には、フロントウィンドを通して車両前方を撮影するステレオカメラを用いた障害物検出装置が記載されている。ステレオカメラは、基準画像及び比較画像をそれぞれ撮影する２台のカメラにより構成される。例えば基準画像から特徴点が検出され、特徴点に対応する比較画像内の対応点が探索される。対応点の探索範囲は、フロントウィンドやそこに映り込むダッシュボード等についての各カメラの視差量をもとに設定される。対応点を持つ特徴点の集合がフロントウィンドへの映り込み画像として基準画像から抽出される。これにより、障害物の検出精度を向上することが可能となっている。（特許文献１の明細書段落［００２８］［００２９］［００６７］［００６８］［００８５］図６、８等）。

特許第５２６７１０１号公報

　今後、車内に配置された車載カメラ等を用いて車両の外部に存在する障害物等をセンシングする技術が普及していくものと考えられる。このような、車内から撮影される画像によるセンシングの精度を向上することが可能な技術が求められている。

　以上のような事情に鑑み、本技術の目的は、車内から撮影される画像によるセンシングの精度を向上することが可能な情報処理装置、撮像装置、及び撮像システムを提供することにある。

　上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、検出部と、補正部とを具備する。
　前記取得部は、車両の窓ガラスを介して撮影された前記車両の外部画像を取得する。
　前記検出部は、前記車両の内部に存在し前記窓ガラスに映り込む対象物の明るさに関する明るさ情報を検出する。
　前記補正部は、前記検出された明るさ情報に基づいて、前記車両の前記外部画像を補正する。

　この情報処理装置では、車両の窓ガラスを介して撮影された外部画像が取得される。また窓ガラスに映り込む車両内部の対象物についての明るさに関する明るさ情報が検出される。そして対象物の明るさ情報に基づいて、外部画像が補正される。補正された外部画像を用いることで、車内から撮影される画像によるセンシングの精度を向上することが可能となる。

　前記明るさ情報は、前記対象物の照度、輝度、及び反射率の少なくとも１つに関する情報を含んでもよい。
　これにより、対象物の明るさ等を精度よく検出することが可能となり、外部画像の補正精度が向上する。この結果、センシングの精度を十分に向上することが可能となる。

　前記対象物は、ダッシュボード、内装部品、及び前記車両の内部に載置された載置物の少なくとも１つを含んでもよい。
　これにより、例えば車両の内部に存在する様々な物体の窓ガラスに対する映り込みの影響を軽減することが可能となる。

　前記窓ガラスは、フロントウィンドガラス、サイドウィンドガラス、及びリアウィンドガラスの少なくとも１つを含んでもよい。
　これにより、車両の内部から撮影された車両の前方、側方、及び後方の外部画像等を補正することが可能となり、様々な方位を精度よくセンシングすることが可能となる。

　前記補正部は、前記対象物の前記明るさ情報に基づいて、前記外部画像の輝度を補正してもよい。
　これにより、例えば外部画像に対する対象物の映り込み等を容易に除去することが可能となり、例えば映り込みに伴うセンシングエラー等を容易に回避することが可能となる。

　前記補正部は、前記明るさ情報に基づいて、前記窓ガラスを介した前記対象物の映り込みによる前記外部画像の輝度変化量を算出してもよい。
　例えば輝度変化量を用いることで、外部画像の映り込み等を高精度に除去することが可能となる。これにより、センシングエラー等を十分に回避することが可能となる。

　前記検出部は、前記対象物の明るさに関するパラメータを測定するセンサ部の出力に基づいて前記明るさ情報を検出してもよい。
　これにより、例えば対象物の明るさを詳細に検出することが可能となる。

　前記センサ部は、前記対象物の照度を測定する照度センサを含んでもよい。
　これにより、外光等が照射された対象物の明るさを容易に測定することが可能となる。

　前記補正部は、前記外部画像内の前記対象物が映り込む領域を判定し、前記対象物の照度に基づいて前記対象物が映り込むと判定された領域の輝度を補正してもよい。
　これにより、対象物の映り込み等を精度よく補正することが可能となる。これにより、センシングエラー等を十分に回避することが可能となる。

　前記センサ部は、前記対象物により前記窓ガラスに向けて反射される光の強度に応じて前記車両の内部に配置される複数の前記照度センサを含んでもよい。
　これにより、例えば外光等の入射角が異なる場合であっても、対象物の明るさを適正に検出することが可能となり、対象物の映り込み等を十分高精度に補正することが可能となる。

　前記情報処理装置は、さらに、前記照度センサの出力に基づいて、前記車両に搭載されたライト及び表示機器の少なくとも一方の発光強度を制御する発光制御部を具備してもよい。
　照度センサにより、対象物の照度検出に加え、ライトや表示機器等の制御が可能となる。これにより、部品点数を削減することが可能となり製造コスト等を抑制可能である。

　前記センサ部は、前記対象物上の複数の測定点ごとの前記明るさに関するパラメータと、前記複数の測定点の位置とを測定可能な位置センサを含んでもよい。この場合、前記検出部は、前記位置センサの出力に基づいて、前記対象物上の前記複数の測定点ごとの輝度を検出してもよい。
　これにより、対象物の各測定点ごとの輝度等を検出することが可能である。この結果、例えば外部画像を詳細に補正することが可能となり、センシング精度が十分に向上する。

　前記位置センサは、前記複数の測定点ごとの反射率を測定する測域センサであってもよい。
　これにより、対象物の各測定点の位置と、各測定点での反射率を高精度に測定することが可能となる。

　前記センサ部は、前記対象物の照度を測定する照度センサを含んでもよい。この場合、前記検出部は、前記対象物の照度と前記複数の測定点ごとの反射率とに基づいて、前記複数の測定点ごとの輝度を検出してもよい。
　これにより、例えば外光の強度に応じた対象物の輝度等を測定点ごとに検出することが可能となり、外部画像を詳細に補正することが可能となる。

　前記位置センサは、前記複数の測定点ごとの輝度を測定する距離画像センサであってもよい。
　これにより、対象物の各測定点の位置と、各測定点での輝度を高精度に測定することが可能となる。

　前記補正部は、前記位置センサにより測定された前記対象物の前記複数の測定点の位置を、前記外部画像内の位置に変換してもよい。
　これにより、例えば測定点ごとの輝度に基づいて、外部画像を高精度に補正することが可能となる。この結果、外部画像を用いた高精度なセンシングを実現することが可能となる。

　前記情報処理装置は、さらに、前記位置センサの出力に基づいて、前記車両の外部の状態及び前記車両の内部の状態の少なくとも一方を検出する状態検出部を具備してもよい。
　位置センサにより、対象物の照度検出に加え、車両の内外の状態を検出することが可能となる。これにより、部品点数を削減することが可能となり製造コスト等を抑制可能である。

　前記外部画像は、前記車両の内部に搭載された撮像部により撮影されてもよい。この場合、前記対象物は、前記窓ガラスを介して前記撮像部に向かう第１の光路に沿って光を反射する第１の領域と、前記第１の光路とは異なる第２の光路に沿って光を反射する第２の領域とを有してもよい。また、前記検出部は、前記外部画像における前記第１及び前記第２の領域の輝度差を検出してもよい。
　これにより、対象物の映り込みにより生じる外部画像の輝度変化量等を容易に検出することが可能となる。この結果、外部画像を容易に補正することが可能となる。

　本技術の一形態に係る撮像装置は、撮像部と、取得部と、検出部と、補正部とを具備する。
　前記撮像部は、車両の内部に搭載される。
　前記取得部は、前記撮像部により前記車両の窓ガラスを介して撮影された前記車両の外部画像を取得する。
　前記検出部は、前記車両の内部に存在し前記窓ガラスに映り込む対象物の明るさに関する明るさ情報を検出する。
　前記補正部は、前記検出された明るさ情報に基づいて、前記車両の前記外部画像を補正する。

　本技術の一形態に係る撮像システムは、撮像部と、取得部と、検出部と、補正部とを具備する。
　前記撮像部は、車両の内部に搭載される。
　前記取得部は、前記撮像部により前記車両の窓ガラスを介して撮影された前記車両の外部画像を取得する。
　前記検出部は、前記車両の内部に存在し前記窓ガラスに映り込む対象物の明るさに関する明るさ情報を検出する。
　前記補正部は、前記検出された明るさ情報に基づいて、前記車両の前記外部画像を補正する。

　以上のように、本技術によれば、車内から撮影される画像によるセンシングの精度を向上することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係る制御ユニットを搭載する車両の構成例を示す模式図である。制御ユニットの構成例を示すブロック図である。フロントガラスによる映り込みを説明するための模式図である。映り込み領域で検出される輝度を表すグラフである。外部画像の補正処理の一例を示す模式図である。外部画像の補正処理の一例を示すフローチャートである。映り込み領域の輝度の補正処理の一例を示すフローチャートである。本技術の第２の実施形態に係る制御ユニットを搭載する車両の構成例を示す模式図である。制御ユニットの構成例を示すブロック図である。ＴＯＦカメラの構成例を示す模式図である。外部画像の補正処理の一例を示す模式図である。ＴＯＦカメラを搭載する車両の他の構成例を示す模式図である。本技術の第３の実施形態に係る制御ユニットを搭載する車両の構成例を示す模式図である。制御ユニットの構成例を示すブロック図である。外部画像の補正処理の一例を示す模式図である。本技術の第４の実施形態に係る制御ユニットを搭載する車両の構成例を示す模式図である。制御ユニットの構成例を示すブロック図である。外部画像の補正処理の一例を示す模式図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　＜第１の実施形態＞
　図１は、本技術の第１の実施形態に係る制御ユニットを搭載する車両の構成例を示す模式図である。図１には、車両１００の前方側を車両１００の側面から見た場合の模式図が示されている。なお、点線で区切られた領域には、車両１００の内部の車内空間１１が模式的に図示されている。車両１００は、例えば運転を補助する運転補助機能や、目的地までの自動走行が可能な自動運転機能等を備えている。

　図１に示すように、車両１００は、フロントガラス２０、ダッシュボード３０、カメラ４０、明るさセンサ５０、及びライト１２を有する。また車両１００は、図示しない表示機器１３及び制御ユニット６０を有する（図２参照）。

　フロントガラス２０は、車両１００の前方に設けられた窓（フロントウィンド）に配置される窓ガラスである。フロントガラス２０は、車両１００の内部（車内空間１１）に向けられる内面２１と、車両１００の外部に向けられる外面２２とを有する。図１に示すように、フロントガラス２０は、内面２１が車両１００の下方を向くように傾斜して配置される。

　フロントガラス２０は、透明性のある材質で構成される。例えば、車内空間１１にいる搭乗者は、フロントガラス２０を介して車両１００の前方等を視認することが可能である。フロントガラス２０の具体的な構成は限定されない。例えば車両１００の窓ガラスとして利用可能な任意の透明部材等が、フロントガラス２０として用いられてよい。本実施形態では、フロントガラス２０は、フロントウィンドガラスに相当する。

　ダッシュボード３０は、フロントガラス２０の下端に接続され、車内空間１１の前方に配置される。ダッシュボード３０は、例えば車両１００のエンジン室と運転席（車内空間１１）との間の仕切り板として機能する。ダッシュボード３０には、例えば速度計・燃料計等の計器類や収納部等が適宜設けられる。ダッシュボード３０の具体的な構成は限定されず、例えば車両１００のデザインや用途等に応じて適宜設計されてよい。本実施形態では、ダッシュボード３０は、内装部品の一例である。

　本実施形態では、ダッシュボード３０は、第１の面３１ａと第２の面３１ｂとを有する。第１の面３１ａは、フロントガラス２０の下端に接続され、車両１００の前後方向及び左右方向に略平行に配置される。従って第１の面３１ａは、例えば搭乗者から見てダッシュボード３０の奥側に配置される略水平な面となる。

　第２の面３１ｂは、第１の面３１ａのフロントガラス２０に接続する側とは反対側の下方に、第２の面３１ｂが車両１００の後ろ上方に向くように傾斜して配置される。従って第２の面３１ｂは、例えば搭乗者から見てダッシュボード３０の手前側に配置される傾いた面となる。

　ダッシュボード３０（第１の面３１ａ及び第２の面３１ｂ）に照射された光（以下照射光２３と記載）は、ダッシュボード３０により反射される。ダッシュボード３０により反射された光の一部は、フロントガラス２０に向けて進行する。以下ではダッシュボード３０によりフロントガラス２０に向けて反射される光を、第１の反射光３２と記載する。

　図１に示す例では、照射光２３の一例として、フロントガラス２０を透過してダッシュボード３０に照射される太陽光２４が白抜きの矢印を用いて模式的に図示されている。なおダッシュボード３０に照射される照射光２３は太陽光２４に限定されない。例えば外灯の光、トンネル内のランプの光、及び車内灯の光等が照射光２３となる場合であっても、本技術は適用可能である。

　図１には、ダッシュボード３０の第１の面３１ａの各点で反射される第１の反射光３２が実線の矢印を用いて模式的に図示されている。なお図１では、第２の面３１ｂにより反射される第１の反射光３２の図示が省略されている。実際には、第２の面３１ｂからもフロントガラス２０に向けて第１の反射光３２が反射される。

　図１に示すように、第１の面３１ａ及び第２の面３１ｂは、フロントガラス２０に対する配置角度（傾斜）が互いに異なる。従って第１の面３１ａ及び第２の面３１ｂには、照射光２３（太陽光２４）が互いに異なる入射角度で入射することになる。このため、各面からフロントガラス２０に向けて反射される光（第１の反射光３２）の強度は互いに異なる強度となる場合がある。

　フロントガラス２０に向けて反射された第１の反射光３２のうち、一部はフロントガラス２０により反射され、他の一部はフロントガラス２０を透過する。このように、フロントガラス２０により、ダッシュボード３０からの光（第１の反射光３２）が反射されるため、フロントガラス２０には、ダッシュボード３０の像が映り込むことになる。本実施形態では、ダッシュボード３０は、車両の内部に存在し窓ガラスに映り込む対象物の一例である。

　カメラ４０は、車両１００の内部に搭載され、車両１００のフロントガラス２０を介して車両１００の外部画像を撮影する。図１に示すように、カメラ４０は、車内空間１１の上部に車両１００の前方に向けて配置される。カメラ４０を車内空間１１の上部に配置することで、車両１００前方の視界を十分に確保することが可能である。なおカメラ４０を配置する位置や姿勢等は限定されない。

　カメラ４０としては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。カメラ４０の具体的な構成は限定されず、例えば、カラー画像を撮影するＲＧＢカメラやモノクロ画像を撮影するモノクロカメラ等が適宜用いられてよい。また、単眼のカメラに限定されず、例えばステレオカメラ等が用いられる場合にも本技術は適用可能である。本実施形態では、カメラ４０は、車両の内部に搭載された撮像部に相当する。

　カメラ４０には、例えば車両１００の前方からフロントガラス２０に入射し、フロントガラスを透過した透過光４１が入射する。このカメラ４０に入射した透過光４１は、イメージセンサ等により受光される。これにより、車両１００の外部画像（前方画像）を撮影することが可能である。

　またカメラ４０には、フロントガラス２０により反射された光が入射する場合があり得る。例えば図１に示すように、ダッシュボード３０によりフロントガラス２０に向けて反射された第１の反射光３２の一部は、フロントガラス２０によりカメラ４０に向けて反射される。以下では、フロントガラス２０によりカメラ４０に向けて反射される光を、第２の反射光３３と記載する。

　第２の反射光３３がカメラ４０に入射することで、カメラ４０により撮影される画像には、フロントガラス２０に映り込んだダッシュボード３０の像が含まれる。この場合、車両１００の前方の景色に加え、ダッシュボード３０が映り込んだ画像が撮影されることになる。このように、カメラ４０により撮影される画像は、フロントガラス２０を介してダッシュボード３０等が映り込んだ画像となる場合があり得る（図５Ａ参照）。

　明るさセンサ５０は、ダッシュボード３０の明るさに関するパラメータを測定する。本実施形態では、明るさに関するパラメータとして、ダッシュボード３０の照度が測定される。具体的には、ダッシュボード３０の照度を測定する照度センサ５１が用いられる。なお照度とは、例えば物体の表面を照らす光の明るさを表す値である。従って、照度を測定することで、例えばダッシュボード３０に入射する太陽光２４の明るさが測定されるとも言える。これにより、ダッシュボード３０の明るさを容易に評価することが可能である。

　明るさセンサ５０は、第１の照度センサ５１ａと第２の照度センサ５１ｂとを有する。第１の照度センサ５１ａは、ダッシュボード３０の第１の面３１ａに配置され、第１の面３１ａの照度を測定する。第２の照度センサ５１ｂは、ダッシュボード３０の第２の面３１ｂに配置され、第２の面３１ｂの照度を測定する。各照度センサ５１は、例えば各面の左右の端等の任意の位置に配置される。

　上記したように第１の面３１ａ及び第２の面３１ｂによりフロントガラス２０に向けて反射される第１の反射光３２の強度は、それぞれ異なる値となる。第１の照度センサ５１ａ及び第２の照度センサ５１ｂを用いることで、各面の照度を適正に測定することが可能となる。これにより、例えば各面から反射される第１の反射光３２による映り込みの度合いを適正に評価することが可能となる。

　このように、明るさセンサ５０には、ダッシュボード３０によりフロントガラス２０に向けて反射される第１の反射光３２の強度に応じて車両１００の内部に配置される複数の照度センサ５１が含まれる。なお、照度センサ５１の数や配置位置等は限定されず、例えばダッシュボード３０の形状等に応じて、２以上の照度センサ５１が適宜配置されてよい。もちろん単一の照度センサ５１が用いられてもよい。本実施形態では、明るさセンサ５０は、センサ部に相当する。

　ライト１２は、例えば車両１００の前方及び後方の左右両側にそれぞれ配置される。ライト１２は、車両１００の前方を照らす前照灯（ヘッドランプ）や補助前照灯（フォグランプ）、車幅等を示す車幅灯（スモールランプ）、及び車両１００の後方に配置される尾灯（テールランプ）等を含む。図１では、ライト１２の一例として、車両１００の前方に配置されたヘッドランプが図示されている。

　表示機器１３は、例えば車内空間１１に配置され、搭乗者に対して視覚情報等を出力することが可能な機器である。表示機器としては、例えば、インストルメントパネル（計器板及び計器類）、車内灯、ディスプレイ等の表示装置、スイッチ類のバックライト等が含まれる。なお、表示機器１３の種類等は限定されず、例えば表示の明るさ等を変更可能な任意の素子や装置等が表示機器１３として用いられてよい。

　図２は、制御ユニット６０の構成例を示すブロック図である。制御ユニット６０は、例えば車両１００内部の所定の位置に配置され、車両１００に備えられた各ブロックと適宜接続される。

　制御ユニット６０は、本実施形態に係る情報処理装置に相当し、例えばＣＰＵ、ＲＡＭ、及びＲＯＭ等のコンピュータに必要なハードウェアを有する。ＣＰＵがＲＯＭに予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る情報処理方法が実行される。

　制御ユニット６０の具体的な構成は限定されず、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。

　図２に示すように、制御ユニット６０は、画像取得部６１、明るさ検出部６２、補正部６３、記憶部６４、及び、発光制御部６５を備える。例えば、制御ユニット６０のＣＰＵが所定のプログラムを実行することで、各機能ブロックが構成される。

　画像取得部６１は、車両１００のフロントガラス２０を介して撮影された車両１００の外部画像を取得する。具体的には、カメラ４０によりフロントガラス２０越しに撮影された車両１００の外部画像が読み込まれる。読み込まれた外部画像は、補正部６３に出力される。本実施形態では、画像取得部６１は、取得部に相当する。

　明るさ検出部６２は、ダッシュボード３０の明るさに関する明るさ情報を検出する。具体的には、明るさ検出部６２は、明るさセンサ５０により測定された出力結果を読み込み、読み込まれた明るさセンサ５０の出力に基づいて明るさ情報を検出する。

　本実施形態では、明るさ情報として、第１の照度センサ５１ａにより測定された第１の面３１ａの照度と、第２の照度センサ５１ｂにより測定された第２の面３１ｂの照度とが用いられる。すなわち、ダッシュボード３０の水平な面（第１の面３１ａ）の照度と、傾いた面（第２の面３１ｂ）の照度とが、ダッシュボード３０の明るさを表すデータとして検出される。検出された各面の照度は、補正部６３に出力される。本実施形態では、明るさ検出部６２は、検出部に相当する。

　補正部６３は、検出された明るさ情報に基づいて、車両１００の外部画像を補正する。本実施形態では、ダッシュボード３０の明るさ情報に基づいて、外部画像の輝度が補正される。例えば外部画像に映り込んだダッシュボード３０の像（映り込み画像）が除去されるように、外部画像の輝度が補正される。

　なお、外部画像の輝度を補正する処理は、例えば各画素ごとに実行される。例えば、外部画像を構成する各画素について、ＲＧＢの各色の画素値等を適宜補正することで、各画素の輝度（明るさ）を補正することが可能である。これにより、ダッシュボード３０の映り込み画像を高精度に除去することが可能である。外部画像の輝度を補正する処理については、後に詳しく説明する。

　記憶部６４は、制御ユニット６０が供えるＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等により構成される。記憶部６４は、外部画像の補正処理に用いられる各種のデータを記憶する。

　記憶部６４には、ダッシュボード３０の映り込みが生じる映り込み領域を表すエリアマップＭ（ｕ，ｖ）が記憶される（図５Ｂ参照）。ここでｕ及びｖは、カメラ４０により撮影される画像（外部画像）の横方向及び縦方向の画素の座標を表す値である。エリアマップＭ（ｕ，ｖ）では、例えば座標（ｕ，ｖ）で指定された画素が映り込み領域に含まる場合には１、含まれない場合には０が記憶される。これにより映り込み領域を容易に判定することが可能となる。エリアマップＭ（ｕ，ｖ）の具体的な構成は限定されない。

　なお、ダッシュボード３０により反射される光は、例えば様々な方向に向けて出射される拡散光である。従ってダッシュボード３０の映り込み領域は、太陽光２４等が照射される方向が変化した場合であっても、略同様の領域となる。すなわち、ダッシュボード３０の映り込み領域は、ダッシュボード３０と、フロントガラス２０と、カメラ４０との配置関係により定まる領域であるとも言える。

　例えば工場出荷時やメンテナンス時等のタイミングで、ダッシュボード３０が映り込んだ画像がカメラ４０により撮影される。この画像に基づいて、映り込み領域を表すエリアマップＭ（ｕ，ｖ）を生成することが可能である。これに限定されず、映り込み領域等をデータ化することが可能な任意の方法によりエリアマップＭ（ｕ，ｖ）が生成されてよい。

　また記憶部６４には、ダッシュボード３０の照度に基づいて、輝度を補正するために必要となる各種のパラメータが記憶される。これらのパラメータは、補正部６３により外部画像の補正が行われる際に、適宜読み込まれる。この点については、後に詳しく説明する。この他、記憶部６４には、制御ユニット６０の各部の動作に必要となるデータ等が記憶される。

　発光制御部６５は、照度センサ５１の出力に基づいて、車両１００に搭載されたライト１２及び表示機器１３の発光強度を制御する。なお発光強度の制御には、発光のＯＮ・ＯＦＦの切り替えや、発光強度の段階的な強弱の制御等が含まれる。照度センサ５１としては、例えば第１及び第２の照度センサ５１ａ及び５１ｂの片方及び両方が適宜用いられる。

　例えば発光制御部６５により、照度に応じて、スモールランプ、ヘッドランプ、及びテールランプ等のライト１２の点灯・消灯が適宜制御される。また例えば、照度に応じて、ディスプレイの表示輝度や、計器類、スイッチ類等のバックライトの明るさが適宜制御される。これにより、夕方や夜間等の暗い時間帯や、雨天や曇り等の天候により暗くなった場合、あるいはトンネル等により明るさが変化する場合等に、ライト１２や表示機器１３の明るさを自動的に制御することが可能である。

　このように、照度センサ５１は、外部画像の補正のみならず、ライト１２や表示機器１３の制御に用いられる。これにより、部品点数を抑えることが可能となり、車両１００の製造コスト等を抑制することが可能となる。なお制御ユニット６０には、発光制御部６５に加え、車両１００の各部を制御する機能ブロック等が適宜設けられてもよい。

　本実施形態では、車両１００に搭載されたカメラ４０及び制御ユニット６０により、本技術に係る撮像装置が構成される。また車両１００に搭載されたカメラ４０及び制御ユニット６０は、本技術に係る撮像システムとして機能する。

　図３は、フロントガラス２０による映り込みを説明するための模式図である。例えば図３に示すように、フロントガラス２０の外面２２には、車両１００の外部の被写体１から発せられた入射光２が入射する。被写体１からの入射光２の一部は、フロントガラス２０により反射される。また他の一部は、フロントガラス２０を透過する透過光４１として車内空間１１に進入し、カメラ４０に入射する。以下では透過光４１の輝度をＬ_trnと記載する。

　ダッシュボード３０では、太陽光２４等の照射光２３が反射され、一部の光が第１の反射光３２としてフロントガラス２０に入射する。そして第１の反射光３２の一部が、フロントガラス２０により反射され、第２の反射光３３としてカメラ４０に入射する。以下では第２の反射光３３の輝度をＬ_refと記載する。なお第２の反射光３３の輝度をＬ_refは、カメラ４０のイメージセンサからみた映り込みの明るさを表しているとも言える。

　このように、カメラ４０には、フロントガラス２０を透過した透過光４１と、フロントガラス２０により反射された第２の反射光３３とが入射することになる。従って例えば、イメージセンサ（カメラ４０）において、第２の反射光３３が入射する領域では、透過光４１の輝度Ｌ_trnと第２の反射光３３の輝度Ｌ_refとの和が検出される。

　この第２の反射光３３が入射する領域が、ダッシュボード３０が映り込む領域（映り込み領域）となる。映り込み領域では、カメラ４０により実際に検出される輝度Ｌ_camは、Ｌ_cam＝Ｌ_trn＋Ｌ_refと表される。言い換えれば、カメラ４０により検出される輝度Ｌ_camから、第２の反射光３３の輝度Ｌ_refを差し引くことで、透過光４１の輝度Ｌ_trn＝Ｌ_cam－Ｌ_refを算出することが可能である。なお、映り込みが生じていない領域で検出される輝度Ｌ_camは、Ｌ_cam＝Ｌ_trnと表される。

　図４は、映り込み領域で検出される輝度を表すグラフである。グラフの横軸は透過光４１の輝度をＬ_trnであり、縦軸は映り込み領域で検出される輝度Ｌ_camである。各軸では、８ｂｉｔ（０～２５５）の階調で輝度が表されている。

　例えば、フロントガラス２０による映り込みが生じず、第２の反射光３３がカメラに入射しない場合には、カメラ４０により検出される輝度は、原点（０，０）を通る傾きが１の直線となる（図中の点線４２）。別の観点では、点線４２で表される特性は、フロントガラス２０による映り込みのない理想的なカメラ特性であるとも言える。

　一方で、映り込みにより第２の反射光３３が入射する場合には、第２の反射光３３の輝度Ｌ_refの値だけ、カメラ４０により検出される輝度Ｌ_camが明るくシフトする（図中の実線４３）。この結果、例えば実線４３のグラフは、傾きが１で切片が第２の反射光３３の輝度Ｌ_refで表される直線となる。すなわち、フロントガラス２０による映り込みにより、カメラ４０により検出される輝度が明るくなる。

　なお、輝度のシフトにより、カメラ４０により検出される輝度Ｌ_camが飽和する飽和領域４４が生じる場合があり得る。飽和領域４４では、画像の輝度が最大値２５５となり白とびにより透過光４１のデータが失われることが考えられる。この場合、例えば飽和領域４４に被写体１（透過光４１）の明るさが到達しないように、シフト量（Ｌ_ref）の分だけカメラ４０の露出（露光時間や感度等）を下げるといった処理が実行される。これにより、飽和領域４４が発生することを抑制し、透過光４１のデータが失われることを回避することが可能である。

　第２の反射光３３の輝度Ｌ_refは、ダッシュボード３０の明るさに応じた値となる。例えば第２の反射光３３の輝度Ｌ_refは、ダッシュボード３０の明るさを表す照度Ｅを用いて、以下の式で表される。
　Ｌ_ref＝αＥ＋β　　　　　（１）
　ここで、α及びβは、フロントガラス２０に映り込む対象物（ダッシュボード３０）の材質や形状、及びフロントガラス２０の反射率に応じて定まる係数である。

　従って例えば、ダッシュボード３０の第１の面３１ａが映り込む領域、及び第２の面３１ｂが映り込む領域には、それぞれ異なる係数α及びβが設定される。以下では、第１の面３１ａに関する（１）式の係数をα_a及びβ_aと記載し、第２の面３１ｂに関する（１）式の係数をα_b及びβ_bと記載する。なお、これらの係数は、記憶部６４に記憶される。

　図５は、外部画像の補正処理の一例を示す模式図である。図６は、外部画像の補正処理の一例を示すフローチャートである。図６に示す処理は、例えば車両１００の動作中に継続して実行されるループ処理である。

　カメラ４０により、フロントガラス２０を介して車両１００の前方の外部画像が撮影される（ステップ１０１）。撮影された外部画像は、画像取得部６１により読み込まれる。以下では、外部画像の輝度値を輝度データＸ（ｕ，ｖ）と記載する。ここで輝度データＸ（ｕ，ｖ）とは、例えば外部画像内の座標（ｕ，ｖ）に存在する画素の輝度値を表すデータである。

　図５Ａは、カメラ４０により撮影される外部画像の一例を示す模式図である。図５Ａに示すように、外部画像４５には、フロントガラス２０を透過した透過光４１を検出して撮影された車両１００の前方の風景が含まれる。

　また外部画像４５において、フロントガラス２０で反射された第２の反射光３３が検出される領域は、ダッシュボード３０（第１の面３１ａ及び第２の面３１ｂ）の像が撮影される映り込み領域４６となる。図５Ａでは、ダッシュボード３０の第１の面３１ａが映り込む第１の映り込み領域４６ａと、第２の面３１ｂが映り込む第２の映り込み領域４６ｂとが模式的に図示されている。

　各映り込み領域４６では、車両１００の前方からの透過光４１に加え第２の反射光３３が検出される。従って、映り込み領域４６は、映り込みのない他の領域と比べ、明るさ（輝度）が増加した領域となる。なお、第１の映り込み領域４６ａ及び第２の映り込み領域４６ｂでの輝度のシフト量は、第１の面３１ａ及び第２の面３１ｂのそれぞれの材質や配置等に応じた値となる。

　図６に戻り、ダッシュボード３０に配置された照度センサ５１により、ダッシュボード３０の照度が測定される（ステップ１０２）。本実施形態では、第１の面３１ａに配置された第１の照度センサ５１ａにより第１の面３１ａの照度Ｅ_aが測定される。また、第２の面３１ｂに配置された第２の照度センサ５１ｂにより第２の面３１ｂの照度Ｅ_bが測定される。測定された各面の照度（Ｅ_a及びＥ_b）は、明るさ検出部６２により読み込まれる。

　補正部６３により、ダッシュボード３０の照度Ｅに基づいて、フロントガラス２０を介したダッシュボード３０の映り込みによる外部画像４５の輝度のシフト量が算出される（ステップ１０３）。すなわち、外部画像４５におけるダッシュボード３０の映り込みの輝度が算出される。本実施形態では、外部画像４５の輝度のシフト量は、外部画像の輝度変化量に相当する。

　本実施形態では、（１）式を用いて、各映り込み領域４６での外部画像４５の輝度のシフト量、すなわち第２の反射光３３の輝度Ｌ_refが算出される。この処理は、ダッシュボード３０の照度Ｅを第２の反射光３３の輝度Ｌ_refに変換する照度輝度変換を実行する処理であるとも言える。従って（１）式の係数α及びβは、照度輝度変換のキャリブレーション値となる。なお係数α及びβは、記憶部６４から適宜読み込まれる。

　例えば、第１の映り込み領域４６ａでの輝度のシフト量が算出される場合、係数α及びβとしてα_a及びβ_a読み込まれる。そして、第１の照度センサ５１ａにより測定された第１の面３１ａの照度Ｅ_aから、第１の映り込み領域４６ａでの第２の反射光３３の輝度Ｌ_{ref_a}＝α_aＥ_a＋β_aが算出される。また例えば、第２の映り込み領域４６ｂでの輝度のシフト量が算出される場合、係数α及びβとしてα_b及びβ_b読み込まれる。そして、第２の照度センサ５１ｂにより測定された第２の面３１ｂの照度Ｅ_bから、第２映り込み領域４６ｂでの第２の反射光３３の輝度Ｌ_{ref_b}＝α_bＥ_b＋β_bが算出される。

　各映り込み領域４６での輝度のシフト量（Ｌ_{ref_a}及びＬ_{ref_b}）が算出されると、各映り込み領域４６での輝度の補正処理が実行される（ステップ１０４）。図７は、映り込み領域４６の輝度の補正処理の一例を示すフローチャートである。図７には、図６に示すステップ１０４の内部処理の一例が示されている。

　補正部６３により、外部画像４５（輝度データＸ（ｕ，ｖ））と、エリアマップＭ（ｕ，ｖ）と、映り込み領域４６での輝度のシフト量Ｌ_refとが読み込まれる（ステップ２０１）。例えば輝度のシフト量Ｌ_refとして、第１の映り込み領域４６ａでの輝度のシフト量Ｌ_{ref_a}と、第２の映り込み領域４６ｂでの輝度のシフト量Ｌ_{ref_b}とがそれぞれ読み込まれる。

　図５Ｂは、エリアマップＭ（ｕ，ｖ）の一例を示す模式図である。図５Ｂには、第１の映り込み領域４６ａを表す第１のエリア４７ａと、第２の映り込み領域４６ｂを表す第２のエリア４７ｂとが模式的に図示されている。エリアマップＭ（ｕ，ｖ）は、例えば第１及び第２のエリア４７ａ及び４７ｂをそれぞれ区別可能なように適宜構成される。

　図５Ｂでは、各映り込み領域４６（第１及び第２のエリア４７ａ及び４７ｂ）での輝度のシフト量（Ｌ_{ref_a}及びＬ_{ref_b}）がグレースケールを用いて示されている。従って、図５Ｂに示す図は、外部画像４５におけるダッシュボード３０（第１の面３１ａ及び第２の面３１ｂ）の映り込み輝度を表す図であるとも言える。例えば図５Ｂに示す輝度が、車両１００の前方の景色に重畳されることで、外部画像４５における映り込みが発生することになる。

　図７に戻り、外部画像４５の補正用データＹ（ｕ，ｖ）と、外部画像４５の各画素を指定する変数ｎとが準備される（ステップ２０２）。補正用データＹ（ｕ，ｖ）は、輝度データＸ（ｕ，ｖ）に対応して設定されるデータであり、補正処理の結果が収められるデータとなる。また変数ｎは、例えば外部画像４５の各座標（ｕ，ｖ）に位置する画素をそれぞれ指定する変数であり、ｎ＝０に設定される。

　以下では、外部画像４５の横方向の画素数をＷ、縦方向の画素数をＨとする。この場合、座標ｕは１≦ｕ≦Ｗの整数であり、座標ｖは１≦ｖ≦Ｈの整数となる。例えばＷ×Ｈ個の各画素に対して各画素を表す１からＷ×Ｈまでの整数インデックスがそれぞれ設定される。変数ｎは、各画素の整数インデックスを指定する変数として用いられる。

　変数ｎに１を追加するインクリメント処理（ｎ＋＋）が実行される（ステップ２０３）。例えば、最初のインクリメント処理では、ｎ＝１が設定され、整数インデックスが１である画素の輝度データが読み込まれる。

　変数ｎで指定される画素が、映り込み領域４６に含まれているか否かが判定される（ステップ２０４）。本実施形態では、エリアマップＭ（ｕ，ｖ）に基づいて判定が実行される。例えば、変数ｎで指定される画素の座標（ｕ，ｖ）が参照され、その座標で表される位置が、エリアマップＭ（ｕ，ｖ）の映り込み領域４６に含まれているか否かが判定される。

　なおステップ２０４では、変数ｎで指定される画素が、エリアマップＭ（ｕ，ｖ）の第１の映り込み領域４６ａ（第１のエリア４７ａ）及び第２の映り込み領域４６ｂ（第２のエリア４７ｂ）のどちらに含まれているかを判定すること可能である。

　変数ｎで指定される画素が映り込み領域４６に含まれていると判定された場合（ステップ２０４のＹｅｓ）、外部画像４５の輝度が補正される（ステップ２０５）。具体的には、輝度データＸ（ｕ，ｖ）から対象となる映り込み領域４６での輝度のシフト量（Ｌ_ref）を引いた値が補正用データＹ（ｕ，ｖ）として算出される。

　例えば第１の映り込み領域４６ａに含まれると判定された画素について、Ｙ（ｕ，ｖ）＝Ｘ（ｕ，ｖ）－Ｌ_{ref_a}とする処理が実行される。また例えば第２の映り込み領域４６ｂに含まれると判定された画素について、Ｙ（ｕ，ｖ）＝Ｘ（ｕ，ｖ）－Ｌ_{ref_b}とする処理が実行される。これにより、映り込み領域４６での輝度の増加成分が除去されたデータを生成すること可能となる。

　変数ｎで指定される画素が映り込み領域４６に含まれていないと判定された場合（ステップ２０４のＮｏ）、外部画像４５の輝度がそのまま補正用データＹに代入される（ステップ２０６）。すなわち、映り込みがない領域に含まれると判定された画素について、Ｙ（ｕ，ｖ）＝Ｘ（ｕ，ｖ）とする処理が実行される。これにより、映り込みがない領域での透過光４１の輝度Ｌ_trnをそのまま抽出することが可能である。

　ステップ２０５または、ステップ２０６の処理が終了すると、外部画像４５の全ての画素について処理が実行されたか否かが判定される（ステップ２０７）。具体的には、画素を指定する変数ｎが、ｎ≧Ｗ×Ｈを満たしているか否かが判定される。変数ｎがＷ×Ｈよりも小さいと判定された場合（ステップ２０７のＮｏ）、未処理の画素が残っているとして、ステップ２０３に戻り次の画素についての処理が実行される。

　このように、ステップ２０３～ステップ２０７のループ処理では、外部画像４５内のダッシュボード３０が映り込む領域が判定され、ダッシュボード３０の照度に基づいてダッシュボード３０が映り込むと判定された領域の輝度が補正される。この処理は、例えば図５Ａに示す外部画像４５から、図５Ｂに示す映り込みによる輝度のシフト量を除去する処理であるとも言える。これにより、ダッシュボード３０の映り込み等を精度よく補正することが可能となる。

　変数ｎがＷ×Ｈ以上と判定された場合（ステップ２０７のＹｅｓ）、全ての画素について処理が完了したとして、補正用データＹ（ｕ，ｖ）に基づいて補正画像が構成される（ステップ２０８）。例えば補正用データＹ（ｕ，ｖ）に記録された輝度データを用いて、所定の型式の補正画像が生成される。

　図５Ｃは、補正画像の一例を示す模式図である。図５Ｃには、図５Ａに示す外部画像４５から図５Ｂに示す映り込み領域４６ごとの輝度Ｌ_refが除去された補正画像４８が図示されている。補正画像４８では、ダッシュボード３０の映り込みにより明るくなった領域（第１及び第２の映り込み領域４６ａ及び４６ｂ）の輝度が補正されており、本来の透過光４１の輝度Ｌ_trnが再現された画像となる。これにより、車両１００の前方の景色を適正に表すことが可能となる。

　図６に戻り、補正画像４８（補正用データＹ（ｕ，ｖ））が、認識器等に出力される（ステップ１０５）。認識器は、例えば入力された画像データから車両１００周辺の物体を検出する画像センシング等を実行する処理ブロックあるいは処理装置である。

　認識器では、例えば歩行者、自転車、他車両等の他の移動体を検知する処理や、信号や標識を認識する処理等が実行される。また例えば、ステレオ視差を用いて物体までの距離を検知するといった処理が実行されてもよい。認識器の具体的な構成は限定されず、画像センシング等を行う任意の認識器に対して本技術は適用可能である。

　例えば、補正画像４８を用いた画像センシングを行うことで、映り込みによるセンシングエラーを軽減することが可能である。センシングエラーとは、例えばダッシュボード３０が映り込むことで、画像内の物体を誤って検知する、あるいは検知できないといったエラーである。また映り込みに伴うステレオ視差の誤検知等が抑制される。この結果、画像センシングの精度を十分に向上することが可能となる。

　なお図７のステップ２０５では、外部画像４５の輝度から、映り込みによる輝度のシフト量Ｌ_refが一律に減算された。これに限定されず、例えば映り込み領域４６に含まれる各画素ごとに、重み付けされたシフト量Ｌ_refを減算するといった処理が実行されてもよい。

　例えば、ダッシュボード３０に複数の材質が含まれている場合や、表面の形状にくぼみや傾斜等が含まれる場合には、ダッシュボード３０の場所ごとに映り込みの明るさが異なるといった場合があり得る。このような材質（反射率等）や形状（反射角等）の違いによる明るさの分布は、予め測定することが可能である。また明るさの分布に応じて、例えばダッシュボード３０の各点での重み付けパラメータ等を算出可能である。

　例えば、エリアマップＭ（ｕ，ｖ）の各画素ごとに重み付けパラメータが設定され、各画素ごとに、重み付けされたシフト量Ｌ_refが減算される。すなわち、映り込みが強い部分では、シフト量Ｌ_refが大きくなるように重み付けを行うパラメータが設定される。また映り込みが弱い部分では、シフト量Ｌ_refが小さくなるように重み付けを行うパラメータが設定される。これにより、映り込みに伴う外部画像４５の輝度のシフトを、画素単位で高精度に除去することが可能となり、画像センシングの精度を大幅に向上することが可能となる。

　以上、本実施形態に係る制御ユニット６０では、車両１００のフロントガラス２０を介して撮影された外部画像４５が取得される。またフロントガラス２０に映り込む車両１００内部のダッシュボード３０についての明るさに関する明るさ情報が検出される。そしてダッシュボード３０の明るさ情報に基づいて、外部画像４５が補正される。補正された外部画像４５を用いることで、車内から撮影される画像によるセンシングの精度を向上することが可能となる。

　画像の映り込みを補正する方法として、ステレオカメラで撮影された２つの画像を比較する方法が考えられる。例えば映り込みによる特徴点を各画像の視差に基づいて探索することで、映り込みが生じているピクセル等が特定される。この方法では、例えば映り込みが生じているピクセルの輝度値等を正しく補正することが難しい場合があり得る。また２台のカメラが必要であり、例えば単体のカメラに対して適用することは難しい。

　本実施形態では、映り込みの対象となるダッシュボード３０の照度Ｅを測定する照度センサ５１が用いられる。これにより、フロントガラス２０により反射されるダッシュボード３０の明るさ（第２の反射光３３の輝度Ｌ_ref）を精度よく算出することが可能である。この結果、映り込みによりシフトした外部画像４５の輝度が適正に補正された補正画像を生成することが可能となる。

　また照度センサ５１による照度Ｅの測定は、外部画像４５が撮影されるタイミングに合わせて実行される。これにより、映り込みが生じた際のダッシュボード３０の明るさ（照度Ｅ）に基づいて、補正画像を生成することが可能となる。この結果、時間帯、天候、走行環境等が変化した場合であっても、適正に映り込みを補正することが可能となり、装置の信頼性を向上することが可能となる。

　また外部画像４５の映り込み領域４６は、エリアマップＭ（ｕ，ｖ）を用いて判定される。これにより、例えば単一のカメラ４０が用いられる場合であっても、ダッシュボード３０等が映り込んでいる領域を容易に判定することが可能である。またこの方法は、カメラ４０が複数ある場合にも適用可能である。例えばステレオカメラとして構成された２台のカメラについて、カメラごとのエリアマップ等を構成することで、各カメラで撮影される画像での映り込みをそれぞれ除去することが可能である。この結果、ステレオマッチングの精度を大幅に向上するといったことが可能である。

　本実施形態では照度センサ５１の測定結果を用いることで、映り込みの補正のみならず、車両１００に搭載されたライト１２や表示機器１３等の制御が実行される。これにより、認識器のセンシング精度を向上するとともに、運転者等の負担を十分に軽減することが可能となる。また近年、照度センサ等を用いたオートライトの機能を搭載した車両が普及しており、照度センサの設置率は高くなると予想される。例えば、このような照度センサ５１を利用することで、映り込みの補正が可能な装置を低コストで提供することが可能となる。

　＜第２の実施形態＞
　本技術に係る第２の実施形態の情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明した車両１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

　図８は、本技術の第２の実施形態に係る制御ユニットを搭載する車両の構成例を示す模式図である。図９は、制御ユニット２６０の構成例を示すブロック図である。

　図８に示すように、車両２００は、フロントガラス２０と、ダッシュボード３０とを有する。フロントガラス２０及びダッシュボード３０は、例えば図１に示すフロントガラス２０及びダッシュボード３０と同様に構成される。なお図８では、図１に示すダッシュボード３０の第２の面３１ｂの図示が省略されている。

　また図８ではダッシュボード３０の上に載置された載置物３４が図示されている。例えばフロントガラス２０を介して太陽光２４等の照射光２３が入射することで、フロントガラス２０にはダッシュボード３０及び載置物３４の映り込みが生じる。本実施形態では、ダッシュボード３０及び載置物３４は、車両の内部に存在し窓ガラスに映り込む対象物の一例である。

　また車両２００は、カメラ４０と、明るさセンサ２５０と、制御ユニット２６０とを有する。カメラ４０は、例えば図１及び図２に示すカメラ４０と同様の構成を有する。

　明るさセンサ２５０は、ダッシュボード３０及び載置物３４の明るさに関するパラメータを測定する。明るさセンサ２５０は、飛行時間（ＴＯＦ：Time of Flight）を検出可能なＴＯＦカメラ２５１を有する。本実施形態では、ＴＯＦカメラ２５１により、明るさに関するパラメータとして、ダッシュボード３０の輝度が測定される。ＴＯＦカメラ２５１は、カメラ４０の近傍にダッシュボード３０に向けて配置される。図８には、ＴＯＦカメラ２５１の撮影範囲が点線を用いて模式的に図示されている。

　図１０は、ＴＯＦカメラ２５１の構成例を示す模式図である。ＴＯＦカメラ２５１は、画像センサ２５２とＴＯＦセンサ２５３とを有する。画像センサ２５２及びＴＯＦセンサ２５３は、互いに近接して配置される。本実施形態では、ＴＯＦカメラ２５１は、距離画像センサに相当する。

　画像センサ２５２は、対象の輝度画像を撮影する。ここで輝度画像とは、例えば対象の各点の輝度値が検出された画像であり、カラー画像（ＲＧＢ画像）やモノクロ画像等が含まれる。画像センサ２５２としては、例えばＣＣＤやＣＭＯＳ等を用いたイメージセンサを搭載したデジタルカメラ等が用いられる。

　ＴＯＦセンサ２５３は、対象までの距離を測定する。ＴＯＦセンサ２５３は、例えば画像センサ２５２と同様の画素数を持つ受光素子（イメージセンサ）を備える。ＴＯＦセンサ２５３では、図示しない発光素子を用いて対象に光を照射し、対象の各点で反射された光が受光素子により受光されるまでの時間が測定される。これにより、対象の各点までの距離が記録された距離画像を測定することが可能である。

　例えば画像センサ２５２により、映り込みの対象となる物体（ダッシュボード３０及び載置物３４）上の複数の測定点３５ごとの輝度（輝度画像）が測定される。図１０では、測定点３５の一例として、載置物３４上の測定点３５が黒丸で図示されている。例えば太陽光２４等が照射されて測定点３５で反射された反射光２５が画像センサ２５２により検出される。

　また例えば、ＴＯＦセンサ２５３により、映り込みの対象となる物体（ダッシュボード３０及び載置物３４）上の複数の測定点３５までの距離（距離画像）が測定される。図１０では、ＴＯＦセンサ２５３により測定される載置物３４上の測定点３５までの距離が模式的に図示されている。これにより、各測定点３５の位置を測定することが可能である。ここで測定点３５の位置とは、例えば所定の３次元座標系における測定点３５の座標値で表される３次元上の位置である。

　例えば、ＴＯＦセンサ２５３により測定された測定点３５の位置は、ＴＯＦセンサ２５３のセンサ座標系での位置となる。この位置（ＴＯＦセンサ２５３のセンサ座標系での座標値）は、例えば画像センサ２５２のセンサ座標系での位置に適宜変換することが可能である。従って、ＴＯＦカメラ２５１を用いることで、各画素（測定点３５）ごとの輝度と３次元位置とを含むデータを測定することが可能である。

　ＴＯＦセンサ２５３と画像センサ２５２とを個別に備えることで、例えば測定点３５の輝度及び位置を同時に測定するといったことが可能である。これにより、ダッシュボード３０及び載置物３４の位置や輝度を高精度に測定することが可能である。なおＴＯＦカメラ２５１の具体的な構成は限定されず、例えば輝度画像と距離画像とをそれぞれ撮影可能なＴＯＦセンサ２５３を備えるＴＯＦカメラ２５１が用いられてもよい。

　このように、ＴＯＦカメラ２５１は、ダッシュボード３０及び載置物３４上の複数の測定点ごとの輝度と、複数の測定点３５の位置とを測定可能である。本実施形態では、ＴＯＦカメラ２５１は、位置センサとして機能する。

　図９に示すように、制御ユニット２６０は、画像取得部２６１、明るさ検出部２６２、補正部２６３、記憶部２６４、及び、状態検出部２６６を備える。画像取得部２６１は、車両２００のフロントガラス２０を介して撮影された車両２００の外部画像４５を取得する。

　明るさ検出部２６２は、ダッシュボード３０及び載置物３４の明るさに関する明るさ情報を検出する。本実施形態では、明るさ情報として、ＴＯＦカメラ２５１の出力に基づいて、ダッシュボード３０及び載置物３４上の複数の測定点３５ごとの輝度が検出される。

　補正部２６３は、検出された測定点３５ごとの輝度に基づいて、車両２００の外部画像４５の輝度を補正する。記憶部２６４には、測定点３５ごとの輝度に基づいて、外部画像４５の輝度を補正するために必要となる各種のパラメータが記憶される。補正部２６３の動作については、後に詳しく説明する。

　状態検出部２６６は、ＴＯＦカメラ２５１の出力に基づいて、車両２００の内部の状態を検出する。ここで車両２００の内部の状態とは、例えば車両２００に搭乗している運転者や他の搭乗者の状態、シートの状態、あるいは載置物３４の状態等を含む車内空間１１での各種の状態である。検出対象となる運転者や搭乗者の状態には、例えば、位置、姿勢、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。

　例えば、ＴＯＦカメラ２５１から出力される運転者等の位置データを用いることで、運転者の状態等をモニタリングすることが可能である。これにより、例えば覚醒度や疲労度等を運転者に報知するといった処理や、緊急の場合に車両２００を安全に停止するといった処理を実行することが可能である。なおＴＯＦカメラ２５１の出力に基づいて、車両２００の外部の状態を検出するといった処理が実行されてもよい。この他、ＴＯＦカメラ２５１の出力を用いた任意の検出処理が実行されてよい。

　図１１は、外部画像４５の補正処理の一例を示す模式図である。以下では図１１を参照して、制御ユニット２６０による外部画像４５の補正処理について説明する。

　まずカメラ４０により車両２００の外部画像４５が撮影され、画像取得部２６１により撮影された外部画像４５が読み込まれる。図１１Ａは、カメラ４０により撮影される外部画像４５の一例を示す模式図である。図１１Ａに示すように、外部画像４５では、フロントガラス２０を介してダッシュボード３０及び載置物３４の映り込みが生じる。

　なお、載置物３４の位置は車両２００に対して固定されていない場合がある。このため、外部画像４５内の載置物３４の映り込む範囲は、撮影のたびに変化する場合があり得る。すなわち、載置物３４等が映り込む場合には、外部画像４５において映り込みが生じる映り込み領域４６が変化することがあり得る。

　以下では、外部画像４５に映り込むダッシュボード３０及び載置物３４の像を映り込み画像４９と記載する。映り込み画像４９は、例えばフロントガラス２０で反射される第２の反射光３３が検出されることで生じる像である（図９参照）。従って、外部画像４５は、フロントガラス２０を透過した透過光４１により構成される車両２００の前方の風景に、映り込み画像４９が重畳された画像であるとも言える。

　外部画像４５が撮影されるタイミングに合わせて、ＴＯＦカメラ２５１によりダッシュボード３０及び載置物３４が撮影される。そして明るさ検出部２６２により、ＴＯＦカメラ２５１の出力が読み込まれる。例えば、画像センサ２５２及びＴＯＦセンサ２５３により撮影された輝度画像及び距離画像がそれぞれ読み込まれる。

　図１１Ｂは、ＴＯＦカメラ２５１の画像センサ２５２により撮影される輝度画像２５４の一例を示す模式図である。輝度画像２５４は、ダッシュボード３０及び載置物３４を直接撮影した画像である。例えば輝度画像２５４内のある画素には、その画素と対応する測定点３５の輝度が記録される。

　従って、輝度画像２５４は、外部画像４５に映り込む対象となる物体（ダッシュボード３０及び載置物３４）の輝度分布を表す輝度マップＥ（ｕ'，ｖ'）であるとも言える。ここでｕ'及びｖ'は、画像センサ２５２（ＴＯＦカメラ２５１）により撮影される画像（輝度画像）の横方向及び縦方向の画素の座標を表す値である。

　補正部２６３により、ダッシュボード３０及び載置物３４の輝度から、映り込み画像４９の輝度が算出される。映り込み画像４９の輝度とは、ダッシュボード３０及び載置物３４から出射され、フロントガラス２０により反射された第２の反射光３３の輝度Ｌ_refである（図８参照）。

　第２の反射光３３の輝度Ｌ_refは、例えばダッシュボード３０及び載置物３４の輝度を表す輝度マップＥ（ｕ'，ｖ'）を用いて以下の式で表される。
　Ｌ_ref（ｕ'，ｖ'）＝γＥ（ｕ'，ｖ'）＋δ　　　（２）
　ここで、γ及びδは、フロントガラス２０の特性（反射率等に）応じて定まる係数である。係数γ及びδは、例えば予め算出され、記憶部２６４に記憶される。

　なお輝度マップＥ（ｕ'，ｖ'）は、ダッシュボード３０及び載置物３４の各測定点３５での反射率等の特性に応じた輝度を表している。従って例えばダッシュボード３０や載置物３４の特性が変化した場合であっても、記憶部２６４に記憶された係数γ及びδを用いて、Ｌ_ref（ｕ'，ｖ'）を算出可能である。

　（２）式に示すように、Ｌ_ref（ｕ'，ｖ'）は、図１１Ｂに示す輝度画像２５４の座標系（ｕ'，ｖ'）での、第２の反射光３３の輝度分布を表している。補正部２６３では、輝度画像２５４の座標系（ｕ'，ｖ'）から、外部画像４５の座標系（ｕ，ｖ）への座標変換が実行される。

　本実施形態では、透視投影変換を用いた座標変換が実行される。透視投影変換を用いることで、例えば３次元座標を２次元座標に変換する、あるいは２次元座標を３次元座標に変換するといった処理を実行可能である。

　透視投影変換では、例えば物体の撮影に用いられるレンズの中心座標やレンズの光軸方向等を含む外部パラメータと、焦点距離、画像中心の位置、画像サイズ、及び歪収差係数等を含む内部パラメータとを補正するためのキャリブレーション値が用いられる。これらのキャリブレーション値は、例えばカメラ４０とＴＯＦカメラ２５１とのそれぞれの特性及び配置関係等に基づいて定まる係数である。キャリブレーション値は、例えば所定のキャリブレーションパターン（市松模様等）を用いて予め算出され記憶部２６４に記憶される。

　例えば補正部２６３により、（２）式で算出された第２の反射光３３の輝度分布が、以下の式を用いて座標変換される。
　Ｌ_ref（ｕ，ｖ）＝Ｗ（Ｌ_ref（ｕ'，ｖ'），ｃ）　　　（３）
　ここでＷは、輝度画像２５４の座標系（ｕ'，ｖ'）から、外部画像４５の座標系（ｕ，ｖ）に変換する関数（変換行列等）である。またｃは、関数Ｗによる座標変換を行うためのキャリブレーション値である。

　Ｗによる座標変換は、例えばＴＯＦカメラ２５１（輝度画像２５４）上の２次元座標を、３次元空間での３次元座標に変換し、変換された３次元座標をカメラ４０（外部画像４５）上の２次元座標に変換する処理である。なお、Ｗによる座標変換では、ＴＯＦカメラ２５１により測定された距離画像の値が用いられる。これにより、例えば３次元座標を介した座標変換を適正に実行することが可能である。なお、座標変換を行う関数Ｗの具体的な構成は限定されず、例えば座標を変換可能な任意の方法が適宜用いられてよい。

　例えば図１１Ｂに示す輝度画像２５４上の測定点３５の座標（ｕ'，ｖ'）は、図１１Ａに示す外部画像４５上の測定点３５の座標（ｕ，ｖ）に変換される。もちろん、他の測定点３５（画素）についても、外部画像４５上の座標に変換される。このように、本実施形態では、補正部２６３により、ＴＯＦカメラ２５１により測定されたダッシュボード３０及び載置物３４の複数の測定点３５の位置が、外部画像４５内の位置に変換される。

　（３）式を用いて算出された第２の反射光３３の輝度分布Ｌ_ref（ｕ，ｖ）は、図１１Ａに示す外部画像４５での映り込み画像４９の輝度分布となる。すなわち、（２）式及び（３）式を用いることで、ダッシュボード３０及び載置物３４の実際の輝度を、映り込み画像４９の輝度に変換することが可能である。

　算出された第２の反射光３３の輝度分布Ｌ_ref（ｕ，ｖ）に基づいて、外部画像４５（輝度データＸ（ｕ，ｖ））が補正され、補正画像４８（補正用データＹ（ｕ，ｖ））が算出される。具体的には、輝度データＸ（ｕ，ｖ）から、第２の反射光３３の輝度分布Ｌ_ref（ｕ，ｖ）を差し引いた、補正用データＹ（ｕ，ｖ）＝Ｘ（ｕ，ｖ）－Ｌ_ref（ｕ，ｖ）が算出される。そして算出された補正用データＹ（ｕ，ｖ）に基づいて、補正画像４８が生成される。

　図１１Ｃは、補正画像４８の一例を示す模式図である。図１１Ｃには、図１１Ａに示す外部画像４５から第２の反射光３３の輝度分布Ｌ_ref（ｕ，ｖ）が除去された補正画像４８が図示されている。例えば補正画像４８では、外部画像４５に映り込んでいるダッシュボード３０の像のみならず、載置物３４の像も除去される。これにより、前方の景色が鮮明に撮影された補正画像４８を生成することが可能となる。生成された補正画像４８は、認識器等に出力され、補正画像４８を用いた画像センシング等が実行される。

　このように、本実施形態では、ＴＯＦカメラ２５１を用いて輝度マップＥ（ｕ'，ｖ'）を直接撮影することで、ダッシュボード３０等に物体（載置物３４）等が置かれた場合であっても、外部画像４５を適正に補正することが可能である。これにより、載置物３４の映り込みに係らず、画像センシング等の精度を十分に向上することが可能となり、高い信頼性を発揮することが可能となる。

　図１２は、ＴＯＦカメラ２５１を搭載する車両の他の構成例を示す模式図である。図１２Ａ及び図１２Ｂは、車両２０１の車内空間１１を車両２０１の側方及び上方から見た場合の模式図である。図１２に示す例では、複数のＴＯＦカメラ２５１が車内空間１１に配置される。

　車両２０１は、全周カメラ２４０と、複数のＴＯＦカメラ２５１とを有する。全周カメラ２４０は、例えば３６０°の範囲にわたって画像を撮影可能なカメラである。全周カメラ２４０は、例えば車内空間１１の上部中央に配置される。図１２に示す例では、前列シートと後列シートとの間の天井に配置された全周カメラ２４０が模式的に図示されている。

　全周カメラ２４０を用いることで、例えばフロントガラス２２０を介して車両２０１の前方画像を撮影可能である。またサイドガラス２２１及びリアガラス２２２を介して車両２０１の側方画像及び後方画像が撮影可能である。前方画像、側方画像、及び後方画像は、車両２０１の外部画像４５として用いられる。なお、全周カメラ２４０の具体的な構成は限定されない。本実施形態では、サイドガラス２２１は、サイドウィンドガラスに相当し、リアガラス２２２は、リアウィンドガラスに相当する。

　複数のＴＯＦカメラ２５１は、各窓ガラス（フロントガラス２２０、サイドガラス２２１、リアガラス２２２等）に映り込む車内空間１１に存在する物体を撮影可能なように配置される。より詳しくは、各窓ガラスに映り込む物体の映り込み対象面が撮影できるように、車内空間１１の各部に配置される。ここで映り込み対象面とは、例えば実際に窓ガラスに映り込む物体の面であり、典型的には、各物体の窓ガラスに向けられた面（領域）である。

　図１２に示す例では、４つのＴＯＦカメラ２５１が設けられる。各ＴＯＦカメラ２５１は、前列左側、前列右側、後列左側、及び後列右側の４つシートに対応して、車内空間１１の側壁に近い天井にそれぞれ配置される。このように、車内空間１１のすみに各シートに対応してＴＯＦカメラ２５１を配置することで、各シート５やそこに座る搭乗者４の窓ガラスに対する映り込み対象面を撮影することが可能である。この場合、シート５及び搭乗者４が、車両の内部に存在し窓ガラスに映り込む対象物となる。またシート５は、内装部品の一例である。

　例えば全周カメラ２４０を用いて、車両２０１周辺の他車両、歩行者、障害物等のセンシング（検出処理等）が実行される。図１２では、車両２０１の外部の右側方に存在する障害物３が模式的に図示されている。このように、全周カメラ２４０を用いることで、車両２０１周辺のセンシングを容易に実現することが可能である。

　例えば全周カメラ２４０の撮影タイミングに合わせて、各ＴＯＦカメラ２５１により、サイドガラス２２１等の窓ガラスに映り込む物体（搭乗者４やシート５等）の位置及び明るさが測定される。そしてＴＯＦカメラ２５１の測定結果に基づいて、全周カメラ２４０により撮影される外部画像４５に映り込む、各物体の映り込み画像４９の輝度が算出される。なお、全周カメラ２４０及び各ＴＯＦカメラ２５１の特性や配置関係に基づいて、ＴＯＦカメラ２５１の出力から映り込み画像４９の輝度を適宜算出することが可能である。

　これにより、映り込みの影響が低減した補正画像４８を生成することが可能となり、全周カメラを用いた車両２０１周辺のセンシングエラーを十分に軽減することが可能となる。このように、フロントウィンド（フロントガラス２２０）のみならず、サイドウィンド（サイドガラス２２１）やリアウィンド（リアガラス２２２）越しにセンシングが行われる場合であっても、本技術を適用することが可能である。これにより、車両２０１の周辺を３６０°の範囲にわたって高精度にセンシングすることが可能となる。

　＜第３の実施形態＞
　図１３は、本技術の第３の実施形態に係る制御ユニットを搭載する車両の構成例を示す模式図である。図１４は、制御ユニット３６０の構成例を示すブロック図である。車両３００は、カメラ４０と、明るさセンサ３５０と、制御ユニット３６０とを有する。

　明るさセンサ３５０は、照度センサ３５１及びＬｉＤＡＲセンサ３５２を有する。照度センサ３５１は、ダッシュボード３０に配置され、ダッシュボード３０の照度Ｅを測定する。なお図１３では、ダッシュボード３０には載置物３４が載置される。照度センサ３５１は、例えば載置物３４等により太陽光２４等の照射光２３が遮られないように、ダッシュボード３０の前方（フロントガラス２０側）に配置される。

　なお、照度センサ３５１により検出される照度Ｅは、例えばフロントガラス２０を透過して入射する太陽光２４の明るさを表す値であるとも言える。従って照度Ｅは、ダッシュボード３０の明るさのみならず、太陽光２４に照らされた載置物３４の明るさを表すパラメータとして用いることが可能である。

　ＬｉＤＡＲセンサ３５２は、レーザ光等を用いた対象までの距離検出（Light Detection and Ranging／Laser Imaging Detection and Ranging）を行うセンサである。ＬｉＤＡＲセンサ３５２は、カメラ４０の近傍にダッシュボード３０に向けて配置される。図１３には、ＬｉＤＡＲセンサ３５２から出射されたレーザ光３５３が模式的に図示されている。

　ＬｉＤＡＲセンサ３５２としては、レーザ光３５３を走査して、対象までの距離を表す３次元の点群データ（3D Point Cloud data）を測定する走査型の３Ｄスキャナが用いられる。例えば走査したレーザ光３５３が入射する対象によりレーザ光３５３が反射さる。反射されたレーザ光３５３の一部はセンサが備える検出器に入射する。検出器に入射した光の位相等を検出することで、対象までの距離、すなわち対象の３次元位置を測定することが可能である。

　例えば図１３に示すように、ＬｉＤＡＲセンサ３５２から出射されたレーザ光３５３は、車両３００の内部のダッシュボード３０及び載置物３４等に照射される。照射されたポイントで反射された光が検出され、そのポイントの位置が測定される。この場合、レーザ光３５３が照射されるポイントが測定点３５となる。図１３には、測定点３５の一例として載置物３４上の測定点３５が黒丸で図示されている。このように、ＬｉＤＡＲセンサ３５２では、レーザ光３５３の走査に応じて、ダッシュボード３０及び載置物３４上の複数の測定点３５の位置が測定される。

　またレーザ光３５３は、フロントガラス２０等を透過して、車両３００の外部の物体にも照射される。従って、ＬｉＤＡＲセンサ３５２は、車内空間１１に存在する対象のみならず、車両３００の外部の対象の位置等を測定することが可能である。すなわちＬｉＤＡＲセンサ３５２は、車両３００の内部及び外部の物体の位置を測定することが可能である

　なお、対象により反射される反射光の強度等は、対象の反射率等の特性に応じて変化する。このため、ＬｉＤＡＲセンサ３５２では、対象からの反射光の検出強度（Ｌ_i：ＬｉＤＡＲ Intensity）等を測定することで、対象の反射率に関する情報（Reflective value等）を測定することが可能である。例えば検出強度Ｌ_iに基づいて、各測定点３５ごとのおおよその反射率が測定される。本実施形態では、ＬｉＤＡＲセンサ３５２は、複数の測定点３５ごとの反射率を測定する測域センサに相当する。

　ＬｉＤＡＲセンサ３５２の具体的な構成は限定されない。例えば点群データを数ｆｐｓ～数十ｆｐｓのフレームレートで検出可能なセンサが用いられてよい。また例えば、紫外線、可視光線、近赤外線等の任意の波長のレーザ光を用いたＬｉＤＡＲセンサが用いられてよい。またレーザ光３５３の走査範囲や測定レンジ等は車両３００のサイズ等に応じて適宜設定されてよい。

　このように、ＬｉＤＡＲセンサ３５２は、ダッシュボード３０及び載置物３４上の複数の測定点３５ごとの反射率と、複数の測定点３５の位置とを測定可能である。本実施形態では、ＬｉＤＡＲセンサ３５２は、位置センサとして機能する。また本実施形態では、照度センサ３５１により測定される照度Ｅ及びＬｉＤＡＲセンサ３５２により測定される反射率（検出強度Ｌ_i）は、対象物の明るさに関するパラメータに相当する。

　図１４に示すように、制御ユニット３６０は、画像取得部３６１、明るさ検出部３６２、補正部３６３、記憶部３６４、発光制御部３６５、及び状態検出部３６６を備える。画像取得部３６１は、車両３００のフロントガラス２０を介して撮影された車両３００の外部画像４５を取得する。

　明るさ検出部３６２は、ダッシュボード３０及び載置物３４の明るさに関する明るさ情報を検出する。本実施形態では、明るさ情報として、照度センサ３５１の出力に基づいて、ダッシュボード３０の照度Ｅが検出される。また明るさ情報として、ＬｉＤＡＲセンサ３５２の出力に基づいて、ダッシュボード３０及び載置物３４上の複数の測定点３５ごとの反射率が検出される。

　また明るさ検出部３６２は、ダッシュボード３０の照度Ｅと、複数の測定点３５ごとの反射率に基づいて、複数の測定点３５ごとの輝度を検出する。例えば照度Ｅと反射率との積を用いて各測定点３５の輝度を適宜算出することが可能である。複数の測定点３５ごとの輝度を算出する方法は限定されず、例えばＬｉＤＡＲセンサ３５２の特性等に応じたキャリブレーション値等の係数が適宜用いられてよい。

　補正部３６３は、検出された測定点３５ごとの輝度に基づいて、車両３００の外部画像４５の輝度を補正する。記憶部３６４には、測定点３５ごとの輝度に基づいて、外部画像４５の輝度を補正するために必要となる各種のパラメータが記憶される。補正部３６３の動作については、後に詳しく説明する。

　発光制御部３６５は、照度センサ３５１の出力に基づいて、車両３００に搭載されたライト１２及び表示機器１３の発光強度を制御する。従って、照度センサ３５１は、外部画像の補正のみならず、ライト１２や表示機器１３の制御に用いられる。これにより、部品点数を抑えることが可能となり、車両３００の製造コスト等を抑制することが可能となる。

　状態検出部３６６は、ＬｉＤＡＲセンサ３５２の出力に基づいて、車両３００の内部の状態を検出する。例えばＬｉＤＡＲセンサ３５２により測定された対象の位置情報をもとに、搭乗者の位置、姿勢、体調、覚醒度、集中度、疲労度、視線方向（頭部の向き）等が検出される。

　また状態検出部３６６は、車両３００の外部の状態を検出する。例えば、ＬｉＤＡＲセンサ３５２の出力に基づいて、車両３００の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理等が行われる。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。

　このように、ＬｉＤＡＲセンサ３５２の出力は、外部画像の補正のみならず、車両３００の内外の各種の状態を検出する処理に用いられる。もちろんこれに限定されず、ＬｉＤＡＲセンサ３５２の出力を用いた任意の検出処理が実行されてよい。これにより、部品点数を抑えることが可能となり、車両３００の製造コスト等を抑制することが可能となる。

　図１５は、外部画像４５の補正処理の一例を示す模式図である。以下では図１５を参照して、制御ユニット３６０による外部画像４５の補正処理について説明する。

　図１５Ａは、カメラ４０により撮影される外部画像４５の一例を示す模式図である。図１５Ｂは、ＬｉＤＡＲセンサ３５２により測定される点群データの一例を示す模式図である。例えば外部画像４５が撮影されるタイミングに合わせて、ＬｉＤＡＲセンサ３５２による点群データ３５４の測定と、照度センサ３５１による照度Ｅの測定とが実行される。

　図１５Ｂには、ダッシュボード３０及び載置物３４上の複数の測定点３５が黒丸を用いて模式的に図示されている。点群データ３５４には、各測定点３５の３次元位置（ｘ，ｙ，ｚ）と、各測定点３５の反射率（検出強度Ｌ_i）とが含まれる。以下では、点群データ３５４をＬ_i（ｘ，ｙ，ｚ）と記載する。なお３次元位置（ｘ，ｙ，ｚ）は、例えばＬｉＤＡＲセンサ３５２のセンサ座標系を基準とした位置座標である。

　明るさ検出部３６２により、ダッシュボード３０の照度Ｅに基づいて、点群データＬ_i（ｘ，ｙ，ｚ）から各測定点３５の輝度データＥ（ｘ，ｙ，ｚ）が算出される。そして補正部３６３により、輝度データＥ（ｘ，ｙ，ｚ）から、図１５Ａに示す外部画像４５での映り込み画像４９の輝度が算出される。すなわち、ダッシュボード３０及び載置物３４から出射され、フロントガラス２０により反射された第２の反射光３３の輝度Ｌ_refが算出される（図１３参照）。

　第２の反射光３３の輝度Ｌ_refは、例えばダッシュボード３０及び載置物３４の輝度を表す輝度データＥ（ｘ，ｙ，ｚ）を用いて以下の式で表される。
　Ｌ_ref（ｘ，ｙ，ｚ）＝γ'Ｅ（ｘ，ｙ，ｚ）＋δ'　　　（４）
　ここで、γ'及びδ'は、フロントガラス２０の特性（反射率等に）応じて定まる係数である。係数γ'及びδ'は、例えば予め算出され、記憶部３６４に記憶される。

　（４）式に示すように、Ｌ_ref（ｘ，ｙ，ｚ）は、図１５Ｂに示すようにＬｉＤＡＲセンサ３５２のセンサ座標系（ｘ，ｙ，ｚ）での、第２の反射光３３の輝度分布を表している。本実施形態では、ＬｉＤＡＲセンサ３５２により測定されたダッシュボード３０及び載置物３４の複数の測定点３５の位置が、外部画像４５内の位置に変換される。具体的には、補正部３６３により、ＬｉＤＡＲセンサ３５２のセンサ座標系（ｘ，ｙ，ｚ）から、外部画像４５の座標系（ｕ，ｖ）への座標変換が実行される。

　例えば補正部３６３により、（４）式で算出された第２の反射光３３の輝度分布が、以下の式を用いて座標変換される。
　Ｌ_ref（ｕ，ｖ）＝Ｗ'（Ｌ_ref（ｘ，ｙ，ｚ），ｃ'）　　　（５）
　ここでＷ'は、ＬｉＤＡＲセンサ３５２のセンサ座標系（ｘ，ｙ，ｚ）から、外部画像４５の座標系（ｕ，ｖ）に変換する関数（変換行列等）である。Ｗ'は例えば透視投影変換等を用いて適宜設定される。またｃ'は、関数Ｗ'による座標変換を行うためのキャリブレーション値である。

　（５）式を用いて算出された第２の反射光３３の輝度分布Ｌ_ref（ｕ，ｖ）は、図１５Ａに示す外部画像４５での映り込み画像４９の輝度分布となる。すなわち、（４）式及び（５）式を用いることで、照度Ｅと反射率（検出強度Ｌ_i）とから、映り込み画像４９の輝度を算出することが可能である。

　算出された第２の反射光３３の輝度分布Ｌ_ref（ｕ，ｖ）を、図１５Ａに示す外部画像４５の輝度から適宜減算することで、図１５Ｃに示す、補正画像４８を生成することが可能である。このように、照度センサ３５１及びＬｉＤＡＲセンサ３５２を用いた場合であっても、ダッシュボード３０の映り込みや、ダッシュボード３０上の載置物３４の映り込み等を適正に除去することが可能である。これにより、画像センシング等の精度を十分に向上することが可能となる。

　なおＬｉＤＡＲセンサ３５２の点群データＬ_i（ｘ，ｙ，ｚ）には、車両３００の外部に存在する物体の反射率等の情報が含まれる。従って、照度センサ３５１により測定された照度Ｅと点群データＬ_i（ｘ，ｙ，ｚ）とを用いることで、例えば外部画像４５に映る車外の被写体（他車両、歩行者、障害物等）の輝度を推定することが可能である。

　例えば被写体の輝度の推定結果を、外部画像４５の輝度と比較することで、被写体の明るさの分布（明るい場所や暗い場所の分布）や、明るさの強度（極端に白くなる白とびや極端に黒くなる黒つぶれ）等を検出することが可能である。また例えば被写体の明るさの分布や強度等の検出結果を用いることで、カメラ４０による全体の露出や領域ごとの露出等を制御するといった処理が可能である。これにより、カメラ４０の撮影範囲において、エリアごとあるいは画素ごとに自動露光を実現することが可能である。この結果、外部画像４５を高精度に撮影することが可能となり、画像センシング等の精度を大幅に向上することが可能となる。

　＜第４の実施形態＞
　図１６は、本技術の第４の実施形態に係る制御ユニットを搭載する車両の構成例を示す模式図である。図１７は、制御ユニット４６０の構成例を示すブロック図である。車両４００は、フロントガラス２０と、ダッシュボード３０と、カメラ４０と、制御ユニット４６０とを有する。

　フロントガラス２０の下端にはダッシュボード３０が接続される。またダッシュボード３０の前方（フロントガラス２０に接続される側）には開口部４３１が設けられる。開口部４３１は、例えばエアコン等から出力される温風／冷風や外気等が通過する穴であり、ダッシュボード３０の下方に配置された空気ダクト４３２等に接続される。図１６には、開口部４３１及び空気ダクト４３２が模式的に図示されている。

　例えば、フロントガラス２０を通過して開口部４３１に入射した太陽光２４は、開口部４３１に接続された空気ダクト４３２の内部で反射あるいは吸収される。従って空気ダクト４３２の内部で反射された光は、フロントガラス２０にはほとんど反射しない。従って開口部４３１はダッシュボード３０上の映り込みが起きにくい穴であるとも言える。

　一方で、ダッシュボード３０の開口部４３１とは異なる領域では、照射された太陽光２４の一部が第１の反射光３２としてフロントガラス２０に入射する。また第１の反射光３２の一部はフロントガラス２０により反射され、第２の反射光３３としてカメラ４０に入射する。以下では、ダッシュボード３０上の開口部４３１とは異なる領域を反射部４３３と記載する。

　このように、ダッシュボード３０は、フロントガラス２０を介してカメラ４０に向かう第１の光路４３４に沿って光を反射する反射部４３３と、第１の光路とは異なる第２の光路４３５に沿って光を反射する開口部４３１とを有する。なお第１の光路４３４とは、例えば図１６に示す第１の反射光３２及び第２の反射光３３が通過する光路であり、外部画像４５に映り込む光が通過する光路である。また第２の光路４３５とは、例えば空気ダクト４３２内で反射・吸収される光が通る光路である。本実施形態では、反射部４３３は、第１の領域に相当し、開口部４３１は、第２の領域に相当する。

　カメラ４０は、例えば図１及び図２に示すカメラ４０と同様の構成を有する。なお、カメラ４０の撮影範囲は、例えば開口部４３１の周辺すなわちフロントガラス２０の下端周辺の映り込みが撮影されるように設定される（図１８Ａ参照）。

　制御ユニット４６０は、画像取得部４６１、明るさ検出部４６２、補正部４６３、及び記憶部４６４を備える。画像取得部４６１は、車両４００のフロントガラス２０を介して撮影された車両４００の外部画像４５を取得する。

　明るさ検出部４６２は、ダッシュボード３０の明るさに関する明るさ情報を検出する。本実施形態では、カメラ４０により撮影された外部画像４５に基づいてダッシュボード３０の明るさ情報が検出される。明るさ検出部４６２の動作については後に詳しく説明する。

　補正部４６３は、検出された明るさ情報に基づいて、車両４００の外部画像４５の輝度を補正する。記憶部４６４には、外部画像４５の輝度を補正するために必要となる各種のパラメータが記憶される。また記憶部４６４には、ダッシュボード３０の映り込みが生じる映り込み領域を表すエリアマップＭ（ｕ，ｖ）が記憶される。

　図１８は、外部画像４５の補正処理の一例を示す模式図である。以下では図１８を参照して、制御ユニット３６０による外部画像４５の補正処理について説明する。

　図１８Ａは、カメラ４０により撮影される外部画像４５の一例を示す模式図である。図１８Ａに示すように、外部画像４５の下側の映り込み領域４６には、開口部４３１の周辺の反射部４３３の像が模式的に図示されている。なお映り込み領域４６内の白色の領域が反射部４３３の映り込みが生じている領域であり、白色の領域で囲まれたグレーの領域が開口部４３１に対応する。

　図１８Ｂは、図１８Ａに示す点線の範囲６で囲まれた領域の拡大図であり、外部画像４５において開口部４３１の周辺の像が映り込む範囲が拡大された図である。上記したように、開口部４３１では、フロントガラス２０への反射等がほとんど無く、映り込みが起きにくい。従って、図中のグレーの領域では、映り込みに伴う輝度のシフト（例えば第２の反射光３３による輝度Ｌ_refの増加）等がほとんど生じない。

　このため、グレーの領域で検出される輝度（以下Ｌ_hole記載する）は、フロントガラス２０を透過した透過光４１の輝度Ｌ_trnと略同様の値となる。すなわち、グレーの領域の輝度Ｌ_holeは、Ｌ_hole＝Ｌ_trnと表される。例えば図１８Ａに示すように、グレーの領域が撮影される位置には、車両４００の前方の道路が存在する。従って、グレーの領域で検出される輝度Ｌ_holeは、道路の輝度を表すことになる。

　一方で、グレーの領域（開口部４３１）の周辺では、反射部４３３により太陽光２４等がフロントガラス２０に反射され、映り込みに伴う輝度のシフトが生じる。従って、グレーの領域の周辺の輝度Ｌ_nearは、透過光４１の輝度Ｌ_trnと第２の反射光３３の輝度Ｌ_refとの和となる。すなわち、グレーの領域の周辺の輝度Ｌ_nearは、Ｌ_near＝Ｌ_trn＋Ｌ_refと表される。

　明るさ検出部４６２は、外部画像４５における反射部４３３及び開口部４３１の輝度差を検出する。これにより、映り込みに伴う輝度のシフト量、すなわち第２の反射光３３の輝度Ｌ_refを算出することが可能である。第２の反射光３３の輝度Ｌ_refは、例えば以下の式を用いて算出される。
　Ｌ_ref＝Ｌ_near－Ｌ_hole　　　（７）

　例えば映り込み領域４６を表すエリアマップＭ（ｕ，ｖ）には、開口部４３１に対応するグレーの領域が撮影される範囲等が記録される。明るさ検出部４６２は、グレーの領域に含まれる画素の輝度値（Ｌ_hole）と、グレーの領域の周辺の明るい領域に含まれる画素の輝度値（Ｌ_near）とをそれぞれ算出する。そして算出されたＬ_hole及びＬ_nearに基づいて、（７）式を用いてＬ_refが算出される。なお、第２の反射光３３の輝度Ｌ_refを算出する方法等は限定されず、例えばグレーの領域及びその周辺の領域の各々の輝度の平均値等を用いてＬ_refが算出されてもよい。

　第２の反射光３３の輝度Ｌ_refが算出されると、補正部４６３により、エリアマップＭ（ｕ，ｖ）に基づいて映り込み領域４６に含まれる各画素の輝度が補正される。すなわち、処理対象となる各画素の輝度Ｌ_camから、透過光４１の輝度Ｌ_trn＝Ｌ_cam－Ｌ_refが算出される。なお、各画素の輝度の補正処理は、開口部４３１（グレーの領域）については実行されない。これにより例えば図１８Ｃに示す、補正画像４８を生成することが可能である。

　このように、ダッシュボード３０等に備えられた穴（開口部４３１）等を用いることで、外部画像４５を容易に補正することが可能である。これにより、画像センシング等の精度を十分に向上することが可能となる。またこの方法では、外部画像４５を使ってダッシュボード３０等の輝度を補正可能であることから、他のセンサ等を用いる必要がない。このため部品点数等を削減することが可能となり、装置の製造コスト等を大幅に低減することが可能である。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　上記の実施形態では、主にフロントガラス２０を介して撮影される外部画像４５（前方画像）を補正する方法について説明した。これに限定されず、例えば車両のサイドガラスやリアガラスを介して側方画像や後方画像が撮影される場合にも本技術は適用可能である。例えば各窓ガラスを介して車両の外部を撮影するカメラが適宜配置され、そのカメラでの映り込みを除去可能なように、照度センサ、ＴＯＦカメラ、ＬｉＤＡＲセンサ等が適宜配置される。これにより、車両の内部から任意の方向が撮影された画像を適正に補正可能である。

　上記では、単一のカメラ４０が用いられたが、複数のカメラ（例えばステレオカメラ等）が用いられる場合にも、本技術は適用可能である。例えば各カメラごとに、エリアマップや補正用のパラメータ、あるいは座標変換用の変換行列等が記憶される。これにより、複数のカメラの各々により撮影される外部画像等を適正に補正することが可能となる。

　上記では、制御ユニットにより、外部画像の補正等を含む、本技術に係る情報処理方法が実行された。これに限定されず、クラウドサーバにより、本技術に係る情報処理方法が実行されてもよい。すなわち制御ユニットの機能が、クラウドサーバに搭載されてもよい。この場合、当該クラウドサーバは、本技術に係る情報処理装置として動作することになる。

　また車両に搭載されたコンピュータ（制御ユニット）と、ネットワーク等を介して通信可能な他のコンピュータ（クラウドサーバ）とが連動することで、本技術に係る情報処理方法、及びプログラムが実行され、本技術に係る情報処理装置が構築されてもよい。

　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば車両の外部画像の取得、窓ガラスに映り込む対象物の明るさ情報の検出、及び外部画像の補正が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。

　すなわち本技術に係る情報処理方法、及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

　＜応用例＞
　上記では、移動体である車両を一例として説明を行った。本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１９では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。

　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

　ここで、図２０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図２０には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

　図１９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。

　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

　なお、図１９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

　なお、図２、図９、図１４、及び図１７、を用いて説明した第１～第４の実施形態に係る制御ユニット６０、２６０、３６０、及び４６０の各機能を実現するためのコンピュータプログラムを、図１９に示すいずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

　以上説明した車両制御システム７０００において、第１～第４の実施形態に係る制御ユニット６０、２６０、３６０、及び４６０、図１９に示した応用例の統合制御ユニット７６００に適用することができる。例えば、第１の実施形態に係る制御ユニット６０の画像取得部６１及び明るさ検出部６２は、車外情報検出ユニット７４００及び車内情報検出ユニット７５００に相当し、補正部６３及び記憶部６４は、統合制御ユニット７６００のマイクロコンピュータ７６１０及び記憶部７６９０に相当し、発光制御部６５は、ボディ系制御ユニット７２００に相当する。

　また、第１～第４の実施形態に係る制御ユニット６０、２６０、３６０、及び４６０の少なくとも一部の構成要素は、図１９に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、第１～第４の実施形態に係る制御ユニット６０、２６０、３６０、及び４６０が、図２０に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　なお、本技術は以下のような構成も採ることができる。
（１）車両の窓ガラスを介して撮影された前記車両の外部画像を取得する取得部と、
　前記車両の内部に存在し前記窓ガラスに映り込む対象物の明るさに関する明るさ情報を検出する検出部と、
　前記検出された明るさ情報に基づいて、前記車両の前記外部画像を補正する補正部と
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記明るさ情報は、前記対象物の照度、輝度、及び反射率の少なくとも１つに関する情報を含む
　情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
　前記対象物は、ダッシュボード、内装部品、及び前記車両の内部に載置された載置物の少なくとも１つを含む
　情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
　前記窓ガラスは、フロントウィンドガラス、サイドウィンドガラス、及びリアウィンドガラスの少なくとも１つを含む
　情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
　前記補正部は、前記対象物の前記明るさ情報に基づいて、前記外部画像の輝度を補正する
　情報処理装置。
（６）（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
　前記補正部は、前記明るさ情報に基づいて、前記窓ガラスを介した前記対象物の映り込みによる前記外部画像の輝度変化量を算出する
　情報処理装置。
（７）（１）から（６）のうちいずれか１つに記載の情報処理装置であって、
　前記検出部は、前記対象物の明るさに関するパラメータを測定するセンサ部の出力に基づいて前記明るさ情報を検出する
　情報処理装置。
（８）（７）に記載の情報処理装置であって、
　前記センサ部は、前記対象物の照度を測定する照度センサを含む
　情報処理装置。
（９）（８）に記載の情報処理装置であって、
　前記補正部は、前記外部画像内の前記対象物が映り込む領域を判定し、前記対象物の照度に基づいて前記対象物が映り込むと判定された領域の輝度を補正する
　情報処理装置。
（１０）（８）又は（９）に記載の情報処理装置であって、
　前記センサ部は、前記対象物により前記窓ガラスに向けて反射される光の強度に応じて前記車両の内部に配置される複数の前記照度センサを含む
　情報処理装置。
（１１）（８）から（１０）のうちいずれか１つに記載の情報処理装置であって、さらに
　前記照度センサの出力に基づいて、前記車両に搭載されたライト及び表示機器の少なくとも一方の発光強度を制御する発光制御部を具備する
　情報処理装置。
（１２）（７）から（１１）のうちいずれか１つに記載の情報処理装置であって、
　前記センサ部は、前記対象物上の複数の測定点ごとの前記明るさに関するパラメータと、前記複数の測定点の位置とを測定可能な位置センサを含み、
　前記検出部は、前記位置センサの出力に基づいて、前記対象物上の前記複数の測定点ごとの輝度を検出する
　情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
　前記位置センサは、前記複数の測定点ごとの反射率を測定する測域センサである
　情報処理装置。
（１４）（１３）に記載の情報処理装置であって、
　前記センサ部は、前記対象物の照度を測定する照度センサを含み、
　前記検出部は、前記対象物の照度と前記複数の測定点ごとの反射率とに基づいて、前記複数の測定点ごとの輝度を検出する
　情報処理装置。
（１５）（１２）から（１４）のうちいずれか１つに記載の情報処理装置であって、
　前記位置センサは、前記複数の測定点ごとの輝度を測定する距離画像センサである
　情報処理装置。
（１６）（１２）から（１５）のうちいずれか１つに記載の情報処理装置であって、
　前記補正部は、前記位置センサにより測定された前記対象物の前記複数の測定点の位置を、前記外部画像内の位置に変換する
　情報処理装置。
（１７）（１２）から（１６）のうちいずれか１つに記載の情報処理装置であって、さらに
　前記位置センサの出力に基づいて、前記車両の外部の状態及び前記車両の内部の状態の少なくとも一方を検出する状態検出部を具備する
　情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、
　前記外部画像は、前記車両の内部に搭載された撮像部により撮影され、
　前記対象物は、前記窓ガラスを介して前記撮像部に向かう第１の光路に沿って光を反射する第１の領域と、前記第１の光路とは異なる第２の光路に沿って光を反射する第２の領域とを有し、
　前記検出部は、前記外部画像における前記第１及び前記第２の領域の輝度差を検出する
　情報処理装置。
（１９）車両の内部に搭載された撮像部と、
　前記撮像部により前記車両の窓ガラスを介して撮影された前記車両の外部画像を取得する取得部と、
　前記車両の内部に存在し前記窓ガラスに映り込む対象物の明るさに関する明るさ情報を検出する検出部と、
　前記検出された明るさ情報に基づいて、前記車両の前記外部画像を補正する補正部と
　を具備する撮像装置。
（２０）車両の内部に搭載された撮像部と、
　前記撮像部により前記車両の窓ガラスを介して撮影された前記車両の外部画像を取得する取得部と、
　前記車両の内部に存在し前記窓ガラスに映り込む対象物の明るさに関する明るさ情報を検出する検出部と、
　前記検出された明るさ情報に基づいて、前記車両の前記外部画像を補正する補正部と
　を具備する撮像システム。

　１１…車内空間
　１２…ライト
　１３…表示機器
　２０、２２０…フロントガラス
　３０…ダッシュボード
　３４…載置物
　３５…測定点
　４０…カメラ
　４５…外部画像
　４６、４６ａ、４６ｂ…映り込み領域
　４８…補正画像
　５０、２５０、３５０…明るさセンサ
　５１、３５１…照度センサ
　６０、２６０、３６０、４６０…制御ユニット
　６１、２６１、３６１、４６１…画像取得部
　６２、２６２、３６２、４６２…明るさ検出部
　６３、２６３、３６３、４６３…補正部
　６４、２６４、３６４、４６４…記憶部
　６５、３６５…発光制御部
　２６６、３６６…状態検出部
　１００、２００、２０１、３００、４００…車両
　２５１…ＴＯＦカメラ
　３５２…ＬｉＤＡＲセンサ
　４３４…第１の光路
　４３５…第２の光路

Claims

　車両の窓ガラスを介して撮影された前記車両の外部画像を取得する取得部と、
　前記車両の内部に存在し前記窓ガラスに映り込む対象物の明るさに関する明るさ情報を検出する検出部と、
　前記検出された明るさ情報に基づいて、前記車両の前記外部画像を補正する補正部と
　を具備する情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記明るさ情報は、前記対象物の照度、輝度、及び反射率の少なくとも１つに関する情報を含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記対象物は、ダッシュボード、内装部品、及び前記車両の内部に載置された載置物の少なくとも１つを含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記窓ガラスは、フロントウィンドガラス、サイドウィンドガラス、及びリアウィンドガラスの少なくとも１つを含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記補正部は、前記対象物の前記明るさ情報に基づいて、前記外部画像の輝度を補正する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記補正部は、前記明るさ情報に基づいて、前記窓ガラスを介した前記対象物の映り込みによる前記外部画像の輝度変化量を算出する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記検出部は、前記対象物の明るさに関するパラメータを測定するセンサ部の出力に基づいて前記明るさ情報を検出する
　情報処理装置。
　請求項７に記載の情報処理装置であって、
　前記センサ部は、前記対象物の照度を測定する照度センサを含む
　情報処理装置。
　請求項８に記載の情報処理装置であって、
　前記補正部は、前記外部画像内の前記対象物が映り込む領域を判定し、前記対象物の照度に基づいて前記対象物が映り込むと判定された領域の輝度を補正する
　情報処理装置。
　請求項８に記載の情報処理装置であって、
　前記センサ部は、前記対象物により前記窓ガラスに向けて反射される光の強度に応じて前記車両の内部に配置される複数の前記照度センサを含む
　情報処理装置。
　請求項８に記載の情報処理装置であって、さらに
　前記照度センサの出力に基づいて、前記車両に搭載されたライト及び表示機器の少なくとも一方の発光強度を制御する発光制御部を具備する
　情報処理装置。
　請求項７に記載の情報処理装置であって、
　前記センサ部は、前記対象物上の複数の測定点ごとの前記明るさに関するパラメータと、前記複数の測定点の位置とを測定可能な位置センサを含み、
　前記検出部は、前記位置センサの出力に基づいて、前記対象物上の前記複数の測定点ごとの輝度を検出する
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記位置センサは、前記複数の測定点ごとの反射率を測定する測域センサである
　情報処理装置。
　請求項１３に記載の情報処理装置であって、
　前記センサ部は、前記対象物の照度を測定する照度センサを含み、
　前記検出部は、前記対象物の照度と前記複数の測定点ごとの反射率とに基づいて、前記複数の測定点ごとの輝度を検出する
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記位置センサは、前記複数の測定点ごとの輝度を測定する距離画像センサである
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記補正部は、前記位置センサにより測定された前記対象物の前記複数の測定点の位置を、前記外部画像内の位置に変換する
　情報処理装置。
　請求項１２に記載の情報処理装置であって、さらに
　前記位置センサの出力に基づいて、前記車両の外部の状態及び前記車両の内部の状態の少なくとも一方を検出する状態検出部を具備する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記外部画像は、前記車両の内部に搭載された撮像部により撮影され、
　前記対象物は、前記窓ガラスを介して前記撮像部に向かう第１の光路に沿って光を反射する第１の領域と、前記第１の光路とは異なる第２の光路に沿って光を反射する第２の領域とを有し、
　前記検出部は、前記外部画像における前記第１及び前記第２の領域の輝度差を検出する
　情報処理装置。
　車両の内部に搭載された撮像部と、
　前記撮像部により前記車両の窓ガラスを介して撮影された前記車両の外部画像を取得する取得部と、
　前記車両の内部に存在し前記窓ガラスに映り込む対象物の明るさに関する明るさ情報を検出する検出部と、
　前記検出された明るさ情報に基づいて、前記車両の前記外部画像を補正する補正部と
　を具備する撮像装置。
　車両の内部に搭載された撮像部と、
　前記撮像部により前記車両の窓ガラスを介して撮影された前記車両の外部画像を取得する取得部と、
　前記車両の内部に存在し前記窓ガラスに映り込む対象物の明るさに関する明るさ情報を検出する検出部と、
　前記検出された明るさ情報に基づいて、前記車両の前記外部画像を補正する補正部と
　を具備する撮像システム。