JPWO2018110389A1 - 車両用照明システムおよび車両 - Google Patents

Abstract

第一照射モードと、第一照射モードよりも高い照度で光を照射する第二照射モードで車両（１）の前方へ光を照射可能な光源ユニット（２１）と、車両（１）の前方を撮像可能なカメラ（６）と、光源ユニット（２１）の照射モード、および、カメラ（６）の撮像タイミングを設定する撮影制御部（２４）と、カメラ（６）が取得した画像を演算処理する画像生成部（２５）と、を有し、撮影制御部（２４）は、光源ユニット（２１）が第一照射モードで車両（１）の前方を照射しているときに、カメラ（６）により車両（１）の前方を撮像させて第一画像を画像生成部（２５）へ出力させ、光源ユニット（２１）が第二照射モードで車両（１）の前方を照射しているときに、カメラ（６）により車両（１）の前方を撮像させて第二画像を画像生成部（２５）へ出力させ、画像生成部（２５）は、第一画像と第二画像とにより単一の出力画像を生成する。

Description

本発明は、車両用照明システムおよび車両に関する。

現在、自動車の自動運転技術の研究が各国で盛んに行われており、車両が自動運転モードで公道を走行可能とするための法整備が各国で検討されている。ここで、自動運転モードとは、車両の走行が自動制御されるモードをいう。一方、手動運転モードとは、車両の走行が運転者により制御されるモードをいう。自動運転車ではコンピュータにより自動的に車両の走行が制御される。

このように、将来において、公道上では自動運転モードで走行中の車両（以下、自動運転車という。）と手動運転モードで走行中の車両（以下、手動運転車という。）が混在することが予想される。

特許文献１には、先行車に後続車が自動追従走行した自動追従走行システムが開示されている。当該自動追従走行システムでは、先行車と後続車の各々が表示装置を備えており、先行車と後続車との間に他車が割り込むことを防止するための文字情報が先行車の表示装置に表示されると共に、自動追従走行である旨を示す文字情報が後続車の表示装置に表示される。

日本国特開平９−２７７８８７号公報

ところで、自動運転の車両は、カメラによって前方の情報を取得し、取得した情報に応じて車両を制御している。このカメラに対向車の前照灯から出射された光などの強い光が入射すると、カメラにハレーションが生じてしまい、車両前方の情報を効率的に取得しにくくなる。

本発明は、入射する光の光量によらず良好に車両前方の情報を取得できる車両用照明システムおよび車両を提供することを目的とする。

（１） 本発明にかかる車両用照明システムは、
第一照射モードと、前記第一照射モードよりも高い照度で光を照射する第二照射モードを含む少なくとも２つの照射モードで車両前方へ光を照射可能な光源ユニットと、
車両前方を撮像可能なカメラと、
前記光源ユニットの照射モード、および、前記カメラの撮像タイミングを設定する撮影制御部と、
前記カメラが取得した画像を演算処理する画像生成部と、を有し、
前記撮影制御部は、
前記光源ユニットが前記第一照射モードで車両前方を照射しているときに、前記カメラにより車両前方を撮像させて第一画像を前記画像生成部へ出力させ、
前記光源ユニットが前記第二照射モードで車両前方を照射しているときに、前記カメラにより車両前方を撮像させて第二画像を前記画像生成部へ出力させ、
前記画像生成部は、前記第一画像と前記第二画像とにより単一の出力画像を生成する。

この構成の車両用照明システムによれば、第一画像と第二画像とにより、出力画像を生成する。第一画像と第二画像は、一方の短所が他方の長所で補完される関係を有する。したがって両者から出力画像を生成することにより、第一画像において光量不足により認識しにくい暗い対象物は、第二画像により認識しやすくなる。第二画像においてハレーションが生じてしまい認識しにくい明るい対象物は、第一画像により認識しやすくなる。このように、本発明に係る車両用照明システムによれば、入射する光の光量によらず良好に車両前方の情報を取得できる。

（２） 上記本発明に係る車両用照明システムにおいて、前記画像生成部は、前記第一画像において第一閾値以下の輝度の部分を該部分に対応する前記第二画像の一部で置換し、および／または、前記第二画像で前記第一閾値より高い第二閾値以上の輝度の部分を該部分に対応する前記第一画像の一部で置換して、前記出力画像を得るものでもよい。

この構成の車両用照明システムによれば、第一画像において光量不足により認識しにくい暗い対象物は、第二画像により置換された部分により認識しやすくなる。第二画像においてハレーションが生じてしまい認識しにくい明るい対象物は、第一画像により置換された部分により認識しやすくなる。したがって、第一画像の認識しにくい部分を第二画像の部分で置換し、第二画像の認識しにくい部分を第一画像の部分で置換することで、画像を良好に補完することができる。

（３） 上記本発明に係る車両用照明システムにおいて、前記撮影制御部は、前記第一照射モードと前記第二照射モードとを交互に切り替えるように前記光源ユニットを制御するものでもよい。

この構成の車両用照明システムによれば、光源ユニットで照射モードを第一照射モードと第二照射モードとに交互に切り替えることで、第一画像と第二画像とを確実に取得して画像の補完処理を行うことができる。

（４） 上記本発明に係る車両用照明システムにおいて、
前記光源ユニットは、通常時は前記第一照射モードで車両前方へ光を照射するように構成され、
前記撮影制御部は、所定間隔おきに前記第二照射モードへ変更するように前記光源ユニットを制御するものでもよい。

この構成の車両用照明システムによれば、光源ユニットは、通常時は低い照度である第一照射モードで光を照射するので、対向車などにグレアを与えにくい。

（５） 上記本発明に係る車両用照明システムにおいて、前記所定間隔は２０ｍｓｅｃ以下であるものでもよい。

この構成の車両用照明システムによれば、第一照射モードと第二照射モードとの切替によっても、運転者にちらつき感（ｆｌｉｃｋｅｒ）を与えない。

（６） 本発明にかかる車両用照明システムは、
車両前方へ光を照射可能な光源ユニットと、
第一撮影モードと、前記第一撮影モードよりも感度の高い、および／または、露光時間の長い第二撮影モードを含む少なくとも２つの撮影モードで車両前方を撮像可能なカメラユニットと、
前記カメラユニットの前記撮影モードおよび撮像タイミングを設定する撮影制御部と、
前記カメラユニットが取得した画像を演算処理する画像生成部と、を有し、
前記撮影制御部は、
前記カメラユニットにより前記第一撮影モードで車両前方を撮像させて第一画像を前記画像生成部へ出力させ、
前記カメラユニットにより前記第二撮影モードで車両前方を撮像させて第二画像を前記画像生成部へ出力させ、
前記画像生成部は、前記第一画像と前記第二画像とにより単一の出力画像を生成する。

この構成の車両用照明システムによれば、カメラユニットは、第一撮影モードと、第一撮影モードよりも感度の高い、および／または、露光時間の長い第二撮影モードで車両前方を撮像可能である。そして、第一撮影モードで撮像された第一画像と第二撮影モードで撮像された第二画像とにより、出力画像を生成する。第一撮影モードで撮像された第一画像と、第一撮像モードよりも感度の高い、および／または、露光時間の長い第二撮像モードで撮像された第二画像は、一方の短所が他方の長所で補完される関係を有する。
したがって、両者の画像から出力画像を生成することにより、第一画像において光量不足によりブラックアウトして認識しにくい暗い対象物は、第二画像により認識しやすくなる。第二画像において光量過多によるハレーションが生じて認識しにくい明るい対象物は、第一画像により認識しやすくなる。このように、第一画像および第二画像の認識しやすい部分を互いに置換することで互いに補完した出力画像を取得するので、入射する光の光量によらず良好に車両前方の情報を取得できる。

（７） 前記画像生成部は、前記第一画像において第一閾値以下の輝度の部分を該部分に対応する前記第二画像の一部で置換し、および／または、前記第二画像で前記第一閾値より高い第二閾値以上の輝度の部分を該部分に対応する前記第一画像の一部で置換して、前記出力画像を得るものでもよい。

この構成の車両用照明システムによれば、第一画像において光量不足により認識しにくい暗い対象物は、第二画像により置換された部分により認識しやすくなる。第二画像において光量過多によるハレーションが生じてしまい認識しにくい明るい対象物は、第一画像により置換された部分により認識しやすくなる。したがって、第一画像の認識しにくい部分を第二画像の部分で置換する、あるいは、第二画像の認識しにくい部分を第一画像の部分で置換することで、画像を良好に補完することができ、光量過多によるハレーションが生じた箇所や光量不足によりブラックアウトが生じた箇所の情報を確実に取得できる。

（８） 前記カメラユニットは、
前記第一撮影モードで車両前方を撮影する第一カメラと、
前記第二撮影モードで車両前方を撮影する第二カメラと、を有し、
前記撮影制御部は、前記第一カメラと前記第二カメラを同時に撮影させるものでもよい。

この構成の車両用照明システムによれば、第一画像と第二画像とを時間差なく取得できるので、第一画像と第二画像との間において対象物の位置ずれがなく、第一画像と第二画像の位置関係の対応付けをしやすい。

（９） 前記撮影制御部は、前記第一撮影モードと前記第二撮影モードを交互に切り替えて前記カメラユニットに撮影させるものでもよい。

この構成の車両用照明システムによれば、カメラユニットで撮影モードを第一撮影モードと第二撮影モードとに交互に切り替えることで、第一画像と第二画像とを確実に取得して画像の補完処理を行うことができる。しかも、単一のカメラでカメラユニットが構成できるので、システムを簡略にできる。

（１０） 前記撮影制御部は、露光時間の短い前記第二撮影モードで撮影した後に前記第一撮影モードで撮影させるものでもよい。

この構成の車両用照明システムによれば、短い時間差で第一画像と第二画像とを取得でき、第一画像と第二画像との間における対象物の位置ずれを極力抑えることができる。

（１１） 本発明にかかる車両は、上記（１）から（１０）のいずれかの車両用照明システムを備えている。

この構成の車両によれば、得られた出力画像から歩行者、対向車、前走車、標識、路面などの周辺情報を取得し、この周辺情報に基づいて、例えば、自動運転の制御を良好に行うことができる。

本発明によれば、入射する光の光量によらず良好に車両前方の情報を取得できる車両用照明システムおよび車両が提供できる。

本発明の第一実施形態に係る車両の上面図である。 図１Ａに示す車両の側面図である。 車両システムのブロック図である。 本発明の実施形態に係る車両用照明システムのブロック図である。 車両前方の映像を示す図であって、実際の映像を示す模式図である。 車両前方の映像を示す図であって、光量不足の画像を示す模式図である。 車両前方の映像を示す図であって、光量過多の画像を示す模式図である。 第一実施形態に係る車両用照明システムによる画像補完処理を示すフローチャートである。 第二実施形態に係る車両用照明システムによる画像補完処理を示すフローチャートである。 本発明の第三実施形態に係る車両の上面図である。 図７Ａに示す車両の側面図である。 車両システムのブロック図である。 第三実施形態に係る車両用照明システムのブロック図である。

以下、本発明の実施形態（以下、本実施形態という。）について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。

また、本実施形態の説明では、説明の便宜上、「左右方向」、「前後方向」、「上下方向」について適宜言及する。これらの方向は、図１Ａ及び図１Ｂに示す車両１について設定された相対的な方向である。ここで、「上下方向」は、「上方向」及び「下方向」を含む方向である。「前後方向」は、「前方向」及び「後方向」を含む方向である。「左右方向」は、「左方向」及び「右方向」を含む方向である。

＜第一実施形態＞
図１Ａ及び図１Ｂは、第一実施形態に係る車両用照明システム２０が搭載された車両１を示す。図１Ａは、車両１の上面図を示し、図１Ｂは車両１の側面図を示す。車両１は、自動運転モードで走行可能な自動車であって、車両用照明システム２０を備えている。

まず、図２を参照して車両１の車両システム２について説明する。図２は、車両システム２のブロック図を示している。図２に示すように、車両システム２は、車両制御部３と、センサ５と、カメラ６と、レーダ７と、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）８と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）９と、無線通信部１０と、地図情報記憶部１１とを備えている。さらに、車両システム２は、ステアリングアクチュエータ１２と、ステアリング装置１３と、ブレーキアクチュエータ１４と、ブレーキ装置１５と、アクセルアクチュエータ１６と、アクセル装置１７とを備えている。

車両制御部３は、電子制御ユニット（ＥＣＵ）により構成されている。電子制御ユニットは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、各種車両制御プログラムが記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、各種車両制御データが一時的に記憶されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とにより構成されている。プロセッサは、ＲＯＭに記憶された各種車両制御プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。車両制御部３は、車両１の走行を制御するように構成されている。

センサ５は、加速度センサ、速度センサ及びジャイロセンサ等を備えている。センサ５は、車両１の走行状態を検出して、走行状態情報を車両制御部３に出力するように構成されている。センサ５は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。さらに、センサ５は、車両１の周辺環境の照度を検出する照度センサを備えていてもよい。

カメラ６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（相補型ＭＯＳ）等の撮像素子を含むカメラである。カメラ６は、可視光を検出するカメラや、赤外線を検出する赤外線カメラである。レーダ７は、ミリ波レーダ、マイクロ波レーダ又はレーザーレーダ等である。カメラ６とレーダ７は、車両１の周辺環境（他車、歩行者、道路形状、交通標識、障害物等）を検出し、周辺環境情報を車両制御部３に出力するように構成されている。

ＨＭＩ８は、運転者からの入力操作を受付ける入力部と、走行情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両１の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、各種走行情報を表示するディスプレイである。

ＧＰＳ９は、車両１の現在位置情報を取得し、当該取得された現在位置情報を車両制御部３に出力するように構成されている。無線通信部１０は、車両１の周囲にいる他車の走行情報を他車から受信すると共に、車両１の走行情報を他車に送信するように構成されている（車車間通信）。また、無線通信部１０は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両１の走行情報をインフラ設備に送信するように構成されている（路車間通信）。地図情報記憶部１１は、地図情報が記憶されたハードディスクドライブ等の外部記憶装置であって、地図情報を車両制御部３に出力するように構成されている。

車両１が自動運転モードで走行する場合、車両制御部３は、走行状態情報、周辺環境情報、現在位置情報、地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ１２は、ステアリング制御信号を車両制御部３から受信して、受信したステアリング制御信号に基づいてステアリング装置１３を制御するように構成されている。ブレーキアクチュエータ１４は、ブレーキ制御信号を車両制御部３から受信して、受信したブレーキ制御信号に基づいてブレーキ装置１５を制御するように構成されている。アクセルアクチュエータ１６は、アクセル制御信号を車両制御部３から受信して、受信したアクセル制御信号に基づいてアクセル装置１７を制御するように構成されている。このように、自動運転モードでは、車両１の走行は車両システム２により自動制御される。

一方、車両１が手動運転モードで走行する場合、車両制御部３は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に従って、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両１の走行は運転者により制御される。

次に、車両１の運転モードについて説明する。運転モードは、自動運転モードと手動運転モードとからなる。自動運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードとからなる。完全自動運転モードでは、車両システム２がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両１を運転できる状態にはない。高度運転支援モードでは、車両システム２がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両１を運転できる状態にはあるものの車両１を運転しない。運転支援モードでは、車両システム２がステアリング制御、ブレーキ制御及びアクセル制御のうち一部の走行制御を自動的に行うと共に、車両システム２の運転支援の下で運転者が車両１を運転する。一方、手動運転モードでは、車両システム２が走行制御を自動的に行わないと共に、車両システム２の運転支援なしに運転者が車両１を運転する。

また、車両１の運転モードは、運転モード切替スイッチを操作することで切り替えられてもよい。この場合、車両制御部３は、運転モード切替スイッチに対する運転者の操作に応じて、車両１の運転モードを４つの運転モード（完全自動運転モード、高度運転支援モード、運転支援モード、手動運転モード）の間で切り替える。また、車両１の運転モードは、自動運転車が走行可能である走行可能区間や自動運転車の走行が禁止されている走行禁止区間についての情報または外部天候状態についての情報に基づいて自動的に切り替えられてもよい。この場合、車両制御部３は、これらの情報に基づいて車両１の運転モードを切り替える。さらに、車両１の運転モードは、着座センサや顔向きセンサ等を用いることで自動的に切り替えられてもよい。この場合、車両制御部３は、着座センサや顔向きセンサからの出力信号に基づいて、車両１の運転モードを切り替える。

次に、車両用照明システム２０の詳細を説明する。図１Ａ及び図１Ｂに示すように、車両用照明システム２０は、光源ユニット２１と、カメラ６とを備えている。光源ユニット２１は、車両１の前部における左右に設けられており、車両１の前方を照射する。カメラ６は、車両１の前部における幅方向の中央付近に設けられている。光源ユニット２１及びカメラ６は、それぞれ車両制御部３に接続されている。なお、光源ユニット２１とカメラ６とは、別体のものに限らず、光源ユニット２１にカメラ６が一体に設けられたものでも良い。

図３は、車両用照明システム２０のブロック図である。図３に示すように、車両用照明システム２０は、撮影制御部２４と、画像生成部２５とを備えている。撮影制御部２４及び画像生成部２５は、車両制御部３に設けられている。

光源ユニット２１は、照度設定部２２に接続されており、照度設定部２２は、車両制御部３の撮影制御部２４に接続されている。光源ユニット２１は、第一照射モードと、第一照射モードよりも高い照度で光を照射する第二照射モードを含む少なくとも２つの照射モードで車両前方へ光を照射可能に構成されている。光源ユニット２１は、本実施形態では、車両前方のカメラ６の撮像範囲の全体に光を照射する灯具に搭載された光源である。光源ユニット２１は、ハイビーム配光パターンやロービーム配光パターンを形成可能な車両用前照灯の内部に搭載されている。

照度設定部２２は、撮影制御部２４からの指令に基づいて、光源ユニット２１の照度制御を行う。光源ユニット２１は、照度設定部２２の照度制御によって第一照射モードと第二照射モードとに切り替えられる。照度設定部２２と光源ユニット２１が車両１のランプユニットを構成する部品である。

カメラ６は、シャッタ制御部２３に接続されている。シャッタ制御部２３は、車両用制御部３の撮影制御部２４に接続されている。カメラ６は、車両１の前方の映像を撮影して車両１の前方の情報を取得する。シャッタ制御部２３は、撮影制御部２４からの指令に基づいて、カメラ６による撮像タイミングを制御する。カメラ６は、車両用制御部３の画像生成部２５に接続されており、撮影した画像のデータを画像生成部２５に送信する。画像生成部２５は、カメラ６から画像のデータを取得し、取得した画像を演算処理する。

カメラ６は、自動運転の際の車両１の周辺環境を検出するために車両１の前方を撮影し、歩行者、対向車、前走車、標識、路面などの情報を取得する。そして、車両制御部３は、カメラ６からの画像から得られる車両１の周辺情報に基づいて車両１の自動運転の制御を行う。

ところで、カメラは、人間の目に比べて、明るい対象物と暗い対象物とを同時に認識することが難しい。例えば、暗い対象物を撮像する場合には、カメラの感度が高く設定されるか露光時間が長く設定される。これにより、対象物から受け取る光の量を確保して、ブラックアウトのない明瞭な像を取得する。逆に、明るい対象物を撮像する場合には、カメラの感度が低く設定されるか露光時間が短く設定される。これにより、対象物から受け取る光の量を調整して、ハレーションのない明瞭な像を取得する。なお、カメラの感度の設定は、カメラの絞り値やＩＳＯ感度を調整することで設定される。

自動運転可能な車両に搭載されるカメラが情報として取得する歩行者、対向車、前走車、標識、路面などの対象物のうち、標識からの反射光、対向車の前照灯から出射される光、前走車の標識灯から出射される光、自車両のすぐ近傍の路面からの反射光は、その強度が高い。このため、これらの光の強度に適合するように、カメラの感度や露光時間を設定しておくと、強い光で画像が白くぼやけるハレーションが生じることなくこれらの対象物を明確に認識できる。しかしその一方で、歩行者からの反射光は弱いため、カメラが歩行者を効率よく認識することが難しい。

一方で、歩行者を効率よく認識できるようにカメラの感度を高く設定したり露光時間を長く設定しておくと、ブラックアウトのない明瞭な像を取得できる。しかしその一方で、標識からの反射光、対向車の前照灯から出射される光、前走車の標識灯から出射される光、自車両のすぐ近傍の路面からの反射光などによってハレーションが生じてしまい、これらを効率よく認識することが難しい。

図４Ａから図４Ｃは、車両１の前方の映像を示す図であって、図４Ａは実際の映像を示す模式図、図４Ｂは光量不足の画像を示す模式図、図４Ｃは光量過多の画像を示す模式図である。

光源ユニット２１は、第一照射モードでは、第二照射モードに比べて、照度の低い光を車両１の前方へ照射する。したがって、車両１の前方の実際の画像が図４Ａに示す画像とすると、第一照射モードのときにカメラ６によって撮影された画像（第一画像）は、図４Ｂに示すように、光量過多によるハレーションを生じさせずに標識Ｈのような反射率の高い対象物を認識しやすいが、光量不足となって画像が暗転するブラックアウト（図４Ｂにおけるハッチングで示したＡ部）が生じやすい。

光源ユニット２１は、第二照射モードでは、第一照射モードに比べて照度の高い光を車両１の前方へ照射する。したがって、第二照射モードのときにカメラ６によって撮影された画像（第二画像）は、光量不足によるブラックアウトを生じさせずに暗い対象物を認識しやすいが、標識Ｈなどの対象物では、光量過多となってハレーション（図４ＣにおけるＢ部）が生じやすい。

このように、光源ユニット２１が第一照射モード、第二照射モードのそれぞれのときにカメラ６が撮像した画像の各々では、明瞭な画像を得ることが難しい場合がある。そこで、第一実施形態では、車両１の周辺情報を取得するためのカメラ６で撮像した画像における対象物の認識性を高めるために、次に説明するように、第一画像と第二画像とにより単一の出力画像を生成する処理を行う。

図５は、第一実施形態に係る車両用照明システム２０が実行する処理を示すフローチャートである。

撮影制御部２４は、照度設定部２２に指令を出して光源ユニット２１のモードを第一照射モードとしているときに、シャッタ制御部２３へ指令を出してカメラ６により車両１の前方を撮像させる。そして、その画像データである第一画像を画像生成部２５へ出力させる（ステップＳ０１）。これにより、画像生成部２５は、上述した図４Ｂの画像を取得する。

また、撮影制御部２４は、照度設定部２２に指令を出して光源ユニット２１のモードを第二照射モードとし、光源ユニット２１がハイビームで車両１の前方を照射しているときに、シャッタ制御部２３へ指令を出してカメラ６により車両１の前方を撮像させる。そして、その画像データである第二画像を画像生成部２５へ出力させる（ステップＳ０２）。これにより、画像生成部２５は、上述した図４Ｃの画像を取得する。

ここで、撮影制御部２４は、例えば、光源ユニット２１を、第一照射モードと第二照射モードとを所定間隔ごとに交互に切り替えて第一画像と第二画像とを取得するように、照度設定部２２及びシャッタ制御部２３へ指令を出す。なお、撮影制御部２４は、通常時は光源ユニット２１を第一照射モードで車両１の前方へ光を照射させるように照度設定部２２に指令を出しておき、所定間隔おきに光源ユニット２１を第二照射モードへ変更するように照度設定部２２に指令を出すことで、第一画像と第二画像とを取得するようにしても良い。この場合、光源ユニット２１の照射モードの切り替えるタイミングとなる所定間隔としては、２０ｍｓｅｃ以下とするのが好ましい。

次に、画像生成部２５は、カメラ６から送信された第一画像において、光量不足（ブラックアウト）の領域（図４ＢにおけるＡ部）を特定する（ステップＳ０３）。具体的には、画像生成部２５は、第一画像において、予め設定した輝度の閾値である第一閾値以下の部分を割り出し、その部分の座標である第一位置座標を特定する。

画像生成部２５は、第二画像に基づいて、この第二画像における第一位置座標の情報を特定する（ステップＳ０４）。つまり、第二画像において、第一画像で特定した光量不足（ブラックアウト）の領域を特定する。

次いで、画像生成部２５は、第一位置座標について、第一画像の情報を第二画像の情報に置換する。これにより、第一画像において、第一閾値以下の輝度の部分が、その部分に対応する第二画像の一部で置換された中間画像を取得する（ステップＳ０５）。

このように、図４Ｂにおいてブラックアウトした領域を、図４Ｃの画像により置換することにより、ブラックアウトのない中間画像を取得することができる。
ブラックアウトが生じるおそれの少ない対象物（標識など）は反射率が高い。このため、光源ユニット２１が比較的照度の弱い第一照射モードのときに、この対象物からの反射光の強度がカメラ６により明瞭な像を取得するのに適した強度となっている可能性が高い。
一方で、ブラックアウトが生じやすい対象物（歩行者など）は反射率が低く、その反射光の強度が弱いことが多い。そこで、この対象物からの反射光の強度がカメラ６により明瞭な像を適した強度となるように、光源ユニット２１を照度の高い第二モードとし、カメラ６で撮像する。光源ユニット２１が第二照射モードのときにカメラ６で取得した画像にはブラックアウトが生じていない可能性が高い。
そこで、光源ユニット２１が第一照射モードのときにカメラ６が取得した図４Ｂの画像においてブラックアウトした領域を、光源ユニット２１が第二照射モードのときにカメラ６が取得した図４Ｃの画像により置換する。これにより、ブラックアウトのない中間画像を取得することができる。

なお、車両用照明システム２０は以下の処理を追加で実行してもよい。
画像生成部２５は、取得した中間画像において、光量過多（ハレーション）の領域（図４ＣにおけるＢ部）を特定する（ステップＳ０６）。具体的には、画像生成部２５は、中間画像において、輝度が予め設定した第二閾値以上の部分を割り出し、その部分の座標である第二位置座標を特定する。そして、画像生成部２５は、第一画像において、第二位置座標の情報を特定する（ステップＳ０７）。第二閾値は、第一閾値より高い光量の閾値である。

次いで、画像生成部２５は、第二位置座標について、中間画像の情報を第一画像の情報に置換する。これにより、中間画像中の第二画像部分において、第二閾値以上の輝度の部分が、その部分に対応する第一画像の一部で置換されて補完された出力画像を取得する（ステップＳ０８）。

なお、画像生成部２５は、取得した中間画像（ステップＳ０５）に、第二閾値以上の輝度の部分がなく、光量過多（ハレーション）がないと判断した場合は、取得した中間画像を出力画像として処理を終了する。

上記の画像補完処理後、車両システム２は、得られた出力画像から歩行者、対向車、前走車、標識、路面などの周辺情報を取得し、この周辺情報に基づいて車両１の自動運転の制御を行う。

なお、上記の画像補完処理では、撮影制御部２４が照度設定部２２に指令を出して光源ユニット２１の照射モードを切り替えることで、第一画像及び第二画像を取得している。したがって、第一画像と第二画像とは、その撮影タイミングが僅かに異なり、第一画像と第二画像の両者の撮影ポイントがずれることとなる。このため、車両用照明システム２０では、第一画像及び第二画像を、画像の補完処理に影響が生じることがない短時間で撮影する。なお、画像の補完を行う前に、第一画像と第二画像との位置ずれを補正する補正処理を行っても良い。

以上、説明したように、第一実施形態に係る車両用照明システム２０によれば、第一画像と第二画像とにより、出力画像を生成する。第一画像と第二画像は、一方の短所が他方の長所で補完される関係を有する。第一画像において光量不足により認識しにくい暗い対象物は、第二画像により置換された部分により認識しやすくなる。このように、第一画像の認識しにくい部分を第二画像の部分で置換することで、明瞭な画像を得ることができる。

このように、第一実施形態に係る車両用照明システム２０によれば、第一画像および第二画像の認識しやすい部分で互いに補完した出力画像を取得するので、入射する光の光量によらず良好に車両１の前方の情報を取得できる。

特に、第一実施形態の車両用照明システム２０によれば、光源ユニット２１での照射モードを第一照射モードと第二照射モードとで交互に切り替えることで、第一画像と第二画像とを確実に取得して画像の補完処理を行うことができる。

また、光源ユニット２１を、通常時は照度の低い第一照射モードで車両１の前方へ光を照射するように構成し、所定間隔おきに第二照射モードへ変更するように光源ユニット２１を制御することで、対向車などへグレアを与えにくい。

この場合、光源ユニット２１の照射モードの切り替える所定間隔を２０ｍｓｅｃ以下とすれば、第一照射モードと第二照射モードとの切替によっても、運転者にちらつき感（ｆｌｉｃｋｅｒ）を与えない。

そして、第一実施形態に係る車両用照明システム２０を備えた車両１によれば、得られた出力画像から歩行者、対向車、前走車、標識、路面などの周辺情報を取得し、この周辺情報に基づいて自動運転の制御を良好に行うことができる。

＜第二実施形態＞
次に、第二実施形態の画像補完処理について説明する。

この第二実施形態では、画像補完処理における制御の流れが第一実施形態と異なる。
図６は、第二実施形態に係る車両用照明システム２０による画像補完処理を示すフローチャートである。

撮影制御部２４は、照度設定部２２に指令を出して光源ユニット２１を第一照射モードとしているときに、シャッタ制御部２３へ指令を出してカメラ６により車両１の前方を撮像させ、その画像データである第一画像を画像生成部２５へ出力させる（ステップＳ１１）。これにより、画像生成部２５は、図４Ｂに示した画像を取得する。

また、撮影制御部２４は、照度設定部２２に指令を出して光源ユニット２１を第二照射モードとしているときに、シャッタ制御部２３へ指令を出してカメラ６により車両１の前方を撮像させ、その画像データである第二画像を画像生成部２５へ出力させる（ステップＳ１２）。これにより、画像生成部２５は、図４Ｃに示した画像を取得する。

次に、画像生成部２５は、カメラ６から送信された第二画像において、光量過多（ハレーション）の領域（図４ＣにおけるＢ部）を特定する（ステップＳ１３）。具体的には、画像生成部２５は、第二画像において、輝度が第二閾値以上の部分を割り出し、その部分の座標である第二位置座標を特定する。

画像生成部２５は、第一画像に基づいて、この第一画像における第二位置座標の情報を特定する（ステップＳ１４）。つまり、第一画像において、第二画像で特定した光量過多（ハレーション）の領域を特定する。

次いで、画像生成部２５は、第二位置座標について、第二画像の情報を第一画像の情報に置換する。これにより、第二画像において、第二閾値以上の輝度の部分が、その部分に対応する第一画像の一部で置換された中間画像を取得する（ステップＳ１５）。

このように、図４Ｃにおいてハレーションが生じた領域を、図４Ｂの画像により置換することにより、ハレーションのない中間画像を取得することができる。
ハレーションが生じるおそれの少ない対象物（歩行者など）は反射率が低い。このため、光源ユニット２１が比較的照度の高い第二照射モードのときに、この対象物からの反射光の強度がカメラ６により明瞭な像を取得するのに適した強度となっている可能性が高い。
一方で、ハレーションが生じやすい対象物（標識など）は反射率が高く、その反射光の強度が高すぎることが多い。そこで、この対象物からの反射光の強度がカメラ６により明瞭な像を適した強度となるように、光源ユニット２１を照度の低い第一モードとし、カメラ６で撮像する。光源ユニット２１が第一照射モードのときにカメラ６で取得した画像にはハレーションが生じていない可能性が高い。
そこで、光源ユニット２１が第二照射モードのときにカメラ６が取得した図４Ｃの画像においてハレーションが生じた領域を、光源ユニット２１が第一照射モードのときにカメラ６が取得した図４Ｂの画像により置換する。これにより、ハレーションのない中間画像を取得することができる。

次に、画像生成部２５は、必要に応じて以下の処理を実行してもよい。
取得した中間画像において、光量不足（ブラックアウト）の領域（図４ＢにおけるＡ部）を特定する（ステップＳ１６）。具体的には、画像生成部２５は、中間画像において、第一閾値以下の部分を割り出し、その部分の座標である第一位置座標を特定する。そして、画像生成部２５は、第二画像において、第一位置座標の情報を特定する（ステップＳ１７）。

次いで、画像生成部２５は、第一位置座標について、中間画像の情報を第二画像の情報に置換する。これにより、中間画像中の第一画像部分において、第一閾値以下の輝度の部分が、その部分に対応する第二画像の一部で置換されて補完された出力画像を取得する（ステップＳ１８）。

なお、画像生成部２５は、取得した中間画像（ステップＳ１５）に、第一閾値以下の輝度の部分がなく、光量不足（ブラックアウト）がないと判断した場合は、取得した中間画像を出力画像として処理を終了する。

上記の画像補完処理後、車両システム２は、得られた出力画像から歩行者、対向車、前走車、標識、路面などの周辺情報を取得し、この周辺情報に基づいて車両１の自動運転の制御を行う。

この第二実施形態に係る車両用照明システム２０の場合も、第一画像および第二画像の認識しやすい部分で互いに補完した出力画像を取得するので、入射する光の光量によらず良好に車両１の前方の情報を取得できる。

つまり、第二画像の認識しにくい部分を第一画像の部分で置換することで、第一画像および第二画像の認識しやすい部分で互いに補完した出力画像を取得する。したがって、この出力画像から車両１の前方の情報を確実に得ることができる。

＜第三実施形態＞

次に、第三実施形態の画像補完処理について説明する。

図７Ａ及び図７Ｂは、第三実施形態に係る車両用照明システム１２０が搭載された車両１００を示す。図７Ａは、車両１００の上面図を示し、図７Ｂは車両１００の側面図を示す。車両１００は、自動運転モードで走行可能な自動車であって、車両用照明システム１２０を備えている。

まず、図８を参照して車両１００の車両システム２００について説明する。図８は、車両システム２００のブロック図を示している。図８に示すように、車両システム２００は、車両制御部３と、センサ５と、カメラユニット３０と、レーダ７と、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）８と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）９と、無線通信部１０と、地図情報記憶部１１とを備えている。さらに、車両システム２００は、ステアリングアクチュエータ１２と、ステアリング装置１３と、ブレーキアクチュエータ１４と、ブレーキ装置１５と、アクセルアクチュエータ１６と、アクセル装置１７とを備えている。

車両制御部３は、電子制御ユニット（ＥＣＵ）により構成されている。電子制御ユニットは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、各種車両制御プログラムが記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、各種車両制御データが一時的に記憶されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とにより構成されている。プロセッサは、ＲＯＭに記憶された各種車両制御プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。車両制御部３は、車両１００の走行を制御するように構成されている。

センサ５は、加速度センサ、速度センサ及びジャイロセンサ等を備えている。センサ５は、車両１００の走行状態を検出して、走行状態情報を車両制御部３に出力するように構成されている。センサ５は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。さらに、センサ５は、車両１００の周辺環境の照度を検出する照度センサを備えていてもよい。

カメラユニット３０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（相補型ＭＯＳ）等の撮像素子を含むカメラである。カメラユニット３０は、可視光を検出するカメラや、赤外線を検出する赤外線カメラである。レーダ７は、ミリ波レーダ、マイクロ波レーダ又はレーザーレーダ等である。カメラユニット３０とレーダ７は、車両１００の周辺環境（他車、歩行者、道路形状、交通標識、障害物等）を検出し、周辺環境情報を車両制御部３に出力するように構成されている。

ＨＭＩ８は、運転者からの入力操作を受付ける入力部と、走行情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両１００の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、各種走行情報を表示するディスプレイである。

ＧＰＳ９は、車両１００の現在位置情報を取得し、当該取得された現在位置情報を車両制御部３に出力するように構成されている。無線通信部１０は、車両１００の周囲にいる他車の走行情報を他車から受信すると共に、車両１００の走行情報を他車に送信するように構成されている（車車間通信）。また、無線通信部１０は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両１００の走行情報をインフラ設備に送信するように構成されている（路車間通信）。地図情報記憶部１１は、地図情報が記憶されたハードディスクドライブ等の外部記憶装置であって、地図情報を車両制御部３に出力するように構成されている。

車両１００が自動運転モードで走行する場合、車両制御部３は、走行状態情報、周辺環境情報、現在位置情報、地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ１２は、ステアリング制御信号を車両制御部３から受信して、受信したステアリング制御信号に基づいてステアリング装置１３を制御するように構成されている。ブレーキアクチュエータ１４は、ブレーキ制御信号を車両制御部３から受信して、受信したブレーキ制御信号に基づいてブレーキ装置１５を制御するように構成されている。アクセルアクチュエータ１６は、アクセル制御信号を車両制御部３から受信して、受信したアクセル制御信号に基づいてアクセル装置１７を制御するように構成されている。このように、自動運転モードでは、車両１００の走行は車両システム２００により自動制御される。

一方、車両１００が手動運転モードで走行する場合、車両制御部３は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に従って、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両１００の走行は運転者により制御される。

次に、車両１００の運転モードについて説明する。運転モードは、自動運転モードと手動運転モードとからなる。自動運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードとからなる。完全自動運転モードでは、車両システム２００がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両１００を運転できる状態にはない。高度運転支援モードでは、車両システム２００がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両１００を運転できる状態にはあるものの車両１００を運転しない。運転支援モードでは、車両システム２００がステアリング制御、ブレーキ制御及びアクセル制御のうち一部の走行制御を自動的に行うと共に、車両システム２００の運転支援の下で運転者が車両１００を運転する。一方、手動運転モードでは、車両システム２００が走行制御を自動的に行わないと共に、車両システム２００の運転支援なしに運転者が車両１００を運転する。

また、車両１００の運転モードは、運転モード切替スイッチを操作することで切り替えられてもよい。この場合、車両制御部３は、運転モード切替スイッチに対する運転者の操作に応じて、車両１００の運転モードを４つの運転モード（完全自動運転モード、高度運転支援モード、運転支援モード、手動運転モード）の間で切り替える。また、車両１００の運転モードは、自動運転車が走行可能である走行可能区間や自動運転車の走行が禁止されている走行禁止区間についての情報または外部天候状態についての情報に基づいて自動的に切り替えられてもよい。この場合、車両制御部３は、これらの情報に基づいて車両１００の運転モードを切り替える。さらに、車両１００の運転モードは、着座センサや顔向きセンサ等を用いることで自動的に切り替えられてもよい。この場合、車両制御部３は、着座センサや顔向きセンサからの出力信号に基づいて、車両１００の運転モードを切り替える。

次に、車両用照明システム１２０の詳細を説明する。図７Ａ及び図７Ｂに示すように、車両用照明システム１２０は、光源ユニット２１と、カメラユニット３０とを備えている。光源ユニット２１は、車両１００の前部における左右に設けられており、車両１００の前方を照射する。カメラユニット３０は、車両１００の前部に幅方向に間隔をあけて配置された第一カメラ６Ａと第二カメラ６Ｂとを備えている。光源ユニット２１、第一カメラ６Ａおよび第二カメラ６Ｂは、それぞれ車両制御部３に接続されている。なお、光源ユニット２１とカメラユニット３０とは、別体であってもよいし、光源ユニット２１と第一カメラ６Ａおよび第二カメラ６Ｂがそれぞれ一体に設けられていてもよい。光源ユニット２１は、第三実施形態では、カメラユニット３０の撮像範囲の全体に光を照射する灯具に搭載された光源である。光源ユニット２１は、車両用前照灯の内部に搭載されている。

図９は、車両用照明システム１２０のブロック図である。図９に示すように、車両用照明システム１２０は、撮影制御部２４と、画像生成部２５とを備えている。撮影制御部２４及び画像生成部２５は、車両制御部３に設けられている。

カメラユニット３０は、シャッタ制御部２３、感度設定部２６及び露光時間設定部２７を備えている。第一カメラ６Ａおよび第二カメラ６Ｂはそれぞれ、シャッタ制御部２３、感度設定部２６及び露光時間設定部２７に接続されている。これらのシャッタ制御部２３、感度設定部２６及び露光時間設定部２７は、撮影制御部２４に接続されている。

第一カメラ６Ａおよび第二カメラ６Ｂは、車両制御部３の画像生成部２５に接続されており、撮影した画像のデータを画像生成部２５に送信する。画像生成部２５は、第一カメラ６Ａおよび第二カメラ６Ｂから画像のデータを取得し、取得した画像を演算処理する。

第一カメラ６Ａおよび第二カメラ６Ｂは、車両１００の前方の映像を撮影して車両１００の前方の情報を取得する。第一カメラ６Ａおよび第二カメラ６Ｂは、それぞれ感度および露光時間を調整可能なカメラである。シャッタ制御部２３は、撮影制御部２４からの指令に基づいて、第一カメラ６Ａおよび第二カメラ６Ｂによる撮像タイミングを制御する。感度設定部２６は、撮影制御部２４からの指令に基づいて、第一カメラ６Ａおよび第二カメラ６Ｂの感度を設定する。露光時間設定部２７は、撮影制御部２４からの指令に基づいて、第一カメラ６Ａおよび第二カメラ６Ｂの露光時間を設定する。

カメラユニット３０は、撮影制御部２４からの指令により、第一撮影モードと第二撮影モードとを含む少なくとも２つの撮影モードで車両１００の前方を撮影することが可能とされている。第二撮影モードは、第一撮影モードよりも高い感度かつ長い露光時間で撮影する撮影モードである。なお、第二撮影モードは、第一撮影モードよりも高い感度または長い露光時間で撮影した撮影モードとしてもよい。なお、第一撮影モードを、第二撮影モードより高い感度で同じ露光時間に設定してもよい。あるいは、第一撮影モードを、第二撮影モードより長い露光時間で同じ感度に設定してもよい。なお、カメラユニット３０は、互いに感度や露光時間の異なる３つ以上の撮影モードで撮影可能に構成されていてもよい。

カメラユニット３０は、撮影制御部２４からの指令により、第一カメラ６Ａでの撮影を第一撮影モードに設定するとともに、第二カメラ６Ｂでの撮影を第二撮影モードに設定し、第一カメラ６Ａと第二カメラ６Ｂとを同時に撮影させる。カメラユニット３０は、第一カメラ６Ａで撮影した第一画像のデータと、第二カメラ６Ｂで撮影した第二画像のデータとを画像生成部２５へ送信する。

第一カメラ６Ａおよび第二カメラ６Ｂは、自動運転の際の車両１００の周辺環境を検出するために車両１００の前方を撮影し、歩行者、対向車、前走車、標識、路面などの情報を取得する。そして、車両制御部３は、第一カメラ６Ａおよび第二カメラ６Ｂからの画像から得られる車両１００の周辺情報に基づいて車両１００の自動運転の制御を行う。

ところで、カメラは、人間の目に比べて、明るい対象物と暗い対象物とを同時に認識することが難しい。例えば、暗い対象物を撮像する場合には、カメラの感度が高く、および／または、露光時間が長く設定される。これにより、対象物から受け取る光の量を確保して、ブラックアウトのない明瞭な像を取得する。逆に、明るい対象物を撮像する場合には、カメラの感度が低く、および／または、露光時間が短く設定される。これにより、対象物から受け取る光の量を調整して、ハレーションのない明瞭な像を取得する。なお、カメラの感度の設定は、カメラの絞り値やＩＳＯ感度を調整することで設定される。

自動運転可能な車両に搭載されるカメラが情報として取得する歩行者、対向車、前走車、標識、路面などの対象物のうち、標識からの反射光、対向車の前照灯から出射される光、前走車の標識灯から出射される光、自車両のすぐ近傍の路面からの反射光は、その強度が高い。このため、これらの光の強度に適合するように、カメラの感度や露光時間を設定しておくと、強い光で画像が白くぼやけるハレーションが生じることなくこれらの対象物を明確に認識できる。しかしその一方で、歩行者からの反射光は弱いため、カメラが歩行者を効率よく認識することが難しい。

一方で、歩行者を効率よく認識できるようにカメラの感度を高く設定したり露光時間を長く設定しておくと、ブラックアウトのない明瞭な像を取得できる。しかしその一方で、標識からの反射光、対向車の前照灯から出射される光、前走車の標識灯から出射される光、自車両のすぐ近傍の路面からの反射光などによってハレーションが生じてしまい、これらを効率よく認識することが難しい。

図４Ａから図４Ｃは、車両１と同様に、車両１００の前方の映像を示す図であって、図４Ａは実際の映像を示す模式図、図４Ｂは光量不足の画像を示す模式図、図４Ｃは光量過多の画像を示す模式図である。

第一カメラ６Ａの第一撮影モードは、第二カメラ６Ｂの第二撮影モードに比べて、感度が低く露光時間が短い。したがって、車両１００の前方の実際の画像が図４Ａに示す画像とすると、第一撮影モードの第一カメラ６Ａによって撮影された画像（第一画像）は、図４Ｂに示すように、光量過多によるハレーションを生じさせずに標識Ｈのような反射率の高い対象物を認識しやすい。しかしその一方で、第一画像は、光量不足となって画像が暗転するブラックアウト（図４Ｂにおけるハッチングで示したＡ部）が生じやすい。

これに対して、第二カメラ６Ｂの第二撮影モードでは、第一カメラ６Ａの第一撮影モードに比べて、感度が高く露光時間が長い。したがって、第二撮影モードの第二カメラ６Ｂによって撮影された画像（第二画像）は、光量不足によるブラックアウトを生じさせずに暗い対象物を認識しやすい。しかしその一方で、第二画像は、標識Ｈなどの対象物では、光量過多となってハレーション（図４ＣにおけるＢ部）が生じやすい。

このように、カメラユニット３０が第一照射モードの第一カメラ６Ａで撮像した画像、あるいは、第二照射モードの第二カメラ６Ｂで撮像した画像は、明瞭な画像とならない場合がある。そこで、第三実施形態では、車両１００の周辺情報を取得するためのカメラユニット３０で撮像した画像における対象物の認識性を高めるために、次に説明するように、第一画像と第二画像とにより単一の出力画像を生成する処理を行う。

図５は、第一実施形態と同様に、第三実施形態に係る車両用照明システム１２０が実行する処理を示すフローチャートである。

撮影制御部２４は、感度設定部２６及び露光時間設定部２７に指令を出して第一カメラ６Ａのモードを第一撮影モードとする。そして、撮影制御部２４は、シャッタ制御部２３に指令を出して第一撮影モードで第一カメラ６Ａにより車両１００の前方を撮像させ、その画像データである第一画像を画像生成部２５へ出力させる（ステップＳ０１）。これにより、画像生成部２５は、上述した図４Ｂの画像を取得する。

また、撮影制御部２４は、感度設定部２６及び露光時間設定部２７に指令を出して第二カメラ６Ｂのモードを第二撮影モードとする。そして、撮影制御部２４は、シャッタ制御部２３に指令を出して第二撮影モードで第二カメラ６Ｂにより車両１００の前方を撮像させ、その画像データである第二画像を画像生成部２５へ出力させる（ステップＳ０２）。これにより、画像生成部２５は、上述した図４Ｃの画像を取得する。

ここで、撮影制御部２４は、第一カメラ６Ａおよび第二カメラ６Ｂによる車両１００の前方の撮像を同時に実行させるように、シャッタ制御部２３に指令を出す。

次に、画像生成部２５は、第一カメラ６Ａから送信された第一画像において、光量不足（ブラックアウト）の領域（図４ＢにおけるＡ部）を特定する（ステップＳ０３）。具体的には、画像生成部２５は、第一画像において、予め設定した輝度の閾値である第一閾値以下の部分を割り出し、その部分の座標である第一位置座標を特定する。

画像生成部２５は、第二カメラ６Ｂから送信された第二画像に基づいて、この第二画像における第一位置座標の情報を特定する（ステップＳ０４）。つまり、第二画像において、第一画像で特定した光量不足（ブラックアウト）の領域を特定する。

次いで、画像生成部２５は、第一位置座標について、第一画像の情報を第二画像の情報に置換する。これにより、第一画像において、第一閾値以下の輝度の部分が、その部分に対応する第二画像の一部で置換された中間画像を取得する（ステップＳ０５）。

このように、図４Ｂにおいてブラックアウトした領域を、図４Ｃの画像により置換することにより、ブラックアウトのない中間画像を取得することができる。
ブラックアウトが生じるおそれの少ない対象物（標識など）は反射率が高い。このため、カメラユニット３０の第一カメラ６Ａが、感度が低く露光時間が短い第一撮影モードで撮像したときに、この対象物からの反射光の強度が第一カメラ６Ａにより明瞭な像を取得するのに適した強度となっている可能性が高い。
一方で、ブラックアウトが生じやすい対象物（歩行者など）は反射率が低く、その反射光の強度が弱いことが多い。そこで、この対象物からの反射光の強度が明瞭な像を撮像するのに好適なように、感度を高く露光時間を長くした第二撮影モードとした第二カメラ６Ｂで撮像する。第二撮影モードとした第二カメラ６Ｂで取得した画像にはブラックアウトが生じていない可能性が高い。そこで、第一撮影モードとした第一カメラ６Ａが取得した図４Ｂの画像においてブラックアウトした領域を、第二撮影モードとした第二カメラ６Ｂが取得した図４Ｃの画像により置換することにより、ブラックアウトのない中間画像を取得することができる。

なお、車両用照明システム１２０は以下の処理を追加で実行してもよい。
画像生成部２５は、取得した中間画像において、光量過多（ハレーション）の領域（図４ＣにおけるＢ部）を特定する（ステップＳ０６）。具体的には、画像生成部２５は、中間画像において、輝度が予め設定した第二閾値以上の部分を割り出し、その部分の座標である第二位置座標を特定する。そして、画像生成部２５は、第一画像において、第二位置座標の情報を特定する（ステップＳ０７）。第二閾値は、第一閾値より高い輝度の閾値である。

次いで、画像生成部２５は、第二位置座標について、中間画像の情報を第一画像の情報に置換する。これにより、中間画像中の第二画像部分において、第二閾値以上の輝度の部分が、その部分に対応する第一画像の一部で置換されて補完された出力画像を取得する（ステップＳ０８）。

なお、画像生成部２５は、取得した中間画像（ステップＳ０５）に、第二閾値以上の輝度の部分がなく、光量過多（ハレーション）がないと判断した場合は、取得した中間画像を出力画像として処理を終了する。

上記の画像補完処理後、車両システム２００は、得られた出力画像から歩行者、対向車、前走車、標識、路面などの周辺情報を取得し、この周辺情報に基づいて車両１００の自動運転の制御を行う。

以上、説明したように、第三実施形態に係る車両用照明システム１２０によれば、カメラユニット３０は、第一撮影モードと、第一撮影モードよりも感度の高い、および／または、露光時間の長い第二撮影モードで車両１００の前方を撮像可能である。そして、第一撮影モードで撮像された第一画像と第二撮影モードで撮像された第二画像とにより、出力画像を生成する。第一撮影モードで撮像された第一画像と、第一撮像モードよりも感度の高い、および／または、露光時間の長い第二撮像モードで撮像された第二画像は、一方の短所が他方の長所で補完される関係を有する。
したがって、第一画像と第二画像から出力画像を生成することにより、第一画像において光量不足によりブラックアウトして認識しにくい暗い対象物が、第二画像により認識しやすくなる。このように、第三実施形態に係る車両用照明システム１２０によれば、第一画像および第二画像の認識しやすい部分を互いに置換することで互いに補完した出力画像を取得するので、入射する光の光量によらず良好に車両１００の前方の情報を取得できる。

特に、第三実施形態の車両用照明システム１２０によれば、カメラユニット３０が、第一撮影モードで車両前方を撮影する第一カメラ６Ａと、第二撮影モードで車両前方を撮影する第二カメラ６Ｂとで同時に撮影させる。したがって、第一画像と第二画像とを時間差なく取得できるので、第一画像と第二画像との間において対象物の位置ずれがなく、第一画像と第二画像の位置関係の対応付けをしやすい。

そして、第三実施形態に係る車両用照明システム１２０を備えた車両１００によれば、得られた出力画像から歩行者、対向車、前走車、標識、路面などの周辺情報を取得し、この周辺情報に基づいて自動運転の制御を良好に行うことができる。

＜第四実施形態＞
次に、第四実施形態の画像補完処理について説明する。

この第四実施形態では、画像補完処理における制御の流れが第三実施形態と異なる。
図６は、第二実施形態と同様に、第四実施形態に係る車両用照明システム１２０による画像補完処理を示すフローチャートである。

撮影制御部２４は、感度設定部２６及び露光時間設定部２７に指令を出して第一カメラ６Ａのモードを第一撮影モードとする。そして、撮影制御部２４は、シャッタ制御部２３に指令を出して第一撮影モードで第一カメラ６Ａにより車両１００の前方を撮像させ、その画像データである第一画像を画像生成部２５へ出力させる（ステップＳ１１）。これにより、画像生成部２５は、図４Ｂに示した画像を取得する。

また、撮影制御部２４は、感度設定部２６及び露光時間設定部２７に指令を出して第二カメラ６Ｂのモードを第二撮影モードとする。そして、撮影制御部２４は、シャッタ制御部２３に指令を出して第二撮影モードで第二カメラ６Ｂにより車両１００の前方を撮像させ、その画像データである第二画像を画像生成部２５へ出力させる（ステップＳ１２）。これにより、画像生成部２５は、図４Ｃに示した画像を取得する。

ここで、撮影制御部２４は、第一カメラ６Ａおよび第二カメラ６Ｂによる車両１００の前方の撮像を同時に実行させるように、シャッタ制御部２３に指令を出す。

次に、画像生成部２５は、第二カメラ６Ｂから送信された第二画像において、光量過多（ハレーション）の領域（図４ＣにおけるＢ部）を特定する（ステップＳ１３）。具体的には、画像生成部２５は、第二画像において、輝度が第二閾値以上の部分を割り出し、その部分の座標である第二位置座標を特定する。

画像生成部２５は、第一カメラ６Ａから送信された第一画像に基づいて、この第一画像における第二位置座標の情報を特定する（ステップＳ１４）。つまり、第一画像において、第二画像で特定した光量過多（ハレーション）の領域を特定する。

次いで、画像生成部２５は、第二位置座標について、第二画像の情報を第一画像の情報に置換する。これにより、第二画像において、第二閾値以上の輝度の部分が、その部分に対応する第一画像の一部で置換された中間画像を取得する（ステップＳ１５）。

このように、図４Ｃにおいてハレーションが生じた領域を、図４Ｂの画像により置換することにより、ハレーションのない中間画像を取得することができる。
ハレーションが生じるおそれの少ない対象物（標識など）は反射率が低い。このため、カメラユニット３０の第二カメラ６Ｂが、感度が高く露光時間が長い第二撮影モードで撮像したときに、この対象物からの反射光の強度が第二カメラ６Ｂにより明瞭な像を取得するのに適した強度となっている可能性が高い。
一方で、ハレーションが生じやすい対象物（歩行者など）は反射率が高く、第二撮影モードにとってはその反射光の強度が高すぎることが多い。そこで、この対象物からの反射光の強度が明瞭な像を撮像するのに適した強度となるように、感度を低く露光時間を短くした第一撮影モードとした第一カメラ６Ａで撮像する。第一撮影モードとした第一カメラ６Ａで取得した画像にはハレーションが生じていない可能性が高い。そこで、第二撮影モードとした第二カメラ６Ｂが取得した図４Ｃの画像においてハレーションが生じた領域を、第一撮影モードとした第一カメラ６Ａが取得した図４Ｂの画像により置換することにより、ハレーションのない中間画像を取得することができる。

次に、画像生成部２５は、必要に応じて以下の処理を実行してもよい。
取得した中間画像において、光量不足（ブラックアウト）の領域（図４ＢにおけるＡ部）を特定する（ステップＳ１６）。具体的には、画像生成部２５は、中間画像において、輝度が第一閾値以下の部分を割り出し、その部分の座標である第一位置座標を特定する。そして、画像生成部２５は、第二画像において、第一位置座標の情報を特定する（ステップＳ１７）。

次いで、画像生成部２５は、第一位置座標について、中間画像の情報を第二画像の情報に置換する。これにより、中間画像中の第一画像部分において、第一閾値以下の輝度の部分が、その部分に対応する第二画像の一部で置換されて補完された出力画像を取得する（ステップＳ１８）。

なお、画像生成部２５は、取得した中間画像（ステップＳ１５）に、第一閾値以下の輝度の部分がなく、光量不足（ブラックアウト）がないと判断した場合は、取得した中間画像を出力画像として処理を終了する。

上記の画像補完処理後、車両システム２００は、得られた出力画像から歩行者、対向車、前走車、標識、路面などの周辺情報を取得し、この周辺情報に基づいて車両１００の自動運転の制御を行う。

この第二実施形態に係る車両用照明システム１２０によれば、第二画像の認識しにくい部分を第一画像の部分で置換することで、第一画像および第二画像の認識しやすい部分で互いに補完した出力画像を取得する。したがって、入射する光の光量によらず、出力画像から車両１００の前方の情報を良好かつ確実に得ることができる。

なお、上記実施形態では、第一カメラ６Ａおよび第二カメラ６Ｂとして、それぞれ感度や露光時間を調整可能なカメラを用いた例を説明したが、本発明はこれに限られない。例えば、第一撮影モードでのみ撮影可能な第一カメラと、第二撮影モードでのみ撮影可能か第二カメラを備えたカメラユニットを用いて、第一カメラから第一画像を取得し、第二カメラから第二画像を取得するように構成してもよい。

また、上記実施形態では、カメラユニット３０が、第一カメラ６Ａと第二カメラ６Ｂとを備えた例を説明したが、本発明はこれに限られない。例えば、一つのカメラを備えたカメラユニット３０を撮影制御部２４がシャッタ制御部２３へ指令を出して制御することで、第一撮影モードと第二撮影モードを交互に切り替えて第一画像および第二画像を撮影しても良い。この場合、カメラユニット３０で撮影モードを第一撮影モードと第二撮影モードとに交互に切り替えることで、第一画像と第二画像とを確実に取得して画像の補完処理を行うことができる。単一のカメラでカメラユニット３０が構成できるので、車両用照明システム１２０を簡略にできる。

また、単一のカメラを備えたカメラユニット３０で第一画像および第二画像を交互に撮影する場合、撮影制御部２４は、露光時間の長い第二撮影モードで撮影した後に露光時間の短い第一撮影モードで撮影させるのが好ましい。このようにすれば、短い時間差で第一画像と第二画像とを取得でき、第一画像と第二画像との間における対象物の位置ずれを極力抑えることができる。

以上、本発明の実施形態について説明をしたが、本発明の技術的範囲が上記実施形態の説明によって限定的に解釈されるべきではないのは言うまでもない。上記実施形態は単なる一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

上述した実施形態では、車両の運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードと、手動運転モードとを含むものとして説明したが、車両の運転モードは、これら４つのモードに限定されるべきではない。車両の運転モードは、これら４つのモードの少なくとも１つを含んでいてもよい。例えば、車両の運転モードは、完全自動運転モードのみを含んでいてもよい。この場合、車両用照明装置は、車両の外部に向けて完全自動運転モードを示す情報を常に表示するように構成される。一方、車両の運転モードは、手動運転モードのみを含んでいてもよい。この場合、車両用照明装置は、車両の外部に向けて手動運転モードを示す情報を常に表示するように構成される。

さらに、車両の運転モードの区分や表示形態は、各国における自動運転に係る法令又は規則に沿って適宜変更されてもよい。同様に、本実施形態の説明で記載された「完全自動運転モード」、「高度運転支援モード」、「運転支援モード」のそれぞれの定義はあくまでも一例であって、各国における自動運転に係る法令又は規則に沿って、これらの定義は適宜変更されてもよい。

なお、上述した実施形態においては、光源ユニット２１が、カメラ６の撮像範囲の全体に光を照射可能な灯具に搭載された光源である例を説明したが、本発明はこれに限られない。光源ユニットは、ハイビーム配光パターンを形成可能な灯具に搭載された光源であってもよい。この場合には、光源ユニットを含む灯具は、通常の照度の第一照射モードでハイビーム配光パターンと、第一照射モードよりも高い照度の第二照射モードでハイビーム配光パターンを形成する。
あるいは、光源ユニットはロービーム配光パターンを形成可能な灯具に搭載された光源であってもよいし、ハイビーム配光パターンやロービーム配光パターン以外の配光パターンを形成可能な灯具に搭載された光源であってもよい。

また、上述した実施形態においては、光源ユニット２１がハイビーム配光パターンやロービーム配光パターンを形成可能な灯具の内部に設けられた例を説明したが、本発明はこれに限られない。光源ユニットは、ハイビーム配光パターンやロービーム配光パターンを形成可能な灯具とは別に車両に搭載されていてもよい。

また、上述した実施形態においては、光源ユニット２１が第一照射モードと第二照射モードを照射可能に構成した例を説明したが、本発明はこれに限られない。例えば、光源ユニットが互いに異なる強度の光を出射可能な第一光源と第二光源を備え、第一光源を点灯させて第二光源を消灯させているときに第一画像を取得し、第一光源を消灯させて第二光源を点灯させているときに第二画像を取得するように構成してもよい。

本出願は、２０１６年１２月１５日に出願された日本国特許出願（特願２０１６−２４３２７３号）に開示された内容と、２０１６年１２月１５日に出願された日本国特許出願（特願２０１６−２４３２７４号）に開示された内容とを適宜援用する。

Claims (11)

1. 第一照射モードと、前記第一照射モードよりも高い照度で光を照射する第二照射モードを含む少なくとも２つの照射モードで車両前方へ光を照射可能な光源ユニットと、
   車両前方を撮像可能なカメラと、
   前記光源ユニットの照射モード、および、前記カメラの撮像タイミングを設定する撮影制御部と、
   前記カメラが取得した画像を演算処理する画像生成部と、を有し、
   前記撮影制御部は、
   前記光源ユニットが前記第一照射モードで車両前方を照射しているときに、前記カメラにより車両前方を撮像させて第一画像を前記画像生成部へ出力させ、
   前記光源ユニットが前記第二照射モードで車両前方を照射しているときに、前記カメラにより車両前方を撮像させて第二画像を前記画像生成部へ出力させ、
   前記画像生成部は、前記第一画像と前記第二画像とにより単一の出力画像を生成する、車両用照明システム。
2. 前記画像生成部は、前記第一画像において第一閾値以下の輝度の部分を該部分に対応する前記第二画像の一部で置換し、および／または、前記第二画像で前記第一閾値より高い第二閾値以上の輝度の部分を該部分に対応する前記第一画像の一部で置換して、前記出力画像を得る、請求項１に記載の車両用照明システム。
3. 前記撮影制御部は、前記第一照射モードと前記第二照射モードとを交互に切り替えるように前記光源ユニットを制御する、請求項１または２に記載の車両用照明システム。
4. 前記光源ユニットは、通常時は前記第一照射モードで車両前方へ光を照射するように構成され、
   前記撮影制御部は、所定間隔おきに前記第二照射モードへ変更するように前記光源ユニットを制御する、請求項１または２に記載の車両用照明システム。
5. 前記所定間隔は２０ｍｓｅｃ以下である、請求項４に記載の車両用照明システム。
6. 車両前方へ光を照射可能な光源ユニットと、
   第一撮影モードと、前記第一撮影モードよりも感度の高い、および／または、露光時間の長い第二撮影モードを含む少なくとも２つの撮影モードで車両前方を撮像可能なカメラユニットと、
   前記カメラユニットの前記撮影モードおよび撮像タイミングを設定する撮影制御部と、
   前記カメラユニットが取得した画像を演算処理する画像生成部と、を有し、
   前記撮影制御部は、
   前記カメラユニットにより前記第一撮影モードで車両前方を撮像させて第一画像を前記画像生成部へ出力させ、
   前記カメラユニットにより前記第二撮影モードで車両前方を撮像させて第二画像を前記画像生成部へ出力させ、
   前記画像生成部は、前記第一画像と前記第二画像とにより単一の出力画像を生成する、車両用照明システム。
7. 前記画像生成部は、前記第一画像において第一閾値以下の輝度の部分を該部分に対応する前記第二画像の一部で置換し、および／または、前記第二画像で前記第一閾値より高い第二閾値以上の輝度の部分を該部分に対応する前記第一画像の一部で置換して、前記出力画像を得る、請求項６に記載の車両用照明システム。
8. 前記カメラユニットは、
   前記第一撮影モードで車両前方を撮影する第一カメラと、
   前記第二撮影モードで車両前方を撮影する第二カメラと、を有し、
   前記撮影制御部は、前記第一カメラと前記第二カメラを同時に撮影させる、請求項６または７に記載の車両用照明システム。
9. 前記撮影制御部は、前記第一撮影モードと前記第二撮影モードを交互に切り替えて前記カメラユニットに撮影させる、請求項６または７に記載の車両用照明システム。
10. 前記撮影制御部は、露光時間の短い前記第二撮影モードで撮影した後に前記第一撮影モードで撮影させる、請求項９に記載の車両用照明システム。
11. 請求項１から１０のいずれか一項に記載の車両用照明システムを備えた車両。
    

Images