(第1実施形態)
以下、本開示の第1実施形態(以下、単に「本実施形態」という。)について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
また、本実施形態の説明では、説明の便宜上、「左右方向」、「前後方向」について適宜言及する。これらの方向は、図1に示す車両1について設定された相対的な方向である。ここで、「前後方向」は、「前方向」及び「後方向」を含む方向である。「左右方向」は、「左方向」及び「右方向」を含む方向である。
最初に、図1を参照して本実施形態に係る車両1について説明する。図1は、車両システム2を備える車両1の上面図を示す模式図である。図1に示すように、車両1は、自動運転モードで走行可能な車両(自動車)であって、車両システム2を備える。車両システム2は、車両制御部3と、左前照明システム4a(以下、単に「照明システム4a」という。)と、右前照明システム4b(以下、単に「照明システム4b」という。)と、左後照明システム4c(以下、単に「照明システム4c」という。)と、右後照明システム4d(以下、単に「照明システム4d」という。)を少なくとも備える。
照明システム4aは、車両1の左前側に設けられる。特に、照明システム4aは、車両1の左前側に設置されたハウジング24aと、ハウジング24aに取り付けられた透光カバー22aとを備える。照明システム4bは、車両1の右前側に設けられる。特に、照明システム4bは、車両1の右前側に設置されたハウジング24bと、ハウジング24bに取り付けられた透光カバー22bとを備える。照明システム4cは、車両1の左後側に設けられる。特に、照明システム4cは、車両1の左後側に設置されたハウジング24cと、ハウジング24cに取り付けられた透光カバー22cとを備える。照明システム4dは、車両1の右後側に設けられる。特に、照明システム4dは、車両1の右後側に設置されたハウジング24dと、ハウジング24dに取り付けられた透光カバー22dとを備える。
次に、図2を参照することで、図1に示す車両システム2を具体的に説明する。図2は、車両システム2を示すブロック図である。図2に示すように、車両システム2は、車両制御部3と、照明システム4a〜4dと、センサ5と、HMI(Human Machine Interface)8と、GPS(Global Positioning System)9と、無線通信部10と、記憶装置11とを備える。さらに、車両システム2は、ステアリングアクチュエータ12と、ステアリング装置13と、ブレーキアクチュエータ14と、ブレーキ装置15と、アクセルアクチュエータ16と、アクセル装置17とを備える。また、車両システム2は、電力を供給するように構成されたバッテリー(図示せず)を備える。
車両制御部3は、車両1の走行を制御するように構成されている。車両制御部3は、例えば、少なくとも一つの電子制御ユニット(ECU:Electronic Control Unit)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、トランジスタ等のアクティブ素子及びパッシブ素子を含むその他電子回路を含んでもよい。プロセッサは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)及び/又はTPU(Tensor Processing Unit)である。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROM(Read Only Memory)と、RAM(Random Access Memory)を含む。ROMには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能(AI)プログラムを含んでもよい。AIプログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ROMに記憶された車両制御プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。
また、電子制御ユニット(ECU)は、ASIC(Application Specific Integrated Circuit)やFPGA(Field−Programmable Gate Array)等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明システム4aは、制御部40aと、照明ユニット42aと、カメラ43aと、LiDAR(Light Detection and Ranging)ユニット44a(レーザーレーダの一例)と、ミリ波レーダ45aとを更に備える。制御部40aと、照明ユニット42aと、カメラ43aと、LiDARユニット44aと、ミリ波レーダ45aは、図1に示すように、ハウジング24aと透光カバー22aによって形成される空間Sa内(灯室内)に配置される。尚、制御部40aは、空間Sa以外の車両1の所定の場所に配置されてもよい。例えば、制御部40aは、車両制御部3と一体的に構成されてもよい。
制御部40aは、例えば、少なくとも一つの電子制御ユニット(ECU)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、その他電子回路(例えば、トランジスタ等)を含んでもよい。プロセッサは、例えば、CPU、MPU、GPU及び/又はTPUである。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROMと、RAMを含む。ROMには、車両1の周辺環境を特定するための周辺環境特定プログラムが記憶されてもよい。例えば、周辺環境特定プログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、周辺環境特定プログラム、カメラ43aに取得された画像データ、LiDARユニット44aによって取得された3次元マッピングデータ(点群データ)及び/又はミリ波レーダ45aによって取得された検出データ等が一時的に記憶されてもよい。プロセッサは、ROMに記憶された周辺環境特定プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。また、電子制御ユニット(ECU)は、ASICやFPGA等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明ユニット42aは、車両1の外部(前方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット42aは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED(Light Emitting Diode)、LD(Laser Diode)又は有機EL素子である。光学系は、光源から出射された光を照明ユニット42aの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両1の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット42aは、運転者用の配光パターン(例えば、ロービーム用配光パターンやハイビーム用配光パターン)を車両1の前方に形成するように構成されている。このように、照明ユニット42aは、左側ヘッドランプユニットとして機能する。一方、車両1の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット42aは、カメラ用の配光パターンを車両1の前方に形成するように構成されてもよい。
制御部40aは、照明ユニット42aに設けられた複数の発光素子の各々に電気信号(例えば、PWM(Pulse Width Modulation)信号)を個別に供給するように構成されてもよい。このように、制御部40aは、電気信号が供給される発光素子を個別に選択することができると共に、発光素子毎に電気信号のDuty比を調整することができる。つまり、制御部40aは、マトリックス状に配列された複数の発光素子のうち、点灯又は消灯すべき発光素子を選択することができると共に、点灯している発光素子の輝度を決定することができる。このため、制御部40aは、照明ユニット42aから前方に向けて出射される配光パターンの形状及び明るさを変更することができる。
カメラ43aは、車両1の周辺環境を検出するように構成されている。特に、カメラ43aは、所定のフレームレートで、車両1の周辺環境を示す画像データを取得した上で、当該画像データを制御部40aに送信するように構成されている。制御部40aは、送信された画像データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両1の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、車両1の外部に存在する対象物の属性に関する情報と、車両1に対する対象物の位置に関する情報とを含んでもよい。カメラ43aは、例えば、CCD(Charge−Coupled Device)やCMOS(相補型MOS:Metal Oxide Semiconductor)等の撮像素子によって構成される。カメラ43aは、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。カメラ43aがステレオカメラの場合、制御部40aは、視差を利用することで、ステレオカメラによって取得された2以上の画像データに基づいて、車両1と車両1の外部に存在する対象物(例えば、歩行者等)との間の距離を特定することができる。また、本実施形態では、1つのカメラ43aが照明システム4aに設けられているが、2以上のカメラ43aが照明システム4aに設けられてもよい。
LiDARユニット44a(レーザーレーダの一例)は、車両1の周辺環境を検出するように構成されている。特に、LiDARユニット44aは、所定のフレームレートで、車両1の周辺環境を示す3Dマッピングデータ(点群データ)を取得した上で、当該3Dマッピングデータを制御部40aに送信するように構成されている。制御部40aは、送信された3Dマッピングデータに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両1の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、車両1の外部に存在する対象物の属性に関する情報と、車両1に対する対象物の位置に関する情報とを含んでもよい。
より具体的には、LiDARユニット44aは、レーザ光の各出射角度(水平角度θ、垂直角度φ)におけるレーザ光(光パルス)の飛行時間(TOF:Time of Flight)ΔT1に関する情報を取得した上で、飛行時間ΔT1に関する情報に基づいて、各出射角度(水平角度θ、垂直角度φ)におけるLiDARユニット44a(車両1)と車両1の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT1は、例えば、以下のように算出することができる。
飛行時間ΔT1=レーザ光(光パルス)がLiDARユニットに戻ってきた時刻t1−LiDARユニットがレーザ光(光パルス)を出射した時刻t0
このように、LiDARユニット44aは、車両1の周辺環境を示す3Dマッピングデータを取得することができる。
また、LiDARユニット44aは、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光を水平方向及び垂直方向に走査させるように構成された光偏向器と、レンズ等の光学系と、物体によって反射されたレーザ光を受光するように構成された受光部とを備える。レーザ光源から出射されるレーザ光の中心波長は特に限定されない。例えば、レーザ光は、中心波長が900nm付近である非可視光であってもよい。光偏向器は、例えば、MEMS(Micro Electro Mechanical Systems)ミラーであってもよい。受光部は、例えば、フォトダイオードである。尚、LIDARユニット44aは、光偏向器によってレーザ光を走査せずに、3Dマッピングデータを取得してもよい。例えば、LiDARユニット44aは、フェイズドアレイ方式又はフラッシュ方式で3Dマッピングデータを取得してもよい。また、本実施形態では、1つのLiDARユニット44aが照明システム4aに設けられているが、2以上のLiDARユニット44aが照明システム4aに設けられてもよい。例えば、2つのLiDARユニット44aが照明システム4aに設けられている場合、一方のLiDARユニット44aが車両1の前方領域における周辺環境を検出するように構成されると共に、他方のLiDARユニット44aが車両1の側方領域における周辺環境を検出するように構成されてもよい。
ミリ波レーダ45aは、車両1の周辺環境を検出するように構成されている。特に、ミリ波レーダ45aは、所定のフレームレートで、車両1の周辺環境を示す検出データを取得した上で、当該検出データを制御部40aに送信するように構成されている。制御部40aは、送信された検出データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両1の外部に存在する対象物に関する情報を含んでもよい。周辺環境情報は、例えば、車両1の外部に存在する対象物の属性に関する情報と、車両1に対する対象物の位置に関する情報と、車両1に対する対象物の速度に関する情報を含んでもよい。
例えば、ミリ波レーダ45aは、パルス変調方式、FM−CW(Frequency Moduleted−Continuous Wave)方式又は2周波CW方式で、ミリ波レーダ45a(車両1)と車両1の外部に存在する物体との間の距離Dを取得することができる。パルス変調方式を用いる場合、ミリ波レーダ45aは、ミリ波の各出射角度におけるミリ波の飛行時間ΔT2に関する情報を取得した上で、飛行時間ΔT2に関する情報に基づいて、各出射角度におけるミリ波レーダ45a(車両1)と車両1の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT2は、例えば、以下のように算出することができる。
飛行時間ΔT2=ミリ波がミリ波レーダに戻ってきた時刻t3−ミリ波レーダがミリ波を出射した時刻t2
また、ミリ波レーダ45aは、ミリ波レーダ45aから出射されたミリ波の周波数f0とミリ波レーダ45aに戻ってきたミリ波の周波数f1に基づいて、ミリ波レーダ45a(車両1)に対する車両1の外部に存在する物体の相対速度Vに関する情報を取得することができる。
また、本実施形態では、1つのミリ波レーダ45aが照明システム4aに設けられているが、2以上のミリ波レーダ45aが照明システム4aに設けられてもよい。例えば、照明システム4aは、短距離用のミリ波レーダ45aと、中距離用のミリ波レーダ45aと、長距離用のミリ波レーダ45aを有してもよい。
照明システム4bは、制御部40bと、照明ユニット42bと、カメラ43bと、LiDARユニット44bと、ミリ波レーダ45bとを更に備える。制御部40bと、照明ユニット42bと、カメラ43bと、LiDARユニット44bと、ミリ波レーダ45bは、図1に示すように、ハウジング24bと透光カバー22bによって形成される空間Sb内(灯室内)に配置される。尚、制御部40bは、空間Sb以外の車両1の所定の場所に配置されてもよい。例えば、制御部40bは、車両制御部3と一体的に構成されてもよい。制御部40bは、制御部40aと同様な機能及び構成を有してもよい。照明ユニット42bは、照明ユニット42aと同様な機能及び構成を有してもよい。この点において、照明ユニット42aは、左側ヘッドランプユニットとして機能する一方、照明ユニット42bは、右側ヘッドランプユニットとして機能する。カメラ43bは、カメラ43aと同様な機能及び構成を有してもよい。LiDARユニット44bは、LiDARユニット44aと同様な機能及び構成を有してもよい。ミリ波レーダ45bは、ミリ波レーダ45aと同様な機能及び構成を有してもよい。
照明システム4cは、制御部40cと、照明ユニット42cと、カメラ43cと、LiDARユニット44cと、ミリ波レーダ45cとを更に備える。制御部40cと、照明ユニット42cと、カメラ43cと、LiDARユニット44cと、ミリ波レーダ45cは、図1に示すように、ハウジング24cと透光カバー22cによって形成される空間Sc内(灯室内)に配置される。尚、制御部40cは、空間Sc以外の車両1の所定の場所に配置されてもよい。例えば、制御部40cは、車両制御部3と一体的に構成されてもよい。制御部40cは、制御部40aと同様な機能及び構成を有してもよい。
照明ユニット42cは、車両1の外部(後方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット42cは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED、LD又は有機EL素子である。光学系は、光源から出射された光を照明ユニット42cの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両1の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット42cは消灯してもよい。一方、車両1の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット42cは、カメラ用の配光パターンを車両1の後方に形成するように構成されてもよい。
カメラ43cは、カメラ43aと同様な機能及び構成を有してもよい。LiDARユニット44cは、LiDARユニット44cと同様な機能及び構成を有してもよい。ミリ波レーダ45cは、ミリ波レーダ45aと同様な機能及び構成を有してもよい。
照明システム4dは、制御部40dと、照明ユニット42dと、カメラ43dと、LiDARユニット44dと、ミリ波レーダ45dとを更に備える。制御部40dと、照明ユニット42dと、カメラ43dと、LiDARユニット44dと、ミリ波レーダ45dは、図1に示すように、ハウジング24dと透光カバー22dによって形成される空間Sd内(灯室内)に配置される。尚、制御部40dは、空間Sd以外の車両1の所定の場所に配置されてもよい。例えば、制御部40dは、車両制御部3と一体的に構成されてもよい。制御部40dは、制御部40cと同様な機能及び構成を有してもよい。照明ユニット42dは、照明ユニット42cと同様な機能及び構成を有してもよい。カメラ43dは、カメラ43cと同様な機能及び構成を有してもよい。LiDARユニット44dは、LiDARユニット44cと同様な機能及び構成を有してもよい。ミリ波レーダ45dは、ミリ波レーダ45cと同様な機能及び構成を有してもよい。
センサ5は、加速度センサ、速度センサ及びジャイロセンサ等を有してもよい。センサ5は、車両1の走行状態を検出して、車両1の走行状態を示す走行状態情報を車両制御部3に出力するように構成されている。また、センサ5は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。さらに、センサ5は、車両1の周辺環境の明るさ(照度等)を検出するように構成された照度センサを備えてもよい。照度センサは、例えば、フォトダイオードから出力される光電流の大きさに応じて周辺環境の明るさを決定してもよい。
HMI(Human Machine Interface)8は、運転者からの入力操作を受付ける入力部と、走行状態情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両1の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、走行状態情報、周辺環境情報および照明システム4の照明状態を表示するように構成されたディスプレイ等を含む。
GPS(Global Positioning System)9は、車両1の現在位置情報を取得し、当該取得された現在位置情報を車両制御部3に出力するように構成されている。無線通信部10は、車両1の周囲にいる他車に関する情報(例えば、他車走行情報等)を他車から受信すると共に、車両1に関する情報(例えば、自車走行情報等)を他車に送信するように構成されている(車車間通信)。
また、無線通信部10は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両1の自車走行情報をインフラ設備に送信するように構成されている(路車間通信)。また、無線通信部10は、歩行者が携帯する携帯型電子機器(スマートフォン、タブレット、ウェアラブルデバイス等)から歩行者に関する情報を受信すると共に、車両1の自車走行情報を携帯型電子機器に送信するように構成されている(歩車間通信)。車両1は、他車両、インフラ設備又は携帯型電子機器とアドホックモードにより直接通信してもよいし、アクセスポイントを介して通信してもよい。無線通信規格は、例えば、Wi−Fi(登録商標),Bluetooth(登録商標),ZigBee(登録商標)又はLPWAである。また、車両1は、他車両、インフラ設備又は携帯型電子機器と移動通信ネットワークを介して通信してもよい。
記憶装置11は、ハードディスクドライブ(HDD)やSSD(Solid State Drive)等の外部記憶装置である。記憶装置11には、2D又は3Dの地図情報及び/又は車両制御プログラムが記憶されてもよい。記憶装置11は、車両制御部3からの要求に応じて、地図情報や車両制御プログラムを車両制御部3に出力するように構成されている。地図情報や車両制御プログラムは、無線通信部10とインターネット等の通信ネットワークを介して更新されてもよい。
車両1が自動運転モードで走行する場合、車両制御部3は、走行状態情報、周辺環境情報、現在位置情報及び/又は地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ12は、ステアリング制御信号を車両制御部3から受信して、受信したステアリング制御信号に基づいてステアリング装置13を制御するように構成されている。ブレーキアクチュエータ14は、ブレーキ制御信号を車両制御部3から受信して、受信したブレーキ制御信号に基づいてブレーキ装置15を制御するように構成されている。アクセルアクチュエータ16は、アクセル制御信号を車両制御部3から受信して、受信したアクセル制御信号に基づいてアクセル装置17を制御するように構成されている。このように、自動運転モードでは、車両1の走行は車両システム2により自動制御される。
一方、車両1が手動運転モードで走行する場合、車両制御部3は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に応じて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両1の走行は運転者により制御される。
次に、車両1の運転モードについて説明する。運転モードは、自動運転モードと手動運転モードとからなる。自動運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードとからなる。完全自動運転モードでは、車両システム2がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両1を運転できる状態にはない。高度運転支援モードでは、車両システム2がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両1を運転できる状態にはあるものの車両1を運転しない。運転支援モードでは、車両システム2がステアリング制御、ブレーキ制御及びアクセル制御のうちの一部の走行制御を自動的に行うと共に、車両システム2の運転支援の下で運転者が車両1を運転する。一方、手動運転モードでは、車両システム2が走行制御を自動的に行わないと共に、車両システム2からの運転支援なしに運転者が車両1を運転する。
また、車両1の運転モードは、運転モード切替スイッチを操作することで切り替えられてもよい。この場合、車両制御部3は、運転モード切替スイッチに対する運転者の操作に応じて、車両1の運転モードを4つの運転モード(完全自動運転モード、高度運転支援モード、運転支援モード、手動運転モード)の間で切り替える。また、車両1の運転モードは、自動運転車の走行が可能である走行可能区間や自動運転車の走行が禁止されている走行禁止区間についての情報または外部天候状態についての情報に基づいて自動的に切り替えられてもよい。この場合、車両制御部3は、これらの情報に基づいて車両1の運転モードを切り替える。さらに、車両1の運転モードは、着座センサや顔向きセンサ等を用いることで自動的に切り替えられてもよい。この場合、車両制御部3は、着座センサや顔向きセンサからの出力信号に基づいて、車両1の運転モードを切り替えてもよい。
次に、図3を参照して、制御部40aの機能について説明する。図3は、照明システム4aの制御部40aの機能ブロックを示す図である。図3に示すように、制御部40aは、照明ユニット42aと、カメラ43a(センサの一例)と、LiDARユニット44a(センサの一例)と、ミリ波レーダ45a(センサの一例)の動作をそれぞれ制御するように構成されている。特に、制御部40aは、照明制御部410aと、カメラ制御部420a(生成部の一例)と、LiDAR制御部430a(生成部の一例)と、ミリ波レーダ制御部440a(生成部の一例)と、周辺環境情報融合部450aと、使用頻度設定部460aとを備える。以降の説明では、カメラ43aと、LiDARユニット44aと、ミリ波レーダ45aを総称して単に「センサ」という場合がある。
照明制御部410aは、照明ユニット42aが所定の配光パターンを車両1の前方領域に向けて出射するように照明ユニット42aを制御するように構成されている。例えば、照明制御部410aは、車両1の運転モードに応じて照明ユニット42aから出射される配光パターンを変更してもよい。
カメラ制御部420aは、カメラ43aの動作を制御すると共に、カメラ43aから出力された画像データ(検出データ)に基づいて、カメラ43aの検出領域S1(図4参照)における車両1の周辺環境情報(以下、周辺環境情報I1という。)を生成するように構成されている。LiDAR制御部430aは、LiDARユニット44aの動作を制御すると共に、LiDARユニット44aから出力された3Dマッピングデータ(検出データ)に基づいて、LiDARユニット44aの検出領域S2(図4参照)における車両1の周辺環境情報(以下、周辺環境情報I2という。)を生成するように構成されている。ミリ波レーダ制御部440aは、ミリ波レーダ45aの動作を制御すると共に、ミリ波レーダ45aから出力された検出データに基づいて、ミリ波レーダ45aの検出領域S3(図4参照)における車両1の周辺環境情報(以下、周辺環境情報I3という。)を生成するように構成されている。
周辺環境情報融合部450aは、周辺環境情報I1,I2,I3をそれぞれ融合することで、融合された周辺環境情報Ifを生成するように構成される。ここで、周辺環境情報Ifは、図4に示すように、カメラ43aの検出領域S1と、LiDARユニット44aの検出領域S2と、ミリ波レーダ45aの検出領域S3を組合せた検出領域Sfにおける車両1の外部に存在する対象物(例えば、歩行者や他車両等)に関する情報を含んでもよい。例えば、周辺環境情報Ifは、対象物の属性、車両1に対する対象物の位置、車両1と対象物との間の距離及び/又は車両1に対する対象物の速度に関する情報を含んでもよい。周辺環境情報融合部450aは、周辺環境情報Ifを車両制御部3に送信する。
図4に示すように、周辺環境情報融合部450aは、カメラ43aの検出領域S1とLiDARユニット44aの検出領域S2が重複する重複領域Sxにおいて、周辺環境情報I1と周辺環境情報I2とを比較してもよい。例えば、周辺環境情報I1が重複領域Sxにおいて歩行者P1の存在を示す一方、周辺環境情報I2が重複領域Sxにおいて歩行者P1の存在を示さない場合、周辺環境情報融合部450aは、所定の情報(センサの信頼性を示す情報等)に基づいて、周辺環境情報I1,I2のうちのどちらか一方を採用してもよい。
使用頻度設定部460aは、車両1又は車両1の周辺環境に関連付けられた情報に基づいて、カメラ43aの使用頻度と、LiDARユニット44aの使用頻度と、ミリ波レーダ45aの使用頻度を設定するように構成されている。「車両1又は車両1の周辺環境に関連付けられた情報」の具体例については後述する。
センサ(カメラ43a、LiDARユニット44a、ミリ波レーダ45a)の使用頻度は、センサの検出データ(画像データ、3Dマッピングデータ、ミリ波レーダの検出データ)のフレームレート(fps)であってもよい。ここで、検出データのフレームレートとは、1秒間にセンサによって取得される検出データのフレーム数(取得フレームレート)であってもよいし、1秒間にセンサから制御部40aに送信される検出データのフレーム数(送信フレームレート)であってもよい。例えば、カメラ43aの使用頻度を低下させる場合、画像データのフレームレートが低下する。一方、カメラ43aの使用頻度を上昇させる場合、画像データのフレームレートが上昇する。
また、センサの使用頻度は、センサの検出データのビットレート(bps)であってもよい。ここで、検出データのビットレートとは、1秒間にセンサによって取得される検出データのデータ量(取得ビットレート)であってもよいし、1秒間にセンサから制御部40aに送信される検出データのデータ量(送信ビットレート)であってもよい。検出データの空間分解能及び/又は時間分解能を調整することで検出データのビットレートを調整することが可能となる。例えば、LiDARユニット44aの使用頻度を低下させる場合、3Dマッピングデータのビットレートが低下する。一方、LiDARユニット44aの使用頻度を上昇させる場合、3Dマッピングデータのビットレートが上昇する。
また、センサの使用頻度は、センサのモードであってもよい。ここで、センサのモードは、アクティブモードとスリープモードの2つのモードを有してもよい。例えば、ミリ波レーダ45aの使用頻度を低下させる場合、ミリ波レーダ45aのモードがスリープモードに設定される。一方、ミリ波レーダ45aの使用頻度が通常である場合、ミリ波レーダ45aはアクティブモードとなっている。
また、センサの使用頻度は、周辺環境情報の更新レート(Hz)であってもよい。ここで、更新レートとは、1秒間に更新される周辺環境情報の回数である。例えば、カメラ43aの使用頻度を低下させる場合、画像データに基づいて生成される周辺環境情報I1の更新レートが低下する。一方、カメラ43aの使用頻度を上昇させる場合、周辺環境情報I1の更新レートが上昇する。より具体的には、画像データの送信フレームレートが60fpsである場合、周辺環境情報I1の通常の更新レートは50Hzであると仮定する。この場合、カメラ43aの使用頻度を低下させるときは、周辺環境情報I1の更新レートが30Hzに設定されてもよい。一方、カメラ43aの使用頻度を上昇させるときは、周辺環境情報I1の更新レートが60Hzに設定されてもよい。
また、使用頻度設定部460aは、センサの使用頻度を変更する場合、検出データのフレームレート、検出データのビットレート、センサのモード(アクティブモード又はスリープモード)又は周辺環境情報の更新レートのうちの少なくとも一つを変更してもよい。例えば、使用頻度設定部460aは、センサの使用頻度を低下させる場合、画像データのフレームレートと周辺環境情報I1の更新レートの両方を低下させてもよい。
使用頻度設定部460aは、カメラ43aの使用頻度を所定の使用頻度に設定する場合、カメラ43aの使用頻度を示す指示信号をカメラ制御部420aに送信する。その後、カメラ制御部420aは、受信した指示信号に従って、カメラ43aの使用頻度を所定の使用頻度に設定するようにカメラ43aを制御する。具体的な一例としては、使用頻度設定部460aは、画像データのフレームレートを低下させる場合(換言すれば、画像データのフレームレートを通常のフレームレートa0より低いフレームレートa1(<a0)に設定する場合)、フレームレートa1を示す指示信号をカメラ制御部420aに送信する。その後、カメラ制御部420aは、受信した指示信号に従って、画像データのフレームレートをフレームレートa1に設定するようにカメラ43aを制御する。
使用頻度設定部460aは、LiDARユニット44aの使用頻度を所定の使用頻度に設定する場合、LiDARユニット44aの使用頻度を示す指示信号をLiDAR制御部430aに送信する。その後、LiDAR制御部430aは、受信した指示信号に従って、LiDARユニット44aの使用頻度を所定の使用頻度に設定するようにLiDARユニット44aを制御する。具体的な一例としては、使用頻度設定部460aは、3Dマッピングデータのビットレートを低下させる場合(換言すれば、3Dマッピングデータのビットレートを通常のビットレートb0より低いビットレートb1(<b0)に設定する場合)、ビットレートb1を示す指示信号をLiDAR制御部430aに送信する。その後、LiDAR制御部430aは、受信した指示信号に従って、3Dマッピングデータのビットレートをビットレートb1に設定するようにLiDARユニット44aを制御する。
使用頻度設定部460aは、ミリ波レーダ45aの使用頻度を所定の使用頻度に設定する場合、ミリ波レーダ45aの使用頻度を示す指示信号をミリ波レーダ制御部440aに送信する。その後、ミリ波レーダ制御部440aは、受信した指示信号に従って、ミリ波レーダ45aの使用頻度を所定の使用頻度に設定するようにミリ波レーダ45aを制御する。具体的な一例としては、ミリ波レーダ45aのモードをスリープモードに設定する場合、スリープモードを示す指示信号をミリ波レーダ制御部440aに送信する。その後、ミリ波レーダ制御部440aは、受信した指示信号に従って、ミリ波レーダ45aのモードをスリープモードに設定するようにミリ波レーダ45aを制御する。
尚、本実施形態では、周辺環境情報融合部450aと使用頻度設定部460aは、制御部40aによって実現されているが、これらは車両制御部3によって実現されてもよい。
また、制御部40b,40c,40dも制御部40aと同様の機能を有してもよい。つまり、制御部40b〜40dの各々は、照明制御部と、カメラ制御部と、LiDAR制御部と、ミリ波レーダ制御部と、周辺環境情報融合部と、使用頻度設定部とを備えてもよい。制御部40b〜40cの各々の周辺環境情報融合部は、融合された周辺環境情報Ifを車両制御部3に送信してもよい。車両制御部3は、各制御部40a〜40dから送信された周辺環境情報Ifとその他の情報(走行制御情報、現在位置情報、地図情報等)に基づいて、車両1の走行を制御してもよい。
次に、図5を参照して照明システム4aにおけるセンサ(カメラ43a、LiDARユニット44a、ミリ波レーダ45a)の使用頻度の設定方法の第1の例について説明する。図5は、各センサの使用頻度の設定方法の第1の例を説明するためのフローチャートである。
尚、本実施形態では、説明の便宜上、照明システム4aの動作フローについてのみ説明を行うが、照明システム4aの動作フローは、照明システム4b〜4dにも適用可能である点に留意されたい。また、本実施形態の説明では、車両1は自動運転モードで走行中であることを前提とする。また、以降の説明では、センサの「使用頻度」は、既に説明したように、検出データのフレームレート、検出データのビットレート、センサのモード又は周辺環境情報の更新レートである。
図5に示すように、ステップS10において、使用頻度設定部460aは、車両1の周辺環境の明るさを示す情報(以下、「明るさ情報」という。)を受信したかどうかを判定する。具体的には、車両1に搭載された照度センサは、車両1の周辺環境の明るさを示す検出データを車両制御部3に送信する。次に、車両制御部3は、受信した検出データに基づいて明るさ情報を生成した上で、生成された明るさ情報を使用頻度設定部460aに送信する。ここで、「明るさ情報」は、「明るい」又は「暗い」の2つの情報を含んでもよい。この場合、車両制御部3は、検出データが示す周辺環境の明るさ(照度等)が所定の値(閾値照度等)よりも大きい場合に、周辺環境が明るいことを示す明るさ情報を生成してもよい。一方、車両制御部3は、検出データが示す周辺環境の明るさ(照度等)が所定の値以下である場合に、周辺環境が暗いことを示す明るさ情報を生成してもよい。尚、「明るさ情報」は、照度等の数値に関する情報を含んでもよい。この場合、使用頻度設定部460aは、照度等の数値に関する情報に基づいて、車両1の周辺環境が明るいか又は暗いかを判定してもよい。
車両制御部3は、車両システム2を起動したときに、明るさ情報を使用頻度設定部460aに送信してもよい。さらに、車両制御部3は、車両1の周辺環境の明るさが変化したときに(例えば、周辺環境が明るい状態から暗い状態に変化したとき又は周辺環境が暗い状態から明るい状態に変化したとき)、明るさ情報を使用頻度設定部460aに送信してもよい。例えば、車両1がトンネルに入ったとき又はトンネルを出たときに、車両制御部3は、明るさ情報を使用頻度設定部460aに送信してもよい。また、車両制御部3は、所定の周期で明るさ情報を使用頻度設定部460aに送信してもよい。
使用頻度設定部460aは、明るさ情報を受信したと判定した場合に(ステップS10でYES)、ステップS11の処理を実行する。一方、ステップS10の判定結果がNOの場合、使用頻度設定部460aは、明るさ情報を受信するまで待機する。
尚、照度センサが使用頻度設定部460aに直接的に接続されている場合、使用頻度設定部460aは、照度センサから取得された検出データに基づいて、周辺環境の明るさを特定してもよい。その後、使用頻度設定部460aは、ステップS11の処理を実行してもよい。
次に、ステップS11において、使用頻度設定部460aは、受信した明るさ情報に基づいて、カメラ43aの使用頻度、LiDARユニット44aの使用頻度及びミリ波レーダ45aの使用頻度をそれぞれ決定する。例えば、使用頻度設定部460aは、周辺環境の明るさに応じて、以下のように各センサの使用頻度を設定してもよい。
表1に示すように、車両1の周辺環境の明るさが明るい場合、使用頻度設定部460aは、全てのセンサの使用頻度を通常の使用頻度に設定する。一方、車両1の周辺環境の明るさが暗い場合(トンネル中での走行や夜間走行等)、使用頻度設定部460aは、カメラ43aの使用頻度を低下させる(つまり、カメラ43aの使用頻度を通常の使用頻度より低い使用頻度に設定する)一方、残りのセンサの使用頻度を通常の使用頻度に設定する。この点において、車両1の周辺環境が暗い場合には、カメラ43aを用いた周辺環境の検出精度が低下してしまうため、カメラ43aの使用頻度を低下させても周辺環境の認知精度に大きな影響を及ぼすことがない。このため、カメラ43aの使用頻度(例えば、画像データの取得フレームレート等)を低下させることで、カメラ43a及び/又はカメラ制御部420aによって消費される消費電力を低減することができると共に、カメラ制御部420aの演算負荷を低減することができる。このように、車両1の周辺環境の明るさに応じてセンサの使用頻度を最適化することができる。また、表1に示す使用頻度に関する情報は、制御部40aのメモリ又は記憶装置11に記憶されてもよい。
本実施形態では、照度センサから取得された検出データに基づいて明るさ情報が生成されているが、カメラ43aによって取得された画像データに基づいて明るさ情報が生成されてもよい。この場合、使用頻度設定部460aは、カメラ43aによって取得された画像データに基づいて明るさ情報を生成した上で、当該明るさ情報に基づいて各センサの使用頻度を設定してもよい。
次に、図6を参照して照明システム4aにおけるセンサ(カメラ43a、LiDARユニット44a、ミリ波レーダ45a)の使用頻度の設定方法の第2の例について説明する。図6は、各センサの使用頻度の設定方法の第2の例を説明するためのフローチャートである。
図6に示すように、ステップS20において、使用頻度設定部460aは、車両1の周辺環境の明るさを示す情報(明るさ情報)と車両1の現在位置の天候情報を受信したかどうかを判定する。ここで、明るさ情報の具体的な取得方法については既に説明したので、天候情報の取得方法について詳しく説明する。例えば、車両制御部3は、GPS9を用いて車両1の現在位置情報を取得した後に、無線通信部10を介して、車両1の現在位置情報とIPアドレスを含む天候情報リクエストを通信ネットワーク上のサーバに送信する。その後、車両制御部3は、車両1の現在位置における天候情報をサーバから受信する。ここで、「天候情報」は、車両1の現在位置における天候(晴れ、曇り、雨、雪、霧等)に関する情報であってもよい。次に、車両制御部3は、明るさ情報と天候情報を制御部40aの使用頻度設定部460aに送信する。
尚、カメラ43aによって取得された画像データに基づいて車両1の現在位置における天候情報が生成されてもよい。この場合、使用頻度設定部460a又はカメラ制御部420aは、カメラ43aによって取得された画像データに基づいて天候情報を生成する。さらに、車両のウィンドウに取り付けられたワイパーの状態を示す情報に基づいて車両1の現在位置における天候情報が生成されてもよい。例えば、ワイパーが駆動している場合、車両1の現在位置における天候は雨(つまり、天候不良)と判定されてもよい。一方、ワイパーが駆動していない場合、車両1の現在位置における天候は晴れ又は曇り(つまり、天候良好)と判定されてもよい。さらに、使用頻度設定部460aは、外部天候センサから天候情報を取得してもよい。
次に、使用頻度設定部460aは、明るさ情報及び天候情報を受信したと判定した場合に(ステップS20でYES)、ステップS21の処理を実行する。一方、ステップS20の判定結果がNOの場合、使用頻度設定部460aは、明るさ情報及び天候情報を受信するまで待機する。
次に、ステップS21において、使用頻度設定部460aは、受信した明るさ情報と天候情報に基づいて、カメラ43aの使用頻度、LiDARユニット44aの使用頻度及びミリ波レーダ45aの使用頻度をそれぞれ決定する。例えば、使用頻度設定部460aは、周辺環境の明るさに応じて、以下のように各センサの使用頻度を設定してもよい。
表2に示すように、車両1の現在位置における天候が不良(雨、雪、霧等)である場合、使用頻度設定部460aは、カメラ43a及びLiDARユニット44aの使用頻度を低下させる一方、ミリ波レーダ45aの使用頻度を通常の使用頻度に設定する。
また、車両1の現在位置における天候が良好(晴れ、曇り等)であると共に、車両1の周辺環境が明るい場合、使用頻度設定部460aは、全てのセンサの使用頻度を通常の使用頻度に設定する。さらに、車両1の現在位置における天候が良好であると共に、車両1の周辺環境が暗い場合、使用頻度設定部460aは、カメラ43aの使用頻度を低下させる一方、残りのセンサの使用頻度を通常の使用頻度に設定する。
本実施形態によれば、天候が不良である場合には、カメラ43aの検出精度とLiDARユニット44aの検出精度は低下してしまうため、カメラ43a及びLiDARユニット44aの使用頻度を低下させても周辺環境の認知精度に大きな影響を及ぼすことがない。このため、カメラ43aの使用頻度を低下させることで、カメラ43a及び/又はカメラ制御部420aによって消費される消費電力を低減することができると共に、カメラ制御部420aの演算負荷を低減させることができる。さらに、LiDARユニット44aの使用頻度(例えば、3Dマッピングデータの取得フレームレート等)を低下させることで、LiDARユニット44a及び/又はLiDAR制御部430aによって消費される消費電力を低減させることができると共に、LiDAR制御部430aの演算負荷を低減することができる。このように、車両1の現在位置の天候状況に応じてセンサの使用頻度を最適化することができる。また、天候が良好である場合には、車両1の周辺環境の明るさ(明るい又は暗い)に応じてセンサの使用頻度が最適化される。
次に、図7を参照して照明システム4aにおけるセンサ(カメラ43a、LiDARユニット44a、ミリ波レーダ45a)の使用頻度の設定方法の第3の例について説明する。図7は、各センサの使用頻度の設定方法の第3の例を説明するためのフローチャートである。
図7に示すように、ステップS30において、使用頻度設定部460aは、車両1の速度を示す情報(以下、速度情報という。)を受信したかどうかを判定する。具体的には、車両1に搭載された速度センサは、速度情報を車両制御部3に送信する。次に、車両制御部3は、受信した速度情報を使用頻度設定部460aに送信する。その後、使用頻度設定部460aは、速度情報を受信したと判定した場合に(ステップS30でYES)、ステップS31の処理を実行する。一方、ステップS30の判定結果がNOである場合、使用頻度設定部460aは、速度情報を受信するまで待機する。
次に、ステップS31において、使用頻度設定部460aは、受信した速度情報に基づいて、カメラ43aの使用頻度、LiDARユニット44aの使用頻度、ミリ波レーダ45aの使用頻度をそれぞれ設定する。例えば、使用頻度設定部460aは、車両1の速度に応じて、以下のように各センサの使用頻度を設定してもよい。
表3に示すように、車両1の速度が高速である場合、使用頻度設定部460aは、全てのセンサの使用頻度を上昇させる(つまり、全てのセンサの使用頻度を通常の使用頻度よりも高い使用頻度に設定する)。一方、車両1の速度が中速である場合、使用頻度設定部460aは、全てのセンサの使用頻度を通常の使用頻度に設定する。さらに、車両1の速度が低速である場合、使用頻度設定部460aは、カメラ43aの使用頻度を通常の使用頻度に設定する一方で、残りのセンサの使用頻度を低下させる。
ここで、「低速」とは、車両1の速度Vが第1の速度Vth1(例えば、30km/h)以下である速度として規定されてもよい。また、「中速」とは、車両1の速度Vが第1の速度Vthよりも大きく第2の速度Vth(例えば、80km/h)以下である速度として規定されてもよい。さらに、「高速」とは、車両1の速度Vが第2の速度Vthより大きい速度として規定されてもよい。
本実施形態によれば、車両1が高速で走行中の場合に、全てのセンサの使用頻度が上昇する。特に、車両1が高速で走行中の場合には、車両1の周辺環境は高速で変化するため、車両1の走行制御を高い精度で行う観点より全てのセンサの使用頻度(特に、検出データのフレームレートや周辺環境情報の更新レート)を上昇させることが好ましい。このように、周辺環境情報I1,I2,I3に基づいて生成された周辺環境情報Ifの精度をより向上させることができるため、車両1の走行制御をさらに高い精度で行うことができる。
一方、車両1が低速で走行中の場合には、画像データに基づいて生成された周辺環境情報I1のみによって十分に車両1の走行安全性を確保することができる。このため、LiDARユニット44a及びミリ波レーダ45aの使用頻度を低下させることで、LiDARユニット44a及び/又はLiDAR制御部430aによって消費される消費電力を低減することができると共に、ミリ波レーダ45a及び/又はミリ波レーダ制御部440aによって消費される消費電力を低減することができる。さらに、LiDAR制御部430aの演算負荷及びミリ波レーダ制御部440aの演算負荷を低減することができる。このように、車両1の速度に応じて各センサの使用頻度を最適化することができる。
尚、図7に示す使用頻度の設定方法では、使用頻度設定部460aは、速度情報に加えて車両1が高速道路を現在走行していることを示す情報に基づいて、各センサの使用頻度を設定してもよい。例えば、使用頻度設定部460aは、車両1が高速道路を現在走行していることを示す情報(以下、高速道路走行情報という。)を受信した場合、車両1の速度に関係なく、各センサの使用頻度を上昇させてもよい。この点において、高速道路では、車両1が高速で走行する可能性が高いため、車両1の走行制御を高い精度で行うため周辺環境情報Ifの精度をより向上させる必要性がある。一方、使用頻度設定部460aは、高速道路走行情報を受信しない場合、表3に示すように車両1の速度に応じて各センサの使用頻度を設定してもよい。高速道路走行情報は、GPS9によって取得された現在位置情報と記憶装置11に保存された地図情報に基づいて生成されてもよい。例えば、車両制御部3は、現在位置情報と地図情報に基づいて高速道路走行情報を生成した上で、当該高速道路走行情報を使用頻度設定部460aに送信してもよい。このように、車両1が現在走行している道路に応じて各センサの使用頻度を最適化することができる。
次に、図8を参照して各センサの使用頻度の設定方法の第4の例について説明する。特に、照明システム4aから4dに配置された各センサの使用頻度の設定方法について説明する。図8は、各センサの使用頻度の設定方法の第4の例を説明するためのフローチャートである。以降の説明では、カメラ、LiDARユニット、ミリ波レーダ等を総称して単に「センサ」という場合がある。
図8に示すように、ステップS40において、使用頻度設定部460aは、車両1の進行方向を示す情報(以下、進行方向情報という。)を受信したかどうかを判定する。具体的には、車両1の走行を制御する車両制御部3は、進行方向情報を使用頻度設定部460aに送信する。その後、使用頻度設定部460aは、進行方向情報を受信した場合に(ステップS40でYES)、ステップS41の処理を実行する。一方、ステップS40の判定結果がNOである場合、使用頻度設定部460aは、進行方向情報を受信するまで待機する。
次に、ステップS41において、使用頻度設定部460aは、受信した進行方向情報に基づいて、照明システム4aに配置されたセンサの使用頻度、照明システム4bに配置されたセンサの使用頻度、照明システム4cに配置されたセンサの使用頻度、照明システム4dに配置されたセンサの使用頻度をそれぞれ設定する(図2参照)。例えば、使用頻度設定部460aは、進行方向情報に応じて、以下のように各照明システムに配置されたセンサの使用頻度を設定してもよい。
表4に示すように、車両1が前進している場合に、使用頻度設定部460aは、車両1の前側に位置する照明システム4a,4bに配置されたセンサ(カメラ、LiDARユニット、ミリ波レーダ)の使用頻度を通常の使用頻度に設定すると共に、車両1の後側に位置する照明システム4c,4dに配置されたセンサ(カメラ、LiDARユニット、ミリ波レーダ)の使用頻度を低下させる。この点において、車両1が前進している場合には、車両1の後方領域の周辺環境情報は、車両1の前方領域の周辺環境情報と比較して重要度は高くないため、車両1の後側に配置されたセンサの使用頻度を低下させることができる。このように、照明システム4cのセンサ及び/又は制御部40cによって消費される消費電力を低減することができると共に、制御部40cの演算負荷を低減することができる。さらに、照明システム4dのセンサ及び/又は制御部40dによって消費される消費電力を低減することができると共に、制御部40dの演算負荷を低減することができる。
また、表4に示すように、車両1が後進している場合に、使用頻度設定部460aは、照明システム4a,4bに配置されたセンサの使用頻度を低下させると共に、照明システム4c,4dに配置されたセンサの使用頻度を通常の使用頻度に設定する。この点において、車両1が後進している場合には、車両1の前方領域の周辺環境情報は、車両1の後方領域の周辺環境情報と比較して重要度は高くないため、車両1の前側に配置されたセンサの使用頻度を低下させることができる。このように、照明システム4aのセンサ及び/又は制御部40aによって消費される消費電力を低減することができると共に、制御部40aの演算負荷を低減することができる。さらに、照明システム4bのセンサ及び/又は制御部40bによって消費される消費電力を低減することができると共に、制御部40bの演算負荷を低減することができる。
さらに、表4に示すように、車両1が右折する場合には、使用頻度設定部460aは、車両1の左側に位置する照明システム4a,4cに配置されたセンサの使用頻度を低下させると共に、車両1の右側に位置する照明システム4b,4dに配置されたセンサの使用頻度を通常の使用頻度に設定する。この点において、車両1が右折する場合に、車両1の左側領域の周辺環境情報は、車両1の右側領域の周辺環境情報と比較して重要度は高くないため、車両1の左側に配置されたセンサの使用頻度を低下させることができる。このように、照明システム4aのセンサ及び/又は制御部40aによって消費される消費電力を低減することができると共に、制御部40aの演算負荷を低減することができる。さらに、照明システム4cのセンサ及び/又は制御部40cによって消費される消費電力を低減することができると共に、制御部40cの演算負荷を低減することができる。
このように、本実施形態によれば、進行方向情報に基づいてセンサの使用頻度が設定されるため、車両1の進行方向に応じてセンサの使用頻度を最適化することができる。
尚、本実施形態では、複数センサとして、カメラと、LiDARユニットと、ミリ波レーダを挙げているが、本実施形態はこれに限定されない。例えば、これらのセンサに加えて超音波センサが照明システムに搭載されてもよい。この場合、照明システムの制御部は、超音波センサの動作を制御すると共に、超音波センサによって取得された検出データに基づいて周辺環境情報を生成してもよい。また、カメラと、LiDARユニットと、ミリ波レーダと、超音波センサのうち少なくとも2つが照明システムに搭載されてもよい。
また、表1から表4に示す各センサの使用頻度は単なる一例であって、各センサの使用頻度は適宜変更可能である点に留意されたい。例えば、各照明システムが、遠距離用のLiDARユニットと、近距離用のLiDARユニットと、カメラと、ミリ波レーダと、超音波センサとを備えている場合を想定する。この場合、天候状態が不良である場合には、使用頻度設定部460aは、カメラと近距離用のLiDARユニットの使用頻度を低下させると共に、残りのセンサの使用頻度を通常の使用頻度に設定してもよい。また、車両1が高速で走行中の場合又は車両1が高速道路を走行中の場合、使用頻度設定部460aは、近距離用のLiDARユニットと超音波センサの使用頻度を低下させると共に、残りのセンサの使用頻度を通常の使用頻度に設定してもよい。さらに、車両1が低速で走行中の場合、使用頻度設定部460aは、遠距離用のLiDARユニットとミリ波レーダの使用頻度を低下させると共に、残りのセンサの使用頻度を通常の使用頻度に設定してもよい。
(第2実施形態)
以下、本開示の第2実施形態(以下、単に「本実施形態」という。)について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
また、本実施形態の説明では、説明の便宜上、「左右方向」、「前後方向」について適宜言及する。これらの方向は、図9に示す車両101について設定された相対的な方向である。ここで、「前後方向」は、「前方向」及び「後方向」を含む方向である。「左右方向」は、「左方向」及び「右方向」を含む方向である。
最初に、図9を参照して本実施形態に係る車両101について説明する。図9は、車両102を備える車両101の上面図を示す模式図である。図9に示すように、車両101は、自動運転モードで走行可能な車両(自動車)であって、車両102を備える。車両102は、車両制御部103と、左前照明システム104a(以下、単に「照明システム104a」という。)と、右前照明システム104b(以下、単に「照明システム104b」という。)と、左後照明システム104c(以下、単に「照明システム104c」という。)と、右後照明システム104d(以下、単に「照明システム104d」という。)を少なくとも備える。
照明システム104aは、車両101の左前側に設けられる。特に、照明システム104aは、車両101の左前側に設置されたハウジング124aと、ハウジング124aに取り付けられた透光カバー122aとを備える。照明システム104bは、車両101の右前側に設けられる。特に、照明システム104bは、車両101の右前側に設置されたハウジング124bと、ハウジング124bに取り付けられた透光カバー122bとを備える。照明システム104cは、車両101の左後側に設けられる。特に、照明システム104cは、車両101の左後側に設置されたハウジング124cと、ハウジング124cに取り付けられた透光カバー122cとを備える。照明システム104dは、車両101の右後側に設けられる。特に、照明システム104dは、車両101の右後側に設置されたハウジング124dと、ハウジング124dに取り付けられた透光カバー122dとを備える。
次に、図10を参照することで、図9に示す車両102を具体的に説明する。図10は、車両102を示すブロック図である。図10に示すように、車両102は、車両制御部103と、照明システム104a〜104dと、センサ105と、HMI(Human Machine Interface)108と、GPS(Global Positioning System)109と、無線通信部110と、記憶装置111とを備える。さらに、車両102は、ステアリングアクチュエータ112と、ステアリング装置113と、ブレーキアクチュエータ114と、ブレーキ装置115と、アクセルアクチュエータ116と、アクセル装置117とを備える。また、車両102は、電力を供給するように構成されたバッテリー(図示せず)を備える。
車両制御部103は、車両101の走行を制御するように構成されている。車両制御部103は、例えば、少なくとも一つの電子制御ユニット(ECU:Electronic Control Unit)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、トランジスタ等のアクティブ素子及びパッシブ素子を含むその他電子回路を含んでもよい。プロセッサは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)及び/又はTPU(Tensor Processing Unit)である。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROM(Read Only Memory)と、RAM(Random Access Memory)を含む。ROMには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能(AI)プログラムを含んでもよい。AIプログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ROMに記憶された車両制御プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。
また、電子制御ユニット(ECU)は、ASIC(Application Specific Integrated Circuit)やFPGA(Field−Programmable Gate Array)等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明システム104aは、制御部140aと、照明ユニット142aと、カメラ143aと、LiDAR(Light Detection and Ranging)ユニット144a(レーザーレーダの一例)と、ミリ波レーダ145aとを更に備える。制御部140aと、照明ユニット142aと、カメラ143aと、LiDARユニット144aと、ミリ波レーダ145aは、図9に示すように、ハウジング124aと透光カバー122aによって形成される空間Sa内(灯室内)に配置される。尚、制御部140aは、空間Sa以外の車両101の所定の場所に配置されてもよい。例えば、制御部140aは、車両制御部103と一体的に構成されてもよい。
制御部140aは、例えば、少なくとも一つの電子制御ユニット(ECU)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、その他電子回路(例えば、トランジスタ等)を含んでもよい。プロセッサは、例えば、CPU、MPU、GPU及び/又はTPUである。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROMと、RAMを含む。ROMには、車両101の周辺環境を特定するための周辺環境特定プログラムが記憶されてもよい。例えば、周辺環境特定プログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、周辺環境特定プログラム、カメラ143aに取得された画像データ、LiDARユニット144aによって取得された3次元マッピングデータ(点群データ)及び/又はミリ波レーダ145aによって取得された検出データ等が一時的に記憶されてもよい。プロセッサは、ROMに記憶された周辺環境特定プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。また、電子制御ユニット(ECU)は、ASICやFPGA等の集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明ユニット142aは、車両101の外部(前方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット142aは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED(Light Emitting Diode)、LD(Laser Diode)又は有機EL素子である。光学系は、光源から出射された光を照明ユニット142aの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両101の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット142aは、運転者用の配光パターン(例えば、ロービーム用配光パターンやハイビーム用配光パターン)を車両101の前方に形成するように構成されている。このように、照明ユニット142aは、左側ヘッドランプユニットとして機能する。一方、車両101の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット142aは、カメラ用の配光パターンを車両101の前方に形成するように構成されてもよい。
制御部140aは、照明ユニット142aに設けられた複数の発光素子の各々に電気信号(例えば、PWM(Pulse Width Modulation)信号)を個別に供給するように構成されてもよい。このように、制御部140aは、電気信号が供給される発光素子を個別に選択することができると共に、発光素子毎に電気信号のDuty比を調整することができる。つまり、制御部140aは、マトリックス状に配列された複数の発光素子のうち、点灯又は消灯すべき発光素子を選択することができると共に、点灯している発光素子の輝度を決定することができる。このため、制御部140aは、照明ユニット142aから前方に向けて出射される配光パターンの形状及び明るさを変更することができる。
カメラ143aは、車両101の周辺環境を検出するように構成されている。特に、カメラ143aは、フレームレートa1(fps)で車両101の周辺環境を示す画像データを取得した上で、当該画像データを制御部140aに送信するように構成されている。制御部140aは、送信された画像データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両101の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、車両101の外部に存在する対象物の属性に関する情報と、車両101に対する対象物の位置に関する情報とを含んでもよい。カメラ143aは、例えば、CCD(Charge−Coupled Device)やCMOS(相補型MOS:Metal Oxide Semiconductor)等の撮像素子によって構成される。カメラ143aは、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。カメラ143aがステレオカメラの場合、制御部140aは、視差を利用することで、ステレオカメラによって取得された2以上の画像データに基づいて、車両101と車両101の外部に存在する対象物(例えば、歩行者等)との間の距離を特定することができる。また、本実施形態では、1つのカメラ143aが照明システム104aに設けられているが、2以上のカメラ143aが照明システム104aに設けられてもよい。
LiDARユニット144a(レーザーレーダの一例)は、車両101の周辺環境を検出するように構成されている。特に、LiDARユニット144aは、フレームレートa2(fps)で車両101の周辺環境を示す3Dマッピングデータ(点群データ)を取得した上で、当該3Dマッピングデータを制御部140aに送信するように構成されている。制御部140aは、送信された3Dマッピングデータに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両101の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、例えば、車両101の外部に存在する対象物の属性に関する情報と、車両101に対する対象物の位置に関する情報とを含んでもよい。3Dマッピングデータのフレームレートa2(第2フレームレート)は、画像データのフレームレートa1(第1フレームレート)と同一であってもよいし、異なってもよい。
より具体的には、LiDARユニット144aは、レーザ光の各出射角度(水平角度θ、垂直角度φ)におけるレーザ光(光パルス)の飛行時間(TOF:Time of Flight)ΔT1に関する情報を取得した上で、飛行時間ΔT1に関する情報に基づいて、各出射角度(水平角度θ、垂直角度φ)におけるLiDARユニット144a(車両101)と車両101の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT1は、例えば、以下のように算出することができる。
飛行時間ΔT1=レーザ光(光パルス)がLiDARユニットに戻ってきた時刻t1−LiDARユニットがレーザ光(光パルス)を出射した時刻t0
このように、LiDARユニット144aは、車両101の周辺環境を示す3Dマッピングデータを取得することができる。
また、LiDARユニット144aは、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光を水平方向及び垂直方向に走査させるように構成された光偏向器と、レンズ等の光学系と、物体によって反射されたレーザ光を受光するように構成された受光部とを備える。レーザ光源から出射されるレーザ光の中心波長は特に限定されない。例えば、レーザ光は、中心波長が900nm付近である非可視光であってもよい。光偏向器は、例えば、MEMS(Micro Electro Mechanical Systems)ミラーであってもよい。受光部は、例えば、フォトダイオードである。尚、LiDARユニット144aは、光偏向器によってレーザ光を走査せずに、3Dマッピングデータを取得してもよい。例えば、LiDARユニット144aは、フェイズドアレイ方式又はフラッシュ方式で3Dマッピングデータを取得してもよい。また、本実施形態では、1つのLiDARユニット144aが照明システム104aに設けられているが、2以上のLiDARユニット144aが照明システム104aに設けられてもよい。例えば、2つのLiDARユニット144aが照明システム104aに設けられている場合、一方のLiDARユニット144aが車両101の前方領域における周辺環境を検出するように構成されると共に、他方のLiDARユニット144aが車両101の側方領域における周辺環境を検出するように構成されてもよい。
ミリ波レーダ145aは、車両101の周辺環境を検出するように構成されている。特に、ミリ波レーダ145aは、車両101の周辺環境を示す検出データを取得した上で、当該検出データを制御部140aに送信するように構成されている。制御部140aは、送信された検出データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両101の外部に存在する対象物に関する情報を含んでもよい。周辺環境情報は、例えば、車両101の外部に存在する対象物の属性に関する情報と、車両101に対する対象物の位置に関する情報と、車両101に対する対象物の速度に関する情報を含んでもよい。
例えば、ミリ波レーダ145aは、パルス変調方式、FM−CW(Frequency Moduleted−Continuous Wave)方式又は2周波CW方式で、ミリ波レーダ145a(車両101)と車両101の外部に存在する物体との間の距離Dを取得することができる。パルス変調方式を用いる場合、ミリ波レーダ145aは、ミリ波の各出射角度におけるミリ波の飛行時間ΔT2に関する情報を取得した上で、飛行時間ΔT2に関する情報に基づいて、各出射角度におけるミリ波レーダ145a(車両101)と車両101の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT2は、例えば、以下のように算出することができる。
飛行時間ΔT2=ミリ波がミリ波レーダに戻ってきた時刻t3−ミリ波レーダがミリ波を出射した時刻t2
また、ミリ波レーダ145aは、ミリ波レーダ145aから出射されたミリ波の周波数f0とミリ波レーダ145aに戻ってきたミリ波の周波数f1に基づいて、ミリ波レーダ145a(車両101)に対する車両101の外部に存在する物体の相対速度Vに関する情報を取得することができる。
また、本実施形態では、1つのミリ波レーダ145aが照明システム104aに設けられているが、2以上のミリ波レーダ145aが照明システム104aに設けられてもよい。例えば、照明システム104aは、短距離用のミリ波レーダ145aと、中距離用のミリ波レーダ145aと、長距離用のミリ波レーダ145aを有してもよい。
照明システム104bは、制御部140bと、照明ユニット142bと、カメラ143bと、LiDARユニット144bと、ミリ波レーダ145bとを更に備える。制御部140bと、照明ユニット142bと、カメラ143bと、LiDARユニット144bと、ミリ波レーダ145bは、図9に示すように、ハウジング124bと透光カバー122bによって形成される空間Sb内(灯室内)に配置される。尚、制御部140bは、空間Sb以外の車両101の所定の場所に配置されてもよい。例えば、制御部140bは、車両制御部103と一体的に構成されてもよい。制御部140bは、制御部140aと同様な機能及び構成を有してもよい。照明ユニット142bは、照明ユニット142aと同様な機能及び構成を有してもよい。この点において、照明ユニット142aは、左側ヘッドランプユニットとして機能する一方、照明ユニット142bは、右側ヘッドランプユニットとして機能する。カメラ143bは、カメラ143aと同様な機能及び構成を有してもよい。LiDARユニット144bは、LiDARユニット144aと同様な機能及び構成を有してもよい。ミリ波レーダ145bは、ミリ波レーダ145aと同様な機能及び構成を有してもよい。
照明システム104cは、制御部140cと、照明ユニット142cと、カメラ143cと、LiDARユニット144cと、ミリ波レーダ145cとを更に備える。制御部140cと、照明ユニット142cと、カメラ143cと、LiDARユニット144cと、ミリ波レーダ145cは、図9に示すように、ハウジング124cと透光カバー122cによって形成される空間Sc内(灯室内)に配置される。尚、制御部140cは、空間Sc以外の車両101の所定の場所に配置されてもよい。例えば、制御部140cは、車両制御部103と一体的に構成されてもよい。制御部140cは、制御部140aと同様な機能及び構成を有してもよい。
照明ユニット142cは、車両101の外部(後方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット142cは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED、LD又は有機EL素子である。光学系は、光源から出射された光を照明ユニット142cの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両101の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット142cは消灯してもよい。一方、車両101の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット142cは、カメラ用の配光パターンを車両101の後方に形成するように構成されてもよい。
カメラ143cは、カメラ143aと同様な機能及び構成を有してもよい。LiDARユニット144cは、LiDARユニット144cと同様な機能及び構成を有してもよい。ミリ波レーダ145cは、ミリ波レーダ145aと同様な機能及び構成を有してもよい。
照明システム104dは、制御部140dと、照明ユニット142dと、カメラ143dと、LiDARユニット144dと、ミリ波レーダ145dとを更に備える。制御部140dと、照明ユニット142dと、カメラ143dと、LiDARユニット144dと、ミリ波レーダ145dは、図9に示すように、ハウジング124dと透光カバー122dによって形成される空間Sd内(灯室内)に配置される。尚、制御部140dは、空間Sd以外の車両101の所定の場所に配置されてもよい。例えば、制御部140dは、車両制御部103と一体的に構成されてもよい。制御部140dは、制御部140cと同様な機能及び構成を有してもよい。照明ユニット142dは、照明ユニット142cと同様な機能及び構成を有してもよい。カメラ143dは、カメラ143cと同様な機能及び構成を有してもよい。LiDARユニット144dは、LiDARユニット144cと同様な機能及び構成を有してもよい。ミリ波レーダ145dは、ミリ波レーダ145cと同様な機能及び構成を有してもよい。
センサ105は、加速度センサ、速度センサ及びジャイロセンサ等を有してもよい。センサ105は、車両101の走行状態を検出して、車両101の走行状態を示す走行状態情報を車両制御部103に出力するように構成されている。また、センサ105は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。さらに、センサ105は、車両101の周辺環境の明るさ(照度等)を検出するように構成された照度センサを備えてもよい。照度センサは、例えば、フォトダイオードから出力される光電流の大きさに応じて周辺環境の明るさを決定してもよい。
HMI(Human Machine Interface)108は、運転者からの入力操作を受付ける入力部と、走行状態情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両101の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、走行状態情報、周辺環境情報および照明システム4の照明状態を表示するように構成されたディスプレイ等を含む。
GPS(Global Positioning System)109は、車両101の現在位置情報を取得し、当該取得された現在位置情報を車両制御部103に出力するように構成されている。無線通信部110は、車両101の周囲にいる他車に関する情報(例えば、他車走行情報等)を他車から受信すると共に、車両101に関する情報(例えば、自車走行情報等)を他車に送信するように構成されている(車車間通信)。
また、無線通信部110は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両101の自車走行情報をインフラ設備に送信するように構成されている(路車間通信)。また、無線通信部110は、歩行者が携帯する携帯型電子機器(スマートフォン、タブレット、ウェアラブルデバイス等)から歩行者に関する情報を受信すると共に、車両101の自車走行情報を携帯型電子機器に送信するように構成されている(歩車間通信)。車両101は、他車両、インフラ設備又は携帯型電子機器とアドホックモードにより直接通信してもよいし、アクセスポイントを介して通信してもよい。無線通信規格は、例えば、Wi−Fi(登録商標),Bluetooth(登録商標),ZigBee(登録商標)又はLPWAである。また、車両101は、他車両、インフラ設備又は携帯型電子機器と移動通信ネットワークを介して通信してもよい。
記憶装置111は、ハードディスクドライブ(HDD)やSSD(Solid State Drive)等の外部記憶装置である。記憶装置111には、2D又は3Dの地図情報及び/又は車両制御プログラムが記憶されてもよい。記憶装置111は、車両制御部103からの要求に応じて、地図情報や車両制御プログラムを車両制御部103に出力するように構成されている。地図情報や車両制御プログラムは、無線通信部110とインターネット等の通信ネットワークを介して更新されてもよい。
車両101が自動運転モードで走行する場合、車両制御部103は、走行状態情報、周辺環境情報、現在位置情報及び/又は地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ112は、ステアリング制御信号を車両制御部103から受信して、受信したステアリング制御信号に基づいてステアリング装置113を制御するように構成されている。ブレーキアクチュエータ114は、ブレーキ制御信号を車両制御部103から受信して、受信したブレーキ制御信号に基づいてブレーキ装置115を制御するように構成されている。アクセルアクチュエータ116は、アクセル制御信号を車両制御部103から受信して、受信したアクセル制御信号に基づいてアクセル装置117を制御するように構成されている。このように、自動運転モードでは、車両101の走行は車両102により自動制御される。
一方、車両101が手動運転モードで走行する場合、車両制御部103は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に応じて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両101の走行は運転者により制御される。
次に、車両101の運転モードについて説明する。運転モードは、自動運転モードと手動運転モードとからなる。自動運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードとからなる。完全自動運転モードでは、車両102がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両101を運転できる状態にはない。高度運転支援モードでは、車両102がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両101を運転できる状態にはあるものの車両101を運転しない。運転支援モードでは、車両102がステアリング制御、ブレーキ制御及びアクセル制御のうちの一部の走行制御を自動的に行うと共に、車両102の運転支援の下で運転者が車両101を運転する。一方、手動運転モードでは、車両102が走行制御を自動的に行わないと共に、車両102からの運転支援なしに運転者が車両101を運転する。
また、車両101の運転モードは、運転モード切替スイッチを操作することで切り替えられてもよい。この場合、車両制御部103は、運転モード切替スイッチに対する運転者の操作に応じて、車両101の運転モードを4つの運転モード(完全自動運転モード、高度運転支援モード、運転支援モード、手動運転モード)の間で切り替える。また、車両101の運転モードは、自動運転車の走行が可能である走行可能区間や自動運転車の走行が禁止されている走行禁止区間についての情報または外部天候状態についての情報に基づいて自動的に切り替えられてもよい。この場合、車両制御部103は、これらの情報に基づいて車両101の運転モードを切り替える。さらに、車両101の運転モードは、着座センサや顔向きセンサ等を用いることで自動的に切り替えられてもよい。この場合、車両制御部103は、着座センサや顔向きセンサからの出力信号に基づいて、車両101の運転モードを切り替えてもよい。
次に、図11を参照して、制御部140aの機能について説明する。図11は、照明システム104aの制御部140aの機能ブロックを示す図である。図11に示すように、制御部140aは、照明ユニット142aと、カメラ143aと、LiDARユニット144aと、ミリ波レーダ145aの動作をそれぞれ制御するように構成されている。特に、制御部140aは、照明制御部1410aと、カメラ制御部1420a(第1生成部の一例)と、LiDAR制御部1430a(第2生成部の一例)と、ミリ波レーダ制御部1440aと、周辺環境情報融合部1450aとを備える。
照明制御部1410aは、照明ユニット142aが所定の配光パターンを車両101の前方領域に向けて出射するように照明ユニット142aを制御するように構成されている。例えば、照明制御部1410aは、車両101の運転モードに応じて照明ユニット142aから出射される配光パターンを変更してもよい。さらに、照明制御部1410aは、レートa3(Hz)で照明ユニット142aを点灯制御するように構成されている。後述するように、照明ユニット142aのレートa3(第3レート)は、カメラ143aによって取得された画像データのフレームレートa1と同一であってもよいし、異なってもよい。
カメラ制御部1420aは、カメラ143aの動作を制御するように構成されている。特に、カメラ制御部1420aは、フレームレートa1(第1フレームレート)で画像データ(第1検出データ)を取得するようにカメラ143aを制御するように構成されている。さらに、カメラ制御部1420aは、画像データの各フレームの取得タイミング(特に、取得開始時刻)を制御するように構成されている。また、カメラ制御部1420aは、カメラ143aから出力された画像データに基づいて、カメラ143aの検出領域S1(図12参照)における車両101の周辺環境情報(以下、周辺環境情報Icという。)を生成するように構成されている。より具体的には、図13に示すように、カメラ制御部1420aは、画像データのフレームFc1に基づいて、車両101の周辺環境情報Ic1を生成し、画像データのフレームFc2に基づいて、周辺環境情報Ic2を生成し、画像データのフレームFc3に基づいて、周辺環境情報Ic3を生成する。このように、カメラ制御部1420aは、画像データの1フレームごとに周辺環境情報を生成する。
LiDAR制御部1430aは、LiDARユニット144aの動作を制御するように構成されている。特に、LiDAR制御部1430aは、フレームレートa2(第2フレームレート)で3Dマッピングデータ(第2検出データ)を取得するようにLiDARユニット144aを制御するように構成されている。さらに、LiDAR制御部1430aは、3Dマッピングデータの各フレームの取得タイミング(特に、取得開始時刻)を制御するように構成されている。また、LiDAR制御部1430aは、LiDARユニット144aから出力された3Dマッピングデータに基づいて、LiDARユニット144aの検出領域S2(図12参照)における車両101の周辺環境情報(以下、周辺環境情報Il)を生成するように構成されている。より具体的には、図13に示すように、LiDAR制御部1430aは、3DマッピングデータのフレームFl1に基づいて、周辺環境情報Il1を生成し、3DマッピングデータのフレームFl2に基づいて、周辺環境情報Il2を生成し、3DマッピングデータのフレームFl3に基づいて、周辺環境情報Il3を生成する。このように、LiDAR制御部1430aは、3Dマッピングデータの1フレームごとに周辺環境情報を生成する。
ミリ波レーダ制御部1440aは、ミリ波レーダ145aの動作を制御すると共に、ミリ波レーダ145aから出力された検出データに基づいて、ミリ波レーダ145aの検出領域S3(図12参照)における車両101の周辺環境情報Imを生成するように構成されている。例えば、ミリ波レーダ制御部1440aは、検出データのフレームFm1(図示せず)に基づいて、周辺環境情報Im1を生成し、検出データのフレームFm2(図示せず)に基づいて、周辺環境情報Im2を生成し、検出データのフレームFm3(図示せず)に基づいて、周辺環境情報Im3を生成する。
周辺環境情報融合部1450aは、周辺環境情報Ic,Il,Imを取得すると共に、取得した周辺環境情報Ic,Il,Imをそれぞれ融合することで、融合された周辺環境情報Ifを生成するように構成される。特に、画像データのフレームFc1の取得期間と、3DマッピングデータのフレームFl1の取得期間と、ミリ波レーダにより取得された検出データのフレームFm1の取得期間が互いに重複する場合、周辺環境情報融合部1450aは、フレームFc1に対応する周辺環境情報Ic1と、フレームFl1に対応する周辺環境情報Il1と、フレームFm1に対応する周辺環境情報Im1をそれぞれ融合することで、融合された周辺環境情報If1を生成してもよい。
周辺環境情報Ifは、図12に示すように、カメラ143aの検出領域S1と、LiDARユニット144aの検出領域S2と、ミリ波レーダ145aの検出領域S3を組合せた検出領域Sfにおける車両101の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報Ifは、対象物の属性、車両101に対する対象物の位置、車両101と対象物との間の距離及び/又は車両101に対する対象物の速度に関する情報を含んでもよい。周辺環境情報融合部1450aは、周辺環境情報Ifを車両制御部103に送信する。
また、制御部140b,140c,140dも制御部140aと同様の機能を有してもよい。つまり、制御部140b〜140dの各々は、照明制御部と、カメラ制御部(第1生成部の一例)と、LiDAR制御部(第2生成部の一例)と、ミリ波レーダ制御部と、周辺環境情報融合部とを備えてもよい。制御部140b〜140cの各々の周辺環境情報融合部は、融合された周辺環境情報Ifを車両制御部103に送信してもよい。車両制御部103は、各制御部140a〜140dから送信された周辺環境情報Ifとその他の情報(走行制御情報、現在位置情報、地図情報等)に基づいて、車両101の走行を制御してもよい。
次に、図13を参照することで、画像データの各フレームの取得タイミングと、3Dマッピングデータの各フレームの取得タイミングとの関係について詳細に説明する。尚、以降では、説明の便宜上、ミリ波レーダ145aの検出データの取得タイミングについては特に言及しない。つまり、本実施形態では、画像データの取得タイミングと3Dマッピングデータの取得タイミングとの間の関係性について特に着目される。
図13の上段は、所定の期間におけるカメラ143aにより取得される画像データのフレーム(例えば、フレームFc1,Fc2,Fc3)の取得タイミングを示している。ここで、フレームFc2(第1検出データの第2フレームの一例)は、フレームFc1(第1検出データの第1フレームの一例)の次にカメラ143aによって取得される画像データのフレームである。フレームFc3は、フレームFc2の次にカメラ143aによって取得される画像データのフレームである。
また、画像データの1フレームの取得期間ΔTcは、画像データの1フレームを形成するために必要な露光時間(換言すれば、画像データの1フレームを形成する光を取り込む時間)に相当する。尚、CCDやCMOS等のイメージセンサーから出力された電気信号を処理する時間は、取得期間ΔTcには含まれていない。
フレームFc1の取得開始時刻tc1とフレームFc2の取得開始時刻tc2との間の期間は、画像データのフレーム周期T1に相当する。フレーム周期T1は、フレームレートa1の逆数(T1=1/a1)に相当する。
図13の中段は、所定の期間におけるLiDARユニット144aにより取得される3Dマッピングデータのフレーム(例えば、フレームFl1,Fl2,Fl3)の取得タイミングを示している。ここで、フレームFl2(第2検出データの第2フレームの一例)は、フレームFl1(第2検出データの第1フレームの一例)の次にLiDARユニット144aによって取得される3Dマッピングデータのフレームである。フレームFl3は、フレームFl2の次にLiDARユニット144aによって取得される3Dマッピングデータのフレームである。3Dマッピングデータの1フレームの取得期間ΔTlでは、LiDARユニット144aの受光部から出力された電気信号を処理する時間は含まれていない。
フレームFl1の取得開始時刻tl1とフレームFl2の取得開始時刻tl2との間の期間は、3Dマッピングデータのフレーム周期T2に相当する。フレーム周期T2は、フレームレートa2の逆数(T2=1/a2)に相当する。
図13に示すように、本実施形態では、画像データの各フレームの取得期間ΔTcと3Dマッピングデータの各フレームの取得期間ΔTlが互いに重複している。具体的には、3DマッピングデータのフレームFl1の取得期間ΔTlは、画像データのフレームFc1の取得期間ΔTcと重複している。3DマッピングデータのフレームFl2の取得期間ΔTlは、画像データのフレームFc2の取得期間ΔTcと重複している。3DマッピングデータのフレームFl3の取得期間ΔTlは、画像データのフレームFc3の取得期間ΔTcと重複している。
この点において、好ましくは、画像データの各フレームの取得開始時刻は、3Dマッピングデータの各フレームの取得開始時刻と一致してもよい。具体的には、3DマッピングデータのフレームFl1の取得開始時刻tl1は、画像データのフレームFc1の取得開始時刻tc1と一致してもよい。3DマッピングデータのフレームFl2の取得開始時刻tl2は、画像データのフレームFc2の取得開始時刻tc2と一致してもよい。3DマッピングデータのフレームFl3の取得開始時刻tl3は、画像データのフレームFc3の取得開始時刻tc3と一致してもよい。
このように、本実施形態によれば、画像データの各フレームの取得期間ΔTcと3Dマッピングデータの各フレームの取得期間ΔTlが互いに重複する。このため、例えば、フレームFc1に基づいて生成される周辺環境情報Ic1の時間帯は、フレームFl1に基づいて生成される周辺環境情報Il1の時間帯と略一致する。この結果、互いに時間帯が略一致する周辺環境情報Ic1,Il1を用いることで、車両101の周辺環境の認知精度を向上させることができる。特に、周辺環境情報Ic1の時間帯と周辺環境情報Il1の時間帯が略一致することで、周辺環境情報融合部1450aによって生成される周辺環境情報If1の精度を向上させることが可能となる。ここで、周辺環境情報If1は、周辺環境情報Ic1,Il1と、ミリ波レーダ145aのフレームFm1に基づいて生成される周辺環境情報Im1によって構成される。ミリ波レーダ145aのフレームFm1の取得期間は、フレームFc1の取得期間ΔTcとフレームFl1の取得期間ΔTlと重複してもよい。この場合、周辺環境情報If1の精度をさらに向上させることが可能となる。
また、車両101が高速で走行中の場合では、車両101の周辺環境は高速で変化するため、フレームFc1の取得期間ΔTcとフレームFl1の取得期間ΔTlが互いに重複しない場合、検出領域S1と検出領域S2とが互いに重複する重複領域Sx(図12参照)において、周辺環境情報Ic1と周辺環境情報Il1が互いに異なる可能性がある。例えば、周辺環境情報Ic1が歩行者P2の存在を示す一方、周辺環境情報Il1が歩行者P2の存在を示さないといった可能性がある。このように、互いに時間帯が異なる周辺環境情報Ic1,Il1が融合される場合、周辺環境情報If1の精度が悪化する虞がある。
次に、画像データの各フレームの取得タイミングと、3Dマッピングデータの各フレームの取得タイミングと、照明ユニット142aの点灯タイミングとの関係について詳細に説明する。図13の下段は、所定の期間における照明ユニット142aの点灯タイミング(点灯期間ΔTonと消灯期間ΔToff)を示している。照明ユニット142aの点灯期間ΔTonの点灯開始時刻ts1と次の点灯期間ΔTonの点灯開始時刻ts2との間の期間は、点灯周期T3に相当する。点灯周期T3は、レートa3の逆数(T3=1/a3)に相当する。
図13に示すように、照明ユニット142aの点灯周期T3は、画像データのフレーム周期T1と一致している。換言すれば、照明ユニット142aのレートa3は、画像データのフレームレートa1と一致している。さらに、照明ユニット142aは、画像データの各フレーム(例えば、フレームFc1,Fc2,Fc3)の取得期間ΔTcにおいて点灯する。
このように、本実施形態によれば、照明ユニット142aが点灯している間に、車両101の周辺環境を示す画像データがカメラ143aによって取得されるので、車両101の周辺環境が暗い(例えば、夜間)場合において、画像データにブラックアウトが生じることを好適に防止することが可能となる。
尚、図13に示す例では、画像データの各フレームの取得期間ΔTcが照明ユニット142aの点灯期間ΔTonに完全に重複しているが、本実施形態はこれには限定されない。画像データの各フレームの取得期間ΔTcの一部が、照明ユニット142aの点灯期間ΔTonに重複していればよい。
また、本実施形態では、カメラ143aを駆動させる前に、カメラ制御部1420aは、画像データの取得タイミング(例えば、最初のフレームの取得開始時刻等を含む。)を決定した上で、当該画像データの取得タイミングに関する情報をLiDAR制御部1430aと照明制御部1410aに送信してもよい。この場合、LiDAR制御部1430aは、受信した画像データの取得タイミングに関する情報に基づいて、3Dマッピングデータの取得タイミング(最初のフレームの取得開始時刻等)を決定する。さらに、照明制御部1410aは、受信した画像データの取得タイミングに関する情報に基づいて、照明ユニット142aの点灯タイミング(最初の点灯開始時刻等)を決定する。その後、カメラ制御部1420aは、画像データの取得タイミングに関する情報に基づいて、カメラ143aを駆動させる。また、LiDAR制御部1430aは、3Dマッピングデータの取得タイミングに関する情報に基づいて、LiDARユニット144aを駆動させる。さらに、照明制御部1410aは、照明ユニット142aの点灯タイミングに関する情報に基づいて、照明ユニット142aを点消灯させる。
このようにして、画像データの各フレームの取得開始時刻と、3Dマッピングデータの各フレームの取得開始時刻が互いに一致するように、カメラ143aとLiDARユニット144aを駆動させることが可能となる。さらに、画像データの各フレームの取得期間ΔTcにおいて点灯するように、照明ユニット142aを点灯制御させることが可能となる。
一方、上記の方法の代替案として、周辺環境情報融合部1450aは、画像データの取得タイミングと、3Dマッピングデータの取得タイミングと、照明ユニット142aの点灯タイミングを決定してもよい。この場合、周辺環境情報融合部1450aは、画像データの取得タイミングに関する情報をカメラ制御部1420aに送信し、3Dマッピングデータの取得タイミングに関する情報をLiDAR制御部1430aに送信し、照明ユニット142aの点灯タイミングに関する情報を照明制御部1410aに送信する。その後、カメラ制御部1420aは、画像データの取得タイミングに関する情報に基づいて、カメラ143aを駆動させる。また、LiDAR制御部1430aは、3Dマッピングデータの取得タイミングに関する情報に基づいて、LiDARユニット144aを駆動させる。さらに、照明制御部1410aは、照明ユニット142aの点灯タイミングに関する情報に基づいて、照明ユニット142aを点消灯させる。
次に、図14を参照して、照明ユニット142aの点灯周期T3を2倍にしたときにおける、画像データの各フレームの取得タイミングと、3Dマッピングデータの各フレームの取得タイミングと、照明ユニット142aの点灯タイミングとの関係について説明する。図14に示すように、照明ユニット142aの点灯周期が2T3に設定される。換言すれば、照明ユニット142aのレートは、a3/2に設定されるため、画像データのフレームレートa1の半分となる。さらに、照明ユニット142aは、画像データのフレームFc1の取得期間ΔTcにおいて点灯する一方、画像データの次のフレームFc2の取得期間ΔTcにおいて消灯する。このように、照明ユニット142aのレートa3/2は、画像データのフレームレートa1の半分となるため、画像データの所定のフレームの取得期間は、照明ユニット142aの点灯期間ΔTon2に重複すると共に、当該所定のフレームの次のフレームの取得期間は、照明ユニット142aの消灯期間ΔToff2に重複する。
このように、カメラ143aは、照明ユニット142aが点灯している間に車両101の周辺環境を示す画像データを取得すると共に、照明ユニット142aが消灯している間に当該画像データを取得する。つまり、カメラ143aは、照明ユニット142aが点灯したときの画像データのフレームと、照明ユニット142aが消灯したときの画像データのフレームを交互に取得する。このため、照明ユニット142aが消灯しているときに撮像された画像データM1と照明ユニット142aが点灯しているときに撮像された画像データM2を比較することで、車両101の周辺に存在する対象物が自ら発光しているのか又は光を反射しているのかを特定することができる。このように、カメラ制御部1420aは、車両101の周辺に存在する対象物の属性をより正確に特定することができる。さらに、照明ユニット142aが点灯している場合、照明ユニット142aから出射され、透光カバー122aによって反射された光の一部がカメラ143aに入射することで、画像データM2に迷光が生じる可能性がある。一方、照明ユニット142aが消灯している場合、画像データM1には迷光は生じない。このように、カメラ制御部1420aは、画像データM1と画像データM2を比較することで、画像データM2に生じる迷光を特定することができる。従って、車両101の周辺環境の認知精度を向上させることができる。
(第3実施形態)
以下、本開示の第3実施形態(以下、単に「本実施形態」という。)について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
また、本実施形態の説明では、説明の便宜上、「左右方向」、「前後方向」について適宜言及する。これらの方向は、図15に示す車両201について設定された相対的な方向である。ここで、「前後方向」は、「前方向」及び「後方向」を含む方向である。「左右方向」は、「左方向」及び「右方向」を含む方向である。
最初に、図15を参照して本実施形態に係る車両201について説明する。図15は、車両システム202を備える車両201の上面図を示す模式図である。図15に示すように、車両201は、自動運転モードで走行可能な車両(自動車)であって、車両システム202を備える。車両システム202は、車両制御部203と、左前照明システム204a(以下、単に「照明システム204a」という。)と、右前照明システム204b(以下、単に「照明システム204b」という。)と、左後照明システム204c(以下、単に「照明システム204c」という。)と、右後照明システム204d(以下、単に「照明システム204d」という。)を少なくとも備える。
照明システム204aは、車両201の左前側に設けられる。特に、照明システム204aは、車両201の左前側に設置されたハウジング224aと、ハウジング224aに取り付けられた透光カバー222aとを備える。照明システム204bは、車両201の右前側に設けられる。特に、照明システム204bは、車両201の右前側に設置されたハウジング224bと、ハウジング224bに取り付けられた透光カバー222bとを備える。照明システム204cは、車両201の左後側に設けられる。特に、照明システム204cは、車両201の左後側に設置されたハウジング224cと、ハウジング224cに取り付けられた透光カバー222cとを備える。照明システム204dは、車両201の右後側に設けられる。特に、照明システム204dは、車両201の右後側に設置されたハウジング224dと、ハウジング224dに取り付けられた透光カバー222dとを備える。
次に、図16を参照することで、図15に示す車両システム202を具体的に説明する。図16は、車両システム202を示すブロック図である。図16に示すように、車両システム202は、車両制御部203と、照明システム204a〜204dと、センサ205と、HMI(Human Machine Interface)208と、GPS(Global Positioning System)209と、無線通信部210と、記憶装置211とを備える。さらに、車両システム202は、ステアリングアクチュエータ212と、ステアリング装置213と、ブレーキアクチュエータ214と、ブレーキ装置215と、アクセルアクチュエータ216と、アクセル装置217とを備える。また、車両システム202は、電力を供給するように構成されたバッテリー(図示せず)を備える。
車両制御部203は、車両201の走行を制御するように構成されている。車両制御部203は、例えば、少なくとも一つの電子制御ユニット(ECU:Electronic Control Unit)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、トランジスタ等のアクティブ素子及びパッシブ素子を含むその他電子回路を含んでもよい。プロセッサは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)及び/又はTPU(Tensor Processing Unit)である。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROM(Read Only Memory)と、RAM(Random Access Memory)を含む。ROMには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能(AI)プログラムを含んでもよい。AIプログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ROMに記憶された車両制御プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。
また、電子制御ユニット(ECU)は、ASIC(Application Specific Integrated Circuit)やFPGA(Field−Programmable Gate Array)等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明システム204aは、制御部240aと、照明ユニット242aと、カメラ243aと、LiDAR(Light Detection and Ranging)ユニット244a(レーザーレーダの一例)と、ミリ波レーダ245aとを更に備える。制御部240aと、照明ユニット242aと、カメラ243aと、LiDARユニット244aと、ミリ波レーダ245aは、図15に示すように、ハウジング224aと透光カバー222aによって形成される空間Sa内(灯室内)に配置される。尚、制御部240aは、空間Sa以外の車両201の所定の場所に配置されてもよい。例えば、制御部240aは、車両制御部203と一体的に構成されてもよい。
制御部240aは、例えば、少なくとも一つの電子制御ユニット(ECU)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、その他電子回路(例えば、トランジスタ等)を含んでもよい。プロセッサは、例えば、CPU、MPU、GPU及び/又はTPUである。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROMと、RAMを含む。ROMには、車両201の周辺環境を特定するための周辺環境特定プログラムが記憶されてもよい。例えば、周辺環境特定プログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、周辺環境特定プログラム、カメラ243aに取得された画像データ、LiDARユニット244aによって取得された3次元マッピングデータ(点群データ)及び/又はミリ波レーダ245aによって取得された検出データ等が一時的に記憶されてもよい。プロセッサは、ROMに記憶された周辺環境特定プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。また、電子制御ユニット(ECU)は、ASICやFPGA等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明ユニット242aは、車両201の外部(前方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット242aは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED(Light Emitting Diode)、LD(Laser Diode)又は有機EL素子である。光学系は、光源から出射された光を照明ユニット242aの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両201の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット242aは、運転者用の配光パターン(例えば、ロービーム用配光パターンやハイビーム用配光パターン)を車両201の前方に形成するように構成されている。このように、照明ユニット242aは、左側ヘッドランプユニットとして機能する。一方、車両201の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット242aは、カメラ用の配光パターンを車両201の前方に形成するように構成されてもよい。
制御部240aは、照明ユニット242aに設けられた複数の発光素子の各々に電気信号(例えば、PWM(Pulse Width Modulation)信号)を個別に供給するように構成されてもよい。このように、制御部240aは、電気信号が供給される発光素子を個別に選択することができると共に、発光素子毎に電気信号のDuty比を調整することができる。つまり、制御部240aは、マトリックス状に配列された複数の発光素子のうち、点灯又は消灯すべき発光素子を選択することができると共に、点灯している発光素子の輝度を決定することができる。このため、制御部240aは、照明ユニット242aから前方に向けて出射される配光パターンの形状及び明るさを変更することができる。
カメラ243aは、車両201の周辺環境を検出するように構成されている。特に、カメラ243aは、車両201の周辺環境を示す画像データを取得した上で、当該画像データを制御部240aに送信するように構成されている。制御部240aは、送信された画像データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両201の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、車両201の外部に存在する対象物の属性に関する情報と、車両201に対する対象物の距離や位置に関する情報とを含んでもよい。カメラ243aは、例えば、CCD(Charge−Coupled Device)やCMOS(相補型MOS:Metal Oxide Semiconductor)等の撮像素子によって構成される。カメラ243aは、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。カメラ243aがステレオカメラの場合、制御部240aは、視差を利用することで、ステレオカメラによって取得された2以上の画像データに基づいて、車両201と車両201の外部に存在する対象物(例えば、歩行者等)との間の距離を特定することができる。また、本実施形態では、1つのカメラ243aが照明システム204aに設けられているが、2以上のカメラ243aが照明システム204aに設けられてもよい。
LiDARユニット244a(レーザーレーダの一例)は、車両201の周辺環境を検出するように構成されている。特に、LiDARユニット244aは、車両201の周辺環境を示す3Dマッピングデータ(点群データ)を取得した上で、当該3Dマッピングデータを制御部240aに送信するように構成されている。制御部240aは、送信された3Dマッピングデータに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両201の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、車両201の外部に存在する対象物の属性に関する情報と、車両201に対する対象物の距離や位置に関する情報とを含んでもよい。
より具体的には、LiDARユニット244aは、レーザ光の各出射角度(水平角度θ、垂直角度φ)におけるレーザ光(光パルス)の飛行時間(TOF:Time of Flight)ΔT1に関する情報を取得した上で、飛行時間ΔT1に関する情報に基づいて、各出射角度(水平角度θ、垂直角度φ)におけるLiDARユニット244a(車両201)と車両201の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT1は、例えば、以下のように算出することができる。
飛行時間ΔT1=レーザ光(光パルス)がLiDARユニットに戻ってきた時刻t1−LiDARユニットがレーザ光(光パルス)を出射した時刻t0
このように、LiDARユニット244aは、車両201の周辺環境を示す3Dマッピングデータを取得することができる。
また、LiDARユニット244aは、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光を水平方向及び垂直方向に走査させるように構成された光偏向器と、レンズ等の光学系と、物体によって反射されたレーザ光を受光するように構成された受光部とを備える。レーザ光源から出射されるレーザ光の中心波長は特に限定されない。例えば、レーザ光は、中心波長が900nm付近である非可視光であってもよい。光偏向器は、例えば、MEMS(Micro Electro Mechanical Systems)ミラーであってもよい。受光部は、例えば、フォトダイオードである。尚、LiDARユニット244aは、光偏向器によってレーザ光を走査せずに、3Dマッピングデータを取得してもよい。例えば、LiDARユニット244aは、フェイズドアレイ方式又はフラッシュ方式で3Dマッピングデータを取得してもよい。また、本実施形態では、1つのLiDARユニット244aが照明システム204aに設けられているが、2以上のLiDARユニット244aが照明システム204aに設けられてもよい。例えば、2つのLiDARユニット244aが照明システム204aに設けられている場合、一方のLiDARユニット244aが車両201の前方領域における周辺環境を検出するように構成されると共に、他方のLiDARユニット244aが車両201の側方領域における周辺環境を検出するように構成されてもよい。
ミリ波レーダ245aは、車両201の周辺環境を検出するように構成されている。特に、ミリ波レーダ245aは、車両201の周辺環境を示す検出データを取得した上で、当該検出データを制御部240aに送信するように構成されている。制御部240aは、送信された検出データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両201の外部に存在する対象物に関する情報を含んでもよい。周辺環境情報は、例えば、車両201の外部に存在する対象物の属性に関する情報と、車両201に対する対象物の位置に関する情報と、車両201に対する対象物の速度に関する情報を含んでもよい。
例えば、ミリ波レーダ245aは、パルス変調方式、FM−CW(Frequency Moduleted−Continuous Wave)方式又は2周波CW方式で、ミリ波レーダ245a(車両201)と車両201の外部に存在する物体との間の距離Dを取得することができる。パルス変調方式を用いる場合、ミリ波レーダ245aは、ミリ波の各出射角度におけるミリ波の飛行時間ΔT2に関する情報を取得した上で、飛行時間ΔT2に関する情報に基づいて、各出射角度におけるミリ波レーダ245a(車両201)と車両201の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT2は、例えば、以下のように算出することができる。
飛行時間ΔT2=ミリ波がミリ波レーダに戻ってきた時刻t3−ミリ波レーダがミリ波を出射した時刻t2
また、ミリ波レーダ245aは、ミリ波レーダ245aから出射されたミリ波の周波数f0とミリ波レーダ245aに戻ってきたミリ波の周波数f1に基づいて、ミリ波レーダ245a(車両201)に対する車両201の外部に存在する物体の相対速度Vに関する情報を取得することができる。
また、本実施形態では、1つのミリ波レーダ245aが照明システム204aに設けられているが、2以上のミリ波レーダ245aが照明システム204aに設けられてもよい。例えば、照明システム204aは、短距離用のミリ波レーダ245aと、中距離用のミリ波レーダ245aと、長距離用のミリ波レーダ245aを有してもよい。
照明システム204bは、制御部240bと、照明ユニット242bと、カメラ243bと、LiDARユニット244bと、ミリ波レーダ245bとを更に備える。制御部240bと、照明ユニット242bと、カメラ243bと、LiDARユニット244bと、ミリ波レーダ245bは、図15に示すように、ハウジング224bと透光カバー222bによって形成される空間Sb内(灯室内)に配置される。尚、制御部240bは、空間Sb以外の車両201の所定の場所に配置されてもよい。例えば、制御部240bは、車両制御部203と一体的に構成されてもよい。制御部240bは、制御部240aと同様な機能及び構成を有してもよい。照明ユニット242bは、照明ユニット242aと同様な機能及び構成を有してもよい。この点において、照明ユニット242aは、左側ヘッドランプユニットとして機能する一方、照明ユニット242bは、右側ヘッドランプユニットとして機能する。カメラ243bは、カメラ243aと同様な機能及び構成を有してもよい。LiDARユニット244bは、LiDARユニット244aと同様な機能及び構成を有してもよい。ミリ波レーダ245bは、ミリ波レーダ245aと同様な機能及び構成を有してもよい。
照明システム204cは、制御部240cと、照明ユニット242cと、カメラ243cと、LiDARユニット244cと、ミリ波レーダ245cとを更に備える。制御部240cと、照明ユニット242cと、カメラ243cと、LiDARユニット244cと、ミリ波レーダ245cは、図15に示すように、ハウジング224cと透光カバー222cによって形成される空間Sc内(灯室内)に配置される。尚、制御部240cは、空間Sc以外の車両201の所定の場所に配置されてもよい。例えば、制御部240cは、車両制御部203と一体的に構成されてもよい。制御部240cは、制御部240aと同様な機能及び構成を有してもよい。
照明ユニット242cは、車両201の外部(後方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット242cは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED、LD又は有機EL素子である。光学系は、光源から出射された光を照明ユニット242cの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両201の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット242cは消灯してもよい。一方、車両201の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット242cは、カメラ用の配光パターンを車両201の後方に形成するように構成されてもよい。
カメラ243cは、カメラ243aと同様な機能及び構成を有してもよい。LiDARユニット244cは、LiDARユニット244cと同様な機能及び構成を有してもよい。ミリ波レーダ245cは、ミリ波レーダ245aと同様な機能及び構成を有してもよい。
照明システム204dは、制御部240dと、照明ユニット242dと、カメラ243dと、LiDARユニット244dと、ミリ波レーダ245dとを更に備える。制御部240dと、照明ユニット242dと、カメラ243dと、LiDARユニット244dと、ミリ波レーダ245dは、図15に示すように、ハウジング224dと透光カバー222dによって形成される空間Sd内(灯室内)に配置される。尚、制御部240dは、空間Sd以外の車両201の所定の場所に配置されてもよい。例えば、制御部240dは、車両制御部203と一体的に構成されてもよい。制御部240dは、制御部240cと同様な機能及び構成を有してもよい。照明ユニット242dは、照明ユニット242cと同様な機能及び構成を有してもよい。カメラ243dは、カメラ243cと同様な機能及び構成を有してもよい。LiDARユニット244dは、LiDARユニット244cと同様な機能及び構成を有してもよい。ミリ波レーダ245dは、ミリ波レーダ245cと同様な機能及び構成を有してもよい。
センサ205は、加速度センサ、速度センサ及びジャイロセンサ等を有してもよい。センサ205は、車両201の走行状態を検出して、車両201の走行状態を示す走行状態情報を車両制御部203に出力するように構成されている。また、センサ205は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。さらに、センサ205は、車両201の周辺環境の明るさ(照度等)を検出するように構成された照度センサを備えてもよい。照度センサは、例えば、フォトダイオードから出力される光電流の大きさに応じて周辺環境の明るさを決定してもよい。
HMI(Human Machine Interface)208は、運転者からの入力操作を受付ける入力部と、走行状態情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両201の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、走行状態情報、周辺環境情報および照明システム4の照明状態を表示するように構成されたディスプレイ等を含む。
GPS(Global Positioning System)209は、車両201の現在位置情報を取得し、当該取得された現在位置情報を車両制御部203に出力するように構成されている。無線通信部210は、車両201の周囲にいる他車に関する情報(例えば、他車走行情報等)を他車から受信すると共に、車両201に関する情報(例えば、自車走行情報等)を他車に送信するように構成されている(車車間通信)。
また、無線通信部210は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両201の自車走行情報をインフラ設備に送信するように構成されている(路車間通信)。また、無線通信部210は、歩行者が携帯する携帯型電子機器(スマートフォン、タブレット、ウェアラブルデバイス等)から歩行者に関する情報を受信すると共に、車両201の自車走行情報を携帯型電子機器に送信するように構成されている(歩車間通信)。車両201は、他車両、インフラ設備又は携帯型電子機器とアドホックモードにより直接通信してもよいし、アクセスポイントを介して通信してもよい。無線通信規格は、例えば、Wi−Fi(登録商標),Bluetooth(登録商標),ZigBee(登録商標)又はLPWAである。また、車両201は、他車両、インフラ設備又は携帯型電子機器と移動通信ネットワークを介して通信してもよい。
記憶装置211は、ハードディスクドライブ(HDD)やSSD(Solid State Drive)等の外部記憶装置である。記憶装置211には、2D又は3Dの地図情報及び/又は車両制御プログラムが記憶されてもよい。例えば、3Dの地図情報は、点群データによって構成されてもよい。記憶装置211は、車両制御部203からの要求に応じて、地図情報や車両制御プログラムを車両制御部203に出力するように構成されている。地図情報や車両制御プログラムは、無線通信部210とインターネット等の通信ネットワークを介して更新されてもよい。
車両201が自動運転モードで走行する場合、車両制御部203は、走行状態情報、周辺環境情報、現在位置情報及び/又は地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ212は、ステアリング制御信号を車両制御部203から受信して、受信したステアリング制御信号に基づいてステアリング装置213を制御するように構成されている。ブレーキアクチュエータ214は、ブレーキ制御信号を車両制御部203から受信して、受信したブレーキ制御信号に基づいてブレーキ装置215を制御するように構成されている。アクセルアクチュエータ216は、アクセル制御信号を車両制御部203から受信して、受信したアクセル制御信号に基づいてアクセル装置217を制御するように構成されている。このように、自動運転モードでは、車両201の走行は車両システム202により自動制御される。
一方、車両201が手動運転モードで走行する場合、車両制御部203は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に応じて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両201の走行は運転者により制御される。
次に、車両201の運転モードについて説明する。運転モードは、自動運転モードと手動運転モードとからなる。自動運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードとからなる。完全自動運転モードでは、車両システム202がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両201を運転できる状態にはない。高度運転支援モードでは、車両システム202がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両201を運転できる状態にはあるものの車両201を運転しない。運転支援モードでは、車両システム202がステアリング制御、ブレーキ制御及びアクセル制御のうちの一部の走行制御を自動的に行うと共に、車両システム202の運転支援の下で運転者が車両201を運転する。一方、手動運転モードでは、車両システム202が走行制御を自動的に行わないと共に、車両システム202からの運転支援なしに運転者が車両201を運転する。
また、車両201の運転モードは、運転モード切替スイッチを操作することで切り替えられてもよい。この場合、車両制御部203は、運転モード切替スイッチに対する運転者の操作に応じて、車両201の運転モードを4つの運転モード(完全自動運転モード、高度運転支援モード、運転支援モード、手動運転モード)の間で切り替える。また、車両201の運転モードは、自動運転車の走行が可能である走行可能区間や自動運転車の走行が禁止されている走行禁止区間についての情報または外部天候状態についての情報に基づいて自動的に切り替えられてもよい。この場合、車両制御部203は、これらの情報に基づいて車両201の運転モードを切り替える。さらに、車両201の運転モードは、着座センサや顔向きセンサ等を用いることで自動的に切り替えられてもよい。この場合、車両制御部203は、着座センサや顔向きセンサからの出力信号に基づいて、車両201の運転モードを切り替えてもよい。
次に、図17を参照して、制御部240aの機能について説明する。図17は、照明システム204aの制御部240aの機能ブロックを示す図である。図17に示すように、制御部240aは、照明ユニット242aと、カメラ243aと、LiDARユニット244aと、ミリ波レーダ245aの動作をそれぞれ制御するように構成されている。特に、制御部240aは、照明制御部2410aと、周辺環境情報特定部2400aと、検出精度決定部2460aとを備える。
照明制御部2410aは、照明ユニット242aが所定の配光パターンを車両201の前方領域に向けて出射するように照明ユニット242aを制御するように構成されている。例えば、照明制御部2410aは、車両201の運転モードに応じて照明ユニット242aから出射される配光パターンを変更してもよい。
周辺環境情報特定部2400aは、カメラ制御部2420aと、LiDAR制御部2430aと、ミリ波レーダ制御部2440aと、周辺環境情報融合部2450aとを備える。
カメラ制御部2420aは、カメラ243aの動作を制御すると共に、カメラ243aから出力された画像データ(検出データ)に基づいて、カメラ243aの検出領域S1(図18参照)における車両201の周辺環境情報(以下、周辺環境情報I1という。)を生成するように構成されている。LiDAR制御部2430aは、LiDARユニット244aの動作を制御すると共に、LiDARユニット244aから出力された3Dマッピングデータ(検出データ)に基づいて、LiDARユニット244aの検出領域S2(図18参照)における車両201の周辺環境情報(以下、周辺環境情報I2という。)を生成するように構成されている。ミリ波レーダ制御部2440aは、ミリ波レーダ245aの動作を制御すると共に、ミリ波レーダ245aから出力された検出データに基づいて、ミリ波レーダ245aの検出領域S3(図18参照)における車両201の周辺環境情報(以下、周辺環境情報I3という。)を生成するように構成されている。
周辺環境情報融合部2450aは、周辺環境情報I1,I2,I3をそれぞれ融合することで、融合された周辺環境情報Ifを生成するように構成される。ここで、周辺環境情報Ifは、図18に示すように、カメラ243aの検出領域S1と、LiDARユニット244aの検出領域S2と、ミリ波レーダ245aの検出領域S3を組合せた検出領域Sfにおける車両201の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報Ifは、対象物の属性、車両201に対する対象物の位置、車両201と対象物との間の距離及び/又は車両201に対する対象物の速度に関する情報を含んでもよい。周辺環境情報融合部2450aは、周辺環境情報Ifを車両制御部203に送信するように構成されてもよい。
検出精度決定部2460aは、複数のセンサ(カメラ243aと、LiDARユニット244aと、ミリ波レーダ245a)の各々の検出精度を決定するように構成されている。ここで、センサの検出精度は、百分率(0%から100%)として規定されてもよい。この場合、センサの検出精度が高い程、センサの検出精度は100%に近づく。また、センサの検出精度は、AからCの3つのクラスでランク付けされてもよい。例えば、センサの検出精度が高い場合に、センサの検出精度はAランクとして決定されてもよい。一方、センサの検出精度が低い場合に、センサの検出精度は、Cランクとして決定されてもよい。また、所定のセンサの検出精度が所定の期間又は更新回数に亘って低い場合には、車両システム202(特に、車両制御部203又は制御部240a)は、所定のセンサに異常があると判定してもよい。さらに、制御部240aは、複数のセンサの検出領域が互いに重複する重複領域において、検出精度が高いセンサの検出データ又は周辺環境情報を採用してもよい。このように、センサの検出精度に関する情報を利用することで、車両201の周辺環境の認知精度を向上させることが可能な車両システム202を提供することができる。
例えば、カメラ243aの検出精度がLiDARユニット244aの検出精度よりも高い場合には、画像データ(カメラ243aの検出データ)は、3Dマッピングデータ(LiDARユニット244aの検出データ)よりも優先して使用される。この場合、周辺環境情報融合部2450aは、周辺環境情報Ifを生成する際に、検出領域S1と検出領域S2とが互いに重複する重複領域Sx(図18参照)において、3Dマッピングデータに基づいて生成される周辺環境情報I2よりも画像データに基づいて生成される周辺環境情報I1を採用する。特に、重複領域Sxにおいて、周辺環境情報I1と周辺環境情報I2との間に矛盾が生じている場合(周辺環境情報I1と周辺環境情報I2とが互いに一致していない場合)、周辺環境情報融合部2450aは、周辺環境情報I1を採用する。
このように、周辺環境情報特定部2400aは、複数のセンサ(カメラ243a、LiDARユニット244a、ミリ波レーダ245a)の検出データと、複数のセンサの検出精度に基づいて、車両201の周辺環境を特定するように構成されている。
尚、本実施形態では、周辺環境情報融合部2450aと検出精度決定部2460aは、制御部240aによって実現されているが、これらは車両制御部203によって実現されてもよい。
また、制御部240b,240c,240dも制御部240aと同様の機能を有してもよい。つまり、制御部240b〜240dの各々は、照明制御部と、周辺環境情報特定部と、検出精度決定部とを有してもよい。また、制御部240b〜240dの周辺環境情報特定部は、カメラ制御部と、LiDAR制御部と、ミリ波レーダ制御部と、周辺環境情報融合部とを有してもよい。制御部240b〜240dの各々の周辺環境情報融合部は、融合された周辺環境情報Ifを車両制御部203に送信してもよい。車両制御部203は、各制御部240a〜240dから送信された周辺環境情報Ifとその他の情報(走行制御情報、現在位置情報、地図情報等)に基づいて、車両201の走行を制御してもよい。
次に、本実施形態に係る複数センサ(カメラ243a、LiDARユニット244a、ミリ波レーダ245a)の検出精度を決定する処理の一例について図19を参照して説明する。図19は、本実施形態に係る各センサの検出精度を決定する処理を説明するためのフローチャートである。尚、本実施形態では、説明の便宜上、照明システム204aの動作フローについてのみ説明を行うが、照明システム204aの動作フローは、照明システム204b〜204dにも適用可能である点に留意されたい。
図19に示すように、ステップS201において、車両制御部203は、車両201が停止しているかどうかを判定する。ステップS201で判定結果がYESである場合、車両制御部203は、GPS209を用いて車両201の現在位置情報を取得する(ステップS202)。一方、ステップS201の判定結果がNOである場合、車両制御部203は、ステップS201の判定結果がYESになるまで待機する。尚、本実施形態では、車両201が停止した状態で、ステップS202〜S208の処理が実行されているが、車両が走行している状態で、これらの処理が実行されてもよい。
次に、車両制御部203は、記憶装置211から地図情報を取得する(ステップS203)。地図情報は、例えば、点群データによって構成された3D地図情報であってもよい。次に、車両制御部203は、車両201の現在位置情報と地図情報を検出精度決定部2460aに送信する。その後、検出精度決定部2460aは、車両201の現在位置情報と地図情報に基づいて、センサの検出精度を決定するためのテストオブジェクトが車両201の周辺に存在するかどうかを判定する(ステップS204)。テストオブジェクトは、例えば、信号機、交通標識、電柱、街路灯等の所定の位置に固定的に配置された交通インフラ設備であってもよい。特に、3つのセンサの検出精度が決定される場合には、テストオブジェクトは、カメラ243aの検出領域S1と、LiDARユニット244aの検出領域S2と、ミリ波レーダ245aの検出領域S3とが互いに重複する重複領域Syに存在することが好ましい(例えば、図18に示すテストオブジェクトの一例である信号機T1を参照)。一方、テストオブジェクトが重複領域Sxに存在する場合には、検出精度決定部2460aは、カメラ243aとLiDARユニット244aの検出精度を決定する。
検出精度決定部2460aは、テストオブジェクトが車両201の周辺に存在すると判定した場合(ステップS204でYES)、テストオブジェクトに関連する情報を取得する(ステップS205)。例えば、検出精度決定部2460aは、車両201の現在位置情報と地図情報に基づいて、テストオブジェクトの属性情報、距離情報及び/又は位置情報等を取得してもよい。次に、周辺環境情報特定部2400aは、各センサの検出データを取得する(ステップS206)。具体的には、カメラ制御部2420aは、カメラ243aから画像データを取得する。LiDAR制御部2430aは、LiDARユニット244aから3Dマッピングデータ(点群データ)を取得する。ミリ波レーダ制御部2440aは、ミリ波レーダ245aから検出データを取得する。
次に、周辺環境情報特定部2400aは、複数センサから取得された検出データに基づいて複数の周辺環境情報を取得する(ステップS207)。具体的には、カメラ制御部2420aは、画像データに基づいて周辺環境情報I1を取得する。LiDAR制御部2430aは、3Dマッピングデータに基づいて周辺環境情報I2を取得する。ミリ波レーダ制御部2440aは、ミリ波レーダ245aの検出データに基づいて周辺環境情報I3を取得する。
次に、検出精度決定部2460aは、周辺環境情報特定部2400aから周辺環境情報I1,I2,I3を受信した上で、ステップS205で取得されたテストオブジェクト(例えば、図18に示す信号機T1)に関連する情報と、周辺環境情報I1〜I3の各々を比較することで、各センサの検出精度を決定する(ステップS208)。
例えば、検出精度決定部2460aは、周辺環境情報I1に含まれるテストオブジェクトに関連する情報がステップS205で取得されたテストオブジェクトに関連する情報に一致すると判定した場合、カメラ243aの検出精度は高いと決定する。この場合、カメラ243aの検出精度はAランクとして決定されてもよい。一方、検出精度決定部2460aは、周辺環境情報I2に含まれるテストオブジェクトに関連する情報がステップS205で取得されたテストオブジェクトに関連する情報に全く一致しないと判定した場合、LiDARユニット244aの検出精度は低いと決定する。この場合、LiDARユニット244aの検出精度はCランクとして決定されてもよい。このように、地図情報を利用することで比較的高い精度で複数のセンサの検出精度を決定することが可能となる。また、検出精度決定部2460aは、所定の更新周期で無線通信部210を介して各センサの検出精度に関する情報を通信ネットワーク上に存在するクラウドサーバに送信してもよい。クラウドサーバに保存された各センサの検出精度に関する情報は、ビックデータとして各センサの検出精度を向上させるために利用されてもよい。さらに、当該検出精度に関する情報は、各センサの異常判定に利用されてもよい。例えば、所定の期間に亘りカメラ243aの検出精度が低い場合には、クラウドサーバは、カメラ243aの異常を示す情報を車両201に送信してもよい。車両201は、当該情報を受信したときに、カメラ243aの異常を示す情報を視覚的、聴覚的及び/又は触覚的に乗員に提示してもよい。このように、カメラ243aの異常が乗員に提示されるので、車両201の走行安全性をさらに高めることができる。
次に、図20を参照して融合された周辺環境情報Ifを生成する処理の一例について説明する。本説明では、カメラ243aの検出精度と、LiDARユニット244aの検出精度と、ミリ波レーダ245aの検出精度との間の関係は、カメラ243a>LiDARユニット244a>ミリ波レーダ245aであるとする。
図20に示すように、ステップS20において、カメラ243aは、検出領域S1(図18参照)における車両201の周辺環境を示す画像データを取得する。また、ステップS21において、LiDARユニット244aは、検出領域S2における車両201の周辺環境を示す3Dマッピングデータを取得する。さらに、ステップS222において、ミリ波レーダ245aは、検出領域S3における車両201の周辺環境を示す検出データを取得する。
次に、カメラ制御部2420aは、カメラ243aから画像データを取得した上で、画像データに基づいて周辺環境情報I1を生成する(ステップS223)。また、LiDAR制御部2430aは、LiDARユニット244aから3Dマッピングデータを取得した上で、3Dマッピングデータに基づいて周辺環境情報I2を生成する(ステップS224)。さらに、ミリ波レーダ制御部2440aは、ミリ波レーダ245aから検出データを取得した上で、検出データに基づいて周辺環境情報I3を生成する(ステップS225)。
次に、ステップS226において、周辺環境情報融合部2450aは、各センサの検出精度に関する情報を検出精度決定部2460aから受け取ると共に、各重複領域Sx,Sy,Szにおいて複数の周辺環境情報を比較する。具体的には、周辺環境情報融合部2450aは、検出領域S1と検出領域S2とが互いに重複する重複領域Sxにおいて、周辺環境情報I1と周辺環境情報I2とを比較した上で、周辺環境情報I1と周辺環境情報I2が互いに一致するかどうかを判定する。例えば、周辺環境情報I1が重複領域Sxにおいて歩行者P4の位置を位置Z1として示す一方、周辺環境情報I2が重複領域Sxにおいて歩行者P4の位置を位置Z2として示す場合、周辺環境情報I1と周辺環境情報I2が互いに一致しないと判定される。周辺環境情報融合部2450aは、比較結果として、周辺環境情報I1と周辺環境情報I2が互いに一致しないと判定した場合、カメラ243aの検出精度とLiDARユニット244aの検出精度との間の関係(カメラ243a>LiDARユニット244a)に基づいて、重複領域Sxにおいて採用される周辺環境情報を周辺環境情報I1として決定する。
また、周辺環境情報融合部2450aは、検出領域S2と検出領域S3とが互いに重複する重複領域Szにおいて、周辺環境情報I2と周辺環境情報I3とを比較した上で、周辺環境情報I2と周辺環境情報I3が互いに一致するかどうかを判定する。周辺環境情報融合部2450aは、比較結果として、周辺環境情報I2と周辺環境情報I3が互いに一致しないと判定した場合、LiDARユニット244aの検出精度とミリ波レーダ245aの検出精度との間の関係(LiDARユニット244a>ミリ波レーダ245a)に基づいて、重複領域Szにおいて採用される周辺環境情報を周辺環境情報I2として決定する。
また、周辺環境情報融合部2450aは、検出領域S1と、検出領域S2と、検出領域S3とが互いに重複する重複領域Syにおいて、周辺環境情報I1と、周辺環境情報I2と、周辺環境情報I3とを比較した上で、周辺環境情報I1と、周辺環境情報I2と、周辺環境情報I3とが互いに一致するかどうかを判定する。周辺環境情報融合部2450aは、比較結果として、周辺環境情報I1と、周辺環境情報I2と、周辺環境情報I3が互いに一致しないと判定した場合、各センサの検出精度(カメラ243a>LiDARユニット244a>ミリ波レーダ245a)に基づいて、重複領域Syにおいて採用される周辺環境情報を周辺環境情報I1として決定する。
その後、周辺環境情報融合部2450aは、周辺環境情報I1,I2,I3をそれぞれ融合することで、融合された周辺環境情報Ifを生成する。周辺環境情報Ifは、検出領域S1,S2,S3を組合せた検出領域Sfにおける車両201の外部に存在する対象物に関する情報を含んでもよい。特に、周辺環境情報Ifは、以下の情報によって構成されてもよい。
・検出領域S1における周辺環境情報I1
・重複領域Sx,Syを除く検出領域S2における周辺環境情報I2
・重複領域Sy,Szを除く検出領域S3における周辺環境情報I3
このように、図20に示す周辺環境情報Ifを生成する処理が繰り返し実行される。
このように、本実施形態によれば、複数のセンサ(カメラ243a、LiDARユニット244a、ミリ波レーダ245a)の検出精度が決定された上で、複数のセンサの検出データと検出精度に基づいて、車両201の周辺環境が特定される(換言すれば、周辺環境情報Ifが生成される)。このように、複数のセンサの検出精度を考慮して車両201の周辺環境が特定されるので、車両201の周辺環境の認知精度を向上させることが可能な照明システム204a及び車両システム202を提供することができる。
また、本実施形態によれば、重複領域Sx,Sy,Szにおいて複数の周辺環境情報が比較される。比較結果として、複数の周辺環境情報が互いに一致しない場合に、複数のセンサの検出精度に基づいて、各重複領域Sx,Sy,Szにおいて採用される周辺環境情報が決定される。その後、融合された周辺環境情報Ifが生成される。このように、複数のセンサの検出精度を考慮して周辺環境情報Ifが生成されるので、車両201の周辺環境の認知精度を向上させることができる。
尚、上記で説明した周辺環境情報Ifを生成する処理では、各重複領域Sx,Sy,Szにおいて複数の周辺環境情報が比較されなくてもよい。この場合、周辺環境情報融合部2450aは、重複領域Sx,Sy,Szにおいて複数の周辺環境情報を比較せずに、複数のセンサの検出精度に関する情報と、周辺環境情報I1〜I3に基づいて、周辺環境情報Ifを生成してもよい。
次に、本実施形態の変形例に係る照明システム204aの動作フローの一例について図21を参照して説明する。図21(a)は、各重複領域Sx,Sy,Sz(図18参照)において採用される検出データを決定する処理の一例を説明するためのフローチャートである。図21(b)は、融合された周辺環境情報Ifを生成する処理の他の一例を説明するためのフローチャートである。
最初に、図21(a)を参照して各重複領域Sx,Sy,Szにおいて採用される検出データを決定する処理の一例について説明する。本説明では、カメラ243aの検出精度と、LiDARユニット244aの検出精度と、ミリ波レーダ245aの検出精度との間の関係は、カメラ243a>LiDARユニット244a>ミリ波レーダ245aであるとする。
図21(a)に示すように、ステップS230において、検出精度決定部2460aは、カメラ243a、LiDARユニット244a及びミリ波レーダ245aの検出精度を決定する。次に、ステップS231において、周辺環境情報融合部2450aは、各センサの検出精度に関する情報を検出精度決定部2460aから受信した後に、各センサの検出精度に関する情報に基づいて、各重複領域Sx,Sy,Szにおいて採用されるセンサの検出データを決定する。
例えば、周辺環境情報融合部2450aは、カメラ243aの検出精度とLiDARユニット244aの検出精度との間の関係(カメラ243a>LiDARユニット244a)に基づいて、重複領域Sxにおいて採用されるセンサの検出データをカメラ243aの画像データとして決定する。
また、周辺環境情報融合部2450aは、LiDARユニット244aの検出精度とミリ波レーダ245aの検出精度との間の関係(LiDARユニット244a>ミリ波レーダ245a)に基づいて、重複領域Szにおいて採用されるセンサの検出データをLiDARユニット244aの3Dマッピングデータとして決定する。
また、周辺環境情報融合部2450aは、各センサの検出精度(カメラ243a>LiDARユニット244a>ミリ波レーダ245a)に基づいて、重複領域Syにおいて採用されるセンサの検出データをカメラ243aの画像データとして決定する。
次に、図21(b)を参照して周辺環境情報Ifを生成する処理の他の一例について説明する。図21(b)に示すように、ステップS240において、カメラ243aは、検出領域S1における画像データを取得する。また、ステップS241において、LiDARユニット244aは、検出領域S2における3Dマッピングデータを取得する。さらに、ステップS242において、ミリ波レーダ245aは、検出領域S3における検出データを取得する。
次に、カメラ制御部2420aは、カメラ243aから画像データを取得すると共に、周辺環境情報融合部2450aから各重複領域Sx,Sy,Szにおいて採用されるセンサの検出データに関する情報(以下、「検出データ優先情報」という。)を取得する。検出データ優先情報は、画像データが重複領域Sx,Syにおいて採用されることを示しているため、カメラ制御部2420aは、検出領域S1における周辺環境情報I1を生成する(ステップS243)。
また、ステップS244において、LiDAR制御部2430aは、LiDARユニット244aから3Dマッピングデータを取得すると共に、周辺環境情報融合部2450aから検出データ優先情報を取得する。検出データ優先情報は、画像データが重複領域Sx,Syにおいて採用されると共に、3Dマッピングデータが重複領域Szにおいて採用されることを示しているため、LiDAR制御部2430aは、重複領域Sx,Syを除く検出領域S2における周辺環境情報I2を生成する。
さらに、ステップS245において、ミリ波レーダ制御部2440aは、ミリ波レーダ245aから検出データを取得すると共に、周辺環境情報融合部2450aから検出データ優先情報を取得する。検出データ優先情報は、画像データが重複領域Syにおいて採用されると共に、3Dマッピングデータが重複領域Szにおいて採用されることを示しているため、ミリ波レーダ制御部2440aは、重複領域Sy,Szを除く検出領域S3における周辺環境情報I3を生成する。
その後、ステップS246において、周辺環境情報融合部2450aは、周辺環境情報I1,I2,I3をそれぞれ融合することで、融合された周辺環境情報Ifを生成する。周辺環境情報Ifは、検出領域S1における周辺環境情報I1と、重複領域Sx,Syを除く検出領域S2における周辺環境情報I2と、重複領域Sy,Szを除く検出領域S3における周辺環境情報I3によって構成される。このように、図21(b)に示す周辺環境情報Ifを生成する処理が繰り返し実行される。
本実施形態の変形例によれば、複数の検出精度に基づいて検出データ優先情報が生成された上で、検出データ優先情報に基づいて周辺環境情報Ifが生成されるので、車両201の周辺環境の認知精度を向上させることが可能となる。さらに、LiDAR制御部2430aは、重複領域Sx,Syを除く検出領域S2における周辺環境情報I2を生成すると共に、ミリ波レーダ制御部2440aは、重複領域Sy,Szを除く検出領域S3における周辺環境情報I3を生成する。このように、重複領域における周辺環境情報の生成処理が省略されるため、制御部240aによる演算量を削減することが可能となる。特に、図21(b)に示す処理は繰り返し実行されるため、制御部240aによる演算量の削減効果は大きい。
(第3実施形態の第1変形例)
次に、第3実施形態の第1変形例に係る複数センサ(カメラ243a、LiDARユニット244a、ミリ波レーダ245a)の検出精度を決定する処理の一例について図22を参照して説明する。図22は、第2実施形態の第1変形例に係る各センサの検出精度を決定する処理の一例を説明するためのフローチャートである。
図22に示すように、ステップS250において、車両制御部203は、車両201が停止しているかどうかを判定する。ステップS250で判定結果がYESである場合、車両制御部203は、GPS209を用いて車両201の現在位置情報を取得する(ステップS251)。一方、ステップS250の判定結果がNOである場合、車両制御部203は、ステップS250の判定結果がYESになるまで待機する。尚、本実施形態では、車両201が停止した状態で、ステップS251〜S255の処理が実行されているが、車両が走行している状態で、これらの処理が実行されてもよい。
次に、車両制御部203は、無線通信部210を介して所定の位置に固定的に配置された交通インフラ設備からインフラ情報を受信する(ステップS252)。交通インフラ設備は、無線通信機能を有しており、例えば、信号機T1(図18参照)、交通標識、電柱、街路灯等である。さらに、インフラ情報は、送信元である交通インフラ設備に関連した情報であって、例えば、交通インフラ設備の属性情報及び/又は位置情報を含んでもよい。車両201は、交通インフラ設備からインフラ情報を無線により受信可能な範囲内に位置していることから、交通インフラ設備は、各センサの検出領域内に存在するものとする。車両201と交通インフラ設備との間の路車間通信は、例えば、5G、Wi−Fi、Bluetooth又はZigBee等によって実現されてもよい。その後、車両制御部203は、インフラ情報を検出精度決定部2460aに送信する。
次に、周辺環境情報特定部2400aは、各センサの検出データを取得する(ステップS253)。具体的には、カメラ制御部2420aは、カメラ243aから画像データを取得する。LiDAR制御部2430aは、LiDARユニット244aから3Dマッピングデータ(点群データ)を取得する。ミリ波レーダ制御部2440aは、ミリ波レーダ245aから検出データを取得する。
次に、周辺環境情報特定部2400aは、複数センサから取得された検出データに基づいて複数の周辺環境情報を取得する(ステップS254)。具体的には、カメラ制御部2420aは、画像データに基づいて周辺環境情報I1を取得する。LiDAR制御部2430aは、3Dマッピングデータに基づいて周辺環境情報I2を取得する。ミリ波レーダ制御部2440aは、ミリ波レーダ245aの検出データに基づいて周辺環境情報I3を取得する。
次に、検出精度決定部2460aは、周辺環境情報特定部2400aから周辺環境情報I1,I2,I3を受信した上で、ステップS252で取得されたインフラ情報と、周辺環境情報I1〜I3の各々を比較することで、各センサの検出精度を決定する(ステップS255)。
例えば、検出精度決定部2460aは、周辺環境情報I1に含まれる送信元の交通インフラ設備に関連する情報がステップS252で取得されたインフラ情報に一致すると判定した場合、カメラ243aの検出精度は高いと決定する。一方、検出精度決定部2460aは、周辺環境情報I2に含まれる送信元の交通インフラ設備に関連する情報がステップS252で取得されたインフラ情報に全く一致しないと判定した場合、LiDARユニット244aの検出精度は低いと決定する。このように、交通インフラ設備からインフラ情報を受信することで、比較的高い精度で複数のセンサの検出精度を決定することが可能となる。
(第3実施形態の第2変形例)
次に、第3実施形態の第2変形例に係る複数センサ(カメラ243a、LiDARユニット244a、ミリ波レーダ245a)の検出精度を決定する処理の一例について図23を参照して説明する。図23は、第2実施形態の第2変形例に係る各センサの検出精度を決定する処理の一例を説明するためのフローチャートである。
図23に示すように、ステップS260において、車両制御部203は、車両201が停止しているかどうかを判定する。ステップS260で判定結果がYESである場合、車両制御部203は、周辺環境情報特定部2400aにステップS261の処理を実行するように指示する。一方、ステップS260の判定結果がNOである場合、車両制御部203は、ステップS260の判定結果がYESになるまで待機する。尚、本実施形態では、車両201が停止した状態で、ステップS261〜S263の処理が実行されているが、車両が走行している状態で、これらの処理が実行されてもよい。
次に、ステップS261において、周辺環境情報特定部2400aは、各センサの検出データを取得する。具体的には、カメラ制御部2420aは、カメラ243aから画像データを取得する。LiDAR制御部2430aは、LiDARユニット244aから3Dマッピングデータ(点群データ)を取得する。ミリ波レーダ制御部2440aは、ミリ波レーダ245aから検出データを取得する。
次に、周辺環境情報特定部2400aは、複数センサから取得された検出データに基づいて複数の周辺環境情報を取得する(ステップS262)。具体的には、カメラ制御部2420aは、画像データに基づいて周辺環境情報I1を取得する。LiDAR制御部2430aは、3Dマッピングデータに基づいて周辺環境情報I2を取得する。ミリ波レーダ制御部2440aは、ミリ波レーダ245aの検出データに基づいて周辺環境情報I3を取得する。
次に、検出精度決定部2460aは、周辺環境情報特定部2400aから周辺環境情報I1,I2,I3を受信した上で、周辺環境情報I1〜I3を比較することで、各センサの検出精度を決定する(ステップS263)。例えば、図18に示すように、周辺環境情報I1,I2が重複領域Syに存在する信号機T1の位置を位置X1として示す一方、周辺環境情報I3が重複領域Syに存在する信号機T1の位置を位置X2として示す場合、検出精度決定部2460aは、多数決によって周辺環境情報I3が誤っていると判定してもよい。この場合、検出精度決定部2460aは、ミリ波レーダ245aの検出精度が低いと判定してもよい。このように、地図情報等の外部情報を利用せずに、比較的簡単な手法により複数のセンサの検出精度を決定することが可能となる。
(第3実施形態の第3変形例)
次に、第3実施形態の第3変形例に係る複数センサ(カメラ243a、LiDARユニット244a、ミリ波レーダ245a)の検出精度を決定する処理について図24を参照して説明する。図24は、カメラ243aの検出領域S1とLiDARユニット244aの検出領域S2が複数の部分領域に区分された状態を示す図である。図24に示すように、検出領域S1が水平方向において3つの部分領域(部分領域S11,S12,S13)に区分されている。また、検出領域S2が水平方向において3つの部分領域(部分領域S21,S22,S23)に区分されている。尚、本例では、検出領域S1,S2は、所定の角度範囲毎に複数の部分領域に区分されているが、所定の角度範囲及び所定の距離毎に複数の部分領域に区分されていてもよい。
検出精度決定部2460aは、部分領域S11〜S13の各々におけるカメラ243aの検出精度を決定すると共に、部分領域S21〜S23の各々におけるLiDARユニット244aの検出精度を決定する。また、検出精度決定部2460aは、部分領域S12の検出精度と、部分領域S22の検出精度と、ミリ波レーダ245aの検出精度を比較することで、重複領域Syにおいて採用される周辺環境情報を決定してもよい。例えば、部分領域S11の検出精度がBランク、部分領域S12の検出精度がAランク、部分領域S13の検出精度がBランクと仮定する。さらに、部分領域S21の検出精度がAランク、部分領域S22の検出精度がBランク、部分領域S23の検出精度がAランクと仮定する。さらに、ミリ波レーダ245aの検出精度がBランクと仮定する。この場合、部分領域S12の検出精度が最も高いので、検出精度決定部2460aは、重複領域Syにおいて採用される周辺環境情報を周辺環境情報I1として決定する。このように、部分領域に応じて各センサの検出精度を詳細に決定することができるため、車両201の周辺環境情報の認知精度をより向上させることが可能となる。また、検出精度決定部2460aは、所定の更新周期で無線通信部210を介して部分領域毎の各センサの検出精度に関する情報を通信ネットワーク上に存在するクラウドサーバに送信してもよい。
尚、本実施形態では、複数センサとして、カメラと、LiDARユニットと、ミリ波レーダを挙げているが、本実施形態はこれに限定されない。例えば、これらのセンサに加えて超音波センサが照明システムに搭載されてもよい。この場合、照明システムの制御部は、超音波センサの動作を制御すると共に、超音波センサによって取得された検出データに基づいて周辺環境情報を生成してもよい。また、カメラと、LiDARユニットと、ミリ波レーダと、超音波センサのうち少なくとも2つが照明システムに搭載されてもよい。
(第4実施形態)
以下、本開示の第4実施形態(以下、単に「本実施形態」という。)について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
また、本実施形態の説明では、説明の便宜上、「左右方向」、「前後方向」について適宜言及する。これらの方向は、図25に示す車両301について設定された相対的な方向である。ここで、「前後方向」は、「前方向」及び「後方向」を含む方向である。「左右方向」は、「左方向」及び「右方向」を含む方向である。
最初に、図25を参照して本実施形態に係る車両301について説明する。図25は、車両システム302を備える車両301の上面図を示す模式図である。図25に示すように、車両301は、自動運転モードで走行可能な車両(自動車)であって、車両システム302を備える。車両システム302は、車両制御部303と、左前照明システム304a(以下、単に「照明システム304a」という。)と、右前照明システム304b(以下、単に「照明システム304b」という。)と、左後照明システム304c(以下、単に「照明システム304c」という。)と、右後照明システム304d(以下、単に「照明システム304d」という。)を少なくとも備える。
照明システム304aは、車両301の左前側に設けられる。特に、照明システム304aは、車両301の左前側に設置されたハウジング324aと、ハウジング324aに取り付けられた透光カバー322aとを備える。照明システム304bは、車両301の右前側に設けられる。特に、照明システム304bは、車両301の右前側に設置されたハウジング324bと、ハウジング324bに取り付けられた透光カバー322bとを備える。照明システム304cは、車両301の左後側に設けられる。特に、照明システム304cは、車両301の左後側に設置されたハウジング324cと、ハウジング324cに取り付けられた透光カバー322cとを備える。照明システム304dは、車両301の右後側に設けられる。特に、照明システム304dは、車両301の右後側に設置されたハウジング324dと、ハウジング324dに取り付けられた透光カバー322dとを備える。
次に、図26を参照することで、図25に示す車両システム302を具体的に説明する。図26は、車両システム302を示すブロック図である。図26に示すように、車両システム302は、車両制御部303と、照明システム304a〜304dと、センサ305と、HMI(Human Machine Interface)308と、GPS(Global Positioning System)309と、無線通信部310と、記憶装置311とを備える。さらに、車両システム302は、ステアリングアクチュエータ312と、ステアリング装置313と、ブレーキアクチュエータ314と、ブレーキ装置315と、アクセルアクチュエータ316と、アクセル装置317とを備える。また、車両システム302は、電力を供給するように構成されたバッテリー(図示せず)を備える。
車両制御部303は、車両301の走行を制御するように構成されている。車両制御部303は、例えば、少なくとも一つの電子制御ユニット(ECU:Electronic Control Unit)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、トランジスタ等のアクティブ素子及びパッシブ素子を含むその他電子回路を含んでもよい。プロセッサは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)及び/又はTPU(Tensor Processing Unit)である。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROM(Read Only Memory)と、RAM(Random Access Memory)を含む。ROMには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能(AI)プログラムを含んでもよい。AIプログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ROMに記憶された車両制御プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。
また、電子制御ユニット(ECU)は、ASIC(Application Specific Integrated Circuit)やFPGA(Field−Programmable Gate Array)等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明システム304aは、制御部340aと、照明ユニット342aと、カメラ343aと、LiDAR(Light Detection and Ranging)ユニット344a(レーザーレーダの一例)と、ミリ波レーダ345aとを更に備える。制御部340aと、照明ユニット342aと、カメラ343aと、LiDARユニット344aと、ミリ波レーダ345aは、図25に示すように、ハウジング324aと透光カバー322aによって形成される空間Sa内(灯室内)に配置される。尚、制御部340aは、空間Sa以外の車両301の所定の場所に配置されてもよい。例えば、制御部340aは、車両制御部303と一体的に構成されてもよい。
制御部340aは、例えば、少なくとも一つの電子制御ユニット(ECU)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、その他電子回路(例えば、トランジスタ等)を含んでもよい。プロセッサは、例えば、CPU、MPU、GPU及び/又はTPUである。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROMと、RAMを含む。ROMには、車両301の周辺環境を特定するための周辺環境特定プログラムが記憶されてもよい。例えば、周辺環境特定プログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、周辺環境特定プログラム、カメラ343aに取得された画像データ、LiDARユニット344aによって取得された3次元マッピングデータ(点群データ)及び/又はミリ波レーダ345aによって取得された検出データ等が一時的に記憶されてもよい。プロセッサは、ROMに記憶された周辺環境特定プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。また、電子制御ユニット(ECU)は、ASICやFPGA等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明ユニット342aは、車両301の外部(前方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット342aは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED(Light Emitting Diode)、LD(Laser Diode)又は有機EL素子である。光学系は、光源から出射された光を照明ユニット342aの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両301の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット342aは、運転者用の配光パターン(例えば、ロービーム用配光パターンやハイビーム用配光パターン)を車両301の前方に形成するように構成されている。このように、照明ユニット342aは、左側ヘッドランプユニットとして機能する。一方、車両301の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット342aは、カメラ用の配光パターンを車両301の前方に形成するように構成されてもよい。
制御部340aは、照明ユニット342aに設けられた複数の発光素子の各々に電気信号(例えば、PWM(Pulse Width Modulation)信号)を個別に供給するように構成されてもよい。このように、制御部340aは、電気信号が供給される発光素子を個別に選択することができると共に、発光素子毎に電気信号のDuty比を調整することができる。つまり、制御部340aは、マトリックス状に配列された複数の発光素子のうち、点灯又は消灯すべき発光素子を選択することができると共に、点灯している発光素子の輝度を決定することができる。このため、制御部340aは、照明ユニット342aから前方に向けて出射される配光パターンの形状及び明るさを変更することができる。
カメラ343aは、車両301の周辺環境を検出するように構成されている。特に、カメラ343aは、車両301の周辺環境を示す画像データを取得した上で、当該画像データを制御部340aに送信するように構成されている。制御部340aは、送信された画像データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両301の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、車両301の外部に存在する対象物の属性に関する情報と、車両301に対する対象物の位置に関する情報とを含んでもよい。カメラ343aは、例えば、CCD(Charge−Coupled Device)やCMOS(相補型MOS:Metal Oxide Semiconductor)等の撮像素子によって構成される。カメラ343aは、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。カメラ343aがステレオカメラの場合、制御部340aは、視差を利用することで、ステレオカメラによって取得された2以上の画像データに基づいて、車両301と車両301の外部に存在する対象物(例えば、歩行者等)との間の距離を特定することができる。また、本実施形態では、1つのカメラ343aが照明システム304aに設けられているが、2以上のカメラ343aが照明システム304aに設けられてもよい。
LiDARユニット344a(レーザーレーダの一例)は、車両301の周辺環境を検出するように構成されている。特に、LiDARユニット344aは、車両301の周辺環境を示す3Dマッピングデータ(点群データ)を取得した上で、当該3Dマッピングデータを制御部340aに送信するように構成されている。制御部340aは、送信された3Dマッピングデータに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両301の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、例えば、車両301の外部に存在する対象物の属性に関する情報と、車両301に対する対象物の位置に関する情報とを含んでもよい。
より具体的には、LiDARユニット344aは、レーザ光の各出射角度(水平角度θ、垂直角度φ)におけるレーザ光(光パルス)の飛行時間(TOF:Time of Flight)ΔT1に関する情報を取得した上で、飛行時間ΔT1に関する情報に基づいて、各出射角度(水平角度θ、垂直角度φ)におけるLiDARユニット344a(車両301)と車両301の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT1は、例えば、以下のように算出することができる。
飛行時間ΔT1=レーザ光(光パルス)がLiDARユニットに戻ってきた時刻t1−LiDARユニットがレーザ光(光パルス)を出射した時刻t0
このように、LiDARユニット344aは、車両301の周辺環境を示す3Dマッピングデータを取得することができる。
また、LiDARユニット344aは、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光を水平方向及び垂直方向に走査させるように構成された光偏向器と、レンズ等の光学系と、物体によって反射されたレーザ光を受光するように構成された受光部とを備える。レーザ光源から出射されるレーザ光の中心波長は特に限定されない。例えば、レーザ光は、中心波長が900nm付近である非可視光であってもよい。光偏向器は、例えば、MEMS(Micro Electro Mechanical Systems)ミラーであってもよい。受光部は、例えば、フォトダイオードである。尚、LiDARユニット344aは、光偏向器によってレーザ光を走査せずに、3Dマッピングデータを取得してもよい。例えば、LiDARユニット344aは、フェイズドアレイ方式又はフラッシュ方式で3Dマッピングデータを取得してもよい。また、本実施形態では、1つのLiDARユニット344aが照明システム304aに設けられているが、2以上のLiDARユニット344aが照明システム304aに設けられてもよい。例えば、2つのLiDARユニット344aが照明システム304aに設けられている場合、一方のLiDARユニット344aが車両301の前方領域における周辺環境を検出するように構成されると共に、他方のLiDARユニット344aが車両301の側方領域における周辺環境を検出するように構成されてもよい。
ミリ波レーダ345aは、車両301の周辺環境を検出するように構成されている。特に、ミリ波レーダ345aは、車両301の周辺環境を示す検出データを取得した上で、当該検出データを制御部340aに送信するように構成されている。制御部340aは、送信された検出データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両301の外部に存在する対象物に関する情報を含んでもよい。周辺環境情報は、例えば、車両301の外部に存在する対象物の属性に関する情報と、車両301に対する対象物の位置に関する情報と、車両301に対する対象物の速度に関する情報を含んでもよい。
例えば、ミリ波レーダ345aは、パルス変調方式、FM−CW(Frequency Moduleted−Continuous Wave)方式又は2周波CW方式で、ミリ波レーダ345a(車両301)と車両301の外部に存在する物体との間の距離Dを取得することができる。パルス変調方式を用いる場合、ミリ波レーダ345aは、ミリ波の各出射角度におけるミリ波の飛行時間ΔT2に関する情報を取得した上で、飛行時間ΔT2に関する情報に基づいて、各出射角度におけるミリ波レーダ345a(車両301)と車両301の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT2は、例えば、以下のように算出することができる。
飛行時間ΔT2=ミリ波がミリ波レーダに戻ってきた時刻t3−ミリ波レーダがミリ波を出射した時刻t2
また、ミリ波レーダ345aは、ミリ波レーダ345aから出射されたミリ波の周波数f0とミリ波レーダ345aに戻ってきたミリ波の周波数f1に基づいて、ミリ波レーダ345a(車両301)に対する車両301の外部に存在する物体の相対速度Vに関する情報を取得することができる。
また、本実施形態では、1つのミリ波レーダ345aが照明システム304aに設けられているが、2以上のミリ波レーダ345aが照明システム304aに設けられてもよい。例えば、照明システム304aは、短距離用のミリ波レーダ345aと、中距離用のミリ波レーダ345aと、長距離用のミリ波レーダ345aを有してもよい。
照明システム304bは、制御部340bと、照明ユニット342bと、カメラ343bと、LiDARユニット344bと、ミリ波レーダ345bとを更に備える。制御部340bと、照明ユニット342bと、カメラ343bと、LiDARユニット344bと、ミリ波レーダ345bは、図25に示すように、ハウジング324bと透光カバー322bによって形成される空間Sb内(灯室内)に配置される。尚、制御部340bは、空間Sb以外の車両301の所定の場所に配置されてもよい。例えば、制御部340bは、車両制御部303と一体的に構成されてもよい。制御部340bは、制御部340aと同様な機能及び構成を有してもよい。照明ユニット342bは、照明ユニット342aと同様な機能及び構成を有してもよい。この点において、照明ユニット342aは、左側ヘッドランプユニットとして機能する一方、照明ユニット342bは、右側ヘッドランプユニットとして機能する。カメラ343bは、カメラ343aと同様な機能及び構成を有してもよい。LiDARユニット344bは、LiDARユニット344aと同様な機能及び構成を有してもよい。ミリ波レーダ345bは、ミリ波レーダ345aと同様な機能及び構成を有してもよい。
照明システム304cは、制御部340cと、照明ユニット342cと、カメラ343cと、LiDARユニット344cと、ミリ波レーダ345cとを更に備える。制御部340cと、照明ユニット342cと、カメラ343cと、LiDARユニット344cと、ミリ波レーダ345cは、図25に示すように、ハウジング324cと透光カバー322cによって形成される空間Sc内(灯室内)に配置される。尚、制御部340cは、空間Sc以外の車両301の所定の場所に配置されてもよい。例えば、制御部340cは、車両制御部303と一体的に構成されてもよい。制御部340cは、制御部340aと同様な機能及び構成を有してもよい。
照明ユニット342cは、車両301の外部(後方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット342cは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED、LD又は有機EL素子である。光学系は、光源から出射された光を照明ユニット342cの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両301の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット342cは消灯してもよい。一方、車両301の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット342cは、カメラ用の配光パターンを車両301の後方に形成するように構成されてもよい。
カメラ343cは、カメラ343aと同様な機能及び構成を有してもよい。LiDARユニット344cは、LiDARユニット344cと同様な機能及び構成を有してもよい。ミリ波レーダ345cは、ミリ波レーダ345aと同様な機能及び構成を有してもよい。
照明システム304dは、制御部340dと、照明ユニット342dと、カメラ343dと、LiDARユニット344dと、ミリ波レーダ345dとを更に備える。制御部340dと、照明ユニット342dと、カメラ343dと、LiDARユニット344dと、ミリ波レーダ345dは、図25に示すように、ハウジング324dと透光カバー322dによって形成される空間Sd内(灯室内)に配置される。尚、制御部340dは、空間Sd以外の車両301の所定の場所に配置されてもよい。例えば、制御部340dは、車両制御部303と一体的に構成されてもよい。制御部340dは、制御部340cと同様な機能及び構成を有してもよい。照明ユニット342dは、照明ユニット342cと同様な機能及び構成を有してもよい。カメラ343dは、カメラ343cと同様な機能及び構成を有してもよい。LiDARユニット344dは、LiDARユニット344cと同様な機能及び構成を有してもよい。ミリ波レーダ345dは、ミリ波レーダ345cと同様な機能及び構成を有してもよい。
センサ305は、加速度センサ、速度センサ及びジャイロセンサ等を有してもよい。センサ305は、車両301の走行状態を検出して、車両301の走行状態を示す走行状態情報を車両制御部303に出力するように構成されている。また、センサ305は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。さらに、センサ305は、車両301の周辺環境の明るさ(照度等)を検出するように構成された照度センサを備えてもよい。照度センサは、例えば、フォトダイオードから出力される光電流の大きさに応じて周辺環境の明るさを決定してもよい。
HMI(Human Machine Interface)308は、運転者からの入力操作を受付ける入力部と、走行状態情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両301の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、走行状態情報、周辺環境情報および照明システム4の照明状態を表示するように構成されたディスプレイ等を含む。
GPS(Global Positioning System)309は、車両301の現在位置情報を取得し、当該取得された現在位置情報を車両制御部303に出力するように構成されている。無線通信部310は、車両301の周囲にいる他車に関する情報(例えば、他車走行情報等)を他車から受信すると共に、車両301に関する情報(例えば、自車走行情報等)を他車に送信するように構成されている(車車間通信)。
また、無線通信部310は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両301の自車走行情報をインフラ設備に送信するように構成されている(路車間通信)。また、無線通信部310は、歩行者が携帯する携帯型電子機器(スマートフォン、タブレット、ウェアラブルデバイス等)から歩行者に関する情報を受信すると共に、車両301の自車走行情報を携帯型電子機器に送信するように構成されている(歩車間通信)。車両301は、他車両、インフラ設備又は携帯型電子機器とアドホックモードにより直接通信してもよいし、アクセスポイントを介して通信してもよい。無線通信規格は、例えば、第5世代移動通信システム(5G)、Wi−Fi(登録商標),Bluetooth(登録商標),ZigBee(登録商標)又はLPWAである。また、車両301は、他車両、インフラ設備又は携帯型電子機器と移動通信ネットワークを介して通信してもよい。
記憶装置311は、ハードディスクドライブ(HDD)やSSD(Solid State Drive)等の外部記憶装置である。記憶装置311には、2D又は3Dの地図情報及び/又は車両制御プログラムが記憶されてもよい。記憶装置311は、車両制御部303からの要求に応じて、地図情報や車両制御プログラムを車両制御部303に出力するように構成されている。地図情報や車両制御プログラムは、無線通信部310とインターネット等の通信ネットワークを介して更新されてもよい。
車両301が自動運転モードで走行する場合、車両制御部303は、走行状態情報、周辺環境情報、現在位置情報及び/又は地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ312は、ステアリング制御信号を車両制御部303から受信して、受信したステアリング制御信号に基づいてステアリング装置313を制御するように構成されている。ブレーキアクチュエータ314は、ブレーキ制御信号を車両制御部303から受信して、受信したブレーキ制御信号に基づいてブレーキ装置315を制御するように構成されている。アクセルアクチュエータ316は、アクセル制御信号を車両制御部303から受信して、受信したアクセル制御信号に基づいてアクセル装置317を制御するように構成されている。このように、自動運転モードでは、車両301の走行は車両システム302により自動制御される。
一方、車両301が手動運転モードで走行する場合、車両制御部303は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に応じて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両301の走行は運転者により制御される。
次に、車両301の運転モードについて説明する。運転モードは、自動運転モードと手動運転モードとからなる。自動運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードとからなる。完全自動運転モードでは、車両システム302がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両301を運転できる状態にはない。高度運転支援モードでは、車両システム302がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両301を運転できる状態にはあるものの車両301を運転しない。運転支援モードでは、車両システム302がステアリング制御、ブレーキ制御及びアクセル制御のうちの一部の走行制御を自動的に行うと共に、車両システム302の運転支援の下で運転者が車両301を運転する。一方、手動運転モードでは、車両システム302が走行制御を自動的に行わないと共に、車両システム302からの運転支援なしに運転者が車両301を運転する。
また、車両301の運転モードは、運転モード切替スイッチを操作することで切り替えられてもよい。この場合、車両制御部303は、運転モード切替スイッチに対する運転者の操作に応じて、車両301の運転モードを4つの運転モード(完全自動運転モード、高度運転支援モード、運転支援モード、手動運転モード)の間で切り替える。また、車両301の運転モードは、自動運転車の走行が可能である走行可能区間や自動運転車の走行が禁止されている走行禁止区間についての情報または外部天候状態についての情報に基づいて自動的に切り替えられてもよい。この場合、車両制御部303は、これらの情報に基づいて車両301の運転モードを切り替える。さらに、車両301の運転モードは、着座センサや顔向きセンサ等を用いることで自動的に切り替えられてもよい。この場合、車両制御部303は、着座センサや顔向きセンサからの出力信号に基づいて、車両301の運転モードを切り替えてもよい。
次に、図27を参照して、制御部340aの機能について説明する。図27は、照明システム304aの制御部340aの機能ブロックを示す図である。図27に示すように、制御部340aは、照明ユニット342aと、カメラ343aと、LiDARユニット344aと、ミリ波レーダ345aの動作をそれぞれ制御するように構成されている。特に、制御部340aは、照明制御部3410aと、周辺環境特定部3400aと、使用優先度決定部3460aとを備える。
照明制御部3410aは、照明ユニット342aが所定の配光パターンを車両301の前方領域に向けて出射するように照明ユニット342aを制御するように構成されている。例えば、照明制御部3410aは、車両301の運転モードに応じて照明ユニット342aから出射される配光パターンを変更してもよい。
周辺環境特定部3400aは、カメラ制御部3420aと、LiDAR制御部3430aと、ミリ波レーダ制御部3440aと、周辺環境情報融合部3450aとを備える。
カメラ制御部3420aは、カメラ343aの動作を制御すると共に、カメラ343aから出力された画像データ(検出データ)に基づいて、カメラ343aの検出領域S1(図29参照)における車両301の周辺環境情報(以下、周辺環境情報I1という。)を生成するように構成されている。LiDAR制御部3430aは、LiDARユニット344aの動作を制御すると共に、LiDARユニット344aから出力された3Dマッピングデータ(検出データ)に基づいて、LiDARユニット344aの検出領域S2(図29参照)における車両301の周辺環境情報(以下、周辺環境情報I2という。)を生成するように構成されている。ミリ波レーダ制御部3440aは、ミリ波レーダ345aの動作を制御すると共に、ミリ波レーダ345aから出力された検出データに基づいて、ミリ波レーダ345aの検出領域S3(図29参照)における車両301の周辺環境情報(以下、周辺環境情報I3という。)を生成するように構成されている。
周辺環境情報融合部3450aは、周辺環境情報I1,I2,I3をそれぞれ融合することで、融合された周辺環境情報Ifを生成するように構成される。ここで、周辺環境情報Ifは、図29に示すように、カメラ343aの検出領域S1と、LiDARユニット344aの検出領域S2と、ミリ波レーダ345aの検出領域S3を組合せた検出領域Sfにおける車両301の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報Ifは、対象物の属性、車両301に対する対象物の位置、車両301と対象物との間の距離及び/又は車両301に対する対象物の速度に関する情報を含んでもよい。周辺環境情報融合部3450aは、周辺環境情報Ifを車両制御部303に送信する。
使用優先度決定部3460aは、複数のセンサ(カメラ343aと、LiDARユニット344aと、ミリ波レーダ345a)間における使用優先度を決定するように構成されている。ここで、「使用優先度」とは、複数のセンサによって取得された検出データのうちどの検出データを優先して使用するかを決定するための指標である。例えば、カメラ343aの使用優先度がLiDARユニット344aの使用優先度よりも高い場合には、画像データ(カメラ343aの検出データ)は、3Dマッピングデータ(LiDARユニット344aの検出データ)よりも優先して使用される。この場合、周辺環境情報融合部3450aは、周辺環境情報Ifを生成する際に、検出領域S1と検出領域S2とが互いに重複する重複領域Sx(図29参照)において、3Dマッピングデータに基づいて生成される周辺環境情報I2よりも画像データに基づいて生成される周辺環境情報I1を採用する。特に、重複領域Sxにおいて、周辺環境情報I1と周辺環境情報I2との間に矛盾が生じている場合(周辺環境情報I1と周辺環境情報I2と互いに一致していない場合)、周辺環境情報融合部3450aは、周辺環境情報I1を信頼することで、周辺環境情報I1を採用する。
このように、周辺環境特定部3400aは、複数のセンサ(カメラ343a、LiDARユニット344a、ミリ波レーダ345a)の検出データと、複数のセンサ間の使用優先度に基づいて、車両301の周辺環境を特定するように構成されている。
尚、本実施形態では、周辺環境情報融合部3450aと使用優先度決定部3460aは、制御部340aによって実現されているが、これらは車両制御部303によって実現されてもよい。
また、制御部340b,340c,340dも制御部340aと同様の機能を有してもよい。つまり、制御部340b〜340dの各々は、照明制御部と、周辺環境特定部と、使用優先度決定部とを有してもよい。また、制御部340b〜340dの周辺環境特定部は、カメラ制御部と、LiDAR制御部と、ミリ波レーダ制御部と、周辺環境情報融合部とを有してもよい。制御部340b〜340cの各々の周辺環境情報融合部は、融合された周辺環境情報Ifを車両制御部303に送信してもよい。車両制御部303は、各制御部340a〜340dから送信された周辺環境情報Ifとその他の情報(走行制御情報、現在位置情報、地図情報等)に基づいて、車両301の走行を制御してもよい。
次に、本実施形態に係る照明システム304aの動作フローの一例について図28及び図29を参照して説明する。図28(a)は、使用優先度を決定する処理の一例を説明するためのフローチャートである。図28(b)は、融合された周辺環境情報Ifを生成する処理の一例を説明するためのフローチャートである。図29は、照明システム304aにおけるカメラ343aの検出領域S1と、LiDARユニット344aの検出領域S2と、ミリ波レーダ345aの検出領域S3を示す図である。
尚、本実施形態では、説明の便宜上、照明システム304aの動作フローについてのみ説明を行うが、照明システム304aの動作フローは、照明システム304b〜4dにも適用可能である点に留意されたい。また、本実施形態の説明では、車両301は自動運転モード(特に、高度運転支援モード又は完全自動運転モード)で走行中であることを前提とする。
最初に、図28(a)を参照して複数センサの使用優先度を決定する処理の一例について説明する。図28(a)に示すように、ステップS310において、使用優先度決定部3460aは、車両301の周辺環境の明るさを示す情報(以下、「明るさ情報」という。)を受信したかどうかを判定する。具体的には、車両301に搭載された照度センサは、車両301の周辺環境の明るさを示す検出データを車両制御部303に送信する。次に、車両制御部303は、受信した検出データに基づいて明るさ情報を生成した上で、生成された明るさ情報を使用優先度決定部3460aに送信する。ここで、「明るさ情報」は、「明るい」又は「暗い」の2つの情報を含んでもよい。この場合、車両制御部303は、検出データが示す周辺環境の明るさ(照度等)が所定の値(閾値照度等)よりも大きい場合に、周辺環境が明るいことを示す明るさ情報を生成してもよい。一方、車両制御部303は、検出データが示す周辺環境の明るさ(照度等)が所定の値以下である場合に、周辺環境が暗いことを示す明るさ情報を生成してもよい。尚、「明るさ情報」は、照度等の数値に関する情報を含んでもよい。この場合、使用優先度決定部3460aが車両の周辺環境が明るいか又は暗いかを判定してもよい。
車両制御部303は、車両システム302を起動したときに、明るさ情報を使用優先度決定部3460aに送信してもよい。さらに、車両制御部303は、車両301の周辺環境の明るさが変化したときに(例えば、周辺環境が明るい状態から暗い状態に変化したとき又は周辺環境が暗い状態から明るい状態に変化したとき)、明るさ情報を使用優先度決定部3460aに送信してもよい。例えば、車両301がトンネルに入ったとき又はトンネルを出たときに、車両制御部303は、明るさ情報を使用優先度決定部3460aに送信してもよい。また、車両制御部303は、所定の周期で明るさ情報を使用優先度決定部3460aに送信してもよい。
使用優先度決定部3460aは、明るさ情報を受信したと判定した場合に(ステップS310でYES)、ステップS311の処理を実行する。一方、ステップS310の判定結果がNOの場合、使用優先度決定部3460aは、明るさ情報を受信するまで待機する。
尚、照度センサが使用優先度決定部3460aに直接的に接続されている場合、使用優先度決定部3460aは、照度センサから取得された検出データに基づいて、周辺環境の明るさを特定してもよい。その後、使用優先度決定部3460aは、ステップS311の処理を実行してもよい。
次に、ステップS311において、使用優先度決定部3460aは、受信した明るさ情報に基づいて、カメラ343a、LiDARユニット344a及びミリ波レーダ345a間の使用優先度を決定する。例えば、使用優先度決定部3460aは、周辺環境の明るさに応じて、以下のように複数センサ間の使用優先度を決定してもよい。
表5に示すように、車両301の周辺環境が明るい場合、使用優先度決定部3460aは、カメラ343aの使用優先度を最も高い使用優先度に設定する一方、ミリ波レーダ345aの使用優先度を最も低い使用優先度に設定する。一方、車両301の周辺環境が暗い場合(トンネル中での走行や夜等)、使用優先度決定部3460aは、LiDARユニット344aの使用優先度を最も高い使用優先度に設定する一方、カメラ343aの使用優先度を最も低い使用優先度に設定する。表1に示す使用優先度に関する情報は、制御部340aのメモリ又は記憶装置311に記憶されてもよい。
本実施形態では、照度センサから取得された検出データに基づいて明るさ情報が生成されているが、カメラ343aによって取得された画像データに基づいて明るさ情報が生成されてもよい。この場合、使用優先度決定部3460aは、カメラ343aによって取得された画像データに基づいて明るさ情報を生成した上で、当該明るさ情報に基づいて複数センサ間の使用優先度を決定してもよい。
次に、図28(b)及び図29を参照して融合された周辺環境情報Ifを生成する処理の一例について説明する。本説明では、車両301の周辺環境は明るいと仮定する。このため、カメラ343aと、LiDARユニット344aと、ミリ波レーダ345aとの間の使用優先度は、カメラ343a>LiDARユニット344a>ミリ波レーダ345aとする。
図28(b)に示すように、ステップS320において、カメラ343aは、検出領域S1(図29参照)における車両301の周辺環境を示す画像データを取得する。また、ステップS321において、LiDARユニット344aは、検出領域S2における車両301の周辺環境を示す3Dマッピングデータを取得する。さらに、ステップS322において、ミリ波レーダ345aは、検出領域S3における車両301の周辺環境を示す検出データを取得する。
次に、カメラ制御部3420aは、カメラ343aから画像データを取得した上で、画像データに基づいて周辺環境情報I1を生成する(ステップS323)。また、LiDAR制御部3430aは、LiDARユニット344aから3Dマッピングデータを取得した上で、3Dマッピングデータに基づいて周辺環境情報I2を生成する(ステップS324)。さらに、ミリ波レーダ制御部3440aは、ミリ波レーダ345aから検出データを取得した上で、検出データに基づいて周辺環境情報I3を生成する(ステップS325)。
次に、ステップS326において、周辺環境情報融合部3450aは、使用優先度に関する情報を使用優先度決定部3460aから受け取ると共に、各重複領域Sx,Sy,Szにおいて複数の周辺環境情報を比較する。具体的には、周辺環境情報融合部3450aは、検出領域S1と検出領域S2とが互いに重複する重複領域Sxにおいて、周辺環境情報I1と周辺環境情報I2とを比較した上で、周辺環境情報I1と周辺環境情報I2が互いに一致するかどうかを判定する。例えば、周辺環境情報I1が重複領域Sxにおいて歩行者P6の存在を示す一方、周辺環境情報I2が重複領域Sxにおいて歩行者P6の存在を示さない場合、周辺環境情報I1と周辺環境情報I2が互いに一致しないと判定される。周辺環境情報融合部3450aは、比較結果として、周辺環境情報I1と周辺環境情報I2が互いに一致しないと判定した場合、カメラ343aとLiDARユニット344aとの間の使用優先度(カメラ343a>LiDARユニット344a)に基づいて、重複領域Sxにおいて採用される周辺環境情報を周辺環境情報I1として決定する。
また、周辺環境情報融合部3450aは、検出領域S2と検出領域S3とが互いに重複する重複領域Szにおいて、周辺環境情報I2と周辺環境情報I3とを比較した上で、周辺環境情報I2と周辺環境情報I3が互いに一致するかどうかを判定する。周辺環境情報融合部3450aは、比較結果として、周辺環境情報I2と周辺環境情報I3が互いに一致しないと判定した場合、LiDARユニット344aとミリ波レーダ345aとの間の使用優先度(LiDARユニット344a>ミリ波レーダ345a)に基づいて、重複領域Szにおいて採用される周辺環境情報を周辺環境情報I2として決定する。
また、周辺環境情報融合部3450aは、検出領域S1と、検出領域S2と、検出領域S3とが互いに重複する重複領域Syにおいて、周辺環境情報I1と、周辺環境情報I2と、周辺環境情報I3とを比較した上で、周辺環境情報I1と、周辺環境情報I2と、周辺環境情報I3とが互いに一致するかどうかを判定する。周辺環境情報融合部3450aは、比較結果として、周辺環境情報I1と、周辺環境情報I2と、周辺環境情報I3が互いに一致しないと判定した場合、使用優先度(カメラ343a>LiDARユニット344a>ミリ波レーダ345a)に基づいて、重複領域Syにおいて採用される周辺環境情報を周辺環境情報I1として決定する。
その後、ステップS327において、周辺環境情報融合部3450aは、周辺環境情報I1,I2,I3をそれぞれ融合することで、融合された周辺環境情報Ifを生成する。周辺環境情報Ifは、検出領域S1,S2,S3を組合せた検出領域Sfにおける車両301の外部に存在する対象物に関する情報を含んでもよい。特に、周辺環境情報Ifは、以下の情報によって構成されてもよい。
・検出領域S1における周辺環境情報I1
・重複領域Sx,Syを除く検出領域S2における周辺環境情報I2
・重複領域Sy,Szを除く検出領域S3における周辺環境情報I3
このように、図28(b)に示す周辺環境情報Ifを生成する処理が繰り返し実行される。
このように、本実施形態によれば、複数のセンサ(カメラ343a、LiDARユニット344a、ミリ波レーダ345a)間における使用優先度が決定された上で、複数のセンサの検出データと使用優先度に基づいて、車両301の周辺環境が特定される(換言すれば、周辺環境情報Ifが生成される)。このように、複数のセンサ間の使用優先度を考慮して車両301の周辺環境が特定されるので、車両301の周辺環境の認知精度を向上させることが可能な照明システム304a及び車両システム302を提供することができる。
また、本実施形態によれば、重複領域Sx,Sy,Szにおいて複数の周辺環境情報が比較される。比較結果として、複数の周辺環境情報が互いに一致しない場合に、複数のセンサ間における使用優先度に基づいて、各重複領域Sx,Sy,Szにおいて採用される周辺環境情報が決定される。その後、融合された周辺環境情報Ifが生成される。このように、複数のセンサ間の使用優先度を考慮して周辺環境情報Ifが生成されるので、車両301の周辺環境の認知精度を向上させることができる。
また、車両301の周辺環境の明るさを示す情報に基づいて複数のセンサ間における使用優先度が決定された上で、複数のセンサの検出データと使用優先度に基づいて車両301の周辺環境が特定される。このように、車両301の周辺環境の明るさに応じて使用優先度が最適化されるので、車両301の周辺環境の認知精度を向上させることができる。
尚、上記で説明した周辺環境情報Ifを生成する処理では、各重複領域Sx,Sy,Szにおいて複数の周辺環境情報が比較されなくてもよい(つまり、ステップS326の処理は省略されてもよい)。この場合、周辺環境情報融合部3450aは、重複領域Sx,Sy,Szにおいて複数の周辺環境情報が比較せずに、複数のセンサ間の使用優先度に関する情報と、周辺環境情報I1〜I3に基づいて、周辺環境情報Ifを生成してもよい。
次に、本実施形態の変形例に係る照明システム304aの動作フローの一例について図29及び図30を参照して説明する。図30(a)は、各重複領域Sx,Sy,Sz(図29参照)において採用される検出データを決定する処理の一例を説明するためのフローチャートである。図30(b)は、融合された周辺環境情報Ifを生成する処理の他の一例を説明するためのフローチャートである。
最初に、図30(a)を参照して各重複領域Sx,Sy,Szにおいて採用される検出データを決定する処理の一例について説明する。本説明では、車両301の周辺環境は明るいと仮定する。このため、カメラ343aと、LiDARユニット344aと、ミリ波レーダ345aとの間の使用優先度は、カメラ343a>LiDARユニット344a>ミリ波レーダ345aとする。
図30(a)に示すように、ステップS330において、使用優先度決定部3460aは、明るさ情報を受信したかどうかを判定する。使用優先度決定部3460aは、明るさ情報を受信したと判定した場合に(ステップS330でYES)、ステップS331の処理を実行する。一方、ステップS330の判定結果がNOの場合、使用優先度決定部3460aは、明るさ情報を受信するまで待機する。
次に、使用優先度決定部3460aは、受信した明るさ情報に基づいて、カメラ343aと、LiDARユニット344aと、ミリ波レーダ345aとの間の使用優先度を決定する(ステップS332)。その後、ステップS32において、周辺環境情報融合部3450aは、使用優先度に関する情報を使用優先度決定部3460aから受け取ると共に、使用優先度に基づいて各重複領域Sx,Sy,Szにおいて採用されるセンサの検出データを決定する。
例えば、周辺環境情報融合部3450aは、カメラ343aとLiDARユニット344aとの間の使用優先度(カメラ343a>LiDARユニット344a)に基づいて、重複領域Sxにおいて採用されるセンサの検出データをカメラ343aの画像データとして決定する。
また、周辺環境情報融合部3450aは、LiDARユニット344aとミリ波レーダ345aとの間の使用優先度(LiDARユニット344a>ミリ波レーダ345a)に基づいて、重複領域Szにおいて採用されるセンサの検出データをLiDARユニット344aの3Dマッピングデータとして決定する。
また、周辺環境情報融合部3450aは、使用優先度(カメラ343a>LiDARユニット344a>ミリ波レーダ345a)に基づいて、重複領域Syにおいて採用されるセンサの検出データをカメラ343aの画像データとして決定する。
次に、図29及び図30(b)を参照して周辺環境情報Ifを生成する処理の他の一例について説明する。図30(b)に示すように、ステップS340において、カメラ343aは、検出領域S1における画像データを取得する。また、ステップS341において、LiDARユニット344aは、検出領域S2における3Dマッピングデータを取得する。さらに、ステップS342において、ミリ波レーダ345aは、検出領域S3における検出データを取得する。
次に、カメラ制御部3420aは、カメラ343aから画像データを取得すると共に、周辺環境情報融合部3450aから各重複領域Sx,Sy,Szにおいて採用されるセンサの検出データに関する情報(以下、「検出データ優先情報」という。)を取得する。検出データ優先情報は、画像データが重複領域Sx,Syにおいて採用されることを示しているため、カメラ制御部3420aは、検出領域S1における周辺環境情報I1を生成する(ステップS343)。
また、ステップS344において、LiDAR制御部3430aは、LiDARユニット344aから3Dマッピングデータを取得すると共に、周辺環境情報融合部3450aから検出データ優先情報を取得する。検出データ優先情報は、画像データが重複領域Sx,Syにおいて採用されると共に、3Dマッピングデータが重複領域Szにおいて採用されることを示しているため、LiDAR制御部3430aは、重複領域Sx,Syを除く検出領域S2における周辺環境情報I2を生成する。
さらに、ステップS345において、ミリ波レーダ制御部3440aは、ミリ波レーダ345aから検出データを取得すると共に、周辺環境情報融合部3450aから検出データ優先情報を取得する。検出データ優先情報は、画像データが重複領域Syにおいて採用されると共に、3Dマッピングデータが重複領域Szにおいて採用されることを示しているため、ミリ波レーダ制御部3440aは、重複領域Sy,Szを除く検出領域S3における周辺環境情報I3を生成する。
その後、ステップS346において、周辺環境情報融合部3450aは、周辺環境情報I1,I2,I3をそれぞれ融合することで、融合された周辺環境情報Ifを生成する。周辺環境情報Ifは、検出領域S1における周辺環境情報I1と、重複領域Sx,Syを除く検出領域S2における周辺環境情報I2と、重複領域Sy,Szを除く検出領域S3における周辺環境情報I3によって構成される。このように、図30(b)に示す周辺環境情報Ifを生成する処理が繰り返し実行される。
本実施形態の変形例によれば、複数のセンサ間の使用優先度に基づいて検出データ優先情報が生成された上で、検出データ優先情報に基づいて周辺環境情報Ifが生成されるので、車両301の周辺環境の認知精度を向上させることが可能となる。さらに、LiDAR制御部3430aは、重複領域Sx,Syを除く検出領域S2における周辺環境情報I2を生成すると共に、ミリ波レーダ制御部3440aは、重複領域Sy,Szを除く検出領域S3における周辺環境情報I3を生成する。このように、重複領域における周辺環境情報の生成処理が省略されるため、制御部340aによる演算量を削減することが可能となる。特に、図30(b)に示す処理は繰り返し実行されるため、制御部340aによる演算量の削減効果は大きい。
尚、本実施形態では、明るさ情報に基づいて複数センサ(カメラ343a,LiDARユニット344a,ミリ波レーダ345a)間の使用優先度が決定されるが、本実施形態はこれに限定されるものではない。例えば、明るさ情報及び天候情報に基づいて複数センサ間の使用優先度が決定されてもよい。
例えば、車両制御部303は、GPS309を用いて車両301の現在位置情報を取得した後に、無線通信部310を介して車両301の現在位置情報を含む天候情報リクエストを通信ネットワーク上のサーバに送信する。その後、車両制御部303は、車両301の現在位置における天候情報をサーバから受信する。ここで、「天候情報」は、車両301の現在位置における天候(晴れ、曇り、雨、雪、霧等)に関する情報であってもよい。次に、車両制御部303は、明るさ情報と天候情報を制御部340aの使用優先度決定部3460aに送信する。使用優先度決定部3460aは、受信した明るさ情報と天候情報に基づいて、複数センサ間の使用優先度を決定する。
例えば、使用優先度決定部3460aは、周辺環境の明るさと車両301の現在位置の天候に応じて、以下のように複数センサ間の使用優先度を決定してもよい。
表6に示すように、車両301の現在位置における天候が不良(雨、雪、霧等)である場合、使用優先度決定部3460aは、ミリ波レーダ345aの使用優先度を最も高い使用優先度に設定する一方、カメラ343aの使用優先度を最も低い使用優先度に設定する。車両301の現在位置における天候が不良である場合には、周辺環境の明るさについては考慮されなくもよい。
また、車両301の現在位置における天候が良好(晴れ、曇り等)であると共に、車両301の周辺環境が明るい場合、使用優先度決定部3460aは、カメラ343aの使用優先度を最も高い使用優先度に設定する一方、ミリ波レーダ345aの使用優先度を最も低い使用優先度に設定する。さらに、車両301の現在位置における天候が良好であると共に、車両301の周辺環境が暗い場合には、使用優先度決定部3460aは、LiDARユニット344aの使用優先度を最も高い使用優先度に設定する一方、カメラ343aの使用優先度を最も低い使用優先度に設定する。表2に示す使用優先度に関する情報は、制御部340aのメモリ又は記憶装置311に記憶されてもよい。
このように、車両301の周辺環境の明るさと車両301の現在位置の天候に応じて複数センサ間の使用優先度が最適化されるので、車両301の周辺環境の認知精度を向上させることが可能となる。
尚、カメラ343aによって取得された画像データに基づいて車両301の現在位置における天候情報が生成されてもよい。この場合、使用優先度決定部3460aは、カメラ343aによって取得された画像データに基づいて天候情報を生成した上で、天候情報と明るさ情報に基づいて複数センサ間の使用優先度を決定してもよい。さらに、車両のウィンドウに取り付けられたワイパーの状態を示す情報に基づいて車両301の現在位置における天候情報が生成されてもよい。例えば、ワイパーが駆動している場合、車両301の現在位置における天候は雨(つまり、天候不良)と判定されてもよい。一方、ワイパーが駆動していない場合、車両301の現在位置における天候は晴れ又は曇り(つまり、天候良好)と判定されてもよい。さらに、使用優先度決定部3460aは、外部天候センサから天候情報を取得した上で、天候情報と明るさ情報に基づいて複数センサ間の使用優先度を決定してもよい。
さらに、複数センサの検出精度に関する情報(以下、「検出精度情報」という。)に基づいて複数センサ間の使用優先度が決定されてもよい。例えば、カメラ343aの検出精度がAランク、LiDARユニット344aの検出精度がBランク、ミリ波レーダ345aの検出精度がCランクである場合(ここで、ランクの序列は、Aランク>Bランク>Cランクとする。)、使用優先度決定部3460aは、検出精度情報に基づいて、カメラ343aと、LiDARユニット344aと、ミリ波レーダ345aとの間の使用優先度を以下のように決定する。
カメラ343a>LiDARユニット344a>ミリ波レーダ345a
このように、検出精度情報に基づいて、複数センサ間における使用優先度が決定された上で、複数の検出データと使用優先度に基づいて車両301の周辺環境が特定される。このように、複数センサの検出精度に応じて使用優先度が決定されるので、車両301の周辺環境の認知精度を向上させることができる。
検出精度情報は、制御部340aのメモリ又は記憶装置311に記憶されてよい。検出精度情報は、所定のタイミングで更新されてもよい。また、検出精度情報が更新される度に、更新された検出精度情報が無線通信部310を介して通信ネットワーク上のサーバに送信されてもよい。特に、検出精度情報が更新される度に、車両制御部303は、検出精度情報と、車両の位置情報と、天候情報と、検出精度情報が更新された時刻を示す時刻情報とを通信ネットワーク上のサーバに送信してもよい。サーバに保存されたこれらの情報は、ビックデータとして各センサの検出精度を向上させるために活用されてもよい。
また、複数センサの検出精度は、地図情報等のセンサ精度を測定するためのテスト情報に基づいて取得されてもよい。例えば、車両301が交差点付近に存在しつつ、交差点に信号機が存在する場合を想定する。このとき、車両制御部303は、現地位置情報と地図情報に基づいて、交差点に存在する信号機を認識しているものとする。ここで、周辺環境情報I1が信号機の存在を示していない場合、制御部340aは、カメラ343aの検出精度は低い(例えば、Cランク)と判定してもよい。一方、周辺環境情報I2,I3が信号機の存在を示す場合、制御部340aは、LiDARユニット344aとミリ波レーダ345aの検出精度は高い(例えば、Aランク)と判定してもよい。
尚、本実施形態では、複数センサとして、カメラと、LiDARユニットと、ミリ波レーダを挙げているが、本実施形態はこれに限定されない。例えば、これらのセンサに加えて超音波センサが照明システムに搭載されてもよい。この場合、照明システムの制御部は、超音波センサの動作を制御すると共に、超音波センサによって取得された検出データに基づいて周辺環境情報を生成してもよい。また、カメラと、LiDARユニットと、ミリ波レーダと、超音波センサのうち少なくとも2つが照明システムに搭載されてもよい。
(第5実施形態)
以下、本開示の第5実施形態(以下、単に「本実施形態」という。)について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
また、本実施形態の説明では、説明の便宜上、「左右方向」、「前後方向」について適宜言及する。これらの方向は、図31に示す車両501について設定された相対的な方向である。ここで、「前後方向」は、「前方向」及び「後方向」を含む方向である。「左右方向」は、「左方向」及び「右方向」を含む方向である。
最初に、図31を参照して本実施形態に係る車両501について説明する。図31は、車両システム502を備える車両501の上面図を示す模式図である。図31に示すように、車両501は、自動運転モードで走行可能な車両(自動車)であって、車両システム502を備える。車両システム502は、車両制御部503と、左前照明システム504a(以下、単に「照明システム504a」という。)と、右前照明システム504b(以下、単に「照明システム504b」という。)と、左後照明システム504c(以下、単に「照明システム504c」という。)と、右後照明システム504d(以下、単に「照明システム504d」という。)を少なくとも備える。
照明システム504aは、車両501の左前側に設けられる。特に、照明システム504aは、車両501の左前側に設置されたハウジング524aと、ハウジング524aに取り付けられた透光カバー522aとを備える。照明システム504bは、車両501の右前側に設けられる。特に、照明システム504bは、車両501の右前側に設置されたハウジング524bと、ハウジング524bに取り付けられた透光カバー522bとを備える。照明システム504cは、車両501の左後側に設けられる。特に、照明システム504cは、車両501の左後側に設置されたハウジング524cと、ハウジング524cに取り付けられた透光カバー522cとを備える。照明システム504dは、車両501の右後側に設けられる。特に、照明システム504dは、車両501の右後側に設置されたハウジング524dと、ハウジング524dに取り付けられた透光カバー522dとを備える。
次に、図32を参照することで、図31に示す車両システム502を具体的に説明する。図32は、車両システム502を示すブロック図である。図32に示すように、車両システム502は、車両制御部503と、照明システム504a〜504dと、センサ505と、HMI(Human Machine Interface)508と、GPS(Global Positioning System)509と、無線通信部510と、記憶装置511とを備える。さらに、車両システム502は、ステアリングアクチュエータ512と、ステアリング装置513と、ブレーキアクチュエータ514と、ブレーキ装置515と、アクセルアクチュエータ516と、アクセル装置517とを備える。また、車両システム502は、電力を供給するように構成されたバッテリー(図示せず)を備える。
車両制御部503は、車両501の走行を制御するように構成されている。車両制御部503は、例えば、少なくとも一つの電子制御ユニット(ECU:Electronic Control Unit)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、トランジスタ等のアクティブ素子及びパッシブ素子を含むその他電子回路を含んでもよい。プロセッサは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)及び/又はTPU(Tensor Processing Unit)である。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROM(Read Only Memory)と、RAM(Random Access Memory)を含む。ROMには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能(AI)プログラムを含んでもよい。AIプログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ROMに記憶された車両制御プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。
また、電子制御ユニット(ECU)は、ASIC(Application Specific Integrated Circuit)やFPGA(Field−Programmable Gate Array)等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明システム504aは、制御部540aと、照明ユニット542aと、カメラ543aと、LiDAR(Light Detection and Ranging)ユニット544a(レーザーレーダの一例)と、ミリ波レーダ545aとを更に備える。制御部540aと、照明ユニット542aと、カメラ543aと、LiDARユニット544aと、ミリ波レーダ545aは、図31に示すように、ハウジング524aと透光カバー522aによって形成される空間Sa内(灯室内)に配置される。尚、制御部540aは、空間Sa以外の車両501の所定の場所に配置されてもよい。例えば、制御部540aは、車両制御部503と一体的に構成されてもよい。
制御部540aは、例えば、少なくとも一つの電子制御ユニット(ECU)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、その他電子回路(例えば、トランジスタ等)を含んでもよい。プロセッサは、例えば、CPU、MPU、GPU及び/又はTPUである。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROMと、RAMを含む。ROMには、車両501の周辺環境を特定するための周辺環境特定プログラムが記憶されてもよい。例えば、周辺環境特定プログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、周辺環境特定プログラム、カメラ543aに取得された画像データ、LiDARユニット544aによって取得された3次元マッピングデータ(点群データ)及び/又はミリ波レーダ545aによって取得された検出データ等が一時的に記憶されてもよい。プロセッサは、ROMに記憶された周辺環境特定プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。また、電子制御ユニット(ECU)は、ASICやFPGA等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明ユニット542aは、車両501の外部(前方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット542aは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED(Light Emitting Diode)、LD(Laser Diode)又は有機EL素子である。光学系は、光源から出射された光を照明ユニット542aの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両501の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット542aは、運転者用の配光パターン(例えば、ロービーム用配光パターンやハイビーム用配光パターン)を車両501の前方に形成するように構成されている。このように、照明ユニット542aは、左側ヘッドランプユニットとして機能する。一方、車両501の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット542aは、カメラ用の配光パターンを車両501の前方に形成するように構成されてもよい。
制御部540aは、照明ユニット542aに設けられた複数の発光素子の各々に電気信号(例えば、PWM(Pulse Width Modulation)信号)を個別に供給するように構成されてもよい。このように、制御部540aは、電気信号が供給される発光素子を個別に選択することができると共に、発光素子毎に電気信号のDuty比を調整することができる。つまり、制御部540aは、マトリックス状に配列された複数の発光素子のうち、点灯又は消灯すべき発光素子を選択することができると共に、点灯している発光素子の輝度を決定することができる。このため、制御部540aは、照明ユニット542aから前方に向けて出射される配光パターンの形状及び明るさを変更することができる。
カメラ543aは、車両501の周辺環境を検出するように構成されている。特に、カメラ543aは、フレームレートa1(fps)で車両501の周辺環境を示す画像データを取得した上で、当該画像データを制御部540aに送信するように構成されている。制御部540aは、送信された画像データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両501の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、車両501の外部に存在する対象物の属性に関する情報と、車両501に対する対象物の位置に関する情報とを含んでもよい。カメラ543aは、例えば、CCD(Charge−Coupled Device)やCMOS(相補型MOS:Metal Oxide Semiconductor)等の撮像素子によって構成される。カメラ543aは、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。カメラ543aがステレオカメラの場合、制御部540aは、視差を利用することで、ステレオカメラによって取得された2以上の画像データに基づいて、車両501と車両501の外部に存在する対象物(例えば、歩行者等)との間の距離を特定することができる。また、本実施形態では、1つのカメラ543aが照明システム504aに設けられているが、2以上のカメラ543aが照明システム504aに設けられてもよい。
LiDARユニット544a(レーザーレーダの一例)は、車両501の周辺環境を検出するように構成されている。特に、LiDARユニット544aは、フレームレートa2(fps)で車両501の周辺環境を示す3Dマッピングデータ(点群データ)を取得した上で、当該3Dマッピングデータを制御部540aに送信するように構成されている。制御部540aは、送信された3Dマッピングデータに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両501の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、例えば、車両501の外部に存在する対象物の属性に関する情報と、車両501に対する対象物の位置に関する情報とを含んでもよい。3Dマッピングデータのフレームレートa2(第2フレームレート)は、画像データのフレームレートa1(第1フレームレート)と同一であってもよいし、異なってもよい。
より具体的には、LiDARユニット544aは、レーザ光の各出射角度(水平角度θ、垂直角度φ)におけるレーザ光(光パルス)の飛行時間(TOF:Time of Flight)ΔT1に関する情報を取得した上で、飛行時間ΔT1に関する情報に基づいて、各出射角度(水平角度θ、垂直角度φ)におけるLiDARユニット544a(車両501)と車両501の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT1は、例えば、以下のように算出することができる。
飛行時間ΔT1=レーザ光(光パルス)がLiDARユニットに戻ってきた時刻t1−LiDARユニットがレーザ光(光パルス)を出射した時刻t0
このように、LiDARユニット544aは、車両501の周辺環境を示す3Dマッピングデータを取得することができる。
また、LiDARユニット544aは、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光を水平方向及び垂直方向に走査させるように構成された光偏向器と、レンズ等の光学系と、物体によって反射されたレーザ光を受光するように構成された受光部とを備える。レーザ光源から出射されるレーザ光の中心波長は特に限定されない。例えば、レーザ光は、中心波長が900nm付近である非可視光であってもよい。光偏向器は、例えば、MEMS(Micro Electro Mechanical Systems)ミラーであってもよい。受光部は、例えば、フォトダイオードである。尚、LiDARユニット544aは、光偏向器によってレーザ光を走査せずに、3Dマッピングデータを取得してもよい。例えば、LiDARユニット544aは、フェイズドアレイ方式又はフラッシュ方式で3Dマッピングデータを取得してもよい。また、本実施形態では、1つのLiDARユニット544aが照明システム504aに設けられているが、2以上のLiDARユニット544aが照明システム504aに設けられてもよい。例えば、2つのLiDARユニット544aが照明システム504aに設けられている場合、一方のLiDARユニット544aが車両501の前方領域における周辺環境を検出するように構成されると共に、他方のLiDARユニット544aが車両501の側方領域における周辺環境を検出するように構成されてもよい。
ミリ波レーダ545aは、車両501の周辺環境を検出するように構成されている。特に、ミリ波レーダ545aは、車両501の周辺環境を示す検出データを取得した上で、当該検出データを制御部540aに送信するように構成されている。制御部540aは、送信された検出データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両501の外部に存在する対象物に関する情報を含んでもよい。周辺環境情報は、例えば、車両501の外部に存在する対象物の属性に関する情報と、車両501に対する対象物の位置に関する情報と、車両501に対する対象物の速度に関する情報を含んでもよい。
例えば、ミリ波レーダ545aは、パルス変調方式、FM−CW(Frequency Moduleted−Continuous Wave)方式又は2周波CW方式で、ミリ波レーダ545a(車両501)と車両501の外部に存在する物体との間の距離Dを取得することができる。パルス変調方式を用いる場合、ミリ波レーダ545aは、ミリ波の各出射角度におけるミリ波の飛行時間ΔT2に関する情報を取得した上で、飛行時間ΔT2に関する情報に基づいて、各出射角度におけるミリ波レーダ545a(車両501)と車両501の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT2は、例えば、以下のように算出することができる。
飛行時間ΔT2=ミリ波がミリ波レーダに戻ってきた時刻t3−ミリ波レーダがミリ波を出射した時刻t2
また、ミリ波レーダ545aは、ミリ波レーダ545aから出射されたミリ波の周波数f0とミリ波レーダ545aに戻ってきたミリ波の周波数f1に基づいて、ミリ波レーダ545a(車両501)に対する車両501の外部に存在する物体の相対速度Vに関する情報を取得することができる。
また、本実施形態では、1つのミリ波レーダ545aが照明システム504aに設けられているが、2以上のミリ波レーダ545aが照明システム504aに設けられてもよい。例えば、照明システム504aは、短距離用のミリ波レーダ545aと、中距離用のミリ波レーダ545aと、長距離用のミリ波レーダ545aを有してもよい。
照明システム504bは、制御部540bと、照明ユニット542bと、カメラ543bと、LiDARユニット544bと、ミリ波レーダ545bとを更に備える。制御部540bと、照明ユニット542bと、カメラ543bと、LiDARユニット544bと、ミリ波レーダ545bは、図31に示すように、ハウジング524bと透光カバー522bによって形成される空間Sb内(灯室内)に配置される。尚、制御部540bは、空間Sb以外の車両501の所定の場所に配置されてもよい。例えば、制御部540bは、車両制御部503と一体的に構成されてもよい。制御部540bは、制御部540aと同様な機能及び構成を有してもよい。照明ユニット542bは、照明ユニット542aと同様な機能及び構成を有してもよい。この点において、照明ユニット542aは、左側ヘッドランプユニットとして機能する一方、照明ユニット542bは、右側ヘッドランプユニットとして機能する。カメラ543bは、カメラ543aと同様な機能及び構成を有してもよい。LiDARユニット544bは、LiDARユニット544aと同様な機能及び構成を有してもよい。ミリ波レーダ545bは、ミリ波レーダ545aと同様な機能及び構成を有してもよい。
照明システム504cは、制御部540cと、照明ユニット542cと、カメラ543cと、LiDARユニット544cと、ミリ波レーダ545cとを更に備える。制御部540cと、照明ユニット542cと、カメラ543cと、LiDARユニット544cと、ミリ波レーダ545cは、図31に示すように、ハウジング524cと透光カバー522cによって形成される空間Sc内(灯室内)に配置される。尚、制御部540cは、空間Sc以外の車両501の所定の場所に配置されてもよい。例えば、制御部540cは、車両制御部503と一体的に構成されてもよい。制御部540cは、制御部540aと同様な機能及び構成を有してもよい。
照明ユニット542cは、車両501の外部(後方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット542cは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED、LD又は有機EL素子である。光学系は、光源から出射された光を照明ユニット542cの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両501の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット542cは消灯してもよい。一方、車両501の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット542cは、カメラ用の配光パターンを車両501の後方に形成するように構成されてもよい。
カメラ543cは、カメラ543aと同様な機能及び構成を有してもよい。LiDARユニット544cは、LiDARユニット544cと同様な機能及び構成を有してもよい。ミリ波レーダ545cは、ミリ波レーダ545aと同様な機能及び構成を有してもよい。
照明システム504dは、制御部540dと、照明ユニット542dと、カメラ543dと、LiDARユニット544dと、ミリ波レーダ545dとを更に備える。制御部540dと、照明ユニット542dと、カメラ543dと、LiDARユニット544dと、ミリ波レーダ545dは、図31に示すように、ハウジング524dと透光カバー522dによって形成される空間Sd内(灯室内)に配置される。尚、制御部540dは、空間Sd以外の車両501の所定の場所に配置されてもよい。例えば、制御部540dは、車両制御部503と一体的に構成されてもよい。制御部540dは、制御部540cと同様な機能及び構成を有してもよい。照明ユニット542dは、照明ユニット542cと同様な機能及び構成を有してもよい。カメラ543dは、カメラ543cと同様な機能及び構成を有してもよい。LiDARユニット544dは、LiDARユニット544cと同様な機能及び構成を有してもよい。ミリ波レーダ545dは、ミリ波レーダ545cと同様な機能及び構成を有してもよい。
センサ505は、加速度センサ、速度センサ及びジャイロセンサ等を有してもよい。センサ505は、車両501の走行状態を検出して、車両501の走行状態を示す走行状態情報を車両制御部503に出力するように構成されている。また、センサ505は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。さらに、センサ505は、車両501の周辺環境の明るさ(照度等)を検出するように構成された照度センサを備えてもよい。照度センサは、例えば、フォトダイオードから出力される光電流の大きさに応じて周辺環境の明るさを決定してもよい。
HMI(Human Machine Interface)508は、運転者からの入力操作を受付ける入力部と、走行状態情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両501の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、走行状態情報、周辺環境情報および照明システム4の照明状態を表示するように構成されたディスプレイ等を含む。
GPS(Global Positioning System)509は、車両501の現在位置情報を取得し、当該取得された現在位置情報を車両制御部503に出力するように構成されている。無線通信部510は、車両501の周囲にいる他車に関する情報(例えば、他車走行情報等)を他車から受信すると共に、車両501に関する情報(例えば、自車走行情報等)を他車に送信するように構成されている(車車間通信)。
また、無線通信部510は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両501の自車走行情報をインフラ設備に送信するように構成されている(路車間通信)。また、無線通信部510は、歩行者が携帯する携帯型電子機器(スマートフォン、タブレット、ウェアラブルデバイス等)から歩行者に関する情報を受信すると共に、車両501の自車走行情報を携帯型電子機器に送信するように構成されている(歩車間通信)。車両501は、他車両、インフラ設備又は携帯型電子機器とアドホックモードにより直接通信してもよいし、アクセスポイントを介して通信してもよい。無線通信規格は、例えば、第5世代移動通信システム(5G)、Wi−Fi(登録商標),Bluetooth(登録商標),ZigBee(登録商標)又はLPWAである。また、車両501は、他車両、インフラ設備又は携帯型電子機器と移動通信ネットワークを介して通信してもよい。
記憶装置511は、ハードディスクドライブ(HDD)やSSD(Solid State Drive)等の外部記憶装置である。記憶装置511には、2D又は3Dの地図情報及び/又は車両制御プログラムが記憶されてもよい。記憶装置511は、車両制御部503からの要求に応じて、地図情報や車両制御プログラムを車両制御部503に出力するように構成されている。地図情報や車両制御プログラムは、無線通信部510とインターネット等の通信ネットワークを介して更新されてもよい。
車両501が自動運転モードで走行する場合、車両制御部503は、走行状態情報、周辺環境情報、現在位置情報及び/又は地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ512は、ステアリング制御信号を車両制御部503から受信して、受信したステアリング制御信号に基づいてステアリング装置513を制御するように構成されている。ブレーキアクチュエータ514は、ブレーキ制御信号を車両制御部503から受信して、受信したブレーキ制御信号に基づいてブレーキ装置515を制御するように構成されている。アクセルアクチュエータ516は、アクセル制御信号を車両制御部503から受信して、受信したアクセル制御信号に基づいてアクセル装置517を制御するように構成されている。このように、自動運転モードでは、車両501の走行は車両システム502により自動制御される。
一方、車両501が手動運転モードで走行する場合、車両制御部503は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に応じて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両501の走行は運転者により制御される。
次に、車両501の運転モードについて説明する。運転モードは、自動運転モードと手動運転モードとからなる。自動運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードとからなる。完全自動運転モードでは、車両システム502がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両501を運転できる状態にはない。高度運転支援モードでは、車両システム502がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両501を運転できる状態にはあるものの車両501を運転しない。運転支援モードでは、車両システム502がステアリング制御、ブレーキ制御及びアクセル制御のうちの一部の走行制御を自動的に行うと共に、車両システム502の運転支援の下で運転者が車両501を運転する。一方、手動運転モードでは、車両システム502が走行制御を自動的に行わないと共に、車両システム502からの運転支援なしに運転者が車両501を運転する。
また、車両501の運転モードは、運転モード切替スイッチを操作することで切り替えられてもよい。この場合、車両制御部503は、運転モード切替スイッチに対する運転者の操作に応じて、車両501の運転モードを4つの運転モード(完全自動運転モード、高度運転支援モード、運転支援モード、手動運転モード)の間で切り替える。また、車両501の運転モードは、自動運転車の走行が可能である走行可能区間や自動運転車の走行が禁止されている走行禁止区間についての情報または外部天候状態についての情報に基づいて自動的に切り替えられてもよい。この場合、車両制御部503は、これらの情報に基づいて車両501の運転モードを切り替える。さらに、車両501の運転モードは、着座センサや顔向きセンサ等を用いることで自動的に切り替えられてもよい。この場合、車両制御部503は、着座センサや顔向きセンサからの出力信号に基づいて、車両501の運転モードを切り替えてもよい。
次に、図33を参照して、制御部540aの機能について説明する。図33は、照明システム504aの制御部540aの機能ブロックを示す図である。図33に示すように、制御部540aは、照明ユニット542aと、カメラ543aと、LiDARユニット544aと、ミリ波レーダ545aの動作をそれぞれ制御するように構成されている。特に、制御部540aは、照明制御部5410aと、カメラ制御部5420a(第1生成部の一例)と、LiDAR制御部5430a(第2生成部の一例)と、ミリ波レーダ制御部5440aと、周辺環境情報送信部5450aとを備える。
照明制御部5410aは、照明ユニット542aが所定の配光パターンを車両501の前方領域に向けて出射するように照明ユニット542aを制御するように構成されている。例えば、照明制御部5410aは、車両501の運転モードに応じて照明ユニット542aから出射される配光パターンを変更してもよい。さらに、照明制御部5410aは、レートa3(Hz)で照明ユニット542aを点灯制御するように構成されている。後述するように、照明ユニット542aのレートa3(第3レート)は、カメラ543aによって取得された画像データのフレームレートa1と同一であってもよいし、異なってもよい。
カメラ制御部5420aは、カメラ543aの動作を制御するように構成されている。特に、カメラ制御部5420aは、フレームレートa1(第1フレームレート)で画像データ(第1検出データ)を取得するようにカメラ543aを制御するように構成されている。さらに、カメラ制御部5420aは、画像データの各フレームの取得タイミング(特に、取得開始時刻)を制御するように構成されている。また、カメラ制御部5420aは、カメラ543aから出力された画像データに基づいて、カメラ543aの検出領域S1(図34参照)における車両501の周辺環境情報(以下、周辺環境情報Icという。)を生成するように構成されている。より具体的には、図35に示すように、カメラ制御部5420aは、画像データのフレームFc1に基づいて、車両501の周辺環境情報Ic1を生成し、画像データのフレームFc2に基づいて、周辺環境情報Ic2を生成し、画像データのフレームFc3に基づいて、周辺環境情報Ic3を生成する。このように、カメラ制御部5420aは、画像データの1フレームごとに周辺環境情報を生成する。
LiDAR制御部5430aは、LiDARユニット544aの動作を制御するように構成されている。特に、LiDAR制御部5430aは、フレームレートa2(第2フレームレート)で3Dマッピングデータ(第2検出データ)を取得するようにLiDARユニット544aを制御するように構成されている。さらに、LiDAR制御部5430aは、3Dマッピングデータの各フレームの取得タイミング(特に、取得開始時刻)を制御するように構成されている。また、LiDAR制御部5430aは、LiDARユニット544aから出力された3Dマッピングデータに基づいて、LiDARユニット544aの検出領域S2(図34参照)における車両501の周辺環境情報(以下、周辺環境情報Il)を生成するように構成されている。より具体的には、図35に示すように、LiDAR制御部5430aは、3DマッピングデータのフレームFl1に基づいて、周辺環境情報Il1を生成し、3DマッピングデータのフレームFl2に基づいて、周辺環境情報Il2を生成し、3DマッピングデータのフレームFl3に基づいて、周辺環境情報Il3を生成する。このように、LiDAR制御部5430aは、3Dマッピングデータの1フレームごとに周辺環境情報を生成する。
ミリ波レーダ制御部5440aは、ミリ波レーダ545aの動作を制御すると共に、ミリ波レーダ545aから出力された検出データに基づいて、ミリ波レーダ545aの検出領域S3(図34参照)における車両501の周辺環境情報Imを生成するように構成されている。
周辺環境情報送信部5450aは、周辺環境情報Ic,Il,Imを取得すると共に、取得した周辺環境情報Ic,Il,Imを車両制御部503に送信するように構成されている。例えば、図35に示すように、画像データのフレームFc1の取得開始時刻tc1は、3DマッピングデータのフレームFl1の取得開始時刻tl1よりも前であるため、周辺環境情報送信部5450aは、カメラ制御部5420aから、画像データのフレームFc1に対応する周辺環境情報Ic1を取得した後に、周辺環境情報Ic1を車両制御部503に送信する。その後、周辺環境情報送信部5450aは、LiDAR制御部5430aから、3DマッピングデータのフレームFl1に対応する周辺環境情報Il1を取得した後に、周辺環境情報Il1を車両制御部503に送信する。
また、制御部540b,540c,540dも制御部540aと同様の機能を有してもよい。つまり、制御部540b〜540dの各々は、照明制御部と、カメラ制御部(第1生成部の一例)と、LiDAR制御部(第2生成部の一例)と、ミリ波レーダ制御部と、周辺環境情報送信部とを備えてもよい。制御部540b〜540cの各々の周辺環境情報送信部は、周辺環境情報Ic,Il,Imを車両制御部503に送信してもよい。車両制御部503は、各制御部540a〜540dから送信された周辺環境情報とその他の情報(走行制御情報、現在位置情報、地図情報等)に基づいて、車両501の走行を制御してもよい。
次に、図35を参照することで、画像データの各フレームの取得タイミングと、3Dマッピングデータの各フレームの取得タイミングとの関係について詳細に説明する。尚、以降では、説明の便宜上、ミリ波レーダ545aの検出データの取得タイミングについては特に言及しない。つまり、本実施形態では、画像データの取得タイミングと3Dマッピングデータの取得タイミングとの間の関係性について特に着目される。
図35の上段は、所定の期間におけるカメラ543aにより取得される画像データのフレーム(例えば、フレームFc1,Fc2,Fc3)の取得タイミングを示している。ここで、フレームFc2(第1検出データの第2フレームの一例)は、フレームFc1(第1検出データの第1フレームの一例)の次にカメラ543aによって取得される画像データのフレームである。フレームFc3は、フレームFc2の次にカメラ543aによって取得される画像データのフレームである。
また、画像データの1フレームの取得期間ΔTcは、画像データの1フレームを形成するために必要な露光時間(換言すれば、画像データの1フレームを形成する光を取り込む時間)に相当する。尚、CCDやCMOS等のイメージセンサーから出力された電気信号を処理する時間は、取得期間ΔTcには含まれていない。
フレームFc1の取得開始時刻tc1とフレームFc2の取得開始時刻tc3との間の期間は、画像データのフレーム周期T1に相当する。フレーム周期T1は、フレームレートa1の逆数(T1=1/a1)に相当する。
図35の中段は、所定の期間におけるLiDARユニット544aにより取得される3Dマッピングデータのフレーム(例えば、フレームFl1,Fl2,Fl3)の取得タイミングを示している。ここで、フレームFl2(第2検出データの第2フレームの一例)は、フレームFl1(第2検出データの第1フレームの一例)の次にLiDARユニット544aによって取得される3Dマッピングデータのフレームである。フレームFl3は、フレームFl2の次にLiDARユニット544aによって取得される3Dマッピングデータのフレームである。3Dマッピングデータの1フレームの取得期間ΔTlでは、LiDARユニット544aの受光部から出力された電気信号を処理する時間は含まれていない。
フレームFl1の取得開始時刻tl1とフレームFl2の取得開始時刻tl3との間の期間は、3Dマッピングデータのフレーム周期T2に相当する。フレーム周期T2は、フレームレートa2の逆数(T2=1/a2)に相当する。
図35に示すように、本実施形態では、画像データの各フレームの取得開始時刻と、3Dマッピングデータの各フレームの取得開始時刻が互いに異なっている。具体的には、3DマッピングデータのフレームFl1の取得開始時刻tl1は、画像データのフレームFc1の取得開始時刻tc1とは異なっている。さらに、3DマッピングデータのフレームFl2の取得開始時刻tl3は、画像データのフレームFc2の取得開始時刻tc3とは異なっている。この点において、好ましくは、3DマッピングデータのフレームFl1は、画像データのフレームFc1の取得終了時刻tc2と画像データのフレームFc2の取得開始時刻tc3との間の期間(第1期間)において取得される。同様に、3DマッピングデータのフレームFl2は、フレームFc2の取得終了時刻tc4とフレームFc3の取得開始時刻tc5との間の期間において取得される。ここで、フレームFl1の少なくとも一部が、時刻tc2と時刻tc3の間で取得されればよい。同様に、フレームFl2の少なくとも一部が、時刻tc4と時刻tc5の間で取得されればよい。
さらに、より好ましくは、3DマッピングデータのフレームFl1の取得開始時刻tl1と画像データのフレームFc1の取得開始時刻tc1との間の間隔は、フレームFc1の取得期間ΔTcの半分よりも大きく、且つ画像データのフレーム周期T1(取得周期)よりも小さい。同様に、3DマッピングデータのフレームFl2の取得開始時刻tl3と画像データのフレームFc2の取得開始時刻tc3との間の間隔は、フレームFc2の取得期間ΔTcの半分よりも大きく、且つ画像データのフレーム周期T1よりも小さい。
尚、図35に示す例では、時刻tl1と時刻tc1との間の間隔は、フレームFc1の取得期間ΔTcよりも大きく、且つ画像データのフレーム周期T1よりも小さい。同様に、時刻tl3と時刻tc3との間の間隔は、フレームFc2の取得期間ΔTcよりも大きく、且つ画像データのフレーム周期T1よりも小さい。
このように、本実施形態によれば、画像データの各フレームの取得開始時刻と3Dマッピングデータの各フレームの取得開始時刻が互いに異なる。すなわち、画像データを取得できない時間帯(例えば、時刻tc2と時刻tc3との間の時間帯)において3Dマッピングデータ(例えば、フレームFl1)を取得することができる。一方、3Dマッピングデータを取得できない時間帯(例えば、時刻tl2と時刻tl3との間の時間帯)において画像データ(例えば、フレームFc2)を取得することができる。このため、画像データの各フレームに基づいて生成される周辺環境情報Icの時間帯は、3Dマッピングデータの各フレームに基づいて生成される周辺環境情報Ilとは異なる。例えば、フレームFc1に対応する周辺環境情報Ic1の時間帯は、フレームFl1に対応する周辺環境情報Il1の時間帯とは異なる。同様に、フレームFc2に対応する周辺環境情報Ic2の時間帯は、フレームFl2に対応する周辺環境情報Il2の時間帯とは異なる。このように、例えば、カメラ543aのフレームレートa1とLiDARユニット544aのフレームレートa2が低い場合であっても、周辺環境情報Icと周辺環境情報Ilの両方を用いることで、異なる時間帯における車両501の周辺環境を特定する回数を増加させることができる。換言すれば、車両制御部503は、周辺環境情報送信部5450aから周辺環境情報を時間的に高密度に取得することができる。従って、車両501の周辺環境の認知精度を向上させることが可能な車両システム502を提供することができる。
次に、画像データの各フレームの取得タイミングと、3Dマッピングデータの各フレームの取得タイミングと、照明ユニット542aの点灯タイミングとの関係について詳細に説明する。図35の下段は、所定の期間における照明ユニット542aの点灯タイミング(点灯期間ΔTonと消灯期間ΔToff)を示している。照明ユニット542aの点灯期間ΔTonの点灯開始時刻ts1と次の点灯期間ΔTonの点灯開始時刻ts3との間の期間は、点灯周期T3に相当する。点灯周期T3は、レートa3の逆数(T3=1/a3)に相当する。
図35に示すように、照明ユニット542aの点灯周期T3は、画像データのフレーム周期T1と一致している。換言すれば、照明ユニット542aのレートa3は、画像データのフレームレートa1と一致している。さらに、照明ユニット542aは、画像データの各フレーム(例えば、フレームFc1,Fc2,Fc3)の取得期間ΔTcにおいて点灯する。一方、照明ユニット542aは、3Dマッピングデータの各フレーム(例えば、フレームFl1,Fl2,Fl3)の取得期間ΔTlにおいて消灯する。
このように、本実施形態によれば、照明ユニット542aが点灯している間に、車両501の周辺環境を示す画像データがカメラ543aによって取得されるので、車両501の周辺環境が暗い(例えば、夜間)場合において、画像データにブラックアウトが生じることを好適に防止することが可能となる。一方、照明ユニット542aが消灯している間に、車両501の周辺環境を示す3DマッピングデータがLiDARユニット544aによって取得されるので、照明ユニット542aから出射され、透光カバー522aによって反射された光の一部がLiDARユニット544aの受光部に入射することで、3Dマッピングデータに悪影響を及ぼすことを好適に防止することが可能となる。
尚、図35に示す例では、画像データの各フレームの取得期間ΔTcが照明ユニット542aの点灯期間ΔTonに完全に重複しているが、本実施形態はこれには限定されない。画像データの各フレームの取得期間ΔTcの一部が、照明ユニット542aの点灯期間ΔTonに重複していればよい。また、3Dマッピングデータの各フレームの取得期間ΔTlの一部が、照明ユニット542aの消灯期間ΔToffに重複していればよい。
また、本実施形態では、カメラ543aを駆動させる前に、カメラ制御部5420aは、画像データの取得タイミング(例えば、最初のフレームの取得開始時刻等を含む。)を決定した上で、当該画像データの取得タイミングに関する情報をLiDAR制御部5430aと照明制御部5410aに送信してもよい。この場合、LiDAR制御部5430aは、受信した画像データの取得タイミングに関する情報に基づいて、3Dマッピングデータの取得タイミング(最初のフレームの取得開始時刻等)を決定する。さらに、照明制御部5410aは、受信した画像データの取得タイミングに関する情報に基づいて、照明ユニット542aの点灯タイミング(最初の点灯開始時刻等)を決定する。その後、カメラ制御部5420aは、画像データの取得タイミングに関する情報に基づいて、カメラ543aを駆動させる。また、LiDAR制御部5430aは、3Dマッピングデータの取得タイミングに関する情報に基づいて、LiDARユニット544aを駆動させる。さらに、照明制御部5410aは、照明ユニット542aの点灯タイミングに関する情報に基づいて、照明ユニット542aを点消灯させる。
このようにして、画像データの各フレームの取得開始時刻と、3Dマッピングデータの各フレームの取得開始時刻が互いに異なるように、カメラ543aとLiDARユニット544aを駆動させることが可能となる。さらに、画像データの各フレームの取得期間ΔTcにおいて点灯すると共に、3Dマッピングデータの各フレームの取得期間ΔTlにおいて消灯するように、照明ユニット542aを点灯制御させることが可能となる。
一方、上記の方法の代替案として、周辺環境情報送信部5450aは、画像データの取得タイミングと、3Dマッピングデータの取得タイミングと、照明ユニット542aの点灯タイミングを決定してもよい。この場合、周辺環境情報送信部5450aは、画像データの取得タイミングに関する情報をカメラ制御部5420aに送信し、3Dマッピングデータの取得タイミングに関する情報をLiDAR制御部5430aに送信し、照明ユニット542aの点灯タイミングに関する情報を照明制御部5410aに送信する。その後、カメラ制御部5420aは、画像データの取得タイミングに関する情報に基づいて、カメラ543aを駆動させる。また、LiDAR制御部5430aは、3Dマッピングデータの取得タイミングに関する情報に基づいて、LiDARユニット544aを駆動させる。さらに、照明制御部5410aは、照明ユニット542aの点灯タイミングに関する情報に基づいて、照明ユニット542aを点消灯させる。
次に、図36を参照して、照明ユニット542aの点灯周期T3を2倍にしたときにおける、画像データの各フレームの取得タイミングと、3Dマッピングデータの各フレームの取得タイミングと、照明ユニット542aの点灯タイミングとの関係について説明する。図36に示すように、照明ユニット542aの点灯周期が2T3に設定される。換言すれば、照明ユニット542aのレートは、a3/2に設定されるため、画像データのフレームレートa1の半分となる。さらに、照明ユニット542aは、画像データのフレームFc1の取得期間ΔTcにおいて点灯する一方、画像データの次のフレームFc2の取得期間ΔTcにおいて消灯する。このように、照明ユニット542aのレートa3/2は、画像データのフレームレートa1の半分となるため、画像データの所定のフレームは、照明ユニット542aの点灯期間ΔTon2に重複すると共に、当該所定のフレームの次のフレームは、照明ユニット542aの消灯期間ΔToff2に重複する。
このように、カメラ543aは、照明ユニット542aが点灯している間に車両501の周辺環境を示す画像データを取得すると共に、照明ユニット542aが消灯している間に当該画像データを取得する。つまり、カメラ543aは、照明ユニット542aが点灯したときの画像データのフレームと、照明ユニット542aが消灯したときの画像データのフレームを交互に取得する。このため、照明ユニット542aが消灯しているときに撮像された画像データM1と照明ユニット542aが点灯しているときに撮像された画像データM2を比較することで、車両501の周辺に存在する対象物が自ら発光しているのか又は光を反射しているのかを特定することができる。このように、カメラ制御部5420aは、車両501の周辺に存在する対象物の属性をより正確に特定することができる。さらに、照明ユニット542aが点灯している場合、照明ユニット542aから出射され、透光カバー522aによって反射された光の一部がカメラ543aに入射することで、画像データM2に迷光が生じる可能性がある。一方、照明ユニット542aが消灯している場合、画像データM1には迷光は生じない。このように、カメラ制御部5420aは、画像データM1と画像データM2を比較することで、画像データM2に生じる迷光を特定することができる。従って、車両501の周辺環境の認知精度を向上させることができる。
(第6実施形態)
以下、本開示の第6実施形態(以下、単に「本実施形態」という。)について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
また、本実施形態の説明では、説明の便宜上、「左右方向」、「前後方向」について適宜言及する。これらの方向は、図37に示す車両601について設定された相対的な方向である。ここで、「前後方向」は、「前方向」及び「後方向」を含む方向である。「左右方向」は、「左方向」及び「右方向」を含む方向である。
最初に、図37を参照して本実施形態に係る車両601について説明する。図37は、車両システム602を備える車両601の上面図を示す模式図である。図37に示すように、車両601は、自動運転モードで走行可能な車両(自動車)であって、車両システム602を備える。車両システム602は、車両制御部603と、左前照明システム604a(以下、単に「照明システム604a」という。)と、右前照明システム604b(以下、単に「照明システム604b」という。)と、左後照明システム604c(以下、単に「照明システム604c」という。)と、右後照明システム604d(以下、単に「照明システム604d」という。)を少なくとも備える。
照明システム604aは、車両601の左前側に設けられる。特に、照明システム604aは、車両601の左前側に設置されたハウジング624aと、ハウジング624aに取り付けられた透光カバー622aとを備える。照明システム604bは、車両601の右前側に設けられる。特に、照明システム604bは、車両601の右前側に設置されたハウジング624bと、ハウジング624bに取り付けられた透光カバー622bとを備える。照明システム604cは、車両601の左後側に設けられる。特に、照明システム604cは、車両601の左後側に設置されたハウジング624cと、ハウジング624cに取り付けられた透光カバー622cとを備える。照明システム604dは、車両601の右後側に設けられる。特に、照明システム604dは、車両601の右後側に設置されたハウジング624dと、ハウジング624dに取り付けられた透光カバー622dとを備える。
次に、図38を参照することで、図37に示す車両システム602を具体的に説明する。図38は、本実施形態に係る車両システム602を示すブロック図である。図38に示すように、車両システム602は、車両制御部603と、照明システム604a〜604dと、センサ5と、HMI(Human Machine Interface)608と、GPS(Global Positioning System)609と、無線通信部610と、記憶装置611とを備える。さらに、車両システム602は、ステアリングアクチュエータ612と、ステアリング装置613と、ブレーキアクチュエータ614と、ブレーキ装置615と、アクセルアクチュエータ616と、アクセル装置617とを備える。また、車両システム602は、電力を供給するように構成されたバッテリー(図示せず)を備える。
車両制御部603(第3制御部の一例)は、車両601の走行を制御するように構成されている。車両制御部603は、例えば、少なくとも一つの電子制御ユニット(ECU:Electronic Control Unit)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、トランジスタ等のアクティブ素子及びパッシブ素子を含むその他電子回路を含んでもよい。プロセッサは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)及び/又はTPU(Tensor Processing Unit)である。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROM(Read Only Memory)と、RAM(Random Access Memory)を含む。ROMには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能(AI)プログラムを含んでもよい。AIプログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ROMに記憶された車両制御プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。
また、電子制御ユニット(ECU)は、ASIC(Application Specific Integrated Circuit)やFPGA(Field−Programmable Gate Array)等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明システム604a(第1センシングシステムの一例)は、制御部640aと、照明ユニット642aと、カメラ643aと、LiDAR(Light Detection and Ranging)ユニット644a(レーザーレーダの一例)と、ミリ波レーダ645aとを更に備える。制御部640aと、照明ユニット642aと、カメラ643aと、LiDARユニット644aと、ミリ波レーダ645aは、図37に示すように、ハウジング624aと透光カバー622aによって形成される空間Sa内(第1領域の一例)に配置される。尚、制御部640aは、空間Sa以外の車両601の所定の場所に配置されてもよい。例えば、制御部640aは、車両制御部603と一体的に構成されてもよい。
制御部640a(第1制御部の一例)は、例えば、少なくとも一つの電子制御ユニット(ECU)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、その他電子回路(例えば、トランジスタ等)を含んでもよい。プロセッサは、例えば、CPU、MPU、GPU及び/又はTPUである。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROMと、RAMを含む。ROMには、車両601の周辺環境を特定するための周辺環境特定プログラムが記憶されてもよい。例えば、周辺環境特定プログラムは、ディープラーニング等のニューラルネットワークを用いた教師有り又は教師なし機械学習によって構築されたプログラムである。RAMには、周辺環境特定プログラム、カメラ643aに取得された画像データ、LiDARユニット644aによって取得された3次元マッピングデータ(点群データ)及び/又はミリ波レーダ645aによって取得された検出データ等が一時的に記憶されてもよい。プロセッサは、ROMに記憶された周辺環境特定プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。また、電子制御ユニット(ECU)は、ASICやFPGA等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
照明ユニット642aは、車両601の外部(前方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット642aは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED(Light Emitting Diode)、LD(LaSer Diode)又は有機EL素子である。光学系は、光源から出射された光を照明ユニット642aの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両601の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット642aは、運転者用の配光パターン(例えば、ロービーム用配光パターンやハイビーム用配光パターン)を車両601の前方に形成するように構成されている。このように、照明ユニット642aは、左側ヘッドランプユニットとして機能する。一方、車両601の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット642aは、カメラ用の配光パターンを車両601の前方に形成するように構成されてもよい。
制御部640aは、照明ユニット642aに設けられた複数の発光素子の各々に電気信号(例えば、PWM(PulSe Width Modulation)信号)を個別に供給するように構成されてもよい。このように、制御部640aは、電気信号が供給される発光素子を個別に選択することができると共に、発光素子毎に電気信号のDuty比を調整することができる。つまり、制御部640aは、マトリックス状に配列された複数の発光素子のうち、点灯又は消灯すべき発光素子を選択することができると共に、点灯している発光素子の輝度を決定することができる。このため、制御部640aは、照明ユニット642aから前方に向けて出射される配光パターンの形状及び明るさを変更することができる。
カメラ643a(第1センサの一例)は、車両601の周辺環境を検出するように構成されている。特に、カメラ643aは、車両601の周辺環境を示す画像データ(第1検出データの一例)を取得した上で、当該画像データを制御部640aに送信するように構成されている。制御部640aは、送信された画像データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両601の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、車両601の外部に存在する対象物の属性に関する情報と、車両601に対する対象物の距離や位置に関する情報とを含んでもよい。カメラ643aは、例えば、CCD(Charge−Coupled Device)やCMOS(相補型MOS:Metal Oxide Semiconductor)等の撮像素子によって構成される。カメラ643aは、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。カメラ643aがステレオカメラの場合、制御部640aは、視差を利用することで、ステレオカメラによって取得された2以上の画像データに基づいて、車両601と車両601の外部に存在する対象物(例えば、歩行者等)との間の距離を特定することができる。また、本実施形態では、1つのカメラ643aが照明システム604aに設けられているが、2以上のカメラ643aが照明システム604aに設けられてもよい。
LiDARユニット644a(第1センサの一例)は、車両601の周辺環境を検出するように構成されている。特に、LiDARユニット644aは、車両601の周辺環境を示す3Dマッピングデータ(点群データ)を取得した上で、当該3Dマッピングデータを制御部640aに送信するように構成されている。制御部640aは、送信された3Dマッピングデータ(第1検出データの一例)に基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両601の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報は、車両601の外部に存在する対象物の属性に関する情報と、車両601に対する対象物の距離や位置に関する情報とを含んでもよい。
より具体的には、LiDARユニット644aは、レーザ光の各出射角度(水平角度θ、垂直角度φ)におけるレーザ光(光パルス)の飛行時間(TOF:Time of Flight)ΔT1に関する情報を取得した上で、飛行時間ΔT1に関する情報に基づいて、各出射角度(水平角度θ、垂直角度φ)におけるLiDARユニット644a(車両601)と車両601の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT1は、例えば、以下のように算出することができる。
飛行時間ΔT1=レーザ光(光パルス)がLiDARユニットに戻ってきた時刻t1−LiDARユニットがレーザ光(光パルス)を出射した時刻t0
このように、LiDARユニット644aは、車両601の周辺環境を示す3Dマッピングデータを取得することができる。
また、LiDARユニット644aは、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光を水平方向及び垂直方向に走査させるように構成された光偏向器と、レンズ等の光学系と、物体によって反射されたレーザ光を受光するように構成された受光部とを備える。レーザ光源から出射されるレーザ光の中心波長は特に限定されない。例えば、レーザ光は、中心波長が900nm付近である非可視光であってもよい。光偏向器は、例えば、MEMS(Micro Electro Mechanical Systems)ミラーであってもよい。受光部は、例えば、フォトダイオードである。尚、LiDARユニット644aは、光偏向器によってレーザ光を走査せずに、3Dマッピングデータを取得してもよい。例えば、LiDARユニット644aは、フェイズドアレイ方式又はフラッシュ方式で3Dマッピングデータを取得してもよい。また、本実施形態では、1つのLiDARユニット644aが照明システム604aに設けられているが、2以上のLiDARユニット644aが照明システム604aに設けられてもよい。例えば、2つのLiDARユニット644aが照明システム604aに設けられている場合、一方のLiDARユニット644aが車両601の前方領域における周辺環境を検出するように構成されると共に、他方のLiDARユニット644aが車両601の側方領域における周辺環境を検出するように構成されてもよい。
ミリ波レーダ645a(第1センサの一例)は、車両601の周辺環境を検出するように構成されている。特に、ミリ波レーダ645aは、車両601の周辺環境を示す検出データ(第1検出データの一例)を取得した上で、当該検出データを制御部640aに送信するように構成されている。制御部640aは、送信された検出データに基づいて、周辺環境情報を特定する。ここで、周辺環境情報は、車両601の外部に存在する対象物に関する情報を含んでもよい。周辺環境情報は、例えば、車両601の外部に存在する対象物の属性に関する情報と、車両601に対する対象物の位置に関する情報と、車両601に対する対象物の速度に関する情報を含んでもよい。
例えば、ミリ波レーダ645aは、パルス変調方式、FM−CW(Frequency Moduleted−Continuous Wave)方式又は2周波CW方式で、ミリ波レーダ645a(車両601)と車両601の外部に存在する物体との間の距離Dを取得することができる。パルス変調方式を用いる場合、ミリ波レーダ645aは、ミリ波の各出射角度におけるミリ波の飛行時間ΔT2に関する情報を取得した上で、飛行時間ΔT2に関する情報に基づいて、各出射角度におけるミリ波レーダ645a(車両601)と車両601の外部に存在する物体との間の距離Dに関する情報を取得することができる。ここで、飛行時間ΔT2は、例えば、以下のように算出することができる。
飛行時間ΔT2=ミリ波がミリ波レーダに戻ってきた時刻t3−ミリ波レーダがミリ波を出射した時刻t2
また、ミリ波レーダ645aは、ミリ波レーダ645aから出射されたミリ波の周波数f0とミリ波レーダ645aに戻ってきたミリ波の周波数f1に基づいて、ミリ波レーダ645a(車両601)に対する車両601の外部に存在する物体の相対速度Vに関する情報を取得することができる。
また、本実施形態では、1つのミリ波レーダ645aが照明システム604aに設けられているが、2以上のミリ波レーダ645aが照明システム604aに設けられてもよい。例えば、照明システム604aは、短距離用のミリ波レーダ645aと、中距離用のミリ波レーダ645aと、長距離用のミリ波レーダ645aを有してもよい。
照明システム604b(第2センシングシステムの一例)は、制御部640b(第2制御部の一例)と、照明ユニット642bと、カメラ643bと、LiDARユニット644bと、ミリ波レーダ645bとを更に備える。制御部640bと、照明ユニット642bと、カメラ643bと、LiDARユニット644bと、ミリ波レーダ645bは、図37に示すように、ハウジング624bと透光カバー622bによって形成される空間Sb内(第2領域の一例)に配置される。尚、制御部640bは、空間Sb以外の車両601の所定の場所に配置されてもよい。例えば、制御部640bは、車両制御部603と一体的に構成されてもよい。制御部640bは、制御部640aと同様な機能及び構成を有してもよい。照明ユニット642bは、照明ユニット642aと同様な機能及び構成を有してもよい。この点において、照明ユニット642aは、左側ヘッドランプユニットとして機能する一方、照明ユニット642bは、右側ヘッドランプユニットとして機能する。カメラ643b(第2センサの一例)は、カメラ643aと同様な機能及び構成を有してもよい。LiDARユニット644b(第2センサの一例)は、LiDARユニット644aと同様な機能及び構成を有してもよい。ミリ波レーダ645b(第2センサの一例)は、ミリ波レーダ645aと同様な機能及び構成を有してもよい。
照明システム604cは、制御部640cと、照明ユニット642cと、カメラ643cと、LiDARユニット644cと、ミリ波レーダ645cとを更に備える。制御部640cと、照明ユニット642cと、カメラ643cと、LiDARユニット644cと、ミリ波レーダ645cは、図37に示すように、ハウジング624cと透光カバー622cによって形成される空間Sc内(灯室内)に配置される。尚、制御部640cは、空間Sc以外の車両601の所定の場所に配置されてもよい。例えば、制御部640cは、車両制御部603と一体的に構成されてもよい。制御部640cは、制御部640aと同様な機能及び構成を有してもよい。
照明ユニット642cは、車両601の外部(後方)に向けて光を出射することによって、配光パターンを形成するように構成されている。照明ユニット642cは、光を出射する光源と、光学系とを有する。光源は、例えば、マトリックス状(例えば、N行×M列、N>1、M>1)に配列された複数の発光素子によって構成されてもよい。発光素子は、例えば、LED、LD又は有機EL素子である。光学系は、光源から出射された光を照明ユニット642cの前方に向けて反射するように構成されたリフレクタと、光源から直接出射された光又はリフレクタによって反射された光を屈折するように構成されたレンズとのうちの少なくとも一方を含んでもよい。車両601の運転モードが手動運転モード又は運転支援モードである場合に、照明ユニット642cは消灯してもよい。一方、車両601の運転モードが高度運転支援モード又は完全自動運転モードである場合に、照明ユニット642cは、カメラ用の配光パターンを車両601の後方に形成するように構成されてもよい。
カメラ643cは、カメラ643aと同様な機能及び構成を有してもよい。LiDARユニット644cは、LiDARユニット644cと同様な機能及び構成を有してもよい。ミリ波レーダ645cは、ミリ波レーダ645aと同様な機能及び構成を有してもよい。
照明システム604dは、制御部640dと、照明ユニット642dと、カメラ643dと、LiDARユニット644dと、ミリ波レーダ645dとを更に備える。制御部640dと、照明ユニット642dと、カメラ643dと、LiDARユニット644dと、ミリ波レーダ645dは、図37に示すように、ハウジング624dと透光カバー622dによって形成される空間Sd内(灯室内)に配置される。尚、制御部640dは、空間Sd以外の車両601の所定の場所に配置されてもよい。例えば、制御部640dは、車両制御部603と一体的に構成されてもよい。制御部640dは、制御部640cと同様な機能及び構成を有してもよい。照明ユニット642dは、照明ユニット642cと同様な機能及び構成を有してもよい。カメラ643dは、カメラ643cと同様な機能及び構成を有してもよい。LiDARユニット644dは、LiDARユニット644cと同様な機能及び構成を有してもよい。ミリ波レーダ645dは、ミリ波レーダ645cと同様な機能及び構成を有してもよい。
センサ5は、加速度センサ、速度センサ及びジャイロセンサ等を有してもよい。センサ5は、車両601の走行状態を検出して、車両601の走行状態を示す走行状態情報を車両制御部603に出力するように構成されている。また、センサ5は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。さらに、センサ5は、車両601の周辺環境の明るさ(照度等)を検出するように構成された照度センサを備えてもよい。照度センサは、例えば、フォトダイオードから出力される光電流の大きさに応じて周辺環境の明るさを決定してもよい。
HMI(Human Machine Interface)608は、運転者からの入力操作を受付ける入力部と、走行状態情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両601の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、走行状態情報、周辺環境情報および照明システム4の照明状態を表示するように構成されたディスプレイ等を含む。
GPS(Global Positioning System)609は、車両601の現在位置情報を取得し、当該取得された現在位置情報を車両制御部603に出力するように構成されている。無線通信部610は、車両601の周囲にいる他車に関する情報(例えば、他車走行情報等)を他車から受信すると共に、車両601に関する情報(例えば、自車走行情報等)を他車に送信するように構成されている(車車間通信)。
また、無線通信部610は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両601の自車走行情報をインフラ設備に送信するように構成されている(路車間通信)。また、無線通信部610は、歩行者が携帯する携帯型電子機器(スマートフォン、タブレット、ウェアラブルデバイス等)から歩行者に関する情報を受信すると共に、車両601の自車走行情報を携帯型電子機器に送信するように構成されている(歩車間通信)。車両601は、他車両、インフラ設備又は携帯型電子機器とアドホックモードにより直接通信してもよいし、アクセスポイントを介して通信してもよい。無線通信規格は、例えば、Wi−Fi(登録商標),Bluetooth(登録商標),ZigBee(登録商標)又はLPWAである。また、車両601は、他車両、インフラ設備又は携帯型電子機器と移動通信ネットワークを介して通信してもよい。
記憶装置611は、ハードディスクドライブ(HDD)やSSD(Solid State Drive)等の外部記憶装置である。記憶装置611には、2D又は3Dの地図情報及び/又は車両制御プログラムが記憶されてもよい。例えば、3Dの地図情報は、点群データによって構成されてもよい。記憶装置611は、車両制御部603からの要求に応じて、地図情報や車両制御プログラムを車両制御部603に出力するように構成されている。地図情報や車両制御プログラムは、無線通信部610とインターネット等の通信ネットワークを介して更新されてもよい。
車両601が自動運転モードで走行する場合、車両制御部603は、走行状態情報、周辺環境情報、現在位置情報及び/又は地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ612は、ステアリング制御信号を車両制御部603から受信して、受信したステアリング制御信号に基づいてステアリング装置613を制御するように構成されている。ブレーキアクチュエータ614は、ブレーキ制御信号を車両制御部603から受信して、受信したブレーキ制御信号に基づいてブレーキ装置615を制御するように構成されている。アクセルアクチュエータ616は、アクセル制御信号を車両制御部603から受信して、受信したアクセル制御信号に基づいてアクセル装置617を制御するように構成されている。このように、自動運転モードでは、車両601の走行は車両システム602により自動制御される。
一方、車両601が手動運転モードで走行する場合、車両制御部603は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に応じて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両601の走行は運転者により制御される。
次に、車両601の運転モードについて説明する。運転モードは、自動運転モードと手動運転モードとからなる。自動運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードとからなる。完全自動運転モードでは、車両システム602がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両601を運転できる状態にはない。高度運転支援モードでは、車両システム602がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両601を運転できる状態にはあるものの車両601を運転しない。運転支援モードでは、車両システム602がステアリング制御、ブレーキ制御及びアクセル制御のうちの一部の走行制御を自動的に行うと共に、車両システム602の運転支援の下で運転者が車両601を運転する。一方、手動運転モードでは、車両システム602が走行制御を自動的に行わないと共に、車両システム602からの運転支援なしに運転者が車両601を運転する。
また、車両601の運転モードは、運転モード切替スイッチを操作することで切り替えられてもよい。この場合、車両制御部603は、運転モード切替スイッチに対する運転者の操作に応じて、車両601の運転モードを4つの運転モード(完全自動運転モード、高度運転支援モード、運転支援モード、手動運転モード)の間で切り替える。また、車両601の運転モードは、自動運転車の走行が可能である走行可能区間や自動運転車の走行が禁止されている走行禁止区間についての情報または外部天候状態についての情報に基づいて自動的に切り替えられてもよい。この場合、車両制御部603は、これらの情報に基づいて車両601の運転モードを切り替える。さらに、車両601の運転モードは、着座センサや顔向きセンサ等を用いることで自動的に切り替えられてもよい。この場合、車両制御部603は、着座センサや顔向きセンサからの出力信号に基づいて、車両601の運転モードを切り替えてもよい。
次に、図39を参照して、制御部640aの機能について説明する。図39は、照明システム604aの制御部640a(第1制御部の一例)の機能ブロックを示す図である。図39に示すように、制御部640aは、照明ユニット642aと、カメラ643aと、LiDARユニット644aと、ミリ波レーダ645aの動作をそれぞれ制御するように構成されている。特に、制御部640aは、照明制御部6410aと、カメラ制御部6420aと、LiDAR制御部6430aと、ミリ波レーダ制御部6440aと、周辺環境情報融合部6450aとを備える。
照明制御部6410aは、照明ユニット642aが所定の配光パターンを車両601の前方領域に向けて出射するように照明ユニット642aを制御するように構成されている。例えば、照明制御部6410aは、車両601の運転モードに応じて照明ユニット642aから出射される配光パターンを変更してもよい。
カメラ制御部6420aは、カメラ643aの動作を制御すると共に、カメラ643aから出力された画像データに基づいて、カメラ643aの検出領域S1a(図41参照)における車両601の周辺環境情報(以下、周辺環境情報I1aという。)を生成するように構成されている。LiDAR制御部6430aは、LiDARユニット644aの動作を制御すると共に、LiDARユニット644aから出力された3Dマッピングデータに基づいて、LiDARユニット644aの検出領域S2a(図41参照)における車両601の周辺環境情報(以下、周辺環境情報I2aという。)を生成するように構成されている。ミリ波レーダ制御部6440aは、ミリ波レーダ645aの動作を制御すると共に、ミリ波レーダ645aから出力された検出データに基づいて、ミリ波レーダ645aの検出領域S3a(図41参照)における車両601の周辺環境情報(以下、周辺環境情報I3aという。)を生成するように構成されている。
周辺環境情報融合部6450aは、周辺環境情報I1a,I2a,I3aをそれぞれ融合することで、融合された周辺環境情報Ifaを生成するように構成される。ここで、周辺環境情報Ifaは、図41に示すように、カメラ643aの検出領域S1aと、LiDARユニット644aの検出領域S2aと、ミリ波レーダ645aの検出領域S3aを組合せた検出領域Sfa(第1周辺領域の一例)における車両601の外部に存在する対象物に関する情報を含んでもよい。例えば、周辺環境情報Ifaは、対象物の属性、車両601に対する対象物の位置、車両601に対する対象物の角度、車両601と対象物との間の距離及び/又は車両601に対する対象物の速度に関する情報を含んでもよい。周辺環境情報融合部6450aは、周辺環境情報Ifaを車両制御部603に送信するように構成される。
次に、図40を参照して周辺環境情報Ifaを生成する処理の一例について説明する。図40に示すように、ステップS601において、カメラ643aは、検出領域S1a(図41参照)における車両601の周辺環境を示す画像データを取得する。ステップS602において、LiDARユニット644aは、検出領域S2aにおける車両601の周辺環境を示す3Dマッピングデータを取得する。ステップS603において、ミリ波レーダ645aは、検出領域S3aにおける車両601の周辺環境を示す検出データを取得する。
次に、カメラ制御部6420aは、カメラ643aから画像データを取得した上で、画像データに基づいて周辺環境情報I1aを生成する(ステップS604)。LiDAR制御部6430aは、LiDARユニット644aから3Dマッピングデータを取得した上で、3Dマッピングデータに基づいて周辺環境情報I2aを生成する(ステップS605)。ミリ波レーダ制御部6440aは、ミリ波レーダ645aから検出データを取得した上で、検出データに基づいて周辺環境情報I3aを生成する(ステップS606)。
次に、ステップS607において、周辺環境情報融合部6450aは、各センサの優先度に基づいて各重複領域Sx,Sy,Sz(図41参照)において複数の周辺環境情報を比較する。本実施形態では、各センサの優先度は、カメラ643a>LiDARユニット644a>ミリ波レーダ645aと仮定する。具体的には、周辺環境情報融合部6450aは、検出領域S1aと検出領域S2aとが互いに重複する重複領域Sxにおいて、周辺環境情報I1aと周辺環境情報I2aとを比較した上で、周辺環境情報I1aと周辺環境情報I2aが互いに一致するかどうかを判定する。例えば、周辺環境情報I1aが重複領域Sxにおいて歩行者の位置を位置Z1として示す一方、周辺環境情報I2aが重複領域Sxにおいて歩行者P2の位置を位置Z2として示す場合、周辺環境情報I1aと周辺環境情報I2aが互いに一致しないと判定される。周辺環境情報融合部6450aは、比較結果として、周辺環境情報I1aと周辺環境情報I2aが互いに一致しないと判定した場合、各センサの優先度(カメラ643a>LiDARユニット644a)に基づいて、重複領域Sxにおいて採用される周辺環境情報を周辺環境情報I1aとして決定する。
また、周辺環境情報融合部6450aは、検出領域S2aと検出領域S3aとが互いに重複する重複領域Szにおいて、周辺環境情報I2aと周辺環境情報I3aとを比較した上で、周辺環境情報I2aと周辺環境情報I3aが互いに一致するかどうかを判定する。周辺環境情報融合部6450aは、比較結果として、周辺環境情報I2aと周辺環境情報I3aが互いに一致しないと判定した場合、各センサの優先度(LiDARユニット644a>ミリ波レーダ645a)に基づいて、重複領域Szにおいて採用される周辺環境情報を周辺環境情報I2aとして決定する。
また、周辺環境情報融合部6450aは、検出領域S1aと、検出領域S2aと、検出領域S3aとが互いに重複する重複領域Syにおいて、周辺環境情報I1aと、周辺環境情報I2aと、周辺環境情報I3aとを比較した上で、周辺環境情報I1aと、周辺環境情報I2aと、周辺環境情報I3aとが互いに一致するかどうかを判定する。周辺環境情報融合部6450aは、比較結果として、周辺環境情報I1aと、周辺環境情報I2aと、周辺環境情報I3aが互いに一致しないと判定した場合、各センサの優先度(カメラ643a>LiDARユニット644a>ミリ波レーダ645a)に基づいて、重複領域Syにおいて採用される周辺環境情報を周辺環境情報I1aとして決定する。
その後、周辺環境情報融合部6450aは、周辺環境情報I1a,I2a,I3aをそれぞれ融合することで、融合された周辺環境情報Ifa(第1周辺環境情報の一例)を生成する。周辺環境情報Ifaは、検出領域S1a,S2a,S3aを組合せた検出領域Sfa(第1周辺領域の一例)における車両601の外部に存在する対象物に関する情報を含んでもよい。特に、周辺環境情報Ifaは、以下の情報によって構成されてもよい。
・検出領域S1aにおける周辺環境情報I1a
・重複領域Sx,Syを除く検出領域S2aにおける周辺環境情報I2a
・重複領域Sy,Szを除く検出領域S3aにおける周辺環境情報I3a
次に、ステップS608において、周辺環境情報融合部6450aは、周辺環境情報Ifaを車両制御部603に送信する。このように、図40に示す周辺環境情報Ifaを生成する処理が繰り返し実行される。
尚、上記で説明した周辺環境情報Ifaを生成する処理では、各重複領域Sx,Sy,Szにおいて複数の周辺環境情報が比較されなくてもよい。この場合、周辺環境情報融合部6450aは、重複領域Sx,Sy,Szにおいて複数の周辺環境情報を比較せずに、各センサの優先度に関する情報と、周辺環境情報I1a〜I3aに基づいて、周辺環境情報Ifaを生成してもよい。
次に、図42を参照して、制御部640bの機能について説明する。図42は、照明システム604bの制御部640b(第2制御部の一例)の機能ブロックを示す図である。図42に示すように、制御部640bは、照明ユニット642bと、カメラ643b(第2センサの一例)と、LiDARユニット644b(第2センサの一例)と、ミリ波レーダ645b(第2センサの一例)の動作をそれぞれ制御するように構成されている。特に、制御部640bは、照明制御部6410bと、カメラ制御部6420bと、LiDAR制御部6430bと、ミリ波レーダ制御部6440bと、周辺環境情報融合部6450bとを備える。照明制御部6410bは、照明制御部6410aと同一の機能を有してもよい。カメラ制御部6420bは、カメラ制御部6420aと同一の機能を有してもよい。LiDAR制御部6430bは、LiDAR制御部6430aと同一の機能を有してもよい。ミリ波レーダ制御部6440bは、ミリ波レーダ制御部6440aと同一の機能を有してもよい。
次に、図43を参照して融合された周辺環境情報Ifbを生成する処理の一例について説明する。図43に示すように、ステップS611において、カメラ643bは、検出領域S1b(図44参照)における車両601の周辺環境を示す画像データ(第2検出データの一例)を取得する。また、ステップS612において、LiDARユニット644bは、検出領域S2bにおける車両601の周辺環境を示す3Dマッピングデータ(第2検出データの一例)を取得する。さらに、ステップS613において、ミリ波レーダ645bは、検出領域S3bにおける車両601の周辺環境を示す検出データ(第2検出データの一例)を取得する。
次に、カメラ制御部6420bは、カメラ643bから画像データを取得した上で、画像データに基づいて周辺環境情報I1bを生成する(ステップS614)。また、LiDAR制御部6430bは、LiDARユニット644bから3Dマッピングデータを取得した上で、3Dマッピングデータに基づいて周辺環境情報I2bを生成する(ステップS615)。さらに、ミリ波レーダ制御部6440bは、ミリ波レーダ645bから検出データを取得した上で、検出データに基づいて周辺環境情報I3bを生成する(ステップS616)。
次に、ステップS617において、周辺環境情報融合部6450bは、各センサの優先度に基づいて各重複領域St,Su,Sv(図44参照)において複数の周辺環境情報を比較する。本実施形態では、各センサの優先度は、カメラ643b>LiDARユニット644b>ミリ波レーダ645bと仮定する。具体的には、周辺環境情報融合部6450bは、検出領域S1bと検出領域S2bとが互いに重複する重複領域Stにおいて、周辺環境情報I1bと周辺環境情報I2bとを比較した上で、周辺環境情報I1bと周辺環境情報I2bが互いに一致するかどうかを判定する。例えば、周辺環境情報I1bが重複領域Stにおいて歩行者の位置を位置Z3として示す一方、周辺環境情報I2bが重複領域Stにおいて歩行者の位置を位置Z4として示す場合、周辺環境情報I1bと周辺環境情報I2bが互いに一致しないと判定される。周辺環境情報融合部6450bは、比較結果として、周辺環境情報I1bと周辺環境情報I2bが互いに一致しないと判定した場合、各センサの優先度(カメラ643b>LiDARユニット644b)に基づいて、重複領域Stにおいて採用される周辺環境情報を周辺環境情報I1bとして決定する。
また、周辺環境情報融合部6450bは、検出領域S2bと検出領域S3bとが互いに重複する重複領域Svにおいて、周辺環境情報I2bと周辺環境情報I3bとを比較した上で、周辺環境情報I2bと周辺環境情報I3bが互いに一致するかどうかを判定する。周辺環境情報融合部6450bは、比較結果として、周辺環境情報I2bと周辺環境情報I3bが互いに一致しないと判定した場合、各センサの優先度(LiDARユニット644b>ミリ波レーダ645b)に基づいて、重複領域Svにおいて採用される周辺環境情報を周辺環境情報I2bとして決定する。
また、周辺環境情報融合部6450bは、検出領域S1bと、検出領域S2bと、検出領域S3bとが互いに重複する重複領域Suにおいて、周辺環境情報I1bと、周辺環境情報I2bと、周辺環境情報I3bとを比較した上で、周辺環境情報I1bと、周辺環境情報I2bと、周辺環境情報I3bとが互いに一致するかどうかを判定する。周辺環境情報融合部6450bは、比較結果として、周辺環境情報I1bと、周辺環境情報I2bと、周辺環境情報I3bが互いに一致しないと判定した場合、各センサの優先度(カメラ643b>LiDARユニット644b>ミリ波レーダ645b)に基づいて、重複領域Suにおいて採用される周辺環境情報を周辺環境情報I1bとして決定する。
その後、周辺環境情報融合部6450bは、周辺環境情報I1b,I2b,I3bをそれぞれ融合することで、融合された周辺環境情報Ifb(第2周辺環境情報の一例)を生成する。周辺環境情報Ifbは、検出領域S1b,S2b,S3bを組合せた検出領域Sfb(第2周辺領域の一例)における車両601の外部に存在する対象物に関する情報を含んでもよい。特に、周辺環境情報Ifbは、以下の情報によって構成されてもよい。
・検出領域S1bにおける周辺環境情報I1b
・重複領域St,Suを除く検出領域S2bにおける周辺環境情報I2b
・重複領域Su,Svを除く検出領域S3bにおける周辺環境情報I3b
次に、ステップS618において、周辺環境情報融合部6450bは、周辺環境情報Ifbを車両制御部603に送信する。このように、図43に示す周辺環境情報Ifbを生成する処理が繰り返し実行される。
尚、上記で説明した周辺環境情報Ifbを生成する処理では、各重複領域St,Su,Svにおいて複数の周辺環境情報が比較されなくてもよい。この場合、周辺環境情報融合部6450bは、重複領域St,Su,Svにおいて複数の周辺環境情報を比較せずに、各センサの優先度に関する情報と、周辺環境情報I1b〜I3bに基づいて、周辺環境情報Ifbを生成してもよい。
次に、図45及び図46を参照して照明システム604aの検出領域Sfaと照明システム604bの検出領域Sfbとが互いに重複する重複周辺領域Sflにおける車両601の周辺環境を最終的に特定する処理について説明する。図45は、重複周辺領域Sflにおける車両601の周辺環境を最終的に特定する処理を説明するためのフローチャートである。図46は、検出領域Sfaと、検出領域Sfbと、検出領域Sfaと検出領域Sfbが互いに重複する重複周辺領域Sflを示す図である。尚、説明を簡略化するために、図41に示す検出領域Sfaの形状と、図46に示す検出領域Sfaの形状は一致させていない点に留意されたい。同様に、図44に示す検出領域Sfbの形状と、図46に示す検出領域Sfbの形状は一致させていない点に留意されたい。
図45に示すように、ステップS620において、車両制御部603は、周辺環境情報融合部6450aから検出領域Sfaにおける周辺環境情報Ifaを受信する。次に、車両制御部603は、周辺環境情報融合部6450bから検出領域Sfbにおける周辺環境情報Ifbを受信する(ステップS621)。その後、車両制御部603は、受信した周辺環境情報Ifa,Ifbのうちの少なくとも一方に基づいて、重複周辺領域Sflにおける車両601の周辺環境を最終的に特定する。換言すれば、車両制御部603は、重複周辺領域Sflにおける車両601の周辺環境を示す周辺環境情報を特定する(ステップS622)。
ステップS622の処理の具体例について図46を参照して説明する。図46に示すように、重複周辺領域Sflは、第1部分領域Sf1と第2部分領域Sf2に区分される。第1部分領域Sf1は、中心軸Axに対して左側に位置する領域である一方、第2部分領域Sf2は、中心軸Axに対して右側に位置する領域である。ここで、中心軸Axは、車両601の長手方向に平行に延びると共に車両601の中心を通過する軸である。第1部分領域Sf1と照明システム604aの空間Saとの間の距離は、第1部分領域Sf1と照明システム604bの空間Sbとの間の距離よりも小さい。より詳細には、第1部分領域Sf1内の所定の位置Paと空間Saとの間の距離は、所定の位置Paと空間Sbとの間の距離よりも小さい。同様に、第2部分領域Sf2と照明システム604bの空間Sbとの間の距離は、第2部分領域Sf2と照明システム604aの空間Saとの間の距離よりも小さい。より詳細には、第2部分領域Sf2内の所定の位置Pbと空間Sbとの間の距離は、所定の位置Pbと空間Saとの間の距離よりも小さい。
車両制御部603は、検出領域Sfaにおける周辺環境を示す周辺環境情報Ifaに基づいて、第1部分領域Sf1における車両601の周辺環境を最終的に特定する。換言すれば、車両制御部603は、第1部分領域Sf1における周辺環境情報として周辺環境情報Ifaを採用する。一方、車両制御部603は、検出領域Sfbにおける周辺環境を示す周辺環境情報Ifbに基づいて、第2部分領域Sf2における車両601の周辺環境を最終的に特定する。換言すれば、車両制御部603は、第2部分領域Sf2における周辺環境情報として周辺環境情報Ifbを採用する。このように、車両制御部603は、車両601と重複周辺領域Sflとの間の相対的位置関係と、周辺環境情報Ifa,Ifbのうちの少なくとも一方とに基づいて、重複周辺領域Sflにおける車両601の周辺環境を最終的に特定する。
次に、ステップS623において、車両制御部603は、車両601の前方領域における周辺環境を最終的に特定する。特に、車両制御部603は、周辺環境情報Ifa,Ifbを融合することで、融合された周辺環境情報Igを生成する。周辺環境情報Igは、検出領域Sfa,Sfbを組合せた検出領域Sgにおける車両601の外部に存在する対象物に関する情報を含んでもよい。特に、本実施形態では、周辺環境情報Igは、以下の情報によって構成されてもよい。
・第2部分領域Sf2を除く検出領域Sfaにおける周辺環境情報Ifa
・第1部分領域Sf1を除く検出領域Sfbにおける周辺環境情報Ifb
このように、本実施形態によれば、周辺環境情報Ifa,Ifbのうちの少なくとも一方に基づいて、検出領域Sfaと検出領域Sfbとが互いに重複する重複周辺領域Sflにおける車両601の周辺環境が最終的に特定される。このように、重複周辺領域Sflにおける車両601の周辺環境を最終的に特定することができるので、車両601の周辺環境の認知精度を向上させることが可能な車両システム602を提供することができる。
さらに、照明システム604a(空間Sa)の側に位置する第1部分領域Sf1では、周辺環境情報Ifaに基づいて車両601の周辺環境が最終的に特定される。一方、照明システム604b(空間Sb)の側に位置する第2部分領域Sf2では、周辺環境情報Ifbに基づいて車両601の周辺環境が最終的に特定される。このように、重複周辺領域Sflと照明システム604a,604bとの間の位置関係を考慮した上で、重複周辺領域Sflにおける車両601の周辺環境が最終的に特定されるので、車両601の周辺環境の認知精度を向上させることができる。
次に、図47を参照して、照明システム604aの検出領域Sfaと照明システム604bの検出領域Sfbとが互いに重複する重複周辺領域Sflにおける車両601の周辺環境を最終的に特定する処理の他の一例について説明する。図47は、重複周辺領域Sflにおいて歩行者P7が存在する様子を示す図である。本例では、図45に示すステップS622の処理について以下に説明する。
図47に示すように、重複周辺領域Sf1に歩行者P7が存在する場合に、検出領域Sfaにおける周辺環境情報Ifaと検出領域Sfbにおける周辺環境情報Ifbが互いに異なるものとする。具体的には、周辺環境情報Ifaによって示される車両601と歩行者P7との間の相対的位置関係に関連するパラメータ(位置、距離、角度等)が周辺環境情報Ifbによって示される車両601と歩行者P7との間の相対的位置関係に関連するパラメータ(位置、距離、角度等)と異なるものとする。ここで、車両601と歩行者P7との間の角度とは、例えば、歩行者P7の中心点と車両601の中心点を結んだ線分と中心軸Ax(図46参照)との間によって形成される角度である。
例えば、周辺環境情報Ifaによって示される車両601と歩行者P7との間の距離がD1である一方、周辺環境情報Ifbによって示される車両601と歩行者P7との間の距離がD2(D1≠D2)であるとする。この場合、車両制御部603は、距離D1と距離D2の平均値を車両601と歩行者P7との間の距離として最終的に特定する。このように、車両制御部603は、周辺環境情報Ifaによって示されるパラメータと周辺環境情報Ifbによって示されるパラメータとの平均値を採用することで、重複周辺領域Sflにおける周辺環境情報を特定する。
尚、周辺環境情報Ifaが歩行者P7の存在を示す一方、周辺環境情報Ifbが歩行者P7の存在を示さない場合には、車両制御部603は、周辺環境情報Ifaと周辺環境情報Ifbとの間の優先度に関係なく、歩行者P7が存在すると判定してもよい。このように、2つの周辺環境情報のうち少なくとも一方が対象物の存在を示す場合には、対象物が存在すると判定されることで、車両601の走行安全性をさらに向上させることが可能となる。
また、2つのパラメータの平均値に基づいて重複周辺領域Sflにおける周辺環境情報を特定する方法に代わって、照明システム604aの3つのセンサの検出精度に関連する情報と、照明システム604bの3つのセンサの検出精度に関連する情報とに基づいて、重複周辺領域Sflにおける車両601の周辺環境が特定されてもよい。具体的には、車両制御部603は、照明システム604aの3つのセンサの検出精度の平均値(又は中央値)と照明システム604bの3つのセンサの検出精度の平均値(又は中央値)とを比較することで、重複周辺領域Sflにおける周辺環境情報を特定してもよい。
例えば、カメラ643aの検出精度、LiDARユニット644aの検出精度、ミリ波レーダ645aの検出精度がそれぞれ、95%、97%、90%とする一方、カメラ643bの検出精度、LiDARユニット644bの検出精度、ミリ波レーダ645bの検出精度がそれぞれ、90%、92%、90%とする。この場合、照明システム604aの3つのセンサの検出精度の平均値は、約94%となる。一方、照明システム604bの3つのセンサの検出精度の平均値は、約91%となる。このため、照明システム604aの検出精度の平均値は、照明システム604bの検出精度の平均値よりも大きいため、車両制御部603は、周辺環境情報Ifaを重複周辺領域Sflにおける周辺環境情報として採用する。このように、照明システム604aの3つのセンサの検出精度に関連した情報と、照明システム604bの3つのセンサの検出精度に関連した情報を考慮した上で、重複周辺領域Sflにおける車両601の周辺環境が最終的に特定されるので、車両601の周辺環境の認知精度を向上させることができる。尚、本例では、センサの検出精度が百分率で規定されているが、複数のランク(例えば、Aランク、Bランク、Cランク)で規定されてもよい。
次に、図48を参照して照明システム604cの検出領域Sfcと照明システム604dの検出領域Sfdとが互いに重複する重複周辺領域Sfrにおける車両601の周辺環境を最終的に特定する処理について説明する。図48は、検出領域Sfcと、検出領域Sfdと、これら2つの検出領域Sfc,Sfdが互いに重複する重複周辺領域Sfrを示す図である。
最初に、車両制御部603は、制御部640cの周辺環境情報融合部から検出領域Sfcにおける融合された周辺環境情報Ifcを受信する。次に、車両制御部603は、制御部640dの周辺環境情報融合部から検出領域Sfdにおける融合された周辺環境情報Ifdを受信する。ここで、検出領域Sfcは、照明システム604cの3つのセンサの検出領域を合成することで得られる検出領域である。同様に、検出領域Sfdは、照明システム604dの3つのセンサの検出領域を合成することで得られる検出領域である。その後、車両制御部603は、受信した周辺環境情報Ifc,Ifdのうちの少なくとも一方に基づいて、重複周辺領域Sfrにおける車両601の周辺環境を最終的に特定する。換言すれば、車両制御部603は、重複周辺領域Sfrにおける車両601の周辺環境を示す周辺環境情報を特定する。次に、車両制御部603は、車両601の後方領域における周辺環境を最終的に特定する。特に、車両制御部603は、周辺環境情報Ifc,Ifdを融合することで、融合された周辺環境情報Irを生成する。周辺環境情報Irは、検出領域Sfc,Sfdを組合せた検出領域Srにおける車両601の外部に存在する対象物に関する情報を含んでもよい。このように、重複周辺領域Sfrにおける車両601の周辺環境を最終的に特定することができるので、車両601の周辺環境の認知精度を向上させることが可能な車両システム602を提供することができる。
以上より、本実施形態によれば、制御部640a〜640dの各々は、照明システムに搭載された3つのセンサ(カメラ、LiDARユニット、ミリ波レーダ)の検出データに基づいて、融合された周辺環境情報を生成する。車両制御部603は、各制御部640a〜640dから周辺環境情報を受信した上で、車両601の前方領域及び後方領域における車両601の周辺環境を最終的に特定する。車両制御部603は、最終的に特定された周辺環境情報Ig,Irと、走行状態情報、現在位置情報及び/又は地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成した上で、車両601の走行を自動的に制御する。このように、各照明システムに搭載された各センサの検出データに基づいて生成された周辺環境情報を融合することで、車両601の周辺環境情報を最終的に特定することが可能となる。
尚、図47に示す検出領域Sgと図48に示す検出領域Srが互いに重複する場合には、車両制御部603は、検出領域Sgと検出領域Srが互いに重複する重複領域における周辺環境情報を特定してもよい。例えば、周辺環境情報Igによって示される車両601と対象物の相対位置関係に関連するパラメータと周辺環境情報Irによって示される車両601と対象物の相対位置関係に関連するパラメータとの平均値が採用されてもよい。また、車両制御部603は、照明システム604a,604bの複数センサの検出精度に関連する情報と照明システム604c,604dの複数センサの検出精度に関連する情報とを比較することで、上記重複領域における周辺環境情報を特定してもよい。
次に、図49を参照して本実施形態の変形例に係る車両システム602Aについて以下に説明する。図49は、車両システム602Aを示すブロック図である。図49に示すように、車両システム602Aは、制御部631,632を備える点で図38に示す車両システム602と相違する。制御部631は、照明システム604aの制御部640a及び照明システム604bの制御部640bに通信可能に接続されると共に、車両制御部603に通信可能に接続されている。また、制御部632は、照明システム604cの制御部640c及び照明システム604dの制御部640dに通信可能に接続されると共に、車両制御部603に通信可能に接続されている。
制御部631,632は、例えば、少なくとも一つの電子制御ユニット(ECU)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含む少なくとも一つのマイクロコントローラと、その他電子回路(例えば、トランジスタ等)を含んでもよい。また、電子制御ユニット(ECU)は、ASICやFPGA等の少なくとも一つの集積回路によって構成されてもよい。さらに、電子制御ユニットは、少なくとも一つのマイクロコントローラと少なくとも一つの集積回路(FPGA等)との組み合わせによって構成されてもよい。
本例では、制御部631,632は、車両制御部603に代わって、重複周辺領域における車両601の周辺環境を最終的に特定してもよい。この点において、図45に示すように、制御部631は、制御部640aの周辺環境情報融合部6450aから周辺環境情報Iafを受信すると共に(ステップS621)、制御部640bの周辺環境情報融合部6450bから周辺環境情報Ibfを受信する(ステップS622)。次に、制御部631は、受信した周辺環境情報Ifa,Ifbのうちの少なくとも一方に基づいて、重複周辺領域Sflにおける車両601の周辺環境を最終的に特定する。その後、制御部631は、車両601の前方領域における周辺環境情報Igを生成した上で(ステップS623)、周辺環境情報Igを車両制御部603に送信する。
一方、制御部632は、最初に、制御部640cの周辺環境情報融合部から周辺環境情報Ifcを受信すると共に、制御部640dの周辺環境情報融合部から周辺環境情報Ifdを受信する。次に、制御部632は、受信した周辺環境情報Ifc,Ifdのうちの少なくとも一方に基づいて、重複周辺領域Sfrにおける車両601の周辺環境を最終的に特定する。その後、制御部632は、車両601の後方領域における周辺環境情報Irを生成した上で、周辺環境情報Igを車両制御部603に送信する。
その後、車両制御部603は、周辺環境情報Ig,Irを受信した上で、周辺環境情報Ig,Irと、走行状態情報、現在位置情報及び/又は地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成した上で、車両601の走行を自動的に制御する。
図49に示す車両システム602Aでは、制御部631,632が設けられているため、車両制御部603で実行される処理の一部を制御部631,632に実行させることができる。このように、車両制御部603に課される演算負荷を分散することができるため、車両システム602Aのスループット及び安定性を向上させることができる。
また、本実施形態では、複数センサとして、カメラと、LiDARユニットと、ミリ波レーダを挙げているが、本実施形態はこれに限定されない。例えば、これらのセンサに加えて超音波センサが照明システムに搭載されてもよい。この場合、照明システムの制御部は、超音波センサの動作を制御すると共に、超音波センサによって取得された検出データに基づいて周辺環境情報を生成してもよい。また、各照明システムに搭載されるセンサの数は3つに限定されず、カメラと、LiDARユニットと、ミリ波レーダと、超音波センサのうち少なくとも2つが照明システムに搭載されてもよい。
以上、本発明の各実施形態について説明をしたが、本発明の技術的範囲が各実施形態の説明によって限定的に解釈されるべきではないのは言うまでもない。各実施形態は単なる一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
各実施形態では、車両の運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードと、手動運転モードとを含むものとして説明したが、車両の運転モードは、これら4つのモードに限定されるべきではない。車両の運転モードの区分は、各国における自動運転に係る法令又は規則に沿って適宜変更されてもよい。同様に、本実施形態の説明で記載された「完全自動運転モード」、「高度運転支援モード」、「運転支援モード」のそれぞれの定義はあくまでも一例であって、各国における自動運転に係る法令又は規則に沿って、これらの定義は適宜変更されてもよい。
本出願は、2017年8月3日に出願された日本国特許出願(特願2017−150693号)に開示された内容と、2017年8月3日に出願された日本国特許出願(特願2017−150694号)に開示された内容と、2017年8月3日に出願された日本国特許出願(特願2017−150695号)に開示された内容と、2017年10月12日に出願された日本国特許出願(特願2017−198532号)に開示された内容と、2017年10月12日に出願された日本国特許出願(特願2017−198533)に開示された内容と、2017年10月26日に出願された日本国特許出願(特願2017−207498号)に開示された内容とを適宜援用する。