JP7416114B2 - 表示制御装置および表示制御プログラム - Google Patents

表示制御装置および表示制御プログラム Download PDF

Info

Publication number
JP7416114B2
JP7416114B2 JP2022054411A JP2022054411A JP7416114B2 JP 7416114 B2 JP7416114 B2 JP 7416114B2 JP 2022054411 A JP2022054411 A JP 2022054411A JP 2022054411 A JP2022054411 A JP 2022054411A JP 7416114 B2 JP7416114 B2 JP 7416114B2
Authority
JP
Japan
Prior art keywords
map information
precision map
display mode
display
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022054411A
Other languages
English (en)
Other versions
JP2022079590A (ja
Inventor
智 堀畑
祐介 近藤
猛 羽藤
一輝 和泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019196468A external-priority patent/JP7052786B2/ja
Application filed by Denso Corp filed Critical Denso Corp
Publication of JP2022079590A publication Critical patent/JP2022079590A/ja
Application granted granted Critical
Publication of JP7416114B2 publication Critical patent/JP7416114B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)

Description

この明細書における開示は、虚像を表示させる表示制御装置および表示制御プログラムに関する。
特許文献1には、虚像の表示制御に地図情報を利用するヘッドアップディスプレイ装置が開示されている。この装置は、車両の現在位置と地図情報とに基づいて、車両前方の走路形状を虚像として表示する。
特許第4379600号公報
ところで、地図情報には、高精度地図情報と、高精度地図情報よりも比較的精度の低い低精度地図情報とが存在する。特許文献1には、これらの地図情報を有効利用することは想定されていない。
開示される目的は、地図情報を有効利用可能な表示制御装置および表示制御プログラムを提供することである。
この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、特許請求の範囲およびこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。
開示された表示制御装置のひとつは、車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
車両の位置を取得する車両位置取得部(201)と、
位置に対応する高精度地図情報または高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
高精度地図情報を取得可能である場合には、高精度地図情報に基づく第1表示態様で路面を重畳対象とした虚像を生成し、高精度地図情報を取得不可能である場合には、低精度地図情報に基づく、第1表示態様とは異なる第2表示態様で路面を重畳対象とした虚像を生成する表示生成部(206)と、
を備え、
表示生成部は、第1表示態様と第2表示態様とを虚像の投影領域(PA)における異なる位置に重畳表示させ、路面における走行予定経路の手前側の路面に重畳表示させる虚像としての特定コンテンツを、第1表示態様と第2表示態様とで路面における異なる重畳位置に重畳表示させ、特定コンテンツよりも走行予定経路の先の路面に重畳表示させる別コンテンツを、第1表示態様と第2表示態様とで車両の前後方向における重畳位置を変更しない
開示された表示制御装置のひとつは、車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
車両の位置を取得する車両位置取得部(201)と、
位置に対応する高精度地図情報または高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
高精度地図情報を取得可能である場合には、高精度地図情報に基づく第1表示態様で路面を重畳対象とした虚像を生成し、高精度地図情報を取得不可能である場合には、低精度地図情報に基づく、第1表示態様とは異なる第2表示態様で路面を重畳対象とした虚像を生成する表示生成部(206)と、
を備え、
表示生成部は、第1表示態様と第2表示態様とを虚像の投影領域(PA)における異なる位置に重畳表示させ、第1表示態様において車線の中央部(Lc)に虚像を重畳表示させ、第2表示態様において車幅方向における車両の中央を通り車両の前後方向に延びる仮想直線上の位置(Vc)または虚像の投影領域(PA)の左右方向における中央部(Ac)に対応する路面に、虚像を重畳表示させる。
開示された表示制御装置のひとつは、車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
車両の位置を取得する車両位置取得部(201)と、
位置に対応する高精度地図情報または高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
高精度地図情報を取得可能である場合には、高精度地図情報に基づく第1表示態様で路面を重畳対象とした虚像を生成し、高精度地図情報を取得不可能である場合には、低精度地図情報に基づく、第1表示態様と類似する第2表示態様で路面を重畳対象とした虚像を生成する表示生成部(206)と、
を備え、
表示生成部は、交差点(CP)を含む走行エリアにおける車両の走行予定経路を提示する経路案内画像を虚像に含み、第2表示態様で経路案内画像の生成を開始する交差点までの残距離を、第1表示態様で経路案内画像を生成する場合よりも短く設定する。
開示された表示制御装置のひとつは、車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
車両の位置を取得する車両位置取得部(201)と、
位置に対応する高精度地図情報または高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
車載センサ(4)から検出物体の高さ情報を取得するセンサ情報取得部(204)と、
高精度地図情報を取得可能である場合には、高精度地図情報に基づく第1表示態様で路面を重畳対象とした虚像を生成し、高精度地図情報を取得不可能である場合には、低精度地図情報に基づく、第1表示態様と類似する第2表示態様で路面を重畳対象とした虚像を生成する表示生成部(206)と、
を備え、
表示生成部は、車両の走行する道路形状に関して第1表示態様での虚像の生成を中止する形状条件が成立する場合には、高精度地図情報を取得可能であっても、第2表示態様で虚像を生成し、高精度地図情報を取得不可能であっても、センサ情報取得部にて高さ情報が取得される場合には、低精度地図情報と高さ情報との組み合わせに基づく表示態様で虚像を生成する
開示された表示制御装置のひとつは、車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
車両の位置を取得する車両位置取得部(201)と、
位置に対応する高精度地図情報または高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
車載センサ(4)から検出物体の高さ情報を取得するセンサ情報取得部(204)と、
高精度地図情報を取得可能である場合には、高精度地図情報に基づく第1表示態様で路面を重畳対象とした虚像を生成し、高精度地図情報を取得不可能である場合には、低精度地図情報に基づく、第1表示態様と類似する第2表示態様で路面を重畳対象とした虚像を生成する表示生成部(206)と、
を備え、
表示生成部は、高精度地図情報を取得不可能であっても、センサ情報取得部にて高さ情報が取得される場合には、低精度地図情報と高さ情報との組み合わせに基づく表示態様で虚像を生成する。
開示された表示制御プログラムのひとつは、車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
少なくとも1つの処理部(20a)を、
車両の位置を取得する車両位置取得部(201)と、
位置に対応する高精度地図情報または高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
高精度地図情報を取得可能である場合には、高精度地図情報に基づく第1表示態様で路面を重畳対象とした虚像を生成し、高精度地図情報を取得不可能である場合には、低精度地図情報に基づく、第1表示態様とは異なる第2表示態様で路面を重畳対象とした虚像を生成する表示生成部(206)、として機能させ、
表示生成部は、第1表示態様と第2表示態様とを虚像の投影領域(PA)における異なる位置に重畳表示させ、路面における走行予定経路の手前側の路面に重畳表示させる虚像としての特定コンテンツを、第1表示態様と第2表示態様とで路面における異なる重畳位置に重畳表示させ、特定コンテンツよりも走行予定経路の先の路面に重畳表示させる別コンテンツを、第1表示態様と第2表示態様とで車両の前後方向における重畳位置を変更しない
開示された表示制御プログラムのひとつは、車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
少なくとも1つの処理部(20a)を、
車両の位置を取得する車両位置取得部(201)と、
位置に対応する高精度地図情報または高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
高精度地図情報を取得可能である場合には、高精度地図情報に基づく第1表示態様で路面を重畳対象とした虚像を生成し、高精度地図情報を取得不可能である場合には、低精度地図情報に基づく、第1表示態様とは異なる第2表示態様で路面を重畳対象とした虚像を生成する表示生成部(206)、として機能させ、
表示生成部は、第1表示態様と第2表示態様とを虚像の投影領域(PA)における異なる位置に重畳表示させ、第1表示態様において車線の中央部(Lc)に虚像を重畳表示させ、第2表示態様において車幅方向における車両の中央を通り車両の前後方向に延びる仮想直線上の位置(Vc)または虚像の投影領域(PA)の左右方向における中央部(Ac)に対応する路面に、虚像を重畳表示させる。
開示された表示制御プログラムのひとつは、車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
少なくとも1つの処理部(20a)を、
車両の位置を取得する車両位置取得部(201)と、
位置に対応する高精度地図情報または高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
高精度地図情報を取得可能である場合には、高精度地図情報に基づく第1表示態様で路面を重畳対象とした虚像を生成し、高精度地図情報を取得不可能である場合には、低精度地図情報に基づく、第1表示態様と類似する第2表示態様で路面を重畳対象とした虚像を生成する表示生成部(206)、として機能させ、
表示生成部は、交差点(CP)を含む走行エリアにおける車両の走行予定経路を提示する経路案内画像を虚像に含み、第2表示態様で経路案内画像の生成を開始する交差点までの残距離を、第1表示態様で経路案内画像を生成する場合よりも短く設定する。
開示された表示制御プログラムのひとつは、車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
少なくとも1つの処理部(20a)を、
車両の位置を取得する車両位置取得部(201)と、
位置に対応する高精度地図情報または高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
車載センサ(4)から検出物体の高さ情報を取得するセンサ情報取得部(204)と、
高精度地図情報を取得可能である場合には、高精度地図情報に基づく第1表示態様で路面を重畳対象とした虚像を生成し、高精度地図情報を取得不可能である場合には、低精度地図情報に基づく、第1表示態様と類似する第2表示態様で路面を重畳対象とした虚像を生成する表示生成部(206)、として機能させ、
表示生成部は、車両の走行する道路形状に関して第1表示態様での虚像の生成を中止する形状条件が成立する場合には、高精度地図情報を取得可能であっても、第2表示態様で虚像を生成し、高精度地図情報を取得不可能であっても、センサ情報取得部にて高さ情報が取得される場合には、低精度地図情報と高さ情報との組み合わせに基づく表示態様で虚像を生成する
開示された表示制御プログラムのひとつは、車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
少なくとも1つの処理部(20a)を、
車両の位置を取得する車両位置取得部(201)と、
位置に対応する高精度地図情報または高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
車載センサ(4)から検出物体の高さ情報を取得するセンサ情報取得部(204)と、
高精度地図情報を取得可能である場合には、高精度地図情報に基づく第1表示態様で路面を重畳対象とした虚像を生成し、高精度地図情報を取得不可能である場合には、低精度地図情報に基づく、第1表示態様と類似する第2表示態様で路面を重畳対象とした虚像を生成する表示生成部(206)、として機能させ、
表示生成部は、高精度地図情報を取得不可能であっても、センサ情報取得部にて高さ情報が取得される場合には、低精度地図情報と高さ情報との組み合わせに基づく表示態様で虚像を生成する。
これらの開示によれば、高精度地図情報を取得可能である場合には、虚像の生成に高精度地図情報が用いられ、高精度地図情報を取得不可能である場合には、虚像の生成に低精度地図情報が用いられる。以上により、高精度地図情報と低精度地図情報とを使い分けての虚像表示が可能となる。したがって、地図情報を有効利用可能な表示制御装置および表示制御プログラムを提供することができる。
第1実施形態に係るHCUを含む車両システムの概略図である。 HUDの車両への搭載例を示す図である。 HCUの概略的な構成を示すブロック図である。 重畳表示の一例を示す図である。 重畳表示の一例を示す図である。 非重畳表示の一例を示す図である。 変形例の重畳表示による表示ずれの様子を示す図である。 表示の切替タイミングの一例を示す概念図である。 HCUの実行する処理の一例を示すフローチャートである。 第2実施形態に係るHCUを含む車両システムの概略図である。 第2実施形態のHCUの概略的な構成を示すブロック図である。 第3実施形態にて表示生成部が実行する表示レイアウトのシミュレーションの一例を可視化して示す図である。 第3実施形態における第1表示態様での虚像表示の一例を示す図である。 第3実施形態にて表示生成部が実行する表示レイアウトのシミュレーションの一例を可視化して示す図である。 第3実施形態における第2表示態様での虚像表示の一例を示す図である。 第3実施形態における第2表示態様での虚像表示の一例を示す図である。 HCUの実行する処理の一例を示すフローチャートである。 他の実施形態における第1表示態様での虚像表示の一例を示す図である。 他の実施形態における第2表示態様での虚像表示の一例を示す図である。
(第1実施形態)
第1実施形態の表示制御装置について、図1~図9を参照しながら説明する。第1実施形態の表示制御装置は、車両システム1に用いられるHCU(Human Machine Interface Control Unit)20として提供される。車両システム1は、自動車といった路上を走行する車両Aで用いられるものである。車両システム1は、一例として、図1に示すように、HMI(Human Machine Interface)システム2、ロケータ3、周辺監視センサ4、運転支援ECU6、およびナビゲーション装置7を含んでいる。HMIシステム2、ロケータ3、周辺監視センサ4、運転支援ECU6、およびナビゲーション装置7は、例えば車内LANに接続されている。
ロケータ3は、図1に示すように、GNSS(Global Navigation Satellite System)受信機30、慣性センサ31、高精度地図データベース(以下、高精度地図DB)32、およびロケータECU33を備えている。GNSS受信機30は、複数の人工衛星からの測位信号を受信する。慣性センサ31は、例えばジャイロセンサおよび加速度センサを備える。
高精度地図DB32は、不揮発性メモリであって、高精度地図データ(高精度地図情報)を格納している。高精度地図DB32は、後述のロケータECU33のメモリ装置により提供されている。高精度地図データは、道路に関する情報、白線等の区画線および道路標示に関する情報、構造物に関する情報等を有している。道路に関する情報には、例えば地点別の位置情報、カーブ曲率や勾配、他の道路との接続関係といった形状情報が含まれている。区画線や道路標示に関する情報には、例えば区画線および道路標示の種別情報、位置情報、および3次元形状情報が含まれている。構造物に関する情報には、例えば各構造物の種別情報、位置情報、および形状情報が含まれている。ここで構造物は、道路標識、信号機、街灯、トンネル、陸橋および道路に面する建物等である。
高精度地図データは、上述の各種位置情報および形状情報を、3次元座標により表される特徴点の点群データやベクトルデータ等として有している。すなわち高精度地図データは、位置情報に関して経緯度に加えて高度を含んだ3次元地図であるということもできる。高精度地図データは、これらの位置情報を比較的小さい(例えばセンチメートルオーダーの)誤差で有している。高精度地図データは、高さ情報まで含んだ3次元座標による位置情報を有しているという点で精度の高い地図データであり、また、その位置情報の誤差が比較的小さいという点でも精度の高い地図データである。
高精度地図データは、実際の道路上を走行する測量車の収集した情報に基づき作成されている。したがって、高精度地図データは、情報の収集されたエリアに関して作成され、情報の収集されていないエリアに関しては範囲外となっている。一般的に、高精度地図データは、現状で高速道路、自動車専用道路について比較的広いカバレッジで整備され、一般道路について比較的狭いカバレッジで整備されている。
ロケータECU33は、プロセッサ、RAM、メモリ装置、I/O、およびこれらを接続するバスを備えるマイクロコンピュータを主体として構成されている。ロケータECU33は、GNSS受信機30、慣性センサ31、および車内LANに接続されている。ロケータECU33は、GNSS受信機30で受信する測位信号と、慣性センサ31の計測結果とを組み合わせることにより、車両Aの自車位置を逐次測位する。
なお、ロケータECU33は、自車位置の測位に、自車に搭載された車速センサから逐次出力される検出結果から求めた走行距離等を用いてもよい。また、ロケータECU33は、後述の高精度地図データと、道路形状および構造物の特徴点の点群を検出するLIDAR等の周辺監視センサ4での検出結果とを用いて、自車位置を特定してもよい。ロケータECU33は、自車位置情報を車内LANへ出力する。
またロケータECU33は、図3に示すように、機能ブロックとして地図通知部301を有する。地図通知部301は、測位した自車位置情報と、高精度地図DB32の高精度地図データに基づいて、自車位置に対応する情報である車両Aの現在の自車位置についての情報が高精度地図データに含まれているか否かを判定する。地図通知部301は、例えば自車位置情報から車両Aの走行軌跡を算出し、高精度地図データの道路形状と重ね合わせる所謂マップマッチング処理を実行する。地図通知部301は、このマップマッチング処理の結果から現在の自車位置が高精度地図データに含まれているか否かを判定する。または、地図通知部301は、自車位置情報に基づき、車両Aの2次元位置情報(例えば経度、緯度)だけでなく高さ情報も利用して、現在の自車位置についての情報が高精度地図データに含まれているか否かを判定する。地図通知部301は、上述のマップマッチング処理または高さ情報を用いた処理により、高低差の異なる道路(例えば高架道路と地上道路)が近接している場合であっても、いずれの道路を車両Aが走行中であるかを判別することができる。これにより地図通知部301は、判定精度を向上させることができる。地図通知部301は、判定結果に基づいて、自車位置についての情報が高精度地図データに含まれているまたは含まれていない旨を示す通知情報を、HCU20へと出力する。
図1に戻り、周辺監視センサ4は、自車の周辺環境を監視する自律センサである。周辺監視センサ4は、歩行者、人間以外の動物、自車以外の車両等の移動する動的物標、および路上の落下物、ガードレール、縁石、走行区画線等の路面表示、および樹木等の静止している静的物標といった自車周辺の対象物を検出する。
例えば周辺監視センサ4としては、自車周囲の所定範囲を撮像する周辺監視カメラ、自車周囲の所定範囲に探査波を送信するミリ波レーダ、ソナー、LIDAR等の探査波センサがある。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として車内LANへ逐次出力する。探査波センサは、対象物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として車内LANへ逐次出力する。第1実施形態の周辺監視センサ4は、少なくとも、自車の前方の所定範囲を撮像範囲とする前方カメラ41を含む。前方カメラ41は、例えば、自車のルームミラー、インストルメントパネル上面等に設けられている。
運転支援ECU6は、乗員による運転操作の代行を行う自動運転機能を実行する。運転支援ECU6は、ロケータ3から取得する自車の車両位置および地図データ、周辺監視センサ4でのセンシング情報をもとに、自車の走行環境を認識する。
運転支援ECU6で実行する自動運転機能の一例としては、駆動力および制動力を調整することで、先行車との目標車間距離を維持するように自車の走行速度を制御するACC(Adaptive Cruise Control)機能がある。また、前方のセンシング情報をもとに制動力を発生させることで、自車を強制的に減速させるAEB(Autonomous Emergency Braking)機能がある。なお、運転支援ECU6は、自動運転の機能として他の機能を備えていてもよい。
ナビゲーション装置7は、ナビゲーション地図データを格納したナビゲーション地図データベース(以下、ナビゲーション地図DB)70を備える。ナビゲーション装置7は、設定される目的地までの時間優先、距離優先等の条件を満たす経路を探索し、その探索した経路に従った経路案内を行う。ナビゲーション装置7は、探索した経路を予定経路情報として車内LANに出力する。
ナビゲーション地図DB70は、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状等のナビゲーション地図データを格納している。ナビゲーション地図データは、高精度地図データよりも比較的広範囲のエリアにて整備されている。リンクデータは、リンクを特定するリンクID、リンクの長さを示すリンク長、リンク方位、リンク旅行時間、リンクの始端と終端とのノード座標、および道路属性等の各データから構成される。ノードデータは、地図上のノード毎に固有の番号を付したノードID、ノード座標、ノード名称、ノード種別、ノードに接続するリンクのリンクIDが記述される接続リンクID、交差点種別等の各データから構成される。
ナビゲーション地図データは、2次元の位置座標情報としてノード座標を有している。すなわちナビゲーション地図データは、位置情報に関して経緯度を含んだ2次元地図であるということもできる。ナビゲーション地図データは、位置情報に関して高さ情報を有していない点で高精度地図データよりも比較的低い精度の地図データであり、また、位置情報の誤差が比較的大きいという点でも低い精度の地図データである。ナビゲーション地図データは、低精度地図情報の一例である。
HMIシステム2は、操作デバイス21、表示装置23、およびHCU20を備えており、自車のユーザである乗員からの入力操作を受け付けたり、自車の乗員に向けて情報を提示したりする。操作デバイス21は、自車の乗員が操作するスイッチ群である。操作デバイス21は、各種の設定を行うために用いられる。例えば、操作デバイス21としては、自車のステアリングのスポーク部に設けられたステアリングスイッチ等がある。
表示装置23は、例えばヘッドアップディスプレイ(以下、HUDと表記)230、メータに設けられたマルチインフォメーションディスプレイ(MID)231、およびセンターインフォメーションディスプレイ(CID)232を含む。図2に示すようにHUD230は、自車のインストルメントパネル12に設けられている。HUD230は、例えば液晶式又は走査式等のプロジェクタ230aにより、HCU20から出力される画像データに基づく表示画像を形成する。CID232の表示画面には、ナビゲーション地図データおよび目的地へ向けたルート情報等がナビゲーション装置7によって表示される。
HUD230は、プロジェクタ230aによって形成される表示画像を、例えば凹面鏡等の光学系230bを通じて、投影部材としてのフロントウインドシールドWSに規定された投影領域PAに投影する。投影領域PAは、運転席前方に位置するものとする。フロントウインドシールドWSによって車室内側に反射された表示画像の光束は、運転席に着座する乗員によって知覚される。また、透光性ガラスにより形成されるフロントウインドシールドWSを透過した、自車の前方に存在する風景としての前景からの光束も、運転席に着座する乗員によって知覚される。これにより、乗員は、フロントウインドシールドWSの前方にて結像される表示画像の虚像Viを、前景の一部と重ねて視認可能となる。
以上によりHUD230は、車両Aの前景に虚像Viを重畳表示する。HUD230は、虚像Viを前景中の特定の重畳対象に重畳し、所謂AR(Augmented Reality)表示を実現する。加えてHUD230は、虚像Viを特定の重畳対象に重畳せず、単に前景に重畳表示する非AR表示を実現する。なお、HUD230が表示画像を投影する投影部材は、フロントウインドシールドWSに限られず、透光性コンバイナであってもよい。
HCU20は、プロセッサ20a、RAM20b、メモリ装置20c、I/O20d、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、HUD230と車内LANとに接続されている。HCU20は、メモリ装置20cに記憶された表示制御プログラムを実行することにより、HUD230による表示を制御する。HCU20は、表示制御装置の一例であり、プロセッサ20aは処理部の一例である。メモリ装置20cは、コンピュータによって読み取り可能なプログラムおよびデータを非一時的に格納する非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。
HCU20は、HUD230にて虚像Viとして表示するコンテンツの画像を生成し、HUD230へと出力する。虚像Viの一例として、HCU20は、図4~図6に示すように、乗員に対して車両Aの走行予定経路を案内する経路案内画像を生成する。
HCU20は、図4および図5に示すような、路面に対して重畳されるAR案内画像Gi1を生成する。AR案内画像Gi1は、例えば走行予定経路に沿って路面上に連続して並ぶ3次元的な表示態様(以下、3次元表示態様)で生成される。図4は、勾配のある道路に対してAR案内画像Gi1を重畳表示している例である。図5は、進行先で車線が増加している道路形状に沿ってAR案内画像Gi1を重畳表示している例である。
またはHCU20は、図6に示すような、単に前景に表示される非AR案内画像Gi2を経路案内画像として生成する。非AR案内画像Gi2は、例えば走行すべき車線をハイライト表示する画像、および進行ルートの示された交差点の画像等、フロントウインドシールドWSに対して固定された2次元的な表示態様(以下、2次元表示態様)で生成される。すなわち、非AR案内画像Gi2は、前景中の特定の重畳対象には重畳されず、単に前景に重畳される虚像Viである。3次元表示態様は、第1表示態様の一例であり、2次元表示態様は、第2表示態様の一例である。
HCU20は、AR案内画像Gi1および非AR案内画像Gi2の生成に関わる機能ブロックとして、自車位置取得部201、地図判定部202、地図情報取得部203、センサ情報取得部204、表示態様決定部205、および表示生成部206を備える。自車位置取得部201は、ロケータ3から自車位置情報を取得する。自車位置取得部201は、車両位置取得部の一例である。
地図判定部202は、ロケータ3から取得した通知情報等に基づいて、虚像Viの生成に用いる地図情報として、高精度地図データおよびナビゲーション地図データのどちらを取得するかを判定する。
地図判定部202は、高精度地図データを取得可能か否か判定する。地図判定部202は、車両Aの現在の自車位置が高精度地図データに含まれている場合に、高精度地図データを取得可能であると判定する。地図判定部202は、ロケータECU33から出力された通知情報に基づいて、この判定処理を行う。ここでの判定処理に用いられる自車位置には、虚像Viを重畳し得る車両Aの周囲のエリアを含んでいてよい。また、地図判定部202は、ロケータ3からの通知情報によらず、ロケータ3から取得する自車位置情報と高精度地図データとに基づいて、自身で高精度地図データを取得可能か否か判定してもよい。地図判定部202は、上述の判定処理を走行中に継続的に実施してもよく、所定の走行区間ごとに断続的に実施してもよい。
また、地図判定部202は、高精度地図データに、車両Aの将来走行区間GSについての情報が含まれているか否かを判定する(区間判定処理)。将来走行区間GSは、例えば、車両Aの走行予定経路のうち、経路案内画像を表示する必要のある直近の走行区間である。経路案内画像を表示する必要のある表示区間は、例えば、交差点等の複数の道路が接続されている地点を含む区間、車線変更が必要な区間等である。
例えば地図判定部202は、図8に示すような将来走行区間GSの全範囲が高精度地図データに含まれているか否か判定する。図8は、車両Aが高速道路からランプウェイを通過して一般道路へと進入しようとする状況を示している。図8においては、車両Aがランプウェイと一般道路とが接続される交差点CPにて左折する場合を想定している。
図8の道路は、ランプウェイ上に示す2点鎖線を境界線として、高精度地図データおよびナビゲーション地図データの両方が整備されているエリアと、ナビゲーション地図データのみ整備されているエリアとに分かれている。このため将来走行区間GSのうち、経路案内を開始する始点ps(例えば交差点CPから300m手前の地点)から境界線までの区間は、高精度地図データに含まれている。一方で、境界線から経路案内を終了する終点pf(例えば交差点の退出点)までの区間は、高精度地図データに含まれておらず、ナビゲーション地図データのみに含まれている。この場合、地図判定部202は、高精度地図データに車両Aの将来走行区間GSについての情報が含まれていないと判定する。
地図判定部202は、例えばナビゲーション装置7から提供される予定経路情報およびロケータ3から提供される高精度地図データに基づいて、この区間判定処理を実施する。地図判定部202は、この区間判定処理を、車両Aが始点psに到達したタイミングまたは接近したタイミングで実施する。または、地図判定部202は、ロケータECU33にて実施された上述の区間判定処理の判定結果を取得する構成であってもよい。
加えて、地図判定部202は、車両Aの走行する道路形状に関してAR案内画像Gi1の生成が不要な形状条件、すなわちAR案内画像Gi1の生成を中止する形状条件が成立するか否かを判定する(形状判定処理)。形状条件は、例えば経路案内において、非AR案内画像Gi2によって乗員に対して走行予定経路を正確に伝達することが可能な道路形状であると評価される場合に、成立する。そして、AR案内画像Gi1ではなく非AR案内画像Gi2を表示した場合に乗員が走行予定経路を誤認し得ると評価される場合、形状条件が不成立となる。ここで道路形状とは、道路の備える車線数、勾配や曲率、他の道路との接続関係等である。例えば、経路案内を実施する区間が1車線である場合、進行先の車線が一意に決定されるため、非AR案内画像Gi2によって走行予定経路を正確に伝達可能であり、形状条件が成立する。また、右左折の案内を実施する交差点と車両Aとの間に他の交差点が存在しない場合、右左折を実施する交差点が一意に決定されるため、非AR案内画像Gi2によって走行予定経路を正確に伝達可能であり、形状条件が成立する。また、道路が実質的に勾配のない平坦路である場合、車両Aの進行先を見通すことが可能であるため、非AR案内画像Gi2によって走行予定経路を正確に伝達可能であり、形状条件が成立する。形状条件の成立は、例えば道路が平坦路であり且つ1車線のみである場合等、上述した複数の場合の組合せにより判定されてもよい。
地図判定部202は、ロケータ3から提供される高精度地図データ、周辺監視センサ4の検出情報等に基づいて、形状条件の成立有無を判定する。または、地図判定部202は、ロケータECU33にて実施された上述の形状判定処理の判定結果を取得する構成であってもよい。
地図判定部202は、現在の自車位置において高精度地図データを取得可能な場合に、高精度地図データを取得すると判定する。ただし地図判定部202は、高精度地図データに将来走行区間GSについての情報が含まれていない場合、または形状条件が成立する場合には、現在の自車位置において高精度地図データを取得可能であっても、ナビゲーション地図データを取得すると判定する。
地図情報取得部203は、地図判定部202における判定結果に基づいて、高精度地図データおよびナビゲーション地図データのいずれかを取得する。地図情報取得部203は、高精度地図データを取得可能であると判定されている場合に、高精度地図データを取得する。地図情報取得部203は、高精度地図データを取得不可能であると判定されている場合に、高精度地図データではなくナビゲーション地図データを取得する。
ただし、地図情報取得部203は、案内地点に関する情報が高精度地図データに含まれていないと判定されている場合には、高精度地図データを取得可能であると判定されている場合であっても、ナビゲーション地図データを取得する。加えて地図情報取得部203は、形状条件が成立していると判定されている場合には、高精度地図データを取得可能であると判定されている場合であっても、ナビゲーション地図データを取得する。地図情報取得部203は、取得した地図情報を、表示態様決定部205へと逐次出力する。
センサ情報取得部204は、車両Aの前方の検出物体に関する検出情報を取得する。検出情報には、AR案内画像Gi1の重畳対象である路面の高さ情報、または高さ情報を推定できる検出物体の高さ情報が含まれる。検出物体には、停止線、交差点の中央標示、および走行区画線等の路面標示や、道路標識、縁石、および信号機等の路上設置物が含まれる。検出情報は、ナビゲーション地図データを用いてAR案内画像Gi1を生成する際に、ナビゲーション地図データまたはAR案内画像Gi1の重畳位置を補正するための情報である。検出情報は、走行道路の形状情報、走行道路の車線数情報、および車両Aが現在走行中の車線情報等を含んでいてもよい。センサ情報取得部204は、検出情報の取得を試み、取得できた場合に表示態様決定部205へと逐次出力する。
表示態様決定部205は、経路案内画像を3次元表示態様および2次元表示態様のどちらの表示態様で生成するか、すなわち、経路案内画像としてAR案内画像Gi1および非AR案内画像Gi2のどちらを表示生成部206にて生成するか決定する。
HUD230においては、ナビゲーション地図データに基づいてAR案内画像Gi1を表示しようとした場合、図7に示す変形例のように路面に対してAR案内画像Gi1が浮いたように表示されたり、または路面に対して埋まったように表示されたりし得る。このような重畳位置のずれは、ナビゲーション地図データが高精度地図データに比較して特に高さ情報の精度が低い、または高さ情報を有しておらず、道路の勾配形状を反映してAR案内画像Gi1を生成することができないために発生する。表示態様決定部205は、重畳位置のずれたAR案内画像Gi1の生成を抑制するため、高精度地図データの取得可否に基づき、生成する経路案内画像をAR案内画像Gi1と非AR案内画像Gi2とから選択する。
表示態様決定部205は、地図情報取得部203にて高精度地図データが取得されている場合には、経路案内画像の表示態様を3次元表示態様に決定する。表示態様決定部205は、地図情報取得部203にて高精度地図データが取得不可能である場合には、経路案内画像の表示態様を2次元表示態様に決定する。ただし、表示態様決定部205は、地図情報取得部203にて高精度地図データが取得不可能である場合であっても、センサ情報取得部204にて検出情報が取得できている場合には、経路案内画像の表示態様を3次元表示態様に決定する。表示態様決定部205は、決定した表示態様を表示生成部206へと出力する。
表示生成部206は、取得された各種情報に基づき、表示態様決定部205にて決定された表示態様にて経路案内画像を生成する。表示態様が3次元表示態様に決定されている場合、表示生成部206は、高精度地図データの3次元位置座標の情報に基づいて、AR案内画像Gi1を重畳する路面の3次元の位置座標を特定する。表示生成部206は、路面の位置座標と、自車位置座標とに基づき、車両Aに対する路面の相対的な3次元位置(相対位置)を特定する。また、表示生成部206は、高精度地図データに基づき路面の勾配情報を算出または取得する。表示生成部206は、例えば坂道を規定する2地点の位置座標を用いた幾何学的な演算により勾配情報を算出する。または、表示生成部206は、区画線の3次元形状情報に基づき勾配情報を算出してもよい。または、表示生成部206は、高精度地図データの含む情報のうち勾配情報を推定可能な情報に基づき勾配情報を推定してもよい。表示生成部206は、特定された相対位置、DSM22から取得される乗員の視点位置、および投影領域PAの位置の関係、および相対位置における路面の勾配等に基づき、幾何学的な演算によってAR案内画像Gi1の投影位置および投影形状を算出する。表示生成部206は、算出結果に基づいてAR案内画像Gi1を生成し、HUD230へデータを出力してAR案内画像Gi1を虚像Viとして表示させる。
また表示生成部206は、センサ情報取得部204にて検出情報が取得できていることに基づいて3次元表示態様に決定されている場合、ナビゲーション地図の2次元位置座標と、周辺情報とを組み合わせて、AR案内画像Gi1を生成する。例えば表示生成部206は、検出情報から取得される、または推定される高さ情報と、ナビゲーション地図の2次元位置座標とから、AR案内画像Gi1を重畳する路面の3次元の位置座標を特定する。表示生成部206は、特定した位置座標を用いて、高精度地図データを用いる場合と同様にAR案内画像Gi1の投影位置および投影形状を算出する。なお、表示生成部206は、検出情報に走行道路の形状情報、走行道路の車線数情報、および車両Aが現在走行中の車線情報等が含まれている場合、これらの情報をAR案内画像Gi1の重畳位置の補正に利用してもよい。
表示態様が2次元表示態様に決定されている場合、表示生成部206は、ナビゲーション地図の2次元位置座標の情報を取得し、経路案内画像を生成する。表示生成部206は、2次元位置座標を取得していることに基づき、経路案内画像の前景に対する重畳位置を、予め設定された位置に決定する。表示生成部206は、2次元位置座標に基づき、経路案内画像の投影形状を決定し、経路案内画像を生成する。表示生成部206は、HUD230へ生成したデータを出力して経路案内画像を非AR表示の虚像Viとして表示させる。
加えて、表示生成部206は、表示している経路案内画像の表示態様を乗員に提示する態様提示画像Iiを生成する。表示生成部206は、例えば態様提示画像Iiを文字画像として生成する。図4~図6に示す例では、AR案内画像Gi1が表示されている場合、表示生成部206は、「3D」の文字画像にて3次元表示態様を示す態様提示画像Iiとして生成している。そして非AR案内画像Gi2が表示されている場合、表示生成部206は、「2D」の文字画像を、2次元表示態様を示す態様提示画像Iiとして生成している。
なお、表示生成部206は、態様提示画像Iiを、記号や図柄等の文字情報以外の情報として提示してもよい。また、表示生成部206は、態様提示画像IiをCID232やMID231等のHUD230以外の表示装置に表示させてもよい。この場合、表示生成部206は、表示態様を乗員に提示しつつHUD230の投影領域PA内の情報量を低減させることができ、乗員の煩わしさを低減できる。「表示生成部206」は、「態様提示部」の一例である。
次に、HCU20の実行する表示処理について、図9のフローチャートを参照して説明する。HCU20は、図9の処理を、ナビゲーション装置7に目的地が設定されて走行予定経路が設定された場合に開始する。
まずステップS10では、経路案内表示を開始するか否かを判定する。例えばステップS10では、案内地点と車両Aとの間の距離が閾値(例えば300m)を下回った場合に、経路案内表示を開始すると判定する。経路案内表示を開始すると判定すると、ステップS20へと進み、ロケータ3から自車位置情報を取得する。
次にステップS30では、ロケータ3から自車位置およびその周辺に関する通知情報を取得して、ステップS40へと進む。ステップ40では、通知情報等に基づき、高精度地図データを取得可能であるか否かを判定する。取得可能であると判定すると、ステップS42へと進む。
ステップS42では、ロケータ3からの情報に基づいて、将来走行区間GSに、高精度地図データがあるか否かを判定する。将来走行区間GSに高精度地図データがあると判定されると、ステップS44へと進み、形状条件が成立するか否かを判定する。形状条件が成立しないと判定されると、ステップS50へと進む。
ステップS50では、地図情報取得部203が高精度地図データを取得する。ステップS60では、取得された高精度地図データの3次元座標に基づいて、3次元表示態様の経路案内画像を生成し、ステップS120へと進む。ステップS120では、生成した経路案内画像をHUD230へと出力し、HUD230に経路案内画像を虚像Viとして生成させる。
一方ステップS40にて、高精度地図データを取得不可能であると判定されると、ステップS70へと進む。ステップS70では、車載センサから検出情報を取得可能であるか否かを判定する。検出情報を取得不可能であると判定された場合、ステップS80へと進む。
ステップS80では、ナビゲーション装置7よりナビゲーション地図データを取得して、ステップS90へと進む。ステップS90では、ナビゲーション地図データに基づき、2次元表示態様で経路案内画像を生成する。その後ステップS120へと進み、生成した経路案内画像をHUD230へと出力する。
また、ステップS42にて将来走行区間GSが高精度地図データに含まれないと判定された場合にも、ステップS80へと進む。加えて、ステップS44にて形状条件が成立すると判定された場合にも、ステップS80へと進む。
一方、ステップS70にて周辺監視センサ4から検出情報を取得可能であると判定された場合には、ステップS100へと進む。ステップS100では、ナビゲーション地図データおよび検出情報を取得する。ステップS110では、ナビゲーション地図データおよび検出情報に基づいて、3次元表示態様の経路案内画像を生成する。その後ステップS120にて、生成した画像データを、HUD230へと出力する。
次に第1実施形態のHCU20の構成および作用効果について説明する。
HCU20は、前景中における虚像Viの重畳位置に関する地図情報を、高精度地図データまたはナビゲーション地図データとして取得する地図情報取得部203と、地図情報に基づいて虚像Viを生成する表示生成部206とを備える。表示生成部206は、高精度地図データを取得可能である場合には、高精度地図データに基づく3次元表示態様で虚像Viを生成し、高精度地図データを取得不可能である場合には、ナビゲーション地図データに基づく、2次元表示態様で虚像Viを生成する。
これによれば、高精度地図データを取得可能である場合には、虚像Viの生成に高精度地図データが用いられ、高精度地図データを取得不可能である場合には、虚像Viの生成に低精度地図情報が用いられる。これにより、高精度地図データと低精度地図情報とを使い分けての虚像Viの表示が可能となる。以上により、地図情報を有効利用可能なHCU20および表示制御プログラムを提供することができる。
表示生成部206は、3次元表示態様において、虚像Viを前景中の特定の重畳対象である路面に重畳させ、2次元表示態様において、虚像Viを路面に重畳させない。これにより、HCU20は、比較的低精度なナビゲーション地図データに基づいて虚像Viを路面に重畳させることを回避できる。したがって、HCU20は、精度の低い地図情報に基づく虚像Viの重畳表示によって表示位置のずれが発生することを抑制できる。
表示生成部206は、高精度地図データに、車両Aの将来走行区間GSに関する情報が含まれていない場合には、高精度地図データを取得可能である場合であっても、2次元表示態様で虚像Viを生成する。これによれば、現在位置において高精度地図データの取得が可能な場合であっても、案内地点において高精度地図データがない場合、3次元表示態様での虚像Viの生成を行わない。このため、案内地点の付近で虚像Viの表示態様が3次元表示態様から2次元表示態様へと変更することを回避できる。したがって、HCU20は、虚像Viの表示態様の変更により乗員に煩わしさを与えることを抑制できる。
表示生成部206は、車両Aの走行する道路形状に関して3次元表示態様での虚像Viの生成を中止する形状条件が成立する場合には、高精度地図データを取得可能である場合であっても、2次元表示態様で虚像Viを生成する。これによれば、HCU20は、走行道路が2次元表示態様の虚像Viで比較的乗員に情報を伝達しやすい道路形状である場合には、2次元表示態様で虚像Viを生成できる。これにより、HCU20は、虚像Viの情報を乗員に伝達しつつ、高精度地図データを用いることによる処理の煩雑化を抑制できる。
HCU20は、周辺監視センサ4から検出情報を取得するセンサ情報取得部204を備える。表示生成部206は、高精度地図データを取得不可能である場合で、センサ情報取得部204にて検出情報を取得可能である場合には、ナビゲーション地図データと検出情報との組み合わせに基づく3次元表示態様で虚像Viを生成する。これによれば、HCU20は、高精度地図データを取得不可能である場合であっても、ナビゲーション地図データに検出情報を組み合わせることで、高精度地図データに基づく表示態様と同様の表示態様で、虚像Viを生成できる。
表示生成部206は、3次元表示態様および2次元表示態様のいずれで虚像Viが生成されているのかを乗員に提示する。これによれば、HCU20は、虚像Viの表示態様を乗員に対してより直接的に提示することができる。したがって、HCU20は、乗員に対して虚像Viの示す情報の理解を促進させることが可能となる。
地図情報取得部203は、道路の勾配情報、区画線の3次元形状情報、および道路勾配が推定可能な情報の少なくとも1つを含む地図情報を高精度地図データとして取得する。これによれば、HCU20は、道路の勾配情報を取得または推定して3次元表示態様の虚像Viを生成できる。このため、HCU20は、3次元表示態様の虚像Viの表示位置のずれをより確実に抑制できる。
(第2実施形態)
第2実施形態では、第1実施形態におけるHCU20の変形例について説明する。図10および図11において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第1実施形態において、HCU20は、ロケータ3に格納された高精度地図データを取得するとした。これに代えて、HCU20は、プローブ地図データを高精度地図情報として取得してもよい。
センタ9は、複数のプローブ車両Mから送信されたプローブ情報を通信部91にて受信し、制御部90に保存する。プローブ情報は、各プローブ車両Mにおける周辺監視センサ4、またはロケータ3等により取得された情報であり、プローブ車両Mの走行軌跡、道路の形状情報等を、3次元位置座標にて表される情報として含んでいる。
制御部90は、プロセッサ、RAM、メモリ装置、I/O、およびこれらを接続するバスを備えるマイクロコンピュータを主体として構成されている。制御部90は、機能ブロックとして地図生成部90aを備える。地図生成部90aは、取得したプローブ情報に基づいて、プローブ地図データを生成する。プローブ情報が3次元位置座標を含むデータであるため、生成されるプローブ地図データは、各地点の高さ情報を含んだ3次元地図データとなる。
車両システム1は、通信部8にて無線通信網を介してセンタ9と通信し、プローブ地図データを取得する。通信部8は、取得したプローブ地図データを、運転支援ECU6に保存する。
運転支援ECU6は、機能ブロックとして地図通知部601を有する。地図通知部601は、第1実施形態におけるロケータ3の地図通知部301と同様に、測位した車両位置と、ナビゲーション装置7から取得した情報とに基づき、自車位置およびその周囲のエリアに関する情報がプローブ地図データに含まれているか否かを判定する。地図通知部601は、自車位置およびその周囲のエリアに関する情報がプローブ地図データに含まれていると判定した場合には、その旨を通知情報としてHCU20に出力する。
HCU20の地図情報取得部203は、地図判定部202にて高精度地図情報であるプローブ地図データを取得可能であると判定された場合には、運転支援ECU6からプローブ地図データを取得する。表示生成部206は、プローブ地図データに基づいて、AR案内画像Gi1を生成する。
(第3実施形態)
第3実施形態では、第1実施形態におけるHCU20の変形例について説明する。図12~図17において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第3実施形態のHCU20は、第1表示態様において、高精度地図データに基づく重畳位置にて、路面に対して経路案内画像を重畳表示させ、第2表示態様において、ナビゲーション地図データに基づく重畳位置にて、路面に対して経路案内画像を重畳表示させる。以下において、第1表示態様の経路案内画像を、第1AR案内画像CT1、第2表示態様の経路案内画像を、第2AR案内画像CT2と表記する。
表示態様決定部205は、高精度地図データを取得可能な場合には、第1AR案内画像CT1の表示を決定し、高精度地図データを取得不可能であり且つナビゲーション地図データを取得可能な場合には、第2AR案内画像CT2の表示を決定する。
ただし、表示態様決定部205は、高精度地図データの新しさ(鮮度)に関して定められた鮮度条件が成立する場合には、高精度地図データを取得可能であっても、第2AR案内画像CT2の表示を決定する。鮮度条件は、例えば、高精度地図データがナビゲーション地図データよりも古い場合に成立する。
加えて、表示態様決定部205は、第2表示態様にて表示する場合における重畳位置ずれの大きさを、取得した各種情報に基づいて評価する。表示態様決定部205は、例えば自車位置の測位精度、および地物認識情報の有無に基づいて、重畳位置ずれの大きさを評価する。
表示態様決定部205は、自車位置の測位精度について、所定のレベル以上であるか否かを判定する。具体的には、表示態様決定部205は、ロケータ3から取得した自車位置を、周辺監視センサ4から取得した検出情報により評価する。例えば、表示態様決定部205は、前方カメラ41の撮像画像から交差点CPを検出し、交差点CPに対する車両Aの相対位置を解析する。そして表示態様決定部205は、当該相対位置と地図データとから特定される車両Aの位置と、ロケータ3から取得した自車位置とのずれの大きさが、所定のレベル以上であるか否か判定する。なお、表示態様決定部205は、車両Aの位置を特定可能な交差点CP以外の物体を撮像画像から検出し、上述の処理を実施してもよい。表示態様決定部205は、撮像画像の解析結果を運転支援ECU6等の他のECUから取得してもよい。
なお、表示態様決定部205は、疑似距離の残差、ロケータ3にて捕捉された測位衛星の個数、測位信号のS/N比等に基づく測位精度の評価値が所定のレベル以上の高さであるか否かを判定してもよい。
表示態様決定部205は、地物認識情報が周辺監視センサ4から取得されているか否かを判定する。地物認識情報は、周辺監視センサ4による地物の認識情報であり、車両Aの前後左右方向の重畳位置の補正に使用可能な情報である。当該地物には、例えば、停止線、交差点の中央標示、走行区画線等の路面標示が含まれる。これらの地物の車両Aに対する相対位置に基づき、地図データ上での自車位置を補正することで、第2AR案内画像CT2の前後左右方向の重畳位置を補正可能である。なお、路面標示以外に、縁石等の道路境界、標識等の路上設置物などが自車位置の補正に使用可能な地物に含まれていてもよい。
表示態様決定部205は、以上の各種情報の組み合わせ、すなわち自車位置の測位精度の高低、および地物認識情報の有無の組み合わせに基づいて、表示される第2AR案内画像CT2の重畳位置ずれの大きさを評価する。例えば、表示態様決定部205は、組み合わせに応じて、重畳位置ずれの大きさを「小」「中」「大」の3段階のレベルに分類する。
具体的には、表示態様決定部205は、測位精度が所定のレベル以上であり、地物認識情報が有る場合には、ずれの大きさ小と判定する。表示態様決定部205は、測位精度が所定のレベル以上であり、地物認識情報が無い場合には、ずれの大きさ中と判定する。表示態様決定部205は、測位精度が所定のレベル未満であり、地物認識情報が有る場合にも、ずれの大きさ中と判定する。表示態様決定部205は、測位精度が所定のレベル未満であり、地物認識情報も無い場合には、ずれの大きさ大と判定する。
表示態様決定部205は、表示態様の決定結果および第2表示態様の場合に評価したずれの大きさを、経路案内画像の生成に必要な情報とともに表示生成部206へと提供する。
表示生成部206は、表示態様決定部205から提供された情報に基づき、第1AR案内画像CT1および第2AR案内画像CT2のいずれかを生成する。各AR案内画像CT1,CT2は、AR表示によって案内地点における車両Aの走行予定経路を示す。各AR案内画像CT1,CT2は、第1実施形態と同様に路面を重畳対象としたAR虚像である。一例として、交差点CPを含む走行エリアにおける交差点CPでの右左折(図では左折)を案内するシーンの場合、各AR案内画像CT1,CT2は、交差点CPへの進入経路を示す進入経路コンテンツCTaと、交差点CPからの退出経路を示す退出経路コンテンツCTeとを含んでいる。進入経路コンテンツCTaは、例えば、走行予定経路に沿って並んだ三角形状の複数のオブジェクトとされる。退出経路コンテンツCTeは、走行予定経路に沿って並んだ矢印形状の複数のオブジェクトとされる。
第1AR案内画像CT1を生成する場合、表示生成部206は、高精度地図データを利用して第1AR案内画像CT1の重畳位置および重畳形状を決定する。具体的には、表示生成部206は、高精度地図データに基づく路面位置、ロケータ3による自車位置、DSM22による乗員の視点位置、および設定された投影領域PAの位置関係等の各種位置情報を用いる。表示生成部206は、この各種位置情報に基づき、幾何学的な演算により第1AR案内画像CT1の重畳位置および重畳形状を算出する。
詳記すると、表示生成部206は、高精度地図データに基づく自車位置情報、高精度地図データおよび検出情報等に基づいて車両Aの現在の走行環境を仮想空間中に再現する。詳記すると、図12に示すように、表示生成部206は、仮想の3次元空間の基準位置に自車オブジェクトAOを設定する。表示生成部206は、地図データの示す形状の道路モデルを、自車位置情報に基づき、自車オブジェクトAOに関連付けて、3次元空間にマッピングする。
表示生成部206は、自車オブジェクトAOに関連付けて、仮想カメラ位置VPおよび重畳範囲SAを設定する。仮想カメラ位置VPは、乗員の視点位置に対応する仮想位置である。表示生成部206は、DSM22から取得される最新の視点位置座標に基づき、自車オブジェクトAOに対する仮想カメラ位置VPを逐次補正する。重畳範囲SAは、虚像Viの重畳表示が可能となる範囲である。表示生成部206は、仮想カメラ位置VPと、記憶部13(図1参照)等に予め記憶された投影領域PAの外縁位置(座標)情報とに基づき、仮想カメラ位置VPから前方を見たときに結像面の内側となる前方範囲を、重畳範囲SAとして設定する。重畳範囲SAは、HUD230の投影領域PAおよび画角に対応している。
表示生成部206は、仮想空間中に第1AR案内画像CT1を模る仮想オブジェクトVOを配置する。仮想オブジェクトVOは、3次元空間の道路モデルの路面上において、走行予定経路に沿うように配置される。仮想オブジェクトVOは、第1AR案内画像CT1を虚像表示させる場合に、仮想空間中に設定される。仮想オブジェクトVOは、第1AR案内画像CT1の位置と形状を規定する。すなわち、仮想カメラ位置VPから見た仮想オブジェクトVOの形状が、視点位置から視認される第1AR案内画像CT1の虚像形状となる。
表示生成部206は、自車車線Lns上の仮想オブジェクトVOに関して、車線幅方向における自車車線Lnsの中央部Lcに配置する。中央部Lcは、例えば、自車車線Lnsの走行区画線または道路端により規定される両側の車線境界線同士の中間点である。
これにより、進入経路コンテンツCTaの重畳位置は、自車車線Lnsの実質的な中央部Lcに設定される(図3参照)。なお、現在走行中の自車車線Lnsと、交差点CPへの進入車線が異なる場合には、進入経路コンテンツCTaは、自車車線Lnsの中央部から進入車線の中央部へと移り、進入車線の中央部を辿って延びるように表示されればよい。
また、退出経路コンテンツCTeは、走行予定経路に沿って、進入経路コンテンツCTaに続いて並ぶように配置される。退出経路コンテンツCTeは、交差点CPおよび退出車線の中央部における路面から浮いた位置に重畳される。なお、退出経路コンテンツCTeは、図13に示すように、重畳対象の路面が視認不可能な場合には、画角内の路面上端よりも上方に浮いて視認されるように、重畳位置を決定される。
表示生成部206は、以上の第1AR案内画像CT1を、交差点CPまでの残距離が閾値(例えば300m)を下回った場合に表示開始する。表示生成部206は、第1AR案内画像CT1の重畳位置および重畳形状を逐次更新することで、路面に相対固定されているように表示させる。すなわち、表示生成部206は、車両Aの走行に伴って相対的に移動する路面に追従するように、第1AR案内画像CT1を乗員の見た目上で移動可能に表示させる。
第2AR案内画像CT2を生成する場合、表示生成部206は、高精度地図データの代わりにナビゲーション地図データを利用して第2AR案内画像CT2の重畳位置および重畳形状を決定する。この場合、表示生成部206は、重畳対象の路面を起伏のない平坦な路面と仮定して、その路面位置を設定する。例えば、表示生成部206は、水平面の路面を重畳対象の仮想路面に設定して、その仮想路面位置と他の各種位置情報とに基づく幾何学的な演算により、第2AR案内画像CT2の重畳位置および重畳形状を算出する。
したがって、この場合に表示生成部206により設定される仮想路面は、高精度地図データに基づいて設定されたものと比較して、より不正確なものとなり得る。例えば、図14に示すように、上り勾配の路面に勾配のない平坦な交差点CPが連なる道路形状の場合、交差点CP部分の仮想路面が、実際の路面に対してずれたものとなり得る。なお、図14の例では、交差点CP部分の仮想路面のずれを明示するため、仮想路面の形状が上り勾配を反映したものとしているが、実際には上り勾配が仮想路面に反映されるとは限らない。
第2AR案内画像CT2の生成において、表示生成部206は、仮想空間中の仮想オブジェクトVOの左右方向の位置を、ずれの大きさに基づいて決定する。具体的には、ずれの大きさが小レベルである場合、表示生成部206は、車両Aの中央に対応する重畳範囲SA内の位置である車両中央位置Vcに仮想オブジェクトVOを配置する。ここで車両中央位置Vcは、車幅方向における車両Aの中央を通り、且つ車両Aの前後方向に延びる仮想の直線を仮想路面上に想定した場合における、重畳範囲SA内での当該直線の位置である。これにより、進入経路コンテンツCTaは、図15に示すように、投影領域PAの上下方向に対して傾いた並びとなる。
そして、ずれの大きさが中レベルまたは大レベルである場合、表示生成部206は、投影領域PAの左右方向における中央部Acに第2AR案内画像CT2を配置する。この場合、進入経路コンテンツCTaは、図16に示すように、投影領域PAの上下方向に並んで配置された状態で表示される。
また、表示生成部206は、地物認識情報が有る場合、当該地物認識情報に基づき重畳位置を補正する。例えば、表示生成部206は、ナビゲーション地図データに基づき設定された仮想路面上での前後左右方向の自車位置を、地物認識情報に基づき補正した上で、第2AR案内画像CT2の重畳位置および重畳形状を算出する。
なお、表示生成部206は、地図データ以外の高さ情報である高さ補正情報が有る場合、当該高さ補正情報に基づき重畳位置を補正する。高さ補正情報は、例えば、路車間通信により取得される路側装置の3次元位置情報等である。この場合、表示生成部206は、車両Aに搭載されたV2X通信器を介して、情報を取得すればよい。表示生成部206は、または、高さ補正情報は、周辺監視センサ4による検出物体の高さ情報であってもよい。すなわち、周辺監視センサ4の検出情報の解析により路上設置物、路面標示等の3次元位置情報を特定可能な場合、当該3次元位置情報に含まれる高さ情報が、高さ補正情報に含まれてもよい。表示生成部206は、例えば、高さ補正情報に基づき仮想路面の位置および形状を水平面の路面から変更することで、当該仮想路面上に仮想的に配置される第2AR案内画像CT2の高さ方向の重畳位置を補正する。
加えて、表示生成部206は、第2AR案内画像CT2の重畳表示を、第1AR案内画像CT1よりも走行予定経路の手前側までに制限する。具体的には、表示生成部206は、第2AR案内画像CT2の退出経路コンテンツCTeについて、第1AR案内画像CT1よりも走行予定経路の車両Aから離れた側に重畳される部分を非表示とし、手前側に重畳される部分のみを表示させる。図15および図16に示す例では、第1AR案内画像CT1が表示される場合には退出経路コンテンツCTeが3つ表示されるのに対して、第2AR案内画像CT2が表示される場合には、退出経路コンテンツCTeがより手前側の1つのみに制限されている。すなわち、第2AR案内画像CT2は、交差点CPからの退出方向を提示し、退出経路の道筋に関しては提示しないコンテンツとされ、第1AR案内画像CT1と比較して簡素なものとなる。
表示生成部206は、以上の第2AR案内画像CT2を、第1AR案内画像CT1とは異なるタイミングで表示開始する。具体的には、表示生成部206は、交差点CPまでの残距離が第1閾値を下回った段階では、第2AR案内画像CT2の代わりに非AR案内画像Gi2を表示させる。そして、表示生成部206は、残距離が第1閾値よりも小さい第2閾値(例えば100m)を下回った場合に、非AR案内画像Gi2から第2AR案内画像CT2へと表示を切り替える。すなわち、表示生成部206は、第1AR案内画像CT1を表示する場合よりも、交差点CPにより接近した段階で、第2AR案内画像CT2の表示を開始する。なお、非AR案内画像Gi2を表示させる閾値は、第2閾値よりも大きい値であれば第1閾値でなくてもよい。
次に、HCU20の実行する表示処理について、図17のフローチャートを参照して説明する。なお、図17に示す処理のうち、図9のフローチャートと同一の符号のステップに関しては、説明を適宜省略する。
HCU20は、ステップS44にて形状条件が不成立であると判定されると、ステップS46へと進む。ステップS46では、表示態様決定部205にて、高精度地図データの鮮度条件を判定する。鮮度条件が不成立であると判定した場合には、ステップS50へと進み、鮮度条件が成立すると判定した場合には、ステップS80へと進む。
ステップS50にて高精度地図データを取得すると、ステップS65へと進み、表示生成部206にて第1AR案内画像CT1を生成する。一方で、ステップS80にてナビゲーション地図データを取得した場合には、ステップS81へと進む。
ステップS81では、表示生成部206にて、交差点CPまでの残距離が第2閾値を下回るか否かを判定する。第2閾値を下回っていないと判定した場合には、ステップS82へと進み、非AR案内画像Gi2を生成した後、ステップS120へと進む。一方で、ステップS81にて第2閾値を下回ったと判定された場合には、ステップS83へと進む。ステップS83では、表示態様決定部205等にて、センサ情報取得部204を介して重畳位置の補正情報が取得される。なお、取得可能な補正情報が無い場合には、ステップS83はスキップされる。
次に、ステップS84では、表示態様決定部205にて、第2AR案内画像CT2の位置ずれの大きさを評価し、ステップS95へと進む。ステップS95では、取得したナビゲーション地図データ、補正情報、および位置ずれの大きさに関する情報等に基づいて、表示生成部206にて、第2AR案内画像CT2を生成する。
以上に説明した第3実施形態によれば、第1表示態様において、高精度地図情報に基づく重畳位置にて路面に対して第1AR案内画像CT1が重畳表示される。そして、第2表示態様において、ナビゲーション地図データに基づく重畳位置にて第2AR案内画像CT2が重畳表示される。故に、HCU20は、高精度地図データを利用可能なエリアと利用不可能なエリアとで、地図データを使い分けつつ、特定の重畳対象に対して虚像Viを重畳表示可能である。
また、表示生成部206は、交差点CPまでの残距離が、第1AR案内画像CT1を表示開始する第1閾値よりも短い第2閾値に到達すると、第2AR案内画像CT2の表示を開始する。交差点CPは比較的平坦な地形である場合が多いため、表示生成部206は、第1AR案内画像CT1の表示シーンよりも交差点CPに接近した段階で第2AR案内画像CT2を表示開始させることで、第2AR案内画像CT2の位置ずれの大きさを抑制し得る。または、表示生成部206は、第2AR案内画像CT2の位置ずれが大きくなる走行区間を短くし得る。
(他の実施形態)
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものと解されるべきである。
上述の実施形態において、表示生成部206は、高精度地図情報に基づきAR案内画像Gi1を経路案内画像として生成し、ナビゲーション地図データに基づき非AR案内画像Gi2を経路案内画像として生成するとした。これに代えて、またはこれに加えて、表示生成部206は、経路案内画像以外の虚像Viを取得する地図情報によって異なる表示態様で生成する構成であってもよい。例えば、表示生成部206は、乗員が注視すべき対象物(例えば先行車、歩行者および道路標識等)への注視を促す画像を、高精度地図情報を取得可能である場合には対象物に重畳させ、取得できない場合には対象物への重畳を中止してもよい。
上述の実施形態において、表示生成部206は、経路案内画像とともに態様提示画像Iiを表示するとしたが、経路案内画像の表示前に態様提示画像Iiを表示開始してもよい。
第1実施形態において、HCU20は、形状条件が成立した場合に、ナビゲーション地図データに基づいて非AR案内画像Gi2を表示させるとした。これに代えて、HCU20は、形状条件が成立し、且つ高精度地図データを取得可能な場合には、高精度地図データに基づいて非AR案内画像Gi2を表示させてもよい。
第3実施形態において、表示生成部206は、第2AR案内画像CT2の重畳位置ずれの大きさに応じて、第2AR案内画像CT2の重畳位置を車両中央位置Vcおよび投影領域PAの中央部Acのどちらかに決定するとした。これに代えて、表示生成部206は、いずれか一方のみに重畳する構成であってもよい。
第3実施形態において、表示生成部206は、非AR案内画像Gi2から第2AR案内画像CT2への切替を交差点CPまでの残距離に基づいて行うとしたが、切替を行う条件はこれに限定されない。例えば、表示生成部206は、第2AR案内画像CT2の重畳位置に関する補正情報を取得できた時点で切り替える構成であってもよい。ここで、補正情報は、第2AR案内画像CT2の重畳位置の補正に利用可能な情報であり、例えば、交差点CPの停止線、交差点CPの中央標示、および他の自車車線Lnsの路面標示等の位置情報である。補正情報は、周辺監視センサ4の検出情報の解析結果として取得される。
上述の実施形態において、表示生成部206は、高精度地図データに、将来走行区間GSについての情報が含まれていない場合には、第2表示態様で経路案内画像を生成するとした、これに代えて、表示生成部206は、車両の現在位置に対応する高精度地図データが取得可能であれば、第1表示態様で経路案内画像を生成する構成であってもよい。この場合、表示生成部206は、車両の現在位置に対応する高精度地図データが取得不可能になった場合に、第1表示態様から第2表示態様に切り替えればよい。
加えて、第3実施形態の表示生成部206は、上述のように表示態様を切り替える場合、第1AR案内画像CT1の重畳位置から、第2AR案内画像CT2の重畳位置まで、経路案内画像が連続的に移動するように表示してもよい。これにより、表示生成部206は、重畳位置が瞬間的に切り替わることによる乗員の違和感を低減できる。なお、このときの経路案内画像の移動速度は、経路案内画像の移動自体に乗員の意識が誘導されない程度に遅いことが望ましい。
第3実施形態において、表示生成部206は、第1AR案内画像CT1の進入経路コンテンツCTaと退出経路コンテンツCTeを、異なる形状のコンテンツで表示する。これに代えて、表示生成部206は、図18に示すように、各コンテンツCTa,CTeを実質的に同じ形状のコンテンツとしてもよい。図18に示す例では、各コンテンツCTa,CTeが、走行予定経路に沿って並ぶ複数の三角形の形状とされる。この場合、表示生成部206は、第2AR案内画像CT2の表示において、退出経路コンテンツCTeを、退出方向を示す矢印形状の画像に変更すればよい(図19参照)。なお、表示生成部206は、経路案内画像を、走行予定経路に沿って一続きに延びる帯状のコンテンツとして表示してもよい。この場合には、第2AR案内画像CT2が、第1AR案内画像CT1よりも走行予定経路の手前側までの長さに制限される態様で表示されればよい。
上述の実施形態のプロセッサは、1つまたは複数のCPU(Central Processing Unit)を含む処理部である。こうしたプロセッサは、CPUに加えて、GPU(Graphics Processing Unit)およびDFP(Data Flow Processor)等を含む処理部であってよい。さらにプロセッサは、FPGA(Field-Programmable Gate Array)、並びにAIの学習及び推論等の特定処理に特化したIPコア等を含む処理部であってもよい。こうしたプロセッサの各演算回路部は、プリント基板に個別に実装された構成であってもよく、またはASIC(Application Specific Integrated Circuit)およびFPGA等に実装された構成であってもよい。
表示制御プログラム等を記憶するメモリ装置には、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体(non-transitory tangible storage medium)が採用可能である。こうした記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、メモリカード等の形態であり、車載ECUに設けられたスロット部に挿入されて、制御回路に電気的に接続される構成であってよい。
本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された1つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置およびその手法は、コンピュータプログラムを実行するプロセッサと1つ以上のハードウエア論理回路との組み合わせにより構成された1つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
20 HCU(表示制御装置)、 20a プロセッサ(処理部)、 202 地図判定部、 203 地図情報取得部、 204 センサ情報取得部、 206 表示生成部(態様提示部)、 4 周辺監視センサ(車載センサ)、 A 車両、 Vi 虚像。

Claims (21)

  1. 車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
    前記車両の位置を取得する車両位置取得部(201)と、
    前記位置に対応する高精度地図情報または前記高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
    前記高精度地図情報を取得可能である場合には、前記高精度地図情報に基づく第1表示態様で路面を重畳対象とした前記虚像を生成し、前記高精度地図情報を取得不可能である場合には、前記低精度地図情報に基づく、前記第1表示態様とは異なる第2表示態様で前記路面を重畳対象とした前記虚像を生成する表示生成部(206)と、
    を備え、
    前記表示生成部は、前記第1表示態様と前記第2表示態様とを前記虚像の投影領域(PA)における異なる位置に重畳表示させ、前記路面における走行予定経路の手前側の前記路面に重畳表示させる前記虚像としての特定コンテンツを、前記第1表示態様と前記第2表示態様とで前記路面における異なる重畳位置に重畳表示させ、前記特定コンテンツよりも前記走行予定経路の先の前記路面に重畳表示させる別コンテンツを、前記第1表示態様と前記第2表示態様とで前記車両の前後方向における重畳位置を変更しない表示制御装置。
  2. 前記表示生成部は、前記第1表示態様において車線の中央部(Lc)に前記虚像を重畳表示させ、前記第2表示態様において車幅方向における前記車両の中央を通り前記車両の前後方向に延びる仮想直線上の位置(Vc)または前記虚像の投影領域(PA)の左右方向における中央部(Ac)に対応する前記路面に、前記虚像を重畳表示させる請求項1に記載の表示制御装置。
  3. 車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
    前記車両の位置を取得する車両位置取得部(201)と、
    前記位置に対応する高精度地図情報または前記高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
    前記高精度地図情報を取得可能である場合には、前記高精度地図情報に基づく第1表示態様で路面を重畳対象とした前記虚像を生成し、前記高精度地図情報を取得不可能である場合には、前記低精度地図情報に基づく、前記第1表示態様とは異なる第2表示態様で前記路面を重畳対象とした前記虚像を生成する表示生成部(206)と、
    を備え、
    前記表示生成部は、前記第1表示態様と前記第2表示態様とを前記虚像の投影領域(PA)における異なる位置に重畳表示させ、前記第1表示態様において車線の中央部(Lc)に前記虚像を重畳表示させ、前記第2表示態様において車幅方向における前記車両の中央を通り前記車両の前後方向に延びる仮想直線上の位置(Vc)または前記虚像の投影領域(PA)の左右方向における中央部(Ac)に対応する前記路面に、前記虚像を重畳表示させる表示制御装置。
  4. 前記表示生成部は、前記第2表示態様において、自車位置の測位精度に基づき評価される実際の前記路面に対する重畳位置のずれのレベルが相対的に低い場合には、前記仮想直線上の前記位置に対応する前記路面に前記虚像を重畳表示させ、前記レベルが相対的に高い場合には、前記中央部に対応する前記路面に前記虚像を重畳表示させる請求項2または3に記載の表示制御装置。
  5. 前記表示生成部は、交差点(CP)を含む走行エリアにおける前記車両の走行予定経路を提示する経路案内画像を前記虚像に含み、前記第2表示態様で前記経路案内画像の生成を開始する前記交差点までの残距離を、前記第1表示態様で前記経路案内画像を生成する場合よりも短く設定する請求項1から請求項4のいずれか1項に記載の表示制御装置。
  6. 前記表示生成部は、前記車両の走行する道路形状に関して前記第1表示態様での前記虚像の生成を中止する形状条件が成立する場合には、前記高精度地図情報を取得可能であっても、前記第2表示態様で前記虚像を生成する請求項1から請求項5のいずれか1項に記載の表示制御装置。
  7. 車載センサ(4)から検出物体の高さ情報を取得するセンサ情報取得部(204)を備え、
    前記表示生成部は、前記高精度地図情報を取得不可能であっても、前記センサ情報取得部にて前記高さ情報が取得される場合には、前記低精度地図情報と前記高さ情報との組み合わせに基づく表示態様で前記虚像を生成する請求項1から請求項6のいずれか1項に記載の表示制御装置。
  8. 車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
    前記車両の位置を取得する車両位置取得部(201)と、
    前記位置に対応する高精度地図情報または前記高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
    前記高精度地図情報を取得可能である場合には、前記高精度地図情報に基づく第1表示態様で路面を重畳対象とした前記虚像を生成し、前記高精度地図情報を取得不可能である場合には、前記低精度地図情報に基づく、前記第1表示態様と類似する第2表示態様で前記路面を重畳対象とした前記虚像を生成する表示生成部(206)と、
    を備え、
    前記表示生成部は、交差点(CP)を含む走行エリアにおける前記車両の走行予定経路を提示する経路案内画像を前記虚像に含み、前記第2表示態様で前記経路案内画像の生成を開始する前記交差点までの残距離を、前記第1表示態様で前記経路案内画像を生成する場合よりも短く設定する表示制御装置。
  9. 車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
    前記車両の位置を取得する車両位置取得部(201)と、
    前記位置に対応する高精度地図情報または前記高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
    車載センサ(4)から検出物体の高さ情報を取得するセンサ情報取得部(204)と、
    前記高精度地図情報を取得可能である場合には、前記高精度地図情報に基づく第1表示態様で路面を重畳対象とした前記虚像を生成し、前記高精度地図情報を取得不可能である場合には、前記低精度地図情報に基づく、前記第1表示態様と類似する第2表示態様で前記路面を重畳対象とした前記虚像を生成する表示生成部(206)と、
    を備え、
    前記表示生成部は、前記車両の走行する道路形状に関して前記第1表示態様での前記虚像の生成を中止する形状条件が成立する場合には、前記高精度地図情報を取得可能であっても、前記第2表示態様で前記虚像を生成し、前記高精度地図情報を取得不可能であっても、前記センサ情報取得部にて前記高さ情報が取得される場合には、前記低精度地図情報と前記高さ情報との組み合わせに基づく表示態様で前記虚像を生成する表示制御装置。
  10. 車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
    前記車両の位置を取得する車両位置取得部(201)と、
    前記位置に対応する高精度地図情報または前記高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
    車載センサ(4)から検出物体の高さ情報を取得するセンサ情報取得部(204)と、
    前記高精度地図情報を取得可能である場合には、前記高精度地図情報に基づく第1表示態様で路面を重畳対象とした前記虚像を生成し、前記高精度地図情報を取得不可能である場合には、前記低精度地図情報に基づく、前記第1表示態様と類似する第2表示態様で前記路面を重畳対象とした前記虚像を生成する表示生成部(206)と、
    を備え、
    前記表示生成部は、前記高精度地図情報を取得不可能であっても、前記センサ情報取得部にて前記高さ情報が取得される場合には、前記低精度地図情報と前記高さ情報との組み合わせに基づく表示態様で前記虚像を生成する表示制御装置。
  11. 前記表示生成部は、交差点(CP)を含む走行エリアにおける前記車両の走行予定経路を提示する経路案内画像を前記虚像に含み、前記第2表示態様で前記経路案内画像の生成を開始する前記交差点までの残距離を、前記第1表示態様で前記経路案内画像を生成する場合よりも短く設定する請求項9または請求項10に記載の表示制御装置。
  12. 前記表示生成部は、前記虚像の表示を開始する始点(ps)における前記高精度地図情報を取得可能である場合であっても、前記始点からの特定の将来走行区間(GS)において、前記高精度地図情報を取得不可能な区間が含まれている場合には、前記始点から前記第2表示態様にて前記虚像を表示させる請求項8から請求項11のいずれか1項に記載の表示制御装置。
  13. 前記高精度地図情報を取得可能か否かを判定する地図判定部(202)をさらに備える請求項1から請求項12のいずれか1項に記載の表示制御装置。
  14. 前記表示生成部は、前記高精度地図情報に、前記車両の将来の走行区間についての情報が含まれていない場合には、前記第2表示態様で前記虚像を生成する請求項1から請求項13のいずれか1項に記載の表示制御装置。
  15. 前記地図情報取得部は、道路の勾配情報、区画線の3次元形状情報、および道路勾配が推定可能な情報の少なくとも1つを含む地図情報を前記高精度地図情報として取得する請求項1から請求項14のいずれか1項に記載の表示制御装置。
  16. 前記第1表示態様および前記第2表示態様のいずれで前記虚像が生成されているのかを前記乗員に提示する態様提示部(206)をさらに有する請求項1から請求項15のいずれか1項に記載の表示制御装置。
  17. 車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
    少なくとも1つの処理部(20a)を、
    前記車両の位置を取得する車両位置取得部(201)と、
    前記位置に対応する高精度地図情報または前記高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
    前記高精度地図情報を取得可能である場合には、前記高精度地図情報に基づく第1表示態様で路面を重畳対象とした前記虚像を生成し、前記高精度地図情報を取得不可能である場合には、前記低精度地図情報に基づく、前記第1表示態様とは異なる第2表示態様で前記路面を重畳対象とした前記虚像を生成する表示生成部(206)、として機能させ、
    前記表示生成部は、前記第1表示態様と前記第2表示態様とを前記虚像の投影領域(PA)における異なる位置に重畳表示させ、前記路面における走行予定経路の手前側の前記路面に重畳表示させる前記虚像としての特定コンテンツを、前記第1表示態様と前記第2表示態様とで前記路面における異なる重畳位置に重畳表示させ、前記特定コンテンツよりも前記走行予定経路の先の前記路面に重畳表示させる別コンテンツを、前記第1表示態様と前記第2表示態様とで前記車両の前後方向における重畳位置を変更しない表示制御プログラム。
  18. 車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
    少なくとも1つの処理部(20a)を、
    前記車両の位置を取得する車両位置取得部(201)と、
    前記位置に対応する高精度地図情報または前記高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
    前記高精度地図情報を取得可能である場合には、前記高精度地図情報に基づく第1表示態様で路面を重畳対象とした前記虚像を生成し、前記高精度地図情報を取得不可能である場合には、前記低精度地図情報に基づく、前記第1表示態様とは異なる第2表示態様で前記路面を重畳対象とした前記虚像を生成する表示生成部(206)、として機能させ、
    前記表示生成部は、前記第1表示態様と前記第2表示態様とを前記虚像の投影領域(PA)における異なる位置に重畳表示させ、前記第1表示態様において車線の中央部(Lc)に前記虚像を重畳表示させ、前記第2表示態様において車幅方向における前記車両の中央を通り前記車両の前後方向に延びる仮想直線上の位置(Vc)または前記虚像の投影領域(PA)の左右方向における中央部(Ac)に対応する前記路面に、前記虚像を重畳表示させる表示制御プログラム。
  19. 車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
    少なくとも1つの処理部(20a)を、
    前記車両の位置を取得する車両位置取得部(201)と、
    前記位置に対応する高精度地図情報または前記高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
    前記高精度地図情報を取得可能である場合には、前記高精度地図情報に基づく第1表示態様で路面を重畳対象とした前記虚像を生成し、前記高精度地図情報を取得不可能である場合には、前記低精度地図情報に基づく、前記第1表示態様と類似する第2表示態様で前記路面を重畳対象とした前記虚像を生成する表示生成部(206)、として機能させ、
    前記表示生成部は、交差点(CP)を含む走行エリアにおける前記車両の走行予定経路を提示する経路案内画像を前記虚像に含み、前記第2表示態様で前記経路案内画像の生成を開始する前記交差点までの残距離を、前記第1表示態様で前記経路案内画像を生成する場合よりも短く設定する表示制御プログラム。
  20. 車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
    少なくとも1つの処理部(20a)を、
    前記車両の位置を取得する車両位置取得部(201)と、
    前記位置に対応する高精度地図情報または前記高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
    車載センサ(4)から検出物体の高さ情報を取得するセンサ情報取得部(204)と、
    前記高精度地図情報を取得可能である場合には、前記高精度地図情報に基づく第1表示態様で路面を重畳対象とした前記虚像を生成し、前記高精度地図情報を取得不可能である場合には、前記低精度地図情報に基づく、前記第1表示態様と類似する第2表示態様で前記路面を重畳対象とした前記虚像を生成する表示生成部(206)、として機能させ、
    前記表示生成部は、前記車両の走行する道路形状に関して前記第1表示態様での前記虚像の生成を中止する形状条件が成立する場合には、前記高精度地図情報を取得可能であっても、前記第2表示態様で前記虚像を生成し、前記高精度地図情報を取得不可能であっても、前記センサ情報取得部にて前記高さ情報が取得される場合には、前記低精度地図情報と前記高さ情報との組み合わせに基づく表示態様で前記虚像を生成する表示制御プログラム。
  21. 車両(A)において用いられ、乗員の前景に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
    少なくとも1つの処理部(20a)を、
    前記車両の位置を取得する車両位置取得部(201)と、
    前記位置に対応する高精度地図情報または前記高精度地図情報よりも精度の低い低精度地図情報を取得する地図情報取得部(203)と、
    車載センサ(4)から検出物体の高さ情報を取得するセンサ情報取得部(204)と、
    前記高精度地図情報を取得可能である場合には、前記高精度地図情報に基づく第1表示態様で路面を重畳対象とした前記虚像を生成し、前記高精度地図情報を取得不可能である場合には、前記低精度地図情報に基づく、前記第1表示態様と類似する第2表示態様で前記路面を重畳対象とした前記虚像を生成する表示生成部(206)、として機能させ、
    前記表示生成部は、前記高精度地図情報を取得不可能であっても、前記センサ情報取得部にて前記高さ情報が取得される場合には、前記低精度地図情報と前記高さ情報との組み合わせに基づく表示態様で前記虚像を生成する表示制御プログラム。
JP2022054411A 2018-12-14 2022-03-29 表示制御装置および表示制御プログラム Active JP7416114B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018234566 2018-12-14
JP2018234566 2018-12-14
JP2019196468A JP7052786B2 (ja) 2018-12-14 2019-10-29 表示制御装置および表示制御プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019196468A Division JP7052786B2 (ja) 2018-12-14 2019-10-29 表示制御装置および表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2022079590A JP2022079590A (ja) 2022-05-26
JP7416114B2 true JP7416114B2 (ja) 2024-01-17

Family

ID=71076404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022054411A Active JP7416114B2 (ja) 2018-12-14 2022-03-29 表示制御装置および表示制御プログラム

Country Status (2)

Country Link
JP (1) JP7416114B2 (ja)
WO (1) WO2020121810A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019133613B3 (de) * 2019-12-10 2020-12-31 Audi Ag Verfahren zum Bereitstellen einer dreidimensionalen Landkarte in einem Kraftfahrzeug
JP2022149325A (ja) * 2021-03-25 2022-10-06 カシオ計算機株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN114993326A (zh) * 2022-05-25 2022-09-02 阿波罗智联(北京)科技有限公司 导航处理方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203053A (ja) 2010-03-25 2011-10-13 Equos Research Co Ltd 運転アシストシステム
WO2011135660A1 (ja) 2010-04-26 2011-11-03 パイオニア株式会社 ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
JP2018136137A (ja) 2017-02-20 2018-08-30 株式会社Jvcケンウッド 端末装置、制御方法、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6569572B2 (ja) * 2016-03-17 2019-09-04 株式会社デンソー 車両位置決定装置
JP2018133031A (ja) * 2017-02-17 2018-08-23 オムロン株式会社 運転切替支援装置、及び運転切替支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203053A (ja) 2010-03-25 2011-10-13 Equos Research Co Ltd 運転アシストシステム
WO2011135660A1 (ja) 2010-04-26 2011-11-03 パイオニア株式会社 ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
JP2018136137A (ja) 2017-02-20 2018-08-30 株式会社Jvcケンウッド 端末装置、制御方法、プログラム

Also Published As

Publication number Publication date
JP2022079590A (ja) 2022-05-26
WO2020121810A1 (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
JP7052786B2 (ja) 表示制御装置および表示制御プログラム
US10293748B2 (en) Information presentation system
US11535155B2 (en) Superimposed-image display device and computer program
JP6566132B2 (ja) 物体検出方法及び物体検出装置
US11996018B2 (en) Display control device and display control program product
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
JP7416114B2 (ja) 表示制御装置および表示制御プログラム
JP7251582B2 (ja) 表示制御装置および表示制御プログラム
US20230191911A1 (en) Vehicle display apparatus
WO2020208989A1 (ja) 表示制御装置及び表示制御プログラム
JP2020016541A (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
WO2020246113A1 (ja) 表示制御装置および表示制御プログラム
CN110462699B (zh) 车辆用显示控制装置以及车辆用显示单元
US20220058998A1 (en) Display control device and non-transitory computer-readable storage medium for display control on head-up display
WO2020246114A1 (ja) 表示制御装置および表示制御プログラム
JP7420165B2 (ja) 表示制御装置、および表示制御プログラム
JP2021028587A (ja) 車載表示制御装置
JP2020199839A (ja) 表示制御装置
JP7487713B2 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法およびプログラム
JP2020118545A (ja) 表示制御装置及び表示制御プログラム
JP2020095033A (ja) 表示制御装置および表示制御プログラム
JP2020091148A (ja) 表示制御装置および表示制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R151 Written notification of patent or utility model registration

Ref document number: 7416114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151