JP7379945B2 - 表示装置 - Google Patents
表示装置 Download PDFInfo
- Publication number
- JP7379945B2 JP7379945B2 JP2019158122A JP2019158122A JP7379945B2 JP 7379945 B2 JP7379945 B2 JP 7379945B2 JP 2019158122 A JP2019158122 A JP 2019158122A JP 2019158122 A JP2019158122 A JP 2019158122A JP 7379945 B2 JP7379945 B2 JP 7379945B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- vehicle
- notification image
- forward object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 63
- 238000013459 approach Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
Description
また、本発明に係る表示装置は、車両の前方風景と重なる虚像としてユーザに視認される重畳画像を表示する表示装置であって、前記車両の前方に存在する前方物体に関する情報であって、少なくとも前記前方物体の位置情報を含む物体情報を取得する取得手段と、前記取得手段が取得した前記物体情報に基づいて、前記重畳画像の表示領域内における前記位置情報に対応する対応位置に、前記前方物体に関する情報を報知するための報知画 像を描画する描画制御手段と、所定タイミングで取得した前記物体情報に基づいて描画される前記報知画像が、前記所 定タイミングから遅れて表示される要因となる表示遅延要因を特定する特定手段と、を備え、前記表示遅延要因は、前記描画制御手段による描画制御負荷と、前記物体情報の伝送遅延との少なくともいずれかに基づいて特定され、前記描画制御手段は、特定された前記表示遅延要因が示す値が所定値以上の場合、前記対応位置を前記車両に対して前記前方物体が移動する方向に所定の移動量だけ移動した調整位置に視認される前記報知画像を描画する画像位置調整処理を実行し、前記特定手段は、前記表示遅延要因としての前記描画制御負荷を、前記描画制御手段によって前記表示領域内に描画される画像であって、前記報知画像を含むコンテンツ画像の面積と数と次元との少なくともいずれかに基づいて特定する。
本実施形態に係る表示装置は、図2に示す車両用表示システム100に含まれるHUD(Head-Up Display)装置10である。HUD装置10は、図1(a)に示すように、車両1(以下、自車1とも言う。)のダッシュボード2の内部に設けられ、車両1に関する情報(以下、車両情報と言う。)だけでなく、車両情報以外の情報も統合的にユーザ4(主に車両1の運転者)に報知する。なお、車両情報は、車両1自体の情報だけでなく、車両1の運行に関連した車両1の外部の情報も含む。
このような制御により、制御部31は、虚像Aの表示領域内においてコンテンツ画像を描画する。なお、図1(b)、図3等で虚像Aが示している矩形枠は、虚像Aの表示領域を示し、コンテンツ画像は、当該表示領域内に虚像Aの一部として視認される画像である。これは、虚像Aとしてユーザ4に視認される重畳画像を表示する表示部20において、当該重畳画像の表示領域内にコンテンツ画像が表示されることと同義である。
前方物体検出部40を構成するセンサとしては、例えばLiDAR(Light Detection And Ranging)を採用することができる。前方物体検出部40は、LiDARで計測した点群データから不要の点群を除去した後、クラスタリング処理を行って1又は複数のクラスタ(点群集合)を検出する。また、前方物体検出部40は、検出したクラスタのうち、予め設定された前方物体Fを計測したと推定されるものについて識別器によって前方物体Fか否かを判定する。例えば、クラスタリング処理としては、PCL(Point Cloud Library)におけるEuclidean Clusteringを用いることができる。また、識別器としては、SVM(Support Vector Machine)を用いることができる。このようにして、前方物体検出部40は、このように検出した前方物体Fにつき、その位置情報(前方物体Fの大きさを示す情報も含む。)や、前方物体Fの種別(先行車、歩行者、建物など)を示す種別情報を含む物体情報を制御部31に供給する。
また、前方物体検出部40は、車両1が走行する路面を含む前方風景を撮像する撮像装置を含んで構成されていてもよい。撮像装置は、例えばステレオカメラから構成される。前方物体検出部40は、撮像装置が撮像した画像のデータを、パターンマッチング法などの公知の手法により処理部で画像解析することで、前方物体Fの位置情報や種別情報を算出する。そして、前方物体検出部40は、これらの情報を物体情報として制御部31に供給する。なお、前方物体検出部40は、前方物体Fを検出するソナー、超音波センサ、ミリ波レーダ等を含んで構成されていてもよい。
このような表示ずれによりユーザに与える違和感を低減するため、第1実施形態に係る制御部31は、画像拡大処理を実行する。
表示遅延要因を特定するにあたり、まず、制御部31は、図7(a)に示す予測描画負荷決定テーブルTA1を参照し、虚像Aの表示領域内にこれから表示されるコンテンツ画像(報知画像Cも含む。)を描画予測手段(主にGDC31b)が描画する際に予測される描画負荷(予測描画負荷L)を決定する。予測描画負荷決定テーブルTA1は、例えば、1つのコンテンツ画像に対して参照されるものであり、そのコンテンツ種別(2Dか3D)と描画面積Sの組み合わせと、予測描画負荷Lとが対応して構成されている。予測描画負荷決定テーブルTA1は、予め記憶部32のROM内に格納されている。
制御部31は、前述のように決定した描画負荷に起因する予測遅延時間TLと、センシング遅延時間TSとを合算したものを表示遅延要因(T=TL+TS)として特定する。
以上のように、特定手段によって表示遅延要因が特定されると、描画制御手段としての制御部31は、特定された表示遅延要因が示す値が所定値以上の場合、基準サイズよりも大きいサイズで報知画像Cを描画する画像拡大処理を実行する。
ここからは、制御部31が実行する表示制御処理について、主に図9を参照しつつ説明する。表示制御処理は、例えば、車両1のイグニッションがオンされた状態において継続して実行される。
第2実施形態においても、制御部31は、例えば、図3(a)に示すように、前方物体Fを報知するための報知画像Cを表示する。そして、第2実施形態に係る制御部31は、図3(b)や図10(a)に示すような表示ずれが発生することによりユーザに与える違和感を低減するため、後述の画像位置調整処理を実行する。画像位置調整処理を含む表示制御処理を実行する制御部31は、取得手段、描画制御手段、及び特定手段として、主に機能する。第2実施形態に係る特定手段は、第1実施形態と同様に表示遅延要因を特定する。
特定手段によって表示遅延要因が特定されると、描画制御手段としての制御部31は、特定された表示遅延要因が示す値が所定値以上の場合、所望の表示位置(前述の対応位置)を車両1に対して前方物体Fが移動する方向に所定の移動量だけ移動した調整位置に視認される報知画像Cを描画する画像位置調整処理を実行する。描画制御手段としての制御部31は、画像位置調整処理を実行する際、以下のようにして報知画像Cの移動量を決定する。
ここで、図11(a)、(b)を参照して、前方物体Fの特定移動状態について説明する。図11(a)は、前方物体Fが自車1に対して大きさvの相対速度ベクトルで真っ直ぐに接近する例である。一方、図11(b)は、前方物体Fが自車1に対して大きさvの相対速度ベクトルで斜めに接近する例である。ユーザ4(主に運転者)にとっては、図11(a)に示す場合よりも図11(b)に示す場合のほうが、両場合の相対速度の大きさがvで同じであったとしても、距離感が掴みにくい。これを考慮して、例えば、制御部31は、取得した物体情報に含まれる位置情報(x,y,z)に基づき、前方物体Fが自車1に近づいており、且つ、前方物体Fのy座標が車両1から特定距離以上離れた位置にある場合に、前方物体Fが特定移動状態であると特定する。特定距離は、y方向における距離として予め記憶部32のROMに記憶されている。
前述のように決定した移動量をMfとすれば、制御部31は、前方物体Fが特定移動状態であると特定した場合には、Mfに補正量ΔMを加算し、報知画像Cの移動量を(Mf+ΔM)とする。こうすれば、報知画像Cをより自車1側に表示させることができるため、ユーザ4にとって距離感が掴みにくいと想定される特定移動状態の前方物体Fの存在を良好に報知することができる。
ここからは、第2実施形態に係る表示制御処理について図13を参照して説明する。制御部31は、ステップS201~S206の処理を、第1実施形態で説明したステップS101~S106と同様に実行する。
第3実施形態では、制御部31は、例えば、図14(a)に示すように、前方物体Fを報知するための画像として、線状画像(線状に視認される画像)から構成された報知画像Cを表示する。
特定手段によって表示遅延要因が特定されると、描画制御手段としての制御部31は、特定された表示遅延要因が示す値が所定値以上の場合、特定線状画像Csの線幅が車両1に対して前方物体Fが移動する方向に所定の拡大量だけ拡大して視認されるように報知画像Cを描画する線幅拡大処理を実行する。線幅拡大処理は、予め定められた基準線幅を決定した拡大量だけ拡大することで実行される。基準線幅は、報知画像Cの種類に応じて定められた所定距離P(図1(b)参照)における線状画像(特定線状画像Csを含む。)の幅である。基準線幅は、虚像Aの表示領域内において固定でなくともよく、自車1から前方物体Fの距離と基準線幅との対応関係を規定した基準線幅情報(数式のデータやテーブルデータ)に応じて可変であってもよい。この基準線幅情報は、予め記憶部32に記憶され、例えば遠近法を利用して報知対象の前方物体Fへの距離が長くなればなるほど基準線幅が狭くなるように設定されている。制御部31は、自車1から前方物体Fへの距離と基準線幅情報とに基づいて線状画像から構成される報知画像Cを基準線幅で描画する。
前述のように決定した拡大量をEfとすれば、制御部31は、前方物体Fが特定移動状態であると特定した場合には、Efに補正量ΔEを加算し、特定線状画像Csの拡大量を(Ef+ΔE)とする。こうすれば、報知画像Cにおける特定線状画像Csをより自車1側に拡大させることができるため、ユーザ4にとって距離感が掴みにくいと想定される特定移動状態の前方物体Fの存在を良好に報知することができる。
車両1が区画線に近づいていけば、図15(a)に示すように、報知画像Cの表示ずれが発生する可能性があるが、特定線状画像Csの線幅が車両1に対して前方物体Fが移動する方向(図15(b)における左方向)に所定の拡大量だけ拡大して視認されるように報知画像Cを描画する線幅拡大処理を実行すれば、当該表示ずれを目立たなくすることができる。こうすれば、表示遅延に起因して所望の表示位置よりも右側に報知画像Cがずれる表示ずれが生じた場合であっても、当該表示ずれを良好に目立たなくすることができる。
ここからは、第3実施形態に係る表示制御処理について図17を参照して説明する。制御部31は、ステップS301~S306の処理を、第1実施形態で説明したステップS101~S106と同様に実行する。
前方物体Fが自車1に近づいている場合(ステップS306A;Yes)、制御部31は、拡大量決定テーブルTA6を参照して、ステップS302で求めた相対速度Vと対応する拡大量を決定する(ステップS307)。
前方物体検出部40は、自車1の外部から前方物体Fに係る物体情報を受信し、受信した物体情報を制御部31に供給する構成であってもよい。当該構成の前方物体検出部40は、車両1とワイヤレスネットワークとの通信(V2N:Vehicle To cellular Network)、車両1と他車両との通信(V2V:Vehicle To Vehicle)、車両1と歩行者との通信(V2P:Vehicle To Pedestrian)、車両1と路側のインフラとの通信(V2I:Vehicle To roadside Infrastructure)を可能とする各種モジュールから構成すればよい。例えば、(i)前方物体検出部40は、WAN(Wide Area Network)に直接アクセスできる通信モジュール、WANにアクセス可能な外部装置(モバイルルータなど)や公衆無線LAN(Local Area Network)のアクセスポイント等と通信するための通信モジュールなどを備え、インターネット通信を行ってもよいし、人工衛星などから受信したGPS(Global Positioning System)信号に基づいて車両1の位置を算出するGPSコントローラを備えていてもよい。これらの構成により、V2Nによる通信が可能である。(ii)また、前方物体検出部40は、所定の無線通信規格に準拠した無線通信モジュールを備え、V2VやV2Pによる通信を行ってもよい。(iii)また、前方物体検出部40は、路側のインフラと無線通信する通信装置を有し、例えば、安全運転支援システム(DSSS:Driving Safety Support Systems)の基地局から、インフラストラクチャーとして設置された路側無線装置を介して、車両1の前方情報を取得してもよい。これによりV2Iによる通信が可能となる。
この構成によれば、前述のように、報知画像Cを視認するユーザ4に違和感を与えてしまうことを抑制することができる。
この構成によれば、表示遅延に起因して所望の表示位置から報知画像Cがずれる表示ずれが生じた場合であっても、当該表示ずれを良好に目立たなくすることができる。
この構成によれば、前方物体Fに対する報知画像Cの追従性を確保することができる。
この構成によれば、特定種別の報知画像Cについての画像拡大処理を実行せずに済むので、制御負担を軽減することができる。
この構成によれば、ユーザ4にとって重要度が低いと見做せる報知画像Cについての画像拡大処理を実行せずに済むので、制御負担を軽減することができる。
この構成によれば、前述のように、報知画像Cを視認するユーザ4に違和感を与えてしまうことを抑制することができる。
この構成によれば、前方物体Fに対する報知画像Cの追従性を確保することができる。
この構成によれば、報知画像Cをより自車1側に表示させることができるため、ユーザ4にとって距離感が掴みにくいと想定される特定移動状態の前方物体Fの存在を良好に報知することができる。
この構成によれば、前述のように、報知画像Cを視認するユーザ4に違和感を与えてしまうことを抑制することができる。
この構成によれば、前方物体Fに対する報知画像Cの追従性を確保することができる。
この構成によれば、報知画像Cをより自車1側に表示させることができるため、ユーザ4にとって距離感が掴みにくいと想定される特定移動状態の前方物体Fの存在を良好に報知することができる。
10…HUD装置
20…表示部
30…制御装置、31…制御部、32…記憶部
40…前方物体検出部、50…視点検出部、60…ECU、70…カーナビ装置
Q…表示光、A…虚像、C…報知画像、F…前方物体
Cs…特定線状画像、Cn…所定線状画像
TA1…予測描画負荷決定テーブル
TA2…予測遅延時間決定テーブル
TA3…第1の倍率決定テーブル
TA4…第2の倍率決定テーブル
TA5…移動量決定テーブル
TA6…拡大量決定テーブル
1…車両、2…ダッシュボード、3…フロントガラス、4…ユーザ、5…アイボックス
Claims (4)
- 車両の前方風景と重なる虚像としてユーザに視認される重畳画像を表示する表示装置であって、
前記車両の前方に存在する前方物体に関する情報であって、少なくとも前記前方物体の位置情報を含む物体情報を取得する取得手段と、
前記取得手段が取得した前記物体情報に基づいて、前記重畳画像の表示領域内における前記位置情報に対応する対応位置に、前記前方物体に関する情報を報知するための報知画 像を描画する描画制御手段と、所定タイミングで取得した前記物体情報に基づいて描画される前記報知画像が、前記所 定タイミングから遅れて表示される要因となる表示遅延要因を特定する特定手段と、を備え、
前記表示遅延要因は、前記描画制御手段による描画制御負荷と、前記物体情報の伝送遅延との少なくともいずれかに基づいて特定され、
前記描画制御手段は、特定された前記表示遅延要因が示す値が所定値以上の場合、前記対応位置を前記車両に対して前記前方物体が移動する方向に所定の移動量だけ移動した調整位置に視認される前記報知画像を描画する画像位置調整処理を実行し、前記前方物体が前記車両の進行方向と交差する交差方向において前記車両から特定距離以上離れた位置から前記車両に近づいている特定移動状態である場合、前記前方物体が前記特定移動状態でない場合よりも、前記画像位置調整処理を実行する際の前記移動量が大きくなるように前記移動量を補正する、表示装置。 - 車両の前方風景と重なる虚像としてユーザに視認される重畳画像を表示する表示装置であって、
前記車両の前方に存在する前方物体に関する情報であって、少なくとも前記前方物体の位置情報を含む物体情報を取得する取得手段と、
前記取得手段が取得した前記物体情報に基づいて、前記重畳画像の表示領域内における前記位置情報に対応する対応位置に、前記前方物体に関する情報を報知するための報知画 像を描画する描画制御手段と、所定タイミングで取得した前記物体情報に基づいて描画される前記報知画像が、前記所 定タイミングから遅れて表示される要因となる表示遅延要因を特定する特定手段と、を備え、
前記表示遅延要因は、前記描画制御手段による描画制御負荷と、前記物体情報の伝送遅延との少なくともいずれかに基づいて特定され、
前記描画制御手段は、特定された前記表示遅延要因が示す値が所定値以上の場合、前記対応位置を前記車両に対して前記前方物体が移動する方向に所定の移動量だけ移動した調整位置に視認される前記報知画像を描画する画像位置調整処理を実行し、
前記特定手段は、前記表示遅延要因としての前記描画制御負荷を、前記描画制御手段によって前記表示領域内に描画される画像であって、前記報知画像を含むコンテンツ画像の面積と数と次元との少なくともいずれかに基づいて特定する、表示装置。 - 前記描画制御手段は、前記画像位置調整処理を実行する際には、前記表示遅延要因に基づいて前記移動量を決定する、請求項1又は2に記載の表示装置。
- 前記描画制御手段は、前記車両と前記前方物体との相対速度に応じて前記画像位置調整 処理を実行する際の前記移動量を制御し、前記相対速度が第1の値である場合に比べて、前記相対速度が前記第1の値よりも大きい第2の値である場合の前記移動量を大きくする、請求項1乃至3に記載の表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019158122A JP7379945B2 (ja) | 2019-08-30 | 2019-08-30 | 表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019158122A JP7379945B2 (ja) | 2019-08-30 | 2019-08-30 | 表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021035810A JP2021035810A (ja) | 2021-03-04 |
JP7379945B2 true JP7379945B2 (ja) | 2023-11-15 |
Family
ID=74716555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019158122A Active JP7379945B2 (ja) | 2019-08-30 | 2019-08-30 | 表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7379945B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016002779A (ja) | 2014-06-13 | 2016-01-12 | 日産自動車株式会社 | 車両用表示装置 |
-
2019
- 2019-08-30 JP JP2019158122A patent/JP7379945B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016002779A (ja) | 2014-06-13 | 2016-01-12 | 日産自動車株式会社 | 車両用表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021035810A (ja) | 2021-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3031656B1 (en) | Information provision device, information provision method, and carrier medium storing information provision program | |
US8536995B2 (en) | Information display apparatus and information display method | |
JP6695049B2 (ja) | 表示装置及び表示制御方法 | |
US9818206B2 (en) | Display device | |
US20180356630A1 (en) | Head-up display | |
JP6866875B2 (ja) | 表示制御装置、及び表示制御プログラム | |
JP7310560B2 (ja) | 表示制御装置及び表示制御プログラム | |
JP2015120395A (ja) | 車両情報投影システム | |
JPWO2018003650A1 (ja) | ヘッドアップディスプレイ | |
JP2019202589A (ja) | 表示装置 | |
JP6186905B2 (ja) | 車載表示装置およびプログラム | |
JP2018020779A (ja) | 車両情報投影システム | |
JP7459883B2 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び方法 | |
US20210008981A1 (en) | Control device, display device, display system, moving body, control method, and recording medium | |
CN113165510A (zh) | 显示控制装置、方法和计算机程序 | |
WO2021039762A1 (ja) | 表示装置 | |
JP7379945B2 (ja) | 表示装置 | |
JP7379946B2 (ja) | 表示装置 | |
JP2020047153A (ja) | 表示装置 | |
JP2019206262A (ja) | 表示装置 | |
JP2020190942A (ja) | 表示制御装置 | |
WO2021200914A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び方法 | |
WO2020040276A1 (ja) | 表示装置 | |
JP7338632B2 (ja) | 表示装置 | |
JP2019207632A (ja) | 表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7379945 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |