JP7379945B2 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP7379945B2
JP7379945B2 JP2019158122A JP2019158122A JP7379945B2 JP 7379945 B2 JP7379945 B2 JP 7379945B2 JP 2019158122 A JP2019158122 A JP 2019158122A JP 2019158122 A JP2019158122 A JP 2019158122A JP 7379945 B2 JP7379945 B2 JP 7379945B2
Authority
JP
Japan
Prior art keywords
image
display
vehicle
notification image
forward object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019158122A
Other languages
English (en)
Other versions
JP2021035810A (ja
Inventor
誠 秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Priority to JP2019158122A priority Critical patent/JP7379945B2/ja
Publication of JP2021035810A publication Critical patent/JP2021035810A/ja
Application granted granted Critical
Publication of JP7379945B2 publication Critical patent/JP7379945B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示装置に関する。
表示装置として、特許文献1~3には、車両の前方風景と重なる虚像としてユーザ(主に車両の運転者)に視認される画像を表示するものが開示されている。特許文献1~3に開示された表示装置は、車両の前方に存在する前方物体の位置に対応する位置(例えば、前方物体に重畳する位置)に、前方物体の存在等を報知するための報知画像を虚像として表示する。これらの表示装置の各々は、特有の制御を行うことで、車両に与えられる振動や前方物体の挙動等の外的要因によって報知画像が所望の表示位置からずれ、ユーザに違和感を与えてしまうことを抑制する。
特開2015-80988号公報 特開2017-13590号公報 特開2017-171226号公報
報知画像が所望の表示位置からずれてしまう要因としては、前記の外的要因だけでなく、描画制御の負荷や前方物体のセンシング処理等の内的要因も存在する。このため、報知画像の表示位置のずれにより、ユーザに違和感を与えてしまうことを抑制するに当たっては、改善の余地がある。
本発明は、上記実情に鑑みてなされたものであり、報知画像を視認するユーザに違和感を与えてしまうことを抑制することができる表示装置を提供することを目的とする。
上記目的を達成するため、本発明に係る表示装置は、車両の前方風景と重なる虚像としてユーザに視認される重畳画像を表示する表示装置であって、前記車両の前方に存在する前方物体に関する情報であって、少なくとも前記前方物体の位置情報を含む物体情報を取得する取得手段と、前記取得手段が取得した前記物体情報に基づいて、前記重畳画像の表示領域内における前記位置情報に対応する対応位置に、前記前方物体に関する情報を報知するための報知画像を描画する描画制御手段と、所定タイミングで取得した前記物体情報に基づいて描画される前記報知画像が、前記所定タイミングから遅れて表示される要因となる表示遅延要因を特定する特定手段と、を備え、前記表示遅延要因は、前記描画制御手段による描画制御負荷と、前記物体情報の伝送遅延との少なくともいずれかに基づいて特定され、前記描画制御手段は、特定された前記表示遅延要因が示す値が所定値以上の場合、前記対応位置を前記車両に対して前記前方物体が移動する方向に所定の移動量だけ移動した調整位置に視認される前記報知画像を描画する画像位置調整処理を実行し、前記前方物体が前記車両の進行方向と交差する交差方向において前記車両から特定距離以上離れた位置から前記車両に近づいている特定移動状態である場合、前記前方物体が前記特定移動状態でない場合よりも、前記画像位置調整処理を実行する際の前記移動量が大きくなるように前記移動量を補正する。
また、本発明に係る表示装置は、車両の前方風景と重なる虚像としてユーザに視認される重畳画像を表示する表示装置であって、前記車両の前方に存在する前方物体に関する情報であって、少なくとも前記前方物体の位置情報を含む物体情報を取得する取得手段と、前記取得手段が取得した前記物体情報に基づいて、前記重畳画像の表示領域内における前記位置情報に対応する対応位置に、前記前方物体に関する情報を報知するための報知画 像を描画する描画制御手段と、所定タイミングで取得した前記物体情報に基づいて描画される前記報知画像が、前記所 定タイミングから遅れて表示される要因となる表示遅延要因を特定する特定手段と、を備え、前記表示遅延要因は、前記描画制御手段による描画制御負荷と、前記物体情報の伝送遅延との少なくともいずれかに基づいて特定され、前記描画制御手段は、特定された前記表示遅延要因が示す値が所定値以上の場合、前記対応位置を前記車両に対して前記前方物体が移動する方向に所定の移動量だけ移動した調整位置に視認される前記報知画像を描画する画像位置調整処理を実行し、前記特定手段は、前記表示遅延要因としての前記描画制御負荷を、前記描画制御手段によって前記表示領域内に描画される画像であって、前記報知画像を含むコンテンツ画像の面積と数と次元との少なくともいずれかに基づいて特定する。
本発明によれば、報知画像を視認するユーザに違和感を与えてしまうことを抑制することができる。
(a)は、本発明の第1実施形態に係るヘッドアップディスプレイ(HUD)装置の車両への搭載態様例を示す図であり、(b)は、ユーザの視点位置と虚像との関係を示す図である。 車両用表示システムのブロック図である。 (a)は、第1実施形態に係る報知画像の表示例を示し、(b)は、表示ずれの発生例を示す図である。 第1実施形態に係る画像拡大処理が実行された場合の報知画像の表示例を示す図である。 (a)は、表示ずれの発生例を示す図であり、(b)は、第1実施形態に係る画像拡大処理が実行された場合の報知画像の表示例を示す図である。 (a)は、特定種別の報知画像の一例を示し、(b)は、特定種別ではない報知画像の一例を示す図である。 (a)及び(b)は、第1実施形態に係る表示制御処理で用いられる各種テーブルの構成例を示す図である。 (a)及び(b)は、第1実施形態に係る表示制御処理で用いられる各種テーブルの構成例を示す図である。 第1実施形態に係る表示制御処理のフローチャートである。 (a)は、第2実施形態に係る報知画像に表示ずれが発生した状態を示す図であり、(b)は、第2実施形態に係る画像位置調整処理が実行された場合の報知画像の表示例を示す図である。 (a)及び(b)は、前方物体の特定移動状態を説明するための図である。 第2実施形態に係る表示制御処理で用いられる移動量決定テーブルの構成例を示す図である。 第2実施形態に係る表示制御処理のフローチャートである。 (a)は、第3実施形態に係る報知画像に表示遅延が発生した状態を示す図であり、(b)は、第3実施形態に係る線幅拡大処理が実行された場合の報知画像の表示例を示す図である。 (a)は、表示ずれの発生例を示す図であり、(b)は、第3実施形態に係る線幅拡大処理が実行された場合の報知画像の表示例を示す図である。 第3実施形態に係る表示制御処理で用いられる拡大量決定テーブルの構成例を示す図である。 第3実施形態に係る表示制御処理のフローチャートである。
本発明の一実施形態に係る表示装置について図面を参照して説明する。
(第1実施形態)
本実施形態に係る表示装置は、図2に示す車両用表示システム100に含まれるHUD(Head-Up Display)装置10である。HUD装置10は、図1(a)に示すように、車両1(以下、自車1とも言う。)のダッシュボード2の内部に設けられ、車両1に関する情報(以下、車両情報と言う。)だけでなく、車両情報以外の情報も統合的にユーザ4(主に車両1の運転者)に報知する。なお、車両情報は、車両1自体の情報だけでなく、車両1の運行に関連した車両1の外部の情報も含む。
車両用表示システム100は、車両1内において構成されるシステムであり、図2に示すように、HUD装置10と、前方物体検出部40と、視点検出部50と、ECU(Electronic Control Unit)60と、カーナビゲーション(カーナビ)装置70と、を備える。
HUD装置10は、図1(a)に示すように、車両1のフロントガラス3に向けて表示光Qを射出する。フロントガラス3で反射した表示光Qは、ユーザ4側へと向かう。ユーザ4は、自身の視点をアイボックス5内におくことで、フロントガラス3の前方に表示される表示光Qが表す画像を、虚像Aとして視認することができる。これにより、ユーザ4は、虚像Aを前方風景と重畳させて視認することができる。
HUD装置10は、図1(b)に示すように、車両1の前方に設定された仮想面において虚像Aを表示する。当該仮想面は、ユーザ4がアイボックス5内に視点をおいた際の視点位置4aから車両1の前方へ所定距離P(例えば5~10m程度)だけ離れた位置に設定される。仮想面は、表示部20における画像の表示面に対応する。仮想面及びアイボックス5は、当該表示面の大きさや、HUD装置10内の各種の鏡やフロントガラス3によって構成される光学系に基づいて設定される。
HUD装置10は、図2に示す表示部20及び制御装置30と、図示しない反射部とを備える。
表示部20は、制御装置30の制御により、虚像Aとしてユーザ4に視認される重畳画像を表示する。表示部20は、例えば、TFT(Thin Film Transistor)型のLCD(Liquid Crystal Display)や、LCDを背後から照明するバックライト等を有する。バックライトは、例えばLED(Light Emitting Diode)を含んで構成されている。表示部20は、制御装置30の制御の下で、バックライトに照明されたLCDが画像を表示することにより表示光Qを生成する。生成された表示光Qは、反射部で反射した後に、フロントガラス3に向けて射出される。反射部は、例えば、折り返しミラーと凹面鏡の二枚の鏡から構成される。折り返しミラーは、表示部20から射出された表示光Qを折り返して凹面鏡へと向かわせる。凹面鏡は、折り返しミラーからの表示光Qを拡大しつつ、フロントガラス3に向けて反射させる。これにより、ユーザ4に視認される虚像Aは、表示部20に表示されている画像が拡大されたものとなる。なお、反射部を構成する鏡の種類及び枚数は、設計に応じて任意に変更可能である。
なお、以下では、虚像Aとしてユーザ4に視認される画像を表示部20が表示することを「重畳画像を表示する」とも言う。また、制御装置30が表示部20の表示制御を行うことを「重畳画像の表示制御を行う」とも言う。また、表示部20は、重畳画像を表示することができれば、LCDを用いたものに限られず、OLED(Organic Light Emitting Diodes)、DMD(Digital Micro mirror Device)、LCOS(Liquid Crystal On Silicon)などの表示デバイスを用いたものであってもよい。
制御装置30は、HUD装置10の全体動作を制御するマイクロコンピュータからなり、制御部31と、記憶部32とを備える。また、制御装置30は、図示しない構成として、表示部20を駆動するためのドライバや、車両1内の各種システムと通信を行うための入出力回路を備える。
記憶部32は、動作プログラムや各種の画像データを予め記憶するROM(Read Only Memory)や、各種の演算結果などを一時的に記憶するRAM(Random Access Memory)などから構成されている。記憶部32のROMには、後述の表示制御処理を実行するための動作プログラムのデータや、表示制御処理を実行する際に用いられる各種テーブルや数式のデータ等が格納されている。制御部31は、記憶部32のROMに記憶された動作プログラムを実行するCPU(Central Processing Unit)31aと、CPU31aと協働して画像処理を実行するGDC(Graphics Display Controller)31bとを備える。GDC31bは、例えば、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等から構成されている。GDC31bは、ベクターイメージによる描画処理とラスターイメージ(ビットマップ画像)による描画処理との双方が可能なものである。なお、制御装置30や制御部31の構成は、以下に説明する機能を充足する限りにおいては任意である。
制御部31は、表示部20を駆動制御する。例えば、制御部31は、CPU31aで表示部20のバックライトを駆動制御し、CPU31aと協働して動作するGDC31bで表示部20のLCDを駆動制御する。
制御部31のCPU31aは、GDC31bと協働して、記憶部32のROMに記憶された各種の画像データに基づき、重畳画像の制御を行う。GDC31bは、CPU31aからの表示制御指令に基づき、表示部20の表示動作の制御内容を決定する。GDC31bは、表示部20に表示する1画面を構成するために必要な画像パーツデータをROMから読み込み、記憶部32のRAMへ転送する。また、GDC31bは、RAMを使って、画像パーツデータやHUD装置10の外部から通信により受け取った各種の画像データを元に、1画面分の絵データを作成する。そして、GDC31bは、RAMで1画面分の絵データを完成させたところで、画像の更新タイミング(フレームレート)に合わせて、表示部20に転送する。これにより、表示部20に虚像Aとしてユーザ4に視認される重畳画像が表示される。また、虚像Aとして視認される画像を構成する各画像には予めレイヤが割り当てられており、制御部31は、各画像の個別の表示制御が可能となっている。
このような制御により、制御部31は、虚像Aの表示領域内においてコンテンツ画像を描画する。なお、図1(b)、図3等で虚像Aが示している矩形枠は、虚像Aの表示領域を示し、コンテンツ画像は、当該表示領域内に虚像Aの一部として視認される画像である。これは、虚像Aとしてユーザ4に視認される重畳画像を表示する表示部20において、当該重畳画像の表示領域内にコンテンツ画像が表示されることと同義である。
コンテンツ画像とは、虚像Aの表示領域内に描画される任意の画像であり、車両1の前方に存在する前方物体Fに関する情報を報知するための報知画像Cを含む。報知画像Cは、制御部31の制御によって、虚像Aの表示領域内における後述の位置情報(前方物体Fの位置を示す情報)に対応する対応位置に表示される。ここで、虚像Aの表示領域内における報知画像Cの表示位置としての対応位置は、後述の表示ずれが発生していない場合の理想的な状態においては、報知画像Cが前方物体Fの少なくとも一部に重畳した態様や前方物体Fに隣接した態様で、ユーザ4に視認される位置である。対応位置は、前方物体Fの種別に応じて適宜設定することができる。図3(a)は、先行車としての前方物体Fの存在を報知する報知画像Cが表示されている例である。なお、コンテンツ画像は、報知画像Cだけでなく、車両情報を示す画像なども含む。例えば、車両情報を示す画像は、図3(b)に示す、車速を表す画像A1や、走行車線の制限速度を表す画像A2などである。また、報知画像Cによる報知対象となる前方物体Fは、先行車に限られず、歩行者、建物、道路の一部(例えば、白線の実線や破線などの区画線、交差点、分岐路)等であってもよく、任意に設定することができる。
また、制御部31は、前方物体検出部40、視点検出部50、ECU60、及びカーナビ装置70の各々と通信を行う。当該通信としては、例えば、CAN(Controller Area Network)、Ethernet(登録商標)、MOST(Media Oriented Systems Transport)(登録商標)、LVDS(Low Voltage Differential Signaling)などの通信方式が適用可能である。
前方物体検出部40は、自車1の前方に位置する前方物体Fを検出し、検出した前方物体Fに関する情報として、少なくとも前方物体Fの位置情報を含む「物体情報」を制御部31に供給する。物体情報に含まれる位置情報は、例えば、図1(b)に示すように、車両1の進行方向をx軸、車両1における左右方向をy軸、車両1の高さ方向をz軸とした場合における座標(x,y,z)のデータである。なお、座標の原点は、車両1の先端の代表点や、車両1の中心点など任意に設定した位置であればよい。
前方物体検出部40は、例えば、以下に述べる各種センサの1又は複数の組み合わせと、センサが検出した情報を処理する処理部とを含んで構成される。
前方物体検出部40を構成するセンサとしては、例えばLiDAR(Light Detection And Ranging)を採用することができる。前方物体検出部40は、LiDARで計測した点群データから不要の点群を除去した後、クラスタリング処理を行って1又は複数のクラスタ(点群集合)を検出する。また、前方物体検出部40は、検出したクラスタのうち、予め設定された前方物体Fを計測したと推定されるものについて識別器によって前方物体Fか否かを判定する。例えば、クラスタリング処理としては、PCL(Point Cloud Library)におけるEuclidean Clusteringを用いることができる。また、識別器としては、SVM(Support Vector Machine)を用いることができる。このようにして、前方物体検出部40は、このように検出した前方物体Fにつき、その位置情報(前方物体Fの大きさを示す情報も含む。)や、前方物体Fの種別(先行車、歩行者、建物など)を示す種別情報を含む物体情報を制御部31に供給する。
また、前方物体検出部40は、車両1が走行する路面を含む前方風景を撮像する撮像装置を含んで構成されていてもよい。撮像装置は、例えばステレオカメラから構成される。前方物体検出部40は、撮像装置が撮像した画像のデータを、パターンマッチング法などの公知の手法により処理部で画像解析することで、前方物体Fの位置情報や種別情報を算出する。そして、前方物体検出部40は、これらの情報を物体情報として制御部31に供給する。なお、前方物体検出部40は、前方物体Fを検出するソナー、超音波センサ、ミリ波レーダ等を含んで構成されていてもよい。
制御部31は、前方物体検出部40から物体情報を取得し、取得した物体情報に基づいて虚像Aの表示領域内における前方物体Fの位置を特定する。また、制御部31は、前方物体検出部40が検出した前方物体Fが複数ある場合には、複数の前方物体Fの各々に識別情報(ID)を付し、IDに対応する位置情報により、所定の前方物体Fの位置を特定する。なお、前方物体Fの位置情報(座標)が分かれば、自車1に対する前方物体Fの方向を特定することができる。また、位置情報が分かれば、自車1から前方物体Fまでの距離を算出することができる。当該距離を時間微分することで、自車1に対する前方物体Fの相対速度を算出することができる。前方物体Fの方向の特定や、当該距離や相対速度の算出は、前方物体検出部40によって行われてもよいし、制御部31によって行われてもよい。
視点検出部50は、ユーザ4の視点位置(視線方向も含む)を検出する公知の構成であり、例えば、ユーザ4の顔を撮像する赤外線カメラと、赤外線カメラで撮像した画像のデータ(撮像データ)を解析する視点位置解析部と、を有する。視点位置解析部は、撮像データをパターンマッチング法などの公知の手法により画像解析することで、ユーザ4の視点位置を特定し、当該視点位置を示す情報を制御部31に供給する。
ECU60は、車両1の各部を制御するものであり、自車1に関する車両情報を制御部31に供給する。なお、制御部31は、車速センサ等の各種センサから車速情報を直接取得してもよい。自車1に関する車両情報は、例えば、車速、エンジン回転数、警告情報(燃料低下や、エンジン油圧異常など)などである。制御部31は、ECU60から取得した車両情報に基づいて重畳画像の表示制御を行い、虚像Aの表示領域内に所定の車両情報を示す画像を表示させることも可能となっている。つまり、虚像Aの表示領域内には、報知画像C以外の車両情報を示す画像も表示可能となっている。
カーナビ装置70は、人工衛星などから受信したGPS(Global Positioning System)信号に基づいて車両1の位置を算出するGPSコントローラを含む。カーナビ装置70は、地図データを記憶する記憶部を有し、GPSコントローラからの車両1の位置情報に基づいて、現在位置近傍の地図データを記憶部から読み出し、ユーザ4により設定された目的地までの案内経路を決定する。そして、カーナビ装置70は、車両1の位置や決定した案内経路に関する情報を制御部31に出力する。また、カーナビ装置70は、地図データを参照することにより、車両1の前方の施設の名称・種類や、施設と車両1との距離などを示す情報を制御部31に出力する。地図データでは、道路形状情報(車線、道路の幅員、車線数、交差点、カーブ、分岐路等)、制限速度などの道路標識に関する規制情報、車線が複数存在する場合の各車線についての情報などの各種情報が位置データと対応付けられている。カーナビ装置70は、これら各種の情報をナビゲーションデータとして、制御部31に出力する。ここで、報知画像Cの報知対象である前方物体Fが建物や交差点である場合、ナビゲーションデータは、その前方物体Fに関する物体情報や、案内経路を報知画像Cとして表示するための情報や、車両1から前方物体Fまでの距離を制御部31が特定するための情報を含む。つまり、制御部31は、カーナビ装置70から物体情報を取得してもよい。そして、報知画像Cは、ユーザ4がカーナビ装置70で予め設定した、目的地や施設などのPOI(Point of Interest)を示す画像であってもよい。なお、カーナビ装置70は、車両1に搭載されたものに限られず、制御部31との間で有線又は無線により通信を行い、カーナビゲーション機能を有する携帯端末(スマートフォン、タブレットPC(Personal Computer)等)により実現されてもよい。
制御部31は、前方物体検出部40からの物体情報に基づき特定した前方物体Fの位置情報と、視点検出部50から入力されるユーザ4の視点位置に関する情報とに基づき、虚像Aの表示領域内における報知画像Cの表示位置を演算し、表示部20の表示動作を制御する。これにより、制御部31は、実景における前方物体Fに対する所望の位置(前述の対応位置)に報知画像Cを表示する。
なお、制御部31は、報知画像Cを含むコンテンツ画像を2次元(2D)で表示するだけでなく、記憶部32のROMに予め記憶された3次元(3D)画像データを用いて3Dでの表示が可能であってもよい。また、制御部31は、主にフロントガラス3の曲面形状に起因して生じる虚像Aの歪みを補正するための処理として、表示部20の表示面(スクリーンに表示光Qを投影する構成を採用した場合には、当該スクリーン)に表示される画像を、当該表示面以後の光学計によって歪む量だけ逆方向に予め歪めておくワーピングを実行してもよい。さらに、制御部31は、ユーザ4の視点位置に応じたワーピングであるダイナミックワーピングを実行してもよい。ダイナミックワーピングは、アイボックス5の矩形領域をグリッド状に分割して得られる複数の領域毎に設定されたパラメータを用い、視点位置に応じて最適化された歪み補正を実現する。
ここで、前方物体Fを報知するための報知画像Cの表示例を図3(a)に示す。図3(a)は、所望の表示位置に報知画像Cが表示されている例であり、先行車としての前方物体Fの路面側に、前方物体Fの一部と重畳して視認される楕円状の報知画像Cが表示されている例である。
前方物体Fの位置に応じて表示される報知画像Cは、その描画制御負荷(以下、描画負荷とも言う。)などに起因して所望の表示タイミングから遅れて表示される場合がある。報知画像Cの表示遅れが発生すると、自車1と前方物体Fとの相対速度によっては、報知画像Cが所望の表示位置からずれてしまう「表示ずれ」が発生し、ユーザに違和感を与えてしまう。図3(b)は、虚像Aの表示領域内に表示されるコンテンツ画像の数が増え、描画負荷が大きくなったことに起因して、報知画像Cに表示ずれが発生している例を示す。図3(b)は、前方物体Fとして、自車1の走行車線に存在する先行車F1、走行車線の隣の車線に存在する先行車F2、自車1の前方に位置する建物F3,F4が検出され、これら4つの前方物体Fの各々を報知する報知画像C(報知画像C1~C4)に表示ずれが発生している例である。
このような表示ずれによりユーザに与える違和感を低減するため、第1実施形態に係る制御部31は、画像拡大処理を実行する。
ここからは、画像拡大処理を実行する制御部31の主な機能について説明する。制御部31は、取得手段、描画制御手段、及び特定手段として、主に機能する。
取得手段は、前方物体検出部40から前述の物体情報を取得する。描画制御手段は、取得手段が取得した物体情報に基づいて、前方物体Fの位置(位置情報)に対応する対応位置においてユーザ4に視認される報知画像Cを重畳画像の表示領域内において描画する。位置情報と対応位置(虚像Aの表示領域内における報知画像Cの表示位置)との対応関係は、予め記憶部32のROMに記憶されている。
また、特定手段は、所定タイミングで取得手段が取得した物体情報に基づいて描画される報知画像Cが、当該所定タイミングから遅れて表示される要因となる表示遅延要因を特定する。具体的に、特定手段としての制御部31は、以下のようにして表示遅延要因を特定する。
(表示遅延要因の特定について)
表示遅延要因を特定するにあたり、まず、制御部31は、図7(a)に示す予測描画負荷決定テーブルTA1を参照し、虚像Aの表示領域内にこれから表示されるコンテンツ画像(報知画像Cも含む。)を描画予測手段(主にGDC31b)が描画する際に予測される描画負荷(予測描画負荷L)を決定する。予測描画負荷決定テーブルTA1は、例えば、1つのコンテンツ画像に対して参照されるものであり、そのコンテンツ種別(2Dか3D)と描画面積Sの組み合わせと、予測描画負荷Lとが対応して構成されている。予測描画負荷決定テーブルTA1は、予め記憶部32のROM内に格納されている。
制御部31は、GDC31bによって作成される1画面分の画像であって、フレームレートにおける次回以降の所定の更新タイミング(以下、予測対象タイミングと呼ぶ。)に表示部20に転送される画像のうち、1つのコンテンツ画像(以下、予測対象画像と呼ぶ。)に対して、予測描画負荷決定テーブルTA1を参照して、予測描画負荷Lを決定する。例えば、予測対象画像の種別が「2D」で、その描画面積Sが「S1≦S<S2」である場合、制御部31は、予測描画負荷決定テーブルTA1を参照して予測描画負荷Lを「10%」に決定する。
制御部31は、予測対象タイミングで描画される1画面分の絵データに予測対象画像が複数含まれる場合は、予測対象画像の数だけ予測描画負荷Lを決定する。そして、制御部31は、決定した予測描画負荷Lを合計し、合計予測描画負荷ΣLを求める。例えば、図3(b)に示すように虚像Aの表示領域に、4つの報知画像C(C1~C4)、車速を表す画像A1、及び、走行車線の制限速度を表す画像の6つのコンテンツ画像がある場合、6つのコンテンツ画像の各々に対しての予測描画負荷Lを決定し、これらを合算して合計予測描画負荷ΣLを求める。
つまり、特定手段としての制御部31は、表示遅延要因としての描画制御負荷を、コンテンツ画像(報知画像Cを含む。)の面積と数と次元とに基づいて特定する。なお、制御部31は、表示遅延要因としての描画制御負荷を、コンテンツ画像の面積と数と次元の少なくともいずれかに基づいて特定してもよい。
合計予測描画負荷ΣLを求めた制御部31は、図7(b)に示す、予測遅延時間決定テーブルTA2を参照し、描画負荷に起因するコンテンツ画像の表示の遅れ時間を予測する(予測遅延時間TLを決定する)。予測遅延時間決定テーブルTA2は、合計予測描画負荷ΣLと予測遅延時間TLとが対応して構成され、予め記憶部32のROM内に格納されている。制御部31は、予測遅延時間決定テーブルTA2を参照し、求めた合計予測描画負荷ΣLに対応する予測遅延時間TLを決定する。
コンテンツ画像の表示遅れは、描画負荷以外のシステム構成によっても生じる。例えば、前方物体検出部40が所定の前方物体Fをセンシングしたタイミングをt0とした場合、t0でセンシングした物体情報に基づいて、報知画像Cを描画するのはt0以降のt1のタイミングとなるためである。この実施形態では、描画負荷以外の表示遅延要因として、主にセンシングに起因して生じる遅延時間であるセンシング遅延時間TSを考慮する。センシング遅延時間TSは、主に、前方物体検出部40から制御部31への物体情報の伝送遅延であり、予め記憶部32のROM内にデータとして記憶されている。
制御部31は、前述のように決定した描画負荷に起因する予測遅延時間TLと、センシング遅延時間TSとを合算したものを表示遅延要因(T=TL+TS)として特定する。
なお、予測遅延時間TLは、描画負荷だけでなく、表示部20の表示制御や表示動作を考慮した上で予め設定しておいてもよい。また、センシング遅延時間TSは、前方物体検出部40が物体情報を算出する上での処理遅延も考慮して定めてもよい。さらには、システム構成によって生じる表示遅延要因として、制御部31が前述のワーピングやダイナミックワーピングを実行する際の処理負荷を考慮してもよい。ダイナミックワーピングを行う際の処理負荷は、予め設定した視点位置の数や、アイボックス5を複数の領域に分割する際のグリッド数の設定などを鑑みて予測したり、実験により求めたりすることが可能である。
(画像拡大処理について)
以上のように、特定手段によって表示遅延要因が特定されると、描画制御手段としての制御部31は、特定された表示遅延要因が示す値が所定値以上の場合、基準サイズよりも大きいサイズで報知画像Cを描画する画像拡大処理を実行する。
基準サイズは、報知画像Cの種類に応じて定められた所定距離P(図1(b)参照)における報知画像Cのサイズである。基準サイズは、虚像Aの表示領域内において固定のサイズではなく、自車1から前方物体Fの距離と基準サイズの大きさとの対応関係を規定した基準情報(数式のデータやテーブルデータ)に応じて可変するものである。基準情報は、予め記憶部32に記憶され、例えば遠近法を利用して報知対象の前方物体Fへの距離が長くなればなるほど基準サイズが小さくなるように設定されている。制御部31は、自車1から前方物体Fへの距離と基準情報とに基づいて報知画像Cを基準サイズで描画する。
描画制御手段としての制御部31は、画像拡大処理を実行する際、以下のようにして基準サイズに対する倍率を決定する。
制御部31は、図8(a)に示す第1の倍率決定テーブルTA3を参照して、前述のように求めた表示遅延要因に対応する倍率(以下、第1の倍率と言う。)を決定する。第1の倍率決定テーブルTA3は、表示遅延要因と第1の倍率とが対応して構成され、予め記憶部32のROM内に格納されている。
また、制御部31は、第1の倍率を決定した場合であって、車両1と相対的に近付いている前方物体Fとの相対速度が所定速度以上である場合、図8(b)に示す第2の倍率決定テーブルTA4を参照して、当該相対速度に対応する倍率(以下、第2の倍率と言う。)を決定する。第2の倍率決定テーブルTA4は、当該相対速度と第2の倍率とが対応して構成され、予め記憶部32のROM内に格納されている。
第2の倍率を決定した制御部31は、第1の倍率と第2の倍率とを乗算したものを、画像拡大処理における倍率に決定する。例えば、決定した第1の倍率が「1.1」で、第2の倍率が「1.2」である場合、制御部31は、1.1×1.2=1.32により、1.32を画像拡大処理における倍率に決定する。この場合、制御部31は、前述の基準情報に従う基準サイズの1.32倍の報知画像Cを描画する。例えば、画像拡大処理は、基準サイズの報知画像Cのアスペクト比を保ったまま実行される。なお、報知画像Cの形状は、図示例の楕円状に限られず任意であり、矩形、円形、三角形、多角形状などの他の形状であってもよい。また、報知画像Cの構成は、前方物体Fに関する情報を報知することができれば任意であり、例えば、文字、記号、図形、アイコンやこれらの組み合わせであればよい。
図4に、画像拡大処理が実行された場合の報知画像Cの表示例を示す。表示遅延要因が示す値が所定値以上ある場合に、前述のように決定した倍率で基準サイズの報知画像Cを拡大する画像拡大処理を実行することで、所望の表示位置からのずれを目立たなくでき、ユーザへ与える違和感を抑制することができる。
特に、描画制御手段として機能する制御部31は、車両1と前方物体Fとが所定方向において相対的に近づく場合、画像拡大処理を実行する際には、報知画像Cの端部Bであって、前記所定方向において車両1から遠い位置に視認される端部Bを基準として、車両1側に向かって拡大して視認されるように報知画像Cを描画する。
例えば、図4に示す状態で、車両1と前方物体Fとが前後方向に相対的に近づく場合、画像拡大処理を実行する際には、前後方向において車両1から遠い位置に視認される端部B(図4での上端部)を基準として、車両1側に向かって拡大して視認されるように報知画像Cを描画する。こうすれば、表示遅延に起因して所望の表示位置よりも上側に報知画像Cがずれる表示ずれが生じた場合であっても、当該表示ずれを良好に目立たなくすることができる。
また、図5(a)に、前方物体Fが道路の区画線(同図の例では白線)であって、前方物体Fを報知する報知画像Cが区画線の存在を強調すべく、当該区画線に重畳して表示される例を示す。この場合、前方物体Fは地面に対して不動の不動体であるが、車両1が区画線に近づいていけば、図5(a)に示すように、報知画像Cの表示ずれが発生する可能性がある。このように車両1と前方物体Fとが横方向に相対的に近づく場合、画像拡大処理を実行する際には、図5(b)に示すように、横方向において車両1から遠い位置に視認される端部B(図5(b)での右端部)を基準として、車両1側に向かって拡大して視認されるように報知画像Cを描画する。こうすれば、表示遅延に起因して所望の表示位置よりも右側に報知画像Cがずれる表示ずれが生じた場合であっても、当該表示ずれを良好に目立たなくすることができる。
(表示制御処理)
ここからは、制御部31が実行する表示制御処理について、主に図9を参照しつつ説明する。表示制御処理は、例えば、車両1のイグニッションがオンされた状態において継続して実行される。
表示制御処理を開始すると、まず、制御部31は、前方物体Fが検出されたか否かを判別する(ステップS101)。制御部31は、前方物体検出部40から物体情報が供給された場合、前方物体Fが検出されたと判別し(ステップS101;Yes)、処理をステップS102へ進める。一方、前方物体Fが検出されていない場合(ステップS101;No)、制御部31は、ステップS101で待機する。
続いて、制御部31は、前方物体検出部40から取得した物体情報に基づいて、前述のように、自車1と前方物体Fの相対速度を算出する(ステップS102)。
続いて、制御部31は、検出した前方物体Fを報知するための報知画像Cが特定種別の画像か否かを判別する(ステップS103)。
ここで、特定種別の画像とは、前方物体Fが道路などの不動体である場合に、当該不動体に関する情報を報知するための報知画像Cが、所望の表示位置(前述の対応位置)に対して車両1の進行方向にずれて視認されたとしても当該報知を行う上で許容できる画像であり、その種別が予め記憶部32のROM内に記憶されている。例えば、図6(a)に示すように、前方物体Fが車両1の前方路面であり、報知画像Cが単に直進を示す案内表示である場合には、報知画像Cに表示遅延が発生したとしても、前方路面に対してずれて表示されているとユーザ4に認識される可能性は少ない。したがって、このように、報知画像Cが直進を示す案内表示などの報知画像Cを予め特定種別として記憶し、報知画像Cが特定種別の画像である場合には、後述の画像拡大処理を実行しない。一方、図6(b)に示すように、前方物体Fが交差点であり、報知画像Cが左折を示す案内表示である場合には、当該報知画像Cを特定種別には設定しない。図6(b)に示す態様の報知画像Cが、車両1の進行方向にずれて視認されてしまうと、案内に影響が出るためである。その他、報知画像Cが直進以外の方向を案内する場合なども、当該報知画像Cを特定種別には設定しない。
ステップS103で、報知画像Cが図6(b)に示すような特定種別の画像である場合(ステップS103;Yes)、制御部31は、物体情報に含まれる位置情報に対応した対応位置に、前述の基準情報に従う基準サイズの報知画像Cを表示する通常画像制御を実行する(ステップS104)。なお、ステップS101で複数の前方物体Fを検出した場合、制御部31は、複数の前方物体Fの各々に対応した報知画像Cを表示する。
ステップS103で、報知画像Cが特定種別の画像でない場合(ステップS103;No)、制御部31は、前方物体Fが所定の相対速度以上で遠ざかっているか否かをステップS102で算出した相対速度に基づき判別する(ステップS103A)。具体的には、ステップS101で取得した物体情報により特定される前方物体Fが先行車等の移動体であり、当該移動体が予め記憶部32のROMに定めた所定の相対速度以上で自車1に対して遠ざかっている場合(ステップS103A;Yes)、制御部31は、通常画像制御を実行する(ステップS104)。当該移動体は、現時点でユーザ4にとって重要度が低いと見做せるためである。なお、移動体とは、地面に対して移動する物体であり、例えば、先行車、歩行者などである。
ステップS103Aで、前方物体Fが所定の相対速度以上で遠ざかっていない場合(ステップS103A;No)、制御部31は、表示遅延要因を特定する(ステップS105)。前述のように、制御部31は、これから表示すべき報知画像Cの種別(2Dか3D)等と、予測描画負荷決定テーブルTA1及び予測遅延時間決定テーブルTA2とに基づき、予測遅延時間TLを決定する。そして、制御部31は、決定した予測遅延時間TLとセンシング遅延時間TSとを合算したものを表示遅延要因(T=TL+TS)として特定する。
続いて、制御部31は、ステップS105で特定した表示遅延要因を示す値Tが、予め記憶部32のROM内に定めた所定値T1以上であるか否かを判別する(ステップS106)。表示遅延要因が示す値Tが所定値T1未満である場合(ステップS106;No)、制御部31は、通常画像制御を実行する(ステップS104)。
一方、表示遅延要因が示す値Tが所定値T1以上である場合(ステップS106;Yes)、制御部31は、基準サイズに対する倍率を決定する(ステップS107)。ここでは前述のように、制御部31は、第1の倍率決定テーブルTA3を参照して、ステップS105で特定した表示遅延要因に対応する倍率(第1の倍率)を決定する。また、車両1と相対的に近付いている前方物体Fとの相対速度Vが所定速度(図8(b)の例ではV1)以上である場合、第2の倍率決定テーブルTA4を参照して、相対速度Vに対応する倍率(第2の倍率)を決定する。そして、制御部31は、第1の倍率と第2の倍率とを乗算したものを画像拡大処理における倍率に決定する。なお、相対速度Vが所定速度V1未満である場合には、第1の倍率をそのまま画像拡大処理における倍率として決定する。
続いて、制御部31は、ステップS107で決定した倍率で基準サイズを拡大した報知画像Cを描画する画像拡大処理を実行する(ステップS108)。前述の通り、車両1と前方物体Fとが所定方向において相対的に近づく場合、画像拡大処理を実行する際には、報知画像Cの端部Bであって、前記所定方向において車両1から遠い位置に視認される端部Bを基準として、車両1側に向かって拡大して視認されるように報知画像Cを描画する。なお、車両1と前方物体Fとが所定方向において相対的に近づいていない場合、制御部31は、任意の位置を基準に報知画像Cを拡大すればよい。また、ステップS101で複数の前方物体Fを検出した場合、制御部31は、複数の前方物体Fの各々に対応して表示される報知画像Cのうち、ステップS107で倍率を決定した画像について画像拡大処理を実行する。
ステップS108やステップS104の実行後、制御部31は、再びステップS101の処理から実行する。以上の表示制御処理は、例えばHUD装置10がオフされるまで継続して実行される。第1実施形態の説明は以上である。
ここからは、表示制御処理における一部の処理等が第1実施形態と異なる他の実施形態について説明する。以下の実施形態は、車両用表示システム100の構成が第1実施形態と同様である。したがって、以下では、第1実施形態と同様の各構成については第1実施形態と同一の符号を用いて説明するとともに、第1実施形態と異なる点を中心に説明する。
(第2実施形態)
第2実施形態においても、制御部31は、例えば、図3(a)に示すように、前方物体Fを報知するための報知画像Cを表示する。そして、第2実施形態に係る制御部31は、図3(b)や図10(a)に示すような表示ずれが発生することによりユーザに与える違和感を低減するため、後述の画像位置調整処理を実行する。画像位置調整処理を含む表示制御処理を実行する制御部31は、取得手段、描画制御手段、及び特定手段として、主に機能する。第2実施形態に係る特定手段は、第1実施形態と同様に表示遅延要因を特定する。
(画像位置調整処理について)
特定手段によって表示遅延要因が特定されると、描画制御手段としての制御部31は、特定された表示遅延要因が示す値が所定値以上の場合、所望の表示位置(前述の対応位置)を車両1に対して前方物体Fが移動する方向に所定の移動量だけ移動した調整位置に視認される報知画像Cを描画する画像位置調整処理を実行する。描画制御手段としての制御部31は、画像位置調整処理を実行する際、以下のようにして報知画像Cの移動量を決定する。
制御部31は、表示遅延要因が示す値が所定値以上の場合、移動量を予め定められた値M(以下、Mを基準移動量とも呼ぶ。)とする。さらに、制御部31は、自車1と前方物体Fとの相対速度Vを求め、図12に示す移動量決定テーブルTA5を参照して、求めた相対速度Vに対応する移動量を決定する。移動量決定テーブルTA5は、相対速度と移動量とが対応して構成され、予め記憶部32のROM内に格納されている。例えば、算出した相対速度Vの大きさ(絶対値)が0≦V<V1の場合、制御部31は、報知画像Cの移動量をそのままMとする。また、算出した相対速度Vの大きさがV1≦V<V2の場合、制御部31は、報知画像Cの移動量をα×M(α>1)とする。つまり、制御部31は、相対速度Vが第1の値である場合に比べて、相対速度Vが第1の値よりも大きい第2の値である場合の移動量を大きくする。
なお、制御部31は、表示遅延要因が示す値が大きくなるほど報知画像Cの移動量が大きくなるように、基準移動量M自体を可変制御してもよい。また、制御部31は、求めた相対速度Vに応じて係数(図12の例では、αやβ)を決定し、決定した係数を基準移動量Mに乗算することで、相対速度Vに応じた報知画像Cの移動量を求めてもよい。また、相対速度Vと報知画像Cの移動量との関係を関数(例えば一次関数や二次関数)のデータとして予め記憶部32のROMに記憶し、制御部31は、求めた相対速度Vと関数に基づき報知画像Cの移動量を決定してもよい。
図10(b)に、画像位置調整処理が実行された場合の報知画像Cの表示例を示す。例えば、表示遅延要因が増大した場合に、前方物体Fが自車1に対して近づいてきた際には、図10(a)に示すような表示ずれが発生する。この表示ずれによりユーザ4に与える違和感を抑制するため、第2実施形態に係る制御部31は、表示遅延要因が示す値が所定値以上の場合、所望の表示位置(前述の対応位置)を車両1に対して前方物体Fが移動する方向(図10の例では下方向)に所定の移動量だけ移動した調整位置に視認される報知画像Cを描画する画像位置調整処理を実行する。
特に、描画制御手段として機能する制御部31は、前方物体Fが車両1の進行方向(例えばx方向)と交差する交差方向(例えばy方向)において、車両1から特定距離以上離れた位置から車両1に近づいている特定移動状態である場合、前方物体Fが特定移動状態でない場合よりも、画像位置調整処理を実行する際の移動量が大きくなるように、移動量を補正する。
ここで、図11(a)、(b)を参照して、前方物体Fの特定移動状態について説明する。図11(a)は、前方物体Fが自車1に対して大きさvの相対速度ベクトルで真っ直ぐに接近する例である。一方、図11(b)は、前方物体Fが自車1に対して大きさvの相対速度ベクトルで斜めに接近する例である。ユーザ4(主に運転者)にとっては、図11(a)に示す場合よりも図11(b)に示す場合のほうが、両場合の相対速度の大きさがvで同じであったとしても、距離感が掴みにくい。これを考慮して、例えば、制御部31は、取得した物体情報に含まれる位置情報(x,y,z)に基づき、前方物体Fが自車1に近づいており、且つ、前方物体Fのy座標が車両1から特定距離以上離れた位置にある場合に、前方物体Fが特定移動状態であると特定する。特定距離は、y方向における距離として予め記憶部32のROMに記憶されている。
前述のように決定した移動量をMfとすれば、制御部31は、前方物体Fが特定移動状態であると特定した場合には、Mfに補正量ΔMを加算し、報知画像Cの移動量を(Mf+ΔM)とする。こうすれば、報知画像Cをより自車1側に表示させることができるため、ユーザ4にとって距離感が掴みにくいと想定される特定移動状態の前方物体Fの存在を良好に報知することができる。
なお、図5(a)に示すように、前方物体Fが道路の区画線であり、報知画像Cが区画線を強調して報知する場合においても、第2実施形態に係る画像位置調整処理を実行することができる。車両1が区画線に近づいていけば、図5(a)に示すように、報知画像Cの表示ずれが発生する可能性があるが、第2実施形態に係る画像位置調整処理を実行し、車両1に対して前方物体Fが移動する方向(図5(a)での左方向)に決定した移動量だけ移動した調整位置に視認される報知画像Cを描画すれば、当該表示ずれを目立たなくすることができる。こうすれば、表示遅延に起因して所望の表示位置よりも右側に報知画像Cがずれる表示ずれが生じた場合であっても、当該表示ずれを良好に目立たなくすることができる。
(表示制御処理)
ここからは、第2実施形態に係る表示制御処理について図13を参照して説明する。制御部31は、ステップS201~S206の処理を、第1実施形態で説明したステップS101~S106と同様に実行する。
ステップS206で、表示遅延要因が示す値Tが所定値T1以上である場合(ステップS206;Yes)、制御部31は、報知画像Cの対応位置から調整位置までの移動量を決定する(ステップS207)。ここでは前述のように、制御部31は、移動量決定テーブルTA5を参照して、ステップS202で求めた相対速度Vと対応する移動量を決定する。
続いて、制御部31は、前述のように、前方物体Fが斜めから自車1に近づいている特定移動状態か否かを判別する(ステップS207A)。
前方物体Fが特定移動状態でない場合(ステップS207A;No)、制御部31は、ステップS207で決定した移動量だけ、対応位置から移動した調整位置に報知画像Cを描画する画像位置調整処理を実行する(ステップS208)。なお、ステップS207AでNoとなり、処理がステップS208へ遷移した場合は、制御部31は、前方物体Fが自車1に対して離れている場合であっても、画像位置調整処理を実行してもよい。
前方物体Fが特定移動状態である場合(ステップS207A;Yes)、制御部31は、ステップS207で決定した移動量をMfとした場合、Mfに補正量ΔMを加算することで報知画像Cの移動量を(Mf+ΔM)と補正し(ステップS207B)、補正後の移動量で画像位置調整処理を実行する(ステップS208)。
ステップS208やステップS204の実行後、制御部31は、再びステップS201の処理から実行する。第2実施形態の説明は以上である。
(第3実施形態)
第3実施形態では、制御部31は、例えば、図14(a)に示すように、前方物体Fを報知するための画像として、線状画像(線状に視認される画像)から構成された報知画像Cを表示する。
報知画像Cは、例えばベクターイメージにより描画されるものであり、図14(a)に示すように、車両1と前方物体Fとが相対する方向(図14(a)における上下方向)と交差する方向に沿って視認される特定線状画像Csと、特定線状画像Csの両端の各々から車両1の前方に向かって延びるように視認される所定線状画像Cnとを含んで構成されている。なお、この実施形態における所定線状画像Cnは、後述の線幅拡大処理対象ではない画像である。
図14(a)に示す報知画像Cは、2つの所定線状画像Cnの各々の先端が近づくように傾いていることにより、遠近感が創出されるとともに、前方の路面に沿って視認される態様の例である。なお、図14(a)は、前述の表示ずれにより、報知画像Cが所望の表示位置からずれて表示されてしまっている例である。
第3実施形態に係る制御部31は、図14(a)に示すような表示ずれが発生することによりユーザに与える違和感を低減するため、後述の線幅拡大処理を実行する。線幅拡大処理を含む表示制御処理を実行する制御部31は、取得手段、描画制御手段、及び特定手段として、主に機能する。第3実施形態に係る特定手段は、第1及び第2実施形態と同様に表示遅延要因を特定する。
(線幅拡大処理について)
特定手段によって表示遅延要因が特定されると、描画制御手段としての制御部31は、特定された表示遅延要因が示す値が所定値以上の場合、特定線状画像Csの線幅が車両1に対して前方物体Fが移動する方向に所定の拡大量だけ拡大して視認されるように報知画像Cを描画する線幅拡大処理を実行する。線幅拡大処理は、予め定められた基準線幅を決定した拡大量だけ拡大することで実行される。基準線幅は、報知画像Cの種類に応じて定められた所定距離P(図1(b)参照)における線状画像(特定線状画像Csを含む。)の幅である。基準線幅は、虚像Aの表示領域内において固定でなくともよく、自車1から前方物体Fの距離と基準線幅との対応関係を規定した基準線幅情報(数式のデータやテーブルデータ)に応じて可変であってもよい。この基準線幅情報は、予め記憶部32に記憶され、例えば遠近法を利用して報知対象の前方物体Fへの距離が長くなればなるほど基準線幅が狭くなるように設定されている。制御部31は、自車1から前方物体Fへの距離と基準線幅情報とに基づいて線状画像から構成される報知画像Cを基準線幅で描画する。
制御部31は、表示遅延要因が示す値が所定値以上の場合、拡大量を予め定められた値E(以下、Eを基準移動量とも呼ぶ。)とする。さらに、制御部31は、自車1と前方物体Fとの相対速度Vを求め、図16に示す拡大量決定テーブルTA6を参照して、求めた相対速度Vに対応する拡大量を決定する。拡大量決定テーブルTA6は、相対速度と拡大量とが対応して構成され、予め記憶部32のROM内に格納されている。例えば、算出した相対速度Vの大きさ(絶対値)が0≦V<V1の場合、制御部31は、特定線状画像Csの拡大量をそのままEとする。また、算出した相対速度Vの大きさがV1≦V<V2の場合、制御部31は、特定線状画像Csの拡大量をα×E(α>1)とする。つまり、制御部31は、相対速度Vが第1の値である場合に比べて、相対速度Vが第1の値よりも大きい第2の値である場合の拡大量を大きくする。
なお、制御部31は、表示遅延要因が示す値が大きくなるほど特定線状画像Csの拡大量が大きくなるように、基準拡大量E自体を可変制御してもよい。また、制御部31は、求めた相対速度Vに応じて係数(図16の例では、αやβ)を決定し、決定した係数を基準拡大量Eに乗算することで、相対速度Vに応じた特定線状画像Csの拡大量を求めてもよい。また、相対速度Vと特定線状画像Csの拡大量との関係を関数(例えば一次関数や二次関数)のデータとして予め記憶部32のROMに記憶し、制御部31は、求めた相対速度Vと関数に基づき特定線状画像Csの拡大量を決定してもよい。
図14(b)に、線幅拡大処理が実行された場合の報知画像Cの表示例を示す。例えば、表示遅延要因が増大した場合に、前方物体Fが自車1に対して近づいてきた際には、図14(a)に示すような表示ずれが発生する。この表示ずれによりユーザ4に与える違和感を抑制するため、第3実施形態に係る制御部31は、表示遅延要因が示す値が所定値以上の場合、特定線状画像Csの線幅が車両1に対して前方物体Fが移動する方向(図14の例では下方向)に決定した拡大量だけ拡大して視認されるように報知画像Cを描画する線幅拡大処理を実行する。
特に、描画制御手段として機能する制御部31は、第2実施形態で述べたのと同様に、前方物体Fが車両1の進行方向(例えばx方向)と交差する交差方向(例えばy方向)において、車両1から特定距離以上離れた位置から車両1に近づいている特定移動状態である場合、前方物体Fが特定移動状態でない場合よりも、線幅拡大処理を実行する際の拡大量が大きくなるように、拡大量を補正する。
前述のように決定した拡大量をEfとすれば、制御部31は、前方物体Fが特定移動状態であると特定した場合には、Efに補正量ΔEを加算し、特定線状画像Csの拡大量を(Ef+ΔE)とする。こうすれば、報知画像Cにおける特定線状画像Csをより自車1側に拡大させることができるため、ユーザ4にとって距離感が掴みにくいと想定される特定移動状態の前方物体Fの存在を良好に報知することができる。
また、図15(a)に、前方物体Fが道路の区画線(同図の例では白線)であって、前方物体Fを報知する報知画像Cが区画線の存在を強調すべく、当該区画線に重畳して表示される例を示す。図15(a)の例では、報知画像Cが略矩形の囲み形状で構成され、車両1と前方物体Fとが相対する方向と交差する方向(図15(a)における前方物体Fである区画線が延びる方向)に沿って視認される2つ線状画像のうち、車両1に近いものが特定線状画像Csとして設定されている。そして、線状画像で構成される報知画像Cのうち、特定線状画像Cs以外のものは所定線状画像Cnに設定されている。
車両1が区画線に近づいていけば、図15(a)に示すように、報知画像Cの表示ずれが発生する可能性があるが、特定線状画像Csの線幅が車両1に対して前方物体Fが移動する方向(図15(b)における左方向)に所定の拡大量だけ拡大して視認されるように報知画像Cを描画する線幅拡大処理を実行すれば、当該表示ずれを目立たなくすることができる。こうすれば、表示遅延に起因して所望の表示位置よりも右側に報知画像Cがずれる表示ずれが生じた場合であっても、当該表示ずれを良好に目立たなくすることができる。
(表示制御処理)
ここからは、第3実施形態に係る表示制御処理について図17を参照して説明する。制御部31は、ステップS301~S306の処理を、第1実施形態で説明したステップS101~S106と同様に実行する。
ステップS306で、表示遅延要因が示す値Tが所定値T1以上である場合(ステップS306;Yes)、制御部31は、前方物体Fが自車1に近づいているか否かを判別する(ステップS306A)。前方物体Fが自車1に近づいていない場合(ステップS306A;No)、制御部31は、線幅拡大処理を実行せず、通常画像制御で報知画像Cを描画する(ステップS304)。これにより、前方物体Fが自車1に近づいておらず、ユーザ4にとって重要度が低いと見做せる報知画像Cについては、線幅拡大処理を実行せずに、制御負担を低減することができる。
前方物体Fが自車1に近づいている場合(ステップS306A;Yes)、制御部31は、拡大量決定テーブルTA6を参照して、ステップS302で求めた相対速度Vと対応する拡大量を決定する(ステップS307)。
続いて、制御部31は、第2実施形態のステップS207Aと同様に、前方物体Fが斜めから自車1に近づいている特定移動状態か否かを判別する(ステップS307A)。
前方物体Fが特定移動状態でない場合(ステップS307A;No)、制御部31は、ステップS307で決定した拡大量で報知画像Cにおける特定線状画像Csの線幅を拡大する線幅拡大処理を実行する(ステップS308)。
前方物体Fが特定移動状態である場合(ステップS307A;Yes)、制御部31は、ステップS307で決定した拡大量をEfとした場合、Efに補正量ΔEを加算することで報知画像Cの拡大量を(Ef+ΔE)と補正し(ステップS307B)、補正後の拡大量で線幅拡大処理を実行する(ステップS308)。
ステップS308やステップS304の実行後、制御部31は、再びステップS301の処理から実行する。第3実施形態の説明は以上である。
なお、本発明は以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更(構成要素の削除も含む)を加えることが可能である。
以上では、表示遅延要因が示す値を、描画負荷に起因する予測遅延時間TLと、センシング遅延時間TSとを合算した遅延時間Tとした例を示したが、これに限られない。表示遅延要因は、描画制御手段による描画制御負荷と、物体情報の伝送遅延との少なくともいずれかに基づいて特定されるものであればよい。例えば、表示遅延要因が示す値は、図7(a)に示す予測描画負荷Lであってもよい。そして、制御部31は、第1実施形態に係る倍率や、第2実施形態に係る移動量や、第3実施形態に係る拡大量を予測描画負荷Lに応じて決定してもよい。また、以上では、テーブルデータを用いて表示遅延要因が示す値を決定する例を示したが、制御部31は、数式のデータを用いて表示遅延要因が示す値を算出してもよい。当該数式のデータは、予め記憶部32のROMに記憶され、例えば、コンテンツ画像の種別、面積、数などの各種パラメータから表示遅延要因が示す値を算出可能に構成されていればよい。
また、制御部31は、第1実施形態に係る画像拡大処理、第2実施形態に係る画像位置調整処理、及び、第3実施形態に係る線幅拡大処理のうち、複数を組み合わせて実行してもよい。例えば、制御部31は、特定した表示遅延要因に応じて画像拡大処理を実行する際の倍率と、画像位置調整処理を実行する際の移動量を決定し、報知画像Cを基準サイズから拡大させる画像拡大処理を実行するとともに、報知画像Cの表示位置を決定した移動量だけ移動させる画像位置調整処理を実行してもよい。また、虚像Aの表示領域内に、線状画像からなる報知画像Cと、線状画像ではない報知画像C(例えば塗り潰し状の画像等)との両者が表示される場合には、制御部31は、画像拡大処理及び画像位置調整処理の少なくともいずれかと、線幅拡大処理とを実行可能であってもよい。
第3実施形態で説明した報知画像Cは、特定線状画像Csを含む線状画像から構成されていれば、その形状や態様は任意である。例えば、報知画像Cはリング状の線状画像であってもよい。この場合、リング状の線状画像のうち、車両1と前方物体Fとが相対する方向と交差する方向に沿って視認される任意の部分を特定線状画像Csとし、他の部分を所定線状画像Cnと設定することができる。
また、第3実施形態で説明した報知画像Cにおける特定線状画像Csは、ユーザ4から見て左右方向に沿う横線状画像であってもよい。また、線幅拡大処理において、基準線幅に対して幅が拡大された特定線状画像Csの少なくとも一部をぼかしてもよい。例えば、特定線状画像Csにおける基準線幅から幅が拡大された部分をぼかしてもよいし、拡大された特定線状画像Csの全てをぼかす等してもよい。こうすることで、例えば、特定線状画像Csが拡大されることによる見栄えの違和感を低減することができ、また、前方物体Fに対する重畳性を向上させることができる。また、線幅拡大処理において、特定線状画像Csの線幅の拡大と併せて、所定線状画像Cn(例えば、ユーザ4から見て概ね上下方向に沿う縦線状の画像)の線幅を拡大してもよい。このように特定線状画像Csの線幅の拡大と併せて所定線状画像Cnの線幅を拡大する処理は、例えば、自車1に対して前方物体Fが斜めに移動する場合に有用である。
以上では、前方物体検出部40が自車1から前方物体Fをセンシングする構成例を説明したが、これに限られない。
前方物体検出部40は、自車1の外部から前方物体Fに係る物体情報を受信し、受信した物体情報を制御部31に供給する構成であってもよい。当該構成の前方物体検出部40は、車両1とワイヤレスネットワークとの通信(V2N:Vehicle To cellular Network)、車両1と他車両との通信(V2V:Vehicle To Vehicle)、車両1と歩行者との通信(V2P:Vehicle To Pedestrian)、車両1と路側のインフラとの通信(V2I:Vehicle To roadside Infrastructure)を可能とする各種モジュールから構成すればよい。例えば、(i)前方物体検出部40は、WAN(Wide Area Network)に直接アクセスできる通信モジュール、WANにアクセス可能な外部装置(モバイルルータなど)や公衆無線LAN(Local Area Network)のアクセスポイント等と通信するための通信モジュールなどを備え、インターネット通信を行ってもよいし、人工衛星などから受信したGPS(Global Positioning System)信号に基づいて車両1の位置を算出するGPSコントローラを備えていてもよい。これらの構成により、V2Nによる通信が可能である。(ii)また、前方物体検出部40は、所定の無線通信規格に準拠した無線通信モジュールを備え、V2VやV2Pによる通信を行ってもよい。(iii)また、前方物体検出部40は、路側のインフラと無線通信する通信装置を有し、例えば、安全運転支援システム(DSSS:Driving Safety Support Systems)の基地局から、インフラストラクチャーとして設置された路側無線装置を介して、車両1の前方情報を取得してもよい。これによりV2Iによる通信が可能となる。
つまり、前方物体検出部40は、車両1と車両1の外部との間でV2X(Vehicle To Everything)による通信を可能とする構成であってもよい。そして、前方物体検出部40が、前記の撮像装置やセンサ群、V2Xによる通信を可能とする各種モジュールのうち、複数の装置の組み合わせから構成され、当該複数の装置の各々から物体情報を制御部31に供給する構成としてもよい。
表示部20の表示面(LCDの表示面や、DMDやLCOSを用いた場合にはスクリーン)を傾けて配置することにより、虚像Aが表示される仮想面を車両1の上下方向に対して前方に傾けて設定してもよい。
表示光Qの投射対象は、フロントガラス3に限定されず、板状のハーフミラー、ホログラム素子等により構成されるコンバイナであってもよい。また、以上で説明した表示制御処理を実行する表示装置は、HUD装置10に限られない。表示装置は、車両1のユーザ4の頭部に装着されるヘッドマウントディスプレイ(HMD:Head Mounted Display)として構成されてもよい。そして、HMDが虚像として表示する画像において、報知画像Cの表示制御を、前述と同様な手法で実行してもよい。つまり、表示装置は、車両1に搭載されているものに限られず、車両1で使用されるものであればよい。
以上に説明した表示装置の一例としてのHUD装置10は、車両1の前方風景と重なる虚像Aとしてユーザ4に視認される重畳画像を表示する。HUD装置10は、取得手段、描画制御手段、及び特定手段として機能する制御部31を備える。取得手段は、車両1の前方に存在する前方物体Fに関する情報であって、少なくとも前方物体Fの位置情報を含む物体情報を取得する。描画制御手段は、取得手段が取得した物体情報に基づいて、重畳画像の表示領域内における位置情報に対応する対応位置に、前方物体Fに関する情報を報知するための報知画像Cを描画する。特定手段は、所定タイミングで取得した物体情報に基づいて描画される報知画像Cが、前記所定タイミングから遅れて表示される要因となる表示遅延要因を特定する。表示遅延要因は、描画制御手段による描画制御負荷と、物体情報の伝送遅延との少なくともいずれかに基づいて特定される。
(1-1)第1実施形態に係るHUD装置10では、描画制御手段は、特定された表示遅延要因が示す値が所定値以上の場合、予め定められた基準サイズよりも大きいサイズで報知画像Cを描画する画像拡大処理を実行する。
この構成によれば、前述のように、報知画像Cを視認するユーザ4に違和感を与えてしまうことを抑制することができる。
(1-2)具体的に、描画制御手段は、画像拡大処理を実行する際には、表示遅延要因に基づいて決定した基準サイズに対する倍率で報知画像Cを描画する。
(1-3)また、描画制御手段は、車両1と前方物体Fとが所定方向において相対的に近づく場合、画像拡大処理を実行する際には、報知画像Cの端部Bであって、所定方向において車両1から遠い位置に視認される端部Bを基準として、車両1側に向かって拡大して視認されるように報知画像Cを描画する。
この構成によれば、表示遅延に起因して所望の表示位置から報知画像Cがずれる表示ずれが生じた場合であっても、当該表示ずれを良好に目立たなくすることができる。
(1-4)また、描画制御手段は、車両1と前方物体Fとが相対的に近づく場合であって、車両1と前方物体Fとの相対速度Vが所定速度以上の場合、画像拡大処理を実行する際には、表示遅延要因と相対速度Vとに基づいて決定した基準サイズに対する倍率で報知画像Cを描画する。
この構成によれば、前方物体Fに対する報知画像Cの追従性を確保することができる。
(1-5)また、描画制御手段は、前方物体Fが地面に対する不動体である場合に、不動体に関する情報を報知するための報知画像Cが予め定められた特定種別の画像(所望の表示位置に対して車両1の進行方向にずれて視認されたとしても当該報知を行う上で許容できる画像)である場合には、特定種別の画像についての画像拡大処理を実行しない。
この構成によれば、特定種別の報知画像Cについての画像拡大処理を実行せずに済むので、制御負担を軽減することができる。
(1-6)また、描画制御手段は、前方物体Fが車両1に対して所定の相対速度以上で遠ざかる移動体である場合には、当該移動体に関する情報を報知するための報知画像Cについての画像拡大処理を実行しない。
この構成によれば、ユーザ4にとって重要度が低いと見做せる報知画像Cについての画像拡大処理を実行せずに済むので、制御負担を軽減することができる。
(1-7)具体的に、特定手段は、表示遅延要因としての描画制御負荷を、描画制御手段によって重畳画像の表示領域内に描画される画像であって、報知画像Cを含むコンテンツ画像の面積と数と次元との少なくともいずれかに基づいて特定する。
(2-1)第2実施形態に係るHUD装置10では、描画制御手段は、特定された表示遅延要因が示す値が所定値以上の場合、対応位置(所望の表示位置)を車両1に対して前方物体Fが移動する方向に所定の移動量だけ移動した調整位置に視認される報知画像Cを描画する画像位置調整処理を実行する。
この構成によれば、前述のように、報知画像Cを視認するユーザ4に違和感を与えてしまうことを抑制することができる。
(2-2)具体的に、描画制御手段は、画像位置調整処理を実行する際には、表示遅延要因に基づいて移動量を決定する。
(2-3)また、描画制御手段は、車両1と前方物体Fとの相対速度Vに応じて画像位置調整処理を実行する際の移動量を制御し、相対速度Vが第1の値である場合に比べて、相対速度Vが第1の値よりも大きい第2の値である場合の移動量を大きくする。
この構成によれば、前方物体Fに対する報知画像Cの追従性を確保することができる。
(2-4)また、描画制御手段は、前方物体Fが車両1の進行方向と交差する交差方向において車両1から特定距離以上離れた位置から車両1に近づいている特定移動状態である場合、前方物体Fが特定移動状態でない場合よりも、画像位置調整処理を実行する際の移動量が大きくなるように移動量を補正する。
この構成によれば、報知画像Cをより自車1側に表示させることができるため、ユーザ4にとって距離感が掴みにくいと想定される特定移動状態の前方物体Fの存在を良好に報知することができる。
(2-5)具体的に、特定手段は、表示遅延要因としての描画制御負荷を、描画制御手段によって重畳画像の表示領域内に描画される画像であって、報知画像Cを含むコンテンツ画像の面積と数と次元との少なくともいずれかに基づいて特定する。
(3-1)第3実施形態に係るHUD装置10では、報知画像Cは、線状画像から構成され、車両1と前方物体Fとが相対する方向と交差する方向に沿って視認される特定線状画像Csを含む。そして、描画制御手段は、特定された表示遅延要因が示す値が所定値以上の場合、特定線状画像Csの線幅が車両1に対して前方物体Fが移動する方向に所定の拡大量だけ拡大して視認されるように報知画像Cを描画する線幅拡大処理を実行する。
この構成によれば、前述のように、報知画像Cを視認するユーザ4に違和感を与えてしまうことを抑制することができる。
(3-2)具体的に、描画制御手段は、線幅拡大処理を実行する際には、表示遅延要因に基づいて拡大量を決定する。
(3-3)また、描画制御手段は、車両1と前方物体Fとの相対速度Vに応じて線幅拡大処理を実行する際の拡大量を制御し、相対速度Vが第1の値である場合に比べて、相対速度Vが第1の値よりも大きい第2の値である場合の拡大量を大きくする。
この構成によれば、前方物体Fに対する報知画像Cの追従性を確保することができる。
(3-4)また、描画制御手段は、前方物体Fが特定移動状態である場合、前方物体Fが特定移動状態でない場合よりも、線幅拡大処理を実行する際の拡大量が大きくなるように拡大量を補正する。
この構成によれば、報知画像Cをより自車1側に表示させることができるため、ユーザ4にとって距離感が掴みにくいと想定される特定移動状態の前方物体Fの存在を良好に報知することができる。
(3-5)具体的に、特定手段は、表示遅延要因としての描画制御負荷を、描画制御手段によって重畳画像の表示領域内に描画される画像であって、報知画像Cを含むコンテンツ画像の面積と数と次元との少なくともいずれかに基づいて特定する。
以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。
100…車両用表示システム
10…HUD装置
20…表示部
30…制御装置、31…制御部、32…記憶部
40…前方物体検出部、50…視点検出部、60…ECU、70…カーナビ装置
Q…表示光、A…虚像、C…報知画像、F…前方物体
Cs…特定線状画像、Cn…所定線状画像
TA1…予測描画負荷決定テーブル
TA2…予測遅延時間決定テーブル
TA3…第1の倍率決定テーブル
TA4…第2の倍率決定テーブル
TA5…移動量決定テーブル
TA6…拡大量決定テーブル
1…車両、2…ダッシュボード、3…フロントガラス、4…ユーザ、5…アイボックス

Claims (4)

  1. 車両の前方風景と重なる虚像としてユーザに視認される重畳画像を表示する表示装置であって、
    前記車両の前方に存在する前方物体に関する情報であって、少なくとも前記前方物体の位置情報を含む物体情報を取得する取得手段と、
    前記取得手段が取得した前記物体情報に基づいて、前記重畳画像の表示領域内における前記位置情報に対応する対応位置に、前記前方物体に関する情報を報知するための報知画 像を描画する描画制御手段と、所定タイミングで取得した前記物体情報に基づいて描画される前記報知画像が、前記所 定タイミングから遅れて表示される要因となる表示遅延要因を特定する特定手段と、を備え、
    前記表示遅延要因は、前記描画制御手段による描画制御負荷と、前記物体情報の伝送遅延との少なくともいずれかに基づいて特定され、
    前記描画制御手段は、特定された前記表示遅延要因が示す値が所定値以上の場合、前記対応位置を前記車両に対して前記前方物体が移動する方向に所定の移動量だけ移動した調整位置に視認される前記報知画像を描画する画像位置調整処理を実行し、前記前方物体が前記車両の進行方向と交差する交差方向において前記車両から特定距離以上離れた位置から前記車両に近づいている特定移動状態である場合、前記前方物体が前記特定移動状態でない場合よりも、前記画像位置調整処理を実行する際の前記移動量が大きくなるように前記移動量を補正する、表示装置。
  2. 車両の前方風景と重なる虚像としてユーザに視認される重畳画像を表示する表示装置であって、
    前記車両の前方に存在する前方物体に関する情報であって、少なくとも前記前方物体の位置情報を含む物体情報を取得する取得手段と、
    前記取得手段が取得した前記物体情報に基づいて、前記重畳画像の表示領域内における前記位置情報に対応する対応位置に、前記前方物体に関する情報を報知するための報知画 像を描画する描画制御手段と、所定タイミングで取得した前記物体情報に基づいて描画される前記報知画像が、前記所 定タイミングから遅れて表示される要因となる表示遅延要因を特定する特定手段と、を備え、
    前記表示遅延要因は、前記描画制御手段による描画制御負荷と、前記物体情報の伝送遅延との少なくともいずれかに基づいて特定され、
    前記描画制御手段は、特定された前記表示遅延要因が示す値が所定値以上の場合、前記対応位置を前記車両に対して前記前方物体が移動する方向に所定の移動量だけ移動した調整位置に視認される前記報知画像を描画する画像位置調整処理を実行し、
    前記特定手段は、前記表示遅延要因としての前記描画制御負荷を、前記描画制御手段によって前記表示領域内に描画される画像であって、前記報知画像を含むコンテンツ画像の面積と数と次元との少なくともいずれかに基づいて特定する、表示装置。
  3. 前記描画制御手段は、前記画像位置調整処理を実行する際には、前記表示遅延要因に基づいて前記移動量を決定する、請求項1又は2に記載の表示装置。
  4. 前記描画制御手段は、前記車両と前記前方物体との相対速度に応じて前記画像位置調整 処理を実行する際の前記移動量を制御し、前記相対速度が第1の値である場合に比べて、前記相対速度が前記第1の値よりも大きい第2の値である場合の前記移動量を大きくする、請求項1乃至3に記載の表示装置。
JP2019158122A 2019-08-30 2019-08-30 表示装置 Active JP7379945B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019158122A JP7379945B2 (ja) 2019-08-30 2019-08-30 表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019158122A JP7379945B2 (ja) 2019-08-30 2019-08-30 表示装置

Publications (2)

Publication Number Publication Date
JP2021035810A JP2021035810A (ja) 2021-03-04
JP7379945B2 true JP7379945B2 (ja) 2023-11-15

Family

ID=74716555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019158122A Active JP7379945B2 (ja) 2019-08-30 2019-08-30 表示装置

Country Status (1)

Country Link
JP (1) JP7379945B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016002779A (ja) 2014-06-13 2016-01-12 日産自動車株式会社 車両用表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016002779A (ja) 2014-06-13 2016-01-12 日産自動車株式会社 車両用表示装置

Also Published As

Publication number Publication date
JP2021035810A (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
EP3031656B1 (en) Information provision device, information provision method, and carrier medium storing information provision program
US8536995B2 (en) Information display apparatus and information display method
JP6695049B2 (ja) 表示装置及び表示制御方法
US9818206B2 (en) Display device
US20180356630A1 (en) Head-up display
JP6866875B2 (ja) 表示制御装置、及び表示制御プログラム
JP7310560B2 (ja) 表示制御装置及び表示制御プログラム
JP2015120395A (ja) 車両情報投影システム
JPWO2018003650A1 (ja) ヘッドアップディスプレイ
JP2019202589A (ja) 表示装置
JP6186905B2 (ja) 車載表示装置およびプログラム
JP2018020779A (ja) 車両情報投影システム
JP7459883B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び方法
US20210008981A1 (en) Control device, display device, display system, moving body, control method, and recording medium
CN113165510A (zh) 显示控制装置、方法和计算机程序
WO2021039762A1 (ja) 表示装置
JP7379945B2 (ja) 表示装置
JP7379946B2 (ja) 表示装置
JP2020047153A (ja) 表示装置
JP2019206262A (ja) 表示装置
JP2020190942A (ja) 表示制御装置
WO2021200914A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び方法
WO2020040276A1 (ja) 表示装置
JP7338632B2 (ja) 表示装置
JP2019207632A (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R150 Certificate of patent or registration of utility model

Ref document number: 7379945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150