JP6775188B2 - ヘッドアップディスプレイ装置および表示制御方法 - Google Patents

ヘッドアップディスプレイ装置および表示制御方法 Download PDF

Info

Publication number
JP6775188B2
JP6775188B2 JP2016154772A JP2016154772A JP6775188B2 JP 6775188 B2 JP6775188 B2 JP 6775188B2 JP 2016154772 A JP2016154772 A JP 2016154772A JP 2016154772 A JP2016154772 A JP 2016154772A JP 6775188 B2 JP6775188 B2 JP 6775188B2
Authority
JP
Japan
Prior art keywords
display
information
item
indicated
information acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016154772A
Other languages
English (en)
Other versions
JP2018022105A (ja
Inventor
久保田 孝介
孝介 久保田
研一 笠澄
研一 笠澄
正人 尾形
正人 尾形
森 俊也
俊也 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016154772A priority Critical patent/JP6775188B2/ja
Priority to DE112017003916.9T priority patent/DE112017003916T5/de
Priority to PCT/JP2017/025863 priority patent/WO2018025624A1/ja
Priority to US16/319,536 priority patent/US11181737B2/en
Publication of JP2018022105A publication Critical patent/JP2018022105A/ja
Application granted granted Critical
Publication of JP6775188B2 publication Critical patent/JP6775188B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/23
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B60K2360/166
    • B60K2360/177
    • B60K35/28
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

本発明は、車両等の移動体の乗員等に対して情報を提供するヘッドアップディスプレイ装置における表示制御技術に関する。
車載用のヘッドアップディスプレイ(HUD:Head-Up Display)を用いて、取得された車両の状態、車両、歩行者に対する警告表示、経路に係るナビゲーション情報等の画像を実風景上に重畳表示する表示システムが知られている(特許文献1、2参照)。HUDは、ナビゲーション情報等を含む画像を車両のウインドシールドの前方に結像するようにウインドシールドに投射して、ウインドシールドからの反射光による虚像を車両の運転者等に視認させる。
特開2011−123119号公報 特開2009−150947号公報
しかしながら、従来の表示システムでは、車両に搭載されたセンサ等により表示項目(表示されるべき情報項目)に関連する位置の情報が取得できなくなった場合に、適切な表示が行えない。
そこで、本発明は、表示項目に関連する位置の情報が一時的に取得できなくなっても、ある程度適切な表示を行い得るヘッドアップディスプレイ装置を提供する。また、本発明は、表示項目に関連する位置の情報が一時的に取得できなくなっても適切な表示を行うための表示制御方法、及び、その適切な表示を行う表示制御処理のための制御プログラム(コンピュータプログラム)を提供する。
上記課題を解決するために本発明の一態様に係るヘッドアップディスプレイ装置は、表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるヘッドアップディスプレイ装置であって、表示位置が変化し得る移動属性の表示項目に関する位置及び表示内容を示す表示項目情報と、表示位置が変化しない固定属性の表示項目に関する表示内容を示す固定項目情報とを取得する表示項目情報取得部と、前記移動体の位置を示す進行情報を逐次取得する進行情報取得部と、前記移動体の状態を示す状態情報を取得する状態情報取得部と、前記表示項目情報と前記固定項目情報とのそれぞれに基づいて画像を表示する表示制御部とを備え、前記表示制御部は、所定の表示タイミング毎に、前記表示項目情報が示す位置と前記進行情報取得部により最後に取得された前記進行情報が示す位置とに基づいて、前記移動属性の表示項目についての表示位置である移動表示位置を特定し、前記表示媒体上の当該移動表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示し、前記表示媒体上の前記固定属性の表示項目についての所定の表示位置である固定表示位置に、前記固定項目情報が示す表示内容を表わす画像を表示し、前記表示制御部は、所定条件が満たされた場合には、前記移動表示位置については補正処理により特定し、前記固定表示位置については補正処理によらずに前記所定条件が満たされない場合の前記所定の表示位置を前記固定表示位置として特定し、前記補正処理による前記移動表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得部により最後に取得された前記進行情報が示す位置を前記状態情報取得部により取得された状態情報が示す状態に応じて補正してなる補正位置とに基づいて行う。
また、上記課題を解決するために本発明の一態様に係るヘッドアップディスプレイ装置は、表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるヘッドアップディスプレイ装置であって、表示項目に関する位置及び表示内容を示す表示項目情報を取得する表示項目情報取得部と、前記移動体の位置を示す進行情報を逐次取得する進行情報取得部と、前記移動体の状態を示す状態情報を取得する状態情報取得部と、所定の表示タイミング毎に、前記表示項目情報が示す位置と前記進行情報取得部により最後に取得された前記進行情報が示す位置とに基づいて表示位置を特定し、前記表示媒体上の当該表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示する表示制御部とを備え、前記表示制御部は、所定条件が満たされた場合には前記表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得部により最後に取得された前記進行情報が示す位置を前記状態情報取得部により取得された状態情報が示す状態に応じて補正してなる補正位置とに基づいて行う。
また、本発明の一態様に係る表示制御方法は、表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるための表示制御方法であって、表示項目に関する位置及び表示内容を示す表示項目情報を取得する表示項目情報取得ステップと、前記移動体の位置を示す進行情報を逐次取得する進行情報取得ステップと、前記移動体の状態を示す状態情報を取得する状態情報取得ステップと、所定の表示タイミング毎に、前記表示項目情報が示す位置と前記進行情報取得ステップで最後に取得された前記進行情報が示す位置とに基づいて表示位置を特定し、前記表示媒体上の当該表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示する表示制御ステップとを含み、前記表示制御ステップでは、所定条件が満たされた場合には前記表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得ステップで最後に取得された前記進行情報が示す位置を前記状態情報取得ステップで取得された状態情報が示す状態に応じて前記移動体の現在の位置を示すように補正してなる補正位置とに基づいて行う。
また、本発明の一態様に係る制御プログラムは、マイクロプロセッサを備えるヘッドアップディスプレイ装置に、表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるための表示制御処理を実行させるための制御プログラムであって、前記表示制御処理は、表示項目に関する位置及び表示内容を示す表示項目情報を取得する表示項目情報取得ステップと、前記移動体の位置を示す進行情報を逐次取得する進行情報取得ステップと、前記移動体の状態を示す状態情報を取得する状態情報取得ステップと、所定の表示タイミング毎に、前記表示項目情報が示す位置と前記進行情報取得ステップで最後に取得された前記進行情報が示す位置とに基づいて表示位置を特定し、前記表示媒体上の当該表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示する表示制御ステップとを含み、前記表示制御ステップでは、所定条件が満たされた場合には前記表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得ステップで最後に取得された前記進行情報が示す位置を前記状態情報取得ステップで取得された状態情報が示す状態に応じて補正してなる補正位置とに基づいて行う。
本発明によれば、表示項目に関連する位置の情報が取得できない状況下でも、ある程度適切な表示がなされ得る。
実施の形態に係るヘッドアップディスプレイ(HUD)装置を含む表示システムの使用例を示す図である。 実施の形態に係るHUD装置によって表示される画像が投射される所定領域の一例を示す図である。 実施の形態に係る表示システムのシステム構成図である。 実施の形態に係るHUD装置の機能ブロック図である。 HUD装置で用いられる表示項目情報の一例を示す図である。 HUD装置で用いられる進行情報の一例を示す図である。 HUD装置で用いられる状態情報の一例を示す図である。 HUD装置により表示される移動属性の表示項目を表す画像の一例を示す図である。 HUD装置により表示される固定属性の表示項目を表す画像の一例を示す図である。 HUD装置により表示される画像の生成の基礎となる表示項目の車両上方から見た位置を示す図である。 HUD装置により表示される画像の生成の基礎となる表示項目の車両側方から見た位置を示す図である。 実施の形態に係るHUD装置における表示制御処理の一例を示すフローチャートである。
本発明の一態様に係るヘッドアップディスプレイ装置は、表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるヘッドアップディスプレイ装置であって、表示項目に関する位置及び表示内容を示す表示項目情報を取得する表示項目情報取得部と、前記移動体の位置を示す進行情報を逐次取得する進行情報取得部と、前記移動体の状態を示す状態情報を取得する状態情報取得部と、所定の表示タイミング毎に、前記表示項目情報が示す位置と前記進行情報取得部により最後に取得された前記進行情報が示す位置とに基づいて表示位置を特定し、前記表示媒体上の当該表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示する表示制御部とを備え、前記表示制御部は、所定条件が満たされた場合には前記表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得部により最後に取得された前記進行情報が示す位置を前記状態情報取得部により取得された状態情報が示す状態に応じて補正してなる補正位置とに基づいて行う。これにより、表示項目に関連する位置等の情報の取得ができない状況(例えば移動体の位置が取得できない状況等)を示すように所定条件を適切に定めれば、表示項目の表示位置を特定するために必要な表示項目に関連する位置の情報が一時的に取得できなくなっても、ヘッドアップディスプレイ(HUD)装置が移動体(例えば車両)の状態から移動体の位置を推定してその推定位置(補正位置)を用いて表示項目の表示位置を特定するので、表示項目について適切な表示がなされ得る。
また、例えば、前記表示制御部は、一の表示タイミングにおいて、前回の表示タイミングの後に前記進行情報取得部により前記進行情報が取得されなかったことを前記所定条件が満たされたこととして扱うこととしてもよい。これにより、一時的に移動体の位置の取得ができなくなっても、HUD装置が移動体の状態から推定した移動体の位置(補正位置)に基づいて表示項目の表示位置を特定するので、表示項目について適切な表示がなされ得る。
また、前記表示項目情報取得部は、前記表示項目情報を逐次取得し、前記表示制御部は、前記所定条件が満たされた場合の前記表示位置の特定を、前記表示項目情報取得部により最後に取得された表示項目情報が示す位置と、前記進行情報取得部により最後に取得された前記進行情報が示す位置を前記状態情報取得部により取得された状態情報が示す状態に応じて補正してなる補正位置とに基づいて行い、前記所定条件が満たされた場合に特定された前記表示媒体上の前記表示位置に、前記表示項目情報取得部により最後に取得された表示項目情報が示す表示内容を表わす画像を表示することとしてもよい。これにより、一時的に表示項目についての情報(表示項目情報)が取得できなくなっても、HUD装置は、最後(例えば前回等)に取得された表示項目情報等に基づいて表示項目の表示位置を特定するので、表示項目について適切な表示がなされ得る。
また、前記進行情報は、更に前記移動体の進行方向を示し、前記状態情報取得部は、前記状態情報を逐次取得し、前記表示制御部は、前記表示位置の特定を、前記所定条件が満たされない場合には、前記表示項目情報が示す位置と前記進行情報取得部により最後に取得された前記進行情報が示す位置と進行方向とに基づいて行い、前記所定条件が満たされた場合には、前記表示項目情報が示す位置と、前記進行情報取得部により最後に取得された前記進行情報が示す位置及び進行方向を前記状態情報取得部により少なくとも最後に取得された状態情報が示す状態に応じて補正してなる補正位置及び補正進行方向とに基づいて行うこととしてもよい。これにより、一時的に移動体の位置及び進行方向の取得ができなくなっても、HUD装置が移動体の状態から推定した移動体の位置(補正位置)及び進行方向(補正進行方向)に基づいて表示項目の表示位置を特定するので、表示項目について適切な表示がなされ得る。
また、前記移動体は車両であり、前記状態情報は、前記車両の車速及び操舵角の情報を含み、前記表示制御部は、前記所定条件が満たされた場合に、前記進行情報取得部により最後に取得された前記進行情報が示す位置及び進行方向と、前記状態情報取得部により取得された状態情報が示す前記車速及び前記操舵角とに基づいて、現在の前記車両の位置及び進行方向を推定し、推定結果を示すように前記補正位置及び前記補正進行方向を定めることとしてもよい。車両の過去の位置及び進行方向と、車両の車速及び操舵角とにより、現在の車両の位置及び進行方向はある程度推定可能となり、このため表示項目の表示位置を適切に特定できるので、表示項目の適切な表示がなされ得る。
また、前記状態情報は、更に前記車両の勾配の情報を含み、前記表示制御部は、前記状態情報が示す前記車両の勾配にも基づいて、現在の前記車両の位置及び進行方向の推定を行うこととしてもよい。車両の過去の位置及び進行方向と、車両の車速、操舵角及び勾配とにより、3次元空間における現在の車両の位置及び進行方向は精度良く推定可能となり、このため表示項目の表示位置を適切に特定できるので、表示項目の適切な表示がなされ得る。
また、前記表示項目は、移動属性及び固定属性の一方を有し、前記表示項目情報取得部は、移動属性の表示項目について前記表示項目情報を取得し、更に、固定属性の表示項目についての表示内容を示す固定項目情報を取得し、前記表示制御部は、前記所定の表示タイミング毎に、前記表示媒体上の所定表示位置に、前記固定項目情報が示す表示内容を表わす画像を表示することとしてもよい。これにより、位置と関連して移動し得る移動属性の表示項目のみならず、位置と関連の少ない固定属性の表示項目(例えば速度計の計測値等)に係る画像を表示可能となる。
また、前記表示項目は、移動属性及び固定属性の一方を有し、前記表示項目情報取得部は、移動属性の表示項目について前記表示項目情報を取得し、更に、固定属性の表示項目について当該表示項目に関する位置及び表示内容を示す固定項目情報を逐次取得し、前記表示制御部は、所定の表示タイミング毎に、前記表示項目情報取得部により最後に取得された前記固定項目情報が示す位置と前記進行情報取得部により最後に取得された前記進行情報が示す位置とに基づいて表示位置を特定し、前記表示媒体上の当該表示位置に、当該固定項目情報が示す表示内容を表わす画像を表示することとしてもよい。これにより、位置が移動し得る移動属性の表示項目のみならず、移動しない固定属性の表示項目に係る画像を適切に表示可能となる。
また、前記表示制御部は、前記所定条件が満たされた場合において特定した前記表示位置が前記表示媒体上の所定領域の外部であるときには、前記表示項目情報が示す表示内容を表わす前記画像を表示しないこととしてもよい。これにより、移動体の前方を見た乗員の視野における一定の視野角内に表示項目に係る表示位置が制限され、このため、見づらい位置に表示されることが抑制され得る。
また、本発明の一態様に係る表示制御方法は、表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるための表示制御方法であって、表示項目に関する位置及び表示内容を示す表示項目情報を取得する表示項目情報取得ステップと、前記移動体の位置を示す進行情報を逐次取得する進行情報取得ステップと、前記移動体の状態を示す状態情報を取得する状態情報取得ステップと、所定の表示タイミング毎に、前記表示項目情報が示す位置と前記進行情報取得ステップで最後に取得された前記進行情報が示す位置とに基づいて表示位置を特定し、前記表示媒体上の当該表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示する表示制御ステップとを含み、前記表示制御ステップでは、所定条件が満たされた場合には前記表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得ステップで最後に取得された前記進行情報が示す位置を前記状態情報取得ステップで取得された状態情報が示す状態に応じて前記移動体の現在の位置を示すように補正してなる補正位置とに基づいて行う。これにより、移動体の位置が取得できない状況等を示すように所定条件を適切に定めれば、表示項目の表示位置を特定するために必要な情報が一時的に取得できなくなっても、移動体(例えば車両)の状態から移動体の位置を推定してその推定位置(補正位置)を用いて表示項目の表示位置を特定するので、表示項目について適切な表示がなされ得る。
また、本発明の一態様に係る制御プログラムは、マイクロプロセッサを備えるヘッドアップディスプレイ装置に、表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるための表示制御処理を実行させるための制御プログラムであって、前記表示制御処理は、表示項目に関する位置及び表示内容を示す表示項目情報を取得する表示項目情報取得ステップと、前記移動体の位置を示す進行情報を逐次取得する進行情報取得ステップと、前記移動体の状態を示す状態情報を取得する状態情報取得ステップと、所定の表示タイミング毎に、前記表示項目情報が示す位置と前記進行情報取得ステップで最後に取得された前記進行情報が示す位置とに基づいて表示位置を特定し、前記表示媒体上の当該表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示する表示制御ステップとを含み、前記表示制御ステップでは、所定条件が満たされた場合には前記表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得ステップで最後に取得された前記進行情報が示す位置を前記状態情報取得ステップで取得された状態情報が示す状態に応じて補正してなる補正位置とに基づいて行う。この制御プログラムをプロセッサ(マイクロプロセッサ)を備えるHUD装置にインストールすれば、プロセッサが制御プログラムを実行することでHUD装置が表示制御処理を実行し、これにより、表示項目について適切な表示がなされ得る。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なCD−ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の包括的又は具体的な一例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置、ステップ、ステップの順序等は、一例であって本発明を限定するものではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
(実施の形態1)
以下、本発明の実施の形態として、ヘッドアップディスプレイ(HUD)装置100を含む車載の装置群からなる表示システムについて、図面を用いて説明する。
図1は、HUD装置100を含む表示システムの使用例を示す図である。
HUD装置100を含む表示システムは、例えば車両300等の移動体に搭載され、情報を表す画像(表示画像)をウインドシールド201等の表示媒体の所定領域D1に投射することで視点E1を有する移動体の乗員にその情報を映した虚像を視認させるHUD等を含む。図1の例では、HUD装置100は、車両300のダッシュボード301に設置されている。視点E1を有する乗員の視野内において、虚像が、仮想的なHUD表示面I1に映って車両300の前方に位置するように視認される。この表示システムにより、実風景等と重なって虚像としての情報が、乗員の視野内に表示されるようになる。なお、本実施の形態では、移動体である車両に適用された表示システムを例にして説明するが、移動体は、車両に限定されず、船舶、航空機等であっても良い。また、本実施の形態では、移動体の乗員が、特に車両の運転者である例について説明するが、その限りではない。なお、HUDでの画像の投射により乗員の視野内に表示される虚像の表示範囲(つまり虚像としての最大画像が表示され得る最大範囲)は、例えばHUDの配置、構造等により一定領域内に制限される。図2は、車両300内部から見た、HUD装置100によって表示される画像が投射されるウインドシールド201(表示媒体)の所定領域D1の範囲の一例を示す図である。所定領域D1は、車両300の前方を見た乗員(運転者)の視野における一定画角(一定の視野角)に対応する領域である。
図3は、HUD装置100を含む表示システムの一例としての表示システム10のシステム構成図である。表示システム10は、図3に示すように、HUD装置100、注意喚起対象物検知センサ21、ナビゲーション装置22及び車両情報検知センサ23を備え、図3では省略しているがウインドシールド201(表示媒体)を備える。注意喚起対象物検知センサ21、ナビゲーション装置22及び車両情報検知センサ23は、HUD装置100によりHUD表示面I1に表示されるべき所定の表示項目に係る情報をHUD装置100へと伝達し得る。
注意喚起対象物検知センサ21は、車両の内部又は外部に搭載され、逐次(例えば1/60秒等といった所定時間毎に)、車両の運転者の前景をセンシングするセンサである。注意喚起対象物検知センサ21は、例えば前景の光等を検知するイメージセンサ(カメラ)、電磁波の反射を検知するレーダ等であっても良い。注意喚起対象物検知センサ21は、センシングの結果に基づく情報をHUD装置100に伝達する。注意喚起対象物検知センサ21は、例えば、車両300の前景において車両周辺(例えば前方100m以内)に存在する所定の対象物(表示項目)を認識し、認識結果として各表示項目の内容、位置等の情報を出力する。ここで、認識されるべき所定の対象物は、HUDで表示されるべき表示項目であり、例えば、移動体(例えば、他の車両、歩行者等)、道路標識、道路上の白線、路面標示、縁石、ガードレール、信号機、電柱、建物等である。例えば、注意喚起対象物検知センサ21がカメラである場合、センシングの結果である車両の前景の画像に対してパターンマッチング等の画像処理を行うことにより、対象物(表示項目)を認識する。また、例えば、注意喚起対象物検知センサ21がレーダである場合に、センシングの結果の情報に対して、クラスタリング、機械学習等の既存技術により対象物(表示項目)を抽出して認識する。なお、注意喚起対象物検知センサ21は、各対象物(表示項目)の位置を、車両300に対する相対位置で特定してもよいし、GPS(Global Positioning System)による測位情報を用いて絶対位置で特定してもよい。
ナビゲーション装置22は、GPS受信機を備え、GPSによる測位情報及び地図データに基づく車両のナビゲーション機能を有する。ナビゲーション装置22は、例えば地図データを外部から通信により取得して記憶するためにメモリ、ハードディスク装置等の記憶装置、送受信装置等を備えてもよい。ナビゲーション装置22は、GPSにより車両300の現在位置を測定し、その現在位置と過去に測定した車両300の位置とから車両の進行方向を算定し得る。また、ナビゲーション装置22は、地図データに基づいて、車両300の進行方向前方100m以内の対象物(表示項目)を認識し、認識結果として各表示項目の内容、位置等の情報を出力する。地図データに基づいて認識されるべき対象物は、例えば、交差点等である。例えば認識した交差点について、ナビゲーション装置22に対して車両300の運転者等が予め入力した目的地までの進路誘導用の情報(例えば右折マーク)等が、表示項目の内容となり得る。
車両情報検知センサ23は、車両300の状態を検知する各種センサ(速度センサ、回転速度センサ等)で構成され、検知した状態を示す情報をHUD装置100に伝達する。車両300の状態は、例えば、車速、回転速度(エンジン等の回転速度)、操舵角(ステアリングホイールの回転角)、勾配(ピッチ)、加速度、ヨーレート等の各状態の集合である。車両情報検知センサ23が検知した状態のうち、例えば車速、回転速度等は、HUD装置100により表示されるべき表示項目の内容となり得る。
HUD装置100は、ウインドシールド201(表示媒体)に画像を表示することで車両300の運転者に虚像を視認させる装置であり、車両300の運転者に虚像(HUD表示面I1に表された画像)を視認させるためにウインドシールド201に画像を投射するHUDとしての表示機構であるHUD部190を含む。HUD装置100は更に、例えばメモリ及びプロセッサ(マイクロプロセッサ)を含むコンピュータを備え、メモリに格納された制御プログラムをプロセッサが実行することにより、HUD装置100の各部を制御して各種機能を実現する。なお、メモリは、プログラム及びデータを予め保持しているROM(Read Only Memory)、プログラムの実行に際してデータ等の記憶に利用するためのRAM(Random Access Memory)等であり、例えば不揮発性メモリを含んでいても良い。制御プログラムは、例えば、表示媒体に画像を表示することで車両300の運転者に虚像を視認させるための表示制御処理を規定している。HUD装置100は、表示制御処理のための制御プログラムのプロセッサによる実行により、例えば、注意喚起対象物検知センサ21、ナビゲーション装置22及び車両情報検知センサ23から各種情報を取得してその情報に基づいてHUD部190による表示を制御する機能を有する。
図4は、HUD装置100の機能ブロック図である。なお、同図には、HUD部190から画像を表す光が投射されるウインドシールド201の所定領域D1等を付記している。
HUD装置100は、図4に示すように、HUD部190、表示項目情報取得部110、進行情報取得部120、状態情報取得部130及び表示制御部140を有する。表示項目情報取得部110、進行情報取得部120、状態情報取得部130及び表示制御部140の各機能は、HUD装置100においてメモリに格納された制御プログラムをプロセッサが実行することにより実現される。
表示項目情報取得部110は、注意喚起対象物検知センサ21、ナビゲーション装置22及び車両情報検知センサ23から、HUD表示面I1に表示する画像の基礎となる表示項目について示す表示項目情報を取得して表示制御部140に伝達する機能を有する。図5は、表示項目情報の一例を示す図である。同図の例では、表示項目情報は、表示項目毎について、項目ID、属性、表示内容及び位置の情報を含む。ここで、表示項目情報における項目IDは、表示項目の種別を識別するための識別情報である。表示項目情報における表示内容は、表示項目を表す画像を特定する情報であり、他の車両、歩行者、道路上の白線、道路誘導用の情報、車速等といった表示項目の種別毎或いは状況毎に異なり得る。表示項目情報における位置は、表示項目に関する実空間上の位置を示す情報である。実空間上の位置は例えば3次元座標(x,y,z)等で表され、座標値の単位はいかなるものでもよく、原点も任意に定め得る。表示項目情報における属性は、移動属性及び固定属性のいずれかである。移動属性は、表示項目の位置が有用となり位置は変化し得ることを示す属性であり、固定属性は、表示項目について位置が変化しないことを示す属性である。固定属性の表示項目についての表示項目情報を特に固定項目情報と称する。図5では、固定項目情報においては位置が省かれており、固定属性の表示項目について位置がない或いは位置を無視し得る例を示している。図5の例では、項目IDが01の表示項目についての表示項目情報における位置は、地図データに基づいて車両300の周辺の交差点の位置等を検出するナビゲーション装置22から得られた交差点の位置であり、表示内容は、目的地までの進路誘導用の右折マークである。また、項目IDが02の表示項目についての表示項目情報における位置は、注意喚起対象物検知センサ21が検出した歩行者の位置であり、表示内容は、歩行者を表す歩行者警告マークである。項目IDが11の表示項目についての固定項目情報における表示内容は、車両情報検知センサ23が検出した、変化し得る車速(例えば50km/h等)を表す速度計情報である。項目IDが12の表示項目についての固定項目情報における表示内容は、車両情報検知センサ23が検出した、変化し得るエンジンの回転速度(例えば2000rpm等)を表す回転速度計情報である。なお、表示項目情報取得部110は、注意喚起対象物検知センサ21、ナビゲーション装置22及び車両情報検知センサ23からHUD装置100が取得した各種情報に基づいて図5に示すような形式の表示項目情報を生成することで、表示項目情報の取得を行うこととしてもよいし、注意喚起対象物検知センサ21、ナビゲーション装置22及び車両情報検知センサ23が予め図5に示すような形式に整えた表示項目情報をHUD装置100に伝達することとしてもよい。
進行情報取得部120は、ナビゲーション装置22から車両300の実空間上の位置等に係る進行情報を逐次取得して表示制御部140に伝達する機能を有する。図6は、進行情報の一例を示す図であり、進行情報は、車両位置と車両進行方向とを含む。進行情報における車両位置は、車両300の実空間上の位置を示す情報である。この位置は例えば3次元座標(x,y,z)等で表され、例えば地球上の任意の位置を原点とし、座標値の単位はいかなるものであってもよい。進行情報における車両進行方向は、車両300の実空間上の進行方向を示す情報である。車両300の位置は、例えばナビゲーション装置22でGPSにより測定された位置であり、車両300の進行方向は、例えばナビゲーション装置22でGPSにより測定された車両300の現在位置と過去に測定された車両300の位置とから算定された方向である。なお、車両300の進行方向を、方位センサ等に基づいて特定してもよい。また、進行情報取得部120は、ナビゲーション装置からHUD装置100が取得した各種情報に基づいて進行情報(図6参照)を生成することで、進行情報の取得を行うこととしてもよいし、ナビゲーション装置22が図6に示すような進行情報をHUD装置100に伝達することとしてもよい。
状態情報取得部130は、車両情報検知センサ23から車両300の状態を示す状態情報を取得して表示制御部140に伝達する機能を有する。図7は、状態情報の一例を示す図である。状態情報は、例えば、車速(速度計情報)、操舵角、勾配、加速度、ヨーレート、回転速度等の情報の集合である。
HUD部190は、表示制御部140の制御下で画像をウインドシールド201に投射する。HUD部190は、例えば、LCD(Liquid Crystal Display)191、平面ミラー192及び凹面ミラー193を有する。表示制御部140が形成した所定画像(各表示項目に対応してウインドシールド201の所定領域D1内に投射されることとなる画像の集合)が、LCD191に表示される。LCD191に表示された画像は、平面ミラー192で反射され、凹面ミラー193により拡大され、ウインドシールド201に投射(投影)される。
表示制御部140は、所定の表示タイミング毎(例えば1/60秒毎)に、移動属性の各表示項目について、表示項目情報取得部110から伝達された表示項目情報が示す位置と進行情報取得部120により最後に取得された進行情報が示す位置及び進行方向とに基づいて表示位置を特定し、表示媒体(ウインドシールド201)上のその特定した表示位置に、その表示項目情報が示す表示内容を表わす画像を、表示する(詳しくは表示するようHUD部190を制御する)。表示項目毎の画像は、文字列、記号、図形、イメージといった標章等で形成された表示要素であり、LCD191に表示される1フレームの所定画像の構成要素とも言える。なお、表示位置は、表示用の座標空間上の位置であり、実空間上の位置とは相違する。表示制御部140は、ある表示項目についての情報(画像)を表示すべき表示位置が、表示媒体上の所定領域D1の外部となるときには、その表示項目についての表示内容を表す画像を表示しない。また、固定属性の各表示項目については、表示制御部140は、所定の表示タイミング毎(例えば1/60秒毎)に、表示媒体(ウインドシールド201)上の所定表示位置(例えば予め固定属性の項目ID毎に定められた位置)に、その表示項目についての固定項目情報が示す表示内容を表わす画像を表示する。なお、固定属性の表示項目について実空間上の位置を定める方式を用いる場合においては、表示制御部140は、所定の表示タイミング毎に、表示項目情報取得部110により最後に取得された固定項目情報が示す位置と進行情報取得部120により最後に取得された進行情報が示す位置とに基づいて表示位置を特定し、表示媒体上のその特定した表示位置に、その固定項目情報が示す表示内容を表わす画像を表示する。最後に取得された固定項目情報が示す位置は、例えば固定属性の表示項目の項目ID毎に予め定められた、表示されるべき位置(例えば車両300の実空間上の位置を原点とする位置等)である。
表示制御部140により、LCD191に表示してウインドシールド201の所定領域D1に投射されることとなる表示項目についての表示内容を表す画像の集合の一例を、図8A及び図8Bに示す。図8Aは、移動属性の表示項目を表す画像の一例を示し、同図では、ナビゲーションのための右折マーク51の画像と、道路上の白線を表す車線マーク52、53の各画像と、歩行者を表す歩行者警告マーク54の画像とを示している。また、図8Bは、固定属性の表示項目を表す画像の一例を示し、同図では、車両300の車速(50km/h)を表す速度計情報61の画像と、エンジン等の回転数(2000rpm)を表す回転速度計情報62の画像と、制限速度(60km/h)を表す制限速度マーク63の画像と、前方の車両との相対位置が一定閾値以下になったことを表す前車接近警告マーク64の画像とを示している。ここでは説明の便宜上、移動属性の表示項目と固定属性の表示項目とを別々に図示したが、図8Aと図8Bとに示す各画像は同時に表示され得る。この表示により、所定領域D1に投射された画像の反射像(虚像)を視認する車両300の運転者の視点E1からはHUD表示面I1において図8A及び図8Bに示す各位置に右折マーク51、車線マーク52、53、歩行者警告マーク54、速度計情報61、回転速度計情報62、制限速度マーク63及び前車接近警告マーク64が存在するように見えることになる。なお、所定領域D1からの反射像である虚像は、運転者の視野内に見える実風景等に重畳して表示される。
表示制御部140で、位置を示す表示項目情報と対応する各表示項目(例えば移動属性の表示項目)についての画像の生成について、図9A及び図9Bを用いて説明する。図9Aでは、実空間上において車両300の前方(視点E1からの一定視野角内)の交差点位置(図5参照)付近に右折方向を示す表示項目51aをナビゲーションのために表示させるべき状態を示し、更に、道路の白線である表示項目52a、53aが存在し、表示の対象物としての歩行者である表示項目54aが歩行者検出位置(図5参照)に存在する状態を示している。図9Aは車両300の上方から見た図であり、図9Bは、図9Aと同じ状態を、車両300の側方から見た図である。図9A及び図9Bには、車両300の前方の仮想的なHUD表示面I1の位置を示している。HUD表示面I1は、運転者に、例えば、運転中における視線の焦点となる位置(例えば2m〜3m先)に現れるように認識される。移動属性の表示項目の実空間上の位置と車両300の実空間上の位置及び進行方向とから、車両300における乗員の視点E1から見えるHUD表示面I1上の、表示項目の表示位置は算定できる。このため、表示制御部140では、所定の表示タイミング毎(例えば1/60秒毎)に、表示項目情報における位置と、進行情報とに基づいて表示項目についての表示位置を特定できる。
しかし、車両300の走行中においては、車両300の外界(走行環境)の状態の影響等により、ある表示タイミングにおいて、表示項目についての表示位置を特定するために必要な情報が欠如することが生じ得る。例えばトンネルから明るい場所に出た時に注意喚起対象物検知センサ21におけるカメラが露出オーバーとなって画像認識ができなくなる場合、道路脇の歩行者が電柱等の陰に隠れて検出できなくなる場合、ナビゲーション装置22におけるGPS受信機が測位情報を受信できなくなることで車両位置等が得られなくなる場合等である。ある表示タイミングにおいて、表示項目についての表示位置を特定するために必要な情報が欠如していること等を示す所定条件が満たされた場合には、表示制御部140は、その表示項目についての表示位置の特定を、状態情報取得部130により取得された状態情報を用いて行う。所定条件が満たされた場合は、例えば、前回の表示タイミングの後に進行情報取得部120により進行情報が取得されなかった場合である。この場合に、ある移動属性の表示項目についての表示位置の特定を、表示制御部140は、その表示項目について表示項目情報が示す位置と、進行情報取得部120により最後に取得された進行情報が示す位置及び進行方向を状態情報取得部130により取得された状態情報が示す状態に応じて補正してなる補正位置及び補正進行方向とに基づいて行う。補正位置は、例えば車両300について推定された現在位置であり、補正進行方向は、例えば車両300について推定された現在の進行方向であり、補正位置と補正進行方向とは、車速、操舵角、勾配等といった状態情報から算定(推定)できる。また、表示制御部140は、表示項目についての表示位置の特定について、表示項目についての実空間上の位置がある表示タイミングで取得できなかった場合において、これまでに最後に取得された位置を用い得る。即ち、表示制御部140は、所定条件が満たされた場合の表示項目に係る表示位置の特定を、ある表示タイミングにおいて表示項目情報取得部110により最後に取得された表示項目情報が示す実空間上の位置と、進行情報取得部120により最後に取得された進行情報が示す位置及び進行方向を状態情報取得部130により取得された状態情報が示す状態に応じて補正してなる補正位置及び補正進行方向とに基づいて行う。そして、表示制御部140は、表示媒体上のその特定された表示位置に、表示項目情報取得部110により最後に取得された表示項目情報が示す表示内容を表わす画像を表示し得る。
次に、本実施の形態に係る表示システム10の動作例について、HUD装置100における表示制御処理を中心に説明する。
表示システム10においては、例えば所定表示タイミング毎(例えば1/60秒毎)に、注意喚起対象物検知センサ21、ナビゲーション装置22及び車両情報検知センサ23のそれぞれはセンシングの結果等に基づいて各種情報をHUD装置100へ伝達する。
図10は、HUD装置100による表示制御処理を示すフローチャートである。以下、図10に即して表示制御処理について説明する。ここでは、固定属性の表示項目については実空間上の位置を無視する例を想定して説明する。表示制御処理では、ステップS11〜S20が所定の表示タイミング毎の周期(例えば1/60秒毎)に実行される。この周期は、例えばHUD装置100におけるプロセッサがLCD191に所定画像を供給するフレームレートに相当する。
まず、HUD装置100における表示項目情報取得部110は、1つ以上の移動属性の表示項目に関する実空間上の位置及び表示内容を示す表示項目情報を取得して表示制御部140に伝達する(ステップS11)。なお、ステップS11では、車両300の外界の状況等によっては表示項目情報が取得できない場合もあり得る。
また、表示項目情報取得部110は、1つ以上の固定属性の表示項目に関する表示内容を示す固定項目情報を取得して表示制御部140に伝達する(ステップS12)。
また、HUD装置100における状態情報取得部130は、車両情報検知センサ23で検知された情報に基づいて車両300の状態を示す状態情報を取得して表示制御部140に伝達する(ステップS13)。
また、HUD装置100における進行情報取得部120は、ナビゲーション装置22等から車両300の実空間上の位置及び進行方向を示す進行情報を取得して表示制御部140に伝達する(ステップS14)。なお、ステップS14では、車両300の外界の状況等によっては進行情報が取得できない場合もあり得る。
続いて、HUD装置100における表示制御部140は、ステップS14での進行情報の取得に成功したか否かを判別して、成功した場合には、ステップS16に進み、失敗した場合には、ステップS17に進む。
ステップS16では、表示制御部140は、移動属性の各表示項目について、最後に取得された表示項目情報が示す実空間上の位置とステップS14で取得された進行情報が示す位置とに基づいて、表示媒体上における表示位置を特定する。
一方、ステップS17では、表示制御部140は、最後に取得された進行情報が示す位置及び進行方向と、状態情報が示す状態(車速、操舵角、勾配等)とに基づいて車両300の現在位置及び現在の進行方向を推定する。この推定された現在位置及び現在の進行方向は、言わば、最後に取得された進行情報が示す位置及び進行方向を状態情報が示す状態に応じて補正してなる補正位置及び補正進行方向である。ステップS17に続いて、表示制御部140は、移動属性の各表示項目について、最後に取得された表示項目情報が示す実空間上の位置と、ステップS17で推定した車両300の現在位置(補正位置)と現在の進行方向(補正進行方向)とに基づいて、表示媒体上における表示位置を特定する(ステップS18)。
ステップS16或いはステップS18に続いて、表示制御部140は、移動属性の各表示項目について、最後に取得された表示項目情報が示す表示内容を表す画像を、ステップS16或いはステップS18で特定した表示位置に表示するよう制御する(ステップS19)。
次に、表示制御部140は、固定属性の各表示項目について、固定項目情報が示す表示内容を表す画像を、所定表示位置(例えば項目ID毎に予め定められている位置等)に表示するよう制御する(ステップS20)。ステップS19及びステップS20での制御によりLCD191には、移動属性及び固定属性の各表示項目に対応する画像(表示要素)がそれぞれの表示位置に配置された1フレームの画像が表示されることになる。そして、HUD装置100はHUD部190において、LCD191に表示された画像をウインドシールド201に投射(投影)する。ステップS20の後において表示制御部140は、再びステップS11に戻って、ステップS11〜S20での処理を繰り返す。
(他の実施の形態等)
以上のように、本発明に係る技術の例示として実施の形態1を用いて説明した。しかしながら、上述の実施の形態は一例に過ぎず、各種の変更、付加、省略等が可能であることは言うまでもない。
上述の実施の形態で示したHUD部190の構成、表示のための方式等は、図4に示すものに限定されることはなく、HUDに関するいかなる既存技術を適用して変形してもよい。例えばLCD191の代わりにレーザープロジェクタ、LCOS(Liquid Crystal on Silicon)等を用いてもよいし、ミラーの代わりにレンズを用いてもよい。ミラー等の枚数もいくつであってもよい。また、運転者の視点E1の高さに応じて、モーター駆動等により凹面ミラー193の角度等が調整できてもよい。
また、上述の実施の形態で示した表示項目情報(図5参照)、進行情報(図6参照)及び状態情報(図7参照)は、一例にすぎず、他の情報要素を追加してもよいし、一部の情報要素を省略してもよい。例えば、進行情報は、少なくとも車両300の位置を含めばよい。また、状態情報は、例えば、車速及び操舵角のみであってもよいし、更に勾配を加えたものであってもよいし、任意の数の状態に係る情報で構成され得る。なお、車両300の現在位置が検出できないタイミングにおいて、例えば車速及び操舵角が検出できればある程度精度良く車両300の現在位置を推定可能となり、また更に勾配が検出できれば鉛直方向の位置(座標)についてより精度良く推定可能となり得る。また、表示項目情報の情報要素として、表示項目(対象物)の位置等の他に、表示項目の大きさを加えてもよい。この場合には、注意喚起対象物検知センサ21が、対象物(表示項目)の位置のみならず、大きさを検出してその大きさをHUD装置100に伝達すればよい。そしてHUD装置100では例えば表示制御部140において表示項目の大きさを、表示内容を示す画像に反映してもよい。
また、上述の実施の形態では、HUD部190が画像をウインドシールド201に投影することとしたが、ウインドシールド201とは別に設けられるハーフミラーであるコンバイナに投影するようにしてもよい。また、HUD部190は、ウインドシールド201の内部或いは表面に備えられる透過型ディスプレイに画像を表示するものであってもよい。
また、上述のHUD装置100における表示制御処理の手順(図10参照)の実行順序は、必ずしも、上述した通りの順序に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えたりその一部を省略したりすることができるものである。また、上述の表示制御処理の手順の全部又は一部は、ハードウェアにより実現されても、ソフトウェアを用いて実現されても良い。なお、ソフトウェアによる処理は、コンピュータ等に含まれるプロセッサがメモリに記憶された表示制御処理用の制御プログラムを実行することにより実現されるものである。また、その制御プログラムを記録媒体に記録して頒布や流通させても良い。例えば、頒布された制御プログラムを、プロセッサを有する装置にインストールして、その装置のプロセッサに実行させることで、その装置に表示制御処理の全部又は一部を行わせることが可能となる。
また、上述したHUD装置100におけるコンピュータは、必須ではないが、タッチパッド等の入力装置、ディスプレイやスピーカ等の出力装置、ハードディスク装置やSSD(Solid State Drive)等の記憶装置、DVD−ROM(Digital Versatile Disk Read Only Memory)、USB(Universal Serial Bus)メモリ等の記録媒体から情報を読み取る読取装置、或いは、ネットワークを介して通信を行う送受信装置を有しても良い。例えば上述した制御プログラムがUSBメモリ等の記録媒体に記録されていれば、読取装置は、その制御プログラムを読み取り、メモリ或いはその他の記憶装置に記憶させる。また、送受信装置が、制御プログラムを格納している外部のサーバ装置とネットワークを介して通信を行い、サーバ装置から制御プログラムをダウンロードしてメモリ或いはその他の記憶装置に記憶させても良い。なお、HUD装置100のHUD部190以外の部分の全部又は一部は、集積回路として構成されても良い。
また、本発明の一態様としては、例えば図10等に示す手順の全部又は一部を含む表示制御方法であるとしてもよい。この表示制御方法は、表示媒体に画像を表示することで移動体(車両300等)の乗員に虚像を視認させるための表示制御方法であって、表示項目に関する位置及び表示内容を示す表示項目情報を取得する表示項目情報取得ステップ(例えばステップS11)と、移動体の位置を示す進行情報を逐次取得する進行情報取得ステップ(例えばステップS14)と、移動体の状態を示す状態情報を取得する状態情報取得ステップ(例えばステップS13)と、所定の表示タイミング毎に、表示項目情報が示す位置と進行情報取得ステップで最後に取得された進行情報が示す位置とに基づいて表示位置を特定し、表示媒体上のその特定した表示位置に、その表示項目情報が示す表示内容を表わす画像を表示する表示制御ステップ(例えばステップS16、S19)とを含み、表示制御ステップでは、所定条件が満たされた場合には表示位置の特定を、表示項目情報が示す位置と、進行情報取得ステップで最後に取得された進行情報が示す位置を状態情報取得ステップで取得された状態情報が示す状態に応じて移動体の現在の位置を示すように補正してなる補正位置とに基づいて行う(例えばステップS17、S18)。
また、上述した各構成要素及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。
本発明は、車両等の移動体の乗員に対して提供される情報の表示を制御する表示制御装置、ヘッドアップディスプレイ装置等に適用できる。
10 表示システム
21 注意喚起対象物検知センサ
22 ナビゲーション装置
23 車両情報検知センサ
51 右折マーク
52、53 車線マーク
54 歩行者警告マーク
51a、52a、53a、54a 表示項目
61 速度計情報
62 回転速度計情報
63 制限速度マーク
64 前車接近警告マーク
100 ヘッドアップディスプレイ(HUD)装置
110 表示項目情報取得部
120 進行情報取得部
130 状態情報取得部
140 表示制御部
190 HUD部
191 LCD(液晶ディスプレイ)
192 平面ミラー
193 凹面ミラー
201 ウインドシールド
300 車両
301 ダッシュボード
D1 所定領域
E1 視点
I1 HUD表示面

Claims (11)

  1. 表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるヘッドアップディスプレイ装置であって、
    表示位置が変化し得る移動属性の表示項目に関する位置及び表示内容を示す表示項目情報と、表示位置が変化しない固定属性の表示項目に関する表示内容を示す固定項目情報とを取得する表示項目情報取得部と、
    前記移動体の位置を示す進行情報を逐次取得する進行情報取得部と、
    前記移動体の状態を示す状態情報を取得する状態情報取得部と、
    前記表示項目情報と前記固定項目情報とのそれぞれに基づいて画像を表示する表示制御部とを備え、
    前記表示制御部は、所定の表示タイミング毎に、
    前記表示項目情報が示す位置と前記進行情報取得部により最後に取得された前記進行情報が示す位置とに基づいて、前記移動属性の表示項目についての表示位置である移動表示位置を特定し、前記表示媒体上の当該移動表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示
    前記表示媒体上の前記固定属性の表示項目についての所定の表示位置である固定表示位置に、前記固定項目情報が示す表示内容を表わす画像を表示し、
    前記表示制御部は、所定条件が満たされた場合には前記移動表示位置については補正処理により特定し、前記固定表示位置については補正処理によらずに前記所定条件が満たされない場合の前記所定の表示位置を前記固定表示位置として特定し、
    前記補正処理による前記移動表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得部により最後に取得された前記進行情報が示す位置を前記状態情報取得部により取得された状態情報が示す状態に応じて補正してなる補正位置とに基づいて行う
    ヘッドアップディスプレイ装置。
  2. 表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるヘッドアップディスプレイ装置であって、
    表示位置が変化し得る移動属性の表示項目に関する位置及び表示内容を示す表示項目情報を取得し、更に、表示位置が変化しない固定属性の表示項目に関する位置及び表示内容を示す固定項目情報を逐次取得する表示項目情報取得部と、
    前記移動体の位置を示す進行情報を逐次取得する進行情報取得部と、
    前記移動体の状態を示す状態情報を取得する状態情報取得部と、
    前記表示項目情報と前記固定項目情報とのそれぞれに基づいて画像を表示する表示制御部とを備え、
    前記表示制御部は、所定の表示タイミング毎に、
    前記表示項目情報が示す位置と前記進行情報取得部により最後に取得された前記進行情報が示す位置とに基づいて、前記移動属性の表示項目についての表示位置である移動表示位置を特定し、前記表示媒体上の当該移動表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示し、
    前記表示項目情報取得部により最後に取得された前記固定項目情報が示す位置と前記進行情報取得部により最後に取得された前記進行情報が示す位置とに基づいて、前記固定属性の表示項目についての表示位置である固定表示位置を特定し、前記表示媒体上の当該固定表示位置に、前記固定項目情報が示す表示内容を表わす画像を表示し、
    前記表示制御部は、所定条件が満たされた場合には、前記移動表示位置については補正処理により特定し、前記固定表示位置については補正処理によらずに前記所定条件が満たされない場合に最後に取得された前記固定項目情報が示す位置と前記進行情報が示す位置とに基づいて前記固定表示位置を特定し、
    前記補正処理による前記移動表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得部により最後に取得された前記進行情報が示す位置を前記状態情報取得部により取得された状態情報が示す状態に応じて補正してなる補正位置とに基づいて行う
    ヘッドアップディスプレイ装置。
  3. 前記移動属性の表示項目は、進路誘導用の右左折マーク又は歩行者を表わす歩行者警告マークの少なくとも1つであり、
    前記固定属性の表示項目は、車速を表わす速度計情報又はエンジンの回転速度を表わす回転速度計情報の少なくとも1つである
    請求項1又は2に記載のヘッドアップディスプレイ装置。
  4. 前記表示制御部は、一の表示タイミングにおいて、前回の表示タイミングの後に前記進行情報取得部により前記進行情報が取得されなかったことを前記所定条件が満たされたこととして扱う
    請求項1〜3の何れか一項に記載のヘッドアップディスプレイ装置。
  5. 前記表示項目情報取得部は、前記表示項目情報を逐次取得し、
    前記表示制御部は、
    前記所定条件が満たされた場合の前記補正処理による前記移動表示位置の特定を、前記表示項目情報取得部により最後に取得された表示項目情報が示す位置と、前記進行情報取得部により最後に取得された前記進行情報が示す位置を前記状態情報取得部により取得された状態情報が示す状態に応じて補正してなる補正位置とに基づいて行い、
    前記所定条件が満たされた場合に特定された前記表示媒体上の前記移動表示位置に、前記表示項目情報取得部により最後に取得された表示項目情報が示す表示内容を表わす画像を表示する
    請求項1〜4の何れか一項に記載のヘッドアップディスプレイ装置。
  6. 前記進行情報は、更に前記移動体の進行方向を示し、
    前記状態情報取得部は、前記状態情報を逐次取得し、
    前記表示制御部は、前記移動表示位置の特定を、
    前記所定条件が満たされない場合には、前記表示項目情報が示す位置と前記進行情報取得部により最後に取得された前記進行情報が示す位置と進行方向とに基づいて行い、
    前記所定条件が満たされた場合には、前記補正処理により特定し、
    前記補正処理による前記移動表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得部により最後に取得された前記進行情報が示す位置及び進行方向を前記状態情報取得部により少なくとも最後に取得された状態情報が示す状態に応じて補正してなる補正位置及び補正進行方向とに基づいて行う
    請求項1〜のいずれか一項に記載のヘッドアップディスプレイ装置。
  7. 前記移動体は車両であり、
    前記状態情報は、前記車両の車速及び操舵角の情報を含み、
    前記表示制御部は、前記所定条件が満たされた場合における前記補正処理では、前記進行情報取得部により最後に取得された前記進行情報が示す位置及び進行方向と、前記状態情報取得部により取得された状態情報が示す前記車速及び前記操舵角とに基づいて、現在の前記車両の位置及び進行方向を推定し、推定結果を示すように前記補正位置及び前記補正進行方向を定める
    請求項記載のヘッドアップディスプレイ装置。
  8. 前記状態情報は、更に前記車両の勾配の情報を含み、
    前記表示制御部は、前記状態情報が示す前記車両の勾配にも基づいて、現在の前記車両の位置及び進行方向の推定を行う
    請求項記載のヘッドアップディスプレイ装置。
  9. 前記表示制御部は、前記所定条件が満たされた場合において特定した前記移動表示位置が前記表示媒体上の所定領域の外部であるときには、前記表示項目情報が示す表示内容を表わす前記画像を表示しない
    請求項1〜のいずれか一項に記載のヘッドアップディスプレイ装置。
  10. 表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるための表示制御方法であって、
    表示位置が変化し得る移動属性の表示項目に関する位置及び表示内容を示す表示項目情報と、表示位置が変化しない固定属性の表示項目に関する表示内容を示す固定項目情報とを取得する表示項目情報取得ステップと、
    前記移動体の位置を示す進行情報を逐次取得する進行情報取得ステップと、
    前記移動体の状態を示す状態情報を取得する状態情報取得ステップと、
    前記表示項目情報と前記固定項目情報とのそれぞれに基づいて画像を表示する表示制御ステップとを含み、
    前記表示制御ステップでは、所定の表示タイミング毎に、
    前記表示項目情報が示す位置と前記進行情報取得ステップで最後に取得された前記進行情報が示す位置とに基づいて、前記移動属性の表示項目についての表示位置である移動表示位置を特定し、前記表示媒体上の当該移動表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示
    前記表示媒体上の前記固定属性の表示項目についての所定の表示位置である固定表示位置に、前記固定項目情報が示す表示内容を表わす画像を表示し、
    前記表示制御ステップでは、所定条件が満たされた場合には前記移動表示位置については補正処理により特定し、前記固定表示位置については補正処理によらずに前記所定条件が満たされない場合の前記所定の表示位置を前記固定表示位置として特定し
    前記補正処理による前記移動表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得ステップで最後に取得された前記進行情報が示す位置を前記状態情報取得ステップで取得された状態情報が示す状態に応じて前記移動体の現在の位置を示すように補正してなる補正位置とに基づいて行う
    表示制御方法。
  11. 表示媒体に表示画像を投射することで移動体の乗員に虚像を視認させるための表示制御方法であって、
    表示位置が変化し得る移動属性の表示項目に関する位置及び表示内容を示す表示項目情報を取得し、更に、表示位置が変化しない固定属性の表示項目に関する位置及び表示内容を示す固定項目情報を逐次取得する表示項目情報取得ステップと、
    前記移動体の位置を示す進行情報を逐次取得する進行情報取得ステップと、
    前記移動体の状態を示す状態情報を取得する状態情報取得ステップと、
    前記表示項目情報と前記固定項目情報とのそれぞれに基づいて画像を表示する表示制御ステップとを含み、
    前記表示制御ステップでは、所定の表示タイミング毎に、
    前記表示項目情報が示す位置と前記進行情報取得ステップで最後に取得された前記進行情報が示す位置とに基づいて、前記移動属性の表示項目についての表示位置である移動表示位置を特定し、前記表示媒体上の当該移動表示位置に、当該表示項目情報が示す表示内容を表わす画像を表示し、
    前記表示項目情報取得ステップで最後に取得された前記固定項目情報が示す位置と前記進行情報取得ステップで最後に取得された前記進行情報が示す位置とに基づいて、前記固定属性の表示項目についての表示位置である固定表示位置を特定し、前記表示媒体上の当該固定表示位置に、前記固定項目情報が示す表示内容を表わす画像を表示し、
    前記表示制御ステップでは、所定条件が満たされた場合には、前記移動表示位置については補正処理により特定し、前記固定表示位置については補正処理によらずに前記所定条件が満たされない場合に最後に取得された前記固定項目情報が示す位置と前記進行情報が示す位置とに基づいて前記固定表示位置を特定し、
    前記補正処理による前記移動表示位置の特定を、前記表示項目情報が示す位置と、前記進行情報取得ステップで最後に取得された前記進行情報が示す位置を前記状態情報取得ステップで取得された状態情報が示す状態に応じて補正してなる補正位置とに基づいて行う
    表示制御方法。
JP2016154772A 2016-08-05 2016-08-05 ヘッドアップディスプレイ装置および表示制御方法 Active JP6775188B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016154772A JP6775188B2 (ja) 2016-08-05 2016-08-05 ヘッドアップディスプレイ装置および表示制御方法
DE112017003916.9T DE112017003916T5 (de) 2016-08-05 2017-07-18 Head-Up-Display-Vorrichtung, Anzeigesteuerverfahren und Steuerprogramm
PCT/JP2017/025863 WO2018025624A1 (ja) 2016-08-05 2017-07-18 ヘッドアップディスプレイ装置、表示制御方法及び制御プログラム
US16/319,536 US11181737B2 (en) 2016-08-05 2017-07-18 Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016154772A JP6775188B2 (ja) 2016-08-05 2016-08-05 ヘッドアップディスプレイ装置および表示制御方法

Publications (2)

Publication Number Publication Date
JP2018022105A JP2018022105A (ja) 2018-02-08
JP6775188B2 true JP6775188B2 (ja) 2020-10-28

Family

ID=61074030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016154772A Active JP6775188B2 (ja) 2016-08-05 2016-08-05 ヘッドアップディスプレイ装置および表示制御方法

Country Status (4)

Country Link
US (1) US11181737B2 (ja)
JP (1) JP6775188B2 (ja)
DE (1) DE112017003916T5 (ja)
WO (1) WO2018025624A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022107340A1 (de) 2021-03-29 2022-09-29 Panasonic Intellectual Property Management Co., Ltd. Rendering-system, anzeige-system, anzeigesteuersystem, rendering-verfahren, und programm

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139584B (zh) * 2015-10-15 2020-08-28 麦克赛尔株式会社 信息显示装置
US11232600B2 (en) * 2016-06-03 2022-01-25 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method of using GPS map information to highlight road markings on a head up display that otherwise may be non-visible due to inclement weather
KR20170061640A (ko) * 2017-04-26 2017-06-05 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
JP6954069B2 (ja) * 2017-12-08 2021-10-27 トヨタ自動車株式会社 車両用注意喚起装置
JP7024619B2 (ja) * 2018-06-12 2022-02-24 株式会社デンソー 移動体用表示制御装置、移動体用表示制御方法、及び制御プログラム
JP2020152161A (ja) * 2019-03-18 2020-09-24 株式会社デンソー 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
US11265480B2 (en) * 2019-06-11 2022-03-01 Qualcomm Incorporated Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor
JP7160004B2 (ja) * 2019-08-30 2022-10-25 トヨタ自動車株式会社 表示システム、車両、および、二次電池の状態表示方法
DE102019217250A1 (de) * 2019-11-07 2021-05-12 Volkswagen Aktiengesellschaft Identifikation eines durchzuführenden Fahrmanövers mittels zusätzlicher Bodenmarkierung
JP7413035B2 (ja) * 2020-01-16 2024-01-15 本田技研工業株式会社 表示制御装置、表示制御装置の制御方法、移動体並びにプログラム
US11656578B2 (en) * 2020-07-22 2023-05-23 Disney Enterprises, Inc. Holographic imagery for on set eyeline reference
DE102020209971A1 (de) 2020-08-06 2022-02-10 Volkswagen Aktiengesellschaft Intelligentes Head-Up-Display
JP2022149728A (ja) * 2021-03-25 2022-10-07 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法及びプログラム
CN113984087A (zh) * 2021-11-08 2022-01-28 维沃移动通信有限公司 导航方法、装置、电子设备和可读存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2794807B2 (ja) * 1989-07-18 1998-09-10 松下電器産業株式会社 移動体位置検知装置
JP2001099668A (ja) * 1999-09-30 2001-04-13 Sony Corp ナビゲーション装置
JP4597423B2 (ja) * 2001-05-30 2010-12-15 本田技研工業株式会社 位置補正装置
JP2003063275A (ja) * 2001-08-24 2003-03-05 Minolta Co Ltd ヘッドアップディスプレイ装置
JP4600357B2 (ja) * 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
US20080319664A1 (en) * 2007-06-25 2008-12-25 Tidex Systems Ltd. Navigation aid
JP2009150947A (ja) 2007-12-19 2009-07-09 Hitachi Ltd 車両用ヘッドアップディスプレイ装置
US8989982B2 (en) * 2008-08-29 2015-03-24 Sony Corporation Velocity calculation device, velocity calculation method, and navigation device
JP2010256878A (ja) 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
US8317329B2 (en) * 2009-04-02 2012-11-27 GM Global Technology Operations LLC Infotainment display on full-windshield head-up display
US8977489B2 (en) * 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
JP2011123119A (ja) 2009-12-08 2011-06-23 Toshiba Corp 表示装置、表示方法及び移動体
US9163942B2 (en) * 2010-10-13 2015-10-20 Johnson Controls Automotive Electronics Sas Device for locating a vehicle and method of generating vehicle location information
JP5966440B2 (ja) * 2012-02-29 2016-08-10 株式会社デンソー 運転支援装置
JP6040897B2 (ja) 2013-09-04 2016-12-07 トヨタ自動車株式会社 注意喚起表示装置及び注意喚起表示方法
US20160216521A1 (en) * 2013-10-22 2016-07-28 Nippon Seiki Co., Ltd. Vehicle information projection system and projection device
US20150153184A1 (en) * 2013-12-04 2015-06-04 GM Global Technology Operations LLC System and method for dynamically focusing vehicle sensors
JP6253417B2 (ja) * 2014-01-16 2017-12-27 三菱電機株式会社 車両情報表示制御装置
JP6369106B2 (ja) * 2014-04-16 2018-08-08 株式会社デンソー ヘッドアップディスプレイ装置
US9411053B2 (en) * 2014-06-19 2016-08-09 Novatel Inc. Method for using partially occluded images for navigation and positioning
CN106470877B (zh) * 2014-07-01 2019-12-27 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
JP6379779B2 (ja) * 2014-07-16 2018-08-29 日産自動車株式会社 車両用表示装置
JP2016084020A (ja) * 2014-10-27 2016-05-19 三菱電機株式会社 車載表示制御装置及び車載表示システム
JP6459446B2 (ja) * 2014-11-28 2019-01-30 アイシン・エィ・ダブリュ株式会社 虚像表示装置
US9625270B2 (en) * 2014-12-01 2017-04-18 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
WO2016103395A1 (ja) * 2014-12-25 2016-06-30 三菱電機株式会社 表示制御装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022107340A1 (de) 2021-03-29 2022-09-29 Panasonic Intellectual Property Management Co., Ltd. Rendering-system, anzeige-system, anzeigesteuersystem, rendering-verfahren, und programm
US11922836B2 (en) 2021-03-29 2024-03-05 Panasonic Intellectual Property Management Co., Ltd. Rendering system, display system, display control system, and rendering method

Also Published As

Publication number Publication date
DE112017003916T5 (de) 2019-05-09
WO2018025624A1 (ja) 2018-02-08
US11181737B2 (en) 2021-11-23
JP2018022105A (ja) 2018-02-08
US20200012097A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
US11535155B2 (en) Superimposed-image display device and computer program
JP6528139B2 (ja) 表示制御装置及び表示制御プログラム
US10029700B2 (en) Infotainment system with head-up display for symbol projection
JP6414096B2 (ja) 車載装置、車載装置の制御方法及び車載装置の制御プログラム
JP7052786B2 (ja) 表示制御装置および表示制御プログラム
US11525694B2 (en) Superimposed-image display device and computer program
JP6695049B2 (ja) 表示装置及び表示制御方法
CN111094898A (zh) 用于控制用于机动车辆的增强现实抬头显示设备的显示的方法、设备和具有指令的计算机可读存储介质
JP2020125033A (ja) 表示制御装置および表示制御プログラム
JP6186905B2 (ja) 車載表示装置およびプログラム
JP6328366B2 (ja) ヘッドアップディスプレイの表示制御装置および表示制御方法
JP2018156574A (ja) 車両用表示制御装置及び車両用表示ユニット
KR101637298B1 (ko) 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
JP2022154082A (ja) 表示補正システム、表示システム、表示補正方法、及びプログラム
JP6597128B2 (ja) 車両用表示装置
JP7416114B2 (ja) 表示制御装置および表示制御プログラム
JP7088152B2 (ja) 表示制御装置、および表示制御プログラム
JP2023026928A (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法およびプログラム
JP2022153304A (ja) 描画システム、表示システム、表示制御システム、描画方法、及びプログラム
JP2020091148A (ja) 表示制御装置および表示制御プログラム
JP2019095214A (ja) 重畳画像表示装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200918

R151 Written notification of patent or utility model registration

Ref document number: 6775188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03