JPWO2020100422A1 - 表示装置、および表示制御方法、並びにプログラム - Google Patents

表示装置、および表示制御方法、並びにプログラム Download PDF

Info

Publication number
JPWO2020100422A1
JPWO2020100422A1 JP2020556657A JP2020556657A JPWO2020100422A1 JP WO2020100422 A1 JPWO2020100422 A1 JP WO2020100422A1 JP 2020556657 A JP2020556657 A JP 2020556657A JP 2020556657 A JP2020556657 A JP 2020556657A JP WO2020100422 A1 JPWO2020100422 A1 JP WO2020100422A1
Authority
JP
Japan
Prior art keywords
user
display area
viewpoint
display device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020556657A
Other languages
English (en)
Other versions
JP7517152B2 (ja
Inventor
安田 亮平
真一 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020100422A1 publication Critical patent/JPWO2020100422A1/ja
Application granted granted Critical
Publication of JP7517152B2 publication Critical patent/JP7517152B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895Guidance during keyboard input operation, e.g. prompting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Position Input By Displaying (AREA)

Abstract

視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成を実現する。ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、HUDとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間t以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間tは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。

Description

本開示は、表示装置、および表示制御方法、並びにプログラムに関する。さらに詳細には、視点追従型の表示領域の表示制御を行う表示装置、および表示制御方法、並びにプログラムに関する。
昨今、3次元表示装置(3D表示装置)の利用が進んでいる。3次元表示装置は、左右の目に異なる画像、いわゆる距離に応じた視差画像を観察させることで奥行感のある画像を表示するものである。
さらに、ユーザの注視点を検出して検出注視点に応じた処理、例えば画面に表示された操作ボタンをユーザが注視した場合、そのボタンを押下した処理を実行させるといったユーザ視線による処理を可能とした構成についても提案されている。
例えば特許文献1(特許6081839号公報)には、3次元表示装置に奥行の異なる複数の画像面を表示し、前方の画像面に操作ボタンを表示して、ユーザがその操作ボタンを注視したことを検出した場合に、操作ボタンを押下したと判定する構成について開示している。
さらに、1つの表示領域をユーザの視点移動に追従するように移動させて表示する制御を行う構成についても提案されている。
例えば、奥行距離の遠い第1の画像面に画像を表示し、さらに奥行距離の近い第2の画像面にも異なる画像を表示し、手前の第2の画像面をユーザ視点の移動に追従させた移動して表示する。
例えば、この視点追従型表示画面をユーザ視点の左側に表示し、ユーザ視点が右側に移動すれば、視点追従型表示面も右側に移動し、左に移動すれば左に移動させるといった構成である。
しかし、このような視点追従型の表示領域を持つ構成における問題点として、ユーザが視点追従型表示画面の表示情報を見たいときに、視点追従型表示画面がユーザ視点の移動に伴い逃げてしまい、ユーザが視点追従型表示画面の内容を見ることができないという問題がある。
すなわち、ユーザ視点の左側に表示した視点追従型表示画面を、ユーザが見ようとすると、視点を左に移動させることになるが、この視点移動に伴い、視点追従型表示画面も左に移動してしまうため、ユーザは視点追従型表示画面の内容を見ることができなくなってしまう。
特許6081839号公報
本開示は、例えば、上記問題点に鑑みてなされたものであり、ユーザ視点に追従して移動する表示領域を持つ表示装置において、視点追従型の表示領域の表示情報を容易に確認することを可能とした表示装置、表示制御方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置にある。
さらに、本開示の第2の側面は、
表示装置において実行する表示制御方法であり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部が、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法にある。
さらに、本開示の第3の側面は、
表示装置において表示制御を実行させるプログラムであり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
具体的には、例えば、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、HUDとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間t以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間tは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。
本構成により、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
三次元画像の表示処理と、視点追従表示処理の概要について説明する図である。 視点追従表示領域を有する三次元画像表示装置の例を示す図である。 視点追従表示領域を有する三次元画像表示装置の例を示す図である。 視点追従表示領域の視点追従時の問題点について説明する図である。 本開示の表示装置の実行する処理の概要について説明する図である。 本開示の表示装置の実行する処理の概要について説明する図である。 ユーザ視線の輻輳距離について説明する図である。 本開示の表示装置一例について説明する図である。 表示装置の構成と処理例について説明する図である。 表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の表示装置の実行する処理の概要について説明する図である。 本開示の表示装置の実行する処理の概要について説明する図である。 表示装置の構成と処理例について説明する図である。 表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 表示装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の表示装置、および表示制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.三次元画像の表示処理と、視点追従表示処理の概要について
2.本開示の表示装置の実行する処理の概要について
3.本開示の表示装置の構成と処理の詳細について
4.車両のHUD(ヘッドアップディスプレイ)の表示部に視点追従表示領域を設定した実施例について
5.その他の実施例について
6.表示装置のハードウェア構成例について
7.本開示の構成のまとめ
[1.三次元画像の表示処理と、視点追従表示処理の概要について]
まず、三次元画像の表示処理と、視点追従表示処理の概要について説明する。
図1は、三次元画像の表示処理の一例を説明する図である。
この図1に示す構成は、先に説明した特許文献1(特許6081839号公報)に記載された構成に相当する。
図1は、3次元表示装置に表示される画像の概念図を示した図である。図1には、3次元表示装置に表示される奥行の異なる複数の画像面を示している。
データ表示画面A11と、データ表示画面B12である。
視聴者であるユーザ20は、データ表示画面A11がデータ表示画面B12の手前に位置すると視覚的に認識する。
これは、各画面A,Bをそれぞれ異なる視差量を持つ画像として設定することで実現できる。
ユーザ20は、前方にあるデータ表示画面A11に表示された操作ボタン(OK)を注視すると、システムがユーザ20が操作ボタン(OK)を注視したことを検出し、データ表示画面A11に表示された操作ボタン(OK)を押下したと同様の処理を実行する。
このように、三次元画像表示装置を利用して視線入力を行うことで、様々な処理を行うことが可能となる。
さらに、1つの表示領域をユーザの視点移動に追従するように移動させて表示する制御を行う構成がある。
図2に、視点追従表示領域を有する三次元画像表示装置の例を示す。
図2に示す表示装置30は、オンスクリーンキーボード(OSK:On Screen Keyboard)である。
表示装置30は、固定表示領域31と視点追従表示領域32を有する。ユーザ20は、コントローラ21を有しており、コントローラ21を用いて、固定表示領域31上の文字選択カーソル34を移動させて、固定表示領域31に表示された文字列から特定の文字を選択し、コントローラ21の入力決定ボタンを押下して文字を入力する。
入力された文字列は、視点追従表示領域32に表示される。
表示装置30の制御部は、ユーザ20が、視点追従表示領域32を固定表示領域31の手前の位置、すなわちユーザ20に近い位置において観察できるように各表示領域の三次元表示制御を実行する。
表示装置30は、例えばカメラ33等を用いてユーザの目を観察し、ユーザの注視点を算出する。図に示すユーザ注視点41である。
表示装置30の制御部は、視点追従表示領域32をユーザ注視点41に追従させて移動させる制御を行う。
例えば、図に示すように、視点追従表示領域32をユーザ注視点41の左側に表示し、ユーザ注視点41が右側に移動すれば、視点追従表示領域32も右側に移動し、左に移動すれば左に移動させるといった処理を行う。
図3は、図2に示す表示装置30を正面から見た図である。表示装置30には固定表示領域31が表示され、その手前側に入力したテキストを表示するテキスト入力ボックスとしての視点追従表示領域32が表示される。
視点追従表示領域32は、ユーザ注視点41の隣接位置に表示される。図に示す例はユーザ注視点41の左側に表示されている。
図4を参照して視点追従表示領域32の視点追従時の問題点について説明する。
図4(1)に示す例は、ユーザ20が固定表示領域31の表示情報Bを確認中の状態であり、ユーザ注視点41が固定表示領域31上にある。この状態で、視点追従表示領域32はユーザ注視点41の左側に表示されている。
この状態は、何も問題がない。
図4(2)は、ユーザ20が、ユーザ注視点41の左側にある視点追従表示領域32に表示されたデータである情報Aを見ようとして、ユーザ注視点41を左側に移動させた状態を示している。ユーザ注視点41を左側に移動させると、視点追従表示領域32もユーザ注視点41の移動に追従して左側に移動してしまう。
すなわち、ユーザ20が視点追従型表示画面自体を見たいときにユーザ注視点41を視点追従表示領域32側に移動させると、視点追従表示領域32もユーザ注視点41の移動に伴い逃げてしまう。結果として、ユーザ20が視点追従表示領域32の内容、すなわち情報Aを見ることができなくなる。
[2.本開示の表示装置の実行する処理の概要について]
次に、本開示の表示装置の実行する処理の概要について説明する。
本開示の表示装置は、図4を参照して説明した問題点、すなわち、視点追従表示領域がユーザ注視点の移動に伴い逃げてしまい、ユーザが視点追従表示領域の内容を見ることができなくなるという問題を解決するものである。
図5、図6を参照して、本開示の表示装置の実行する処理の概要について説明する。
図5は、図4を参照して説明したと同様、固定表示領域31と視点追従表示領域32を有する三次元表示装置の表示例を示している。
図5(1)に示す例は、ユーザ20が固定表示領域31の表示情報Bを確認中の状態であり、ユーザ注視点41が固定表示領域31上にある。この状態で、視点追従表示領域32はユーザ注視点41の左側に表示されている。
図5(2)に示す例は、ユーザ20がユーザ注視点41を右側に移動させながら、固定表示領域31の表示情報Bを継続して確認中の状態であり、ユーザ注視点41が固定表示領域31上にある。この状態で、視点追従表示領域32はユーザ注視点41の右方向への移動に追従して右方向に移動し、ユーザ注視点41の左隣接位置に移動して表示される。
図5に示す例は、ユーザは、継続して固定表示領域31の表示情報Bを確認中であり、何の問題もない。
次に、図6を参照して、ユーザが視点追従表示領域32に表示された情報Aを確認しようとした場合の処理について説明する。
図6も、図5と同様、固定表示領域31と視点追従表示領域32を有する三次元表示装置の表示例を示している。
図6(1)に示す例は、ユーザ20が固定表示領域31の表示情報Bを確認中の状態であり、ユーザ注視点41が固定表示領域31上にある。この状態で、視点追従表示領域32はユーザ注視点41の左側に表示されている。
図6(2)に示す例は、ユーザ20がユーザ注視点41を左に移動させて視点追従表示領域32の情報Aを確認している状態である。
本開示の表示装置は、ある条件の下で視点追従表示領域32をユーザ注視点41に追従させない制御を実行する。
すなわち、視点追従表示領域32の追従処理を所定条件の下で停止させる。この制御により、ユーザは、視点追従表示領域32にユーザ注視点41をスムーズに移動させて視点追従表示領域32の情報Aを確認することができる。
本開示の表示装置は、この視点追従表示領域32の追従処理の実行と停止制御を行うため、ユーザ注視点の3次元位置やユーザ視線の輻輳距離を利用した制御を実行する。
ユーザ視線の輻輳距離について図7を参照して説明する。
図7には、ユーザ20とユーザ注視点41との距離の異なる2つの図を示している。
図7(a)は、ユーザ20とユーザ注視点41との距離が遠く、図7(b)は、ユーザ20とユーザ注視点41との距離が近い。
ユーザ20は注視点41を左右2つの目で見ている。この時、
左目とユーザ注視点41とを結ぶ直線と、右目とユーザ注視点41とを結ぶ直線とのなす角を輻輳角と呼ぶ。
また、ユーザ20の目からユーザ注視点41までの距離を輻輳距離と呼ぶ。
輻輳角は、ユーザ注視点がユーザから離れるほど小さくなり、近づくほど大きくなる。輻輳距離は、ユーザ注視点がユーザから離れるほど大きくなり、近づくほど小さくなる。
図7に示す例では、ユーザ注視点がユーザから遠い(a)における輻輳角θaと輻輳距離La、およびユーザ注視点がユーザに近いい(b)における輻輳角θbと輻輳距離Lbとの関係は以下の通りとなる。
θa<θb
La>Lb
輻輳角や輻輳距離は、例えば、ユーザ20の左目と右目のカメラ撮影画像から解析される両目の視線方向から算出することができる。
本開示の表示装置は、表示装置に備えられたカメラを用いてユーザの両目の視線方向を解析し、ユーザ注視点の3次元位置や輻輳距離を算出する。
この算出結果を利用して、視線追従表示領域の移動制御を実行する。
[3.本開示の表示装置の構成と処理の詳細について]
次に、本開示の表示装置の構成と処理の詳細について説明する。
図8は、本開示の表示装置100の一例の外観を示す図である。
図8に示す表示装置100は、先に図2を参照して説明したと同様のオンスクリーンキーボード(OSK:On Screen Keyboard)である。
表示装置100は、固定表示領域101と視点追従表示領域102を有する。ユーザ120は、コントローラ121を有しており、コントローラ121を用いて、固定表示領域101上の文字選択カーソル104を移動させて、固定表示領域101に表示された文字列から特定の文字を選択し、コントローラ121の入力決定ボタンを押下して文字を入力する。
入力された文字列は、視点追従表示領域102に表示される。
表示装置100の制御部は、ユーザ120が、視点追従表示領域102を固定表示領域101の手前の位置、すなわちユーザ120に近い位置において観察できるように各表示領域の三次元表示制御を実行する。
表示装置100は、例えばカメラ103等を用いてユーザの目を観察し、ユーザ注視点121の3次元位置、具体的には輻輳距離を含むユーザ注視点121の3次元位置を算出する。
なお、図8左に示すように表示領域の表示面に平行な水平右方向をX軸、表示面に平行な垂直上方向をY軸、表示領域の表示面に垂直な方向(ユーザ120から表示面へ向かう方向)をZ軸とする。
図には、時間(ta)におけるユーザ注視点121aと時間(t2)におけるユーザ注視点121bの2つの注視点を示している。これらは異なる時間のユーザ注視点を参考として示しているものである。
ユーザ120は、固定表示領域101の表示情報と、視点追従表示領域102の表示情報の双方を、不自由なく観察することが可能となる。
表示装置100の制御部は、視点追従表示領域102をユーザ注視点121に追従させて移動させる制御を行う。
図8に示す例では、視点追従表示領域102をユーザ注視点121の左側に表示している。表示装置100の制御部は、ユーザ注視点121が右側に移動すれば、視点追従表示領域102も右側に移動させる。左に移動すれば左に移動させるといった処理を行う。
ただし、本開示の表示装置100の制御部は、予め規定した条件を満たす場合には、視点追従表示領域102をユーザ注視点121に追従させず、固定させる処理を行う。
この制御により、ユーザは注視点を視点追従表示領域102の上に移動させて、視点追従表示領域102上のデータを確認することができる。
なお、本実施例として図8に示している表示装置100は、先に図2を参照して説明した構成と同様、固定表示領域101には、ユーザ120が入力可能な文字列を表示する。ユーザ120は、手持ちのコントローラ121を操作して、文字選択カーソル104を移動させて、固定表示領域101に表示された文字列から特定の文字を選択し、コントローラ121の入力決定ボタンを押下して文字を入力する。入力された文字列は、視点追従表示領域102に表示される。
次に、図9を参照して、表示装置100の構成について説明する。
図9に示すように、本開示の表示装置100は、視線検出部151、注視点3次元位置(輻輳距離等)算出部152、視点追従表示領域移動制御部153、コントローラ操作情報入力部154、ユーザ操作対応処理実行部155、視点追従表示領域情報生成部156、固定表示領域表示情報生成部157、表示部158を有する。
視線検出部151はユーザ120の視線を検出する。例えばカメラであり、ユーザの左目と右目の眼球を撮影し、その眼球方向から各目の視線方向を検出可能な画像を撮影する。
なお、視線検出部151はカメラに限らず、その他の様々な視線検出手法が利用可能である。例えば眼球の電位計測を行うEOG(Electro−Oculogram)等のセンサーを用いて視線検出を行う構成としてもよい。
視線検出部151の検出情報は、注視点3次元位置(輻輳距離等)算出部152に入力される。
注視点3次元位置(輻輳距離等)算出部152は、視線検出部151から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点(ユーザ注視点)の3次元位置を算出する。
ユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点3次元位置(輻輳距離等)算出部152は、注視点の3次元位置(x,y,z)を算出する。
例えばユーザの顔の位置を原点(x,y,z)=(0,0,0)として、表示装置の表示面に平行な水平右方向をx軸、表示装置の表示面に平行な上方向をy軸、ユーザから表示装置の表示面に向かう方向z軸とする。
この設定において、注視点の3次元位置(x,y,z)中のzは輻輳距離に相当する。
注視点3次元位置(輻輳距離等)算出部152の算出した注視点の3次元位置(x,y,z)情報は、視点追従表示領域移動制御部153に入力される。
視点追従表示領域移動制御部153は、注視点3次元位置(輻輳距離等)算出部152の算出した注視点の3次元位置(x,y,z)情報を利用して、視点追従表示領域102の移動制御を行う。具体的にはユーザ注視点121に追従させて移動させる制御と、追従させずに固定する制御を切り替えて実行する。
なお、視点追従表示領域移動制御部153は、コントローラ操作情報入力部154が入力するユーザ操作情報に応じて制御態様を変更する。
この処理の具体的シーケンスについては、後段でフローチャートを参照して説明する。
コントローラ操作情報入力部154は、ユーザ120の有するコントローラ121の操作情報を入力する。具体的には、例えばカーソルの移動や入力文字の決定情報等の操作情報である。
入力情報はユーザ操作対応処理実行部155に入力される。さらに、視点追従表示領域移動制御部153にも入力される。
ユーザ操作対応処理実行部155は、コントローラ操作情報入力部154から入力したユーザ操作情報に従った処理を実行する。具体的には、例えばカーソルの移動や入力文字の決定情報等の操作情報に従い、固定表示領域表示情報生成部157上のカーソル位置の表示位置を決定し、また、入力文字の決定情報に従い、視点追従表示領域情報生成部156に表示する文字列を決定する処理などを行う。
このユーザ操作対応処理実行部155の実行結果は、視点追従表示領域情報生成部156と、固定表示領域表示情報生成部157に入力される。
視点追従表示領域情報生成部156と、固定表示領域表示情報生成部157は、それぞれ各表示領域に対応する表示情報を生成する。すなわち、ユーザ操作対応処理実行部155の実行結果を反映した表示情報を生成する。
表示部158は、視点追従表示領域情報生成部156と、固定表示領域表示情報生成部157が生成した各表示領域に対応する表示情報を各表示領域に表示する。
次に、視点追従表示領域移動制御部153が実行する視点追従表示領域102の制御シーケンスについて説明する。
図10〜図11は、視点追従表示領域102の制御シーケンスについて説明するフローチャートである。
図10は、視点追従表示領域102の移動制御の基本シーケンスである。
図11は、図10に示すステップS101のユーザ注視点の滞留時間の調整処理の詳細シーケンスである。
図10〜図11に示すフローに従った処理は、表示装置100の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
以下、図10に示すフローの各ステップの処理について説明する。
(ステップS101)
まず、ステップS101において、視点追従表示領域102の追従条件調整処理を実行する。
この処理は、視点追従表示領域移動制御部153が実行する。
以下のステップS102〜S105の処理は、このステップS101で設定した追従条件に従って実行される。
このステップS101における追従条件調整処理、すなわち視点追従表示領域102の追従条件調整処理の詳細シーケンスについて図11に示すフローチャートを参照して説明する。
(ステップS201)
まず、視点追従表示領域移動制御部153は、ステップS201において、コントローラ操作情報入力部154に新たなユーザ操作情報が入力されたか否かを判定する。
入力されていない場合は、ステップS202に進み、入力された場合は、ステップS204に進む。
(ステップS202)
ステップS201において、コントローラ操作情報入力部154に新たなユーザ操作情報が入力されていないと判定した場合、ステップS202において、ユーザの最後のコントローラに対する入力操作からの経過時間が、予め規定したしきい値時間、例えば3秒以上となったか否かを判定する。
経過時間が予め規定したしきい値時間、例えば3秒以上となったと判定した場合はステップS203に進む。
経過時間が予め規定したしきい値時間、例えば3秒以上になっていないと判定した場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
(ステップS203)
ステップS202において、ユーザの最後のコントローラに対する入力操作からの経過時間が、予め規定したしきい値時間、例えば3秒以上となったと判定した場合は、ステップS203の処理を実行する。
視点追従表示領域移動制御部153は、ステップS203において、視点追従表示領域の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)に設定する。
(ステップS204)
一方、ステップS201において、コントローラ操作情報入力部154に新たなユーザ操作情報が入力されたと判定した場合、ステップS204の処理を実行する。
視点追従表示領域移動制御部153は、ステップS204において、視点追従表示領域の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)より短い時間(例えばt=0.2秒)に設定する。
図10に示すフローのステップS101では、この図11に示すフローに従った処理が実行される。
図11に示すフローによって実行される処理は、視点追従表示領域の追従停止判定時間である視点滞留時間tの設定変更処理である。具体的には、以下の処理が行われる。
(a)新たなユーザ操作が検出された場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)より短い時間(例えばt=0.2秒)に設定する。
(b)新たなユーザ操作が検出されず、操作なしの状態が規定時間(例えば3秒)以上、継続した場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)に設定する。
これら(a),(b)の処理が実行されることになる。
なお、ユーザ注視点の滞留状態とは、ユーザ視点が完全に固定されている場合に限らず、ある程度の狭い範囲でとどまっている場合も含む。
例えば、図8に示す固定表示領域に表示された1つの文字の中心附近にユーザ注視点がある場合、その隣接文字の中心まで移動しない限り、ユーザ注視点は滞留状態にあると判定する。
図10に示すフローのステップS102以下では、上記(a),(b)いずれかの設定、すなわち、視点追従表示領域の追従停止判定時間である視点滞留時間tが、
視点滞留時間t=標準時間(例えばt=0.5秒)、または
視点滞留時間t=標準時間より短い時間(例えばt=0.2秒)、
これらいずれかの設定の下で処理が実行される。
ステップS102以下の処理について説明する。
(ステップS102)
ステップS102ではユーザの注視点を検出する。
この処理は、図9に示す注視点3次元位置(輻輳距離等)算出部152が実行する。
注視点3次元位置(輻輳距離等)算出部152は、視線検出部151から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点(ユーザ注視点)の3次元位置を算出する。
前述したように、ユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点3次元位置(輻輳距離等)算出部152は、例えばユーザの顔の位置を原点(x,y,z)=(0,0,0)として、注視点の3次元位置(x,y,z)を算出する。zは輻輳距離に相当する。
(ステップS103)
次に、ステップS103において、ユーザの注視点の滞留時間、すなわちユーザ注視点が固定表示領域101、または視点追従表示領域102上で動かずに留まっている滞留時間が、ステップS101で設定した滞留時間t以上であるか否かを判定する。
ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t以上である場合は、ステップS104に進む。
一方、ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t以上でない場合、すなわち、時間t未満の時間でユーザ注視点が移動している場合は、ステップS105に進む。
(ステップS104)
ステップS103において、ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t以上である場合は、ステップS104に進む。
視点追従表示領域移動制御部153は、ステップS104において、視点追従表示領域102を固定する。すなわち、ユーザ注視点の移動に追従させず、現在の表示領域に固定して表示する処理を行う。
このタイミングでユーザは注視点を固定表示領域101から視点追従表示領域102に移動させることで、視点追従表示領域102の表示情報を確認することができる。
(ステップS105)
一方、ステップS103において、ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t未満である場合は、ステップS105に進む。
視点追従表示領域移動制御部153は、ステップS105において、視点追従表示領域102をユーザ注視点の移動に追従させて移動する制御を実行する。
この図10、図11に示すフローを参照して説明した処理を実行することで、ユーザ120は、固定表示領域101、および視点追従表示領域102の情報を、ユーザの意思に従って確実に確認することが可能となる。
固定表示領域101から視点追従表示領域102へ注視点を移動させる際の処理例について図12を参照して説明する。
図12は、先に図6等を参照して説明した処理例と同様の処理例である。
図12(1)に示す例は、ユーザ120が固定表示領域101の表示情報Bを確認中の状態であり、ユーザ注視点121が固定表示領域101上にある。この状態で、視点追従表示領域102はユーザ注視点121の左側に表示されている。
この状態で、ユーザ120はユーザ注視点121を、規定の滞留時間t、例えば0.5秒間、移動させることなく停止させる。この注視点の滞留処理により、視点追従表示領域102はユーザ注視点121に遅滞する追従移動が停止され、固定される。
その後、ユーザ120はユーザ注視点121を左側、すなわち、視点追従表示領域102の情報表示領域に移動させる。
この状態が、図12(2)に示す状態である。
この処理により、ユーザ120は、視点追従表示領域102の情報を確認することができる。
なお、規定の滞留時間tは、ユーザ120によるコントローラ121の操作入力状態によって変更される。
先に図11のフローを参照して説明したように、ユーザ120によるコントローラ121の操作入力状態によって以下のいずれかの設定に変更される。
(a)新たなユーザ操作が検出された場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)より短い時間(例えばt=0.2秒)に設定する。
(b)新たなユーザ操作が検出されず、操作なしの状態が規定時間(例えば3秒)以上、継続した場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)に設定する。
これら(a),(b)の処理が実行されることになる。
この変更処理によって、ユーザがコントローラを介した入力操作を実行している間は、視点追従表示領域102の追従停止判定時間である視点滞留時間tは短く設定される。例えば、入力操作中は0.2秒の滞留時間が検出されると、視点追従表示領域102を固定する。
ユーザ120は、固定表示領域101上の文字を選択しながらテキストを入力している間は、視点追従表示領域102に視点を移動して入力文字を、確認することが多く、この場合には、視点滞留時間tを短く設定することで、固定、移動を頻繁に切り替えて、テキスト入力と確認を交互にスムーズに行うことが可能となる。
一方、所定時間、例えば3秒以上、ユーザ120によるコントローラ121を介した操作入力がない場合は、視点追従表示領域102の追従停止判定時間である視点滞留時間tは標準時間、例えば0.5秒に設定される。
これは、例えば、固定表示領域101から入力文字を選択するのに時間がかかっている場合や、入力文を考えている場合等に対応した処理であり、このような場合は、視点追従表示領域102の追従と停止の切り替えを頻繁に実行させない設定として、無駄な切り替え処理を低減する構成としている。
このように、本開示の表示装置100は、図10、図11に示すフローを参照して説明した処理を実行する。すなわち、視点追従表示領域102のユーザ注視点121への追従移動と停止処理を切り替えて実行する構成としたので、ユーザ120は、固定表示領域101、および視点追従表示領域102の情報を、ユーザの意思に従って確実に確認することが可能となる。
[4.車両のHUD(ヘッドアップディスプレイ)の表示部に視点追従表示領域を設定した実施例について]
次に4.車両のHUD(ヘッドアップディスプレイ)の表示部に視点追従表示領域を設定した実施例について説明する。
図13に示すように運転席の前方のウィンドウ部分にHUD(ヘッドアップディスプレイ)として視点追従表示領域201を表示する。
視点追従表示領域201には例えば地図データが表示される。
視点追従表示領域201は、基本的には運転者であるユーザのユーザ注視点211に追従するように移動制御がなされる。
この基本構成は、先に図8以下を参照して説明したオンスクリーンキーボード(OSK)の例と同様である。
本実施例においても、ユーザ注視点211を所定時間以上、すなわち予め規定した滞留時間t以上、特定個所に滞留させることで視点追従表示領域201の視点追従を停止させて、固定領域に表示する制御を行う。
この結果、図13(a)のユーザ注視点211を図13(b)のように右に移動させて視点追従表示領域201に表示された地図を確認することができる。
ただし、例えば、図に示すように視点追従表示領域201がユーザ注視点211の右側にある場合、運転者が車両を右方向にカーブさせようとすると、視点追従表示領域201によって右方向の前方視界が遮られてしまうという問題が発生する。
本実施例では、この問題を解決するため、ユーザ(運転者)のハンドル操作情報を入力して、視点追従表示領域201の表示領域の変更や表示/非表示の変更を実行する。
図14は、本実施例における表示装置200の構成例を示すブロック図である。
図14に示す表示装置200の構成について説明する。
表示装置200は、視線検出部251、注視点3次元位置(輻輳距離等)算出部252、視点追従表示領域移動制御部253、視点追従表示領域情報生成部256、表示部(HUD)258、ハンドル操作情報入力部261を有する。
視線検出部251は運転者(ユーザ)の視線を検出する。例えばカメラであり、ユーザの左目と右目の眼球を撮影し、その眼球方向から各目の視線方向を検出可能な画像を撮影する。
なお、視線検出部251はカメラに限らず、その他の様々な視線検出手法が利用可能である。例えば眼球の電位計測を行うEOG(Electro−Oculogram)等のセンサーを用いて視線検出を行う構成としてもよい。
視線検出部251の検出情報は、注視点3次元位置(輻輳距離等)算出部252に入力される。
注視点3次元位置(輻輳距離等)算出部252は、視線検出部251から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点(ユーザ注視点)の3次元位置を算出する。
前述したようにユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点3次元位置(輻輳距離等)算出部252は、注視点の3次元位置(x,y,z)を算出する。ユーザの顔の位置を原点(x,y,z)=(0,0,0)として注視点の3次元位置(x,y,z)を求める。zは輻輳距離に相当する。
注視点3次元位置(輻輳距離等)算出部252の算出した注視点の3次元位置(x,y,z)情報は、視点追従表示領域移動制御部253に入力される。
視点追従表示領域移動制御部253は、注視点3次元位置(輻輳距離等)算出部252の算出した注視点の3次元位置(x,y,z)情報を利用して、表示部(HUD)258(=視点追従表示領域201)の移動制御を行う。具体的にはユーザ注視点121に追従させて移動させる制御と、追従させずに固定する制御を切り替えて実行する。
さらに、視点追従表示領域移動制御部253は、ハンドル操作情報入力部261から入力するユーザのハンドル操作情報に応じて表示部(HUD)258(=視点追従表示領域201)の移動制御や表示制御を行う。
例えば、ユーザがハンドルを右に回したときは、図13に示すようにユーザ注視点211の右側に表示されている視点追従表示領域201をユーザ注視点211の上側や下側に移動させて表示する。あるいは、視点追従表示領域201の表示を停止する。すなわち非表示とする等の処理を行う。
この処理によって、ユーザ(運転者)は、進行方向の様子を視点追従表示領域201に邪魔されることなく見ることが可能となる。
ハンドル操作情報入力部261は、ユーザ(運転者)のハンドル操作情報を視点追従表示領域移動制御部253に入力する。
視点追従表示領域情報生成部256は、表示部(HUD)258(=視点追従表示領域201)に表示する表示情報を生成する。
表示部(HUD)258(=視点追従表示領域201)は、視点追従表示領域情報生成部256が生成した表示情報、例えば地図情報を表示する。
次に、視点追従表示領域移動制御部253が実行する表示部(HUD)258(=視点追従表示領域201)の制御シーケンスについて説明する。
図15〜図16は、視点追従表示領域201の制御シーケンスについて説明するフローチャートである。
図15は、視点追従表示領域201の移動制御の基本シーケンスである。
図16は、図15に示すステップS201のユーザ注視点の滞留時間の調整処理の詳細シーケンスである。
図15〜図16に示すフローに従った処理は、表示装置200の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
以下、図15に示すフローの各ステップの処理について説明する。
(ステップS301)
まず、ステップS301において、視点追従表示領域201の追従条件調整処理を実行する。
この処理は、視点追従表示領域移動制御部253が実行する。
以下のステップS302〜S305の処理は、このステップS301で設定した追従条件に従って実行される。
このステップS301における追従条件調整処理、すなわち視点追従表示領域201の追従条件調整処理の詳細シーケンスについて図16に示すフローチャートを参照して説明する。
(ステップS401)
まず、視点追従表示領域移動制御部253は、ステップS401において、ハンドル操作情報入力部261からユーザによるハンドル操作情報として、予め規定した回転角度以上のハンドル操作情報が入力されたか否かを判定する。
入力された場合は、ステップS402に進み、入力されない場合は、ステップS404に進む。
(ステップS402)
ステップS401において、ハンドル操作情報入力部261から予め規定した回転角度以上のハンドル操作情報が入力されたと判定した場合、視点追従表示領域移動制御部253は、ステップS402において、視点追従表示領域201が車両の進行方向と同じ方向に表示中か否かを判定する。
視点追従表示領域201が車両の進行方向と同じ方向に表示中である場合はステップS403に進む。
視点追従表示領域201が車両の進行方向と同じ方向に表示中でない場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
(ステップS403)
ステップS402において、視点追従表示領域201が車両の進行方向と同じ方向に表示中であると判定した場合、ステップS403を実行する。
視点追従表示領域移動制御部253は、ステップS403において、視点追従表示領域の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.2秒)より長い時間(例えばt=1.0秒)に設定する。さらに、必要に応じて視点追従表示領域201の表示位置の変更、表示停止を実行する。
視点追従表示領域201の表示位置の変更、表示停止とは、先に図13を参照して説明したように、ユーザが回したハンドル方向に表示されている視点追従表示領域201をユーザ注視点211の上側や下側に移動させて表示する処理や視点追従表示領域201の表示を停止する処理である。
この処理によって、ユーザ(運転者)は、進行方向の様子を視点追従表示領域201に邪魔されることなく見ることが可能となる。
(ステップS404)
一方、ステップS401において、ハンドル操作情報入力部261から予め規定した回転角度以上のハンドル操作情報が入力されていないと判定した場合、視点追従表示領域移動制御部253は、ステップS404の処理を実行する。
視点追従表示領域移動制御部253は、ステップS404において、ユーザがハンドルを中立状態に戻した後の経過時間が、予め規定したしきい値時間、例えば3秒以上となったか否かを判定する。
経過時間が予め規定したしきい値時間、例えば3秒以上となったと判定した場合はステップS405に進む。
経過時間が予め規定したしきい値時間、例えば3秒以上になっていないと判定した場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
(ステップS405)
ステップS404において、ユーザがハンドルを中立状態に戻した後の経過時間が、予め規定したしきい値時間、例えば3秒以上となったと判定した場合、ステップS405の処理を実行する。
視点追従表示領域移動制御部253は、ステップS405において、視点追従表示領域の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.2秒)に設定する。
図15に示すフローのステップS201では、この図16に示すフローに従った処理が実行される。
図15に示すフローによって実行される処理は、視点追従表示領域の追従停止判定時間である視点滞留時間tの設定変更処理である。具体的には、以下の処理が行われる。
(a)ユーザ(運転手)がハンドルを中立位置から所定角度以上、回転し、その回転方向に視点追従表示領域201が表示されている場合、視点追従表示領域201の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.2秒)より長い時間(例えばt=1.0秒)に設定する。
さらに、必要に応じて視点追従表示領域201の表示位置の変更、表示停止を実行する。
(b)ユーザ(運転手)がハンドルを中立位置から所定角度以上、回転させず、かつハンドルを中立位置に戻してから規定時間(例えば3秒)以上、経過した場合、視点追従表示領域201の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.2秒)に設定する。
これら(a),(b)の処理が実行されることになる。
図15に示すフローのステップS302以下では、上記(a),(b)いずれかの設定、すなわち、視点追従表示領域の追従停止判定時間である視点滞留時間tが、
視点滞留時間t=標準時間(例えばt=0.2秒)、または
視点滞留時間t=標準時間より長い時間(例えばt=1.0秒)、
これらいずれかの設定の下で処理が実行される。
ステップS302以下の処理について説明する。
(ステップS302)
ステップS302ではユーザの注視点を検出する。
この処理は、図14に示す注視点3次元位置(輻輳距離等)算出部252が実行する。
注視点3次元位置(輻輳距離等)算出部252は、視線検出部21から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点(ユーザ注視点)の3次元位置を算出する。
前述したように、ユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点3次元位置(輻輳距離等)算出部252は、例えばユーザの顔の位置を原点(x,y,z)=(0,0,0)として、注視点の3次元位置(x,y,z)を算出する。zは輻輳距離に相当する。
(ステップS303)
次に、ステップS303において、ユーザの注視点の滞留時間、すなわちユーザ注視点が動かずに留まっている滞留時間が、ステップS301で設定した滞留時間t以上であるか否かを判定する。
ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t以上である場合は、ステップS304に進む。
一方、ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t以上でない場合、すなわち、時間t未満の時間でユーザ注視点が移動している場合は、ステップS305に進む。
(ステップ3204)
ステップS303において、ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t以上である場合は、ステップS304に進む。
視点追従表示領域移動制御部253は、ステップS304において、視点追従表示領域201を固定する。すなわち、ユーザ注視点の移動に追従させず、現在の表示領域に固定して表示する処理を行う。
このタイミングでユーザは注視点を視点追従表示領域201に移動させることで、視点追従表示領域201の表示情報、例えば地図を確認することができる。
(ステップS305)
一方、ステップS303において、ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t未満である場合は、ステップS305に進む。
視点追従表示領域移動制御部253は、ステップS305において、視点追従表示領域201をユーザ注視点の移動に追従させて移動する制御を実行する。
さらに、必要に応じて視点追従表示領域201の表示位置の変更、表示停止を実行する。
この図15、図16に示すフローを参照して説明した処理を実行することで、ユーザ120は、視点追従表示領域201の情報を、ユーザの意思に従って確実に確認することが可能となる。
また、ハンドルを回してカーブしようとする方向に視点追従表示領域201が存在する場合は、視点の滞留時間は短くなり、ステップS304の処理が実行される。ここでは、ユーザの注視点の動きに応じて視点追従表示領域201も車両の進行方向に逃げるように移動する。さらに、必要に応じて視点追従表示領域201の表示位置の変更、表示停止も実行される。
ここで、「必要に応じて」とは、例えば、ユーザ注視点の移動が速く視点追従表示領域201に追いついてしまうと判定された場合等である。このような場合、視点追従表示領域移動制御部253は、視点追従表示領域201の表示位置の変更、表示停止処理を行う。
具体的には、先に図13を参照して説明したように、ユーザが回したハンドル方向に表示されている視点追従表示領域201をユーザ注視点211の上側や下側に移動させて表示する処理や視点追従表示領域201の表示を停止する処理である。
この処理によって、ユーザ(運転者)は、進行方向の様子を視点追従表示領域201に邪魔されることなく見ることが可能となる。
[5.その他の実施例について]
次に、その他の実施例について説明する。
上述した実施例では、ユーザ注視点の滞留状態に基づいて、視点追従表示領域の移動制御を行う構成としたが、この他、例えば、ユーザのジェスチャや声により、固定表示領域と視点追従表示領域のどちらの情報を見るかを指定する構成としてもよい。
上述した実施例では、OSK(オンスクリーンキーボード)とHUD(ヘッドアップディスプレイ)を用いた実施例について説明したが、本開示の構成や処理は、その他、様々な表示装置において利用可能である。
例えば、ゲーム機などにおいて、メニュー選択(武器選択など)画面を視点追従領域に設定といった利用も可能である。
また、ユーザ注視点を画面に表示する構成とし、その表示画面の距離を固定表示領域、視点追従表示領域各々について表示する構成としてもよい。例えば、mやinchを切り替えて表示可能とする等の設定が可能である。
また、固定表示領域と、追従表示領域のどちらを見るかについて、選択可能な情報領域を選択可能な情報表示を実行して、選ぶ際にユーザ視点の輻輳距離を持ついる構成としてもよい。
なお、上述した実施例では、ユーザ注視点の3次元情報中のz、すなわち輻輳距離を利用する構成として説明したが、輻輳角を利用して制御を行う構成としてもよい。
また、ユーザ視線から輻輳距離や輻輳角が計測できない場合には、視線位置を利用して制御を行う構成としてもよい。
上述した実施例において説明した視点追従表示領域は、固定表示領域の手前に表示する設定としているが、表示領域の距離(表示深度)は様々な設定に変更可能である。
予めテストと調整を行っておいてもよいし、視線がウィンドウを追跡し続ける状態を検出したら自動調整するといった方法を適用してもよい。
なお、視点追従表示領域を表示するための奥行きが取れない場合には、異なる提示方法を利用してもよい、例えば周辺視野の固定位置に表示するなどである。
[6.表示装置のハードウェア構成例について]
次に、図17を参照して、表示装置のハードウェア構成の一構成例について説明する。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、マウス、マイクロフォン、カメラ、センサーなどよりなる入力部306、ディスプレイ、スピーカーなどよりなる出力部307が接続されている。CPU301は、入力部306から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部307に出力する。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、Wi−Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置。
(2) 前記表示装置は、
固定表示領域の前方に前記視点追従表示領域を観察可能とした三次元表示装置である(1)に記載の表示装置。
(3) 前記制御部は、
前記ユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する(1)または(2)に記載の表示装置。
(4) 前記制御部は、
前記表示装置に対するユーザの入力処理に応じて、前記規定時間tを変更する(3)に記載の表示装置。
(5) 前記制御部は、
前記表示装置に対するユーザの入力処理を検出した場合、前記規定時間tを、通常設定より短い時間に変更する(3)または(4)に記載の表示装置。
(6) 前記表示装置は、
固定表示領域に入力選択可能な文字列を表示し、前記固定表示領域の前方に入力済み文字列を表示するテキストボックスとして、前記視点追従表示領域を観察可能とした三次元表示装置である(1)〜(5)いずれかに記載の表示装置。
(7) 前記表示装置は、
ヘッドアップディスプレイの表示領域に前記視点追従表示領域を設定した装置である(1)〜(6)いずれかに記載の表示装置。
(8) 前記視点追従表示領域は、車両のフロントガラスに表示される構成である(7)に記載の表示装置。
(9) 前記制御部は、
前記車両のフロントガラス越しに前方を見ている前記車両の運転手のユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する(8)に記載の表示装置。
(10) 前記制御部は、
前記運転手のハンドル操作情報に応じて、前記規定時間tを変更する(9)に記載の表示装置。
(11) 前記制御部は、
前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記規定時間tを、通常設定より長い時間に変更する(10)に記載の表示装置。
(12) 前記制御部は、
前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記視点追従表示領域の表示位置の変更処理、または表示停止処理を実行する(10)または(11)に記載の表示装置。
(13) 表示装置において実行する表示制御方法であり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部が、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法。
(14) 表示装置において表示制御を実行させるプログラムであり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
具体的には、例えば、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、HUDとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間t以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間tは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。
本構成により、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
11,12 データ表示画面
20 ユーザ
21 コントローラ
30 表示装置
31 固定表示領域
32 視点追従表示領域
33 カメラ
34 文字選択カーソル
41 ユーザ注視点
100 表示装置
101 固定表示領域
102 視点追従表示領域
103 カメラ
104 文字選択カーソル
121 ユーザ注視点
151 視線検出部
152 注視点3次元位置(輻輳距離等)算出部
153 視点追従表示領域移動制御部
154 コントローラ操作情報入力部
155 ユーザ操作対応処理実行部
156 視点追従表示領域情報生成部
157 固定表示領域表示情報生成部
158 表示部
200 表示装置
201 始点追従表示領域
211 ユーザ注視点
251 視線検出部
252 注視点3次元位置(輻輳距離等)算出部
253 視点追従表示領域移動制御部
256 視点追従表示領域情報生成部
258 表示部
261 ハンドル操作情報入力部
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア

Claims (14)

  1. ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
    前記制御部は、
    前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置。
  2. 前記表示装置は、
    固定表示領域の前方に前記視点追従表示領域を観察可能とした三次元表示装置である請求項1に記載の表示装置。
  3. 前記制御部は、
    前記ユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する請求項1に記載の表示装置。
  4. 前記制御部は、
    前記表示装置に対するユーザの入力処理に応じて、前記規定時間tを変更する請求項3に記載の表示装置。
  5. 前記制御部は、
    前記表示装置に対するユーザの入力処理を検出した場合、前記規定時間tを、通常設定より短い時間に変更する請求項3に記載の表示装置。
  6. 前記表示装置は、
    固定表示領域に入力選択可能な文字列を表示し、前記固定表示領域の前方に入力済み文字列を表示するテキストボックスとして、前記視点追従表示領域を観察可能とした三次元表示装置である請求項1に記載の表示装置。
  7. 前記表示装置は、
    ヘッドアップディスプレイの表示領域に前記視点追従表示領域を設定した装置である請求項1に記載の表示装置。
  8. 前記視点追従表示領域は、車両のフロントガラスに表示される構成である請求項7に記載の表示装置。
  9. 前記制御部は、
    前記車両のフロントガラス越しに前方を見ている前記車両の運転手のユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する請求項8に記載の表示装置。
  10. 前記制御部は、
    前記運転手のハンドル操作情報に応じて、前記規定時間tを変更する請求項9に記載の表示装置。
  11. 前記制御部は、
    前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記規定時間tを、通常設定より長い時間に変更する請求項10に記載の表示装置。
  12. 前記制御部は、
    前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記視点追従表示領域の表示位置の変更処理、または表示停止処理を実行する請求項10に記載の表示装置。
  13. 表示装置において実行する表示制御方法であり、
    前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
    前記制御部が、
    前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法。
  14. 表示装置において表示制御を実行させるプログラムであり、
    前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
    前記プログラムは、前記制御部に、
    前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラム。
JP2020556657A 2018-11-12 2019-09-19 表示装置、および表示制御方法、並びにプログラム Active JP7517152B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018211959 2018-11-12
JP2018211959 2018-11-12
PCT/JP2019/036738 WO2020100422A1 (ja) 2018-11-12 2019-09-19 表示装置、および表示制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2020100422A1 true JPWO2020100422A1 (ja) 2021-10-14
JP7517152B2 JP7517152B2 (ja) 2024-07-17

Family

ID=70731786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020556657A Active JP7517152B2 (ja) 2018-11-12 2019-09-19 表示装置、および表示制御方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11402646B2 (ja)
EP (1) EP3882743A4 (ja)
JP (1) JP7517152B2 (ja)
WO (1) WO2020100422A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022117239A (ja) * 2021-01-29 2022-08-10 キヤノン株式会社 視線検出装置
US20240310907A1 (en) * 2021-06-28 2024-09-19 Apple Inc. Methods and Systems for Changing a Display Based on User Input and Gaze
EP4220356A1 (en) * 2022-01-27 2023-08-02 Volkswagen Ag Vehicle, apparatus, method and computer program for obtaining user input information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
WO2017069176A1 (ja) * 2015-10-19 2017-04-27 株式会社オリィ研究所 視線入力装置、視線入力方法、および、視線入力プログラム
JP2018045459A (ja) * 2016-09-14 2018-03-22 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4088282B2 (ja) 2004-08-20 2008-05-21 清実 中村 コンピュータ入力方法と装置
WO2007050029A2 (en) * 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
JP4757091B2 (ja) * 2006-04-28 2011-08-24 本田技研工業株式会社 車両搭載機器の操作装置
US9977496B2 (en) * 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
JP6081839B2 (ja) 2013-03-27 2017-02-15 京セラ株式会社 表示装置および同装置における画面制御方法
JP2017215623A (ja) * 2016-05-30 2017-12-07 エクレボ リミテッドEcrebo Limited 入力装置、記憶媒体、posシステムおよび入力方法
KR101737737B1 (ko) * 2016-09-06 2017-05-18 덴소코리아일렉트로닉스 주식회사 차량용 카메라 hud 통합 클러스터 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
WO2017069176A1 (ja) * 2015-10-19 2017-04-27 株式会社オリィ研究所 視線入力装置、視線入力方法、および、視線入力プログラム
JP2018045459A (ja) * 2016-09-14 2018-03-22 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Also Published As

Publication number Publication date
WO2020100422A1 (ja) 2020-05-22
US20210389595A1 (en) 2021-12-16
US11402646B2 (en) 2022-08-02
EP3882743A1 (en) 2021-09-22
EP3882743A4 (en) 2021-12-29
JP7517152B2 (ja) 2024-07-17

Similar Documents

Publication Publication Date Title
JPWO2020100422A1 (ja) 表示装置、および表示制御方法、並びにプログラム
US9448624B2 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9378592B2 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP6479199B2 (ja) 情報処理装置
US9547379B2 (en) Method, air mouse, and set top box for controlling air mouse
US20150116206A1 (en) Screen operation apparatus and screen operation method
JP6002286B1 (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
EP2976881B1 (en) 3d display device and method for controlling the same
US20190004614A1 (en) In-Vehicle Device
US9544556B2 (en) Projection control apparatus and projection control method
JP5655674B2 (ja) ヘッドマウントディスプレイ及びこれに用いられるプログラム
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
JP5228074B2 (ja) 情報処理装置、表示制御方法
WO2021044745A1 (ja) 表示処理装置、表示処理方法及び記録媒体
JP6589796B2 (ja) ジェスチャ検出装置
WO2018019256A1 (zh) 一种虚拟现实系统及其视角调节方法和装置
JP6852612B2 (ja) 表示プログラム、情報処理装置、及び表示方法
KR20170089228A (ko) 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법
CN106773047B (zh) 一种基于vr装置的显示方法及系统
WO2021132013A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6922686B2 (ja) 操作装置
CN106646880B (zh) 一种基于vr装置的显示方法及系统
JP6867104B2 (ja) フローティング・グラフィカルユーザインターフェース
JP2020107030A (ja) ジェスチャ検出装置、およびジェスチャ検出方法
KR101756251B1 (ko) 헤드업 디스플레이의 영상 안내 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240617

R150 Certificate of patent or registration of utility model

Ref document number: 7517152

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150