WO2019176910A1 - 情報表示装置、情報表示方法および情報表示プログラム - Google Patents

情報表示装置、情報表示方法および情報表示プログラム Download PDF

Info

Publication number
WO2019176910A1
WO2019176910A1 PCT/JP2019/009901 JP2019009901W WO2019176910A1 WO 2019176910 A1 WO2019176910 A1 WO 2019176910A1 JP 2019009901 W JP2019009901 W JP 2019009901W WO 2019176910 A1 WO2019176910 A1 WO 2019176910A1
Authority
WO
WIPO (PCT)
Prior art keywords
option
line
user
sight
displayed
Prior art date
Application number
PCT/JP2019/009901
Other languages
English (en)
French (fr)
Inventor
純平 森田
史郎 北村
伊藤 洋
修司 仲山
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Publication of WO2019176910A1 publication Critical patent/WO2019176910A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Definitions

  • the present invention relates to an information display device for displaying information on a wearable display, an information display method, and an information display program.
  • Patent Documents 1 and 2 there is conventionally known a device that displays information corresponding to a user's operation on a display surface of a head mounted display mounted on the user's head (for example, see Patent Documents 1 and 2).
  • a plurality of options are displayed on the display surface, and a selection operation based on the movement of the user's hand or finger from the plurality of options is detected by the camera, and the selection is confirmed based on the camera image. Then, information corresponding to the option selected by the user is displayed.
  • One embodiment of the present invention is an information display device, a housing that can be worn by a user, a display unit that is provided in the housing and has a display region that can be visually recognized by the user, and eye gaze detection that detects the user's eye gaze.
  • a display region based on the line of sight detected by the line of sight, the display control unit that controls the display unit so that a plurality of first option candidates constituting the first option group are displayed in the display region
  • a selection unit that selects a first option from a plurality of first option candidates displayed on the display unit, and the display control unit selects the first selected when the first option is selected by the selection unit
  • the display unit is controlled such that a plurality of second option candidates constituting the second option group corresponding to the option are displayed in the display area, and the selection unit is further based on the line of sight detected by the line-of-sight detection unit, Multiple second choices displayed in the display area Selecting a second option from the candidates.
  • Another aspect of the present invention is an information display method, in which a plurality of first option candidates constituting a first option group are displayed in a display area visible to a user, and a user's line of sight is detected and detected.
  • the first option is selected from the plurality of first option candidates displayed in the display area based on the line of sight, and when the first option is selected, the selected first option is displayed in the display area.
  • a plurality of second option candidates constituting the corresponding second option group are displayed, and a second option is selected from a plurality of second option candidates displayed in the display area based on the detected line of sight. Including that.
  • An information display program includes a procedure for displaying a plurality of first option candidates constituting the first option group in a display area visible to the user, and a procedure for detecting a user's line of sight And a procedure for selecting the first option from a plurality of first option candidates displayed in the display area based on the detected line of sight, and when the first option is selected, the display area is selected.
  • a procedure for selecting the second option from the computer includes a procedure for displaying a plurality of first option candidates constituting the first option group in a display area visible to the user, and a procedure for detecting a user's line of sight And a procedure for selecting the first option from a plurality of first option candidates displayed in the display area based on the detected line of sight, and when the first option is selected, the display area is selected.
  • FIG. 1 is a diagram schematically showing an HMD device according to an embodiment of the present invention.
  • 1 is a block diagram showing a schematic configuration of an HMD device according to an embodiment of the present invention.
  • the figure which shows an example of the display by the display part of FIG. The figure which shows an example in the state as which the icon was selected.
  • the figure for demonstrating the display position of the icon by the display part of FIG. The flowchart which shows an example of the process performed with the controller of FIG.
  • An information display device is configured as a head-mounted display (HMD) device that can be worn by a user, and augmented reality (AR) that displays a virtual image superimposed on the real world, that is, the user's field of view. ) Function as a display.
  • the user can select various destinations by referring to the displayed information or move along the displayed route guidance by displaying various information superimposed on his / her field of view when going out.
  • HMD head-mounted display
  • AR augmented reality
  • FIG. 1 is a diagram schematically showing an HMD device 10 according to an embodiment of the present invention.
  • the HMD device 10 includes a housing 1 that can be worn by a user, a display unit 2 that displays video and information to the user, a line-of-sight sensor 3 that detects the user's line of sight, a display unit 2, and And a controller 4 that is connected to the line-of-sight sensor 3 and controls display by the display unit 2.
  • the housing 1 is configured as a frame made of a lightweight material such as resin.
  • the housing 1 has, for example, a spectacle shape having a temple portion, and is mounted on a user's ear.
  • the housing 1 may be configured as a goggle shape having a strap portion with an adjustable length, and may be fixedly attached to the user's head.
  • the display unit 2 is configured by a transmissive liquid crystal display, for example, and is disposed in front of the user's eyes in the housing 1.
  • the display unit 2 has a display area that can be viewed by a user wearing the HMD device 10.
  • the display unit 2 may be disposed in front of both the left and right eyes, or may be disposed in front of one eye.
  • the display unit 2 may be an optical transmission type display or a video transmission type.
  • the HMD device 10 may be provided with a camera unit to capture a video corresponding to the user's field of view and display the captured video on a display.
  • the line-of-sight sensor 3 is configured as a 6-axis inertial sensor including, for example, a 3-axis acceleration sensor and a 3-axis angular velocity (gyro) sensor, and is disposed at a predetermined position in the housing 1.
  • the line-of-sight sensor 3 detects the movement of the HMD device 10, that is, the movement of the head of the user wearing the HMD device 10, more specifically, tilting in the front-rear direction, turning in the left-right direction, and swinging.
  • the line-of-sight sensor 3 may include a camera that captures the movement of the user's eyes in addition to the inertial sensor.
  • the user's line of sight can be detected more accurately by processing the image captured by the camera and detecting the movement of the user's eyes.
  • a signal including information on the user's line of sight detected by the line-of-sight sensor 3 is transmitted to the controller 4 (FIG. 2).
  • FIG. 2 is a block diagram showing a schematic configuration of the HMD device 10.
  • the controller 4 includes a microcomputer including an arithmetic processing unit having a processor (CPU), a memory (ROM, RAM), and other peripheral circuits, and is attached to the housing 1 as shown in FIG.
  • the controller 4 includes, as a functional configuration, a display control unit 41 that controls display by the display unit 2, particularly display of options, and options displayed on the display unit 2 based on the user's line of sight detected by the line-of-sight sensor 3. And a selection unit 42 for selecting one of them.
  • FIG. 3A to 3D are diagrams showing examples of display by the display unit 2.
  • FIG. The display area 20 of the display unit 2 includes a menu area 21 where options are displayed, and a main area 22 where the user's field of view and various information are displayed.
  • icons 23a and 23b which are options for determining the display contents of the main area 22 are displayed.
  • the menu area 21 is limited to the upper end of the display area 20, for example.
  • a portion of the menu area 21 where the icons 23a and 23b are not displayed transmits the user's field of view.
  • the user's field of view is always transmitted, and when specific display content is selected in the menu area 21, various information is displayed over the transmitted field of view.
  • a plurality of icons 23a indicating destination category candidates are displayed in a selectable manner.
  • a plurality of icons 23b indicating specific destination candidates belonging to the selected category are displayed in a selectable manner. That is, a plurality of icons 23a and 23b indicating destination candidates are hierarchized and sequentially displayed.
  • a plurality of icons 23a and 23b displayed in one layer are displayed in the menu area 21 at a time. For this reason, the user can select what corresponds to the desired display content from the icons 23a and 23b for each layer without performing screen feed or the like.
  • the destination category displayed as the icon 23a includes, for example, a ramen shop (A), a set meal shop (B), a cafe (C), and the like.
  • the category may be further divided into a plurality of layers, for example, a higher layer such as eating, drinking, shopping, and lodging may be provided, or a lower layer such as an area may be provided.
  • a GPS sensor or the like may be provided in the HMD device 10 to acquire user location information and provide information on the area around the current location.
  • a specific destination corresponding to the selected category is displayed.
  • specific destinations store names
  • ramen shops a, b, and c are displayed as icons 23b.
  • the route information can be displayed so as to overlap the field of view of the moving user.
  • the icons 23a and 23b shown in FIGS. 3A to 3D are not displayed at fixed positions on the display of the display unit 2, but are displayed by the user as if they were displayed at a fixed position in front of the user. It is recognized as such. That is, the icons 23a and 23b are not displayed at a fixed position in the user's field of view, but are displayed so as to remain at the front fixed position regardless of the user's face or eye movement. For example, when the gaze sensor 3 detects a movement of the user's face in the left direction (a movement of the head turning in the left direction), the display of the icons 23a and 23b on the display of the display unit 2 moves in the right direction. Then, the user recognizes from the icons 23a and 23b displayed in front as if he / she diverted his gaze to the left (head tracking).
  • FIG. 4 is a diagram for explaining the display positions of the icons 23a and 23b by the display unit 2.
  • a plane passing through both eyes of the user is a plane PLN, a line passing through a midpoint of the user's eyes (the center in the left-right direction of the face), and a line orthogonal to a straight line passing through both eyes of the user.
  • the center line CL is defined as radiation RL.
  • the plane PLN and the center line CL may be based on the positions of both eyes of an individual user who actually wears the HMD device 10 or based on the positions of both eyes of a general user. Good.
  • the display control unit 41 (FIG. 2) displays a plurality of icons 23a indicating destination category candidates A, B, and C on a plurality of radiations RL around the center line CL.
  • the display unit 2 is controlled as described above.
  • FIG. 3B it is determined whether or not the user's line of sight SL detected by the line-of-sight sensor 3 matches the radiation RL (FIG. 3A).
  • the display unit 2 is controlled so that the icon 23a is highlighted.
  • the selection unit 42 determines whether or not the user's line of sight SL detected by the line-of-sight sensor 3 is stationary on the radiation RL for a predetermined time (for example, 2 seconds).
  • the icon 23a displayed on is selected. That is, the icon 23a highlighted for a predetermined time is selected.
  • the display control unit 41 shows specific destination candidates corresponding to the category A of the selected icon 23a.
  • the display unit 2 is controlled so that a plurality of icons 23b indicating a, b, and c are displayed in a row toward the outside. That is, the display unit 2 is controlled so that a plurality of icons 23b are displayed in an animation so as to spread outward (for example, in the left-right direction) around the selected icon 23a. Accordingly, the plurality of icons 23b are displayed so as to spread in a row with the user's line of sight SL as the center.
  • the icon 23b is also highlighted when the user's line of sight SL is the same as the icon 23a, and is selected when the state continues for a predetermined time.
  • FIG. 5 is a flowchart showing an example of processing executed by the controller 4 in accordance with a program stored in the memory in advance.
  • the process shown in this flowchart starts when the HMD device 10 is activated, for example, and is repeated at a predetermined cycle.
  • step S1 the display unit 2 is controlled so that a plurality of icons 23a indicating destination category candidates are displayed by processing in the display control unit 41.
  • step S ⁇ b> 2 the user's line of sight SL is detected based on the signal from the line-of-sight sensor 3.
  • step S3 it is determined whether or not the line of sight SL matches the radiation RL by the processing in the selection unit 42. If the determination is affirmative, the process proceeds to step S4.
  • step S4 the display unit 2 is controlled by the processing in the display control unit 41 so that the icon 23a on the radiation RL having the same line of sight SL is highlighted.
  • step S5 it is determined whether or not the line of sight SL continuously matches the radiation RL by a process in the selection unit 42 for a predetermined time or more. If the determination is affirmative, the process proceeds to step S6. Return to S2.
  • step S6 the icon 23a on the radiation RL whose line of sight SL is continuously matched is selected for a predetermined time or more by the processing in the selection unit 42.
  • step S7 the display unit 2 displays a plurality of icons 23b indicating candidates for specific destinations corresponding to the selected category in a row toward the outside by processing in the display control unit 41.
  • steps S8 to S12 an icon 23b indicating a specific destination is selected by the same processing as in steps S2 to S6, and the process proceeds to step S13.
  • Various information such as detailed information and route information of the selected destination is displayed.
  • the display unit 2 is controlled.
  • a menu area 21 is displayed at the upper end of the field of view of the user wearing the HMD device 10, and for example, a plurality of icons 23a indicating destination category candidates are displayed there (FIG. 3A, step S1). Since the plurality of icons 23a are displayed at the upper end of the user's field of view, the user's field of view is not hindered and can be used safely even when the field of view needs to be secured when going out.
  • the icon 23a is highlighted (FIG. 3B, steps S2 to S4).
  • the icon Since the icon is selected by the movement of the head and eyes, it is difficult to give a sense of incongruity to the surroundings, and it can be used without hesitation even when the surrounding eyes such as going out are concerned. Further, by highlighting the icons, it becomes easier for the user to confirm the icon with the line of sight SL, and the unintentional selection of the icon can be prevented.
  • the ramen shop icon 23a When the user maintains the line of sight SL for a predetermined time, the ramen shop icon 23a is selected, and the icon 23b of the ramen shop name that is the specific destination is displayed in an animated manner so as to spread left and right around the user's line of sight SL. (FIG. 3C, 3D steps S5 to S7).
  • Such an animation display makes it easy for the user to confirm the category selected in the upper hierarchy, and can prevent the user from proceeding to the lower hierarchy while selecting an unintended category.
  • the icon 23b When the user aligns the line of sight SL with the icon 23b of a specific store name among the plurality of icons 23b, the icon 23b is highlighted and selected, and the detailed information of the store and the route information to that point are displayed in the main area 22.
  • options are displayed in a hierarchy such as a destination category icon 23a and a specific destination icon 23b, so that an option icon is displayed for each hierarchy even in the limited menu area 21.
  • 23a and 23b can be displayed as a list. For this reason, even when there are many options corresponding to a specific destination, the user can easily select the desired destination icon 23b.
  • the HMD device 10 includes a housing 1 that can be worn by a user, a display unit 2 that is provided in the housing 1 and has a display area 20 that can be visually recognized by the user, and a line-of-sight sensor 3 that detects a user's line of sight SL. And a display control unit 41 that controls the display unit 2 so that a plurality of icons 23 a indicating destination category candidates are displayed in the display region 20, and the line of sight SL detected by the line-of-sight sensor 3. And a selection unit 42 for selecting an icon 23a indicating a destination category from among a plurality of icons 23a displayed on the screen 20 (FIGS. 1 and 2).
  • the display control unit 41 displays a plurality of icons 23b indicating specific destination candidates corresponding to the selected icon 23a so as to be displayed in the display area 20. Further, the selection unit 42 selects an icon 23b indicating a specific destination from the plurality of icons 23b displayed in the display area 20, based on the line of sight SL detected by the line-of-sight sensor 3. .
  • the display control unit 41 passes over the midpoints of both eyes of the user, and on a plurality of radiation RLs that spread radially from the center line CL that is orthogonal to a straight line that passes through both eyes of the user
  • the display unit 2 is controlled so that the plurality of icons 23a and the plurality of icons 23b are respectively displayed.
  • the selection unit 42 selects the icon 23a and the icon 23b on the radiation RL in the same direction as the line of sight SL. Since the user selects an icon with the line of sight SL, it is difficult to give a sense of discomfort to the surroundings, and even if the surrounding eyes such as whereabouts are concerned, it can be used without hesitation.
  • the display control unit 41 controls the display unit 2 so that the icon 23a and the icon 23b on the radiation RL in the same direction as the line of sight SL detected by the line-of-sight sensor 3 are highlighted. This makes it easy for the user to check the icon with the line of sight SL and prevents the unintentional selection of the icon.
  • the display control unit 41 displays the plurality of icons 23b in a row with the selected icon 23a at the center so as to be displayed outward. To control. As a result, the user can easily confirm the category selected in the upper hierarchy, and can prevent the user from proceeding to the lower hierarchy while selecting the unintended category.
  • the icon 23a is an action desired by the user, for example, a destination category
  • the icon 23b is an operation that can be selected when executing the selected action, for example, a specific destination. Therefore, since a specific operation option is selected from the operation options narrowed down by the action category, the user can easily select a desired option.
  • the above embodiment can be modified into various forms. Hereinafter, modified examples will be described.
  • the traveling direction may be a higher hierarchy. That is, the display control unit 41 uses the user's desired direction of travel, for example, right turn, left turn, straight travel, etc., as an icon 23a, and an operation that can be selected when traveling in the selected travel direction, for example, a specific destination as an icon 23b. Each may be displayed on the display unit 2. In this case, since a specific motion option is selected from motion options narrowed in the traveling direction, the user can easily select a desired option.
  • the case 1 has a shape that can be attached to the user's head.
  • the case that can be attached to the user is not limited to such a shape. It may be worn.
  • a transmissive liquid crystal display is exemplified as the display unit 2.
  • the display area may be any display area that can be visually recognized by the user, such as an organic EL, inorganic EL, virtual image projection system, or retinal projection system. May be.
  • the configuration is not limited to the transmissive type, and may be configured to be capable of switching between a non-transmissive type or a transmissive type and a non-transmissive type.
  • a 6-axis inertial sensor or a camera is exemplified as the line-of-sight sensor 3, but the line-of-sight detection unit may have any configuration as long as it can detect the user's line of sight.
  • the display control unit 41 controls the display unit 2 so that a plurality of icons 23a indicating destination category candidates are displayed when the HMD device 10 is activated.
  • the control of the display unit by is not limited to this.
  • the housing 1 may be provided with a microphone that accepts an instruction from the user's voice input or a switch that can be operated by the user, and the plurality of icons 23a may be displayed when the user instructs to start a destination selection.
  • the icons 23a and 23b are displayed at the front fixed position regardless of the movement of the user's face and eyes, but the present invention is not limited to this.
  • the icons 23a and 23b are displayed at a fixed position ahead without following the movement of the head.
  • the icons 23a and 23b may be displayed following the movement of the part.
  • the user can select the icons 23a and 23b based on directions other than the front.
  • the selection unit 42 performs selection when the user's line of sight SL is stationary for a predetermined time.
  • the selection unit for selecting an option is not limited to this, and blinks a predetermined number of times. The selection may be made according to the conditions such as.
  • the destination category or traveling direction is displayed as the first option, and the specific destination icon is displayed as the second option.
  • the first and second options are some hierarchical options, It can be anything.
  • the HMD device 10 is suitable for use on the go has been shown, but it is also suitable for use by a user with hand or finger injury or disability.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザが装着可能な筐体と、筐体に設けられ、ユーザが視認可能な表示領域を有する表示部(2)と、ユーザの視線を検出する視線検出部(3)と、第1選択肢群を構成する複数の第1選択肢の候補が表示領域に表示されるように表示部を制御する表示制御部(41)と、視線検出部(3)により検出された視線に基づいて、表示領域に表示された複数の第1選択肢の候補の中から第1選択肢を選択する選択部(42)と、を備える。さらに表示制御部(41)は、選択部(42)により第1選択肢が選択されると、選択された第1選択肢に対応する第2選択肢群を構成する複数の第2選択肢の候補が表示領域に表示されるように表示部2を制御する。さらに選択部(42)は、視線検出部(3)により検出された視線に基づいて、表示領域に表示された複数の第2選択肢の候補の中から第2選択肢を選択する。

Description

情報表示装置、情報表示方法および情報表示プログラム
 本発明は、装着型のディスプレイに情報を表示する情報表示装置、情報表示方法および情報表示プログラムに関する。
 この種の技術として、従来、ユーザの頭部に装着されるヘッドマウントディスプレイの表示面に、ユーザの動作に応じた情報を表示する装置が知られている(例えば特許文献1,2参照)。上記特許文献1の装置では、複数の選択肢が表示面に表示されるとともに、複数の選択肢からのユーザの手や指の動きによる選択動作をカメラにより検出し、カメラ画像に基づき選択が確定されると、ユーザにより選択された選択肢に対応する情報が表示される。また、上記特許文献2の装置では、ユーザの頭部の前後左右方向の動きによる表示面上の複数の選択肢からの選択動作をセンサにより検出し、選択された選択肢に対応する情報が表示される。
特開8-6708号公報 特開2010-231290号公報
 しかしながら、上記特許文献1,2記載の装置では、ユーザは、手や指を動かして、あるいは頭部を動かして複数の選択肢からの選択動作を行うため、選択肢が多数ある場合には目的の選択肢を探すことが困難である。
 本発明の一態様は、情報表示装置であって、ユーザが装着可能な筐体と、筐体に設けられ、ユーザが視認可能な表示領域を有する表示部と、ユーザの視線を検出する視線検出部と、第1選択肢群を構成する複数の第1選択肢の候補が表示領域に表示されるように表示部を制御する表示制御部と、視線検出部により検出された視線に基づいて、表示領域に表示された複数の第1選択肢の候補の中から第1選択肢を選択する選択部と、を備え、さらに表示制御部は、選択部により第1選択肢が選択されると、選択された第1選択肢に対応する第2選択肢群を構成する複数の第2選択肢の候補が表示領域に表示されるように表示部を制御し、さらに選択部は、視線検出部により検出された視線に基づいて、表示領域に表示された複数の第2選択肢の候補の中から第2選択肢を選択する。
 本発明の他の態様は、情報表示方法であって、ユーザが視認可能な表示領域に、第1選択肢群を構成する複数の第1選択肢の候補を表示し、ユーザの視線を検出し、検出された視線に基づいて、表示領域に表示された複数の第1選択肢の候補の中から第1選択肢を選択し、第1選択肢が選択されると、表示領域に、選択された第1選択肢に対応する第2選択肢群を構成する複数の第2選択肢の候補を表示し、検出された視線に基づいて、表示領域に表示された複数の第2選択肢の候補の中から第2選択肢を選択することを含む。
 本発明のさらなる他の態様である情報表示プログラムは、ユーザが視認可能な表示領域に、第1選択肢群を構成する複数の第1選択肢の候補を表示する手順と、ユーザの視線を検出する手順と、検出された視線に基づいて、表示領域に表示された複数の第1選択肢の候補の中から第1選択肢を選択する手順と、第1選択肢が選択されると、表示領域に、選択された第1選択肢に対応する第2選択肢群を構成する複数の第2選択肢の候補を表示する手順と、検出された視線に基づいて、表示領域に表示された複数の第2選択肢の候補の中から第2選択肢を選択する手順と、をコンピュータに実行させる。
 本発明によれば、選択肢が多数ある場合でも目的の選択肢を容易に探すことができる。
本発明の実施形態に係るHMD装置を概略的に示す図。 本発明の実施形態に係るHMD装置の概略構成を示すブロック図。 図2の表示部による表示の一例を示す図。 アイコンが選択された状態の一例を示す図。 アイコンが表示される途中の状態の一例を示す図。 アイコンが表示された状態の一例を示す図。 図2の表示部によるアイコンの表示位置について説明するための図。 図2のコントローラで実行される処理の一例を示すフローチャート。
 以下、図1~図5を参照して本発明の実施形態について説明する。本発明の実施形態に係る情報表示装置は、ユーザが装着可能なヘッドマウントディスプレイ(HMD)装置として構成され、現実の世界、すなわちユーザの視界に、仮想の映像を重ねて表示する拡張現実(AR)用のディスプレイとして機能する。ユーザは、外出先などで自身の視界に種々の情報を重ねて表示することで、表示された情報を参考に行き先を選択する、あるいは表示された経路案内に沿って移動することなどができる。
 図1は、本発明の実施形態に係るHMD装置10を概略的に示す図である。以下では、便宜上、図示のようにユーザの顔面が前方を向いているものとしてユーザの頭部を中心に方向を定義して各部の構成などを説明する。図1に示すように、HMD装置10は、ユーザが装着可能な筐体1と、ユーザに映像や情報を表示する表示部2と、ユーザの視線を検出する視線センサ3と、表示部2および視線センサ3に接続されて表示部2による表示を制御するコントローラ4とを有する。
 筐体1は、例えば樹脂などの軽量な素材のフレームとして構成される。筐体1は、例えばテンプル(つる)部を有する眼鏡形状であり、ユーザの耳に掛けて装着される。長さの調節可能なストラップ部を有するゴーグル形状として筐体1を構成し、ユーザの頭部に固定して装着されるようにしてもよい。
 表示部2は、例えば透過型の液晶ディスプレイにより構成され、筐体1内のユーザの眼前に配置される。表示部2は、HMD装置10を装着したユーザが視認可能な表示領域を有する。表示部2は、左右両方の眼前に配置されてもよく、片方の眼前に配置されてもよい。表示部2を左右一対のディスプレイとして構成してユーザの左右の眼前にそれぞれ配置する場合には、左右のディスプレイの映像を変えることで3次元の映像を表示することができる。表示部2は、光学透過型のディスプレイとしてもよいが、ビデオ透過型としてもよい。すなわち、HMD装置10にカメラ部を設けてユーザの視界に相当する映像を撮影し、撮影された映像をディスプレイに表示するようにしてもよい。
 視線センサ3は、例えば3軸加速度センサおよび3軸角速度(ジャイロ)センサを含む6軸慣性センサとして構成され、筐体1内の所定位置に配置される。視線センサ3は、HMD装置10の動き、すなわちHMD装置10を装着したユーザの頭部の動き、より具体的には前後方向の傾き、左右方向の旋回および揺動を検出する。視線センサ3は、慣性センサに加えて、ユーザの眼の動きを撮影するカメラを含むように構成してもよい。この場合は、カメラにより撮影された画像を処理してユーザの眼の動きを検出することで、ユーザの視線をより正確に検出することができる。視線センサ3により検出されたユーザの視線の情報を含む信号は、コントローラ4に送信される(図2)。
 図2は、HMD装置10の概略構成を示すブロック図である。コントローラ4は、プロセッサ(CPU)とメモリ(ROM,RAM)とその他の周辺回路とを有する演算処理装置を含んで構成されるマイクロコンピュータからなり、図1に示すように筐体1に取り付けられる。コントローラ4は、機能的構成として、表示部2による表示、特に選択肢の表示を制御する表示制御部41と、視線センサ3により検出されたユーザの視線に基づいて表示部2に表示された選択肢のいずれかを選択する選択部42とを有する。
 図3A~3Dは、表示部2による表示の一例を示す図である。表示部2の表示領域20には、選択肢が表示されるメニュー領域21と、ユーザの視界や各種情報が表示されるメイン領域22とが含まれる。メニュー領域21には、メイン領域22の表示内容を決定するための選択肢であるアイコン23a,23bが表示される。ユーザの視界を妨げないようにするため、メニュー領域21は、例えば表示領域20の上端などに制限される。メニュー領域21のうちアイコン23a,23bが表示されていない部分には、ユーザの視界が透過される。メイン領域22には、ユーザの視界が常時透過されるとともに、メニュー領域21で特定の表示内容が選択された場合には、透過された視界に重ねて各種情報が表示される。
 メニュー領域21に表示される選択肢としては、例えば、先ず、行き先のカテゴリの候補を示す複数のアイコン23aが選択可能に表示される。次いで、選択されたカテゴリに属する具体的な行き先の候補を示す複数のアイコン23bが選択可能に表示される。すなわち、行き先の候補を示す複数のアイコン23a,23bが階層化されて順次表示される。
 図3A~3Dに示すように、1つの階層で表示される複数のアイコン23a,23bは、メニュー領域21に一度に表示される。このため、ユーザは、画面送りなどをすることなく階層ごとにアイコン23a,23bから希望する表示内容に相当するものを選択することができる。アイコン23aとして表示される行き先のカテゴリには、例えばラーメン屋(A)、定食屋(B)、カフェ(C)などが含まれる。カテゴリは、さらに複数の階層に分けてもよく、例えば、飲食、買物、宿泊などのより上位の階層を設ける、あるいはエリアなどのより下位の階層を設けてもよい。また、HMD装置10にGPSセンサなどを設けてユーザの位置情報を取得し、現在地周辺のエリアの情報を提供するようにしてもよい。
 カテゴリが選択されると、選択されたカテゴリに対応する具体的な行き先が表示される。例えば、ラーメン屋(A)のカテゴリが選択された場合には、ラーメン屋a,b,cなどの具体的な行き先(店名)がアイコン23bとして表示される。具体的な行き先が選択されると、選択された行き先の詳細情報やそこまでの経路情報がメイン領域22に表示される。GPSセンサなどでユーザの位置情報を取得する場合は、移動中のユーザの視界に重ねて経路情報を表示することもできる。
 なお、図3A~3Dに示されるアイコン23a,23bの表示は、表示部2のディスプレイ上の固定位置に表示されるものではなく、ユーザにより、あたかもユーザの前方の固定位置に表示されているかのように認識されるものである。すなわち、アイコン23a,23bは、ユーザの視界の固定位置に表示されるものではなく、ユーザの顔面や眼の動きによらず前方の固定位置に留まっているように表示される。例えば、視線センサ3によりユーザの顔面が左方向に向く動き(頭部が左方向に旋回する動き)が検出されると、表示部2のディスプレイ上におけるアイコン23a,23bの表示は右方向に移動し、ユーザは前方に表示されたアイコン23a,23bから自身が左方向に視線を逸らしたかのように認識する(ヘッドトラッキング)。
 図4は、表示部2によるアイコン23a,23bの表示位置について説明するための図である。図4に示すように、ユーザの両眼を通る平面を平面PLN、ユーザの両眼の中点(顔面の左右方向の中心)を通り、かつ、ユーザの両眼を通る直線に直交する線を中心線CLとする。また、平面PLN上において中心線CLを中心にしてユーザから見て放射状に広がる複数の放射線を放射線RLとする。なお、平面PLNおよび中心線CLは、実際にHMD装置10を装着した個々のユーザの両眼の位置に基づくものであっても、一般的なユーザの両眼の位置に基づくものであってもよい。
 表示制御部41(図2)は、先ず、図3Aに示すように、行き先のカテゴリの候補A,B,Cを示す複数のアイコン23aが中心線CLを中心にして複数の放射線RL上に表示されるように表示部2を制御する。次いで、図3Bに示すように、視線センサ3により検出されたユーザの視線SLが放射線RL(図3A)に一致するか否か判定し、一致したと判定すると、その放射線RL上に表示されたアイコン23aが強調表示されるように表示部2を制御する。
 選択部42(図2)は、視線センサ3により検出されたユーザの視線SLが放射線RL上で所定時間(例えば2秒間)静止したか否か判定し、一致したと判定すると、その放射線RL上に表示されたアイコン23aを選択する。すなわち、所定時間にわたって強調表示されたアイコン23aが選択される。
 表示制御部41は、図3Bに示すように選択部42によりアイコン23aが選択されると、図3C,3Dに示すように、選択されたアイコン23aのカテゴリAに対応する具体的な行き先の候補a,b,cを示す複数のアイコン23bが外側に向けて列状に表示されるように表示部2を制御する。すなわち、選択されたアイコン23aを中心に複数のアイコン23bが外側(例えば左右方向)に向けて列状に広がっていくようにアニメーション表示されるように表示部2を制御する。これにより、複数のアイコン23bは、ユーザの視線SLを中心にして列状に広がるように表示される。アイコン23bも、アイコン23aと同様にユーザの視線SLが一致すると強調表示され、その状態が所定時間継続すると選択される。
 図5は、予めメモリに記憶されたプログラムに従い、コントローラ4により実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばHMD装置10が起動されると開始し、所定周期で繰り返される。まず、ステップS1で、表示制御部41での処理により、行き先のカテゴリの候補を示す複数のアイコン23aが表示されるように表示部2を制御する。次いで、ステップS2で、視線センサ3からの信号に基づいてユーザの視線SLを検出する。ステップS3で、選択部42での処理により、視線SLが放射線RLに一致したか否か判定し、肯定されるとステップS4に進み、否定されるとステップS2に戻る。
 ステップS4では、表示制御部41での処理により、視線SLが一致した放射線RL上のアイコン23aが強調表示されるように表示部2を制御する。次いで、ステップS5で、選択部42での処理により、所定時間以上、継続して視線SLが放射線RLに一致しているか否か判定し、肯定されるとステップS6に進み、否定されるとステップS2に戻る。
 ステップS6では、選択部42での処理により、所定時間以上、継続して視線SLが一致した放射線RL上のアイコン23aを選択する。次いで、ステップS7で、表示制御部41での処理により、選択されたカテゴリに対応する具体的な行き先の候補を示す複数のアイコン23bが外側に向けて列状に表示されるように表示部2を制御する。ステップS8~S12では、ステップS2~S6と同様の処理により具体的な行き先を示すアイコン23bを選択してステップS13に進み、選択された行き先の詳細情報や経路情報などの各種情報が表示されるように表示部2を制御する。
 本実施形態に係るHMD装置10の主要な動作について具体的に説明する。HMD装置10を装着したユーザの視界の上端にはメニュー領域21が表示され、そこには例えば行き先のカテゴリの候補を示す複数のアイコン23aが表示される(図3A、ステップS1)。複数のアイコン23aがユーザの視界の上端に表示されるため、ユーザの視界が妨げられず、外出先などで視界を確保する必要がある場合でも安全に使用することができる。ユーザが複数のアイコン23aのうち、例えばラーメン屋のアイコン23aに視線SLを合わせると、そのアイコン23aが強調表示される(図3B、ステップS2~S4)。アイコンの選択を頭部や眼の動きで行うため、周囲に違和感を与えにくく、外出先など周囲の目が気になるような場合でも気兼ねなく使用することができる。また、アイコンを強調表示することで、ユーザ自身が視線SLの合ったアイコンを確認しやすくなり、意図しないアイコンの選択を防止できる。
 ユーザがそのまま所定時間、視線SLを維持すると、ラーメン屋のアイコン23aが選択され、ユーザの視線SLを中心にして左右に広がるように具体的な行き先であるラーメン屋の店名のアイコン23bがアニメーション表示される(図3C,3DステップS5~S7)。このようなアニメーション表示により、ユーザ自身が上位の階層で選択されたカテゴリを確認しやすくなり、意図しないカテゴリを選択したまま下位の階層に進むことを防止できる。ユーザが複数のアイコン23bのうち特定の店名のアイコン23bに視線SLを合わせると、そのアイコン23bが強調表示されて選択され、その店の詳細情報やそこまでの経路情報がメイン領域22に表示される。
 すなわち、本実施形態によれば、行き先のカテゴリのアイコン23a、具体的な行き先のアイコン23bのように選択肢を階層化して表示することにより、限られたメニュー領域21においても階層ごとに選択肢のアイコン23a,23bを一覧表示することが可能となる。このためユーザは、具体的な行き先に対応する選択肢が多数存在する場合であっても、希望する行き先のアイコン23bを容易に選択することができる。
 本実施形態によれば以下のような作用効果を奏することができる。
(1)HMD装置10は、ユーザが装着可能な筐体1と、筐体1に設けられ、ユーザが視認可能な表示領域20を有する表示部2と、ユーザの視線SLを検出する視線センサ3と、行き先のカテゴリの候補を示す複数のアイコン23aが表示領域20に表示されるように表示部2を制御する表示制御部41と、視線センサ3により検出された視線SLに基づいて、表示領域20に表示された複数のアイコン23aの中から行き先のカテゴリを示すアイコン23aを選択する選択部42とを備える(図1,2)。さらに表示制御部41は、選択部42によりアイコン23aが選択されると、選択されたアイコン23aに対応する具体的な行き先の候補を示す複数のアイコン23bが表示領域20に表示されるように表示部2を制御し、さらに選択部42は、視線センサ3により検出された視線SLに基づいて、表示領域20に表示された複数のアイコン23bの中から具体的な行き先を示すアイコン23bを選択する。このように選択肢を階層化して表示することにより、ユーザの視界の上端など限られた表示領域においても階層ごとに選択肢を一覧表示することが可能となる。このため、選択肢が多数存在する場合であっても、ユーザは視界を妨げられずに希望の選択肢を容易に選択することができる。
(2)表示制御部41は、ユーザの両眼の中点を通り、かつ、ユーザの両眼を通る直線に直交する中心線CLを中心にしてユーザから見て放射状に広がる複数の放射線RL上に、複数のアイコン23aおよび複数のアイコン23bがそれぞれ表示されるように表示部2を制御する。選択部42は、視線センサ3により検出された視線SLが所定時間静止すると、その視線SLと同一方向の放射線RL上のアイコン23aおよびアイコン23bを選択する。ユーザがアイコンの選択を視線SLにより行うため、周囲に違和感を与えにくく、外出先など周囲の目が気になるような場合でも気兼ねなく使用することができる。
(3)表示制御部41は、視線センサ3により検出された視線SLと同一方向の放射線RL上のアイコン23aおよびアイコン23bが強調表示されるように表示部2を制御する。これによりユーザ自身が視線SLの合ったアイコンを確認しやすくなり、意図しないアイコンの選択を防止することができる。
(4)表示制御部41は、選択部42によりアイコン23aが選択されると、選択されたアイコン23aを中心に、複数のアイコン23bが外側に向けて列状に表示されるように表示部2を制御する。これによりユーザ自身が上位の階層で選択されたカテゴリを確認しやすくなり、意図しないカテゴリを選択したまま下位の階層に進むことを防止することができる。
(5)アイコン23aは、ユーザが希望する行動、例えば行き先のカテゴリであり、アイコン23bは、選択された行動を実行するときに選択可能な動作、例えば具体的な行き先である。したがって、行動のカテゴリで絞り込んだ動作の選択肢から具体的な動作の選択肢を選択するため、ユーザが容易に希望の選択肢を選択することができる。
 なお、上記実施形態は種々の形態に変形することができる。以下、変形例について説明する。上記実施形態では、選択肢を階層化する例として、上位の階層としてユーザが希望する行き先のカテゴリを、下位の階層として具体的な行き先を例示したが、行き先のカテゴリに代えて、ユーザが希望する進行方向を上位の階層としてもよい。すなわち、表示制御部41は、ユーザが希望する進行方向、例えば右折、左折、直進などをアイコン23aとして、選択された進行方向に進むときに選択可能な動作、例えば具体的な行き先をアイコン23bとして、それぞれ表示部2に表示させるようにしてもよい。この場合は、進行方向で絞り込んだ動作の選択肢から具体的な動作の選択肢を選択するため、ユーザが容易に希望の選択肢を選択することができる。
 上記実施形態では、筐体1としてユーザの頭部に装着可能な形状のものを例示したが、ユーザが装着可能な筐体はこのような形状に限らず、例えばコンタクトレンズ型など頭部以外に装着するものであってもよい。
 上記実施形態では、表示部2として透過型の液晶ディスプレイを例示したが、表示領域はユーザが視認可能なものであればよく、有機ELや無機EL、虚像投影方式や網膜投影方式のものであってもよい。また、透過型に限らず、非透過型、あるいは透過型と非透過型とを切り替え可能な構成としてもよい。
 上記実施形態では、視線センサ3として6軸慣性センサやカメラを例示したが、視線検出部はユーザの視線を検出するものであればどのような構成のものであってもよい。
 上記実施形態では、表示制御部41は、HMD装置10が起動されると行き先のカテゴリの候補を示す複数のアイコン23aが表示されるように表示部2を制御するものとしたが、表示制御部による表示部の制御はこのようなものに限らない。例えば、筐体1にユーザの音声入力による指示を受け付けるマイクやユーザにより操作可能なスイッチを設け、ユーザによる行き先選択の開始の指示があったときに複数のアイコン23aを表示させてもよい。また、ユーザの顔面や眼の動きによらずアイコン23a,23bを前方の固定位置に表示させるようにしたが、これに限らない。例えば、視線センサ3により検出されるユーザの頭部の動きが所定速度を超える場合は頭部の動きに追従させず前方の固定位置にアイコン23a,23bを表示させ、所定速度以下の場合は頭部の動きに追従してアイコン23a,23bを表示させてもよい。この場合ユーザは、正面以外の方向を基準にアイコン23a,23bの選択動作を行うことができる。
 上記実施形態では、選択部42は、ユーザの視線SLが所定時間静止したときに選択を行うようにしたが、選択肢を選択する選択部はこのようなものに限らず、所定回数のまばたきをするなどの条件に応じて選択を行うようにしてもよい。
 上記実施形態では、第1選択肢として行き先のカテゴリあるいは進行方向、第2選択肢として具体的な行き先のアイコンを表示するようにしたが、第1、第2選択肢は何らかの階層化された選択肢であればどのようなものでもよい。
 上記実施形態では、HMD装置10が外出先での使用に適する点を示したが、手や指に怪我や障がいのあるユーザの使用にも適する。
 以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の1つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
1 筐体、2 表示部、3 視線センサ、4 コントローラ、10 HMD装置、20 表示領域、21 メニュー領域、22 メイン領域、23a,23b アイコン、41 表示制御部、42 選択部、CL 中心線、PLN 平面、RL 放射線、SL 視線

Claims (10)

  1.  ユーザが装着可能な筐体と、
     前記筐体に設けられ、ユーザが視認可能な表示領域を有する表示部と、
     ユーザの視線を検出する視線検出部と、
     第1選択肢群を構成する複数の第1選択肢の候補が前記表示領域に表示されるように前記表示部を制御する表示制御部と、
     前記視線検出部により検出された視線に基づいて、前記表示領域に表示された複数の第1選択肢の候補の中から第1選択肢を選択する選択部と、を備え、
     さらに前記表示制御部は、前記選択部により前記第1選択肢が選択されると、選択された前記第1選択肢に対応する第2選択肢群を構成する複数の第2選択肢の候補が前記表示領域に表示されるように前記表示部を制御し、
     さらに前記選択部は、前記視線検出部により検出された視線に基づいて、前記表示領域に表示された複数の第2選択肢の候補の中から第2選択肢を選択することを特徴とする情報表示装置。
  2.  請求項1に記載の情報表示装置において、
     前記表示制御部は、ユーザの両眼の中点を通り、かつ、ユーザの両眼を通る直線に直交する中心線を中心にしてユーザから見て放射状に広がる複数の放射線上に、前記複数の第1選択肢の候補および前記複数の第2選択肢の候補がそれぞれ表示されるように前記表示部を制御し、
     前記選択部は、前記視線検出部により検出された視線が所定時間静止すると、その視線と同一方向の放射線上の第1選択肢および第2選択肢を選択することを特徴とする情報表示装置。
  3.  請求項2に記載の情報表示装置において、
     前記表示制御部は、前記視線検出部により検出された視線と同一方向の放射線上の第1選択肢および第2選択肢が強調表示されるように前記表示部を制御することを特徴とする情報表示装置。
  4.  請求項2または3に記載の情報表示装置において、
     前記表示制御部は、前記選択部により前記第1選択肢が選択されると、選択された前記第1選択肢を中心に、前記複数の第2選択肢の候補が外側に向けて列状に表示されるように前記表示部を制御することを特徴とする情報表示装置。
  5.  請求項1~4のいずれか1項に記載の情報表示装置において、
     前記第1選択肢は、ユーザが希望する行動のカテゴリであり、
     前記第2選択肢は、選択された行動を実行するときに選択可能な動作であることを特徴とする情報表示装置。
  6.  請求項1~4のいずれか1項に記載の情報表示装置において、
     前記第1選択肢は、ユーザが希望する進行方向であり、
     前記第2選択肢は、選択された進行方向に進むときに選択可能な動作であることを特徴とする情報表示装置。
  7.  請求項1~6のいずれか1項に記載の情報表示装置において、
     前記視線検出部は、ユーザの頭部の動きに基づいて視線を検出することを特徴とする情報表示装置。
  8.  請求項7に記載の情報表示装置において、
     前記視線検出部は、さらにユーザの眼の動きに基づいて視線を検出することを特徴とする情報表示装置。
  9.  ユーザが視認可能な表示領域に、第1選択肢群を構成する複数の第1選択肢の候補を表示し、
     ユーザの視線を検出し、
     検出された視線に基づいて、前記表示領域に表示された複数の第1選択肢の候補の中から第1選択肢を選択し、
     前記第1選択肢が選択されると、前記表示領域に、選択された前記第1選択肢に対応する第2選択肢群を構成する複数の第2選択肢の候補を表示し、
     検出された視線に基づいて、前記表示領域に表示された複数の第2選択肢の候補の中から第2選択肢を選択することを含む情報表示方法。
  10.  ユーザが視認可能な表示領域に、第1選択肢群を構成する複数の第1選択肢の候補を表示する手順と、
     ユーザの視線を検出する手順と、
     検出された視線に基づいて、前記表示領域に表示された複数の第1選択肢の候補の中から第1選択肢を選択する手順と、
     前記第1選択肢が選択されると、前記表示領域に、選択された前記第1選択肢に対応する第2選択肢群を構成する複数の第2選択肢の候補を表示する手順と、
     検出された視線に基づいて、前記表示領域に表示された複数の第2選択肢の候補の中から第2選択肢を選択する手順と、をコンピュータに実行させるための情報表示プログラム。
PCT/JP2019/009901 2018-03-14 2019-03-12 情報表示装置、情報表示方法および情報表示プログラム WO2019176910A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-046232 2018-03-14
JP2018046232 2018-03-14

Publications (1)

Publication Number Publication Date
WO2019176910A1 true WO2019176910A1 (ja) 2019-09-19

Family

ID=67908408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009901 WO2019176910A1 (ja) 2018-03-14 2019-03-12 情報表示装置、情報表示方法および情報表示プログラム

Country Status (1)

Country Link
WO (1) WO2019176910A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271546A (ja) * 1994-03-31 1995-10-20 Olympus Optical Co Ltd 画像表示制御方法
JP2015049721A (ja) * 2013-09-02 2015-03-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20160231885A1 (en) * 2015-02-10 2016-08-11 Samsung Electronics Co., Ltd. Image display apparatus and method
JP2017058971A (ja) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2017111669A (ja) * 2015-12-17 2017-06-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271546A (ja) * 1994-03-31 1995-10-20 Olympus Optical Co Ltd 画像表示制御方法
JP2015049721A (ja) * 2013-09-02 2015-03-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20160231885A1 (en) * 2015-02-10 2016-08-11 Samsung Electronics Co., Ltd. Image display apparatus and method
JP2017058971A (ja) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2017111669A (ja) * 2015-12-17 2017-06-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法

Similar Documents

Publication Publication Date Title
EP3414643B1 (en) Laser pointer interactions and scaling in virtual reality
JP5622510B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
US10654489B2 (en) Vehicular human machine interfaces
JP2020115352A (ja) ヘッドマウントディスプレイにおけるメニューナビゲーション
EP2972558B1 (en) User interface for a head mounted display
JP5714855B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
US9851561B2 (en) Head-mounted device with rear-facing camera
US20170024035A1 (en) External user interface for head worn computing
EP3542248B1 (en) Location globe in virtual reality
US20170024007A1 (en) External user interface for head worn computing
KR20160106621A (ko) 멀티 모드 디스플레이 시스템을 갖는 착용 가능 디바이스
CN105393192A (zh) 用于近眼显示器的网状分层菜单显示配置
JP2019502193A (ja) 仮想現実環境におけるナビゲーション用制御システム
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
WO2018020735A1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2019142560A1 (ja) 視線を誘導する情報処理装置
EP3254121B1 (en) Center of gravity shifting force device
WO2019176910A1 (ja) 情報表示装置、情報表示方法および情報表示プログラム
CN108345381A (zh) 在虚拟现实系统中生成的虚拟环境中导航可视内容的方法
WO2015083267A1 (ja) 表示制御装置及び表示制御方法
JP6278546B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018037645A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022066563A (ja) 表示装置及びヘッドマウントディスプレイ
EP3677995B1 (en) Display device, display method, program, and non-temporary computer-readable information storage medium
JP2020100912A (ja) 画像表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19766899

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19766899

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP