WO2014129105A1 - ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム - Google Patents

ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム Download PDF

Info

Publication number
WO2014129105A1
WO2014129105A1 PCT/JP2014/000140 JP2014000140W WO2014129105A1 WO 2014129105 A1 WO2014129105 A1 WO 2014129105A1 JP 2014000140 W JP2014000140 W JP 2014000140W WO 2014129105 A1 WO2014129105 A1 WO 2014129105A1
Authority
WO
WIPO (PCT)
Prior art keywords
segment
display
coordinate system
selection
mounted display
Prior art date
Application number
PCT/JP2014/000140
Other languages
English (en)
French (fr)
Inventor
岩津 健
博隆 石川
鈴木 謙治
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201811185267.7A priority Critical patent/CN109656354B/zh
Priority to CN201480001299.0A priority patent/CN104335155B/zh
Priority to US14/401,040 priority patent/US9829997B2/en
Priority to JP2015501305A priority patent/JP6260613B2/ja
Publication of WO2014129105A1 publication Critical patent/WO2014129105A1/ja
Priority to US15/789,514 priority patent/US20180101248A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/048023D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Definitions

  • This technology relates to the operation of the head mounted display.
  • HMD head mounted display
  • a transmissive (see-through) HMD capable of visually recognizing both the outside and the display has been developed, and is also used in the field of user assistance. Application is expected.
  • Patent Document 1 discloses a technique related to the operation of the HMD. This technology detects a user's head movement, controls computer equipment based on the movement, and feeds it back to the display of the HMD, and treats the user's head movement as an operation input to the computer equipment. Is.
  • an object of the present technology is to provide a head mounted display system, a head mounted display, and a head mounted display capable of realizing high operability without requiring an operating device for operating the HMD. It is to provide a control program.
  • a head mounted display system includes a coordinate system setting unit, a segment selection unit, and an image generation unit.
  • the coordinate system setting unit sets a cylindrical coordinate system partitioned into a plurality of segments in real space.
  • the segment selection unit places one of the plurality of segments in a selection standby state based on the direction of the display in the cylindrical coordinate system.
  • the image generation unit generates a display image to be displayed on the display according to the confirmed segment.
  • the segment in the cylindrical coordinate system is in a selection standby state according to the direction of the display.
  • a display image corresponding to the segment is displayed on the display. That is, the user can operate the head mounted display according to the orientation of the display without using an operating device.
  • the segment selection unit obtains a field angle range occupied by a field angle of the display in the cylindrical coordinate system according to a direction of the display, and the area included in the field angle range is the largest among the plurality of segments.
  • a wide segment may be in a selection standby state.
  • a segment located in the display direction in the cylindrical coordinate system is in a selection standby state. That is, the user can place the segment in the selection standby state by directing the display to the specific segment in the cylindrical coordinate system.
  • the segment selection unit obtains coordinates located in the direction of the display in the cylindrical coordinate system according to the direction of the display, and selects a segment including the coordinates from the plurality of segments as a selection standby state. Good.
  • a segment located in the display direction in the cylindrical coordinate system is in a selection standby state. That is, the user can place the segment in the selection standby state by directing the display to the specific segment in the cylindrical coordinate system.
  • the segment selection unit may receive a first trigger input and confirm selection of a segment in a selection standby state.
  • the user can perform the first trigger input when a specific segment is in the selection standby state, and can confirm the selection of the segment.
  • the display image according to the segment decided by the image generation part is produced
  • the vertical direction may be the height direction and the horizontal direction may be the circumferential direction.
  • the user when the user selects the segment according to the display direction, the user can make a selection based on the horizontal direction.
  • the coordinate system setting unit may receive the second trigger input and move the cylindrical coordinate system in the height direction of the cylindrical coordinate system.
  • the user can adjust the height using the cylindrical coordinate system.
  • the coordinate system setting unit may divide the cylindrical coordinate system into the plurality of segments by dividing the cylindrical coordinate system into a height direction and a circumferential direction of the cylindrical coordinate system.
  • the cylindrical coordinate system is partitioned into rectangular segments.
  • the coordinate system setting unit may divide the cylindrical coordinate system into the plurality of segments by dividing the cylindrical coordinate system in an oblique direction with respect to a height direction and a circumferential direction of the cylindrical coordinate system. .
  • the cylindrical coordinate system is partitioned into rhombic segments.
  • the head mounted display further includes an object placement unit that places an object in each of the plurality of segments.
  • the image generation unit may generate an image of the object as the display image according to the angle of view range in the cylindrical coordinate system.
  • the user can select a segment in which a desired object is placed while waiting for selection while referring to the image of the object, and use an application or the like corresponding to the object.
  • the segment selection unit may not select a segment in which the object is not placed in a selection standby state.
  • the object placement unit may not place the object in a segment existing in the front direction of the display in real space among the plurality of segments.
  • the above object is an application icon
  • the image generation unit may generate the display image based on an output of an application corresponding to the icon when selection of a segment in which a specific icon is arranged is confirmed.
  • the user can select an arbitrary application according to the direction of the display and display the output on the display.
  • the object is a widget generated by a given application
  • the image generation unit may generate the display image based on an output of an application corresponding to the widget when selection of a segment in which the specific widget is arranged is confirmed.
  • the user can confirm the widget according to the direction of the display, and can display the output of the application corresponding to the widget on the display as necessary.
  • the above object is an application launcher
  • the image generation unit may generate an image including an application selection menu as the display image when the selection of the segment where the application launcher is arranged is confirmed.
  • the user can select an application launcher according to the direction of the display and select an arbitrary application.
  • the object is a notification generated by a given application
  • the image generation unit may generate the display image based on the output of the application that generated the notification when the selection of the segment in which the specific notification is arranged is confirmed.
  • the user can confirm the notification according to the direction of the display, and can display the output of the application that generated the notification on the display as necessary.
  • the display may be a transmissive display.
  • the user can visually recognize the outside world through the transmissive display. Therefore, the user can work by visually recognizing the outside world through the transmissive display, change the direction of the display as necessary, and refer to the display image displayed on the transmissive display.
  • a head mounted display includes a coordinate system setting unit, a segment selection unit, and an image generation unit.
  • the coordinate system setting unit sets a cylindrical coordinate system partitioned into a plurality of segments in real space.
  • the segment selection unit places one of the plurality of segments in a selection standby state based on the direction of the display in the cylindrical coordinate system.
  • the image generation unit generates a display image to be displayed on the display according to the confirmed segment.
  • a head mounted display control program causes a computer to function as a coordinate system setting unit, a segment selection unit, and an image generation unit.
  • the coordinate system setting unit sets a cylindrical coordinate system partitioned into a plurality of segments in real space.
  • the segment selection unit places one of the plurality of segments in a selection standby state based on the direction of the display in the cylindrical coordinate system.
  • the image generation unit generates a display image to be displayed on the display according to the confirmed segment.
  • a head-mounted display system capable of realizing high operability without requiring an operating device for operating the HMD are provided. It is possible to provide.
  • FIG. 1 is a perspective view showing an external appearance of a head mounted display system 100 (hereinafter referred to as an HMD system 100) according to the present embodiment
  • FIG. 2 is a block diagram showing a configuration of the HMD system 100.
  • the HMD system 100 can be composed of a head mounted display 200 (hereinafter, HMD 200) and an information processing apparatus 300.
  • the HMD 200 includes a frame 201, a display 202 (right display 202R and left display 202L), an input device 203, a CPU 204, a communication device 205, a memory 206, and a direction sensor 207, as shown in FIGS.
  • the frame 201 supports the HMD 200 on the user's head and places the display 202 in front of the user's eyes.
  • the shape of the frame 201 is not particularly limited, and may be a headgear type or the like in addition to the glasses type shown in FIG.
  • Display 202 (right display 202R and left display 202L) displays a display image.
  • the right display 202R is disposed in front of the user's right eye
  • the left display 202L is disposed in front of the user's left eye. Note that either the right display 202R or the left display 202L may be provided.
  • the display 202 can be a transmissive display (see-through display) or a non-transmissive display, but a transmissive display is suitable in this embodiment.
  • the input device 203 receives an operation input by the user.
  • an operation button a touch sensor, a proximity sensor, an illuminance sensor, or the like that can detect the approach or contact of an operator (such as a user's finger) can be used.
  • the arrangement and number of input devices 203 are not particularly limited.
  • the CPU (Central Processing Unit) 204 executes various arithmetic processes, and executes input by the input device 203, communication processing by the communication device 205, generation of a display image on the display 202, and the like.
  • the communication device 205 communicates with a communication device 303 (described later) of the information processing apparatus 300 according to various communication standards such as USB (Universal Serial Bus), Bluetooth (registered trademark), and Wi-Fi (registered trademark).
  • the memory 206 stores various types of information such as arithmetic processing results of the CPU 204 and display images.
  • the direction sensor 207 detects the direction of the display 202.
  • the direction sensor 207 can be composed of a geomagnetic sensor, an angular velocity sensor, an acceleration sensor, and the like. In addition, a sensor capable of detecting the direction of the display 202 can be used.
  • the information processing apparatus 300 includes an input device 301, a CPU 302, a communication device 303, a memory 304, a display 305, and a storage 306.
  • the information processing apparatus 300 can be various information processing apparatuses such as a smartphone, a tablet computer, and a laptop computer, but those that can be carried with the HMD 200 are preferable.
  • the input device 301 receives an operation input by the user.
  • the input device 301 can be a touch panel, an operation button, or the like.
  • the CPU 302 performs input processing by the input device 301, communication processing by the communication device 303, execution of an application, and the like.
  • the communication device 303 communicates with the communication device 205 of the HMD 200 according to various communication standards.
  • the memory 307 stores the arithmetic processing result of the CPU 302 and the like.
  • the storage 306 stores application and image information.
  • the configurations of the HMD 200 and the information processing apparatus 300 are not limited to those shown here, and any configuration that can realize a functional configuration described later is acceptable.
  • FIG. 3 is a schematic diagram showing a functional configuration of the HMD system 100.
  • the HMD system 100 includes an image generation unit 101, a coordinate system setting unit 102, an object placement unit 103, and a segment selection unit 104.
  • these functional configurations may be realized by either the HMD 200 or the information processing apparatus 300, or may be realized by the cooperation of both.
  • a part or all of the functional configuration may be realized on a computer network.
  • the image generation unit 101 generates a display image displayed on the display 202. At this time, the image generation unit 101 generates a display image using a coordinate system in the display 202 (hereinafter referred to as a display coordinate system).
  • FIG. 4 is a schematic diagram showing the display coordinate system D. As shown in FIG. As shown in the figure, in the display coordinate system D, the upper left of the display is the origin Og, the right direction on the display is the x axis, and the lower direction on the display is the y axis. The width Wg in the x-axis direction and the height Hg in the y-axis direction are the display image size. The generation of the display image by the image generation unit 101 will be described later.
  • the coordinate system setting unit 102 sets a cylindrical coordinate system in real space. Specifically, the coordinate system setting unit 102 sets, for example, the direction of the display 202 when the power of the HMD 200 is turned on or when a predetermined operation input is given to the HMD 200 as the front direction.
  • the coordinate system setting unit 102 can acquire the direction of the display 202 from the direction sensor 207.
  • the coordinate system setting unit 102 sets a cylindrical coordinate system having a central axis passing through the position (user origin) of the HMD 200 as a cylindrical coordinate system with the direction perpendicular to the front direction of the display 202 as the axial direction. be able to.
  • a cylindrical coordinate system is formed in which the axial direction of the central axis is the height direction and the direction perpendicular to the axial direction is the circumferential direction.
  • the coordinate system setting unit 102 may set the central axis of the cylindrical coordinate system as the vertical direction regardless of the front direction of the display 202. In this case, a cylindrical coordinate system is formed in which the vertical direction is the height direction and the horizontal direction is the circumferential direction.
  • FIG. 5 is a schematic diagram showing a cylindrical coordinate system C.
  • the cylindrical coordinate system has an x axis in the circumferential direction having a radius from the user origin Oh to the display coordinate system origin Or, a z axis in the radial direction, and a direction perpendicular to the x axis and the z axis.
  • the coordinate system setting unit 102 sets a cylindrical coordinate system partitioned into a plurality of segments.
  • FIG. 6 is a schematic diagram showing segments on a cylindrical coordinate system. 6A is a perspective view of the cylindrical coordinate system C, and FIG. 6B is a development view of the cylindrical coordinate system C.
  • the coordinate system setting unit 102 sets a cylindrical coordinate system C partitioned into a plurality of segments S.
  • the coordinate system setting unit 102 can divide the cylindrical coordinate system C in the height direction (y direction) and the circumferential direction (xz direction), respectively, and divide it into rectangular segments S. .
  • the height (y direction) of each segment S is set as hg
  • the width (xz direction) is set as wg.
  • the cylindrical coordinate system is divided into three parts in the height direction and the circumferential direction, and is divided into rectangular segments. Further, the shape of each segment is not limited to a rectangular shape. As shown in FIG. 7, the coordinate system setting unit 102 divides the cylindrical coordinate system C in an oblique direction with respect to the height direction (y direction) and the circumferential direction (xz direction), and divides the cylindrical coordinate system C into rhombic segments. It is also possible. Hereinafter, a rectangular segment will be described as an example.
  • the coordinate system setting unit 102 can set the segment located at the center in the height direction and the circumferential direction of the cylindrical coordinate system among the plurality of segments to be in the front direction of the display 202.
  • the segment located at the center is referred to as a center segment.
  • the coordinate system setting unit 102 may set the cylindrical coordinate system so that segments other than the central segment are in the front direction of the display 202.
  • the coordinate system setting unit 102 can move the cylindrical coordinate system in the height direction upon receiving a predetermined trigger input (second trigger input).
  • FIG. 8 is a schematic diagram showing a cylindrical coordinate system C that is moved in the height direction of the cylindrical coordinate system by the coordinate system setting unit 102.
  • the origin Oru is the origin when the cylindrical coordinate system is moved upward in the height direction
  • the origin Orl is the origin when the cylindrical coordinate system is moved downward in the height direction.
  • the moving direction and moving amount of the cylindrical coordinate system can be determined by a user operation input.
  • the object placement unit 103 places an object in each segment.
  • FIG. 9 is a schematic diagram showing an object A arranged in each segment S.
  • the object placement unit 103 can place an object A in each segment S as shown in FIG.
  • the object A can be an application icon or widget, an application launcher, or a notification. Details will be described later.
  • the object placement unit 103 may not place the object A in the central segment Sc.
  • the segment selection unit 104 places one of the plurality of segments in a selection standby state based on the direction of the display 202. Specifically, the segment selection unit 104 can use the “view angle range” for selecting a segment.
  • FIG. 10 is an example of the field angle range, and shows the field angle range H in the cylindrical coordinate system C.
  • the segment selection unit 104 acquires the range occupied by the angle of view of the display 202 in the cylindrical coordinate system C as the angle of view range based on the direction of the display 202 and the radius of the cylindrical coordinate system.
  • the view angle range H in the cylindrical coordinate system C moves with the change.
  • the segment selection unit 104 can select one segment from a plurality of segments using this angle of view range.
  • FIG. 11 is a schematic diagram showing segment selection by the segment selection unit 104. As shown in the figure, the segment selection unit 104 sets the segment S (hatched in the figure) having the largest area included in the angle-of-view range H among the plurality of segments S to be in a selection standby state.
  • the segment selection unit 104 When the segment selection unit 104 receives a predetermined trigger input (assumed to be the first trigger input) while a specific segment is in the selection standby state, the segment selection unit 104 determines the selection of the segment in the selection standby state.
  • the first trigger input can be a touch input by the user or a timeout (elapse of set time).
  • the segment selection unit 104 confirms the segment selection, the segment selection unit 104 instructs the image generation unit 101 on the determined segment.
  • the segment selection unit 104 when the segment selection unit 104 changes the direction of the display 202 when the specific segment is in the selection standby state and the segment with the largest area included in the view angle range is changed to another segment, the segment selection unit 104 Cancel the selection standby state.
  • the segment selection unit 104 may not select a segment in which no object is arranged.
  • FIG. 12 is a schematic diagram showing a segment S in which the object A is not arranged. As shown in the figure, when the segment S having the largest area included in the angle of view range H is the segment S where the object A is not arranged, the segment selection unit 104 does not place the segment S in the selection standby state. It can be. Note that the segment in which no object is arranged may be the above-described central segment or other segment.
  • the image generation unit 101 generates a display image according to the display coordinate system and supplies the display image to the display 202.
  • the image generation unit 101 When the segment selection unit 104 determines the selection of a specific segment, the image generation unit 101 generates a display image including a display corresponding to the segment.
  • the display corresponding to the segment can be, for example, a display based on the output of the application corresponding to the object arranged in the segment.
  • the image generation unit 101 can generate an image of an object as a display image based on a field angle range in the cylindrical coordinate system.
  • the image generation unit 101 can arrange the object image in the display coordinate system in correspondence with the position of the object in the angle of view range and generate a display image. . Details of this will be described later.
  • the coordinate system setting unit 102 sets the above-described cylindrical coordinate system on the real space. At this time, the coordinate system setting unit 102 can set the cylindrical coordinate system so that the central segment is arranged in the front direction of the display 202. Note that the coordinate system setting unit 102 may arrange a segment other than the central segment in the front direction of the display 202.
  • the object placement unit 103 places an object A in each segment S as shown in FIG.
  • the segment selection unit 104 acquires the field angle range of the display 202 in the cylindrical coordinate system.
  • the field angle range includes the central segment, and no object is arranged in the central segment. Does not generate a display image. In this state, the user can visually recognize the outside world via the display 202 on which nothing is displayed, and can perform work or the like.
  • FIG. 14 is a schematic diagram showing the moved view angle range H.
  • the image generation unit 101 generates an image of the object (hereinafter referred to as an object image) as a display image.
  • FIG. 15 is a schematic diagram showing the display image G at this time.
  • the image generation unit 101 can arrange the object image in the display coordinate system according to the position of the object in the angle of view range. That is, when the user turns his / her head in any direction from the front direction, the user can view the object image arranged in the segment in that direction, and for example, can search for an icon of a desired application.
  • the segment selection unit 104 detects the area of each segment S included in the angle-of-view range H as shown in FIG. 11, and sets the segment S included in the angle-of-view range H to the selection standby state.
  • the image generation unit 101 blinks or enlarges the object image of the object arranged in the segment in the selection standby state, and presents to the user that the segment in which the object is arranged is in the selection standby state. May be.
  • FIG. 17 is a schematic diagram showing the angle of view range H at this time.
  • the segment selection unit 104 sets the segment to a selection standby state.
  • the image generation unit 101 When the user performs the first trigger input in this state, the selection of the segment in the selection waiting state is confirmed.
  • the image generation unit 101 generates a display image including a display corresponding to the segment instead of the object image. For example, when the object is an application icon, the image generation unit 101 generates an image generated by the application as a display image, as shown in FIG. That is, the user can visually recognize an image generated by a desired application.
  • the segment selection unit 104 when the object A is not arranged in the segment S having the largest area included in the angle of view range H, the segment selection unit 104 does not place the segment S in the selection standby state. Can do. As a result, it is possible to prevent selection of a segment in which no object is arranged and to improve convenience.
  • the image generation unit 101 Upon receiving a predetermined input from the user, the image generation unit 101 ends the display image including the display corresponding to the segment, and displays a display image (an image such as an icon) based on the field angle range of the display 202 illustrated in FIGS. 15 and 16. ).
  • the user when the user is facing the front direction, the user can visually recognize the outside world through the display 202 on which nothing is displayed, and can perform work or the like.
  • the user moves the direction of the head (display 202) as necessary to search for a desired object, and by performing the first trigger input, the display corresponding to the object can be visually recognized. That is, the user can select an arbitrary object without using an operation device such as a control box, and the HMD system 100 provides high operability.
  • FIG. 19 is a schematic diagram showing movement of the cylindrical coordinate system C by the coordinate system setting unit 102.
  • the cylindrical coordinate system C is set to the same height as the display 202 and can be used by the user as described above.
  • the coordinate system setting unit 102 moves the cylindrical coordinate system in the height direction (upward in the figure) as shown in FIG.
  • the second trigger input may be an input for moving the direction of the display 202 while the user touches the input device 203.
  • the coordinate system setting unit 102 can move the cylindrical coordinate system C in accordance with the direction of the display 202 (angle with respect to the front direction).
  • the cylindrical coordinate system C does not exist at the same height as the display 202 as shown in FIG. 19B. Therefore, even if the user slightly changes the direction of the display 202 from the front direction, the segment is selected. It is not in a standby state and no object image is displayed.
  • the user can perform work while visually recognizing the outside world over a wide range.
  • the cylindrical coordinate system is set above or below the display 202, the user points the display 202 toward the upper or lower cylindrical coordinate system C as shown in FIG. C can be used.
  • the cylindrical coordinate system C is set to the same height as the display 202 as shown in FIG. Can be moved and used.
  • the coordinate system setting unit 102 moves the cylindrical coordinate system in the height direction, so that the user can work in a wide field of view and use the cylindrical coordinate system as necessary. Is possible.
  • the segment selection unit 104 can use the coordinates located in the direction of the display 202 in the cylindrical coordinate system (hereinafter referred to as display direction coordinates) for selecting a segment, instead of the “viewing angle range”.
  • the segment selection unit 104 acquires the display direction coordinate P in the cylindrical coordinate system C based on the direction of the display 202.
  • the display direction coordinate P in the cylindrical coordinate system C moves with the change.
  • the segment selection unit 104 can select one segment from a plurality of segments using the display direction coordinates.
  • FIG. 20 is a schematic diagram showing segment selection by the segment selection unit 104. As shown in the figure, the segment selection unit 104 sets a segment S (shaded line in the figure) including the display direction coordinates P among the plurality of segments S to be in a selection standby state.
  • the segment selection unit 104 When the segment selection unit 104 receives a predetermined trigger input (assumed to be the first trigger input) while a specific segment is in the selection standby state, the segment selection unit 104 determines the selection of the segment in the selection standby state.
  • the first trigger input can be a touch input by the user or a timeout (elapse of set time).
  • the segment selection unit 104 confirms the segment selection, the segment selection unit 104 instructs the image generation unit 101 on the determined segment.
  • the segment selection unit 104 when the segment selection unit 104 changes the orientation of the display 202 and changes the segment including the display direction coordinates to another segment when the specific segment is in the selection standby state, the segment selection unit 104 enters the selection standby state of the segment. Is released.
  • the segment selection unit 104 uses the display direction coordinates to select a segment, as in the case of using the angle of view range, the user does not use an operation device such as a control box. It is possible to select an object.
  • the segment selection unit 104 may not set the segment S to the selection standby state. As a result, it is possible to prevent selection of a segment in which no object is arranged and to improve convenience.
  • the object placement unit 103 can place an application icon as an object in each segment.
  • the user changes the direction of the display 202, selects an arbitrary icon, and performs the first trigger input.
  • the segment selection unit 104 determines the selection of the segment in which the icon is arranged, and instructs the image generation unit 101.
  • the image generation unit 101 generates a display image based on the output of the application corresponding to the icon and supplies the display image to the display 202. Thus, the user can visually recognize an image based on the output of the application.
  • the image generation unit 101 receives another trigger input by the user, for example, an input indicating that the display 202 is directed downward, the image generation unit 101 deletes the image based on the output of the application and generates a selection image of the original icon. . In this way, the user can easily use the application using the HMD system 100.
  • the object placement unit 103 can place a widget generated by a specific application as an object in one or a plurality of segments.
  • the user can visually recognize the widget by changing the orientation of the display 202, and can easily acquire information.
  • the segment selection unit 104 determines the selection of the segment in which the widget is arranged, and instructs the image generation unit 101.
  • the image generation unit 101 generates a display image based on the output of the application that generated the widget and supplies the display image to the display 202. Thus, the user can visually recognize an image based on the output of the application.
  • the image generation unit 101 deletes the image based on the output of the application and generates a selection image of the original icon. In this way, the user can easily acquire simple information from the widget using the HMD system 100, and can acquire detailed information as necessary.
  • the object placement unit 103 can place an application launcher (hereinafter, launcher) as an object in one or more segments.
  • launcher an application launcher
  • the user can visually recognize the launcher by changing the orientation of the display 202, and performs the first trigger input in the visually recognized state.
  • the segment selection unit 104 determines the selection of the segment in which the launcher is arranged, and instructs the image generation unit 101.
  • the image generation unit 101 generates an image including an application selection menu as the display image and supplies it to the display 202.
  • the user can select an arbitrary application by operating the selection menu according to the operation input or the direction of the display 202.
  • the image generation unit 101 generates an image based on the output of the selected application as a display image. Thus, the user can visually recognize an image based on the output of the application.
  • the image generation unit 101 When the image generation unit 101 receives another trigger input from the user, the image generation unit 101 deletes the image based on the output of the application and generates a selection image of the original icon.
  • the launcher By using the launcher, the user can select an arbitrary application even when all of the applications cannot be arranged in each segment.
  • the object placement unit 103 can place a notification generated by a specific application as an object in one or a plurality of segments. Examples of the notification include mail arrival, SNS (social networking service) writing, schedule notification, and the like.
  • the user can confirm the notification by changing the orientation of the display 202. Further, when the user performs the first trigger input while visually recognizing the notification, the segment selection unit 104 determines the selection of the segment in which the notification is arranged and instructs the image generation unit 101.
  • the image generation unit 101 generates a display image based on the output of the application that generated the notification, and supplies the display image to the display 202. Thus, the user can visually recognize an image based on the output of the application.
  • the image generation unit 101 deletes the image based on the output of the application and generates a selection image of the original icon. In this way, the user can check the notification using the HMD system 100 and use the application that generated the notification as necessary.
  • the present technology is not limited to the above embodiments, and can be changed without departing from the gist of the present technology.
  • a coordinate system setting unit for setting a cylindrical coordinate system partitioned into a plurality of segments on the real space;
  • a segment selection unit that puts one of the plurality of segments in a selection standby state based on the direction of the display;
  • a head mounted display system comprising: an image generation unit configured to generate a display image to be displayed on the display according to the confirmed segment when the selection of the segment in the selection standby state is confirmed.
  • the segment selection unit obtains a field angle range occupied by a field angle of the display in the cylindrical coordinate system according to a direction of the display, and the area included in the field angle range is the largest among the plurality of segments.
  • a head-mounted display system that puts a wide segment into the selection standby state.
  • the segment selection unit obtains coordinates located in the direction of the display in the cylindrical coordinate system according to the direction of the display, and sets a segment including the coordinates among the plurality of segments to be in a selection standby state.
  • Head mounted display system obtains coordinates located in the direction of the display in the cylindrical coordinate system according to the direction of the display, and sets a segment including the coordinates among the plurality of segments to be in a selection standby state.
  • the segment selection unit receives a first trigger input and determines selection of a segment in a selection standby state.
  • the head mounted display system according to any one of (1) to (4) above,
  • the cylindrical coordinate system is a head mounted display system in which the vertical direction is the height direction and the horizontal direction is the circumferential direction.
  • the head mounted display system according to any one of (1) to (5) above,
  • the coordinate system setting unit receives a second trigger input and moves the cylindrical coordinate system in a height direction of the cylindrical coordinate system.
  • the coordinate system setting unit divides the cylindrical coordinate system into the plurality of segments by dividing the cylindrical coordinate system into a height direction and a circumferential direction of the cylindrical coordinate system.
  • the coordinate system setting unit divides the cylindrical coordinate system into the plurality of segments by dividing the cylindrical coordinate system in an oblique direction with respect to a height direction and a circumferential direction of the cylindrical coordinate system. system.
  • the head mounted display system according to any one of (1) to (8) above, An object placement unit for placing an object in each of the plurality of segments;
  • the image generation unit generates an image of the object as the display image according to the field angle range in the cylindrical coordinate system.
  • the head mounted display system according to any one of (1) to (9) above, The segment selection unit does not select a segment in which the object is not placed in a selection standby state.
  • Head mounted display system according to any one of (1) to (9) above, The segment selection unit does not select a segment in which the object is not placed in a selection standby state.
  • the head mounted display system according to any one of (1) to (10) above, The object placement unit does not place the object in a segment existing in the front direction of the display in real space among the plurality of segments.
  • the head mounted display system according to any one of (1) to (12) above,
  • the object is a widget generated by a given application
  • the image generation unit generates the display image based on an output of an application corresponding to the widget when selection of a segment in which the specific widget is arranged is confirmed.
  • the head mounted display system according to any one of (1) to (13) above,
  • the above object is an application launcher
  • the image generation unit generates an image including an application selection menu as the display image when the selection of the segment where the application launcher is arranged is confirmed.
  • the head mounted display system according to any one of (1) to (14) above,
  • the object is a notification generated by a given application.
  • the image generation unit When the selection of a segment in which a specific notification is arranged is confirmed, the image generation unit generates the display image based on an output of an application that generates the notification.
  • the head mounted display system according to any one of (1) to (15) above,
  • the display is a transmissive display head mounted display system.
  • a coordinate system setting unit for setting a cylindrical coordinate system partitioned into a plurality of segments on the real space;
  • a segment selection unit that puts one of the plurality of segments in a selection standby state based on the direction of the display;
  • a head mounted display comprising: an image generation unit configured to generate a display image to be displayed on the display according to the confirmed segment when the selection of the segment in the selection standby state is confirmed.
  • a coordinate system setting unit for setting a cylindrical coordinate system partitioned into a plurality of segments on the real space;
  • a segment selection unit that puts one of the plurality of segments in a selection standby state based on the direction of the display;
  • a head-mounted display control program that causes a computer to function as an image generation unit that generates a display image to be displayed on the display according to a determined segment when the selection of the segment in the selection standby state is determined.
  • DESCRIPTION OF SYMBOLS 100 ... Head mounted display system 101 ... Image generation part 102 ... Coordinate system setting part 103 ... Object arrangement part 104 ... Segment selection part 200 ... Head mounted display 300 ... Information processing apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

 本技術に係るHMDシステムは、座標系設定部と、セグメント選択部と、画像生成部とを具備する。座標系設定部は、実空間上に、複数のセグメントに区画された円筒座標系を設定する。セグメント選択部は、円筒座標系において、ディスプレイの方向に基づいて複数のセグメントのいずれかを選択待機状態とする。画像生成部は、選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じてディスプレイに表示される表示画像を生成する。

Description

ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム
 本技術は、ヘッドマウントディスプレイの操作に関する。
 近年、ユーザの頭部に支持され、ユーザの眼前に画像を表示することが可能なヘッドマウントディスプレイ(以下、HMD)が普及している。HMDは従来、映画鑑賞等の用途が一般的であったが、外界とディスプレイ表示の両者を視認させることが可能な透過型(シースルー型)HMD等が開発され、ユーザの作業補助といった分野にも応用が期待されている。
 例えば特許文献1には、HMDの操作に関する技術が開示されている。この技術は、ユーザの頭部の運動を検出し、その運動に基づいてコンピュータ機器を制御し、HMDのディスプレイにフィードバックするものであり、ユーザの頭部の運動をコンピュータ機器への操作入力として扱うものである。
特開2010-231290号公報
 しかしながら、特許文献1に記載のような技術においては、ユーザがHMDの操作を意図せずに頭部を動かした場合であっても、操作入力として扱われるおそれがあり、外界を視認しながらのHMDの制御には適当ではない。HMDの制御には一般的に、ユーザが手に持って操作入力を行うコントロールボックス等の操作機器が利用される。しかしこの場合には、外界を視認しながらのハンズフリー操作を行うことができない。
 以上のような事情に鑑み、本技術の目的は、HMDを操作するための操作機器を必要とすることなく高い操作性を実現することが可能なヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラムを提供することにある。
 上記目的を達成するため、本技術の一形態に係るヘッドマウントディスプレイシステムは、座標系設定部と、セグメント選択部と、画像生成部とを具備する。
 上記座標系設定部は、実空間上に、複数のセグメントに区画された円筒座標系を設定する。
 上記セグメント選択部は、上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とする。
 上記画像生成部は、上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する。
 この構成によれば、ヘッドマウントディスプレイを装着したユーザが頭部を動かし、ディスプレイの方向が変更されると、ディスプレイの方向に応じて円筒座標系におけるセグメントが選択待機状態となる。択待機状態とされたセグメントの選択が確定されると、そのセグメントに応じた表示画像がディスプレイに表示される。即ちユーザは、操作機器を利用することなく、ディスプレイの向きによってヘッドマウントディスプレイを操作することが可能である。
 上記セグメント選択部は、上記ディスプレイの方向に応じて、上記円筒座標系において上記ディスプレイの画角が占める画角範囲を取得し、上記複数のセグメントのうち、上記画角範囲に含まれる面積が最も広いセグメントを選択待機状態としてもよい。
 この構成によれば、円筒座標系においてディスプレイの方向に位置するセグメントが選択待機状態となる。即ちユーザは、円筒座標系において特定のセグメントにディスプレイを向けることにより、そのセグメントを選択待機状態とすることが可能となる。
 上記セグメント選択部は、上記ディスプレイの方向に応じて、上記円筒座標系において上記ディスプレイの方向に位置する座標を取得し、上記複数のセグメントのうち、上記座標が含まれるセグメントを選択待機状態としてもよい。
 この構成によれば、円筒座標系においてディスプレイの方向に位置するセグメントが選択待機状態となる。即ちユーザは、円筒座標系において特定のセグメントにディスプレイを向けることにより、そのセグメントを選択待機状態とすることが可能となる。
 上記セグメント選択部は、第1のトリガ入力を受けて、選択待機状態のセグメントの選択を確定してもよい。
 この構成によれば、ユーザは、特定のセグメントが選択待機状態であるときに第1のトリガ入力を行い、当該セグメントの選択を確定させることが可能となる。これにより、画像生成部によって確定されたセグメントに応じた表示画像が生成され、ユーザが視認することが可能となる。
 上記円筒座標系は、鉛直方向を高さ方向とし、水平方向を円周方向としてもよい。
 この構成によれば、ユーザは、ディスプレイの方向によって上記セグメントを選択する際、水平方向を基準として選択を行うことが可能となる。
 上記座標系設定部は、第2のトリガ入力を受けて上記円筒座標系を、上記円筒座標系の高さ方向に移動させてもよい。
 この構成によれば、ユーザは円筒座標系を利用する高さを調整することが可能となる。
 上記座標系設定部は、上記円筒座標系を、上記円筒座標系の高さ方向及び円周方向に分割することによって上記円筒座標系を上記複数のセグメントに区画してもよい。
 この構成によれば、円筒座標系は矩形状のセグメントに区画される。
 上記座標系設定部は、上記円筒座標系を、上記円筒座標系の高さ方向及び円周方向に対して斜め方向に分割することによって上記円筒座標系を上記複数のセグメントに区画してもよい。
 この構成によれば、円筒座標系は菱形状のセグメントに区画される。
 上記ヘッドマウントディスプレイは、上記複数のセグメントのそれぞれにオブジェクトを配置するオブジェクト配置部をさらに具備し、
 上記画像生成部は、上記円筒座標系における上記画角範囲に応じて、上記オブジェクトの画像を上記表示画像として生成してもよい。
 この構成によれば、ユーザは、オブジェクトの画像を参照しながら、所望のオブジェクトが配置されたセグメントを選択待機状態とし、当該オブジェクトに対応するアプリケーション等を利用することが可能である。
 上記セグメント選択部は、上記オブジェクトが配置されていないセグメントを選択待機状態としないものであってもよい。
 この構成によれば、オブジェクトが配置されていないセグメントの選択が確定されることを防止することが可能である。
 上記オブジェクト配置部は、上記複数のセグメントのうち、実空間において上記ディスプレイの正面方向に存在するセグメントには上記オブジェクトを配置しないものであってもよい。
 この構成によれば、ディスプレイが正面方向に向けられている場合にはオブジェクトの画像がディスプレイに表示されないため、ユーザは視野を妨げられることなく外界を視認することが可能となる。
 上記オブジェクトはアプリケーションのアイコンであり、
 上記画像生成部は、特定のアイコンが配置されたセグメントの選択が確定されると、上記アイコンに対応するアプリケーションの出力に基づいて上記表示画像を生成してもよい。
 この構成によれば、ユーザはディスプレイの方向によって任意のアプリケーションを選択し、その出力をディスプレイに表示させることが可能となる。
 上記オブジェクトは所定のアプリケーションによって生成されるウィジェットであり、
 上記画像生成部は、特定のウィジェットが配置されたセグメントの選択が確定されると、上記ウィジェットに対応するアプリケーションの出力に基づいて上記表示画像を生成してもよい。
 この構成によれば、ユーザはディスプレイの方向によってウィジェットを確認することができ、必要に応じてそのウィジェットに対応するアプリケーションの出力をディスプレイに表示させることが可能となる。
 上記オブジェクトはアプリケーションラウンチャーであり、
 上記画像生成部は、アプリケーションラウンチャーが配置されたセグメントの選択が確定されると、アプリケーションの選択メニューを含む画像を上記表示画像として生成してもよい。
 この構成によれば、ユーザはディスプレイの方向によってアプリケーションラウンチャーを選択し、任意のアプリケーションを選択することが可能となる。
 上記オブジェクトは所定のアプリケーションによって生成される通知であり、
 上記画像生成部は、特定の通知が配置されたセグメントの選択が確定されると、上記通知を生成したアプリケーションの出力に基づいて上記表示画像を生成してもよい。
 この構成によれば、ユーザはディスプレイの方向によって通知を確認することができ、必要に応じてその通知を生成したアプリケーションの出力をディスプレイに表示させることが可能となる。
 上記ディスプレイは、透過型ディスプレイであってもよい。
 この構成によれば、ユーザは、透過型ディスプレイを介して外界を視認することが可能となる。このため、ユーザは、透過型ディスプレイを介して外界を視認して作業を行い、必要に応じてディスプレイの方向を変更し、透過型ディスプレイに表示される表示画像を参照することが可能となる。
 上記目的を達成するため、本技術の一形態に係るヘッドマウントディスプレイは、座標系設定部と、セグメント選択部と、画像生成部とを具備する。
 上記座標系設定部は、実空間上に、複数のセグメントに区画された円筒座標系を設定する。
 上記セグメント選択部は、上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とする。
 上記画像生成部は、上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する。
 上記目的を達成するため、本技術の一形態に係るヘッドマウントディスプレイ制御プログラムは、座標系設定部と、セグメント選択部と、画像生成部としてコンピュータを機能させる。
 上記座標系設定部は、実空間上に、複数のセグメントに区画された円筒座標系を設定する。
 上記セグメント選択部は、上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とする。
 上記画像生成部は、上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する。
 以上のように、本技術によれば、HMDを操作するための操作機器を必要とすることなく高い操作性を実現することが可能なヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラムを提供することが可能である。
本技術の実施形態に係るヘッドマウントディスプレイシステムの外観を示す斜視図である。 同ヘッドマウントディスプレイシステムの構成を示すブロック図である。 同ヘッドヘッドマウントディスプレイシステムの機能的構成を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムにディスプレイ座標系を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系のセグメントを示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系のセグメントを示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系の高さ方向への移動を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系の各セグメントに配置されたオブジェクトを示す模式図である。 同ヘッドヘッドマウントディスプレイシステムにおける円筒座標系における画角範囲を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムのセグメント選択部によるセグメントの選択を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系の、オブジェクトが配置されていないセグメントを示す模式図である。 同ヘッドヘッドマウントディスプレイシステムにおける円筒座標系における画角範囲を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムにおける円筒座標系における画角範囲を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムの画像生成部によって生成される表示画像を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムの画像生成部によって生成される表示画像を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムにおける円筒座標系における画角範囲を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムの画像生成部によって生成される表示画像を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムの座標系設定部による円筒座標系の移動を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムのセグメント選択部によるセグメントの選択を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムによるアプリケーションの利用例を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムによるウィジェットの利用例を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムによるアプリケーションラウンチャーの利用例を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムによる通知の利用例を示す模式図である。
 [ヘッドマウントディスプレイシステムの構成]
 図1は、本実施形態に係るヘッドマウントディスプレイシステム100(以下、HMDシステム100)の外観示す斜視図であり、図2はHMDシステム100の構成を示すブロック図である。これらの図に示すようにHMDシステム100は、ヘッドマウントディスプレイ200(以下、HMD200)と情報処理装置300から構成されているものとすることができる。
 HMD200は、図1及び図2に示すように、フレーム201、ディスプレイ202(右ディスプレイ202R及び左ディスプレイ202L)、入力デバイス203、CPU204、通信デバイス205、メモリ206、及び方向センサ207を有する。
 フレーム201はHMD200をユーザの頭部に支持し、ディスプレイ202をユーザの眼前に配置する。フレーム201の形状は特に限定されず、図1に示すメガネ型の他、ヘッドギア型等であってもよい。
 ディスプレイ202(右ディスプレイ202R及び左ディスプレイ202L)は、表示画像を表示する。右ディスプレイ202Rはユーザの右眼の眼前に配置され、左ディスプレイ202Lはユーザの左眼の眼前に配置される。なお、右ディスプレイ202Rと左ディスプレイ202Lのいずれか一方が設けられてもよい。ディスプレイ202は、透過型ディスプレイ(シースルー型ディスプレイ)や非透過型ディスプレイとすることができるが、本実施形態では透過型ディスプレイが好適である。
 入力デバイス203は、ユーザによる操作入力を受け付ける。入力デバイス203は操作ボタン、タッチセンサ、近接センサや照度センサ等、操作子(ユーザの手指等)の接近や接触を検知することが可能なものを利用することができる。入力デバイス203の配置や数は特に限定されない。
 CPU(Central Processing Unit)204は、各種演算処理を実行し、入力デバイス203による入力や通信デバイス205による通信の処理、ディスプレイ202の表示画像の生成等を実行する。通信デバイス205は、USB(Universal Serial Bus)、Bluetooth(登録商標)、Wi-Fi(登録商標)等の各種通信規格によって情報処理装置300の通信デバイス303(後述)と通信を行う。メモリ206は、CPU204の演算処理結果等や表示画像等の各種情報を記憶する。
 方向センサ207は、ディスプレイ202の方向を検出する。方向センサ207は、地磁気センサ、角速度センサ及び加速度センサ等から構成されるものとすることができるが、この他にもディスプレイ202の方向を検出可能なセンサを利用することができる。
 情報処理装置300は、図1及び図2に示すように、入力デバイス301、CPU302、通信デバイス303、メモリ304、ディスプレイ305及びストレージ306を備える。情報処理装置300は、スマートフォン、タブレット型コンピュータ、ラップトップ型コンピュータ等の各種情報処理装置であるものとすることができるが、HMD200と共に携帯することが可能なものが好適である。
 入力デバイス301は、ユーザによる操作入力を受け付ける。入力デバイス301は、タッチパネルや操作ボタン等であるものとすることができる。CPU302は、入力デバイス301による入力や通信デバイス303による通信の処理、アプリケーションの実行等を行う。通信デバイス303は、各種通信規格によってHMD200の通信デバイス205と通信する。メモリ307は、CPU302の演算処理結果等を記憶する。ストレージ306は、アプリケーションや画像情報を格納する。
 HMD200や情報処理装置300の構成はここに示すものに限られず、後述する機能的構成を実現することが可能なものであればよい。
 [ヘッドマウントディスプレイシステムの機能的構成]
 以上のようなハードウェア構成によって実現されるHMDシステム100の機能的構成について説明する。図3は、HMDシステム100の機能的構成を示す模式図である。
 同図に示すように、HMDシステム100は、画像生成部101、座標系設定部102、オブジェクト配置部103及びセグメント選択部104を具備する。なお、これらの機能的構成は、HMD200と情報処理装置300のいずれかによって実現されてもよく、両者の協働よって実現されてもよい。また、機能的構成の一部又は全部はコンピュータネットワーク上において実現されてもよい。
 画像生成部101は、ディスプレイ202に表示される表示画像を生成する。この際、画像生成部101は、ディスプレイ202における座標系(以下、ディスプレイ座標系とする)を用いて表示画像を生成する。図4は、ディスプレイ座標系Dを示す模式図である。同図に示すようにディスプレイ座標系Dにおいては、ディスプレイ左上を原点Ogとし、ディスプレイ上の右方向をx軸、ディスプレイ上の下方向をy軸とする。x軸方向の幅Wgとy軸方向の高さHgが表示画像のサイズとなる。画像生成部101による表示画像の生成については後述する。
 座標系設定部102は、実空間上に円筒座標系を設定する。具体的には、座標系設定部102は、例えばHMD200の電源が入れられたときやHMD200に所定の操作入力があったときのディスプレイ202の方向を正面方向として設定する。座標系設定部102は、方向センサ207からディスプレイ202の方向を取得することが可能である。
 座標系設定部102は、このディスプレイ202の正面方向に対して垂直な方向を軸方向とし、HMD200の位置(ユーザ原点)を通過する中心軸を有する円筒形状の座標系を円筒座標系として設定することができる。これにより、中心軸の軸方向を高さ方向とし、軸方向に垂直な方向を円周方向とする円筒座標系が形成される。また、座標系設定部102は、ディスプレイ202の正面方向に係わらず、円筒座標系の中心軸を鉛直方向として設定してもよい。この場合、鉛直方向を高さ方向とし、水平方向を円周方向とする円筒座標系が形成される。
 図5は円筒座標系Cを示す模式図である。同図に示すように円筒座標系は、ユーザ原点Ohからディスプレイ座標系原点Orまでを半径とする円周方向にx軸を、半径方向にz軸を、x軸及びz軸に垂直な方向にy軸を有する。円筒座標系の高さ(y方向)をHgとすると、その高さHgを有する円筒がユーザ(HMD200)周りに形成される。
 座標系設定部102は、複数のセグメントに区画された円筒座標系を設定する。図6は、円筒座標系上のセグメントを示す模式図である。図6(a)は円筒座標系Cの斜視図を示し、図6(b)は円筒座標系Cの展開図を示す。図6(a)及び図6(b)に示すように、座標系設定部102は、複数のセグメントSに区画された円筒座標系Cを設定する。ここで、座標系設定部102は、円筒座標系Cをその高さ方向(y方向)及び円周方向(xz方向)にそれぞれ分割し、矩形状のセグメントSに区画するものとすることができる。各セグメントSの高さ(y方向)をhgとし、幅(xz方向)をwgとする。
 なお、図6では円筒座標系が高さ方向及び円周方向に3分割され、矩形状のセグメントに区画されているが、3分割でなくてもよい。また、各セグメントの形状は矩形状に限定されない。座標系設定部102は、図7に示すように円筒座標系Cをその高さ方向(y方向)及び円周方向(xz方向)に対して斜め方向に分割し、菱形状のセグメントに区画するものとすることも可能である。以下では矩形状のセグメントを例にとって説明する。
 座標系設定部102は、複数のセグメントのうち円筒座標系の高さ方向及び円周方向において中央に位置するセグメントがディスプレイ202の正面方向になるように設定することができる。以下、この中央に位置するセグメントを中央セグメントとする。なお、座標系設定部102は、中央セグメント以外のセグメントがディスプレイ202の正面方向になるように円筒座標系を設定してもよい。
 座標系設定部102は、所定のトリガ入力(第2トリガ入力)を受けると、円筒座標系をその高さ方向に移動させるものとすることができる。図8は、座標系設定部102によって円筒座標系の高さ方向に移動される円筒座標系Cを示す模式図である。原点Oruは円筒座標系を高さ方向上方に移動させたときの原点であり、原点Orlは円筒座標系を高さ方向下方に移動させたときの原点である。円筒座標系の移動方向や移動量は、ユーザの操作入力によって決定されるものとすることができる。
 オブジェクト配置部103は、各セグメントにオブジェクトを配置する。図9は各セグメントSに配置されたオブジェクトAを示す模式図である。オブジェクト配置部103は同図に示すように各セグメントSにそれぞれオブジェクトAを配置するものとすることができる。ここでオブジェクトAは、アプリケーションのアイコンやウィジェット、アプリケーションラウンチャーや通知であるものとすることができるが、詳細は後述する。オブジェクト配置部103は、図9に示すように、中央セグメントScにはオブジェクトAを配置しないものとすることができる。
 セグメント選択部104は、ディスプレイ202の方向に基づいて上記複数のセグメントのいずれかを選択待機状態とする。具体的には、セグメント選択部104は、「画角範囲」をセグメントの選択に利用することができる。図10は画角範囲の例であり、円筒座標系Cにおける画角範囲Hを示す。セグメント選択部104は、ディスプレイ202の方向と円筒座標系の半径に基づいて、円筒座標系Cにおいてディスプレイ202の画角が占める範囲を画角範囲として取得する。実空間におけるディスプレイ202の方向が変動すると、その変動に伴なって円筒座標系Cにおける画角範囲Hが移動する。
 セグメント選択部104は、この画角範囲を利用して、複数のセグメントからひとつのセグメントを選択することができる。図11は、セグメント選択部104によるセグメントの選択を示す模式図である。同図に示すようにセグメント選択部104は、複数のセグメントSのうち、画角範囲Hに含まれる面積が最も広いセグメントS(図中斜線)を選択待機状態とする。
 セグメント選択部104は、特定のセグメントを選択待機状態としているときに所定のトリガ入力(第1トリガ入力とする)を受けると、選択待機状態のセグメントの選択を確定する。第1トリガ入力は、ユーザによるタッチ入力やタイムアウト(設定時間の経過)であるものとすることができる。セグメント選択部104は、セグメントの選択を確定すると、確定したセグメントを画像生成部101に指示する。
 一方セグメント選択部104は、特定のセグメントを選択待機状態としているときに、ディスプレイ202の向きが変更され、画角範囲に含まれる面積が最も広いセグメントが別のセグメントに変更されると、当該セグメントの選択待機状態を解除する。
 セグメント選択部104は、オブジェクトが配置されていないセグメントは選択待機状態としないものとすることができる。図12は、オブジェクトAが配置されていないセグメントSを示す模式図である。同図に示すようにセグメント選択部104は、画角範囲Hに含まれる面積が最も広いセグメントSが、オブジェクトAが配置されていないセグメントSである場合、そのセグメントSを選択待機状態としないものとすることができる。なお、オブジェクトが配置されていないセグメントは上述した中央セグメントであってもよく、その他のセグメントであってもよい。
 画像生成部101は、ディスプレイ座標系に合わせて表示画像を生成し、ディスプレイ202に供給する。画像生成部101は、セグメント選択部104によって特定のセグメントの選択が確定すると、そのセグメントに対応する表示を含む表示画像を生成する。セグメントに対応する表示は例えば、そのセグメントに配置されているオブジェクトに対応するアプリケーションの出力に基づく表示とすることができる。
 また、画像生成部101は、円筒座標系における画角範囲に基づいてオブジェクトの画像を表示画像として生成するものとすることができる。画像生成部101は、画角範囲にオブジェクトが含まれる場合、画角範囲におけるオブジェクトの位置に対応させて、ディスプレイ座標系にオブジェクトの画像を配置し、表示画像として生成するものとすることができる。この詳細については後述する。
 [ヘッドマウントディスプレイシステムの動作]
 HMDシステム100の動作について説明する。ユーザがHMD200を装着し、入力デバイス203や情報処理装置300を操作して所定の操作入力を行うと、座標系設定部102はそのときのディスプレイ202の方向をディスプレイ202の正面方向として認識する。
 座標系設定部102は、上述した円筒座標系を実空間上に設定する。このとき座標系設定部102は、ディスプレイ202の正面方向に中央セグメントが配置されるように円筒座標系を設定することができる。なお座標系設定部102は、ディスプレイ202の正面方向に中央セグメント以外のセグメントを配置してもよい。オブジェクト配置部103は、図9に示すように、各セグメントSにオブジェクトAを配置する。
 セグメント選択部104は、円筒座標系におけるディスプレイ202の画角範囲を取得する。ユーザが頭部(ディスプレイ202の方向)を正面方向から動かしていない場合、図13に示すように画角範囲は中央セグメントを含み、中央セグメントにはオブジェクトが配置されていないので、画像生成部101は表示画像を生成しない。この状態ではユーザは、何も表示されていないディスプレイ202を介して外界を視認し、作業等をすることができる。
 ユーザが頭部の向き(ディスプレイ202の方向)を動かすと、セグメント選択部104はディスプレイ202の方向に応じて画角範囲を移動させる。図14は移動した画角範囲Hを示す模式図である。同図に示すように、画角範囲HにオブジェクトAが含まれると、画像生成部101はオブジェクトの画像(以下、オブジェクト画像)を表示画像として生成する。図15はこのときの表示画像Gを示す模式図である。
 画像生成部101は、画角範囲におけるオブジェクトの位置に応じて、ディスプレイ座標系にオブジェクト画像を配置するものとすることができる。即ちユーザは、正面方向からいずれかの方向に頭部を向けると、その方向のセグメントに配置されたオブジェクト画像を視認することができ、例えば希望するアプリケーションのアイコンを探すことが可能となる。
 同時に、セグメント選択部104は、図11に示すように画角範囲Hに含まれる各セグメントSの面積を検出し、画角範囲Hに含まれる面積が最も広いセグメントSを選択待機状態とする。この際、画像生成部101は、選択待機状態のセグメントに配置されているオブジェクトのオブジェクト画像を点滅あるいは拡大等させ、そのオブジェクトが配置されているセグメントが選択待機状態であることをユーザに提示してもよい。
 図16に示すように、ユーザが、所望のオブジェクトのオブジェクト画像をディスプレイ202の中央付近で視認している場合、当該オブジェクトが配置されているセグメントが、画角範囲に含まれる面積が最も広いセグメントとなる。図17はこのときの画角範囲Hを示す模式図である。セグメント選択部104は当該セグメントを選択待機状態とする
 この状態でユーザが第1トリガ入力を行うと、選択待機状態のセグメントの選択が確定される。画像生成部101は、オブジェクト画像に替えて、セグメントに対応する表示を含む表示画像を生成する。例えばオブジェクトがアプリケーションのアイコンである場合、図18に示すように、画像生成部101は当該アプリケーションによって生成された画像を表示画像として生成する。即ち、ユーザは所望のアプリケーションによって生成された画像を視認することが可能となる。
 なお、図12に示すように、画角範囲Hに含まれる面積が最も広いセグメントSにオブジェクトAが配置されていない場合、セグメント選択部104は当該セグメントSを選択待機状態としないものとすることができる。これにより、オブジェクトが配置されていないセグメントの選択が確定されることが防止され、利便性が向上する。
 画像生成部101は、ユーザから所定の入力を受けると、セグメントに対応する表示を含む表示画像を終了し、図15及び図16に示すディスプレイ202の画角範囲に基づく表示画像(アイコン等の画像)を生成するものとすることができる。
 以上のようにユーザは、正面方向を向いているときには、何も表示されていないディスプレイ202を介して外界を視認し、作業等をすることができる。ユーザは必要に応じて頭部(ディスプレイ202)の方向を動かして所望のオブジェクトを探し、第1トリガ入力を行うことで、そのオブジェクトに対応する表示を視認することが可能となる。即ちユーザは、コントロールボックス等の操作機器を利用することなく、任意のオブジェクトを選択することが可能であり、HMDシステム100は高い操作性を提供するものである。
 [円筒座標系の移動について]
 上述のように座標系設定部102は円筒座標系を設定するが、円筒座標系をその高さ方向(上方又は下方)に移動させることができる。図19は座標系設定部102による円筒座標系Cの移動を示す模式図である。図19(a)に示すように、ユーザがディスプレイ202の正面方向を指定すると、ディスプレイ202と同等の高さに円筒座標系Cが設定され、上述したようにユーザが利用することができる。
 座標系設定部102は、ユーザによる第2トリガ入力を受けると、図19(b)に示すように円筒座標系をその高さ方向(図では上方)に移動させる。第2トリガ入力は例えば、ユーザが入力デバイス203をタッチしながらディスプレイ202の方向を移動させる入力とすることができる。座標系設定部102は、ディスプレイ202の方向(正面方向に対する角度)に応じて円筒座標系Cを移動させるものとすることができる。
 これにより、図19(b)に示すようにディスプレイ202と同等の高さには円筒座標系Cが存在しなくなるため、ユーザがディスプレイ202の方向を正面方向から多少変更しても、セグメントが選択待機状態とならず、オブジェクト画像が表示されない。
 したがってユーザは、広い範囲で外界を視認しながら、作業等を行うことが可能となる。一方で、ディスプレイ202の上方又は下方には円筒座標系が設定されているため、図19(c)に示すようにユーザは、ディスプレイ202を上方又は下方の円筒座標系Cに向け、円筒座標系Cを利用することが可能となる。
 ユーザは、円筒座標系Cが高さ方向に移動されている状態において再び第2トリガ入力を行うことにより、図19(a)に示すように円筒座標系Cをディスプレイ202と同等の高さに移動させ、利用することができる。
 このように、座標系設定部102が円筒座標系を高さ方向に移動させることにより、ユーザは広い視界で作業等をすることが可能であり、かつ必要に応じて円筒座標系を利用することが可能となる。
 [変形例]
 セグメント選択部104は、上記「画角範囲」に替えて、円筒座標系においてディスプレイ202の方向に位置する座標(以下、ディスプレイ方向座標とする)をセグメントの選択に利用することができる。セグメント選択部104は、ディスプレイ202の方向に基づいて、円筒座標系Cにおいてディスプレイ方向座標Pを取得する。実空間におけるディスプレイ202の方向が変動すると、その変動に伴なって円筒座標系Cにおけるディスプレイ方向座標Pが移動する。
 セグメント選択部104は、このディスプレイ方向座標を利用して、複数のセグメントからひとつのセグメントを選択することができる。図20は、セグメント選択部104によるセグメントの選択を示す模式図である。同図に示すようにセグメント選択部104は、複数のセグメントSのうち、ディスプレイ方向座標Pが含まれるセグメントS(図中斜線)を選択待機状態とする。
 セグメント選択部104は、特定のセグメントを選択待機状態としているときに所定のトリガ入力(第1トリガ入力とする)を受けると、選択待機状態のセグメントの選択を確定する。第1トリガ入力は、ユーザによるタッチ入力やタイムアウト(設定時間の経過)であるものとすることができる。セグメント選択部104は、セグメントの選択を確定すると、確定したセグメントを画像生成部101に指示する。
 一方セグメント選択部104は、特定のセグメントを選択待機状態としているときに、ディスプレイ202の向きが変更され、ディスプレイ方向座標が含まれるセグメントが別のセグメントに変更されると、当該セグメントの選択待機状態を解除する。
 このように、セグメント選択部104が、ディスプレイ方向座標をセグメントの選択に利用する場合も、画角範囲を利用する場合と同様に、ユーザがコントロールボックス等の操作機器を利用することなく、任意のオブジェクトを選択することが可能である。
 また、セグメント選択部104は、ディスプレイ方向座標が含まれるセグメントが、オブジェクトが配置されていないセグメントである場合、そのセグメントSを選択待機状態としないものとすることができる。これにより、オブジェクトが配置されていないセグメントの選択が確定されることが防止され、利便性が向上する。
 [ヘッドマウントディスプレイシステムの利用例]
 HMDシステム100の具体的な利用例について説明する。
 (アプリケーション)
 図21に示すように、オブジェクト配置部103は、アプリケーションのアイコンをオブジェクトとして各セグメントに配置することができる。ユーザは、ディスプレイ202の向きを変更して任意のアイコンを選び、第1トリガ入力を行う。これによりセグメント選択部104は、当該アイコンが配置されているセグメントの選択を確定し、画像生成部101に指示する。
 画像生成部101は、当該アイコンに対応するアプリケーションの出力に基づいて表示画像を生成し、ディスプレイ202に供給する。これよりユーザは、当該アプリケーションの出力に基づく画像を視認することが可能となる。画像生成部101は、ユーザによる別のトリガ入力、例えばディスプレイ202が下方向に向けられたことを示す入力を受けると、アプリケーションの出力に基づく画像を消去し、元のアイコンの選択画像を生成する。このようにユーザは、HMDシステム100を利用してアプリケーションを簡単に利用することが可能となる。
 (ウィジェット)
 図22に示すように、オブジェクト配置部103は、特定のアプリケーションによって生成されたウィジェットをオブジェクトとしてひとつ又は複数のセグメントに配置することができる。ユーザは、ディスプレイ202の向きを変更することによってウィジェットを視認することができ、容易に情報を取得することができる。さらにユーザは、当該ウィジェットの詳細を確認したい場合、当該ウィジェットを視認した状態で、第1トリガ入力を行う。これによりセグメント選択部104は、当該ウィジェットが配置されているセグメントの選択を確定し、画像生成部101に指示する。
 画像生成部101は、当該ウィジェットを生成したアプリケーションの出力に基づいて表示画像を生成し、ディスプレイ202に供給する。これよりユーザは、当該アプリケーションの出力に基づく画像を視認することが可能となる。画像生成部101は、ユーザによる別のトリガ入力を受けると、アプリケーションの出力に基づく画像を消去し、元のアイコンの選択画像を生成する。このようにユーザは、HMDシステム100を利用してウィジェットから簡単な情報を容易に取得し、かつ必要に応じて詳細な情報を取得することが可能となる。
 (アプリケーションラウンチャー)
 図23に示すように、オブジェクト配置部103は、アプリケーションラウンチャー(以下、ラウンチャー)をオブジェクトとしてひとつ又は複数のセグメントに配置することができる。ユーザは、ディスプレイ202の向きを変更することによってラウンチャーを視認することができ、視認した状態で第1トリガ入力を行う。これによりセグメント選択部104は、当該ラウンチャーが配置されているセグメントの選択を確定し、画像生成部101に指示する。
 画像生成部101は、アプリケーションの選択メニューを含む画像を上記表示画像として生成し、ディスプレイ202に供給する。ユーザは、操作入力やディスプレイ202の向きによって選択メニューを操作し、任意のアプリケーションを選択することができる。画像生成部101は、選択されたアプリケーションの出力に基づく画像を表示画像として生成する。これよりユーザは、当該アプリケーションの出力に基づく画像を視認することが可能となる。
 画像生成部101は、ユーザによる別のトリガ入力を受けると、アプリケーションの出力に基づく画像を消去し、元のアイコンの選択画像を生成する。ラウンチャーを利用することにより、各セグメントにアプリケーションの全てを配置できない場合等でも、ユーザが任意のアプリケーションを選択することが可能となる。
 (通知)
 図24に示すように、オブジェクト配置部103は、特定のアプリケーションによって生成される通知をオブジェクトとしてひとつ又は複数のセグメントに配置することができる。通知は例えば、メール着信やSNS(social networking service)の書き込み、スケジュール通知等が挙げられる。ユーザは、ディスプレイ202の向きを変更することによって通知を確認することができる。さらにユーザが、当該通知を視認した状態で第1トリガ入力を行うと、セグメント選択部104が当該通知が配置されているセグメントの選択を確定し、画像生成部101に指示する。
 画像生成部101は、当該通知を生成したアプリケーションの出力に基づいて表示画像を生成し、ディスプレイ202に供給する。これよりユーザは、当該アプリケーションの出力に基づく画像を視認することが可能となる。画像生成部101は、ユーザによる別のトリガ入力を受けると、アプリケーションの出力に基づく画像を消去し、元のアイコンの選択画像を生成する。このようにユーザは、HMDシステム100を利用して通知を確認し、かつ必要に応じて通知を生成したアプリケーションを利用することが可能となる。
 本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。
 なお、本技術は以下のような構成も採ることができる。
 (1)
 実空間上に、複数のセグメントに区画された円筒座標系を設定する座標系設定部と、
 上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とするセグメント選択部と、
 上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する画像生成部と
 を具備するヘッドマウントディスプレイシステム。
 (2)
 上記(1)に記載のヘッドマウントディスプレイシステムであって、
 上記セグメント選択部は、上記ディスプレイの方向に応じて、上記円筒座標系において上記ディスプレイの画角が占める画角範囲を取得し、上記複数のセグメントのうち、上記画角範囲に含まれる面積が最も広いセグメントを選択待機状態とする
 ヘッドマウントディスプレイシステム。
 (3)
 上記(1)又は(2)に記載のヘッドマウントディスプレイシステムであって、
 上記セグメント選択部は、上記ディスプレイの方向に応じて、上記円筒座標系において上記ディスプレイの方向に位置する座標を取得し、上記複数のセグメントのうち、上記座標が含まれるセグメントを選択待機状態とする
 ヘッドマウントディスプレイシステム。
 (4)
 上記(1)から(3)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記セグメント選択部は、第1のトリガ入力を受けて、選択待機状態のセグメントの選択を確定する
 ヘッドマウントディスプレイシステム。
 (5)
 上記(1)から(4)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記円筒座標系は、鉛直方向を高さ方向とし、水平方向を円周方向とする
 ヘッドマウントディスプレイシステム。
 (6)
 上記(1)から(5)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記座標系設定部は、第2のトリガ入力を受けて上記円筒座標系を、上記円筒座標系の高さ方向に移動させる
 ヘッドマウントディスプレイシステム。
 (7)
 上記(1)から(6)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記座標系設定部は、上記円筒座標系を、上記円筒座標系の高さ方向及び円周方向に分割することによって上記円筒座標系を上記複数のセグメントに区画する
 ヘッドマウントディスプレイシステム。
 (8)
 上記(1)から(7)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記座標系設定部は、上記円筒座標系を、上記円筒座標系の高さ方向及び円周方向に対して斜め方向に分割することによって上記円筒座標系を上記複数のセグメントに区画する
 ヘッドマウントディスプレイシステム。
 (9)
 上記(1)から(8)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記複数のセグメントのそれぞれにオブジェクトを配置するオブジェクト配置部をさらに具備し、
 上記画像生成部は、上記円筒座標系における上記画角範囲に応じて、上記オブジェクトの画像を上記表示画像として生成する
 ヘッドマウントディスプレイシステム。
 (10)
 上記(1)から(9)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記セグメント選択部は、上記オブジェクトが配置されていないセグメントを選択待機状態としない
 ヘッドマウントディスプレイシステム
 (11)
 上記(1)から(10)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記オブジェクト配置部は、上記複数のセグメントのうち、実空間において上記ディスプレイの正面方向に存在するセグメントには上記オブジェクトを配置しない
 ヘッドマウントディスプレイシステム。
 (12)
 上記(1)から(11)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって
 上記オブジェクトはアプリケーションのアイコンであり、
 上記画像生成部は、特定のアイコンが配置されたセグメントの選択が確定されると、上記アイコンに対応するアプリケーションの出力に基づいて上記表示画像を生成する
 ヘッドマウントディスプレイシステム。
 (13)
 上記(1)から(12)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記オブジェクトは所定のアプリケーションによって生成されるウィジェットであり、
 上記画像生成部は、特定のウィジェットが配置されたセグメントの選択が確定されると、上記ウィジェットに対応するアプリケーションの出力に基づいて上記表示画像を生成する
 ヘッドマウントディスプレイシステム。
 (14)
 上記(1)から(13)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記オブジェクトはアプリケーションラウンチャーであり、
 上記画像生成部は、アプリケーションラウンチャーが配置されたセグメントの選択が確定されると、アプリケーションの選択メニューを含む画像を上記表示画像として生成する
 ヘッドマウントディスプレイシステム。
 (15)
 上記(1)から(14)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記オブジェクトは所定のアプリケーションによって生成される通知であり、
 上記画像生成部は、特定の通知が配置されたセグメントの選択が確定されると、上記通知を生成したアプリケーションの出力に基づいて上記表示画像を生成する
 ヘッドマウントディスプレイシステム。
 (16)
 上記(1)から(15)のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
 上記ディスプレイは、透過型ディスプレイである
 ヘッドマウントディスプレイシステム。
 (17)
 実空間上に、複数のセグメントに区画された円筒座標系を設定する座標系設定部と、
 上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とするセグメント選択部と、
 上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する画像生成部と
 を具備するヘッドマウントディスプレイ。
 (18)
 実空間上に、複数のセグメントに区画された円筒座標系を設定する座標系設定部と、
 上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とするセグメント選択部と、
 上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する画像生成部と
 としてコンピュータを機能させるヘッドマウントディスプレイ制御プログラム。
 100…ヘッドマウントディスプレイシステム
 101…画像生成部
 102…座標系設定部
 103…オブジェクト配置部
 104…セグメント選択部
 200…ヘッドマウントディスプレイ
 300…情報処理装置

Claims (18)

  1.  実空間上に、複数のセグメントに区画された円筒座標系を設定する座標系設定部と、
     前記円筒座標系において、ディスプレイの方向に基づいて前記複数のセグメントのいずれかを選択待機状態とするセグメント選択部と、
     前記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて前記ディスプレイに表示される表示画像を生成する画像生成部と
     を具備するヘッドマウントディスプレイシステム。
  2.  請求項1に記載のヘッドマウントディスプレイシステムであって、
     前記セグメント選択部は、前記ディスプレイの方向に応じて、前記円筒座標系において前記ディスプレイの画角が占める画角範囲を取得し、前記複数のセグメントのうち、前記画角範囲に含まれる面積が最も広いセグメントを選択待機状態とする
     ヘッドマウントディスプレイシステム。
  3.  請求項1に記載のヘッドマウントディスプレイシステムであって、
     前記セグメント選択部は、前記ディスプレイの方向に応じて、前記円筒座標系において前記ディスプレイの方向に位置する座標を取得し、前記複数のセグメントのうち、前記座標が含まれるセグメントを選択待機状態とする
     ヘッドマウントディスプレイシステム。
  4.  請求項1に記載のヘッドマウントディスプレイシステムであって、
     前記セグメント選択部は、第1のトリガ入力を受けて、選択待機状態のセグメントの選択を確定する
     ヘッドマウントディスプレイシステム。
  5.  請求項1に記載のヘッドマウントディスプレイシステムであって、
     前記円筒座標系は、鉛直方向を高さ方向とし、水平方向を円周方向とする
     ヘッドマウントディスプレイシステム。
  6.  請求項1に記載のヘッドマウントディスプレイシステムであって、
     前記座標系設定部は、第2のトリガ入力を受けて前記円筒座標系を、前記円筒座標系の高さ方向に移動させる
     ヘッドマウントディスプレイシステム。
  7.  請求項1に記載のヘッドマウントディスプレイシステムであって、
     前記座標系設定部は、前記円筒座標系を、前記円筒座標系の高さ方向及び円周方向に分割することによって前記円筒座標系を前記複数のセグメントに区画する
     ヘッドマウントディスプレイシステム。
  8.  請求項1に記載のヘッドマウントディスプレイシステムであって、
     前記座標系設定部は、前記円筒座標系を、前記円筒座標系の高さ方向及び円周方向に対して斜め方向に分割することによって前記円筒座標系を前記複数のセグメントに区画する
     ヘッドマウントディスプレイシステム。
  9.  請求項1に記載のヘッドマウントディスプレイシステムであって、
     前記複数のセグメントのそれぞれにオブジェクトを配置するオブジェクト配置部をさらに具備し、
     前記画像生成部は、前記円筒座標系における前記画角範囲に応じて、前記オブジェクトの画像を前記表示画像として生成する
     ヘッドマウントディスプレイシステム。
  10.  請求項9に記載のヘッドマウントディスプレイシステムであって、
     前記セグメント選択部は、前記オブジェクトが配置されていないセグメントを選択待機状態としない
     ヘッドマウントディスプレイシステム
  11.  請求項9に記載のヘッドマウントディスプレイシステムであって、
     前記オブジェクト配置部は、前記複数のセグメントのうち、実空間において前記ディスプレイの正面方向に存在するセグメントには前記オブジェクトを配置しない
     ヘッドマウントディスプレイシステム。
  12.  請求項9に記載のヘッドマウントディスプレイシステムであって、
     前記オブジェクトはアプリケーションのアイコンであり、
     前記画像生成部は、特定のアイコンが配置されたセグメントの選択が確定されると、前記アイコンに対応するアプリケーションの出力に基づいて前記表示画像を生成する
     ヘッドマウントディスプレイシステム。
  13.  請求項9に記載のヘッドマウントディスプレイシステムであって、
     前記オブジェクトは所定のアプリケーションによって生成されるウィジェットであり、
     前記画像生成部は、特定のウィジェットが配置されたセグメントの選択が確定されると、前記ウィジェットに対応するアプリケーションの出力に基づいて前記表示画像を生成する
     ヘッドマウントディスプレイシステム。
  14.  請求項9に記載のヘッドマウントディスプレイシステムであって、
     前記オブジェクトはアプリケーションラウンチャーであり、
     前記画像生成部は、アプリケーションラウンチャーが配置されたセグメントの選択が確定されると、アプリケーションの選択メニューを含む画像を前記表示画像として生成する
     ヘッドマウントディスプレイシステム。
  15.  請求項9に記載のヘッドマウントディスプレイシステムであって、
     前記オブジェクトは所定のアプリケーションによって生成される通知であり、
     前記画像生成部は、特定の通知が配置されたセグメントの選択が確定されると、前記通知を生成したアプリケーションの出力に基づいて前記表示画像を生成する
     ヘッドマウントディスプレイシステム。
  16.  請求項1に記載のヘッドマウントディスプレイシステムであって、
     前記ディスプレイは、透過型ディスプレイである
     ヘッドマウントディスプレイシステム。
  17.  実空間上に、複数のセグメントに区画された円筒座標系を設定する座標系設定部と、
     前記円筒座標系において、ディスプレイの方向に基づいて前記複数のセグメントのいずれかを選択待機状態とするセグメント選択部と、
     前記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて前記ディスプレイに表示される表示画像を生成する画像生成部と
     を具備するヘッドマウントディスプレイ。
  18.  実空間上に、複数のセグメントに区画された円筒座標系を設定する座標系設定部と、
     前記円筒座標系において、ディスプレイの方向に基づいて前記複数のセグメントのいずれかを選択待機状態とするセグメント選択部と、
     前記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて前記ディスプレイに表示される表示画像を生成する画像生成部と
     としてコンピュータを機能させるヘッドマウントディスプレイ制御プログラム。
PCT/JP2014/000140 2013-02-22 2014-01-15 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム WO2014129105A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811185267.7A CN109656354B (zh) 2013-02-22 2014-01-15 信息处理装置和信息处理方法
CN201480001299.0A CN104335155B (zh) 2013-02-22 2014-01-15 头戴式显示系统、头戴式显示器以及头戴式显示器的控制程序
US14/401,040 US9829997B2 (en) 2013-02-22 2014-01-15 Head-mounted display system, head-mounted display, and head-mounted display control program
JP2015501305A JP6260613B2 (ja) 2013-02-22 2014-01-15 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム、画像表示方法及び画像表示装置
US15/789,514 US20180101248A1 (en) 2013-02-22 2017-10-20 Head-mounted display system, head-mounted display, and head-mounted display control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-033077 2013-02-22
JP2013033077 2013-02-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/401,040 A-371-Of-International US9829997B2 (en) 2013-02-22 2014-01-15 Head-mounted display system, head-mounted display, and head-mounted display control program
US15/789,514 Continuation US20180101248A1 (en) 2013-02-22 2017-10-20 Head-mounted display system, head-mounted display, and head-mounted display control program

Publications (1)

Publication Number Publication Date
WO2014129105A1 true WO2014129105A1 (ja) 2014-08-28

Family

ID=51390915

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000140 WO2014129105A1 (ja) 2013-02-22 2014-01-15 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム

Country Status (4)

Country Link
US (2) US9829997B2 (ja)
JP (3) JP6260613B2 (ja)
CN (2) CN109656354B (ja)
WO (1) WO2014129105A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049883A (ja) * 2013-09-05 2015-03-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
CN104615241A (zh) * 2015-01-04 2015-05-13 谭希韬 基于头转动的穿戴式眼镜控制方法和系统
JP2016126381A (ja) * 2014-12-26 2016-07-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016181302A (ja) * 2016-07-13 2016-10-13 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
JP2018521372A (ja) * 2015-05-26 2018-08-02 グーグル エルエルシー 没入型メディアにおいてアプリケーションおよびアクティビティに入ったり出たりするための多次元グラフィック方法
JP2019194870A (ja) * 2019-06-05 2019-11-07 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
WO2020157955A1 (ja) * 2019-02-01 2020-08-06 マクセル株式会社 仮想オブジェクト表示装置及び仮想オブジェクト表示方法
JP2021108126A (ja) * 2015-10-20 2021-07-29 マジック リープ, インコーポレイテッドMagic Leap,Inc. 3次元空間内の仮想オブジェクトの選択

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6260613B2 (ja) * 2013-02-22 2018-01-17 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム、画像表示方法及び画像表示装置
US20150362990A1 (en) * 2014-06-11 2015-12-17 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
JP6433850B2 (ja) * 2015-05-13 2018-12-05 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
JP6585929B2 (ja) 2015-06-02 2019-10-02 キヤノン株式会社 システム、システムの制御方法
CN108170279B (zh) * 2015-06-03 2021-07-30 塔普翊海(上海)智能科技有限公司 头显设备的眼动和头动交互方法
CN105955454A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种用于虚拟现实系统的防眩晕方法和装置
CN105955457A (zh) * 2016-04-19 2016-09-21 北京小鸟看看科技有限公司 一种头戴显示设备的用户界面布局方法和头戴显示设备
KR20170129509A (ko) * 2016-05-17 2017-11-27 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
WO2019013409A1 (en) 2017-07-10 2019-01-17 Samsung Electronics Co., Ltd. INCREASED REALITY VISIOCASTIC DEVICE FOR DISPLAYING TELEPHONE CONTENT AND HEALTH MONITORING
US11048325B2 (en) 2017-07-10 2021-06-29 Samsung Electronics Co., Ltd. Wearable augmented reality head mounted display device for phone content display and health monitoring
US10671237B2 (en) * 2017-10-16 2020-06-02 Microsoft Technology Licensing, Llc Human-machine interface for presenting a user interface on a virtual curved visual surface
US10460259B2 (en) 2017-12-04 2019-10-29 Bank Of America Corporation Dynamic progress recognition and recommendations based on machine learning
CN108008820B (zh) * 2017-12-14 2021-09-21 深圳位形空间科技有限公司 重定向行走方法、重定向行走服务器及重定向行走系统
TWI719483B (zh) * 2019-05-17 2021-02-21 雅得近顯股份有限公司 便利備忘操作系統
US11178384B2 (en) * 2019-07-10 2021-11-16 Nintendo Co., Ltd. Information processing system, storage medium, information processing apparatus and information processing method
US11204649B2 (en) * 2020-01-30 2021-12-21 SA Photonics, Inc. Head-mounted display with user-operated control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233909A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
WO2010107072A1 (ja) * 2009-03-18 2010-09-23 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2012033043A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 情報表示装置及び情報表示方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US246967A (en) * 1881-09-13 Portable fountains with aerated
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
JPH0778054A (ja) * 1993-06-24 1995-03-20 Casio Comput Co Ltd データ処理装置
DE69434843T2 (de) * 1993-08-12 2007-02-15 Seiko Epson Corp. Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungssystem
US6351261B1 (en) * 1993-08-31 2002-02-26 Sun Microsystems, Inc. System and method for a virtual reality system having a frame buffer that stores a plurality of view points that can be selected and viewed by the user
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
JPH07271546A (ja) * 1994-03-31 1995-10-20 Olympus Optical Co Ltd 画像表示制御方法
US6181371B1 (en) * 1995-05-30 2001-01-30 Francis J Maguire, Jr. Apparatus for inducing attitudinal head movements for passive virtual reality
JP3786294B2 (ja) * 1995-10-02 2006-06-14 ソニー株式会社 画像制御装置および方法
WO1999001838A2 (en) * 1997-07-03 1999-01-14 Koninklijke Philips Electronics N.V. Apparatus and method for creating and controlling a virtual workspace of a windowing system
JP4009433B2 (ja) * 2001-03-29 2007-11-14 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲームプログラム及びゲームシステム
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
JP2004199496A (ja) * 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP4389161B2 (ja) * 2004-04-12 2009-12-24 ソニー株式会社 表示装置及び表示方法
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
JP4519883B2 (ja) * 2007-06-01 2010-08-04 株式会社コナミデジタルエンタテインメント キャラクター表示装置、キャラクター表示方法、ならびに、プログラム
JP2010231290A (ja) 2009-03-26 2010-10-14 National Institute Of Advanced Industrial Science & Technology 頭部運動による入力装置及び方法
CN102023700B (zh) * 2009-09-23 2012-06-06 吴健康 一种三维人机交互系统
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
US8477425B2 (en) * 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
JP4858626B2 (ja) * 2010-04-16 2012-01-18 カシオ計算機株式会社 情報表示装置及びプログラム
JP5557316B2 (ja) * 2010-05-07 2014-07-23 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、情報生成方法及びプログラム
CN102346544A (zh) * 2010-07-30 2012-02-08 鸿富锦精密工业(深圳)有限公司 具有互动功能的头戴式显示系统及显示方法
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US8643951B1 (en) * 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
CN104246864B (zh) * 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
JP6260613B2 (ja) * 2013-02-22 2018-01-17 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム、画像表示方法及び画像表示装置
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233909A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
WO2010107072A1 (ja) * 2009-03-18 2010-09-23 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2012033043A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 情報表示装置及び情報表示方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658451B2 (en) 2013-09-05 2017-05-23 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, and image display system
JP2015049883A (ja) * 2013-09-05 2015-03-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
JP2016126381A (ja) * 2014-12-26 2016-07-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10114604B2 (en) 2014-12-26 2018-10-30 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
CN104615241A (zh) * 2015-01-04 2015-05-13 谭希韬 基于头转动的穿戴式眼镜控制方法和系统
CN104615241B (zh) * 2015-01-04 2017-08-25 谭希韬 基于头转动的穿戴式眼镜控制方法和系统
JP2018521372A (ja) * 2015-05-26 2018-08-02 グーグル エルエルシー 没入型メディアにおいてアプリケーションおよびアクティビティに入ったり出たりするための多次元グラフィック方法
JP2021108126A (ja) * 2015-10-20 2021-07-29 マジック リープ, インコーポレイテッドMagic Leap,Inc. 3次元空間内の仮想オブジェクトの選択
US11733786B2 (en) 2015-10-20 2023-08-22 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
JP7296995B2 (ja) 2015-10-20 2023-06-23 マジック リープ, インコーポレイテッド 3次元空間内の仮想オブジェクトの選択
JP2016181302A (ja) * 2016-07-13 2016-10-13 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
JPWO2020157955A1 (ja) * 2019-02-01 2021-10-21 マクセル株式会社 仮想オブジェクト表示装置及び仮想オブジェクト表示方法
US11960635B2 (en) 2019-02-01 2024-04-16 Maxell, Ltd. Virtual object display device and virtual object display method
JP7274510B2 (ja) 2019-02-01 2023-05-16 マクセル株式会社 仮想オブジェクト表示装置及び仮想オブジェクト表示方法
WO2020157955A1 (ja) * 2019-02-01 2020-08-06 マクセル株式会社 仮想オブジェクト表示装置及び仮想オブジェクト表示方法
JP2019194870A (ja) * 2019-06-05 2019-11-07 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP6994005B2 (ja) 2019-06-05 2022-01-14 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置

Also Published As

Publication number Publication date
US9829997B2 (en) 2017-11-28
JP6260613B2 (ja) 2018-01-17
CN104335155A (zh) 2015-02-04
CN109656354A (zh) 2019-04-19
JP2018097364A (ja) 2018-06-21
CN109656354B (zh) 2022-05-31
US20180101248A1 (en) 2018-04-12
JP2019212324A (ja) 2019-12-12
US20150138081A1 (en) 2015-05-21
CN104335155B (zh) 2018-11-09
JPWO2014129105A1 (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6260613B2 (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム、画像表示方法及び画像表示装置
US10241582B2 (en) Information processing device, information processing method, and program for graphical user interface
US9658451B2 (en) Head mounted display, method of controlling head mounted display, and image display system
JP5900393B2 (ja) 情報処理装置、操作制御方法及びプログラム
TWI539362B (zh) 介面切換方法及應用該介面切換方法的電子裝置
KR20170126295A (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
EP2405403A1 (en) Three Dimensional User Interface
US20160124579A1 (en) Controlling multiple devices with a wearable input device
JP7064040B2 (ja) 表示システム、及び表示システムの表示制御方法
US20150062164A1 (en) Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
US20110216007A1 (en) Keyboards and methods thereof
KR101807655B1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20150302653A1 (en) Augmented Digital Data
CN102768607A (zh) 一种实现触控操作应用程序的方法及装置
US9983700B2 (en) Input device, image display method, and program for reliable designation of icons
US9823890B1 (en) Modifiable bezel for media device
WO2013103968A2 (en) Touchscreen controller
JP6374203B2 (ja) 表示システム及びプログラム
KR20170124593A (ko) 지능형 상호작용 방법, 장비 및 시스템
WO2023037547A1 (ja) 携帯情報端末及びオブジェクト表示方法
WO2023210352A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102289368B1 (ko) 단말기 및 그를 이용한 오브젝트 제어 방법
JP2017157120A (ja) 表示装置、及び、表示装置の制御方法
JP2016093362A (ja) ゲーム空間内における仮想カメラの制御プログラム及びゲームシステム。

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015501305

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14754108

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14401040

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14754108

Country of ref document: EP

Kind code of ref document: A1