WO2019181747A1 - 情報処理装置、記録媒体、ヘッドマウントディスプレイ、及び、情報処理システム - Google Patents

情報処理装置、記録媒体、ヘッドマウントディスプレイ、及び、情報処理システム Download PDF

Info

Publication number
WO2019181747A1
WO2019181747A1 PCT/JP2019/010638 JP2019010638W WO2019181747A1 WO 2019181747 A1 WO2019181747 A1 WO 2019181747A1 JP 2019010638 W JP2019010638 W JP 2019010638W WO 2019181747 A1 WO2019181747 A1 WO 2019181747A1
Authority
WO
WIPO (PCT)
Prior art keywords
selection
objects
unit
display
posture
Prior art date
Application number
PCT/JP2019/010638
Other languages
English (en)
French (fr)
Inventor
松岡 功
淳一 谷口
Original Assignee
株式会社コナミデジタルエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社コナミデジタルエンタテインメント filed Critical 株式会社コナミデジタルエンタテインメント
Priority to KR1020207024775A priority Critical patent/KR102488903B1/ko
Priority to CN201980017625.XA priority patent/CN111819531B/zh
Publication of WO2019181747A1 publication Critical patent/WO2019181747A1/ja
Priority to US17/012,324 priority patent/US11861060B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to an information processing apparatus, a recording medium, a head mounted display, and an information processing system.
  • HMDs head-mounted displays
  • the HMD is an image obtained by capturing a virtual space with a virtual camera, for example, a stereoscopic image using binocular parallax, etc., on a display unit that is mounted on the user's head and provided in front of the user's eyes.
  • Display for example, refer to Patent Document 1.
  • the user can visually recognize various directions in the virtual space by changing the posture of the virtual camera in the virtual space based on the change in the posture of the HMD.
  • the present invention has been made in view of the above-described circumstances, and enables a user wearing an HMD to perform an operation of selecting an option while visually recognizing a virtual space displayed on the display unit of the HMD. Providing technology is one of the issues to be solved.
  • a recording medium is an image obtained by capturing a virtual space in which a plurality of selection objects are arranged with a virtual camera, using a processor of an information processing device.
  • a display control unit that displays a stereoscopic image using parallax on a display unit provided in a head-mounted display, an acquisition unit that acquires posture information about the posture of the head-mounted display, and a direction according to the posture information
  • a specifying unit that specifies the one selected object when a virtual line that intersects the virtual camera and one selected object among the plurality of selected objects has a predetermined positional relationship; and the specifying unit
  • a selector for selecting the one or more selected objects is to function, it is a non-transitory recording medium storing a program, characterized in, that characterized.
  • An information processing apparatus is an image obtained by capturing a virtual space in which a plurality of selection objects are arranged with a virtual camera, and a stereoscopic image using binocular parallax is displayed on a head-mounted display.
  • a display control unit to be displayed on the provided display unit, an acquisition unit that acquires posture information regarding the posture of the head mounted display, a virtual line that has a direction according to the posture information and intersects the virtual camera, and
  • a specifying unit that specifies the one selected object, and the specifying unit includes one or more of the plurality of selected objects.
  • the selection object is specified, the one or more selection objects are selected when a predetermined condition related to the posture information is satisfied. Comprising a selection unit for selecting a preparative, and characterized in that.
  • the head mounted display is a head mounted display including a display unit and an information processing device, and the information processing device has a virtual space in which a plurality of selected objects are arranged.
  • a display control unit that displays a stereoscopic image using binocular parallax on the display unit, an acquisition unit that acquires posture information related to the posture of the head mounted display, and the posture
  • a specification that identifies the one selected object when a virtual line that has a direction according to information and intersects with the virtual camera, and one selected object of the plurality of selected objects has a predetermined positional relationship
  • the specifying unit specifies one or more selected objects among the plurality of selected objects, the posture When a predetermined condition associated with the distribution is satisfied, and a selector for selecting the one or more selected objects, it is characterized.
  • An information processing system is an information processing system including a head-mounted display having a display unit and an information processing device, and the information processing device includes a plurality of selected objects.
  • An image obtained by capturing a virtual space obtained by a virtual camera, and obtaining a posture information related to a posture of the head mounted display, and a display control unit that displays a stereoscopic image using binocular parallax on the display unit And the virtual line intersecting with the virtual camera having a direction according to the posture information, and one selected object of the plurality of selected objects has a predetermined positional relationship, the one selection
  • the specifying unit for specifying an object and the specifying unit specified one or more selected objects among the plurality of selected objects If, when a predetermined condition is satisfied associated with the attitude information, and a selector for selecting the one or more selected objects, and wherein the.
  • FIG. 2 is a block diagram illustrating an example of a configuration of a terminal device 10.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of a terminal device 10.
  • FIG. 4 is a flowchart illustrating an example of the operation of the terminal device 10. 4 is a flowchart illustrating an example of the operation of the terminal device 10.
  • FIG. 2 is a block diagram illustrating an example of the visual recognition image GS which concerns on the modification 2.
  • FIG. 1 It is explanatory drawing which shows an example of the visual recognition image GS which concerns on the modification 3. It is explanatory drawing which shows an example of the visual recognition image GS which concerns on the modification 4. It is explanatory drawing which shows an example of the visual recognition image GS which concerns on the modification 5.
  • FIG. It is explanatory drawing which shows an example of the visual recognition image GS which concerns on the modification 6.
  • FIG. It is explanatory drawing which shows an example of the visual recognition image GS which concerns on the modification 6.
  • FIG. It is explanatory drawing which shows an example of the visual recognition image GS which concerns on the modification 7.
  • FIG. 9 It is explanatory drawing which shows an example of a structure of information processing system SYS which concerns on the modification 9.
  • HMD1 head mounted display 1
  • FIG. 1 is an exploded perspective view for explaining an example of the configuration of the HMD 1 according to the present embodiment.
  • FIG. 2 is an explanatory diagram for explaining an example of a usage image of the HMD 1 according to the present embodiment.
  • the HMD 1 includes a terminal device 10 and a wearing tool 90.
  • the terminal device 10 (an example of an “information processing device”) includes a display unit 12 for displaying an image.
  • adopted as the terminal device 10 is assumed as an example.
  • the terminal device 10 may be a dedicated display device for being provided in the HMD 1.
  • the mounting tool 90 is a component for mounting the HMD 1 on the head of the user U as shown in FIG.
  • the mounting tool 90 includes a pair of temples 91L and 91R for mounting the HMD 1 on the head of the user U, a mounting hole 92 for mounting the terminal device 10 to the HMD 1, and the user U using the HMD 1 Is mounted on the head, a pair of through holes 92L and 92R provided so as to correspond to the position where both eyes of the user U exist are provided.
  • a lens may be provided in each of the through holes 92L and 92R.
  • the left eye of the user U is inserted into the mounting hole 92 through the through hole 92L or the lens provided in the mounting hole 92.
  • the display unit 12 included in the terminal device 10 can be visually recognized, and the right eye of the user U is inserted into the attachment hole 92 through the through hole 92R or a lens provided in the through hole 92R.
  • the display unit 12 included in the terminal device 10 can be viewed.
  • the user U wearing the HMD 1 on the head can change the posture of the HMD 1 by changing the posture of the head.
  • introducing device coordinate system sigma S is a coordinate system fixed to the HMD 1.
  • the device coordinate system sigma S for example, has an origin at a predetermined position of the HMD 1, X S axis orthogonal to each other, Y S axis, and an orthogonal coordinate system of the three axes having a Z S axis.
  • FIG. 1 the present embodiment, as shown in FIG.
  • + X S direction is the forward direction viewed from the user U, it becomes left direction + Y S direction as viewed from the user U, + Z S direction such that the upward direction as viewed from the user U, the case where the apparatus coordinate system sigma S is set, it is assumed as an example.
  • the user U wearing the HMD1 the head by changing the posture of the head, the direction of rotation about X S axis, i.e., as HMD1 in the roll direction Q X rotates, it is possible to change the attitude of HMD1, also, the rotational direction around the Y S axis, i.e., as HMD1 the pitch direction Q Y is rotated, it is possible to change the attitude of HMD1, further, direction of rotation about Z S axis, i.e., as HMD1 in the yaw direction Q Z is rotated, it is possible to change the attitude of HMD1.
  • the user U who wears the HMD 1 on the head can change any posture by changing the posture of the head so as to synthesize part or all of the roll direction Q X , the pitch direction Q Y , and the yaw direction Q Z. direction, i.e., so HMD1 is rotated in the rotating direction Q W around any rotational axis W S, it is possible to change the attitude of HMD1.
  • HMD 1 a fixed device coordinate system sigma S to the reference time t0, it referred to as the reference device coordinate system sigma S0.
  • the posture of the HMD1 at the reference time t0 after time t to express HMD1 at the reference time t0 as an angle theta W only rotated attitude in the rotational direction Q W around the rotation axis W S.
  • the apparatus coordinate system ⁇ S at time t after the reference time t 0 is a coordinate axis obtained by rotating each coordinate axis of the reference apparatus coordinate system ⁇ S 0 about the rotation axis W S by an angle ⁇ W. It is expressed as a coordinate system having
  • the terminal device 10 images the virtual space SP-V with the virtual camera CM, which is a virtual camera existing in the virtual space SP-V, and displays a display image GH that is an image indicating the imaging result on the display unit 12.
  • FIG. 3 is an explanatory diagram for explaining the virtual space SP-V.
  • an environment component Ev such as a virtual ground, a mountain, and a forest constituting the virtual space SP-V
  • a virtual Character V a plurality of selection objects CB for representing a plurality of options
  • a confirmation button Bt an example of “predetermined object” for selecting one or a plurality of options from a plurality of options
  • a virtual bulletin board Bd for displaying information about options and a virtual camera CM for imaging the virtual space SP-V are provided.
  • K selection objects CB [1] to CB [K] for representing K choices in the virtual space SP-V (K is , A natural number satisfying K ⁇ 2.
  • K is , A natural number satisfying K ⁇ 2.
  • the kth selection object CB is referred to as a selection object CB [k] (k is a natural number satisfying 1 ⁇ k ⁇ K). ).
  • the virtual camera CM includes a left-eye virtual camera CM-L and a right-eye virtual camera CM-R.
  • V is a coordinate system fixed in the virtual space SP-V.
  • the virtual space coordinate system sigma V for example, has an origin at a predetermined position in the virtual space SP-V, X V axes perpendicular to one another, Y V axis, and orthogonal three axes with Z V axis Coordinate system.
  • FIG. 4 is an explanatory diagram for explaining the virtual camera CM in the virtual space SP-V.
  • FIG. 4 illustrates a case where the virtual space SP-V, viewed in plan from the + Z V direction.
  • FIG. 4 illustrates a case where the virtual camera CM captures the character V from the front direction of the character V.
  • the midpoint between the position PC-L of the virtual camera CM-L in the virtual space SP-V and the position PC-R of the virtual camera CM-R in the virtual space SP-V is This is referred to as position PC.
  • a virtual straight line that intersects the position PC-L and extends in the optical axis direction of the virtual camera CM-L is referred to as a virtual straight line LC-L
  • the position PC- A virtual straight line that intersects with R and extends in the optical axis direction of the virtual camera CM-R is referred to as a virtual straight line LC-R.
  • An imaginary straight line extending to is referred to as a virtual straight line LC (an example of a “virtual line”).
  • the virtual camera CM is considered to be present at the position PC, and the optical axis of the virtual camera CM is considered to be a virtual straight line LC.
  • the extending direction of the virtual straight line LC is the same direction as the extending direction of the virtual straight line LC-L and the virtual straight line LC-R.
  • FIG. 5 is a diagram illustrating an example of a display image GH that is a result of the virtual camera CM capturing the virtual space SP-V. 5, it is assumed that the virtual camera CM images the character V from the front direction of the character V as shown in FIG.
  • the left eye viewing area 12 -L visible through the through-hole 92 ⁇ / b> L in the display unit 12 is captured by the imaging result of the virtual camera CM-L, for example, the virtual camera CM-L.
  • a character image GV-L that is the result of imaging the character V is displayed.
  • the imaging result of the virtual camera CM-R for example, the character V is captured by the virtual camera CM-R.
  • the resulting character image GV-R is displayed. That is, the user U can visually recognize the character image GV-L with the left eye and can visually recognize the character image GV-R with the right eye. Therefore, as illustrated in FIG.
  • the user U represents a virtual object existing in the virtual space SP-V such as the character V as a three-dimensional object on the display unit 12, for example.
  • the visually recognized image GS can be visually recognized.
  • the “three-dimensional object” may be an object arranged in a virtual three-dimensional space.
  • the “three-dimensional object” may be a three-dimensional object arranged in a virtual three-dimensional space, or a two-dimensional object arranged in a virtual three-dimensional space.
  • it may be a one-dimensional object arranged in a virtual three-dimensional space.
  • the “virtual object” may be an object or an area in which a display mode such as a color or a pattern is different from the surroundings in the virtual space SP-V.
  • the camera coordinate system sigma C is a coordinate system fixed to the virtual camera CM in the virtual space SP-V.
  • the camera coordinate system sigma C for example, has an origin at a position PC in the presence of the virtual camera CM of the virtual space SP-V, X C axes perpendicular to one another, Y C-axis, and, Z C axis Is a three-axis orthogonal coordinate system having
  • the + X C direction is the forward direction when viewed from the user U
  • the + Y C direction is the left hand direction when viewed from the user U
  • the + Z C direction is viewed from the user U.
  • X C axis is the same direction as the X S axis
  • Y C axis is the same direction as the Y S axis
  • Z C axis is Z
  • the case where the X C-axis and the virtual straight line LC match is assumed as an example. That is, in the present embodiment, as an example, it is assumed that the virtual straight line LC extends in the forward direction as viewed from the user U wearing the HMD 1.
  • the virtual camera CM is the roll direction QC X is a rotational direction about the X C-axis, a pitch direction QC Y is a rotational direction about the Y C axis, a rotational direction about the Z C axis there the yaw direction QC Z, it is possible to rotate some or all the synthesized arbitrary rotation direction.
  • the virtual camera CM is, the angle in the rotational direction QC W around the rotation axis W C Rotate by ⁇ C.
  • the rotation axis W C is, for example, a straight line that intersects with the position PC, a component of a unit vector that represents the direction of the rotation axis W S in the apparatus coordinate system ⁇ S , and a rotation axis in the camera coordinate system ⁇ C.
  • a component of the unit vector representing the direction of W C is, it is assumed that a straight line the same.
  • the angle ⁇ C is an angle equal to the angle ⁇ W.
  • the camera coordinate system sigma C at the reference time t0 it referred to as the reference camera coordinate system sigma C0.
  • the camera coordinate system sigma C at time t is expressed as a coordinate system having an angle theta C only is rotated coordinate axes about the axis of rotation W C.
  • FIG. 7 to 10 are examples of changes in the visual image GS displayed on the display unit 12 from time t1 to time t5 after the reference time t0.
  • FIG. 7 is an example of a visual image GS displayed on the display unit 12 at time t1.
  • FIG. 8 is an example of a visual image GS displayed on the display unit 12 at time t2 after time t1.
  • FIG. 9 is an example of a visual image GS displayed on the display unit 12 at time t4 after time t2.
  • FIG. 10 is an example of a visual image GS displayed on the display unit 12 at time t5 after time t4.
  • FIG. 11 is an example of a visual image GS displayed on the display unit 12 during a period from time tb1 to time tb5.
  • time tb1 is the same time as the time t5
  • any time in the period from time tb1 to time tb5 is referred to as time tb.
  • a change example of the visual image GS from time t1 to time tb5 shown in FIGS. 7 to 11 may be referred to as a “screen change example”.
  • the virtual straight line LC at time t may be expressed as a virtual straight line LC [t].
  • the visual image GS is a character V that is visually recognized as a three-dimensional object arranged in the virtual space SP-V by the user U wearing the HMD 1.
  • the selected objects CB [1] to CB [K] visually recognized as three-dimensional objects arranged in the virtual space SP-V by the user U and the three-dimensional objects arranged in the virtual space SP-V by the user U
  • the bulletin board Bd visually recognized as a physical object
  • the confirmation button Bt visually recognized as a three-dimensional object disposed in the virtual space SP-V by the user U
  • the virtual space SP-V disposed by the user U Part or all of the environmental component Ev that is visually recognized as a three-dimensional object.
  • the present invention is not limited to such a mode, and the positions of the selection objects CB [1] to CB [K], the bulletin board Bd, and the confirmation button Bt are changed in the virtual space SP-V. Also good.
  • the selected object CB [1] ⁇ CB [K ], BBS Bd, and confirmation button Bt is viewed from the camera coordinate system sigma C, constantly or may be arranged in a fixed position. That is, the selected object CB [1] ⁇ CB [K ], BBS Bd, and confirmation button Bt in accordance with the change in the attitude of the virtual camera CM, may change the position in the virtual space coordinate system sigma V.
  • the virtual straight line LC [t1] intersects with the character V at time t1
  • the virtual straight line LC [t2] intersects with the selected object CB [2] at time t2.
  • the virtual straight line LC [t3] intersects the selected object CB [3] at time t3
  • the virtual straight line LC [t4] intersects the selected object CB [6] at time t4
  • the user U wearing the HMD 1 specifies one or a plurality of selection objects CB from the K choices displayed in the K selection objects CB [1] to CB [K]. Then, by selecting the specified one or more selected objects CB, one or more options corresponding to the one or more selected objects CB can be selected.
  • the user U wearing the HMD 1 first intersects the selected object CB [k] and the virtual straight line LC in the virtual space SP-V (an example of “predetermined positional relationship”).
  • the selected object CB [k] can be specified as the selection target object.
  • the present invention is not limited to such an embodiment, and the user U wearing the HMD 1 has a distance between the selected object CB [k] and the virtual straight line LC equal to or less than a predetermined distance in the virtual space SP-V.
  • the selected object CB [k] may be specified as a selection target object by manipulating the attitude of the HMD 1 so as to be (another example of “predetermined positional relationship”).
  • the selected object CB specified as the selection target object and the selection object CB not specified as the selection target object are displayed in different display forms in the visual image GS. .
  • the selection object CB specified as the selection target object and the selection object CB not specified as the selection target object are displayed in different colors.
  • the present invention is not limited to such an embodiment, and the selection object CB specified as the selection target object and the selection object CB not specified as the selection target object are displayed in different shapes. Alternatively, they may be displayed in different sizes, may be displayed with different brightness, may be displayed with different transparency, or may be displayed in a manner having different patterns. In the screen change examples shown in FIGS.
  • the virtual straight line LC intersects the selection object CB [2], the selection object CB [3], and the selection object CB [6]. For this reason, in the screen change example, the selection object CB [2], the selection object CB [3], and the selection object CB [6] are specified as the selection target objects.
  • the user U wearing the HMD 1 specifies one or a plurality of selection objects CB as selection target objects from the selection objects CB [1] to CB [K] and then selects the virtual space SP ⁇ .
  • the selection button Bt and the virtual straight line LC are specified as a selection target object by manipulating the attitude of the HMD 1 so that the predetermined time length ⁇ T1 (an example of “predetermined time length”) intersects.
  • One or more selected objects CB can be selected.
  • a selection confirmation period An example of “first period”.
  • the screen change examples shown in FIGS. 7 to 11 illustrate cases where the period from time tb1 to time tb5 corresponds to the selection confirmation period.
  • the gauge image GB is displayed on the visual recognition image GS as a virtual object arranged in the virtual space SP-V in the selection confirmation period.
  • FIG. 12 is an explanatory diagram for explaining an example of the gauge image GB in the present embodiment.
  • the gauge image GB includes an image GB1 indicating the time length from the current time to the end time of the selection confirmation period, and the time length from the start time of the selection confirmation period to the current time. And at least one of the images GB2 showing.
  • the ratio of the image GB1 to the gauge image GB decreases with time, and the ratio of the image GB2 to the gauge image GB increases with time. Assume a case. For example, in the example shown in FIG.
  • the gauge image GB may be displayed after a certain time has elapsed from the start time of the selection confirmation period.
  • the gauge image GB is displayed at a position where at least a part of the gauge image GB and at least a part of the confirmation button Bt overlap each other when viewed from the virtual camera CM.
  • the present invention is not limited to such an embodiment.
  • the gauge image GB may be displayed at an arbitrary location on the visual image GS.
  • the virtual straight line LC is the selected object CB [2], the selected object CB [3], and the selected object in the period from the time t1 to the time t5.
  • Crosses CB [6] and then the virtual straight line LC intersects the confirmation button Bt in the selection confirmation period of time length ⁇ T1 from time tb1 to time tb5. Therefore, in the screen change examples shown in FIGS. 7 to 11, the user U wearing the HMD 1 selects the selection object CB [2], the selection object CB [3], and the selection during the period from the time t1 to the time t5.
  • the object CB [6] is specified as the selection target object, and then the selection object CB [2], the selection object CB [3], and the selection object CB [6] in the selection confirmation period from the time tb1 to the time tb5. Can be selected.
  • FIG. 13 is a functional block diagram illustrating an example of the configuration of the terminal device 10.
  • the terminal device 10 includes a display unit 12 for displaying an image, and a control unit 11 that controls each unit of the terminal device 10 and performs display processing for displaying the display image GH on the display unit 12.
  • An operation unit 13 for accepting an operation by the user U of the terminal device 10, an attitude information generation unit 14 that detects an attitude change of the terminal device 10 and outputs attitude information B indicating a detection result,
  • a storage unit 15 for storing various types of information including the control program PRG.
  • the posture information generation unit 14 includes an X-axis angular velocity sensor that detects a posture change in the roll direction Q X per unit time, a Y-axis angular velocity sensor that detects a posture change in the pitch direction Q Y per unit time, It comprises a Z-axis angular velocity sensor for detecting a posture change in the yaw direction Q Z in the unit time, the.
  • the posture information generation unit 14 periodically outputs posture information B indicating detection results by the X-axis angular velocity sensor, the Y-axis angular velocity sensor, and the Z-axis angular velocity sensor.
  • the control unit 11 includes a display control unit 111, an attitude information acquisition unit 112, a specifying unit 113, and a selection unit 114.
  • the posture information acquisition unit 112 acquires the posture information B output from the posture information generation unit 14.
  • the display control unit 111 controls the attitude of the virtual camera CM in the virtual space SP-V based on the attitude information B acquired by the attitude information acquisition unit 112. Then, the display control unit 111 generates image information DS representing the imaging result of the virtual camera CM, and supplies the image information DS to the display unit 12, thereby causing the display unit 12 to display the display image GH.
  • the specifying unit 113 specifies the selected object CB that intersects the virtual straight line LC as a selection target object.
  • the selection unit 114 selects the selected object CB specified by the specifying unit 113 as the selection target object.
  • FIG. 14 is a hardware configuration diagram illustrating an example of a hardware configuration of the terminal device 10.
  • the terminal device 10 includes a processor 1000 that controls each unit of the terminal device 10, a memory 1001 that stores various pieces of information, and posture information B that indicates a detection result by detecting a posture change of the terminal device 10. Is provided, a display device 1003 capable of displaying various images, and an input device 1004 for receiving an operation by the user U of the terminal device 10.
  • the terminal device 10 is grasped as an “information processing device”, but the present invention is not limited to such an aspect, and the processor 1000 provided in the terminal device 10 is referred to as an “information processing device”. May be grasped.
  • the memory 1001 is a non-transitory recording medium.
  • a volatile memory such as a RAM (Random Access Memory) functioning as a work area of the processor 1000, a control program PRG of the terminal device 10, and the like.
  • a non-volatile memory such as an EEPROM (Electrically Erasable Programmable Read-Only Memory) that stores various types of information, and functions as the storage unit 15.
  • the memory 1001 is exemplified as the “recording medium” on which the control program PRG is recorded, but the present invention is not limited to such a mode.
  • the “recording medium” in which the control program PRG is recorded may be a storage device provided in an external device existing outside the terminal device 10.
  • the “recording medium” on which the control program PRG is recorded may be a storage device that exists outside the terminal device 10 and is provided in a distribution server that distributes the control program PRG and records the control program PRG.
  • the processor 1000 is a CPU (Central Processing Unit), for example, and functions as the control unit 11 by executing the control program PRG stored in the memory 1001 and operating according to the control program PRG.
  • the angular velocity sensor 1002 includes the X-axis angular velocity sensor, the Y-axis angular velocity sensor, and the Z-axis angular velocity sensor, and functions as the posture information generation unit 14.
  • the display device 1003 and the input device 1004 are touch panels, for example, and function as the display unit 12 and the operation unit 13.
  • the display device 1003 and the input device 1004 may be configured separately.
  • the input device 1004 may be configured by one or a plurality of devices including part or all of a pointing device such as a touch panel, operation buttons, a keyboard, a joystick, and a mouse.
  • the processor 1000 includes hardware such as a GPU (Graphics-Processing Unit), a DSP (Digital Signal-Processor), or an FPGA (Field Programmable Gate-Array) in addition to or instead of the CPU. It may be done. In this case, part or all of the control unit 11 realized by the processor 1000 may be realized by hardware such as a DSP. Further, the processor 1000 may include a part or all of one or more CPUs and one or more hardware elements. For example, when the processor 1000 is configured to include a plurality of CPUs, some or all of the functions of the control unit 11 may be realized by the plurality of CPUs operating in cooperation with each other according to the control program PRG. .
  • 15 and 16 are flowcharts showing an example of the operation of the terminal device 10 when the terminal device 10 executes a display process for displaying the display image GH on the display unit 12.
  • a case is assumed in which the terminal device 10 starts the display process when the user U inputs a predetermined start operation for starting the display process from the operation unit 13.
  • the display control unit 111 executes an initialization process (S100). Specifically, in the initialization process of step S100, the display control unit 111 displays the selected object CB, the confirmation button Bt, the bulletin board Bd, the character V, the environmental component Ev, and the like in the virtual space SP-V. It is arranged at a predetermined position in the space SP-V or at a random position in the virtual space SP-V. Further, the display control unit 111 sets the attitude of the virtual camera CM in the virtual space SP-V to a predetermined initial attitude in the initialization process of step S100.
  • the display control unit 111 determines the time when the initialization process is completed as the reference time t0, and determines the attitude of the HMD 1 at the reference time t0 as the “reference attitude” (S102).
  • the display control unit 111 in step S102, the device coordinate system sigma S at the reference time t0, defined as the reference device coordinate system sigma S0.
  • the display control unit 111 in step S102, when viewed from the user U wearing the HMD 1, so that the direction of each coordinate axis of the camera coordinate system sigma C is equal to the direction of each coordinate axis of the device coordinate system sigma S, setting the camera coordinate system sigma C.
  • the display control unit 111 in step S102, the camera coordinate system sigma C at the reference time t0, defined as the reference camera coordinate system sigma C0.
  • the virtual straight line LC at the reference time t0 is referred to as a reference straight line LC0.
  • the posture information acquisition unit 112 acquires posture information B from the posture information generation unit 14 (S104).
  • the display control unit 111 calculates a posture change dB from the reference posture of the HMD 1 based on the posture information B acquired by the posture information acquisition unit 112 in step S104 (S106).
  • the display control unit 111 represented as an example, the posture change dB, a rotary shaft W S when viewed in the reference device coordinate system sigma S0, and the angle theta W around the rotation axis W S, by I decided to.
  • posture change dB is the rotation axis W S in the reference device coordinate system sigma S0 and to include a direction vector, and a value indicating the angle theta W, a.
  • the posture change dB may be expressed by any other expression method.
  • the posture change dB indicates the posture change from the reference device coordinate system sigma S0 to the apparatus coordinate system sigma S, may be those represented by the posture transformation matrix device coordinate from the reference device coordinate system sigma S0 It shows the change in the posture of the system sigma S, or may be expressed by the quaternion.
  • the display control unit 111 determines the attitude of the virtual camera CM in the virtual space SP-V based on the attitude change dB calculated in step S106 (S108). Specifically, in step S108, the display control unit 111, first, on the basis of the rotation axis W S indicated by the posture change dB calculated in step S106, it sets the rotation axis W C, also in the posture change dB The angle ⁇ C is set based on the angle ⁇ W shown. Next, the display control unit 111, a camera coordinate system sigma C, by setting the reference camera coordinate system sigma C0 as a rotation axis W C coordinate system is rotated by an angle theta C around, the attitude of the virtual camera CM decide.
  • the display control unit 111 in step S108, the virtual straight line LC, to set the reference line LC0 as a straight line is rotated by an angle theta C to the rotation axis W C around.
  • HMD 1 is from the reference position, when rotated by an angle theta W with respect to the yaw direction Q Z around Z S axis, the display control unit 111, a camera coordinate system sigma C, the reference camera coordinate system sigma C0 Z by determining a coordinate system having an attitude which has only the rotation angle theta W around the C-axis, to determine the attitude of the virtual camera CM.
  • HMD 1 is from the reference position, when rotated by an angle theta W with respect to the pitch direction Q Y around Y S axis, the display control unit 111, a camera coordinate system sigma C, the reference camera coordinate system sigma C0 the by determining a coordinate system having an attitude which has only the rotation angle theta W around Y C axis, to determine the attitude of the virtual camera CM.
  • HMD 1 is from the reference position, it rotates relative to the roll direction Q X around X S axis by an angle theta W, the display control unit 111, a camera coordinate system sigma C, the reference camera coordinate system sigma C0 the by determining a coordinate system having a position rotated by an angle theta W around the X C-axis, to determine the attitude of the virtual camera CM.
  • the identifying unit 113 determines whether or not the selected object CB [1] to CB [K] includes the selected object CB [k] that intersects the virtual straight line LC (S110).
  • the specifying unit 113 includes the extending direction of the virtual straight line LC in the range of the direction in which the selected object CB [k] exists when viewed from the virtual camera CM (in addition to “predetermined positional relationship”). It may be determined whether or not the selected object CB [k] exists in the selected objects CB [1] to CB [K].
  • the specifying unit 113 includes a selection object CB [k] in which the distance from the virtual straight line LC is equal to or less than a predetermined distance among the selection objects CB [1] to CB [K]. It may be determined whether or not.
  • step S110 determines whether or not the selected object CB [k] that intersects the virtual straight line LC is specified as a selection target object (S112). If the virtual straight line LC and the selected object CB [k] continue to intersect in the period from the time before the current time to the current time, the specifying unit 113 continues the intersection in step S112.
  • intersection period The result of determination at the start time of the period to be executed (hereinafter referred to as “intersection period”) is maintained.
  • step S112 If the result of the determination in step S112 is negative, the specifying unit 113 specifies the selected object CB [k] that has been determined to intersect the virtual straight line LC in step S110 as the selection target object (S114). Then, the display control unit 111 sets the color of the selected object CB [k] specified as the selection target object by the specifying unit 113 in step S114 to a color representing the selection target object (S116).
  • the specifying unit 113 excludes the selected object CB [k] determined to intersect the virtual straight line LC in step S110 from the selection target object (S118). That is, when the virtual straight line LC starts to intersect again with the selection object CB [k] that the specification unit 113 specified in the past as the selection target object in step S118, the specification unit 113 selects the selection object CB [k ] As a selection target object is canceled. Then, the display control unit 111 sets the color of the selected object CB [k], which is not specified as the selection target object in step S118 by the specification unit 113, to a color indicating that it is not the selection target object (S120). .
  • the display control unit 111 generates image information DS indicating a result of imaging the virtual space SP-V by the virtual camera CM, and supplies the image information DS to the display unit 12, so that the display unit 12
  • the display image GH is displayed (S122).
  • step S110 determines whether or not the virtual straight line LC and the confirmation button Bt intersect (S130). If the result of the determination in step S130 is negative, the selection unit 114 proceeds with the process to step S122.
  • step S130 determines whether or not the elapsed time since the intersection of the virtual straight line LC and the confirmation button Bt is equal to or longer than the time length ⁇ T1 (S132). ). If the result of the determination in step S132 is affirmative, the selection unit 114 selects one or more selected objects CB identified as the selection target object from the selected objects CB [1] to CB [K] (S134). Thereafter, the process proceeds to step S122. If the determination result in step S132 is negative, the display control unit 111 places the gauge image GB in the virtual space SP-V (S136), and then advances the process to step S122.
  • a condition for selecting one or a plurality of selected objects CB specified as a selection target object is referred to as a selection condition (an example of “predetermined condition”).
  • the selection condition is a condition that the virtual straight line LC and the confirmation button Bt intersect over the time length ⁇ T1.
  • the virtual straight line LC extends in a direction determined according to the posture change dB calculated based on the posture information B. That is, the extending direction of the virtual straight line LC is defined by the posture information B.
  • the selection condition which is a condition related to the virtual straight line LC, is a condition related to the posture information B.
  • the display control unit 111 determines whether or not the user U has input a predetermined end operation for ending the display process from the operation unit 13 (S ⁇ b> 124). If the result of the determination in step S124 is negative, the display control unit 111 advances the process to step S104. If the result of the determination in step S124 is affirmative, the display control unit 111 ends the display process.
  • the display control unit 111 determines the extending direction of the virtual straight line LC based on the posture information B indicating the posture change of the HMD 1.
  • the specifying unit 113 specifies the selection object CB as a selection target object based on the positional relationship between the virtual straight line LC and the selection object CB.
  • the selection unit 114 selects the selection object CB specified as the selection target object based on the positional relationship between the virtual straight line LC and the confirmation button Bt.
  • the user U wearing the HMD 1 changes the attitude of the HMD 1 to change the attitude of the virtual camera CM in the virtual space SP-V, and the selected object CB. It becomes possible to specify the selection target object and to select the selection object CB specified as the selection target object. That is, according to this embodiment, the user U wearing the HMD 1 can input various instructions by changing the posture of the HMD 1.
  • the selection unit 114 selects the selection object CB when the virtual straight line LC and the confirmation button Bt intersect, on the assumption that the selection object CB is specified as the selection target object. . Therefore, according to the present embodiment, for example, when the selection object CB intersects the virtual straight line LC regardless of whether or not the selection object CB is specified as the selection target object, the selection object CB Compared to the selected mode (Reference Example 1), it is possible to reduce the possibility that the selection object CB is erroneously selected against the intention of the user U wearing the HMD 1.
  • the user U wearing the HMD 1 can specify the selected object CB by intersecting the virtual straight line LC and the selected object CB for a time shorter than the time length ⁇ T1.
  • the user U wearing the HMD 1 specifies one or a plurality of selection objects CB to be selected, and then intersects the virtual straight line LC and the confirmation button Bt by the time length ⁇ T1.
  • One or more selected objects CB can be selected.
  • the virtual straight line LC is timed for each of the plurality of selection objects CB.
  • the selection object CB specified as the selection target object and the selection object CB not specified as the selection target object are displayed in different display modes. Therefore, according to the present embodiment, the user U wearing the HMD 1 can easily grasp whether or not each selected object CB is specified as a selection target object.
  • the specification unit 113 specifies the selection object CB regardless of the duration of the intersection of the virtual straight line LC and the selection object CB.
  • the present invention is not limited to such an embodiment.
  • the specifying unit 113 may specify the selection object CB when the virtual straight line LC and the selection object CB continue to intersect for a predetermined time length.
  • the specifying unit 113 selects the selection object CB when the virtual straight line LC and the selection object CB continue to intersect for a time length ⁇ T2 (an example of “reference time”) shorter than the time length ⁇ T1. Is identified. Further, in the present modification, as illustrated in FIG. 17, the display control unit 111 performs the selection in the intersection period from the start of the intersection of the virtual straight line LC and the selected object CB until the time length ⁇ T2 elapses.
  • a gauge image GC is arranged at a position corresponding to the object CB. In the present modification, the gauge image GC may be an image having a display mode in which the remaining time of the intersection period can be visually grasped, similarly to the gauge image GB.
  • the gauge image GC is an image including at least one of an image GC1 indicating the time length from the current time to the end time of the intersection period and an image GC2 indicating the time length from the start time of the intersection period to the current time.
  • the gauge image GC is displayed on the visual image GS simultaneously with the start of the intersection period.
  • the gauge image GC may be displayed after a certain time has elapsed from the start of the intersection period.
  • the selected object CB and the virtual straight line LC continue to intersect over the time length ⁇ T2, the selected object CB is specified. For this reason, according to the present modification, it is possible to reduce the possibility that the selected object CB is erroneously identified as compared with the aspect identified when the selected object CB intersects the virtual straight line LC.
  • the display control unit 111 displays the selection object CB [k] in the selection confirmation period in the same display manner as the selection object CB [k] before the selection confirmation period starts.
  • the display control unit 111 may display the selection object CB [k] in the selection confirmation period in a display mode different from the selection object CB [k] before the selection confirmation period is started.
  • FIG. 18 is an example of a visually recognized image GS according to this modification.
  • the display control unit 111 displays the visual image GS shown in FIGS. 7 to 9 on the display unit 12 from time t1 to time t4, and then the visual recognition shown in FIG. 18 from time tb1 to time tb5.
  • the image GS is displayed on the display unit 12.
  • the display control unit 111 refers to the selection object CB [k] in the selection confirmation period from time tb1 to time tb5 and the selection object CB [k] in the period from time t1 to time t4. Display in different display modes.
  • the display control unit 111 selects the selection object CB [k] in the selection confirmation period before the selection confirmation period starts.
  • the object CB [k] is displayed in a manner that is easier to visually recognize.
  • “display in an easily visible manner” means, for example, that the color of the selection object CB [k] is dark, the size of the selection object CB [k] is increased, or the selection object CB [ The concept may include a part or all of lowering the transparency of k] (making it opaque) and increasing the brightness of the selected object CB [k] (displaying it in a bright color).
  • the display control unit 111 selects the selection object CB [k] in the selection confirmation period as the selection object CB [before the selection confirmation period starts. k] is displayed in a manner that is less visible than k].
  • “display in a form that is difficult to be visually recognized” means, for example, that the color of the selection object CB [k] is light, that the size of the selection object CB [k] is small, or that the selection object CB [ The concept may include a part or all of increasing the transparency of k] (making it transparent) and reducing the brightness of the selected object CB [k] (displaying in a dark color).
  • the display control unit 111 includes a selection object CB that is specified as a selection target object and a selection object CB that is not specified as a selection target object when the selection confirmation period starts. Any one of the display modes may be changed.
  • the selection confirmation period when the selection confirmation period is started, at least one of the selection object CB specified as the selection target object and the selection object CB not specified as the selection target object.
  • the display mode of is changed.
  • the user U wearing the HMD 1 is not able to change the selection confirmation period when the display mode of the selection object CB [k] is not changed when the selection confirmation period is started.
  • the user U wearing the HMD 1 can easily grasp the selected object CB [k] to be selected.
  • the display control unit 111 does not change the display mode of the selection object CB [k] that is not specified as the selection target object in the period before the selection confirmation period starts.
  • the present invention is not limited to such an embodiment.
  • the display control unit 111 may change the display mode of the selection object CB [k] that is not specified as the selection target object in the period before the selection confirmation period is started. For example, the display control unit 111 displays the selection object CB [k] not specified as the selection target object at the timing when the selection target object is first specified from the selection objects CB [1] to CB [K]. You may change an aspect.
  • the display control unit 111 starts from the timing when the selection target object is first identified among the selection objects CB [1] to CB [K] until the selection determination period ends (the “first”
  • the display mode of the selected object CB that is not specified as the selection target object in an example of “two periods” may be different from the display mode before the start of the pre-selection period.
  • FIG. 19 is an example of a visually recognized image GS according to this modification.
  • the display control unit 111 displays the visual image GS shown in FIG. 7 on the display unit 12 at time t1, and then displays the visual image GS shown in FIG. 19 on the display unit 12 at time t2.
  • the display control unit 111 selects the selection object CB [2] from the selection objects CB [1] to CB [6] at the time t2 when the selection object CB [2] is specified as the first selection target object.
  • the display mode of the selected objects CB [k] other than the selected object CB [2] not specified as the target object is changed to a display mode that is less visible than the display mode at time t1.
  • the user U wearing the HMD 1 can easily grasp the selected object CB specified as the selection target object.
  • the selection unit 114 is specified as the selection target object when the selection condition that the virtual straight line LC and the confirmation button Bt continue to intersect over the time length ⁇ T1 is satisfied.
  • One or more selection objects CB are selected, but the present invention is not limited to such a mode.
  • the selection unit 114 may select one or a plurality of selection objects CB specified as a selection target object when the virtual straight line LC and the selection object CB continue to cross over the time length ⁇ T1. That is, the selection condition may be a condition that the virtual straight line LC and the selection object CB continue to intersect over the time length ⁇ T1.
  • FIG. 20 is an example of a visually recognized image GS according to this modification.
  • the display control unit 111 displays the visual image GS shown in FIGS. 7 to 9 on the display unit 12 from time t1 to time t4, and then at time tc, which is later than time t4.
  • the visual image GS shown in FIG. 20 is displayed on the display unit 12.
  • the display control unit 111 displays a gauge at a position corresponding to the selection object CB.
  • the image GB is displayed.
  • the time length ⁇ T2 is shorter than the time length ⁇ T1.
  • the selection unit 114 selects one or a plurality of selection objects CB specified as the selection target object when the virtual straight line LC and the selection object CB continue to intersect over the time length ⁇ T1.
  • the user U wearing the HMD 1 intersects the virtual straight line LC with the single selection object CB to thereby specify one or more selection objects CB specified as the selection target object. Can be selected.
  • the plurality of selection objects CB can be selected in a shorter time than in the second reference example. It becomes possible to select.
  • the display of the visual image GS can be simplified compared to the mode in which the confirmation button Bt is displayed in the visual image GS.
  • the selection condition is that an arbitrary selection object CB [k] of the selection objects CB [1] to CB [K] and the virtual straight line LC continue to cross over the time length ⁇ T1.
  • the present invention is not limited to such an embodiment.
  • the selection condition is specified as the Mth selection object.
  • the selection object CB and the virtual straight line LC may continue to cross over the time length ⁇ T1 (M is a natural number satisfying 1 ⁇ M ⁇ K).
  • the selection unit 114 is specified as the selection target object when the selection condition that the virtual straight line LC and the confirmation button Bt or the selection object CB intersect is satisfied.
  • One or more selection objects CB are selected, but the present invention is not limited to such a mode.
  • the selection unit 114 selects one or more selected objects CB specified as the selection target object. You may choose.
  • HMD 1 roll rotating state is a state in which the rotation angle ⁇ th or the X S axis of the roll direction Q X from the reference attitude, the duration ⁇ T1 above, selected objects One or a plurality of selection objects CB specified as is selected. That is, in this modification, the posture condition of the posture change dB from the reference posture of the HMD 1, the roll rotating state angle indicated by the rotational component in the roll direction Q X around X S axis is angle ⁇ th or more, The condition is that the duration continues for a time length ⁇ T1 or more.
  • the XS axis is an example of a “predetermined reference axis”
  • the angle ⁇ th is an example of a “predetermined angle”.
  • FIG. 21 is an example of a visually recognized image GS according to this modification.
  • the display control unit 111 displays the visual image GS shown in FIGS. 7 to 9 on the display unit 12 from the time t1 to the time t4, and then in the selection confirmation period from the time tb1 to the time tb5.
  • a visual image GS shown in FIG. 21 is displayed on the display unit 12.
  • the selection decision period, HMD 1 is for rotating angle ⁇ th or more from the reference posture in a roll direction Q X, rotating angle ⁇ th or the camera coordinate system sigma C from the reference camera coordinate system sigma C0 in the roll direction QC X . Therefore, in this modification, the selection decision period, as shown in FIG.
  • the user U wearing the HMD1 by tilting the HMD1 in the roll direction Q X, can select one or more selected objects CB has been identified as a selected object. Therefore, according to the present modification, the user U wearing the HMD 1 can select one or a plurality of selection objects CB by an easy operation as compared with the reference example 2, for example. Further, according to this modification, it is not necessary to display the confirmation button Bt for selecting one or a plurality of selection objects CB specified as the selection target object in the visual image GS. For this reason, according to this modification, the display of the visual image GS can be simplified compared to the mode in which the confirmation button Bt is displayed in the visual image GS.
  • the specifying unit 113 specifies the selected object CB as a selection target object when the virtual straight line LC intersects the selected object CB.
  • the present invention is not limited to such an embodiment. For example, even when the virtual straight line LC and the selection object CB intersect, the specifying unit 113 selects the selection object CB as the selection target object when the predetermined specific avoidance condition regarding the posture information B is satisfied. It is good also as not specifying as.
  • the identifying unit 113 a virtual straight line LC, even if where the selected object CB crossed, roll HMD1 has rotated angle ⁇ th or more from the reference posture X S axis of the roll direction Q X
  • the specific avoidance condition is a condition that the HMD 1 is in the roll rotation state.
  • the posture of the HMD 1 in the roll rotation state is an example of “predetermined posture”.
  • the display control unit 111 displays the visual image GS shown in FIGS. 7 to 8 on the display unit 12 from time t1 to time t2, and then from time t3 to time t4 from FIGS. 22 to 23. Is displayed on the display unit 12.
  • the specifying unit 113 specifies the selected object CB [3] as the selection target object even when the virtual straight line LC [t3] and the selected object CB [3] intersect at the time t3. Avoid being.
  • the specifying unit 113 specifies the selection object CB [6] that intersects the virtual straight line LC [t4] as the selection target object at time t4.
  • the user U wearing the HMD 1 operates the posture of the HMD 1 so that the HMD 1 is in the roll rotation state even when the virtual straight line LC and the selected object CB intersect. By doing so, it is possible to avoid the selection object CB being specified as the selection target object. Therefore, according to the present modification, for example, the HMD 1 is mounted even when the plurality of selected objects CB [1] to CB [K] are densely arranged in the virtual space SP-V. The user U can easily avoid the selection object CB that is not intended to be selected as the selection target object being erroneously specified as the selection target object.
  • the specifying unit 113 avoids specifying the selection object CB as the selection target object when the HMD 1 is in the roll rotation state, but the present invention is limited to such an aspect. It is not a thing.
  • the specification unit 113 avoids specifying the selection object CB as a selection target object, and when the HMD 1 is in a roll rotation state, the selection object CB is a selection target. It may be specified as an object.
  • the specifying unit 113 specifies the selection object CB when the virtual straight line LC and the selection object CB intersect, but the present invention is limited to such an aspect. It is not something.
  • the specifying unit 113 may specify the selected object CB as a selection target object only when the trajectory PL of the intersection of the virtual straight line LC and the selected object CB satisfies a predetermined trajectory condition.
  • the trajectory condition may be any condition as long as it is a geometric condition regarding the trajectory PL.
  • 24 and 25 are explanatory diagrams for explaining the trajectory conditions. 24 and 25, the intersection of the virtual straight line LC and the selected object CB [k] starts at time tk1, and the intersection of the virtual straight line LC and the selected object CB [k] ends at time tk2. The case is illustrated. 24 and 25, the time between time tk1 and time tk2 is expressed as time tk. 24 and 25, the locus PL at a predetermined time including the time tk1 is expressed as a locus PL [tk1], and the locus PL at the predetermined time including the time tk2 is represented as a locus PL [tk2].
  • trajectory PL from time tk1 to time tk is expressed as trajectory PL [tk1] [tk]
  • trajectory PL [tk] [tk2] the trajectory PL from time tk to time tk2.
  • the trajectory condition includes a unit vector indicating the change direction of the trajectory PL [tk1] and a unit vector indicating a direction opposite to the change direction of the trajectory PL [tk2]. It may be a condition that the angle ⁇ 12 formed by is less than a predetermined reference angle (for example, 90 degrees).
  • the trajectory condition is that a distance DC between a virtual straight line LC [tk1] at time tk1 and a virtual straight line LC [tk2] at time tk2 is a predetermined reference distance.
  • the condition may be that: In the present modification, for example, as shown in FIG.
  • the trajectory condition is that the intersection of the virtual straight line LC [tk1] and the selected object CB [k] at time tk1 and the virtual straight line LC [tk2] at time tk2 and the intersection of the selected object CB [k] is, among the plurality of sides having the selected object CB, the same side, for example, it may be a condition that is located in + Z V side edges.
  • the trajectory condition may be, for example, a condition that the trajectory PL [tk1] [tk] and the trajectory PL [tk] [tk2] intersect as shown in FIG.
  • the selection object CB is specified as the selection target object only when the locus PL of the intersection between the virtual straight line LC and the selection object CB satisfies a predetermined locus condition. For this reason, according to the present modification, for example, the possibility that the selected object CB is erroneously specified is reduced as compared with the aspect in which the selected object CB is specified at the time of intersecting the virtual straight line LC. it can.
  • the posture information B indicates the detection result of the posture change of the terminal device 10, but the present invention is not limited to such a mode.
  • the posture information B may be information indicating the posture of the terminal device 10 viewed from a coordinate system fixed on the ground, for example.
  • the posture information generation unit 14 may include, for example, one or both of an acceleration sensor and a geomagnetic sensor.
  • the posture information B may be information indicating an image that is provided outside the HMD 1 and is output from an imaging device that captures the HMD 1.
  • FIG. 26 is a block diagram showing an example of the configuration of the information processing system SYS according to this modification.
  • the information processing system SYS includes an information processing device 20 and a head mounted display 1A that can communicate with the information processing device 20.
  • the information processing apparatus 20 may include, for example, the control unit 11, the operation unit 13, and the storage unit 15.
  • the head mounted display 1A includes an operation unit 31 that receives an operation by the user U wearing the head mounted display 1A, a storage unit 32 that stores various types of information, May be provided.
  • the virtual straight line LC represents the optical axis of the virtual camera CM, but the present invention is not limited to such an aspect.
  • the HMD 1 has an eye tracking function for measuring the direction of the line of sight of the user U wearing the HMD 1, the line of sight of the user U measured by the eye tracking function may be set as the virtual straight line LC.
  • a recording medium includes a processor (for example, the processor 1000) of an information processing device (for example, the terminal device 10), a virtual space (for example, a selection object CB) in which a plurality of selection objects (for example, a selection object CB) are arranged , A virtual space SP-V) captured by a virtual camera (for example, virtual camera CM), and a stereoscopic image using binocular parallax is displayed on a head-mounted display (for example, HMD1)
  • a display control unit for example, display control unit 111) to be displayed on (for example, display unit 12) and an acquisition unit (for example, posture information acquisition) that acquires posture information (for example, posture information B) regarding the posture of the head mounted display.
  • a virtual line having a direction corresponding to the posture information and intersecting the virtual camera for example, virtual straight line LC
  • the complex line When one of the selected objects has a predetermined positional relationship (for example, a crossing relationship), a specifying unit (for example, the specifying unit 113) that specifies the one selected object, and the specifying unit
  • a selection When one or more selected objects among the plurality of selected objects are specified, a selection that selects the one or more selected objects when a predetermined condition (for example, a selection condition) related to the posture information is satisfied
  • a non-transitory recording medium for example, the memory 1001 that records a program (for example, the control program PRG) characterized by functioning as a unit (for example, the selection unit 114)
  • a program for example, the control program PRG
  • the selected object when the virtual line having the direction based on the posture information and the selected object have a predetermined positional relationship, the selected object is specified.
  • the specified one or a plurality of selected objects are selected. Is done. That is, according to this aspect, the selection of the selected object and the selection of the specified selected object are executed based on the posture information regarding the posture of the head mounted display. Therefore, according to this aspect, the user wearing the head mounted display can select one or a plurality of selection objects based on the posture of the head mounted display.
  • the aspect (henceforth the said selection object is selected) (Referred to as “Reference Example 1”).
  • the reference example 1 when the operation related to the posture of the head mounted display is not appropriately executed, there is a possibility that a selection object different from the desired selection object is erroneously selected.
  • the selection object when a desired selection object is specified, the selection object is selected. For this reason, according to this aspect, compared with the reference example 1, it is possible to reduce a possibility that a selection object different from a desired selection object is erroneously selected.
  • the virtual line and the one selection object maintain a predetermined positional relationship for a predetermined time length.
  • a mode in which one selected object is selected (hereinafter referred to as “Reference Example 2”) is also conceivable.
  • Reference Example 2 As the number of selection objects to be selected increases, the time required for selection increases, and the load on the user wearing the head mounted display increases.
  • the user wearing the head-mounted display can select the virtual line and the two or more selected objects.
  • the two or more selected objects are You can choose.
  • the number of selection objects to be selected increases, it is possible to suppress the extent of the time required for selection.
  • the degree of increase in the load on the user wearing the head mounted display is suppressed. It becomes possible.
  • the “selected object” may be, for example, a virtual object existing in the virtual space or a specific area existing in the virtual space.
  • the area may be an area separated from the surroundings by a color or a pattern.
  • the “specific region existing in the virtual space” may be, for example, a straight line, a curve, or a line segment having a one-dimensional extent in the virtual space, or may be two-dimensional in the virtual space. It may be a quadrilateral, a triangle, or a circle that has a wide spread, or a solid or a curved surface that has a three-dimensional spread in a virtual space.
  • the “plurality of selected objects” may be, for example, a plurality of areas provided on the surface of the display object arranged in the virtual space.
  • the “virtual camera” refers to, for example, a first virtual camera that images a virtual space and a second virtual image that captures the virtual space from a position different from the first virtual camera in the virtual space.
  • a virtual camera a virtual camera.
  • the “stereoscopic image” refers to, for example, a left-eye image obtained by capturing the virtual space with the first virtual camera and viewed by the user with the left eye, and the virtual space to the second virtual camera. And an image for the right eye for the user to visually recognize with the right eye.
  • the “head mounted display” may be a display device that can be mounted on the head, for example.
  • the “head-mounted display” may be a goggle-type or glasses-type display device that can be attached to the head.
  • the “head mounted display” may include, for example, a wearing device that can be worn on the head and a portable display device such as a smartphone that is attached to the wearing device. Good.
  • the “head mounted display attitude” may be, for example, the orientation of the head mounted display, the tilt of the head mounted display, or the orientation and inclination of the head mounted display. It may be a concept including both.
  • the “direction of the head-mounted display” may be, for example, a direction in which the head-mounted display is facing in real space, or an angle formed between the reference direction of the head-mounted display and the magnetic north direction.
  • the “tilt of the head mounted display” may be an angle formed by the reference direction of the head mounted display and the vertical direction, for example.
  • the “posture information” may be, for example, information indicating the posture of the head mounted display or information indicating the posture change of the head mounted display.
  • the “acquisition unit” may acquire posture information from a head mounted display, or may acquire posture information from an imaging device that images the head mounted display.
  • the head mounted display may include a sensor for detecting information indicating the posture change of the head mounted display, and indicates the posture of the head mounted display.
  • a sensor for detecting information may be provided.
  • the “sensor for detecting information indicating the posture change of the head mounted display” may be, for example, an angular velocity sensor.
  • the “sensor for detecting information indicating the posture of the head mounted display” may be, for example, one or both of a geomagnetic sensor and an acceleration sensor.
  • the posture information may be an image indicating a result of imaging the head-mounted display by the imaging device, for example.
  • the “virtual line” may be, for example, a straight line extending in the direction in which the virtual camera faces in the virtual space. More specifically, the “virtual line” may be an optical axis of a virtual camera, for example. The “virtual line” may be a straight line extending in the direction of the line of sight of the user wearing the head mounted display, for example. In this case, the head mounted display may have an eye tracking function for detecting the direction of the line of sight of the user wearing the head mounted display.
  • the virtual line and the selected object have a predetermined positional relationship may be, for example, that the virtual line and the selected object intersect. Further, “the virtual line and the selected object have a predetermined positional relationship” may be, for example, that the interval between the virtual line and the selected object is equal to or less than a predetermined distance.
  • the “predetermined condition” may be a condition related to a virtual line having a direction according to the posture information, or may be a condition related to the posture of the head mounted display indicated by the posture information. However, it may be a condition relating to a change in posture of the head mounted display indicated by the posture information.
  • the “condition relating to a virtual line having a direction according to posture information” refers to, for example, a virtual line having a direction according to posture information and a predetermined object that is a virtual object arranged in the virtual space. However, it may be a condition of having a predetermined positional relationship.
  • condition relating to a virtual line having a direction according to posture information refers to, for example, a virtual line having a direction according to posture information and a predetermined object that is a virtual object arranged in the virtual space.
  • the condition may be that the predetermined positional relationship is maintained in the first period having a predetermined time length.
  • condition relating to the virtual line having the direction according to the posture information means, for example, that the virtual line having the direction according to the posture information and one selected object specified by the specifying unit have a predetermined time.
  • the condition may be that the predetermined positional relationship is maintained in the first period having a long length.
  • the “condition related to the posture of the head mounted display indicated by the posture information” is, for example, a posture in which the posture of the head mounted display indicated by the posture information is rotated by a predetermined angle or more from the reference posture around a predetermined reference axis. It may be a condition that there is.
  • the “condition relating to the change in the posture of the head mounted display indicated by the posture information” is, for example, a condition that the posture of the head mounted display indicated by the posture information rotates about a predetermined angle around a predetermined reference axis. There may be.
  • a recording medium according to another aspect of the present invention is the recording medium according to attachment 1, wherein the selection unit includes the virtual line and a predetermined object (for example, a confirmation button Bt) arranged in the virtual space. Select the one or more selection objects when they have the predetermined positional relationship.
  • a predetermined object for example, a confirmation button Bt
  • the selected object specified by the specifying unit is selected. For this reason, according to this aspect, it is possible to reduce the possibility that a selection object different from the selection object to be selected is erroneously selected as compared with the reference example 1.
  • the user wearing the head-mounted display can select a virtual line and each of the two or more selected objects. By changing the posture of the head-mounted display so that the virtual line and the predetermined object have a predetermined positional relationship, thereby changing the 2 The above selected objects can be selected. For this reason, according to this aspect, compared with the reference example 2, when the number of selection objects to be selected increases, it is possible to suppress the extent of the time required for selection.
  • the “predetermined object” may be, for example, a virtual object that exists in the virtual space, or a specific area that exists in the virtual space.
  • a recording medium according to another aspect of the present invention is the recording medium according to attachment 1, wherein the selection unit has a posture of the head mounted display indicated by the posture information that is a predetermined reference axis (for example, XS). Selecting one or a plurality of selected objects when the posture is rotated by a predetermined angle (for example, angle ⁇ th) or more from a reference posture (for example, the posture of HMD1 at reference time t0) around the axis) Features.
  • a predetermined reference axis for example, XS
  • the selected object specified by the specifying unit is selected when the posture of the head mounted display rotates more than a predetermined angle around a predetermined reference axis. For this reason, according to this aspect, it is possible to reduce the possibility that a selection object different from the selection object to be selected is erroneously selected as compared with the reference example 1. In addition, according to this aspect, even when two or more selected objects are selected from among a plurality of selected objects, the user wearing the head-mounted display can select a virtual line and each of the two or more selected objects.
  • the posture of the head mounted display so that the head mounted display has a predetermined positional relationship, and then changing the posture of the head mounted display so that the head mounted display rotates more than a predetermined angle around a predetermined reference axis.
  • the selected object can be selected. For this reason, according to this aspect, compared with the reference example 2, when the number of selection objects to be selected increases, it is possible to suppress the extent of the time required for selection.
  • the “predetermined reference axis” may be, for example, a straight line extending in a predetermined direction when viewed from the user wearing the head mounted display.
  • the “predetermined reference axis” may be, for example, a straight line extending in the forward direction when viewed from the user wearing the head mounted display. That is, in the above aspect, “an attitude rotated by a predetermined angle or more from a reference attitude around a predetermined reference axis” is, for example, an attitude rotated by a predetermined angle or more in the roll direction as viewed from the user wearing the head mounted display. There may be.
  • a recording medium according to another aspect of the present invention is the recording medium according to attachment 1, wherein the selection unit is configured such that the virtual line and the predetermined object arranged in the virtual space are in a first period. In the case where the predetermined positional relationship is maintained, the one or more selection objects are selected.
  • the selected object specified by the specifying unit is selected. For this reason, according to this aspect, it is possible to reduce the possibility that a selection object different from the selection object to be selected is erroneously selected as compared with the reference example 1.
  • the user wearing the head-mounted display can select a virtual line and each of the two or more selected objects.
  • the posture of the head mounted display is changed so that has a predetermined positional relationship, and then the posture of the head mounted display is controlled so that the virtual line and the predetermined object maintain the predetermined positional relationship in the first period.
  • the two or more selected objects can be selected. For this reason, according to this aspect, compared with the reference example 2, when the number of selection objects to be selected increases, it is possible to suppress the extent of the time required for selection.
  • the “first period” is, for example, a period that starts at a time when the virtual line and the predetermined object reach a predetermined positional relationship, and has a predetermined time length. It may be.
  • a recording medium according to another aspect of the present invention is the recording medium according to attachment 1, wherein the selection unit includes a virtual period and the one selected object in a first period (for example, a selection confirmation period). ), When the predetermined positional relationship is maintained, the one or more selected objects are selected.
  • the selected object specified by the specifying unit is selected. For this reason, according to this aspect, it is possible to reduce the possibility that a selection object different from the selection object to be selected is erroneously selected as compared with the reference example 1.
  • the user wearing the head-mounted display can select a virtual line and each of the two or more selected objects.
  • the posture of the head mounted display is changed so as to have a predetermined positional relationship, and thereafter, the virtual line and one selected object of two or more selected objects maintain the predetermined positional relationship in the first period.
  • the two or more selected objects can be selected. For this reason, according to this aspect, compared with the reference example 2, when the number of selection objects to be selected increases, it is possible to suppress the extent of the time required for selection.
  • the “first period” is, for example, a period that starts at a time when the virtual line and one selected object have a predetermined positional relationship, and has a predetermined time length. It may be a period.
  • a recording medium is the recording medium according to appendices 1 to 5, wherein the selection unit includes M (M is a natural number of 1 or more) among the plurality of selection objects.
  • M is a natural number of 1 or more
  • the selected object specified by the specifying unit M-th among the plurality of selected objects and the virtual line maintain the predetermined positional relationship in the first period.
  • the M selection objects specified by the specifying unit are selected.
  • the selected object specified by the specifying unit is selected. For this reason, according to this aspect, it is possible to reduce the possibility that a selection object different from the selection object to be selected is erroneously selected as compared with the reference example 1.
  • the user wearing the head-mounted display can select a virtual line and each of the two or more selected objects. The posture of the head-mounted display is changed such that the virtual object and the selected object identified last (Mth) among the two or more selected objects are predetermined in the first period.
  • the two or more selected objects can be selected by controlling the posture of the head mounted display so as to maintain the positional relationship. For this reason, according to this aspect, compared with the reference example 2, when the number of selection objects to be selected increases, it is possible to suppress the extent of the time required for selection.
  • the “first period” is a period that starts at a time when the virtual line and the Mth specified selected object have a predetermined positional relationship, for example.
  • a recording medium according to another aspect of the present invention is the recording medium according to appendices 4 to 6, wherein the specifying unit has the predetermined positional relationship between the virtual line and the one selected object. Or when the virtual line and the one selected object maintain the predetermined positional relationship over a reference time (for example, time length ⁇ T2) shorter than the time length of the first period, The one selected object is specified.
  • a reference time for example, time length ⁇ T2
  • the selected object when the virtual line and the selected object have a predetermined positional relationship in a time shorter than the first period, the selected object is specified. Therefore, according to this aspect, for example, when the virtual line and the selection object maintain a predetermined positional relationship over the first period, the selection object is specified as compared with the aspect in which the selection object is specified. It is possible to shorten the time required for.
  • a recording medium is the recording medium according to appendices 1 to 7, wherein the specifying unit has the predetermined positional relationship between the virtual line and the one selected object. If the posture of the head mounted display indicated by the posture information has a predetermined posture (for example, a posture in a roll rotation state), the one selected object is specified, and the virtual line And the one selected object has the predetermined positional relationship, and the head-mounted display indicated by the posture information does not have the predetermined posture. The object is not specified.
  • a predetermined posture for example, a posture in a roll rotation state
  • the selected object is specified only when the posture of the head mounted display has a predetermined posture.
  • the desired object can be compared with the aspect in which the selected object is specified based on only the positional relationship between the virtual line and the selected object without considering the posture of the head mounted display. It is possible to reduce the possibility that a selection object different from the selection object is erroneously specified.
  • “when the head-mounted display has a predetermined posture” means, for example, when the head-mounted display has a posture rotated by a predetermined angle or more from the reference posture around a predetermined reference axis. Conversely, the head mounted display may have a posture rotated about a predetermined reference axis by less than a predetermined angle from the reference posture.
  • a recording medium according to another aspect of the present invention is the recording medium according to appendices 1 to 8, wherein the display control unit first selects the selected object from the plurality of selected objects. After the identification, the identifying unit identifies the selected objects among the plurality of selected objects in a second period (for example, a pre-selection period) until the selecting unit selects the one or more selected objects.
  • the display mode of the other selection object that has not been made is different from the display mode of the display unit of the other selection object before the second period is started.
  • the display mode of other selected objects in the second period is different from the display mode of other selected objects in the period before the second period starts. Therefore, according to this aspect, for example, the display mode of other selected objects in the second period is compared with the case where the display mode of other selected objects in the period before the second period is the same. Thus, the user wearing the head mounted display can easily visually recognize which selected object is specified among the plurality of selected objects.
  • the “display aspect” is an aspect that can be visually identified, for example.
  • the “display mode” may be a concept including part or all of, for example, shape, pattern, color, size, brightness, and transparency.
  • a recording medium according to another aspect of the present invention is the recording medium according to appendices 1 to 9, wherein the display control unit is configured to store the one selected object after the specifying unit specifies the one selected object.
  • the display mode of the selected object on the display unit is different from the display mode of the one selected object on the display unit before the specifying unit specifies the one selected object.
  • the display mode of one selected object in the period after the one selected object is specified is different from the display mode of one selected object in the period before the one selected object is specified. . Therefore, according to this aspect, for example, the display mode of one selected object in the period after the one selected object is specified, and the display of one selected object in the period before the one selected object is specified. Compared with the case where the aspect is the same, the user wearing the head mounted display can easily visually recognize which selected object is specified among the plurality of selected objects.
  • a recording medium is the recording medium according to appendices 4 to 7, wherein the display control unit includes the plurality of selected objects in a period before the first period starts.
  • the display mode of the at least some of the selected objects on the display unit is different from the display mode of the at least some of the selected objects on the display unit in a part or all of the first period. It is characterized by that.
  • the display mode of some selected objects in the first period is different from the display mode of some selected objects in the period before the first period starts. Therefore, according to this aspect, for example, when the display mode of some selected objects in the first period is the same as the display mode of some selected objects in the period before the first period starts In comparison with this, the user wearing the head mounted display can easily grasp that the first period in which the selected object is selected has started.
  • the “at least some selected objects” may be, for example, one selected object identified by the identifying unit among the plurality of selected objects, or the identifying unit among the plurality of selected objects.
  • Other selected objects that are not specified by (1) may be included, or both one selected object and another selected object may be included.
  • An information processing apparatus is an image obtained by capturing a virtual space in which a plurality of selection objects are arranged with a virtual camera, and a stereoscopic image using binocular parallax is provided on a head-mounted display.
  • a display control unit to be displayed on the display unit, an acquisition unit that acquires posture information regarding the posture of the head mounted display, a virtual line that has a direction according to the posture information and intersects the virtual camera, and the plurality When one selected object of the selected objects has a predetermined positional relationship, the specifying unit that specifies the one selected object, and the specifying unit includes one or more selected objects of the plurality of selected objects When the predetermined condition related to the posture information is satisfied, the one or more selected objects are selected.
  • the selection of the selected object and the selection of the specified selected object are executed based on the posture information regarding the posture of the head mounted display.
  • the user wearing the head mounted display can execute an operation other than the operation of changing the attitude of the virtual camera based on the attitude of the head mounted display. That is, according to this aspect, it is possible to input various instructions by changing the posture of the head mounted display.
  • the selection object is selected. For this reason, according to this aspect, compared with the reference example 1, it is possible to reduce a possibility that a selection object different from a desired selection object is erroneously selected.
  • the two or more selected objects can be selected by changing the posture of the head mounted display. Can do. For this reason, according to this aspect, compared with the reference example 2, when the number of selection objects to be selected increases, it is possible to suppress the extent of the time required for selection.
  • the head mounted display which concerns on 1 aspect of this invention is a head mounted display which comprises a display part and information processing apparatus, Comprising:
  • the said information processing apparatus is a virtual camera in the virtual space where the several selection object is arrange
  • a display control unit that displays a stereoscopic image using binocular parallax on the display unit, an acquisition unit that acquires posture information regarding the posture of the head mounted display, and the posture information
  • a virtual unit that has a corresponding direction and intersects with the virtual camera, and a specifying unit that specifies the one selected object when one selected object of the plurality of selected objects has a predetermined positional relationship;
  • the specifying unit specifies one or a plurality of selected objects among the plurality of selected objects, the posture information is related.
  • a predetermined condition for is satisfied, and a selector for selecting the one or more selected objects, and wherein the.
  • the selection of the selected object and the selection of the specified selected object are executed based on the posture information regarding the posture of the head mounted display.
  • the user wearing the head mounted display can execute an operation other than the operation of changing the attitude of the virtual camera based on the attitude of the head mounted display. That is, according to this aspect, it is possible to input various instructions by changing the posture of the head mounted display.
  • the selection object is selected. For this reason, according to this aspect, compared with the reference example 1, it is possible to reduce a possibility that a selection object different from a desired selection object is erroneously selected.
  • the two or more selected objects can be selected by changing the posture of the head mounted display. Can do. For this reason, according to this aspect, compared with the reference example 2, when the number of selection objects to be selected increases, it is possible to suppress the extent of the time required for selection.
  • An information processing system is an information processing system including a head mounted display having a display unit and an information processing device, and the information processing device includes a plurality of selected objects.
  • a display control unit for displaying a stereoscopic image using binocular parallax on the display unit, which is an image obtained by capturing a virtual space with a virtual camera; , A virtual line having a direction according to the posture information and intersecting the virtual camera, and one selected object among the plurality of selected objects has a predetermined positional relationship, the one selected object is When the specifying unit to specify and the specifying unit specify one or more selected objects among the plurality of selected objects, When a predetermined condition relating to the position information is satisfied, and a selector for selecting the one or more selected objects, and wherein the.
  • the selection of the selected object and the selection of the specified selected object are executed based on the posture information regarding the posture of the head mounted display.
  • the user wearing the head mounted display can execute an operation other than the operation of changing the attitude of the virtual camera based on the attitude of the head mounted display. That is, according to this aspect, it is possible to input various instructions by changing the posture of the head mounted display.
  • the selection object is selected. For this reason, according to this aspect, compared with the reference example 1, it is possible to reduce a possibility that a selection object different from a desired selection object is erroneously selected.
  • the two or more selected objects can be selected by changing the posture of the head mounted display. Can do. For this reason, according to this aspect, compared with the reference example 2, when the number of selection objects to be selected increases, it is possible to suppress the extent of the time required for selection.
  • SYMBOLS 1 Head mounted display, 10 ... Terminal device, 11 ... Control part, 12 ... Display part, 13 ... Operation part, 14 ... Attitude information generation part, 15 ... Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

非一過性の記録媒体に記録されたプログラムは、情報処理装置のプロセッサを、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、姿勢情報に応じた方向を有し仮想カメラと交差する仮想線、及び、複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、一の選択オブジェクトを特定する特定部と、特定部が、複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、姿勢情報に関連する所定条件が満たされるときに、1または複数の選択オブジェクトを選択する選択部と、して機能させる、ことを特徴とする。

Description

情報処理装置、記録媒体、ヘッドマウントディスプレイ、及び、情報処理システム
 本発明は、情報処理装置、記録媒体、ヘッドマウントディスプレイ、及び、情報処理システムに関する。
 近年、ヘッドマウントディスプレイ(HMD:Head Mounted Display)が広く普及しつつある。HMDは、ユーザの頭部に装着され、ユーザの眼前に設けられた表示部に対して、例えば、仮想カメラで仮想空間を撮像した画像であって、両眼視差を利用した立体視画像等を表示する(例えば、特許文献1参照)。このようなHMDにおいては、一般的に、HMDの姿勢の変化に基づいて、仮想空間における仮想カメラの姿勢を変化させることで、ユーザが仮想空間の様々な方向を視認することを可能としている。
特開2016-115122号公報
 ところで、HMDを装着したユーザは、ユーザの眼前に設けられた表示部を目視しているため、表示部以外の部分を見ることが難しい場合がある。よって、HMDを装着したユーザにとって、HMDの姿勢の変化以外の操作、例えば、手に持って操作されるコントローラ等の操作が負担となる場合がある。このため、例えば、HMDを利用したゲーム等においては、HMDの姿勢の変化により、ユーザからの多様な指示を受け付けることが好ましい。しかし、HMDの姿勢の変化により、ユーザからの指示を受け付ける場合、HMDを装着したユーザは、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが難しく、例えば、HMDを利用したゲーム等において選択肢を選択する等の操作が困難となることがあった。
 本発明は、上述した事情を鑑みてなされたものであり、HMDを装着したユーザが、HMDの表示部に表示される仮想空間を視認しつつ、選択肢を選択する操作を行うことを可能とする技術の提供を、解決課題の一つとする。
 以上の課題を解決するために、本発明の一態様に係る記録媒体は、情報処理装置のプロセッサを、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、して機能させる、ことを特徴とするプログラムを記録した非一過性の記録媒体である、ことを特徴とする。
 また、本発明の一態様に係る情報処理装置は、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、を備える、ことを特徴とする。
 また、本発明の一態様に係るヘッドマウントディスプレイは、表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、前記情報処理装置は、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、を備える、ことを特徴とする。
 また、本発明の一態様に係る情報処理システムは、表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する情報処理システムであって、前記情報処理装置は、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、を備える、ことを特徴とする。
本発明の実施形態に係るヘッドマウントディスプレイ1の構成の一例を示す説明図である。 ヘッドマウントディスプレイ1の使用例を示す説明図である。 仮想空間SP-Vの一例を示す説明図である。 仮想空間SP-Vにおける仮想カメラCMの一例を示す説明図である。 表示画像GHの一例を示す説明図である。 仮想空間SP-Vにおける仮想カメラCMの姿勢変化の一例を示す説明図である。 視認画像GSの一例を示す説明図である。 視認画像GSの一例を示す説明図である。 視認画像GSの一例を示す説明図である。 視認画像GSの一例を示す説明図である。 視認画像GSの一例を示す説明図である。 ゲージ画像GBの表示態様の一例を示す説明図である。 端末装置10の構成の一例を示すブロック図である。 端末装置10のハードウェア構成の一例を示すブロック図である。 端末装置10の動作の一例を示すフローチャートである。 端末装置10の動作の一例を示すフローチャートである。 変形例1に係る視認画像GSの一例を示す説明図である。 変形例2に係る視認画像GSの一例を示す説明図である。 変形例3に係る視認画像GSの一例を示す説明図である。 変形例4に係る視認画像GSの一例を示す説明図である。 変形例5に係る視認画像GSの一例を示す説明図である。 変形例6に係る視認画像GSの一例を示す説明図である。 変形例6に係る視認画像GSの一例を示す説明図である。 変形例7に係る視認画像GSの一例を示す説明図である。 変形例7に係る視認画像GSの一例を示す説明図である。 変形例9に係る情報処理システムSYSの構成の一例を示すブロック図である。
 以下、本発明を実施するための形態について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
[A.実施形態]
 以下、本発明の実施形態を説明する。
[1.ヘッドマウントディスプレイの概要]
 以下、図1乃至図12を参照しつつ、本実施形態に係るヘッドマウントディスプレイ1(以下、「HMD1」と称する)の概要の一例について説明する。
[1.1.ヘッドマウントディスプレイの構成及び利用イメージ]
 まず、図1及び図2を参照しつつ、HMD1の構成と、HMD1の利用イメージと、について説明する。
 図1は、本実施形態に係るHMD1の構成の一例を説明するための分解斜視図である。図2は、本実施形態に係るHMD1の利用イメージの一例を説明するための説明図である。
 図1に示すように、本実施形態に係るHMD1は、端末装置10と、装着具90と、を有する。
 端末装置10(「情報処理装置」の一例)は、画像を表示するための表示部12を備える。本実施形態では、端末装置10としてスマートフォンを採用する場合を、一例として想定する。但し、端末装置10は、HMD1に設けられるための専用の表示デバイスであってもよい。
 装着具90は、図2に示すように、HMD1をユーザUの頭部に装着するための構成要素である。
 図1に示すように、装着具90は、HMD1をユーザUの頭部に装着するための一対のテンプル91L及び91Rと、端末装置10をHMD1に取り付けるための取付孔92と、ユーザUがHMD1を頭部に装着した場合に、ユーザUの両眼が存在する位置に対応するように設けられた一対の貫通孔92L及び92Rと、を備える。なお、貫通孔92L及び92Rの各々には、レンズが設けられていてもよい。そして、ユーザUが、HMD1を頭部に装着した場合、ユーザUの左眼は、貫通孔92Lを介して、または、取付孔92に設けられたレンズを介して、取付孔92に挿入された端末装置10が具備する表示部12を視認することができ、ユーザUの右眼は、貫通孔92Rを介して、または、貫通孔92Rに設けられたレンズを介して、取付孔92に挿入された端末装置10が具備する表示部12を視認することができる。
 図2に示すように、HMD1を頭部に装着したユーザUは、頭部の姿勢を変化させることにより、HMD1の姿勢を変化させることができる。以下では、説明の便宜上、HMD1に固定された座標系である装置座標系Σを導入する。
 装置座標系Σとは、例えば、HMD1の所定箇所に原点を有し、互いに直交するX軸、Y軸、及び、Z軸を有する3軸の直交座標系である。本実施形態では、図2に示すように、ユーザUがHMD1を装着した場合に、+X方向がユーザUから見て前方方向となり、+Y方向がユーザUから見て左手方向となり、+Z方向がユーザUから見て上方向となるように、装置座標系Σが設定されている場合を、一例として想定する。
 図2に示すように、HMD1を頭部に装着したユーザUは、頭部の姿勢を変化させることで、X軸周りの回転方向、すなわち、ロール方向QにHMD1が回転するように、HMD1の姿勢を変化させることが可能であり、また、Y軸周りの回転方向、すなわち、ピッチ方向QにHMD1が回転するように、HMD1の姿勢を変化させることが可能であり、更に、Z軸周りの回転方向、すなわち、ヨー方向QにHMD1が回転するように、HMD1の姿勢を変化させることが可能である。つまり、HMD1を頭部に装着したユーザUは、頭部の姿勢を変化させることで、ロール方向Q、ピッチ方向Q、及び、ヨー方向Qの一部または全部を合成した任意の回転方向、すなわち、任意の回転軸W周りの回転方向QにHMD1が回転するように、HMD1の姿勢を変化させることが可能である。
 以下では、基準時刻t0においてHMD1に固定された装置座標系Σを、基準装置座標系ΣS0と称する。また、本実施形態では、基準時刻t0以降の時刻tにおけるHMD1の姿勢を、基準時刻t0におけるHMD1を回転軸W周りの回転方向Qに角度θだけ回転させた姿勢として表現する。換言すれば、本実施形態において、基準時刻t0以降の時刻tにおける装置座標系Σは、基準装置座標系ΣS0の各座標軸を、回転軸Wの周りに角度θだけ回転させた座標軸を有する座標系として表現される。
 端末装置10は、仮想空間SP-Vに存在する仮想的なカメラである仮想カメラCMにより、仮想空間SP-Vを撮像し、撮像結果を示す画像である表示画像GHを、表示部12に表示させる。
[1.2.仮想空間及び仮想カメラ]
 以下、図3乃至図6を参照しつつ、仮想空間SP-V及び仮想カメラCMについて説明する。
 図3は、仮想空間SP-Vを説明するための説明図である。
 本実施形態では、一例として、図3に示すように、仮想空間SP-Vにおいて、仮想空間SP-Vを構成する仮想的な地面、山、及び、森等の環境構成物Evと、仮想的なキャラクタVと、複数の選択肢を表すための複数の選択オブジェクトCBと、複数の選択肢の中から1または複数の選択肢を選択するための確定ボタンBt(「所定オブジェクト」の一例)と、複数の選択肢に関する情報を表示するための仮想的な掲示板Bdと、仮想空間SP-Vを撮像するための仮想カメラCMと、が設けられている場合を想定する。
 なお、本実施形態では、一例として、仮想空間SP-Vにおいて、K個の選択肢を表すための、K個の選択オブジェクトCB[1]~CB[K]が存在する場合を想定する(Kは、K≧2を満たす自然数)。そして、以下では、K個の選択オブジェクトCB[1]~CB[K]のうち、k番目の選択オブジェクトCBを、選択オブジェクトCB[k]と称する(kは、1≦k≦Kを満たす自然数)。
 また、本実施形態では、一例として、図3に示すように、仮想カメラCMが、左眼用の仮想カメラCM-Lと、右眼用の仮想カメラCM-Rとを含む場合を想定する。
 また、以下では、説明の便宜上、図3に示すように、仮想空間SP-Vに固定された座標系である仮想空間座標系Σを導入する。ここで、仮想空間座標系Σとは、例えば、仮想空間SP-Vの所定箇所に原点を有し、互いに直交するX軸、Y軸、及び、Z軸を有する3軸の直交座標系である。
 図4は、仮想空間SP-Vにおける仮想カメラCMを説明するための説明図である。なお、図4では、仮想空間SP-Vを、+Z方向から平面視した場合を例示している。また、図4では、仮想カメラCMが、キャラクタVを、キャラクタVの正面方向から撮像している場合を例示している。
 以下では、図4に示すように、仮想空間SP-Vにおける仮想カメラCM-Lの位置PC-Lと、仮想空間SP-Vにおける仮想カメラCM-Rの位置PC-Rとの中点を、位置PCと称する。
 また、以下では、図4に示すように、位置PC-Lと交差し、仮想カメラCM-Lの光軸方向に延在する仮想的な直線を、仮想直線LC-Lと称し、位置PC-Rと交差し、仮想カメラCM-Rの光軸方向に延在する仮想的な直線を、仮想直線LC-Rと称する。また、以下では、位置PCと交差する直線であって、仮想カメラCM-Lの光軸方向を表す単位ベクトルと、仮想カメラCM-Rの光軸方向を表す単位ベクトルとの和により示される方向に延在する仮想的な直線を、仮想直線LC(「仮想線」の一例)と称する。そして、本実施形態では、一例として、仮想カメラCMが位置PCに存在するものと看做し、また、仮想カメラCMの光軸が仮想直線LCであることと看做す。
 なお、本実施形態では、一例として、仮想直線LC-Lの延在する方向と、仮想直線LC-Rの延在する方向とが、同一の方向である場合を想定する。このため、本実施形態では、仮想直線LCの延在する方向は、仮想直線LC-L及び仮想直線LC-Rの延在する方向と同一の方向となる。
 図5は、仮想カメラCMが仮想空間SP-Vを撮像した結果である表示画像GHの一例を示す図である。なお、図5では、図4に示すように、仮想カメラCMが、キャラクタVを、キャラクタVの正面方向から撮像した場合を想定する。
 図5に示すように、表示部12のうち、貫通孔92Lを介して視認可能な左眼用視認領域12-Lには、仮想カメラCM-Lによる撮像結果、例えば、仮想カメラCM-LによりキャラクタVを撮像した結果であるキャラクタ画像GV-Lが表示される。また、表示部12のうち、貫通孔92Rを介して視認可能な右眼用視認領域12-Rには、仮想カメラCM-Rによる撮像結果、例えば、仮想カメラCM-RによりキャラクタVを撮像した結果であるキャラクタ画像GV-Rが表示される。
 すなわち、ユーザUは、左眼によりキャラクタ画像GV-Lを視認し、右眼によりキャラクタ画像GV-Rを視認することができる。このため、ユーザUは、後述する図7等に例示するように、表示部12において、キャラクタV等の仮想空間SP-V内に存在する仮想的な物体を、例えば、立体的な物体として表された視認画像GSを視認することが可能となる。
 ここで、「立体的な物体」とは、仮想的な3次元の空間に配置された物体であればよい。例えば、「立体的な物体」とは、仮想的な3次元の空間に配置された3次元の物体であってもよいし、仮想的な3次元の空間に配置された2次元の物体であってもよし、仮想的な3次元の空間に配置された1次元の物体であってもよい。
 また、「仮想的な物体」とは、仮想空間SP-Vにおいて、色彩または模様等の表示態様が周囲と異なる物体または領域であってもよい。
 以下では、説明の便宜上、図6に示すように、仮想空間SP-Vにおいて仮想カメラCMに固定された座標系であるカメラ座標系Σを導入する。ここで、カメラ座標系Σとは、例えば、仮想空間SP-Vのうち仮想カメラCMの存在する位置PCに原点を有し、互いに直交するX軸、Y軸、及び、Z軸を有する3軸の直交座標系である。
 本実施形態では、ユーザUがHMD1を装着した場合、+X方向がユーザUから見て前方方向となり、+Y方向がユーザUから見て左手方向となり、+Z方向がユーザUから見て上方向となるように、カメラ座標系Σが設定されている場合を、一例として想定する。すなわち、本実施形態では、HMD1を装着したユーザUから見て、X軸がX軸と同一の方向であり、Y軸がY軸と同一の方向であり、Z軸がZ軸と同一の方向である場合を、一例として想定する。また、本実施形態では、X軸と仮想直線LCとが一致する場合を、一例として想定する。すなわち、本実施形態では、一例として、仮想直線LCが、HMD1を装着したユーザUから見た前方方向に延在する場合を想定する。
 図6に示すように、仮想カメラCMは、X軸周りの回転方向であるロール方向QCと、Y軸周りの回転方向であるピッチ方向QCと、Z軸周りの回転方向であるヨー方向QCとの、一部または全部を合成した任意の回転方向に回転することが可能である。そして、本実施形態では、一例として、HMD1が、回転軸W周りの回転方向Qに角度θだけ回転した場合に、仮想カメラCMが、回転軸W周りの回転方向QCに角度θだけ回転することとする。
 ここで、回転軸Wは、一例として、位置PCと交差する直線であって、装置座標系Σにおいて回転軸Wの方向を表す単位ベクトルの成分と、カメラ座標系Σにおいて回転軸Wの方向を表す単位ベクトルの成分とが、同一となる直線であることとする。また、角度θは、一例として、角度θと等しい角度であることとする。
 以下では、基準時刻t0におけるカメラ座標系Σを、基準カメラ座標系ΣC0と称する。すなわち、時刻tにおけるカメラ座標系Σは、基準カメラ座標系ΣC0の各座標軸を、回転軸Wの周りに角度θだけ回転させた座標軸を有する座標系として表現される。
[1.3.表示部に表示される画像]
 以下、図7乃至図12を参照しつつ、表示部12に表示される視認画像GSについて説明する。
 図7乃至図10は、基準時刻t0よりも後の時刻t1から時刻t5にかけて表示部12に表示される視認画像GSの変化の一例である。このうち、図7は、時刻t1において表示部12に表示される視認画像GSの一例である。図8は、時刻t1よりも後の時刻t2において表示部12に表示される視認画像GSの一例である。図9は、時刻t2よりも後の時刻t4において表示部12に表示される視認画像GSの一例である。図10は、時刻t4よりも後の時刻t5において表示部12に表示される視認画像GSの一例である。
 また、図11は、時刻tb1から時刻tb5までの期間において表示部12に表示される視認画像GSの一例である。なお、本実施形態では、一例として、時刻tb1が、時刻t5と同一の時刻である場合を想定する。また、以下では、時刻tb1から時刻tb5までの期間のうち、任意の時刻を、時刻tbと称する。
 また、以下では、説明の便宜上、図7乃至図11に示す、時刻t1から時刻tb5にかけての視認画像GSの変化例を、「画面変化例」と称する場合がある。なお、画面変化例では、仮想空間SP-Vに6個の選択オブジェクトCB[1]~CB[6]が存在する場合(つまり、「K=6」の場合)を想定する。また、以下では、時刻tにおける仮想直線LCを、仮想直線LC[t]と表現する場合がある。
 図7乃至図11に例示するように、本実施形態において、視認画像GSは、HMD1を装着したユーザUにより仮想空間SP-V内に配置された立体的な物体として視認されるキャラクタVと、当該ユーザUにより仮想空間SP-V内に配置された立体的な物体として視認される選択オブジェクトCB[1]~CB[K]と、当該ユーザUにより仮想空間SP-V内に配置された立体的な物体として視認される掲示板Bdと、当該ユーザUにより仮想空間SP-V内に配置された立体的な物体として視認される確定ボタンBtと、当該ユーザUにより仮想空間SP-V内に配置された立体的な物体として視認される環境構成物Evとの、一部または全部を含む。
 なお、本実施形態では、説明の便宜上、仮想空間SP-Vにおいて、選択オブジェクトCB[1]~CB[K]、掲示板Bd、及び、確定ボタンBtの位置が変化しない場合を想定する。但し、本発明はこのような態様に限定されるものではなく、仮想空間SP-Vにおいて、選択オブジェクトCB[1]~CB[K]、掲示板Bd、及び、確定ボタンBtの位置は変化してもよい。例えば、選択オブジェクトCB[1]~CB[K]、掲示板Bd、及び、確定ボタンBtは、カメラ座標系Σから見て、常に一定の位置に配置されるものであってもよい。すなわち、選択オブジェクトCB[1]~CB[K]、掲示板Bd、及び、確定ボタンBtは、仮想カメラCMの姿勢変化に応じて、仮想空間座標系Σにおける位置を変化させてもよい。
 図7乃至図11に示すように、画面変化例では、時刻t1において仮想直線LC[t1]がキャラクタVと交差し、時刻t2において仮想直線LC[t2]が選択オブジェクトCB[2]と交差し、時刻t3において仮想直線LC[t3]が選択オブジェクトCB[3]と交差し、時刻t4において仮想直線LC[t4]が選択オブジェクトCB[6]と交差し、時刻t5において仮想直線LC[t5]が確定ボタンBtと交差し、その後、時刻tb5まで、仮想直線LC[tb]が確定ボタンBtとの交差を継続する場合を、一例として想定している。
 本実施形態において、HMD1を装着したユーザUは、K個の選択オブジェクトCB[1]~CB[K]において表示されているK個の選択肢の中から、1または複数の選択オブジェクトCBを特定し、その後、当該特定した1または複数の選択オブジェクトCBを選択することで、当該1または複数の選択オブジェクトCBに対応する1または複数の選択肢を選択することができる。
 具体的には、本実施形態において、HMD1を装着したユーザUは、まず、仮想空間SP-Vにおいて、選択オブジェクトCB[k]と仮想直線LCとが交差(「所定の位置関係」の一例)するように、HMD1の姿勢を操作することで、当該選択オブジェクトCB[k]を、選択対象オブジェクトとして特定することができる。但し、本発明はこのような態様に限定されるものではなく、HMD1を装着したユーザUは、仮想空間SP-Vにおいて、選択オブジェクトCB[k]と仮想直線LCとの間隔が所定の距離以下(「所定の位置関係」の他の例)となるように、HMD1の姿勢を操作することで、当該選択オブジェクトCB[k]を、選択対象オブジェクトとして特定してもよい。
 なお、本実施形態では、視認画像GSにおいて、選択対象オブジェクトとして特定されている選択オブジェクトCBと、選択対象オブジェクトとして特定されていない選択オブジェクトCBとが、異なる表示態様で表示される場合を想定する。具体的には、本実施形態では、一例として、視認画像GSにおいて、選択対象オブジェクトとして特定されている選択オブジェクトCBと、選択対象オブジェクトとして特定されていない選択オブジェクトCBとが、異なる色彩で表示される場合を想定する。但し、本発明はこのような態様に限定されるものではなく、選択対象オブジェクトとして特定されている選択オブジェクトCBと、選択対象オブジェクトとして特定されていない選択オブジェクトCBとが、異なる形状で表示されてもよいし、異なる大きさで表示されてもよいし、異なる明度で表示されてもよいし、異なる透明度で表示されてもよいし、異なる模様を有する態様で表示されてもよい。
 なお、図7乃至図11に示す画面変化例では、上述のとおり、仮想直線LCが、選択オブジェクトCB[2]、選択オブジェクトCB[3]、及び、選択オブジェクトCB[6]と交差する。このため、画面変化例では、これらの選択オブジェクトCB[2]、選択オブジェクトCB[3]、及び、選択オブジェクトCB[6]が、選択対象オブジェクトとして特定されることになる。
 また、本実施形態において、HMD1を装着したユーザUは、選択オブジェクトCB[1]~CB[K]の中から、1または複数の選択オブジェクトCBを選択対象オブジェクトとして特定した後に、仮想空間SP-Vにおいて、確定ボタンBtと仮想直線LCとが、予め定められた時間長ΔT1(「所定の時間長」の一例)だけ交差するように、HMD1の姿勢を操作することで、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択することができる。
 なお、以下では、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択する場合に、確定ボタンBtと仮想直線LCとが交差している時間長ΔT1の期間を、選択確定期間(「第1期間」の一例)と称する。図7乃至図11に示す画面変化例では、時刻tb1から時刻tb5までの期間が、選択確定期間に該当する場合を、例示している。
 また、本実施形態では、図11に示すように、選択確定期間において、ゲージ画像GBが、仮想空間SP-V内に配置された仮想的な物体として視認画像GSに表示される。
 図12は、本実施形態におけるゲージ画像GBの一例を説明するための説明図である。本実施形態では、図12に例示するように、ゲージ画像GBの表示態様が経時的に変化する場合を想定する。具体的には、本実施形態では、一例として、ゲージ画像GBが、現在時刻から選択確定期間の終了時刻までの時間長を示す画像GB1と、選択確定期間の開始時刻から現在時刻までの時間長を示す画像GB2と、の少なくとも一方を含む場合を想定する。そして、本実施形態では、一例として、選択確定期間において、ゲージ画像GBに対して画像GB1の占める割合が経時的に減少し、ゲージ画像GBに対して画像GB2の占める割合が経時的に増加する場合を想定する。
 例えば、図12に示す例では、選択確定期間が開始される時刻tb1において、ゲージ画像GBの全てが画像GB1で満たされる。そして、時刻tb2→時刻tb3→時刻tb4と時間が進行するのに従い、ゲージ画像GBにおける画像GB2の占める割合が増加する。その後、選択確定期間が終了する時刻tb5において、ゲージ画像GBの全てが画像GB2で満たされる。このため、図12に示す例において、HMD1を装着したユーザUは、ゲージ画像GBにより、選択確定期間の残り時間を視覚的に把握することができる。
 なお、本実施形態では、選択確定期間の開始と同時にゲージ画像GBが表示されるが、本発明はこのような態様に限定されるものではない。例えば、ゲージ画像GBは、選択確定期間の開始時刻から一定の時間が経過した後に、表示されてもよい。
 また、本実施形態では、図11に示すように、ゲージ画像GBは、仮想カメラCMから見て、ゲージ画像GBの少なくとも一部と、確定ボタンBtの少なくとも一部とが重なるような位置に表示されるが、本発明はこのような態様に限定されるものではない。例えば、ゲージ画像GBは、視認画像GSの任意の場所に表示されてもよい。
 以上のように、図7乃至図11に示す画面変化例では、時刻t1から時刻t5までの期間において、仮想直線LCが、選択オブジェクトCB[2]、選択オブジェクトCB[3]、及び、選択オブジェクトCB[6]と交差し、その後、時刻tb1から時刻tb5までの時間長ΔT1の選択確定期間において、仮想直線LCが、確定ボタンBtと交差する。このため、図7乃至図11に示す画面変化例において、HMD1を装着したユーザUは、時刻t1から時刻t5までの期間において、選択オブジェクトCB[2]、選択オブジェクトCB[3]、及び、選択オブジェクトCB[6]を、選択対象オブジェクトとして特定し、その後、時刻tb1から時刻tb5までの選択確定期間において、選択オブジェクトCB[2]、選択オブジェクトCB[3]、及び、選択オブジェクトCB[6]を、選択することができる。
[2.端末装置の構成]
 以下、図13及び図14を参照しながら、端末装置10の構成の一例について説明する。
 図13は、端末装置10の構成の一例を示す機能ブロック図である。
 図13に示すように、端末装置10は、画像を表示するための表示部12と、端末装置10の各部を制御して表示部12に表示画像GHを表示させる表示処理を実行する制御部11と、端末装置10のユーザUによる操作を受け付けるための操作部13と、端末装置10の姿勢変化を検出して検出結果を示す姿勢情報Bを出力する姿勢情報生成部14と、端末装置10の制御プログラムPRGを含む各種情報を記憶する記憶部15と、を備える。
 本実施形態では、姿勢情報生成部14として、例えば、3軸の角速度センサ1002(図9参照)を採用する。具体的には、姿勢情報生成部14は、単位時間におけるロール方向Qの姿勢変化を検出するX軸角速度センサと、単位時間におけるピッチ方向Qの姿勢変化を検出するY軸角速度センサと、単位時間におけるヨー方向Qの姿勢変化を検出するZ軸角速度センサと、を備える。そして、姿勢情報生成部14は、X軸角速度センサ、Y軸角速度センサ、及び、Z軸角速度センサによる検出結果を示す姿勢情報Bを、周期的に出力する。
 制御部11は、表示制御部111と、姿勢情報取得部112と、特定部113と、選択部114と、を備える。
 姿勢情報取得部112(「取得部」の一例)は、姿勢情報生成部14の出力する姿勢情報Bを取得する。
 表示制御部111は、姿勢情報取得部112の取得した姿勢情報Bに基づいて、仮想空間SP-Vにおける仮想カメラCMの姿勢を制御する。そして、表示制御部111は、仮想カメラCMによる撮像結果を表す画像情報DSを生成し、当該画像情報DSを表示部12に供給することで、表示部12に対して表示画像GHを表示させる。
 特定部113は、仮想直線LCと交差した選択オブジェクトCBを選択対象オブジェクトとして特定する。
 選択部114は、特定部113が選択対象オブジェクトとして特定した選択オブジェクトCBを選択する。
 図14は、端末装置10のハードウェア構成の一例を示すハードウェア構成図である。
 図14に示すように、端末装置10は、端末装置10の各部を制御するプロセッサ1000と、各種情報を記憶するメモリ1001と、端末装置10の姿勢変化を検出して検出結果を示す姿勢情報Bを出力する角速度センサ1002と、各種画像を表示可能な表示装置1003と、端末装置10のユーザUによる操作を受け付けるための入力装置1004と、を備える。
 なお、本実施形態では、端末装置10を「情報処理装置」として把握するが、本発明はこのような態様に限定されるものではなく、端末装置10に設けられたプロセッサ1000を「情報処理装置」として把握してもよい。
 メモリ1001は、非一過性(non-transitory)の記録媒体であり、例えば、プロセッサ1000の作業領域として機能するRAM(Random Access Memory)等の揮発性メモリと、端末装置10の制御プログラムPRG等の各種情報を記憶するEEPROM(Electrically Erasable Programmable Read-Only Memory)等の不揮発性メモリとの、一方または双方を含み、記憶部15として機能する。なお、本実施形態では、制御プログラムPRGを記録した「記録媒体」としてメモリ1001を例示するが、本発明はこのような態様に限定されるものではない。制御プログラムPRGを記録した「記録媒体」としては、端末装置10の外部に存在する外部装置に設けられた記憶装置であってもよい。例えば、制御プログラムPRGを記録した「記録媒体」としては、端末装置10の外部に存在し、制御プログラムPRGを配信する配信サーバに設けられ、制御プログラムPRGを記録した記憶装置であってもよい。
 プロセッサ1000は、例えば、CPU(Central Processing Unit)であり、メモリ1001に記憶された制御プログラムPRGを実行し、当該制御プログラムPRGに従って動作することで、制御部11として機能する。
 角速度センサ1002は、上述のとおり、X軸角速度センサ、Y軸角速度センサ、及び、Z軸角速度センサを備え、姿勢情報生成部14として機能する。
 表示装置1003及び入力装置1004は、例えば、タッチパネルであり、表示部12及び操作部13として機能する。なお、表示装置1003及び入力装置1004は、別体として構成されていてもよい。また、入力装置1004は、タッチパネル、操作ボタン、キーボード、ジョイスティック、及び、マウス等のポインティングデバイスの一部または全部を含む、1または複数の機器から構成されるものであってもよい。
 なお、プロセッサ1000は、CPUに加え、または、CPUに替えて、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、または、FPGA(Field Programmable Gate Array)、等の、ハードウェアを含んで構成されるものであってもよい。この場合、プロセッサ1000により実現される制御部11の一部または全部は、DSP等のハードウェアにより実現されてもよい。更に、プロセッサ1000は、1または複数のCPUと、1または複数のハードウェア要素との、一部または全部を含んで構成されていてもよい。例えば、プロセッサ1000が複数のCPUを含んで構成される場合、制御部11の一部または全部の機能は、これら複数のCPUが制御プログラムPRGに従って協働して動作することで実現されてもよい。
[3.端末装置の動作]
 以下、図15及び図16を参照しながら、端末装置10の動作の一例について説明する。
 図15及び図16は、端末装置10が表示部12に表示画像GHを表示させる表示処理を実行する場合における、端末装置10の動作の一例を示すフローチャートである。なお、本実施形態では、一例として、ユーザUが、表示処理を開始させる旨の所定の開始操作を操作部13から入力した場合に、端末装置10が、表示処理を開始させる場合を想定する。
 図15に示すように、表示制御部111は、表示処理が開始されると、初期化処理を実行する(S100)。
 具体的には、表示制御部111は、ステップS100の初期化処理において、仮想空間SP-Vにおける、選択オブジェクトCB、確定ボタンBt、掲示板Bd、キャラクタV、及び、環境構成物Ev等を、仮想空間SP-V内の所定の位置、または、仮想空間SP-V内のランダムな位置に配置する。また、表示制御部111は、ステップS100の初期化処理において、仮想空間SP-Vにおける仮想カメラCMの姿勢を、所定の初期姿勢に設定する。
 次に、表示制御部111は、初期化処理が完了した時刻を基準時刻t0として定め、当該基準時刻t0におけるHMD1の姿勢を「基準姿勢」として定める(S102)。
 なお、表示制御部111は、ステップS102において、基準時刻t0における装置座標系Σを、基準装置座標系ΣS0として定める。また、表示制御部111は、ステップS102において、HMD1を装着したユーザUから見て、カメラ座標系Σの各座標軸の方向が、装置座標系Σの各座標軸の方向と等しくなるように、カメラ座標系Σを設定する。そして、表示制御部111は、ステップS102において、基準時刻t0におけるカメラ座標系Σを、基準カメラ座標系ΣC0として定める。なお、以下では、基準時刻t0における仮想直線LCを、基準直線LC0と称する。
 次に、姿勢情報取得部112は、姿勢情報生成部14から姿勢情報Bを取得する(S104)。
 そして、表示制御部111は、ステップS104において姿勢情報取得部112が取得した姿勢情報Bに基づいて、HMD1の基準姿勢からの姿勢変化dBを算出する(S106)。
 なお、本実施形態において、表示制御部111は、一例として、姿勢変化dBを、基準装置座標系ΣS0から見た回転軸Wと、当該回転軸W周りの角度θと、により表現することとする。すなわち、本実施形態において、基準装置座標系ΣS0から見てHMD1が回転軸W周りに角度θだけ回転した場合、姿勢変化dBが、基準装置座標系ΣS0における回転軸Wを示す方向ベクトルと、角度θを示す値と、を含むこととする。
 但し、姿勢変化dBは、他の任意の表現方法により表現されるものであってもよい。例えば、姿勢変化dBは、基準装置座標系ΣS0から装置座標系Σへの姿勢変化を示す、姿勢変換行列により表現されるものであってもよいし、基準装置座標系ΣS0から装置座標系Σへの姿勢変化を示す、クォータニオンにより表現されるものであってもよい。
 次に、表示制御部111は、ステップS106において算出した姿勢変化dBに基づいて、仮想空間SP-Vにおける仮想カメラCMの姿勢を決定する(S108)。
 具体的には、ステップS108において、表示制御部111は、まず、ステップS106で算出した姿勢変化dBの示す回転軸Wに基づいて、回転軸Wを設定し、また、当該姿勢変化dBの示す角度θに基づいて、角度θを設定する。次に、表示制御部111は、カメラ座標系Σを、基準カメラ座標系ΣC0を回転軸W周りに角度θだけ回転させた座標系として設定することで、仮想カメラCMの姿勢を決定する。すなわち、表示制御部111は、ステップS108において、仮想直線LCを、基準直線LC0を回転軸W周りに角度θだけ回転させた直線として設定する。
 例えば、HMD1が、基準姿勢から、Z軸周りのヨー方向Qに対して角度θだけ回転した場合、表示制御部111は、カメラ座標系Σを、基準カメラ座標系ΣC0をZ軸周りに角度θだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
 また、例えば、HMD1が、基準姿勢から、Y軸周りのピッチ方向Qに対して角度θだけ回転した場合、表示制御部111は、カメラ座標系Σを、基準カメラ座標系ΣC0をY軸周りに角度θだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
 また、例えば、HMD1が、基準姿勢から、X軸周りのロール方向Qに対して角度θだけ回転した場合、表示制御部111は、カメラ座標系Σを、基準カメラ座標系ΣC0をX軸周りに角度θだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
 次に、特定部113は、選択オブジェクトCB[1]~CB[K]の中に、仮想直線LCと交差している選択オブジェクトCB[k]が存在するか否かを判定する(S110)。なお、特定部113は、ステップS110において、仮想カメラCMから見て選択オブジェクトCB[k]が存在する方向の範囲に、仮想直線LCの延在方向が含まれる(「所定の位置関係」の他の例)ような、選択オブジェクトCB[k]が、選択オブジェクトCB[1]~CB[K]の中に存在しているか否かを判定してもよい。また、特定部113は、ステップS110において、選択オブジェクトCB[1]~CB[K]の中に、仮想直線LCとの間の間隔が所定の距離以下となる選択オブジェクトCB[k]が存在しているか否かを判定してもよい。
 ステップS110における判定の結果が肯定の場合、特定部113は、仮想直線LCと交差している選択オブジェクトCB[k]が、選択対象オブジェクトとして特定されているか否かを判定する(S112)。なお、現在時刻よりも前の時刻から現在時刻までの期間において、仮想直線LCと選択オブジェクトCB[k]とが交差を継続している場合、特定部113は、ステップS112において、当該交差が継続される期間(以下、「交差期間」と称する)の開始時刻における判定の結果を維持する。
 ステップS112における判定の結果が否定の場合、特定部113は、ステップS110において仮想直線LCと交差していると判定された選択オブジェクトCB[k]を、選択対象オブジェクトとして特定する(S114)。
 そして、表示制御部111は、特定部113がステップS114において選択対象オブジェクトとして特定した選択オブジェクトCB[k]の色彩を、選択対象オブジェクトであることを表す色彩に設定する(S116)。
 ステップS112における判定の結果が肯定の場合、特定部113は、ステップS110において仮想直線LCと交差していると判定された選択オブジェクトCB[k]を、選択対象オブジェクトから除外する(S118)。すなわち、特定部113は、ステップS118において、特定部113が過去に選択対象オブジェクトとして特定した選択オブジェクトCB[k]に対して、仮想直線LCが再び交差を開始する場合、当該選択オブジェクトCB[k]に対する、選択対象オブジェクトとしての特定を解除する。
 そして、表示制御部111は、特定部113がステップS118において、選択対象オブジェクトとしての特定を解除した選択オブジェクトCB[k]の色彩を、選択対象オブジェクトでは無いことを表す色彩に設定する(S120)。
 そして、表示制御部111は、仮想カメラCMにより仮想空間SP-Vを撮像した結果を示す画像情報DSを生成し、当該画像情報DSを表示部12に供給することで、表示部12に対して表示画像GHを表示させる(S122)。
 図16に示すように、ステップS110における判定の結果が否定の場合、選択部114は、仮想直線LCと確定ボタンBtとが交差しているか否かを判定する(S130)。
 ステップS130における判定の結果が否定の場合、選択部114は、処理をステップS122に進める。
 ステップS130における判定の結果が肯定の場合、選択部114は、仮想直線LCと確定ボタンBtとの交差が開始されてからの経過時間が、時間長ΔT1以上であるか否かを判定する(S132)。
 ステップS132における判定の結果が肯定の場合、選択部114は、選択オブジェクトCB[1]~CB[K]のうち、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択し(S134)、その後、処理をステップS122に進める。
 ステップS132における判定の結果が否定の場合、表示制御部111は、仮想空間SP-Vに対してゲージ画像GBを配置し(S136)、その後、処理をステップS122に進める。
 以下では、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBが選択されるための条件を、選択条件(「所定条件」の一例)と称する。上述のとおり、本実施形態において、選択条件は、仮想直線LCと確定ボタンBtとが時間長ΔT1に亘り交差するという条件である。なお、上述のとおり、仮想直線LCは、姿勢情報Bに基づいて算出される姿勢変化dBに応じて定められる方向に延在する。すなわち、仮想直線LCの延在方向は、姿勢情報Bにより規定される。このため、仮想直線LCに関する条件である選択条件は、姿勢情報Bに関連する条件であると把握することができる。
 図15に示すように、表示制御部111は、ユーザUが、表示処理を終了させる旨の所定の終了操作を操作部13から入力したか否かを判定する(S124)。
 そして、表示制御部111は、ステップS124における判定の結果が否定の場合、処理をステップS104に進め、ステップS124における判定の結果が肯定の場合、表示処理を終了させる。
[4.実施形態の結論]
 以上において説明したように、本実施形態において、表示制御部111は、仮想直線LCの延在方向を、HMD1の姿勢変化を示す姿勢情報Bに基づいて定める。そして、本実施形態において、特定部113は、仮想直線LCと選択オブジェクトCBとの位置関係に基づいて、選択オブジェクトCBを選択対象オブジェクトとして特定する。また、本実施形態において、選択部114は、仮想直線LCと確定ボタンBtとの位置関係に基づいて、選択対象オブジェクトとして特定されている選択オブジェクトCBを選択する。
 このため、本実施形態によれば、HMD1を装着したユーザUは、HMD1の姿勢を変化させることで、仮想空間SP-Vにおける仮想カメラCMの姿勢を変化させることの他に、選択オブジェクトCBを選択対象オブジェクトとして特定すること、及び、選択対象オブジェクトとして特定されている選択オブジェクトCBを選択することが可能となる。すなわち、本実施形態によれば、HMD1を装着したユーザUは、HMD1の姿勢を変化させることで、多様な指示を入力することが可能となる。
 また、本実施形態において、選択部114は、選択オブジェクトCBが選択対象オブジェクトとして特定されていることを前提として、仮想直線LCと確定ボタンBtとが交差した場合に、当該選択オブジェクトCBを選択する。
 このため、本実施形態によれば、例えば、選択オブジェクトCBが選択対象オブジェクトとして特定されているか否かに関わらず、当該選択オブジェクトCBと仮想直線LCとが交差した場合に、当該選択オブジェクトCBが選択される態様(参考例1)と比較して、HMD1を装着したユーザUの意思に反して誤って選択オブジェクトCBが選択される可能性を低減することができる。
 また、本実施形態において、HMD1を装着したユーザUは、仮想直線LCと選択オブジェクトCBとを、時間長ΔT1よりも短い時間だけ交差させることで、当該選択オブジェクトCBを特定することができる。そして、本実施形態において、HMD1を装着したユーザUは、選択しようとする1または複数の選択オブジェクトCBを特定した後に、仮想直線LCと確定ボタンBtとを時間長ΔT1だけ交差させることで、当該1または複数の選択オブジェクトCBを選択することができる。
 このため、本実施形態によれば、HMD1を装着したユーザUが、複数の選択オブジェクトCBを選択しようとする場合において、例えば、当該複数の選択オブジェクトCBのそれぞれに対して、仮想直線LCを時間長ΔT1だけ交差させることで、当該複数の選択オブジェクトCBを選択する態様(参考例2)と比較して、複数の選択オブジェクトCBを短時間で選択することが可能となる。これにより、本実施形態によれば、選択しようとする選択オブジェクトCBの個数が多くなる場合であっても、参考例2と比較して、HMD1を装着したユーザUにかかる負荷が増大する程度を抑制することが可能となる。
 また、本実施形態において、選択対象オブジェクトとして特定されている選択オブジェクトCBと、選択対象オブジェクトとして特定されていない選択オブジェクトCBとを、異なる表示態様により表示する。
 このため、本実施形態によれば、HMD1を装着したユーザUは、各選択オブジェクトCBが選択対象オブジェクトとして特定されているか否かを、容易に把握することが可能となる。
[B.変形例]
 以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下に例示する変形例において作用や機能が実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
[変形例1]
 上述した実施形態において、特定部113は、仮想直線LCと選択オブジェクトCBとが交差した場合、仮想直線LCと選択オブジェクトCBとの交差の継続時間に関わらずに、当該選択オブジェクトCBを特定するが、本発明はこのような態様に限定されるものではない。例えば、特定部113は、仮想直線LCと選択オブジェクトCBとが、予め定められた時間長に亘り交差を継続する場合に、当該選択オブジェクトCBを特定してもよい。
 本変形例において、特定部113は、仮想直線LCと選択オブジェクトCBとが、時間長ΔT1よりも短い時間長ΔT2(「基準時間」の一例)に亘り交差を継続する場合に、当該選択オブジェクトCBを特定する。
 また、本変形例において、表示制御部111は、図17に例示するように、仮想直線LCと選択オブジェクトCBとが交差を開始してから時間長ΔT2が経過するまでの交差期間において、当該選択オブジェクトCBに応じた位置にゲージ画像GCを配置する。
 なお、本変形例において、ゲージ画像GCは、ゲージ画像GBと同様に、交差期間の残り時間を視覚的に把握可能な表示態様を有する画像であってもよい。例えば、ゲージ画像GCは、現在時刻から交差期間の終了時刻までの時間長を示す画像GC1と、交差期間の開始時刻から現在時刻までの時間長を示す画像GC2と、の少なくとも一方を含む画像であってもよい。
 また、本変形例では、ゲージ画像GCが、交差期間の開始と同時に、視認画像GSにおいて表示が開始される場合を想定する。但し、ゲージ画像GCは、交差期間の開始から一定の時間が経過後に、表示されてもよい。
 以上のように、本変形例では、選択オブジェクトCBと仮想直線LCとが時間長ΔT2に亘り交差を継続する場合に、当該選択オブジェクトCBが特定される。このため、本変形例によれば、選択オブジェクトCBが、仮想直線LCと交差した時点で特定される態様と比較して、選択オブジェクトCBが誤って特定される可能性を低減することができる。
[変形例2]
 上述した実施形態及び変形例1において、表示制御部111は、選択確定期間における選択オブジェクトCB[k]を、選択確定期間が開始される前の選択オブジェクトCB[k]と同一の表示態様により表示するが、本発明はこのような態様に限定されるものではない。表示制御部111は、選択確定期間における選択オブジェクトCB[k]を、選択確定期間が開始される前の選択オブジェクトCB[k]とは異なる表示態様により、表示してもよい。
 図18は、本変形例に係る、視認画像GSの一例である。本変形例において、表示制御部111は、時刻t1から時刻t4にかけて、図7から図9に示す視認画像GSを表示部12に表示させ、その後、時刻tb1から時刻tb5にかけて、図18に示す視認画像GSを表示部12に表示させる。
 図18に示すように、表示制御部111は、時刻tb1から時刻tb5までの選択確定期間における選択オブジェクトCB[k]を、時刻t1から時刻t4までの期間における当該選択オブジェクトCB[k]とは異なる表示態様により表示する。具体的には、表示制御部111は、選択オブジェクトCB[k]が選択対象オブジェクトとして特定されている場合、選択確定期間における選択オブジェクトCB[k]を、選択確定期間が開始される前の選択オブジェクトCB[k]よりも視認されやすい態様で表示する。ここで、「視認されやすい態様で表示する」とは、例えば、選択オブジェクトCB[k]の色彩を濃い色にすること、選択オブジェクトCB[k]の大きさを大きくすること、選択オブジェクトCB[k]の透明度を低くする(不透明にする)こと、及び、選択オブジェクトCB[k]の明度を高くする(明るい色で表示する)こと、の一部または全部を含む概念であってもよい。また、表示制御部111は、選択オブジェクトCB[k]が選択対象オブジェクトとして特定されていない場合、選択確定期間における選択オブジェクトCB[k]を、選択確定期間が開始される前の選択オブジェクトCB[k]よりも視認されにくい態様で表示する。ここで、「視認されにくい態様で表示する」とは、例えば、選択オブジェクトCB[k]の色彩を薄い色にすること、選択オブジェクトCB[k]の大きさを小さくすること、選択オブジェクトCB[k]の透明度を高くする(透明にする)こと、及び、選択オブジェクトCB[k]の明度を低くする(暗い色で表示する)こと、の一部または全部を含む概念であってもよい。
 なお、本変形例において、表示制御部111は、選択確定期間が開始される際に、選択対象オブジェクトとして特定されている選択オブジェクトCBと、選択対象オブジェクトとして特定されていない選択オブジェクトCBとのうち、何れか一方の表示態様を変更してもよい。
 以上のように、本変形例では、選択確定期間が開始される際に、選択対象オブジェクトとして特定されている選択オブジェクトCBと、選択対象オブジェクトとして特定されていない選択オブジェクトCBとのうち、少なくとも一方の表示態様を変更する。このため、本変形例によれば、例えば、選択確定期間が開始される際に選択オブジェクトCB[k]の表示態様が変更されない場合と比較して、HMD1を装着したユーザUが、選択確定期間が開始されたことを容易に把握することを可能とするとともに、HMD1を装着したユーザUが、選択されようとする選択オブジェクトCB[k]を容易に把握することを可能とする。
[変形例3]
 上述した実施形態並びに変形例1及び2において、表示制御部111は、選択確定期間が開始される前の期間において、選択対象オブジェクトとして特定されない選択オブジェクトCB[k]の表示態様を変更しないが、本発明はこのような態様に限定されるものではない。表示制御部111は、選択確定期間が開始される前の期間において、選択対象オブジェクトとして特定されない選択オブジェクトCB[k]の表示態様を変更してもよい。
 例えば、表示制御部111は、選択オブジェクトCB[1]~CB[K]の中から選択対象オブジェクトが最初に特定されたタイミングにおいて、選択対象オブジェクトとして特定されていない選択オブジェクトCB[k]の表示態様を変更してもよい。換言すれば、表示制御部111は、選択オブジェクトCB[1]~CB[K]の中から選択対象オブジェクトが最初に特定されたタイミングから、選択確定期間が終了するまでの選択前期間(「第2期間」の一例)における、選択対象オブジェクトとして特定されない選択オブジェクトCBの表示態様を、選択前期間の開始前における表示態様とは異なる表示態様としてもよい。
 図19は、本変形例に係る、視認画像GSの一例である。本変形例において、表示制御部111は、時刻t1において、図7に示す視認画像GSを表示部12に表示させ、その後、時刻t2において、図19に示す視認画像GSを表示部12に表示させる。
 図19に示すように、表示制御部111は、選択オブジェクトCB[1]~CB[6]の中から、選択オブジェクトCB[2]が、最初の選択対象オブジェクトとして特定された時刻t2において、選択対象オブジェクトとして特定されていない選択オブジェクトCB[2]以外の選択オブジェクトCB[k]の表示態様を、時刻t1における表示態様よりも視認されにくい表示態様に変更する。これにより、本変形例によれば、HMD1を装着したユーザUが、選択対象オブジェクトとして特定されている選択オブジェクトCBを容易に把握することが可能となる。
[変形例4]
 上述した実施形態及び変形例1乃至3において、選択部114は、仮想直線LC及び確定ボタンBtが時間長ΔT1に亘り交差を継続するという選択条件が充足される場合に、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択するが、本発明はこのような態様に限定されるものではない。例えば、選択部114は、仮想直線LC及び選択オブジェクトCBが時間長ΔT1に亘り交差を継続する場合に、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択してもよい。すなわち、選択条件は、仮想直線LC及び選択オブジェクトCBが時間長ΔT1に亘り交差を継続するという条件であってもよい。
 図20は、本変形例に係る、視認画像GSの一例である。本変形例において、表示制御部111は、時刻t1から時刻t4にかけて、図7から図9に示す視認画像GSを表示部12に表示させ、その後、時刻t4よりも後の時刻である時刻tcにおいて、図20に示す視認画像GSを表示部12に表示させる。
 また、本変形例において、表示制御部111は、図20に示すように、仮想直線LC及び選択オブジェクトCBが時間長ΔT2よりも長く交差を継続させる場合、当該選択オブジェクトCBに応じた位置にゲージ画像GBを表示させる。なお、時間長ΔT2は、時間長ΔT1よりも短い時間長である。そして、本変形例において、選択部114は、仮想直線LC及び選択オブジェクトCBが時間長ΔT1に亘り交差を継続させる場合、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択する。
 このように、本変形例によれば、HMD1を装着したユーザUは、仮想直線LCを単一の選択オブジェクトCBと交差させることで、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択できる。このため、本変形例によれば、HMD1を装着したユーザUが、複数の選択オブジェクトCBを選択しようとする場合において、例えば、参考例2と比較して、複数の選択オブジェクトCBを短時間で選択することが可能となる。
 また、本変形例によれば、視認画像GSにおいて、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択するための確定ボタンBtを表示させる必要が無い。このため、本変形例によれば、視認画像GSにおいて確定ボタンBtが表示される態様と比較して、視認画像GSの表示を簡潔にすることができる。
 なお、本変形例では、選択条件を、選択オブジェクトCB[1]~CB[K]のうち任意の選択オブジェクトCB[k]と、仮想直線LCとが、時間長ΔT1に亘り交差を継続することとしたが、本発明はこのような態様に限定されるものではない。例えば、選択オブジェクトCB[1]~CB[K]の中から、M個の選択オブジェクトCBが選択されるべきことが予め決まっている場合、選択条件は、M番目に選択対象オブジェクトとして特定された選択オブジェクトCBと、仮想直線LCとが、時間長ΔT1に亘り交差を継続することとしてもよい(Mは、1≦M≦Kを満たす自然数)。
[変形例5]
 上述した実施形態及び変形例1乃至4において、選択部114は、仮想直線LCと、確定ボタンBtまたは選択オブジェクトCBとが、交差するという選択条件が充足される場合に、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択するが、本発明はこのような態様に限定されるものではない。例えば、選択部114は、姿勢情報Bに関連する所定の姿勢条件(「所定条件」の他の例)が充足される場合に、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択してもよい。
 本変形例において、選択部114は、HMD1が基準姿勢からX軸回りのロール方向Qに角度θth以上回転した状態であるロール回転状態が、時間長ΔT1以上継続する場合に、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択する。すなわち、本変形例において、姿勢条件とは、HMD1の基準姿勢からの姿勢変化dBのうち、X軸周りのロール方向Qの回転成分の示す角度が角度θth以上であるロール回転状態が、時間長ΔT1以上継続する、という条件である。なお、本変形例において、X軸は「所定の基準軸」の一例であり、角度θthは「所定角度」の一例である。
 図21は、本変形例に係る、視認画像GSの一例である。本変形例において、表示制御部111は、時刻t1から時刻t4にかけて、図7から図9に示す視認画像GSを表示部12に表示させ、その後、時刻tb1から時刻tb5にかけての選択確定期間において、図21に示す視認画像GSを表示部12に表示させる。
 本変形例では、選択確定期間において、HMD1が基準姿勢からロール方向Qに角度θth以上回転するため、カメラ座標系Σも基準カメラ座標系ΣC0からロール方向QCに角度θth以上回転する。このため、本変形例では、選択確定期間において、図21に示すように、表示制御部111は、表示部12に対して、仮想空間SP-Vを、X軸周りに角度θth以上傾いた態様で表示することになる。すなわち、本変形例において、HMD1を装着したユーザUは、仮想空間SP-Vが表示部12においてX軸周りに角度θth以上傾いて表示される状態を、時間長ΔT1以上継続させることで、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択することができる。
 なお、本変形例では、仮想空間SP-Vにおいて、確定ボタンBtが存在しなくてもよい。また、本変形例では、選択確定期間において、仮想空間SP-Vにゲージ画像GBを表示してもよい。
 このように、本変形例によれば、HMD1を装着したユーザUは、HMD1をロール方向Qに傾けることで、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択できる。このため、本変形例によれば、HMD1を装着したユーザUは、例えば、参考例2と比較して、容易な操作で1または複数の選択オブジェクトCBを選択することが可能となる。
 また、本変形例によれば、視認画像GSにおいて、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択するための確定ボタンBtを表示させる必要が無い。このため、本変形例によれば、視認画像GSにおいて確定ボタンBtが表示される態様と比較して、視認画像GSの表示を簡潔にすることができる。
[変形例6]
 上述した実施形態及び変形例1乃至4において、特定部113は、仮想直線LCと、選択オブジェクトCBとが交差した場合に、当該選択オブジェクトCBを選択対象オブジェクトとして特定するが、本発明はこのような態様に限定されるものではない。例えば、特定部113は、仮想直線LCと、選択オブジェクトCBとが交差した場合であっても、姿勢情報Bに関する所定の特定回避条件が充足される場合においては、当該選択オブジェクトCBを選択対象オブジェクトとして特定しないこととしてもよい。
 本変形例において、特定部113は、仮想直線LCと、選択オブジェクトCBとが交差した場合であっても、HMD1が、基準姿勢からX軸回りのロール方向Qに角度θth以上回転したロール回転状態である場合には、当該選択オブジェクトCBを選択対象オブジェクトとして特定しない。すなわち、本変形例において、特定回避条件とは、HMD1がロール回転状態にあるという条件である。なお、本変形例において、ロール回転状態である場合のHMD1の姿勢は、「所定の姿勢」の一例である。
 図22及び図23は、本変形例に係る、視認画像GSの一例である。本変形例において、表示制御部111は、時刻t1から時刻t2にかけて、図7から図8に示す視認画像GSを表示部12に表示させ、その後、時刻t3から時刻t4にかけて、図22から図23に示す視認画像GSを表示部12に表示させる。
 図22に示すように、HMD1を装着したユーザUは、時刻t3において、HMD1がロール回転状態となるように、HMD1をロール方向Qに角度θth以上傾ける。このため、特定部113は、時刻t3において、仮想直線LC[t3]と選択オブジェクトCB[3]とが交差している場合であっても、当該選択オブジェクトCB[3]が選択対象オブジェクトとして特定されることを回避する。
 その後、図23に示すように、HMD1を装着したユーザUは、時刻t4において、HMD1をロール方向Qに角度θth未満の角度だけ傾けた状態(以下、「非ロール回転状態」と称する)とする。このため、特定部113は、時刻t4において、仮想直線LC[t4]と交差する選択オブジェクトCB[6]を選択対象オブジェクトとして特定する。
 以上のように、本変形例において、HMD1を装着したユーザUは、仮想直線LCと選択オブジェクトCBとが交差する場合であっても、HMD1がロール回転状態となるように、HMD1の姿勢を操作することで、当該選択オブジェクトCBが選択対象オブジェクトとして特定されることを回避することができる。
 このため、本変形例によれば、例えば、仮想空間SP-Vにおいて、複数の選択オブジェクトCB[1]~CB[K]が密集して配置されている場合であっても、HMD1を装着したユーザUは、選択対象オブジェクトとして選択するつもりのない選択オブジェクトCBが、誤って選択対象オブジェクトとして特定されることを、容易に回避することが可能となる。
 なお、本変形例において、特定部113は、HMD1がロール回転状態である場合に、選択オブジェクトCBが選択対象オブジェクトとして特定されることを回避したが、本発明はこのような態様に限定されるものではない。特定部113は、例えば、HMD1が非ロール回転状態である場合に、選択オブジェクトCBが選択対象オブジェクトとして特定されることを回避し、HMD1がロール回転状態である場合に、選択オブジェクトCBを選択対象オブジェクトとして特定してもよい。
[変形例7]
 上述した実施形態及び変形例1乃至5において、特定部113は、仮想直線LCと選択オブジェクトCBとが交差した場合に、当該選択オブジェクトCBを特定するが、本発明はこのような態様に限定されるものではない。特定部113は、仮想直線LCと選択オブジェクトCBとの交点の軌跡PLが、所定の軌跡条件を充足する場合に限り、当該選択オブジェクトCBを選択対象オブジェクトとして特定してもよい。
 ここで、軌跡条件とは、軌跡PLに関する幾何的な条件であれば、どのような条件であってもよい。
 図24及び図25は、軌跡条件を説明するための説明図である。
 なお、図24及び図25では、時刻tk1において、仮想直線LCと選択オブジェクトCB[k]との交差が開始され、時刻tk2において、仮想直線LCと選択オブジェクトCB[k]との交差が終了する場合を例示している。また、図24及び図25では、時刻tk1と時刻tk2との間の時間を、時刻tkと表現している。また、図24及び図25では、軌跡PLのうち、時刻tk1を含む所定時間における軌跡PLを、軌跡PL[tk1]と表現し、時刻tk2を含む所定時間における軌跡PLを、軌跡PL[tk2]と表現し、時刻tk1から時刻tkまでの軌跡PLを、軌跡PL[tk1][tk]と表現し、時刻tkから時刻tk2までの軌跡PLを、軌跡PL[tk][tk2]と表現している。
 以下、図24及び図25を参照しつつ、軌跡条件を幾つか例示して説明する。
 本変形例において、軌跡条件は、例えば、図24に示すように、軌跡PL[tk1]の変化方向を示す単位ベクトルと、軌跡PL[tk2]の変化方向とは逆向きの方向を示す単位ベクトルとのなす角度θ12が、所定の基準角度(例えば、90度)以下であるという条件であってもよい。
 また、本変形例において、軌跡条件は、例えば、図24に示すように、時刻tk1における仮想直線LC[tk1]と、時刻tk2における仮想直線LC[tk2]との間隔DCが、所定の基準距離以下であるという条件であってもよい。
 また、本変形例において、軌跡条件は、例えば、図24に示すように、時刻tk1における仮想直線LC[tk1]及び選択オブジェクトCB[k]の交点と、時刻tk2における仮想直線LC[tk2]及び選択オブジェクトCB[k]の交点とが、選択オブジェクトCBが有する複数の辺のうち、同一の辺、例えば、+Z側の辺に位置するという条件であってもよい。
 また、本変形例において、軌跡条件は、例えば、図25に示すように、軌跡PL[tk1][tk]と軌跡PL[tk][tk2]とが交差するという条件であってもよい。
 このように、本変形例によれば、仮想直線LCと選択オブジェクトCBとの交点の軌跡PLが、所定の軌跡条件を充足する場合に限り、当該選択オブジェクトCBを選択対象オブジェクトとして特定する。このため、本変形例によれば、例えば、選択オブジェクトCBが、仮想直線LCと交差した時点で特定される態様と比較して、選択オブジェクトCBが誤って特定される可能性を低減することができる。
[変形例8]
 上述した実施形態及び変形例1乃至7において、姿勢情報Bは、端末装置10の姿勢変化の検出結果を示すが、本発明はこのような態様に限定されるものではない。姿勢情報Bは、例えば、地上に固定された座標系から見た端末装置10の姿勢を示す情報であってもよい。
 この場合、姿勢情報生成部14は、例えば、加速度センサ、及び、地磁気センサの一方または双方を含んで構成されていてもよい。また、この場合、姿勢情報Bは、例えば、HMD1の外部に設けられ、HMD1を撮像する撮像装置から出力される画像を示す情報であってもよい。
[変形例9]
 上述した実施形態及び変形例1乃至8において、情報処理装置は、HMD1に設けられるが、情報処理装置は、HMD1とは別個に設けられてもよい。
 図26は、本変形例に係る情報処理システムSYSの構成の一例を示すブロック図である。
 図26に示すように、情報処理システムSYSは、情報処理装置20と、情報処理装置20と通信可能なヘッドマウントディスプレイ1Aと、を備える。このうち、情報処理装置20は、例えば、制御部11と、操作部13と、記憶部15とを備えてもよい。また、ヘッドマウントディスプレイ1Aは、表示部12と、姿勢情報生成部14とに加え、ヘッドマウントディスプレイ1Aを装着したユーザUによる操作を受け付ける操作部31と、各種情報を記憶する記憶部32と、を備えてもよい。
[変形例10]
 上述した実施形態及び変形例1乃至9において、仮想直線LCは、仮想カメラCMの光軸を表すが、本発明はこのような態様に限定されるものではない。
 例えば、HMD1が、HMD1を装着したユーザUの視線の方向を計測するアイトラッキング機能を有する場合、当該アイトラッキング機能により計測されたユーザUの視線を仮想直線LCとしてもよい。
[C.付記]
 以上の記載から、本発明は例えば以下のように把握される。なお、各態様の理解を容易にするために、以下では、図面の参照符号を便宜的に括弧書きで付記するが、本発明を図示の態様に限定する趣旨ではない。
[付記1]
 本発明の一態様に係る記録媒体は、情報処理装置(例えば、端末装置10)のプロセッサ(例えば、プロセッサ1000)を、複数の選択オブジェクト(例えば、選択オブジェクトCB)が配置された仮想空間(例えば、仮想空間SP-V)を仮想カメラ(例えば、仮想カメラCM)で撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイ(例えば、HMD1)に設けられた表示部(例えば、表示部12)に表示させる表示制御部(例えば、表示制御部111)と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報(例えば、姿勢情報B)を取得する取得部(例えば、姿勢情報取得部112)と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線(例えば、仮想直線LC)、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係(例えば、交差する関係)を有する場合に、前記一の選択オブジェクトを特定する特定部(例えば、特定部113)と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件(例えば、選択条件)が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部(例えば、選択部114)と、して機能させる、ことを特徴とするプログラム(例えば、制御プログラムPRG)を記録した非一過性の記録媒体(例えば、メモリ1001)である、ことを特徴とする。
 本態様によれば、姿勢情報に基づく方向を有する仮想線と、選択オブジェクトとが、所定の位置関係を有する場合に、当該選択オブジェクトが特定される。そして、本態様によれば、1または複数の選択オブジェクトが特定されている場合であって、姿勢情報に関連する所定条件が満たされる場合に、当該特定されている1または複数の選択オブジェクトが選択される。すなわち、本態様によれば、ヘッドマウントディスプレイの姿勢に関する姿勢情報に基づいて、選択オブジェクトの特定と、特定された選択オブジェクトの選択と、が実行される。
 このため、本態様によれば、ヘッドマウントディスプレイを装着したユーザは、ヘッドマウントディスプレイの姿勢に基づいて、1または複数の選択オブジェクトを選択することができる。これにより、本態様によれば、ヘッドマウントディスプレイの姿勢に基づいて、仮想カメラの姿勢を変化させる操作と、仮想カメラの姿勢を変化させる操作以外の操作との両方を、実行することが可能となる。すなわち、本態様によれば、ヘッドマウントディスプレイの姿勢の変化により多様な指示を入力することが可能となる。
 ところで、ヘッドマウントディスプレイの姿勢に基づく方向を有する仮想線と、複数の選択オブジェクトのうち一の選択オブジェクトとが、所定の位置関係を有する場合に、当該一の選択オブジェクトが選択される態様(以下、「参考例1」と称する)が考えられる。しかし、参考例1では、ヘッドマウントディスプレイの姿勢に係る操作が適切に実行されない場合、所望の選択オブジェクトとは異なる選択オブジェクトが誤って選択される恐れがある。
 これに対して、本態様によれば、所望の選択オブジェクトが特定されている場合に、当該選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、所望の選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減させることが可能となる。
 なお、所望の選択オブジェクトとは異なる選択オブジェクトが誤って選択されることを防止するために、仮想線と一の選択オブジェクトとが所定の時間長に亘り所定の位置関係を維持する場合に、当該一の選択オブジェクトが選択される態様(以下、「参考例2」と称する)も考えられる。しかし、参考例2では、選択すべき選択オブジェクトの個数が多くなるのに従って、選択に要する時間が長くなり、ヘッドマウントディスプレイを装着したユーザにかかる負荷も大きくなる。
 これに対して、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、所定条件が満たされるように、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。これにより、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合であっても、ヘッドマウントディスプレイを装着したユーザにかかる負荷が増大する程度を抑制することが可能となる。
 なお、上記態様において、「選択オブジェクト」とは、例えば、仮想空間に存在する仮想的な物体であってもよいし、仮想空間に存在する特定の領域であってもよい。例えば、「選択オブジェクト」が、仮想空間に存在する特定の領域である場合、当該領域は、色彩または模様等で周囲と区分された領域であってもよい。ここで、「仮想空間に存在する特定の領域」とは、例えば、仮想空間において一次元的な広がりを有する、直線、曲線、または、線分であってもよいし、仮想空間において二次元的な広がりを有する、四角形、三角形、または、円形であってもよいし、仮想空間において三次元的な広がりを有する、立体、または、曲面であってもよい。また、「複数の選択オブジェクト」は、例えば、仮想空間に配置された表示オブジェクトの表面に設けられた複数の領域であってもよい。
 また、上記態様において、「仮想カメラ」とは、例えば、仮想空間を撮像する第1の仮想カメラと、仮想空間内のうち第1の仮想カメラとは異なる位置から仮想空間を撮像する第2の仮想カメラと、を備えるものであってもよい。また、この場合、「立体視画像」とは、例えば、仮想空間を第1の仮想カメラで撮像した、ユーザが左眼で視認するための左眼用画像と、仮想空間を第2の仮想カメラで撮像した、ユーザが右眼で視認するための右眼用画像と、を含む画像であってもよい。
 また、上記態様において、「ヘッドマウントディスプレイ」とは、例えば、頭部に装着可能な表示装置であってもよい。具体的には、「ヘッドマウントディスプレイ」とは、頭部に装着可能なゴーグル型または眼鏡型の表示装置であってもよい。また、「ヘッドマウントディスプレイ」とは、例えば、頭部に装着可能な装着具と、当該装着具に対して取り付けられた、スマートフォンのような携帯型の表示装置と、を有するものであってもよい。
 また、上記態様において、「ヘッドマウントディスプレイの姿勢」とは、例えば、ヘッドマウントディスプレイの向きであってもよいし、ヘッドマウントディスプレイの傾きであってもよいし、ヘッドマウントディスプレイの向き及び傾きの双方を含む概念であってもよい。ここで、「ヘッドマウントディスプレイの向き」とは、例えば、現実空間においてヘッドマウントディスプレイが向いている方向であってもよいし、ヘッドマウントディスプレイの基準方向と磁北方向とのなす角度であってもよい。また、「ヘッドマウントディスプレイの傾き」とは、例えば、ヘッドマウントディスプレイの基準方向と鉛直方向とのなす角度であってもよい。
 また、上記態様において、「姿勢情報」とは、例えば、ヘッドマウントディスプレイの姿勢を示す情報であってもよいし、ヘッドマウントディスプレイの姿勢変化を示す情報であってもよい。
 また、上記態様において、「取得部」は、例えば、ヘッドマウントディスプレイから姿勢情報を取得してもよいし、ヘッドマウントディスプレイを撮像する撮像装置から姿勢情報を取得してもよい。取得部が、ヘッドマウントディスプレイから姿勢情報を取得する場合、ヘッドマウントディスプレイは、ヘッドマウントディスプレイの姿勢変化を示す情報を検出するためのセンサを備えていてもよいし、ヘッドマウントディスプレイの姿勢を示す情報を検出するためのセンサを備えていてもよい。ここで、「ヘッドマウントディスプレイの姿勢変化を示す情報を検出するためのセンサ」とは、例えば、角速度センサであってもよい。また、「ヘッドマウントディスプレイの姿勢を示す情報を検出するためのセンサ」とは、例えば、地磁気センサ、及び、加速度センサの一方または双方であってもよい。また、取得部が、ヘッドマウントディスプレイを撮像する撮像装置から姿勢情報を取得する場合、姿勢情報は、例えば、撮像装置によりヘッドマウントディスプレイを撮像した結果を示す画像であってもよい。
 また、上記態様において、「仮想線」とは、例えば、仮想空間において、仮想カメラが向いている方向に延在する直線であってもよい。より具体的には、「仮想線」とは、例えば、仮想カメラの光軸であってもよい。また、「仮想線」とは、例えば、ヘッドマウントディスプレイを装着したユーザの視線の方向に延在する直線であってもよい。この場合、ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着したユーザの視線の方向を検出するアイトラッキング機能を有していてもよい。
 また、上記態様において、「仮想線と選択オブジェクトとが所定の位置関係を有する」とは、例えば、仮想線と選択オブジェクトとが交差していることであってもよい。また、「仮想線と選択オブジェクトとが所定の位置関係を有する」とは、例えば、仮想線と選択オブジェクトとの間隔が所定の距離以下であることであってもよい。
 また、上記態様において、「所定条件」とは、姿勢情報に応じた方向を有する仮想線に係る条件であってもよいし、姿勢情報の示すヘッドマウントディスプレイの姿勢に係る条件であってもよいし、姿勢情報の示すヘッドマウントディスプレイの姿勢の変化に係る条件であってもよい。
 ここで、「姿勢情報に応じた方向を有する仮想線に係る条件」とは、例えば、姿勢情報に応じた方向を有する仮想線と、仮想空間に配置された仮想的なオブジェクトである所定オブジェクトとが、所定の位置関係を有するという条件であってもよい。また、「姿勢情報に応じた方向を有する仮想線に係る条件」とは、例えば、姿勢情報に応じた方向を有する仮想線と、仮想空間に配置された仮想的なオブジェクトである所定オブジェクトとが、所定の時間長を有する第1期間において、所定の位置関係を維持するという条件であってもよい。また、「姿勢情報に応じた方向を有する仮想線に係る条件」とは、例えば、姿勢情報に応じた方向を有する仮想線と、特定部により特定される一の選択オブジェクトとが、所定の時間長を有する第1期間において、所定の位置関係を維持するという条件であってもよい。
 また、「姿勢情報の示すヘッドマウントディスプレイの姿勢に係る条件」とは、例えば、姿勢情報の示すヘッドマウントディスプレイの姿勢が、所定の基準軸を中心に、基準姿勢から所定角度以上回転した姿勢であるという条件であってもよい。
 また、「姿勢情報の示すヘッドマウントディスプレイの姿勢の変化に係る条件」とは、例えば、姿勢情報の示すヘッドマウントディスプレイの姿勢が、所定の基準軸を中心に、所定角度以上回転するという条件であってもよい。
[付記2]
 本発明の他の態様に係る記録媒体は、付記1に記載の記録媒体であって、前記選択部は、前記仮想線と、前記仮想空間に配置された所定オブジェクト(例えば、確定ボタンBt)とが、前記所定の位置関係を有する場合に、前記1または複数の選択オブジェクトを選択する、ことを特徴とする。
 本態様によれば、仮想線と所定オブジェクトとが所定の位置関係を有する場合に、特定部により特定されている選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、選択しようとする選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減することが可能となる。
 また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、仮想線と所定オブジェクトとが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
 なお、上記態様において、「所定オブジェクト」とは、例えば、仮想空間に存在する仮想的な物体であってもよいし、仮想空間に存在する特定の領域であってもよい。
[付記3]
 本発明の他の態様に係る記録媒体は、付記1に記載の記録媒体であって、前記選択部は、前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、所定の基準軸(例えば、X軸)を中心に、基準姿勢(例えば、基準時刻t0におけるHMD1の姿勢)から所定角度(例えば、角度θth)以上回転した姿勢である場合に、前記1または複数の選択オブジェクトを選択する、ことを特徴とする。
 本態様によれば、ヘッドマウントディスプレイの姿勢が所定の基準軸を中心に所定角度以上回転する場合に、特定部により特定されている選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、選択しようとする選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減することが可能となる。
 また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、所定の基準軸を中心に所定角度以上回転するように、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
 なお、上記態様において、「所定の基準軸」とは、例えば、ヘッドマウントディスプレイを装着したユーザから見て、所定方向に延在する直線であってもよい。具体的には、「所定の基準軸」とは、例えば、ヘッドマウントディスプレイを装着したユーザから見て、前方方向に延在する直線であってもよい。すなわち、上記態様において、「所定の基準軸を中心に基準姿勢から所定角度以上回転した姿勢」とは、例えば、ヘッドマウントディスプレイを装着したユーザから見て、ロール方向に所定角度以上回転した姿勢であってもよい。
[付記4]
 本発明の他の態様に係る記録媒体は、付記1に記載の記録媒体であって、前記選択部は、前記仮想線と、前記仮想空間に配置された所定オブジェクトとが、第1期間において、前記所定の位置関係を維持する場合に、前記1または複数の選択オブジェクトを選択する、ことを特徴とする。
 本態様によれば、仮想線と所定オブジェクトとが第1期間において所定の位置関係を維持する場合に、特定部により特定されている選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、選択しようとする選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減することが可能となる。
 また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、仮想線と所定オブジェクトとが第1期間において所定の位置関係を維持するように、ヘッドマウントディスプレイの姿勢を制御することで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
 なお、上記態様において、「第1期間」とは、例えば、仮想線と所定オブジェクトとが、所定の位置関係を有するに至った時刻に開始される期間であって、所定の時間長を有する期間であってもよい。
[付記5]
 本発明の他の態様に係る記録媒体は、付記1に記載の記録媒体であって、前記選択部は、前記仮想線と、前記一の選択オブジェクトとが、第1期間(例えば、選択確定期間)において、前記所定の位置関係を維持する場合に、前記1または複数の選択オブジェクトを選択する、ことを特徴とする。
 本態様によれば、仮想線と一の選択オブジェクトとが第1期間において所定の位置関係を維持する場合に、特定部により特定されている選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、選択しようとする選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減することが可能となる。
 また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、仮想線と2以上の選択オブジェクトのうち一の選択オブジェクトとが第1期間において所定の位置関係を維持するように、ヘッドマウントディスプレイの姿勢を制御することで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
 なお、上記態様において、「第1期間」とは、例えば、仮想線と一の選択オブジェクトとが、所定の位置関係を有するに至った時刻に開始される期間であって、所定の時間長を有する期間であってもよい。
[付記6]
 本発明の他の態様に係る記録媒体は、付記1乃至5に記載の記録媒体であって、前記選択部は、前記複数の選択オブジェクトの中から、M個(Mは、1以上の自然数)の選択オブジェクトが選択されるべき場合において、前記複数の選択オブジェクトのうち、前記特定部がM番目に特定した選択オブジェクトと、前記仮想線とが、第1期間において、前記所定の位置関係を維持するときに、前記特定部により特定された前記M個の選択オブジェクトを選択する、ことを特徴とする。
 本態様によれば、仮想線とM番目に特定された選択オブジェクトとが第1期間において所定の位置関係を維持する場合に、特定部により特定されている選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、選択しようとする選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減することが可能となる。
 また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、仮想線と2以上の選択オブジェクトのうち最後(M番目)に特定された選択オブジェクトとが、第1期間において所定の位置関係を維持するように、ヘッドマウントディスプレイの姿勢を制御することで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
 なお、上記態様において、「第1期間」とは、例えば、仮想線とM番目に特定された選択オブジェクトとが、所定の位置関係を有するに至った時刻に開始される期間であって、所定の時間長を有する期間であってもよい。
[付記7]
 本発明の他の態様に係る記録媒体は、付記4乃至6に記載の記録媒体であって、前記特定部は、前記仮想線と、前記一の選択オブジェクトとが、前記所定の位置関係を有する場合、または、前記仮想線と、前記一の選択オブジェクトとが、前記第1期間の時間長よりも短い基準時間(例えば、時間長ΔT2)に亘り、前記所定の位置関係を維持する場合に、前記一の選択オブジェクトを特定する、ことを特徴とする。
 本態様によれば、仮想線と選択オブジェクトとが第1期間よりも短い時間において所定の位置関係を有するする場合に、当該選択オブジェクトが特定される。このため、本態様によれば、例えば、仮想線と選択オブジェクトとが第1期間に亘り所定の位置関係を維持する場合に、当該選択オブジェクトが特定される態様と比較して、選択オブジェクトの特定に要する時間を短くすることが可能となる。
[付記8]
 本発明の他の態様に係る記録媒体は、付記1乃至7に記載の記録媒体であって、前記特定部は、前記仮想線と、前記一の選択オブジェクトとが、前記所定の位置関係を有する場合であって、前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、所定の姿勢(例えば、ロール回転状態である場合の姿勢)を有する場合に、前記一の選択オブジェクトを特定し、前記仮想線と、前記一の選択オブジェクトとが、前記所定の位置関係を有する場合であって、前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、前記所定の姿勢を有さない場合に、前記一の選択オブジェクトを特定しない、ことを特徴とする。
 本態様によれば、ヘッドマウントディスプレイの姿勢が所定の姿勢を有する場合に限り、選択オブジェクトが特定される。このため、本態様によれば、例えば、ヘッドマウントディスプレイの姿勢を考慮せずに、仮想線と選択オブジェクトとの位置関係のみに基づいて、当該選択オブジェクトが特定される態様と比較して、所望の選択オブジェクトとは異なる選択オブジェクトが誤って特定される可能性を低減することが可能となる。
 なお、上記態様において、「ヘッドマウントディスプレイが所定の姿勢を有する場合」とは、例えば、ヘッドマウントディスプレイが、所定の基準軸を中心に、基準姿勢から所定角度以上の回転をした姿勢を有する場合であってもよいし、逆に、ヘッドマウントディスプレイが、所定の基準軸を中心に、基準姿勢から所定角度未満の回転をした姿勢を有する場合であってもよい。
[付記9]
 本発明の他の態様に係る記録媒体は、付記1乃至8に記載の記録媒体であって、前記表示制御部は、前記特定部が、前記複数の選択オブジェクトの中から、最初に選択オブジェクトを特定した後であって、前記選択部が、前記1または複数の選択オブジェクトを選択するまでの、第2期間(例えば、選択前期間)における、前記複数の選択オブジェクトのうち、前記特定部により特定されていない他の選択オブジェクトの、前記表示部における表示態様と、前記第2期間が開始される前における、前記他の選択オブジェクトの、前記表示部における表示態様とを、互いに異ならせる、ことを特徴とする。
 本態様によれば、第2期間における他の選択オブジェクトの表示態様と、第2期間が開始される前の期間における他の選択オブジェクトの表示態様とを異ならせる。このため、本態様によれば、例えば、第2期間における他の選択オブジェクトの表示態様と、第2期間が開始される前の期間における他の選択オブジェクトの表示態様とが同一である場合と比較して、ヘッドマウントディスプレイを装着したユーザが、複数の選択オブジェクトのうち、どの選択オブジェクトが特定されているかを、容易に視認することが可能となる。
 なお、上記態様において、「表示態様」とは、例えば、視覚により識別可能な態様である。具体的には、「表示態様」とは、例えば、形状、模様、色彩、大きさ、明度、及び、透明度、の一部または全部を含む概念であってもよい。
[付記10]
 本発明の他の態様に係る記録媒体は、付記1乃至9に記載の記録媒体であって、前記表示制御部は、前記特定部が、前記一の選択オブジェクトを特定した後における、前記一の選択オブジェクトの、前記表示部における表示態様と、前記特定部が、前記一の選択オブジェクトを特定する前における、前記一の選択オブジェクトの、前記表示部における表示態様とを、互いに異ならせる、ことを特徴とする。
 本態様によれば、一の選択オブジェクトが特定された後の期間における一の選択オブジェクトの表示態様と、一の選択オブジェクトが特定される前の期間における一の選択オブジェクトの表示態様とを異ならせる。このため、本態様によれば、例えば、一の選択オブジェクトが特定された後の期間における一の選択オブジェクトの表示態様と、一の選択オブジェクトが特定される前の期間における一の選択オブジェクトの表示態様とが同一である場合と比較して、ヘッドマウントディスプレイを装着したユーザが、複数の選択オブジェクトのうち、どの選択オブジェクトが特定されているかを、容易に視認することが可能となる。
[付記11]
 本発明の他の態様に係る記録媒体は、付記4乃至7に記載の記録媒体であって、前記表示制御部は、前記第1期間が開始される前の期間における、前記複数の選択オブジェクトのうち少なくとも一部の選択オブジェクトの、前記表示部における表示態様と、前記第1期間の一部または全部の期間における、前記少なくとも一部の選択オブジェクトの、前記表示部における表示態様とを、互いに異ならせる、ことを特徴とする。
 本態様によれば、第1期間における一部の選択オブジェクトの表示態様と、第1期間が開始される前の期間における一部の選択オブジェクトの表示態様とを異ならせる。このため、本態様によれば、例えば、第1期間における一部の選択オブジェクトの表示態様と、第1期間が開始される前の期間における一部の選択オブジェクトの表示態様とが同一である場合と比較して、ヘッドマウントディスプレイを装着したユーザが、選択オブジェクトが選択される第1期間が開始されたことを、容易に把握することが可能となる。
 なお、上記態様において、「少なくとも一部の選択オブジェクト」とは、例えば、複数の選択オブジェクトのうち特定部により特定された一の選択オブジェクトであってもよいし、複数の選択オブジェクトのうち特定部により特定されていない他の選択オブジェクトであってもよいし、一の選択オブジェクトと他の選択オブジェクトとの両方を含むものであってもよい。
[付記12]
 本発明の一態様に係る情報処理装置は、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、を備える、ことを特徴とする。
 本態様によれば、ヘッドマウントディスプレイの姿勢に関する姿勢情報に基づいて、選択オブジェクトの特定と、特定された選択オブジェクトの選択と、が実行される。このため、本態様によれば、ヘッドマウントディスプレイを装着したユーザは、ヘッドマウントディスプレイの姿勢に基づいて、仮想カメラの姿勢を変化させる操作以外の操作を実行することが可能となる。すなわち、本態様によれば、ヘッドマウントディスプレイの姿勢の変化により多様な指示を入力することが可能となる。
 また、本態様によれば、所望の選択オブジェクトが特定されている場合に、当該選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、所望の選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減させることが可能となる。
 また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
[付記13]
 本発明の一態様に係るヘッドマウントディスプレイは、表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、前記情報処理装置は、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、を備える、ことを特徴とする。
 本態様によれば、ヘッドマウントディスプレイの姿勢に関する姿勢情報に基づいて、選択オブジェクトの特定と、特定された選択オブジェクトの選択と、が実行される。このため、本態様によれば、ヘッドマウントディスプレイを装着したユーザは、ヘッドマウントディスプレイの姿勢に基づいて、仮想カメラの姿勢を変化させる操作以外の操作を実行することが可能となる。すなわち、本態様によれば、ヘッドマウントディスプレイの姿勢の変化により多様な指示を入力することが可能となる。
 また、本態様によれば、所望の選択オブジェクトが特定されている場合に、当該選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、所望の選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減させることが可能となる。
 また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
[付記14]
 本発明の一態様に係る情報処理システムは、表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する情報処理システムであって、前記情報処理装置は、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、を備える、ことを特徴とする。
 本態様によれば、ヘッドマウントディスプレイの姿勢に関する姿勢情報に基づいて、選択オブジェクトの特定と、特定された選択オブジェクトの選択と、が実行される。このため、本態様によれば、ヘッドマウントディスプレイを装着したユーザは、ヘッドマウントディスプレイの姿勢に基づいて、仮想カメラの姿勢を変化させる操作以外の操作を実行することが可能となる。すなわち、本態様によれば、ヘッドマウントディスプレイの姿勢の変化により多様な指示を入力することが可能となる。
 また、本態様によれば、所望の選択オブジェクトが特定されている場合に、当該選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、所望の選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減させることが可能となる。
 また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
 1…ヘッドマウントディスプレイ、10…端末装置、11…制御部、12…表示部、13…操作部、14…姿勢情報生成部、15…記憶部、111…表示制御部、112…姿勢情報取得部、113…特定部、114…選択部、1000…プロセッサ、1002…角速度センサ。

Claims (14)

  1.  情報処理装置のプロセッサを、
     複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、
     両眼視差を利用した立体視画像を、
     ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、
     前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
     前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、
     前記複数の選択オブジェクトのうち一の選択オブジェクトが、
     所定の位置関係を有する場合に、
     前記一の選択オブジェクトを特定する特定部と、
     前記特定部が、
     前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、
     前記姿勢情報に関連する所定条件が満たされるときに、
     前記1または複数の選択オブジェクトを選択する選択部と、
     して機能させる、
     ことを特徴とするプログラムを記録した非一過性の記録媒体。
  2.  前記選択部は、
     前記仮想線と、前記仮想空間に配置された所定オブジェクトとが、
     前記所定の位置関係を有する場合に、
     前記1または複数の選択オブジェクトを選択する、
     ことを特徴とする、請求項1に記載の記録媒体。
  3.  前記選択部は、
     前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、
     所定の基準軸を中心に、基準姿勢から所定角度以上回転した姿勢である場合に、
     前記1または複数の選択オブジェクトを選択する、
     ことを特徴とする、請求項1に記載の記録媒体。
  4.  前記選択部は、
     前記仮想線と、前記仮想空間に配置された所定オブジェクトとが、
     第1期間において、前記所定の位置関係を維持する場合に、
     前記1または複数の選択オブジェクトを選択する、
     ことを特徴とする、請求項1に記載の記録媒体。
  5.  前記選択部は、
     前記仮想線と、前記一の選択オブジェクトとが、
     第1期間において、前記所定の位置関係を維持する場合に、
     前記1または複数の選択オブジェクトを選択する、
     ことを特徴とする、請求項1に記載の記録媒体。
  6.  前記選択部は、
     前記複数の選択オブジェクトの中から、
     M個(Mは、1以上の自然数)の選択オブジェクトが選択されるべき場合において、
     前記複数の選択オブジェクトのうち、前記特定部がM番目に特定した選択オブジェクトと、
     前記仮想線とが、
     第1期間において、前記所定の位置関係を維持するときに、
     前記特定部により特定された前記M個の選択オブジェクトを選択する、
     ことを特徴とする、請求項1または5に記載の記録媒体。
  7.  前記特定部は、
     前記仮想線と、前記一の選択オブジェクトとが、
     前記所定の位置関係を有する場合、または、
     前記仮想線と、前記一の選択オブジェクトとが、
     前記第1期間の時間長よりも短い基準時間に亘り、前記所定の位置関係を維持する場合に、
     前記一の選択オブジェクトを特定する、
     ことを特徴とする、請求項4乃至6のうち何れか1項に記載の記録媒体。
  8.  前記特定部は、
     前記仮想線と、前記一の選択オブジェクトとが、
     前記所定の位置関係を有する場合であって、
     前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、
     所定の姿勢を有する場合に、
     前記一の選択オブジェクトを特定し、
     前記仮想線と、前記一の選択オブジェクトとが、
     前記所定の位置関係を有する場合であって、
     前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、
     前記所定の姿勢を有さない場合に、
     前記一の選択オブジェクトを特定しない、
     ことを特徴とする、請求項1乃至7のうち何れか1項に記載の記録媒体。
  9.  前記表示制御部は、
     前記特定部が、前記複数の選択オブジェクトの中から、最初に選択オブジェクトを特定した後であって、
     前記選択部が、前記1または複数の選択オブジェクトを選択するまでの、第2期間における、
     前記複数の選択オブジェクトのうち、
     前記特定部により特定されていない他の選択オブジェクトの、
     前記表示部における表示態様と、
     前記第2期間が開始される前における、
     前記他の選択オブジェクトの、
     前記表示部における表示態様とを、
     互いに異ならせる、
     ことを特徴とする、請求項1乃至8のうち何れか1項に記載の記録媒体。
  10.  前記表示制御部は、
     前記特定部が、前記一の選択オブジェクトを特定した後における、
     前記一の選択オブジェクトの、
     前記表示部における表示態様と、
     前記特定部が、前記一の選択オブジェクトを特定する前における、
     前記一の選択オブジェクトの、
     前記表示部における表示態様とを、
     互いに異ならせる、
     ことを特徴とする、請求項1乃至9のうち何れか1項に記載の記録媒体。
  11.  前記表示制御部は、
     前記第1期間が開始される前の期間における、
     前記複数の選択オブジェクトのうち少なくとも一部の選択オブジェクトの、
     前記表示部における表示態様と、
     前記第1期間の一部または全部の期間における、
     前記少なくとも一部の選択オブジェクトの、
     前記表示部における表示態様とを、
     互いに異ならせる、
     ことを特徴とする、請求項4乃至7のうち何れか1項に記載の記録媒体。
  12.  複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、
     両眼視差を利用した立体視画像を、
     ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、
     前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
     前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、
     前記複数の選択オブジェクトのうち一の選択オブジェクトが、
     所定の位置関係を有する場合に、
     前記一の選択オブジェクトを特定する特定部と、
     前記特定部が、
     前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、
     前記姿勢情報に関連する所定条件が満たされるときに、
     前記1または複数の選択オブジェクトを選択する選択部と、
     を備える、
     ことを特徴とする、情報処理装置。
  13.  表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、
     前記情報処理装置は、
     複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、
     両眼視差を利用した立体視画像を、
     前記表示部に表示させる表示制御部と、
     前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
     前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、
     前記複数の選択オブジェクトのうち一の選択オブジェクトが、
     所定の位置関係を有する場合に、
     前記一の選択オブジェクトを特定する特定部と、
     前記特定部が、
     前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、
     前記姿勢情報に関連する所定条件が満たされるときに、
     前記1または複数の選択オブジェクトを選択する選択部と、
     を備える、
     ことを特徴とする、ヘッドマウントディスプレイ。
  14.  表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する情報処理システムであって、
     前記情報処理装置は、
     複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、
     両眼視差を利用した立体視画像を、
     前記表示部に表示させる表示制御部と、
     前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
     前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、
     前記複数の選択オブジェクトのうち一の選択オブジェクトが、
     所定の位置関係を有する場合に、
     前記一の選択オブジェクトを特定する特定部と、
     前記特定部が、
     前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、
     前記姿勢情報に関連する所定条件が満たされるときに、
     前記1または複数の選択オブジェクトを選択する選択部と、
     を備える、
     ことを特徴とする、情報処理システム。
PCT/JP2019/010638 2018-03-23 2019-03-14 情報処理装置、記録媒体、ヘッドマウントディスプレイ、及び、情報処理システム WO2019181747A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020207024775A KR102488903B1 (ko) 2018-03-23 2019-03-14 정보 처리 장치, 기록 매체, 헤드 마운트 디스플레이 및 정보 처리 시스템
CN201980017625.XA CN111819531B (zh) 2018-03-23 2019-03-14 信息处理装置、记录介质、头戴式显示器和信息处理系统
US17/012,324 US11861060B2 (en) 2018-03-23 2020-09-04 Recording medium for selecting objects using head mounted display, information processing system, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018055561A JP6623481B2 (ja) 2018-03-23 2018-03-23 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP2018-055561 2018-03-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/012,324 Continuation US11861060B2 (en) 2018-03-23 2020-09-04 Recording medium for selecting objects using head mounted display, information processing system, and information processing method

Publications (1)

Publication Number Publication Date
WO2019181747A1 true WO2019181747A1 (ja) 2019-09-26

Family

ID=67987255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010638 WO2019181747A1 (ja) 2018-03-23 2019-03-14 情報処理装置、記録媒体、ヘッドマウントディスプレイ、及び、情報処理システム

Country Status (5)

Country Link
US (1) US11861060B2 (ja)
JP (1) JP6623481B2 (ja)
KR (1) KR102488903B1 (ja)
CN (1) CN111819531B (ja)
WO (1) WO2019181747A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096473A (ja) * 1995-06-21 1997-01-10 Sharp Corp 電子機器
JP2009205557A (ja) * 2008-02-28 2009-09-10 Sharp Corp 携帯情報端末
JP2017182217A (ja) * 2016-03-28 2017-10-05 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
JP6277567B1 (ja) * 2016-11-21 2018-02-14 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406166B2 (en) * 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
JPWO2014147858A1 (ja) * 2013-03-19 2017-02-16 Necソリューションイノベータ株式会社 3次元ロック解除装置、3次元ロック解除方法及びプログラム
JP6294780B2 (ja) * 2014-07-17 2018-03-14 株式会社ソニー・インタラクティブエンタテインメント 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ
JP5767386B1 (ja) * 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
KR20170130582A (ko) * 2015-08-04 2017-11-28 구글 엘엘씨 가상현실에서 시선 인터렉션을 위한 호버 행동
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP6518582B2 (ja) 2015-12-21 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP6236691B1 (ja) 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP6761708B2 (ja) * 2016-09-05 2020-09-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 駐車位置特定方法、駐車位置学習方法、駐車位置特定システム、駐車位置学習装置およびプログラム
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US10365784B2 (en) * 2017-03-08 2019-07-30 Colopl, Inc. Information processing method and apparatus for executing the information processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096473A (ja) * 1995-06-21 1997-01-10 Sharp Corp 電子機器
JP2009205557A (ja) * 2008-02-28 2009-09-10 Sharp Corp 携帯情報端末
JP2017182217A (ja) * 2016-03-28 2017-10-05 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
JP6277567B1 (ja) * 2016-11-21 2018-02-14 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム

Also Published As

Publication number Publication date
KR102488903B1 (ko) 2023-01-17
US11861060B2 (en) 2024-01-02
JP6623481B2 (ja) 2019-12-25
US20200401217A1 (en) 2020-12-24
JP2019168883A (ja) 2019-10-03
KR20200112953A (ko) 2020-10-05
CN111819531A (zh) 2020-10-23
CN111819531B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN107407964B (zh) 存储有用于在沉浸型虚拟空间控制目标操作的计算机程序的存储器以及计算机系统
US9292958B2 (en) Image processing system, game system, image processing method, image processing apparatus and recording medium
JP6236691B1 (ja) 端末装置、及びプログラム
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP6312184B2 (ja) 端末装置、及びプログラム
CN107851334A (zh) 信息处理装置
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
US11194438B2 (en) Capture indicator for a virtual world
WO2019181747A1 (ja) 情報処理装置、記録媒体、ヘッドマウントディスプレイ、及び、情報処理システム
WO2019168061A1 (ja) 情報処理装置、記録媒体、ヘッドマウントディスプレイ、及び、情報処理システム
JP6707224B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP6388270B1 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP6159455B1 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP7078273B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP6623431B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP6923964B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP5200158B1 (ja) ゲーム装置、制御装置、ゲーム制御方法、及びプログラム
JP2018005946A (ja) 端末装置、及びプログラム
JP2018092672A (ja) 端末装置、及びプログラム
WO2021255864A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6744271B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
JP2019175470A (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
KR20230070890A (ko) 전자 장치의 관심 영역 시각화 방법
JP2018033938A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP2018088268A (ja) 端末装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19772444

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207024775

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19772444

Country of ref document: EP

Kind code of ref document: A1