WO2018047384A1 - 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、当該情報処理方法が実行される情報処理装置、及び情報処理システム - Google Patents

情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、当該情報処理方法が実行される情報処理装置、及び情報処理システム Download PDF

Info

Publication number
WO2018047384A1
WO2018047384A1 PCT/JP2017/009739 JP2017009739W WO2018047384A1 WO 2018047384 A1 WO2018047384 A1 WO 2018047384A1 JP 2017009739 W JP2017009739 W JP 2017009739W WO 2018047384 A1 WO2018047384 A1 WO 2018047384A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
user
processing method
movement
virtual camera
Prior art date
Application number
PCT/JP2017/009739
Other languages
English (en)
French (fr)
Inventor
野口　裕弘
Original Assignee
株式会社コロプラ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社コロプラ filed Critical 株式会社コロプラ
Priority to CN201780002079.3A priority Critical patent/CN108027987B/zh
Priority to US15/753,958 priority patent/US20190011981A1/en
Publication of WO2018047384A1 publication Critical patent/WO2018047384A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present disclosure relates to an information processing method, a program for causing a computer to execute the information processing method, an information processing apparatus that executes the information processing method, and an information processing system.
  • UI user interface
  • a widget an example of a UI object
  • the widget is displayed in the field of view of the virtual camera.
  • HMD head mounted device
  • the widget is moved so as to be positioned within the field of view of the virtual camera.
  • the widget is always displayed in the visual field image displayed on the HMD.
  • Patent Document 1 when a widget is always displayed in a visual field image, the user may feel annoyed with the widget. In particular, while the widget is displayed in the field-of-view image, the user cannot sufficiently obtain an immersion feeling in the virtual space.
  • an information processing method executed by a processor of a computer that controls a head mounted device including a display unit includes: (A) The virtual camera, the first object that is fixedly arranged in the virtual space and displays the menu, the second object that can operate the menu displayed on the first object, and the operation object Generating virtual space data defining the virtual space; (B) obtaining a detection result of a detection unit configured to detect movement of the head mounted device and movement of a part of the body other than the user's head; (C) updating the field of view of the virtual camera in response to the movement of the head mounted device; (D) generating visual field image data based on the visual field of the virtual camera and the virtual space data; (E) displaying a visual field image on the display unit based on the visual field image data; (F) moving the operation object in response to movement of a part of the user's body; (G) operating a menu displayed on the first object in response to an input operation on the second object by the
  • HMD head mounted device
  • HMD head mounted device
  • worn It is a figure which shows the hardware constitutions of a control apparatus. It is a figure which shows an example of a specific structure of an external controller.
  • It is a flowchart which shows the process which displays a visual field image on HMD.
  • xyz space figure which shows an example of virtual space.
  • the state (a) is a yx plan view of the virtual space shown in FIG.
  • the state (b) is a zx plan view of the virtual space shown in FIG. It is a figure which shows an example of the visual field image displayed on HMD.
  • the state (a) is a diagram illustrating a state of the user who is immersed in the virtual space.
  • the state (b) is a diagram illustrating an example of the movement range of the tablet object set around the virtual camera.
  • the state (c) is a diagram illustrating another example of the movement range of the tablet object set around the virtual camera.
  • the state (a) is a diagram illustrating a state where the tablet object is located outside the movement range.
  • the state (b) is a diagram illustrating a state where the tablet object moves from outside the movement range to a predetermined position within the movement range.
  • An information processing method executed by a processor of a computer that controls a head mounted device including a display unit (A) The virtual camera, the first object that is fixedly arranged in the virtual space and displays the menu, the second object that can operate the menu displayed on the first object, and the operation object Generating virtual space data defining the virtual space; (B) obtaining a detection result of a detection unit configured to detect movement of the head mounted device and movement of a part of the body other than the user's head; (C) updating the field of view of the virtual camera in response to the movement of the head mounted device; (D) generating visual field image data based on the visual field of the virtual camera and the virtual space data; (E) displaying a visual field image on the display unit based on the visual field image data; (F) moving the operation object in response to movement of a part of the user's body; (G) operating a menu displayed on the first
  • the input operation may be specified based on an interaction between the second object and the operation object.
  • the virtual space data may further include a mediation object that is manipulated based on an operation of the manipulation object, and the input manipulation may be specified based on an interaction between the second object and the mediation object.
  • the menu displayed on the first object is operated in response to an input operation on the second object by the operation object. That is, the user can perform a predetermined operation on the second object in the virtual space using the operation object in the virtual space that is linked to the movement of a part of the user's body (for example, the hand). As a result of the predetermined operation, the menu displayed on the first object is operated. In this way, the menu operation can be executed by the interaction between objects in the virtual space. Furthermore, since the first object and the second object are not always displayed in the visual field image, it is possible to avoid a situation in which a UI object such as a widget is always displayed in the visual field image. Therefore, it is possible to provide an information processing method that can further enhance the user's immersion in the virtual space.
  • the step of moving the second object to a predetermined position within the movement range further includes the item (1) Information processing method described in 1.
  • the second object when it is determined that the second object is not located within the movement range of the second object, the second object moves to a predetermined position within the movement range. For example, when the user moves without having the second object, or the user throws away the second object, the second object is arranged outside the movement range. Even when the second object is located outside the movement range due to such a situation, the second object moves to a predetermined position within the movement range. In this way, the user can easily find the second object, and can greatly reduce the trouble of picking up the second object.
  • step (j) The information processing method according to item (2), including a step of moving the second object to the predetermined position within the movement range based on the position of the virtual camera and the position of the first object.
  • the second object is moved to a predetermined position within the movement range based on the position of the virtual camera and the position of the first object.
  • the position of the second object is determined based on the positional relationship between the first object and the virtual camera, the user can easily find the second object.
  • step (h) Measuring a distance between the user's head and a part of the user's body;
  • the information processing method according to item (2) or (3) including the step of setting the movement range based on the measured distance and the position of the virtual camera.
  • the movement range of the second object is set based on the distance between the user's head and a part of the user's body (for example, the hand) and the position of the virtual camera.
  • the second object is arranged in a range that can be picked up by the user while the user is stationary, it is possible to greatly reduce the trouble for the user to pick up the second object. .
  • step (h) Identifying a maximum distance between the user's head and part of the user's body based on the position of the user's head and part of the user's body; and The information processing method according to item (2) or (3), including the step of setting the movement range based on the maximum value of the identified distance and the position of the virtual camera.
  • the movement range of the operation object is set based on the maximum value of the distance between the user's head and a part of the user's body and the position of the virtual camera.
  • the second object is arranged in a range that can be picked up by the user while the user is stationary, it is possible to greatly reduce the trouble for the user to pick up the second object. .
  • step (h) Identifying a maximum value of the distance between the virtual camera and the operation object based on the position of the virtual camera and the position of the operation object;
  • the information processing method according to item (2) or (3) including the step of setting the movement range based on the maximum value of the identified distance and the position of the virtual camera.
  • the movement range of the operation object is set based on the maximum value of the distance between the virtual camera and the operation object and the position of the virtual camera.
  • a program for causing a computer to execute the information processing method according to any one of items (1) to (5) An information processing apparatus comprising at least a processor and a memory, and executing the information processing method according to any one of items (1) to (5) under the control of the processor.
  • An information processing system including an information processing apparatus including at least a processor and a memory, wherein the information processing method according to any one of items (1) to (5) is executed.
  • FIG. 1 is a schematic diagram showing an HMD system 1.
  • the HMD system 1 includes an HMD 110 mounted on the head of the user U, a position sensor 130, a control device 120, an external controller 320, and headphones 116.
  • the HMD 110 includes a display unit 112, an HMD sensor 114, and a gaze sensor 140.
  • the display unit 112 includes a non-transmissive display device configured to cover the field of view (field of view) of the user U wearing the HMD 110. Thereby, the user U can immerse in the virtual space by viewing only the visual field image displayed on the display unit 112.
  • the display unit 112 may be configured integrally with the main body unit of the HMD 110 or may be configured separately.
  • the display unit 112 may include a display unit for the left eye configured to provide an image for the left eye of the user U and a display unit for the right eye configured to provide an image for the right eye of the user U.
  • the HMD 110 may include a transmissive display device. In this case, the transmissive display device may be temporarily configured as a non-transmissive display device by adjusting the transmittance.
  • the HMD sensor 114 is mounted in the vicinity of the display unit 112 of the HMD 110.
  • the HMD sensor 114 includes at least one of a geomagnetic sensor, an acceleration sensor, and a tilt sensor (such as an angular velocity sensor and a gyro sensor), and can detect various movements of the HMD 110 mounted on the head of the user U.
  • Gaze sensor 140 has an eye tracking function that detects the direction of the user's gaze.
  • the gaze sensor 140 may include, for example, a right eye gaze sensor and a left eye gaze sensor.
  • the right eye gaze sensor irradiates, for example, infrared light to the right eye of the user U, and detects reflected light reflected from the right eye (particularly the cornea and iris), thereby acquiring information related to the rotation angle of the right eye's eyeball. May be.
  • the left eye gaze sensor irradiates the left eye of the user U with, for example, infrared light, and detects reflected light reflected from the left eye (particularly the cornea and iris), thereby providing information on the rotation angle of the left eye's eyeball. May be obtained.
  • the position sensor 130 is composed of, for example, a position tracking camera, and is configured to detect the positions of the HMD 110 and the external controller 320.
  • the position sensor 130 is communicably connected to the control device 120 by wireless or wired communication, and is configured to detect information on the position, inclination, or light emission intensity of a plurality of detection points (not shown) provided in the HMD 110. . Further, the position sensor 130 is configured to detect information on the position, inclination, and / or emission intensity of a plurality of detection points 304 (see FIG. 4) provided in the external controller 320.
  • the detection point is, for example, a light emitting unit that emits infrared light or visible light.
  • the position sensor 130 may include an infrared sensor and a plurality of optical cameras.
  • sensors such as the HMD sensor 114, the gaze sensor 140, and the position sensor 130 may be collectively referred to as a detection unit.
  • the detection unit detects a movement of a part of the body of the user U (for example, the hand of the user U), and then transmits a signal indicating the detection result to the control device 120.
  • the detection unit also has a function of detecting the movement of the head of the user U (function realized by the HMD sensor 114) and a function of detecting a movement of a part of the body other than the head of the user U (position sensor 130).
  • the function realized by Further, the detection unit may have a function of detecting the movement of the line of sight of the user U (a function realized by the gaze sensor 140).
  • the control device 120 is a computer configured to control the HMD 110.
  • the control device 120 acquires the position information of the HMD 110 based on the information acquired from the position sensor 130, and wears the position of the virtual camera in the virtual space and the HMD 110 in the real space based on the acquired position information.
  • the position of the user U can be accurately associated.
  • the control device 120 acquires position information of the external controller 320 based on the information acquired from the position sensor 130, and based on the acquired position information, the hand object 400 (displayed in the virtual space) And a position of the external controller 320 in the real space can be accurately associated with each other.
  • control device 120 specifies the gaze of the right eye and the gaze of the left eye of the user U based on the information transmitted from the gaze sensor 140, and determines the gaze point that is the intersection of the gaze of the right eye and the gaze of the left eye. Can be identified. Furthermore, the control device 120 can specify the line-of-sight direction of the user U based on the specified gaze point.
  • the line-of-sight direction of the user U is the line-of-sight direction of both eyes of the user U and coincides with the direction of a straight line passing through the middle point of the line segment connecting the right eye and the left eye of the user U and the gazing point.
  • FIG. 2 is a diagram illustrating the head of the user U wearing the HMD 110.
  • Information on the position and inclination of the HMD 110 that is linked to the movement of the head of the user U wearing the HMD 110 can be detected by the position sensor 130 and / or the HMD sensor 114 mounted on the HMD 110.
  • three-dimensional coordinates are defined centering on the head of the user U wearing the HMD 110.
  • the vertical direction in which the user U stands up is defined as the v-axis
  • the direction orthogonal to the v-axis and passing through the center of the HMD 110 is defined as the w-axis
  • the direction orthogonal to the v-axis and the w-axis is defined as the u-axis.
  • the position sensor 130 and / or the HMD sensor 114 is an angle around each uvw axis (that is, a yaw angle indicating rotation around the v axis, a pitch angle indicating rotation around the u axis, and a center around the w axis).
  • the inclination determined by the roll angle indicating rotation is detected.
  • the control device 120 determines angle information for controlling the visual axis of the virtual camera based on the detected angle change around each uvw axis.
  • FIG. 3 is a diagram illustrating a hardware configuration of the control device 120.
  • the control device 120 includes a control unit 121, a storage unit 123, an I / O (input / output) interface 124, a communication interface 125, and a bus 126.
  • the control unit 121, the storage unit 123, the I / O interface 124, and the communication interface 125 are connected to each other via a bus 126 so as to communicate with each other.
  • the control device 120 may be configured as a personal computer, a tablet, or a wearable device separately from the HMD 110, or may be built in the HMD 110. In addition, some functions of the control device 120 may be mounted on the HMD 110, and the remaining functions of the control device 120 may be mounted on another device separate from the HMD 110.
  • the control unit 121 includes a memory and a processor.
  • the memory includes, for example, a ROM (Read Only Memory) in which various programs are stored, a RAM (Random Access Memory) having a plurality of work areas in which various programs executed by the processor are stored, and the like.
  • the processor is, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and / or a GPU (Graphics Processing Unit), and a program specified from various programs incorporated in the ROM is expanded on the RAM. It is comprised so that various processes may be performed in cooperation with.
  • the processor 121 develops a program (described later) for causing the computer to execute the information processing method according to the present embodiment on the RAM, and executes the program in cooperation with the RAM.
  • Various operations of the control device 120 may be controlled.
  • the control unit 121 displays a virtual space (view image) on the display unit 112 of the HMD 110 by executing a predetermined application program (game program) stored in the memory or the storage unit 123. Thereby, the user U can be immersed in the virtual space displayed on the display unit 112.
  • the storage unit (storage) 123 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a USB flash memory, and is configured to store programs and various data.
  • the storage unit 123 may store a program that causes a computer to execute the information processing method according to the present embodiment.
  • a user U authentication program, a game program including data on various images and objects, and the like may be stored.
  • a database including tables for managing various data may be constructed in the storage unit 123.
  • the I / O interface 124 is configured to connect the position sensor 130, the HMD 110, and the external controller 320 to the control device 120 so that they can communicate with each other.
  • a USB (Universal Serial Bus) terminal DVI (Digital)
  • the terminal includes a Visual Interface terminal, an HDMI (registered trademark) (High-Definition Multimedia interface) terminal, and the like.
  • the control device 120 may be wirelessly connected to each of the position sensor 130, the HMD 110, and the external controller 320.
  • the communication interface 125 is configured to connect the control device 120 to a communication network 3 such as a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet.
  • the communication interface 125 includes various wired connection terminals for communicating with external devices on the network via the communication network 3 and various processing circuits for wireless connection, and for communicating via the communication network 3. It is configured to conform to the communication standard.
  • the external controller 320 detects the movement of a part of the body of the user U (a part other than the head, which is the user U's hand in the present embodiment), thereby moving the hand object displayed in the virtual space. Used to control.
  • the external controller 320 is an external controller 320R for right hand operated by the right hand of the user U (hereinafter simply referred to as controller 320R) and an external controller 320L for left hand operated by the left hand of the user U (hereinafter simply referred to as controller 320L). (See state (a) in FIG. 13).
  • the controller 320R is a device that indicates the position of the right hand of the user U and the movement of the finger of the right hand. Further, the right-hand object that exists in the virtual space moves according to the movement of the controller 320R.
  • the controller 320L is a device that indicates the position of the left hand of the user U and the movement of the finger of the left hand. Further, the left hand object existing in the virtual space moves according to the movement of the controller 320L. Since the controller 320R and the controller 320L have substantially the same configuration, only the specific configuration of the controller 320R will be described below with reference to FIG. In the following description, the controllers 320L and 320R may be simply referred to as the controller 320 for convenience. Furthermore, the right hand object that is linked to the movement of the controller 320R and the left hand object that is linked to the movement of the controller 320L may be simply referred to as a hand object 400 in some cases.
  • the controller 320R includes an operation button 302, a plurality of detection points 304, a sensor (not shown), and a transceiver (not shown). Only one of the detection point 304 and the sensor may be provided.
  • the operation button 302 includes a plurality of button groups configured to accept an operation input from the user U.
  • the operation button 302 includes a push button, a trigger button, and an analog stick.
  • the push-type button is a button operated by an operation of pressing with a thumb. For example, two push buttons 302 a and 302 b are provided on the top surface 322.
  • the trigger type button is a button operated by an operation of pulling a trigger with an index finger or a middle finger.
  • a trigger button 302 e is provided on the front surface portion of the grip 324, and a trigger button 302 f is provided on the side surface portion of the grip 324.
  • the trigger type buttons 302e and 302f are operated by the index finger and the middle finger, respectively.
  • the analog stick is a stick-type button that can be operated by being tilted 360 degrees from a predetermined neutral position in an arbitrary direction.
  • an analog stick 320i is provided on the top surface 322, and is operated using a thumb.
  • the controller 320R includes a frame 326 that extends from both sides of the grip 324 in a direction opposite to the top surface 322 to form a semicircular ring.
  • a plurality of detection points 304 are embedded on the outer surface of the frame 326.
  • the plurality of detection points 304 are, for example, a plurality of infrared LEDs arranged in a line along the circumferential direction of the frame 326.
  • the sensor of the controller 320R may be, for example, a magnetic sensor, an angular velocity sensor, an acceleration sensor, or a combination thereof.
  • the sensor When the user U moves the controller 320R, the sensor outputs a signal (for example, a signal indicating information related to magnetism, angular velocity, or acceleration) according to the orientation and position of the controller 320R.
  • the control device 120 acquires information related to the position and orientation of the controller 320R based on the signal output from the sensor.
  • the transceiver of the controller 320R is configured to transmit and receive data between the controller 320R and the control device 120.
  • the transceiver may transmit an operation signal corresponding to the operation input of the user U to the control device 120.
  • the transceiver may receive an instruction signal for instructing the controller 320 ⁇ / b> R to emit light at the detection point 304 from the control device 120. Further, the transceiver may send a signal to the controller 120 indicating the value detected by the sensor.
  • FIG. 5 is a flowchart showing a process for displaying the visual field image on the HMD 110.
  • FIG. 6 is an xyz space diagram showing an example of the virtual space 200.
  • the state (a) in FIG. 7 is a yx plan view of the virtual space 200 shown in FIG.
  • the state (b) in FIG. 7 is a zx plan view of the virtual space 200 shown in FIG.
  • FIG. 8 is a diagram illustrating an example of the visual field image V displayed on the HMD 110.
  • step S1 the control unit 121 (see FIG. 3) generates virtual space data indicating the virtual space 200 including the virtual camera 300 and various objects.
  • the virtual space 200 is defined as an omnidirectional sphere with the center position 21 as the center (in FIG. 6, only the upper half celestial sphere is shown).
  • an xyz coordinate system with the center position 21 as the origin is set.
  • the virtual camera 300 defines a visual axis L for specifying the visual field image V (see FIG. 8) displayed on the HMD 110.
  • the uvw coordinate system that defines the visual field of the virtual camera 300 is determined so as to be linked to the uvw coordinate system that is defined around the head of the user U in the real space.
  • control unit 121 may move the virtual camera 300 in the virtual space 200 according to the movement of the user U wearing the HMD 110 in the real space.
  • Various objects in the virtual space 200 are, for example, a tablet object 500, a monitor object 600, and a hand object 400 (see FIG. 9).
  • step S2 the control unit 121 specifies the field of view CV (see FIG. 7) of the virtual camera 300. Specifically, the control unit 121 acquires data indicating the state of the HMD 110 transmitted from the position sensor 130 and / or the HMD sensor 114, and then relates to the position and inclination of the HMD 110 based on the acquired data. Get information. Next, the control unit 121 identifies the position and orientation of the virtual camera 300 in the virtual space 200 based on information regarding the position and tilt of the HMD 110. Next, the control unit 121 determines the visual axis L of the virtual camera 300 from the position and orientation of the virtual camera 300 and specifies the visual field CV of the virtual camera 300 from the determined visual axis L.
  • the visual field CV of the virtual camera 300 corresponds to a partial area of the virtual space 200 that can be viewed by the user U wearing the HMD 110.
  • the visual field CV corresponds to a partial area of the virtual space 200 displayed on the HMD 110.
  • the field of view CV includes a first region CVa set as an angular range of the polar angle ⁇ around the visual axis L in the xy plane shown in the state (a) of FIG. 7, and a state (b) of FIG.
  • the xz plane shown has a second region CVb set as an angle range of the azimuth angle ⁇ with the visual axis L as the center.
  • the control unit 121 identifies the line of sight of the user U based on the data indicating the line of sight of the user U transmitted from the gaze sensor 140, and determines the direction of the virtual camera 300 based on the line of sight of the user U. May be.
  • the control unit 121 can specify the field of view CV of the virtual camera 300 based on the data from the position sensor 130 and / or the HMD sensor 114.
  • the control unit 121 changes the visual field CV of the virtual camera 300 based on the data indicating the movement of the HMD 110 transmitted from the position sensor 130 and / or the HMD sensor 114. be able to. That is, the control unit 121 can change the visual field CV according to the movement of the HMD 110.
  • the control unit 121 can move the visual field CV of the virtual camera 300 based on the data indicating the line-of-sight direction of the user U transmitted from the gaze sensor 140. That is, the control unit 121 can change the visual field CV according to the change in the user U's line-of-sight direction.
  • step S3 the control unit 121 generates visual field image data indicating the visual field image V displayed on the display unit 112 of the HMD 110. Specifically, the control unit 121 generates visual field image data based on virtual space data defining the virtual space 200 and the visual field CV of the virtual camera 300.
  • step S4 the control unit 121 displays the visual field image V on the display unit 112 of the HMD 110 based on the visual field image data (see FIG. 7).
  • the visual field CV of the virtual camera 300 is updated according to the movement of the user U wearing the HMD 110, and the visual field image V displayed on the display unit 112 of the HMD 110 is updated. It is possible to immerse in the space 200.
  • the virtual camera 300 may include a left-eye virtual camera and a right-eye virtual camera.
  • the control unit 121 generates left-eye view image data indicating the left-eye view image based on the virtual space data and the view of the left-eye virtual camera. Further, the control unit 121 generates right-eye view image data indicating a right-eye view image based on the virtual space data and the view of the right-eye virtual camera. Thereafter, the control unit 121 displays the left-eye view image and the right-eye view image on the display unit 112 of the HMD 110 based on the left-eye view image data and the right-eye view image data.
  • the user U can visually recognize the visual field image as a three-dimensional image from the left-eye visual field image and the right-eye visual field image.
  • the number of virtual cameras 300 is one.
  • the embodiment of the present disclosure is applicable even when the number of virtual cameras is two.
  • the virtual space 200 includes a virtual camera 300, a hand object 400, a monitor object 600, and a tablet object 500.
  • the control unit 121 generates virtual space data that defines the virtual space 200 including these objects.
  • the virtual camera 300 is linked to the movement of the HMD 110 worn by the user U. That is, the visual field of the virtual camera 300 is updated according to the movement of the HMD 110.
  • the hand object 400 is a generic name for a left hand object and a right hand object. As described above, the left hand object moves in accordance with the movement of the controller 320L (see state (a) in FIG. 13) attached to the left hand of the user U. Similarly, the right hand object moves according to the movement of the controller 320R attached to the right hand of the user U. In the present embodiment, for convenience of explanation, only one hand object 400 is arranged in the virtual space 200, but two hand objects 400 may be arranged in the virtual space 200.
  • the control unit 121 After acquiring the position information of the controller 320 from the position sensor 130, the control unit 121 determines the position of the hand object 400 in the virtual space 200 and the position of the controller 320 in the real space based on the acquired position information. Associate. As described above, the control unit 121 controls the position of the hand object 400 according to the position of the hand of the user U (the position of the controller 320).
  • each finger of the hand object 400 arranged in the virtual space 200 can be operated. That is, the control unit 121 acquires an operation signal corresponding to an input operation on the operation button 302 from the controller 320, and controls the movement of the finger of the hand object 400 based on the operation signal. For example, when the user U operates the operation button 302, the hand object 400 can grasp the tablet object 500 (see FIG. 9). Furthermore, the hand object 400 and the tablet object 500 can be moved in accordance with the movement of the controller 320 while the hand object 400 is holding the tablet object 500. As described above, the control unit 121 is configured to control the movement of the hand object 400 according to the movement of the finger of the user U.
  • the monitor object 600 is configured to display a menu (in particular, the menu screen 610).
  • the menu screen 610 may display a plurality of selection items to be selected by the user U. In FIG. 9, “Western food”, “Japanese food”, and “Chinese food” are displayed on the menu screen 610 as selection items.
  • the menu screen 610 may also display stage information, acquired item information, a retire button, and / or a game restart button.
  • the monitor object 600 may be fixedly arranged at a predetermined position in the virtual space 200.
  • the position where the monitor object 600 is arranged may be changeable by a user operation. Further, the position where the monitor object 600 is arranged may be automatically changed based on a predetermined operation rule stored in the memory.
  • the tablet object 500 can operate the menu displayed on the monitor object 600.
  • the control unit 121 operates a menu displayed on the monitor object 600 in response to an input operation on the tablet object 500 by the hand object 400. Specifically, the control unit 121 controls the movement of the hand object 400 based on the operation signal transmitted from the controller 320 and / or the position information of the controller 320 transmitted from the position sensor 130. Thereafter, the control unit 121 identifies an interaction between the hand object 400 and the tablet object 500, and identifies an input operation on the tablet object 500 by the hand object 400 based on the interaction.
  • control unit 121 Based on the specified input operation, the control unit 121 selects one of a plurality of selection items (“Western food”, “Japanese food”, and “Chinese food”) displayed on the menu screen 610 of the monitor object 600. To do. The control unit 121 executes a predetermined process according to the selection result.
  • control unit 121 is not limited to an input operation that is directly input to the tablet object 500 by the hand object 400, and the menu displayed on the monitor object 600 is displayed according to the input operation that is input indirectly. You may operate. For example, by operating the hand object 400 as described above, the user operates the hand object 400 while grasping a predetermined medium object in the virtual space 200, and based on the interaction between the medium object and the tablet object 500, An input operation performed on the tablet object 500 by the object 400 may be specified. Based on the specified input operation, the control unit 121 selects one of a plurality of selection items (“Western food”, “Japanese food”, and “Chinese food”) displayed on the menu screen 610 of the monitor object 600. To do. The control unit 121 executes a predetermined process according to the selection result.
  • the intermediary object is preferably an object that is suggested to the user that input can be performed on the tablet object 500, and is an object imitating an object such as a touch pen, for example.
  • a direction key 520 is a button for controlling the movement of the cursor displayed on the menu screen 610 of the monitor object 600.
  • FIG. 11 is a flowchart for explaining the information processing method according to the present embodiment.
  • FIG. 12 is a flowchart illustrating an example of a method for setting the movement range of the tablet object 500.
  • a state (a) in FIG. 13 is a diagram illustrating a state of the user U who is immersed in the virtual space 200.
  • the state (b) in FIG. 13 is a diagram showing an example (movement range Ra) of the movement range of the tablet object 500 set around the virtual camera 300.
  • the state (c) of FIG. 13 is a diagram illustrating another example (movement range Rb) of the movement range of the tablet object 500 set around the virtual camera 300.
  • FIG. 14 is a diagram illustrating a state where the tablet object 500 is located outside the movement range Ra.
  • the state (b) of FIG. 14 is a diagram illustrating a state where the tablet object 500 moves from outside the movement range Ra to a predetermined position within the movement range Ra.
  • the tablet object 500 is moved.
  • the above-described intermediate object may be moved by a similar method instead of the tablet object 500.
  • the control unit 121 sets the movement range of the tablet object 500.
  • the movement range of the tablet object 500 is a state where the user U does not move (in other words, a state where the position coordinates of the user U in the real space do not change), and the user U uses the hand object 400 to move the tablet object. It may be defined as a range in which 500 can be grasped.
  • the control unit 121 moves the tablet object 500 to a predetermined position within the movement range.
  • the movement range of the tablet object 500 may be a movement range Ra defined as a sphere having a predetermined radius R with the center position of the virtual camera 300 as the center.
  • the distance between the tablet object 500 and the virtual camera 300 is equal to or less than the radius R, it is determined that the tablet object 500 exists within the movement range Ra.
  • the distance between the tablet object 500 and the virtual camera 300 is larger than the radius R, it is determined that the tablet object 500 exists outside the movement range Ra.
  • the moving range of the tablet object 500 may be a moving range Rb defined as a spheroid centered on the center position of the virtual camera 300.
  • the major axis of the spheroid may be parallel to the w axis of the virtual camera 300
  • the minor axis of the spheroid may be parallel to the v axis of the virtual camera 300.
  • the movement range of the tablet object 500 may be a movement range defined as a cube or a rectangular parallelepiped with the center position of the virtual camera 300 as the center.
  • the movement range of the tablet object 500 is the movement range Ra shown in the state (b) of FIG.
  • the radius R of the sphere that defines the movement range Ra is set based on the distance D between the HMD 110 and the controller 320 (controller 320L or controller 320R), as shown in the state (a) of FIG.
  • FIG. 12 an example of a method for setting the movement range Ra (the process executed in step S11 shown in FIG. 11) will be described.
  • the control unit 121 sets the value of the integer N to 1 in step S21.
  • the value of the integer N is first set to 1.
  • the value of the integer N may be increased by 1 every frame.
  • the control unit 121 specifies the position of the HMD 110 (the position of the head of the user U) based on the position information of the HMD 110 and the position information of the controller 320 transmitted from the position sensor 130, The position of the controller 320 (the position of the hand of the user U) is specified.
  • the control unit 121 specifies a distance D N between the HMD 110 and the controller 320 based on the specified position of the HMD 110 and the position of the controller 320 (step S23).
  • N ⁇ 1 NO in step S24
  • step S28 When determining that the distance D2 is greater than the maximum distance Dmax (YES in step S28), the control unit 121 sets the distance D2 to the maximum distance Dmax (step S29). On the other hand, when determining that the distance D2 is equal to or less than the maximum distance Dmax (NO in step S28), the control unit 121 proceeds to the process of step S26. If the predetermined time has not elapsed (NO in step S26), the value of integer N is incremented by one in step S27. As described above, the processes of steps S22, S23, S28, and S29 are repeatedly executed until a predetermined time elapses, and the value of the integer N increases by one for each frame.
  • the control unit 121 moves the tablet object 500 based on the maximum distance Dmax between the HMD 110 and the controller 320 and the position of the virtual camera 300.
  • a range Ra is set (step S30). Specifically, the control unit 121 sets the center position of the virtual camera 300 to the center of the sphere that defines the movement range Ra, and sets the maximum distance Dmax to the radius R of the sphere that defines the movement range Ra. In this way, the movement range Ra is set based on the maximum value of the distance between the HMD 110 and the controller 320 and the position of the virtual camera 300.
  • the control unit 121 may set the movement range Ra based on the maximum value of the distance between the virtual camera 300 and the hand object 400 and the position of the virtual camera 300.
  • the control unit 121 specifies the position of the virtual camera 300 and the position of the hand object 400, and in step S23, specifies the distance D N ⁇ ⁇ between the virtual camera 300 and the hand object 400.
  • the control unit 121 specifies the maximum distance Dmax between the virtual camera 300 and the hand object 400 until a predetermined time elapses.
  • the control unit 121 sets the center position of the virtual camera 300 to the center of the sphere that defines the movement range Ra, and sets the maximum distance Dmax between the virtual camera 300 and the hand object 400 to the radius R of the sphere.
  • the control unit 121 sets the movement range Ra based on the distance between the HMD 110 and the controller 320 and the position of the virtual camera 300 when the user U is in a predetermined posture. May be.
  • the movement range Ra may be set based on the distance between the HMD 110 and the controller 320 and the position of the virtual camera 300 when both hands are projected forward with the user U standing up.
  • step S ⁇ b> 12 the control unit 121 determines whether or not the hand object 400 has moved while the hand object 400 has gripped the tablet object 500 (see FIG. 14). If YES in step S12, the control unit 121 moves the hand object 400 and the tablet object 500 together in accordance with the movement of the controller 320 (step S13). On the other hand, if NO at step S12, the process proceeds to step S14. Next, in step S ⁇ b> 14, the control unit 121 determines whether the tablet object 500 is operated by the hand object 400.
  • step S14 the control unit 121 operates a menu (menu screen 610) displayed on the monitor object 600 in accordance with an input operation on the tablet object 500 by a hand object, and then performs predetermined processing according to the operation result.
  • the process is executed (step S15). On the other hand, if NO at step S14, the process proceeds to step S16.
  • the control unit 121 determines whether the tablet object 500 exists outside the movement range Ra and whether the tablet object 500 is not grasped by the hand object 400 (step S16). For example, as shown in the state (a) of FIG. 14, the tablet object 500 is positioned outside the movement range Ra when the user U throws the tablet object 500 using the hand object 400. Alternatively, when the user U moves while the tablet object 500 is not grasped by the hand object 400, the tablet object 500 is positioned outside the movement range Ra. In this case, since the virtual camera 300 moves as the user U moves, the movement range Ra set around the virtual camera 300 moves. In this way, the tablet object 500 is located outside the movement range Ra.
  • step S16 the control unit 121 moves the tablet object 500 to a predetermined position within the movement range Ra based on the position of the virtual camera 300 and the position of the monitor object 600 (step S17). For example, as shown in the state (b) of FIG. 14, the control unit 121 offsets a predetermined distance in the y-axis direction from the center position of the line segment C connecting the center position of the monitor object 600 and the center position of the virtual camera 300. After specifying the determined position, the tablet object 500 may be arranged at the specified position. In step S16, it may be determined whether or not the tablet object 500 exists outside the movement range Ra.
  • the menu displayed on the monitor object 600 is operated in accordance with the input operation to the tablet object 500 by the hand object 400. That is, the user U can perform a predetermined operation on the tablet object 500 in the virtual space 200 using the hand object 400 in the virtual space 200 that is linked to the movement of the user U's hand. As a result of the predetermined operation, a menu displayed on the monitor object 600 is operated.
  • the menu operation is executed by the interaction between the objects in the virtual space 200 and the UI object such as the widget is always displayed in the visual field image. Therefore, it is possible to provide an information processing method that can further enhance the immersive feeling of the user U with respect to the virtual space 200.
  • the tablet object 500 moves to a predetermined position within the movement range Ra.
  • the user U can easily find the tablet object 500 and can greatly reduce the effort for picking up the tablet object 500.
  • the position of the tablet object 500 within the movement range Ra is determined based on the positional relationship between the monitor object 600 and the virtual camera 300 (for example, the center point of the line segment C), the user U can select the tablet object. 500 can be easily found.
  • the moving range Ra of the tablet object 500 is determined based on the maximum distance Dmax between the HMD 110 (the head of the user U) and the controller 320 (the hand of the user U). As described above, since the tablet object 500 is arranged in a range that can be picked up by the user U in a state where the user U is stationary (a state in which the position coordinates of the user do not change in the real space), the user U can use the tablet object. The time and labor required for picking up 500 can be greatly reduced.
  • An information processing program for causing a computer (processor) to execute the information processing method according to the present embodiment is incorporated in advance in the storage unit 123 or the ROM in order to implement various processes executed by the control unit 121 by software. Also good.
  • the information processing program includes a magnetic disk (HDD, floppy disk), an optical disk (CD-ROM, DVD-ROM, Blu-ray (registered trademark) disk, etc.), a magneto-optical disk (MO, etc.), a flash memory (SD card). , USB memory, SSD, etc.) may be stored in a computer-readable storage medium.
  • the information processing program stored in the storage medium is incorporated into the storage unit 123 by connecting the storage medium to the control device 120.
  • the control unit 121 executes the information processing method according to the present embodiment by loading the information processing program incorporated in the storage unit 123 onto the RAM and executing the program loaded by the processor.
  • the information processing program may be downloaded from a computer on the communication network 3 via the communication interface 125. Similarly in this case, the downloaded program is incorporated in the storage unit 123.
  • the movement of the hand object is controlled according to the movement of the external controller 320 indicating the movement of the user U's hand, but the hand in the virtual space is controlled according to the movement amount of the user U's hand itself.
  • the movement of the object may be controlled.
  • the position sensor 130 can detect the position and movement amount of the user U's hand, The movement and state of the user's U finger can be detected.
  • the position sensor 130 may be a camera configured to image the user U's hand (including fingers).
  • the position and movement of the user's U hand can be determined based on the image data on which the user's hand is displayed without directly attaching any device to the user's finger.
  • the amount can be detected, and the movement and state of the finger of the user U can be detected.
  • the tablet object is operated by the hand object according to the position and / or movement of the hand that is a part of the body other than the head of the user U.
  • the tablet object may be operated by a foot object (an example of an operation object) that is linked to the movement of the foot of the user U in accordance with the position and / or movement of the foot that is a part of the body.
  • a foot object instead of a hand object may be defined as an operation object.
  • a remote control object or the like instead of the tablet object may be defined as an object that can operate the menu displayed on the monitor object.
  • HMD system 3 Communication network 21: Center position 112: Display unit 114: HMD sensor 120: Control device 121: Control unit 123: Storage unit 124: I / O interface 125: Communication interface 126: Bus 130: Position sensor 140 : Gaze sensor 200: Virtual space 300: Virtual camera 302: Operation button 302 a: Push type button 302 b: Push type button 302 e: Trigger type button 302 f: Trigger type button 304: Detection point 320: External controller (controller) 320i: Analog stick 320L: Left hand external controller (controller) 320R: External controller for right hand (controller) 322: Top surface 324: Grip 326: Frame 400: Hand object (operation object) 500: Tablet object (second object) 510: Display screen 520: Direction key 530: BACK button 540: OK button 550L: L button 550R: R button 600: Monitor object (first object) 610: Menu screen C: Line segment CV: Field of view CVa: First region CVb:

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

仮想空間に対するユーザの没入感をさらに高める。情報処理方法は、仮想空間２００を規定する仮想空間データを生成するステップと、ＨＭＤの動きと、コントローラの動きとを検出するように構成された検出ユニットの検出結果を取得するステップと、ＨＭＤの動きに応じて、仮想カメラ３００の視野を更新するステップと、仮想カメラ３００の視野と仮想空間データに基づいて、視野画像データを生成するステップと、視野画像データに基づいて、表示部に視野画像を表示させるステップと、コントローラの動きに応じて、手オブジェクト４００を動作させるステップと、手オブジェクト４００によるタブレットオブジェクト５００に対する入力操作に応じて、モニターオブジェクト６００に表示されたメニューを操作するステップとを含む。

Description

情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、当該情報処理方法が実行される情報処理装置、及び情報処理システム
　本開示は、情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、当該情報処理方法が実行される情報処理装置、及び情報処理システムに関する。
　仮想空間内にユーザインターフェース（ＵＩ）オブジェクトを配置する技術が知られている。例えば、特許文献１の開示では、仮想空間内にウィジェット（ＵＩオブジェクトの一例）が配置されており、仮想カメラの視野内に当該ウィジェットが表示されている。ヘッドマウントデバイス（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｅｖｉｃｅ：ＨＭＤ）の移動に伴い、ウィジェットが仮想カメラの視野外に位置した場合、当該ウィジェットは仮想カメラの視野内に位置するように移動される。このように、ウィジェットが仮想空間内に配置されている間は、ウィジェットは常にＨＭＤに表示される視野画像内に表示される。
特許第５８７６６０７号公報
　ところで、特許文献１に開示されているように、視野画像内にウィジェットが常に表示されている場合、ユーザは当該ウィジェットに対して煩わしさを感じる場合がある。特に、ウィジェットが視野画像に表示されている間は、ユーザは仮想空間に対する没入感を十分に得ることができない。
　本発明は、仮想空間に対するユーザの没入感をさらに高めることが可能な情報処理方法及び当該情報処理方法をコンピュータに実現させるためのプログラムを提供することを目的とする。
　本開示が示す一態様によれば、表示部を備えたヘッドマウントデバイスを制御するコンピュータのプロセッサによって実行される情報処理方法が提供される。
　前記情報処理方法は、
　（ａ）仮想カメラと、仮想空間内に固定的に配置され、メニューを表示する第１オブジ
ェクトと、前記第１オブジェクトに表示されたメニューを操作可能な第２オブジェクトと、操作オブジェクトとを含む前記仮想空間を規定する仮想空間データを生成するステップと、
　（ｂ）前記ヘッドマウントデバイスの動きと、ユーザの頭部以外の身体の一部の動きとを検出するように構成された検出ユニットの検出結果を取得するステップと、
　（ｃ）前記ヘッドマウントデバイスの動きに応じて、前記仮想カメラの視野を更新するステップと、
　（ｄ）前記仮想カメラの視野と前記仮想空間データに基づいて、視野画像データを生成するステップと、
　（ｅ）前記視野画像データに基づいて、前記表示部に視野画像を表示させるステップと、
　（ｆ）前記ユーザの身体の一部の動きに応じて、前記操作オブジェクトを動作させるステップと、
　（ｇ）前記操作オブジェクトによる前記第２オブジェクトに対する入力操作に応じて、前記第１オブジェクトに表示されたメニューを操作するステップと、を含む。
　本開示によれば、仮想空間に対するユーザの没入感をさらに高めることが可能な情報処理方法及び当該情報処理方法をコンピュータに実現させるためのプログラムを提供することができる。
ヘッドマウントデバイス（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｅｖｉｃｅ：ＨＭＤ）システムを示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 外部コントローラの具体的な構成の一例を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 状態（ａ）は、図６に示す仮想空間のｙｘ平面図である。状態（ｂ）は、図６に示す仮想空間のｚｘ平面図である。 ＨＭＤに表示された視野画像の一例を示す図である。 仮想カメラと、手オブジェクトと、タブレットオブジェクトと、モニターオブジェクトとを含む仮想空間を示す図である。 タブレットオブジェクトの表示画面の一例を示す図である。 本実施形態に係る情報処理方法を説明するためのフローチャートである。 タブレットオブジェクトの移動範囲を設定するための方法の一例を示すフローチャートである。 状態（ａ）は、仮想空間に没入しているユーザの様子を示す図である。状態（ｂ）は、仮想カメラの周辺に設定されたタブレットオブジェクトの移動範囲の一例を示す図である。状態（ｃ）は、仮想カメラの周辺に設定されたタブレットオブジェクトの移動範囲の他の一例を示す図である。 状態（ａ）は、タブレットオブジェクトが移動範囲外に位置している様子を示す図である。状態（ｂ）は、タブレットオブジェクトが移動範囲外から移動範囲内の所定の位置に移動する様子を示す図である。
　［本開示が示す実施形態の説明］
　本開示が示す実施形態の概要を説明する。
　（１）表示部を備えたヘッドマウントデバイスを制御するコンピュータのプロセッサによって実行される情報処理方法であって、
　（ａ）仮想カメラと、仮想空間内に固定的に配置され、メニューを表示する第１オブジェクトと、前記第１オブジェクトに表示されたメニューを操作可能な第２オブジェクトと、操作オブジェクトとを含む前記仮想空間を規定する仮想空間データを生成するステップと、
　（ｂ）前記ヘッドマウントデバイスの動きと、ユーザの頭部以外の身体の一部の動きとを検出するように構成された検出ユニットの検出結果を取得するステップと、
　（ｃ）前記ヘッドマウントデバイスの動きに応じて、前記仮想カメラの視野を更新するステップと、
　（ｄ）前記仮想カメラの視野と前記仮想空間データに基づいて、視野画像データを生成するステップと、
　（ｅ）前記視野画像データに基づいて、前記表示部に視野画像を表示させるステップと、
　（ｆ）前記ユーザの身体の一部の動きに応じて、前記操作オブジェクトを動作させるステップと、
　（ｇ）前記操作オブジェクトによる前記第２オブジェクトに対する入力操作に応じて、前記第１オブジェクトに表示されたメニューを操作するステップと、を含む。
　なお、前記入力操作は、前記第２オブジェクトと前記操作オブジェクトの相互作用に基づいて特定されてもよい。また、前記仮想空間データは、前記操作オブジェクトの動作に基づいて操作される媒介オブジェクトをさらに含み、前記入力操作は、前記第２オブジェクトと前記媒介オブジェクトの相互作用に基づいて特定されてもよい。
　上記方法によれば、操作オブジェクトによる第２オブジェクトに対する入力操作に応じて、第１オブジェクトに表示されたメニューが操作される。つまり、ユーザは、ユーザの身体の一部（例えば、手）の動きに連動する仮想空間内の操作オブジェクトを用いて、仮想空間内の第２オブジェクトに対して所定の操作を行うことができる。当該所定の操作の結果、第１オブジェクトに表示されるメニューが操作される。このように、メニュー操作を仮想空間内のオブジェクト同士の相互作用により実行することが可能となる。さらに、第１オブジェクト及び第２オブジェクトは視野画像内に常に表示されるわけではないので、視野画像内にウィジェット等のＵＩオブジェクトが常に表示されてしまうといった状況を回避することが可能となる。従って、仮想空間に対するユーザの没入感をさらに高めることが可能な情報処理方法を提供することができる。
　（２）（ｈ）前記仮想カメラの位置に基づいて、前記第２オブジェクトの移動範囲を設定するステップと、
　（ｉ）前記第２オブジェクトが前記移動範囲内に位置しているかどうかを判定するステップと、
　（ｊ）前記第２オブジェクトが前記移動範囲内に位置していないと判定した場合に、前記第２オブジェクトを前記移動範囲内の所定の位置に移動させるステップと、をさらに含む、項目（１）に記載の情報処理方法。
　上記方法によれば、第２オブジェクトが第２オブジェクトの移動範囲に位置していないと判定された場合に、第２オブジェクトが当該移動範囲内の所定の位置に移動する。例えば、ユーザが第２オブジェクトを持たないまま移動し、又はユーザが第２オブジェクトを投げ飛ばすことで、第２オブジェクトが移動範囲外に配置される。かかる状況によって第２オブジェクトが移動範囲外に位置した場合でも、第２オブジェクトが移動範囲内の所定の位置に移動する。このように、ユーザは、第２オブジェクトを容易に見つけ出すことができると共に、第２オブジェクトを手に取るための手間を大幅に軽減することができる。
　（３）前記ステップ（ｊ）は、
　前記仮想カメラの位置と前記第１オブジェクトの位置に基づいて、前記第２オブジェクトを前記移動範囲内の前記所定の位置に移動させるステップを含む、項目（２）に記載の情報処理方法。
　上記方法によれば、仮想カメラの位置と第１オブジェクトの位置に基づいて第２オブジェクトが移動範囲内の所定位置に移動される。このように、第１オブジェクトと仮想カメラとの間の位置関係に基づいて第２オブジェクトの位置が決定されるため、ユーザは第２オブジェクトを容易に見つけ出すことができる。
　（４）前記ステップ（ｈ）は、
　前記ユーザの頭部と前記ユーザの身体の一部との間の距離を測定するステップと、
　前記測定された距離と、前記仮想カメラの位置に基づいて、前記移動範囲を設定するステップと、を含む、項目（２）又は（３）に記載の情報処理方法。
　上記方法によれば、ユーザの頭部とユーザの身体の一部（例えば、手）との間の距離と
、仮想カメラの位置に基づいて第２オブジェクトの移動範囲が設定される。このように、第２オブジェクトは、ユーザが静止した状態でユーザが手に取ることができる範囲に配置されるため、ユーザが第２オブジェクトを手に取るための手間を大幅に軽減することができる。
　（５）前記ステップ（ｈ）は、
　前記ユーザの頭部の位置と前記ユーザの身体の一部の位置に基づいて、前記ユーザの頭部と前記ユーザの身体の一部との間の距離の最大値を特定するステップと、
　前記特定された距離の最大値と、前記仮想カメラの位置に基づいて、前記移動範囲を設定するステップと、を含む、項目（２）又は（３）に記載の情報処理方法。
　上記方法によれば、ユーザの頭部とユーザの身体の一部との間の距離の最大値と、仮想カメラの位置に基づいて、操作オブジェクトの移動範囲が設定される。このように、第２オブジェクトは、ユーザが静止した状態でユーザが手に取ることができる範囲に配置されるため、ユーザが第２オブジェクトを手に取るための手間を大幅に軽減することができる。
　（６）前記ステップ（ｈ）は、
　前記仮想カメラの位置と前記操作オブジェクトの位置に基づいて、前記仮想カメラと前記操作オブジェクトとの間の距離の最大値を特定するステップと、
　前記特定された距離の最大値と、前記仮想カメラの位置に基づいて、前記移動範囲を設定するステップと、を含む、項目（２）又は（３）に記載の情報処理方法。
　上記方法によれば、仮想カメラと操作オブジェクトとの間の距離の最大値と、仮想カメラの位置に基づいて、操作オブジェクトの移動範囲が設定される。このように、第２オブジェクトは、ユーザが静止した状態でユーザが手に取ることができる範囲に配置されるため、ユーザが第２オブジェクトを手に取るための手間を大幅に軽減することができる。
　（７）項目（１）から（５）のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。少なくともプロセッサとメモリを備え、前記プロセッサの制御により項目（１）から（５）のうちいずれか一項に記載の情報処理方法を実行する情報処理装置。少なくともプロセッサとメモリを備える情報処理装置を含み、項目（１）から（５）のうちいずれか一項に記載の情報処理方法が実行される情報処理システム。
　上記方法によれば、仮想空間に対するユーザの没入感をさらに高めることが可能なプログラム、情報処理装置、および、情報処理システムを提供することができる。
　［本開示が示す実施形態の詳細］
　以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。
　最初に、図１を参照してヘッドマウントデバイス（ＨＭＤ）システム１の構成について説明する。図１は、ＨＭＤシステム１を示す概略図である。図１に示すように、ＨＭＤシステム１は、ユーザＵの頭部に装着されたＨＭＤ１１０と、位置センサ１３０と、制御装置１２０と、外部コントローラ３２０と、ヘッドフォン１１６とを備える。
　ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０とを備える。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を覆うように構成された非透過型の表示装置を備えている。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。表示部１１２は、ＨＭＤ１１０の本体部と一体に構成されていてもよいし、別体に構成されていてもよい。表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用の表示部とユーザＵの右目に画像を提供するように構成された右目用の表示部から構成されてもよい。また、ＨＭＤ１１０は、透過型表示装置を備えてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。
　ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。
　注視センサ１４０は、ユーザＵの視線方向を検出するアイトラッキング機能を有する。注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。
　位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線又は有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾き又は発光強度に関する情報を検出するように構成されている。さらに、位置センサ１３０は、外部コントローラ３２０に設けられた複数の検知点３０４（図４参照）の位置、傾き及び／又は発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。
　尚、本実施形態の説明では、ＨＭＤセンサ１１４と、注視センサ１４０と、位置センサ１３０等のセンサを検出ユニットと総称する場合がある。検出ユニットは、ユーザＵの身体の一部（例えば、ユーザＵの手）の動きを検出した上で、当該検出結果を示す信号を制御装置１２０に送信する。また、検出ユニットは、ユーザＵの頭部の動きを検出する機能（ＨＭＤセンサ１１４によって実現される機能）と、ユーザＵの頭部以外の身体の一部の動きを検出する機能（位置センサ１３０によって実現される機能）とを有する。また、検出ユニットは、ユーザＵの視線の動きを検出する機能（注視センサ１４０によって実現される機能）を有してもよい。
　制御装置１２０は、ＨＭＤ１１０を制御するように構成されたコンピュータである。制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。さらに、制御装置１２０は、位置センサ１３０から取得された情報に基づいて、外部コントローラ３２０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間内に表示される手オブジェクト４００（後述する）の位置と現実空間における外部コントローラ３２０の位置を正確に対応付けることができる。
　また、制御装置１２０は、注視センサ１４０から送信された情報に基づいて、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。さらに、制御装置１２０は、特定された注視点に基づいて、ユーザＵの視線方向を特定することができる。ここで、ユーザＵの視線方向は、ユーザＵの両目の視線方向であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。
　次に、図２を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図２は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０及び／又はＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０及び／又はＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。
　次に、図３を参照することで、制御装置１２０のハードウェア構成について説明する。図３は、制御装置１２０のハードウェア構成を示す図である。図３に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。
　制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。
　制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。
　特に、プロセッサが本実施形態に係る情報処理方法をコンピュータに実行させるためのプログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、メモリや記憶部１２３に格納された所定のアプリケーションプログラム（ゲームプログラム）を実行することで、ＨＭＤ１１０の表示部１１２に仮想空間（視野画像）を表示する。これにより、ユーザＵは、表示部１１２に表示された仮想空間に没入することができる。
　記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法をコンピュータに実行させるプログラムを格納してもよい。また、ユーザＵの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。
　Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０とをそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ　Ｖｉｓｕａｌ　Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。尚、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０とのそれぞれと無線接続されていてもよい。
　通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介してネットワーク上の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。
　次に、図４を参照して外部コントローラ３２０の具体的構成の一例について説明する。外部コントローラ３２０は、ユーザＵの身体の一部（頭部以外の部位であり、本実施形態においてはユーザＵの手）の動きを検知することにより、仮想空間内に表示される手オブジェクトの動作を制御するために使用される。外部コントローラ３２０は、ユーザＵの右手によって操作される右手用外部コントローラ３２０Ｒ（以下、単にコントローラ３２０Ｒという。）と、ユーザＵの左手によって操作される左手用外部コントローラ３２０Ｌ（以下、単にコントローラ３２０Ｌという。）と、を有する（図13の状態（ａ）参照）。コントローラ３２０Ｒは、ユーザＵの右手の位置や右手の手指の動きを示す装置である。また、コントローラ３２０Ｒの動きに応じて仮想空間内に存在する右手オブジェクトが移動する。コントローラ３２０Ｌは、ユーザＵの左手の位置や左手の手指の動きを示す装置である。また、コントローラ３２０Ｌの動きに応じて仮想空間内に存在する左手オブジェクトが移動する。コントローラ３２０Ｒとコントローラ３２０Ｌは略同一の構成を有するので、以下では、図４を参照してコントローラ３２０Ｒの具体的構成についてのみ説明する。尚、以降の説明では、便宜上、コントローラ３２０Ｌ，３２０Ｒを単にコントローラ３２０と総称する場合がある。さらに、コントローラ３２０Ｒの動きに連動する右手オブジェクトとコントローラ３２０Ｌの動きに連動する左手オブジェクトを単に手オブジェクト４００と総称する場合がある。
　図４に示すように、コントローラ３２０Ｒは、操作ボタン３０２と、複数の検知点３０４と、図示しないセンサと、図示しないトランシーバとを備える。検知点３０４とセンサは、どちらか一方のみが設けられていてもよい。操作ボタン３０２は、ユーザＵからの操作入力を受付けるように構成された複数のボタン群により構成されている。操作ボタン３０２は、プッシュ式ボタン、トリガー式ボタン及びアナログスティックを含む。プッシュ式ボタンは、親指による押下する動作によって操作されるボタンである。例えば、天面３２２上に２つのプッシュ式ボタン３０２ａ，３０２ｂが設けられている。トリガー式ボタンは、人差し指や中指で引き金を引くような動作によって操作されるボタンである。例えば、グリップ３２４の前面部分にトリガー式ボタン３０２ｅが設けられると共に、グリップ３２４の側面部分にトリガー式ボタン３０２ｆが設けられる。トリガー式ボタン３０２ｅ，３０２ｆは、人差し指と中指によってそれぞれ操作される。アナログスティックは、所定のニュートラル位置から３６０度任意の方向へ傾けて操作されうるスティック型のボタンである。例えば、天面３２２上にアナログスティック３２０ｉが設けられており、親指を用いて操作される。
　コントローラ３２０Ｒは、グリップ３２４の両側面から天面３２２とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６を備える。フレーム３２６の外側面には、複数の検知点３０４が埋め込まれている。複数の検知点３０４は、例えば、フレーム３２６の円周方向に沿って一列に並んだ複数の赤外線ＬＥＤである。位置センサ１３０が、複数の検知点３０４の位置、傾き又は発光強度に関する情報を検出した後に、制御装置１２０は、位置センサ１３０によって検出された情報に基づいて、コントローラ３２０Ｒの位置や姿勢（傾き・向き）に関する情報を取得する。
　コントローラ３２０Ｒのセンサは、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせであってもよい。センサは、ユーザＵがコントローラ３２０Ｒを動かしたときに、コントローラ３２０Ｒの向きや位置に応じた信号（例えば、磁気、角速度、又は加速度に関する情報を示す信号）を出力する。制御装置１２０は、センサから出力された信号に基づいて、コントローラ３２０Ｒの位置や姿勢に関する情報を取得する。
　コントローラ３２０Ｒのトランシーバは、コントローラ３２０Ｒと制御装置１２０との間でデータを送受信するように構成されている。例えば、トランシーバは、ユーザＵの操作入力に対応する操作信号を制御装置１２０に送信してもよい。また、トランシーバは、検知点３０４の発光をコントローラ３２０Ｒに指示する指示信号を制御装置１２０から受信してもよい。さらに、トランシーバは、センサによって検出された値を示す信号を制御装置１２０に送信してもよい。
　次に、図５から図８を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図５は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図６は、仮想空間２００の一例を示すｘｙｚ空間図である。図7の状態（ａ）は、図６に示す仮想空間２００のｙｘ平面図である。図7の状態（ｂ）は、図６に示す仮想空間２００のｚｘ平面図である。図８は、ＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。
　図５に示すように、ステップＳ１において、制御部１２１（図３参照）は、仮想カメラ３００と、各種オブジェクトとを含む仮想空間２００を示す仮想空間データを生成する。図６に示すように、仮想空間２００は、中心位置２１を中心とした全天球として規定される（図６では、上半分の天球のみが図示されている）。また、仮想空間２００では、中心位置２１を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｖ（図８参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、制御部１２１は、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に応じて、仮想カメラ３００を仮想空間２００内で移動させてもよい。また、仮想空間２００内における各種オブジェクトは、例えば、タブレットオブジェクト５００と、モニターオブジェクト６００と、手オブジェクト４００である（図９参照）。
　次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図７参照）を特定する。具体的には、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータを取得した上で、当該取得されたデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する。換言すれば、視野ＣＶは、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する。また、視野ＣＶは、図7の状態（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第１領域ＣＶａと、図7の状態（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第２領域ＣＶｂとを有する。尚、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線方向を示すデータに基づいて、ユーザＵの視線方向を特定し、ユーザＵの視線方向に基づいて仮想カメラ３００の向きを決定してもよい。
　このように、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを変化させることができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを変化させることができる。同様に、ユーザＵの視線方向が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線方向を示すデータに基づいて、仮想カメラ３００の視野ＣＶを移動させることができる。つまり、制御部１２１は、ユーザＵの視線方向の変化に応じて、視野ＣＶを変化させることができる。
　次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。
　次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｖを表示する（図７参照）。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが更新され、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが更新されるので、ユーザＵは仮想空間２００に没入することができる。
　尚、仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データと右目用視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に左目用視野画像と右目用視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像から、視野画像を３次元画像として立体的に視認することができる。尚、本明細書では、説明の便宜上、仮想カメラ３００の数は一つとする。勿論、本開示の実施形態は、仮想カメラの数が２つの場合でも適用可能である。
　次に、仮想空間２００に含まれる仮想カメラ３００と、手オブジェクト４００（操作オブジェクトの一例）と、タブレットオブジェクト５００（第２オブジェクトの一例）と、モニターオブジェクト６００（第１オブジェクトの一例）について図９を参照して説明する。図９に示すように、仮想空間２００は、仮想カメラ３００と、手オブジェクト４００と、モニターオブジェクト６００と、タブレットオブジェクト５００とを含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成している。上述したように、仮想カメラ３００は、ユーザＵが装着しているＨＭＤ１１０の動きに連動する。つまり、仮想カメラ３００の視野は、ＨＭＤ１１０の動きに応じて更新される。
　手オブジェクト４００は、左手オブジェクトと右手オブジェクトの総称である。上記したように、左手オブジェクトは、ユーザＵの左手に装着されるコントローラ３２０Ｌ（図13の状態（ａ）参照）の動きに応じて移動する。同様に、右手オブジェクトは、ユーザＵの右手に装着されるコントローラ３２０Ｒの動きに応じて移動する。尚、本実施形態では、説明の便宜上、１つの手オブジェクト４００のみが仮想空間２００内に配置されているが、２つの手オブジェクト４００が仮想空間２００内に配置されていてもよい。
　制御部１２１は、位置センサ１３０からコントローラ３２０の位置情報を取得した上で、当該取得された位置情報に基づいて、仮想空間２００内の手オブジェクト４００の位置と現実空間におけるコントローラ３２０の位置とを対応付ける。このように、制御部１２１は、ユーザＵの手の位置（コントローラ３２０の位置）に応じて、手オブジェクト４００の位置を制御する。
　また、ユーザＵが操作ボタン３０２を操作することで、仮想空間２００内に配置された手オブジェクト４００の各指を操作することが可能となる。つまり、制御部１２１は、操作ボタン３０２に対する入力操作に対応する操作信号をコントローラ３２０から取得した上で、当該操作信号に基づいて、手オブジェクト４００の手指の動作を制御する。例えば、ユーザＵが操作ボタン３０２を操作することで手オブジェクト４００はタブレットオブジェクト５００を掴むことができる（図９参照）。さらに、手オブジェクト４００がタブレットオブジェクト５００を掴んだ状態で、コントローラ３２０の移動に応じて、手オブジェクト４００とタブレットオブジェクト５００を移動させることが可能となる。このように、制御部１２１は、ユーザＵの手指の動きに応じて、手オブジェクト４００の動作を制御するように構成されている。
　モニターオブジェクト６００は、メニュー（特に、メニュー画面６１０）を表示するように構成されている。メニュー画面６１０には、ユーザＵによって選択されるべき複数の選択項目が表示されてもよい。図９では、選択項目として「洋食」、「和食」及び「中華」がメニュー画面６１０に表示される。また、メニュー画面６１０には、ステージ情報や、獲得アイテム情報、リタイアボタン及び/又はゲーム再開ボタンが表示されてもよい。モニターオブジェクト６００は、仮想空間２００内の所定の位置に固定的に配置されていてもよい。モニターオブジェクト６００が配置される位置は、ユーザの操作によって変更可能であってもよい。また、モニターオブジェクト６００が配置される位置は、メモリに記憶された所定の動作ルールに基づいて自動的に変更されるものであってもよい。
　タブレットオブジェクト５００は、モニターオブジェクト６００に表示されたメニューを操作することができる。制御部１２１は、手オブジェクト４００によるタブレットオブジェクト５００に対する入力操作に応じて、モニターオブジェクト６００に表示されたメニューを操作する。具体的には、制御部１２１は、コントローラ３２０から送信された操作信号及び／又は位置センサ１３０から送信されたコントローラ３２０の位置情報に基づいて、手オブジェクト４００の動作を制御する。その後、制御部１２１は、手オブジェクト４００とタブレットオブジェクト５００との間の相互作用を特定した上で、当該相互作用に基づいて、手オブジェクト４００によるタブレットオブジェクト５００に対する入力操作を特定する。制御部１２１は、当該特定された入力操作に基づいて、モニターオブジェクト６００のメニュー画面６１０に表示された複数の選択項目（「洋食」、「和食」及び「中華」）のうちの一つを選択する。制御部１２１は、当該選択結果に応じた所定の処理を実行する。
　なお、制御部１２１は、手オブジェクト４００によりタブレットオブジェクト５００に対して直接的に入力される入力操作に限られず、間接的に入力される入力操作に応じて、モニターオブジェクト６００に表示されたメニューを操作してもよい。例えば、上記のようにして手オブジェクト４００を操作することにより、仮想空間２００内の所定の媒介オブジェクトを掴んだ状態で操作し、媒介オブジェクトとタブレットオブジェクト５００との間の相互作用に基づいて、手オブジェクト４００によるタブレットオブジェクト５００に対する入力操作を特定してもよい。制御部１２１は、当該特定された入力操作に基づいて、モニターオブジェクト６００のメニュー画面６１０に表示された複数の選択項目（「洋食」、「和食」及び「中華」）のうちの一つを選択する。制御部１２１は、当該選択結果に応じた所定の処理を実行する。媒介オブジェクトは、タブレットオブジェクト５００に対して入力を実行できることがユーザに対して示唆されるオブジェクトであることが好ましく、例えばタッチペンのような物体を模したオブジェクトである。
　次に、図１０を参照してタブレットオブジェクト５００の表示画面５１０の一例について説明する。表示画面５１０には、方向キー５２０と、ＢＡＣＫボタン５３０と、ＯＫボタン５４０と、Ｌボタン５５０Ｌと、Ｒボタン５５０Ｒが表示されている。ここで、方向キー５２０は、モニターオブジェクト６００のメニュー画面６１０に表示されたカーソルの移動を制御するためのボタンである。
　次に、図１１から図１４を参照して本実施形態に係る情報処理方法について以下に説明する。図１１は、本実施形態に係る情報処理方法を説明するためのフローチャートである。図１２は、タブレットオブジェクト５００の移動範囲を設定するための方法の一例を示すフローチャートである。図13の状態（ａ）は、仮想空間２００に没入しているユーザＵの様子を示す図である。図13の状態（ｂ）は、仮想カメラ３００の周辺に設定されたタブレットオブジェクト５００の移動範囲の一例（移動範囲Ｒａ）を示す図である。図13の状態（ｃ）は、仮想カメラ３００の周辺に設定されたタブレットオブジェクト５００の移動範囲の他の一例（移動範囲Ｒｂ）を示す図である。図14の状態（ａ）は、タブレットオブジェクト５００が移動範囲Ｒａ外に位置している様子を示す図である。図14の状態（ｂ）は、タブレットオブジェクト５００が移動範囲Ｒａ外から移動範囲Ｒａ内の所定の位置に移動する様子を示す図である。なお、以下の説明ではタブレットオブジェクト５００が移動されることを例示するが、タブレットオブジェクト５００にかえて上記の媒介オブジェクトが同様の方法によって移動されてもよい。
　図１１に示すように、ステップＳ１１において、制御部１２１は、タブレットオブジェクト５００の移動範囲を設定する。ここで、タブレットオブジェクト５００の移動範囲とは、ユーザＵが移動しない状態（換言すれば、現実空間でのユーザＵの位置座標が変化しない状態）で、ユーザＵが手オブジェクト４００を用いてタブレットオブジェクト５００を掴めることができる範囲として規定されてもよい。タブレットオブジェクト５００が移動範囲外に位置する場合には、制御部１２１は、タブレットオブジェクト５００を移動範囲内の所定の位置に移動させる。
　図13の状態（ｂ）に示すように、タブレットオブジェクト５００の移動範囲は、仮想カメラ３００の中心位置を中心とした所定の半径Ｒを有する球として規定された移動範囲Ｒａでもよい。ここで、タブレットオブジェクト５００と仮想カメラ３００との間の距離が半径Ｒ以下である場合、タブレットオブジェクト５００は、移動範囲Ｒａ内に存在すると判定される。これとは反対に、タブレットオブジェクト５００と仮想カメラ３００との間の距離が半径Ｒよりも大きい場合、タブレットオブジェクト５００は、移動範囲Ｒａ外に存在すると判定される。
　また、図13の状態（ｃ）に示すように、タブレットオブジェクト５００の移動範囲は、仮想カメラ３００の中心位置を中心とした回転楕円体として規定された移動範囲Ｒｂでもよい。ここで、回転楕円体の長軸は、仮想カメラ３００のｗ軸と平行であると共に、回転楕円体の短軸は、仮想カメラ３００のｖ軸と平行であってもよい。また、タブレットオブジェクト５００の移動範囲は、仮想カメラ３００の中心位置を中心とした立方体又は直方体として規定された移動範囲でもよい。
　以降では、タブレットオブジェクト５００の移動範囲は、図13の状態（ｂ）に示す移動範囲Ｒａであるものとして説明を行う。移動範囲Ｒａを規定する球の半径Ｒは、図13の状態（ａ）に示すように、ＨＭＤ１１０とコントローラ３２０（コントローラ３２０Ｌ又はコントローラ３２０Ｒ）との間の距離Ｄに基づいて設定される。図１２を参照して、移動範囲Ｒａの設定方法（図１１に示すステップＳ１１で実行される処理）の一例について説明する。
　図１２に示すように、制御部１２１は、ステップＳ２１において、整数Ｎの値を１に設定する。図１２に示す処理が開始された場合、最初に整数Ｎの値が１に設定される。例えば、整数Ｎの値は１フレーム毎に１だけ増加してもよい。例えば、ゲーム動画のフレームレートが９０ｆｐｓの場合には、１／９０秒経過毎に整数Ｎの値が１だけ増加してもよい。次に、ステップＳ２２において、制御部１２１は、位置センサ１３０から送信されたＨＭＤ１１０の位置情報とコントローラ３２０の位置情報に基づいて、ＨＭＤ１１０の位置（ユーザＵの頭部の位置）を特定すると共に、コントローラ３２０の位置（ユーザＵの手の位置）を特定する。次に、制御部１２１は、特定されたＨＭＤ１１０の位置とコントローラ３２０の位置に基づいて、ＨＭＤ１１０とコントローラ３２０との間の距離Ｄ Ｎ を特定する（ステップＳ２３）。
　次に、整数Ｎの値が１であるため（ステップＳ２４でＹＥＳ）、制御部１２１は、特定された距離Ｄ１をＨＭＤ１１０とコントローラ３２０との間の最大距離Ｄｍａｘに設定する（ステップＳ２５）。その後、所定時間が経過していない場合（ステップＳ２６でＮＯ）、ステップＳ２７において、整数Ｎの値が１つだけ増加され（Ｎ＝２）、処理は再びステップＳ２２に戻る。次に、ステップＳ２２の処理が実行された後、ステップＳ２３において、制御部１２１は、Ｎ＝２のときのＨＭＤ１１０とコントローラ３２０との間の距離Ｄ２を特定する。次に、Ｎ≠１であるため（ステップＳ２４でＮＯ）、制御部１２１は、距離Ｄ２が最大距離Ｄｍａｘ（＝Ｄ１）よりも大きいかどうかを判定する（ステップＳ２８）。制御部１２１は、距離Ｄ２が最大距離Ｄｍａｘよりも大きいと判定した場合（ステップＳ２８でＹＥＳ）、距離Ｄ２を最大距離Ｄｍａｘに設定する（ステップＳ２９）。一方、制御部１２１は、距離Ｄ２が最大距離Ｄｍａｘ以下であると判定した場合（ステップＳ２８でＮＯ）、ステップＳ２６の処理に進む。所定時間が経過していない場合（ステップＳ２６でＮＯ）、ステップＳ２７において、整数Ｎの値が１つだけ増加される。このように、所定時間が経過するまでステップＳ２２，Ｓ２３，Ｓ２８，Ｓ２９の処理が繰り返し実行されると共に、整数Ｎの値が１フレーム毎に１つだけ増加する。つまり、所定時間が経過するまで１フレーム毎にＨＭＤ１１０とコントローラ３２０との間の距離Ｄ Ｎ が特定された上で、ＨＭＤ１１０とコントローラ３２０との間の最大距離Ｄｍａｘが更新される。次に、制御部１２１は、所定時間が経過したと判定した場合（ステップＳ２６でＹＥＳ）、ＨＭＤ１１０とコントローラ３２０との間の最大距離Ｄｍａｘと仮想カメラ３００の位置に基づいて、タブレットオブジェクト５００の移動範囲Ｒａを設定する（ステップＳ３０）。具体的には、制御部１２１は、仮想カメラ３００の中心位置を移動範囲Ｒａを規定する球の中心に設定すると共に、最大距離Ｄｍａｘを移動範囲Ｒａを規定する球の半径Ｒに設定する。このようにして、ＨＭＤ１１０とコントローラ３２０との間の距離の最大値と仮想カメラ３００の位置に基づいて、移動範囲Ｒａが設定される。
　尚、制御部１２１は、仮想カメラ３００と手オブジェクト４００との間の距離の最大値と仮想カメラ３００の位置に基づいて、移動範囲Ｒａを設定してもよい。この場合、ステップＳ２２において、制御部１２１は、仮想カメラ３００の位置と手オブジェクト４００の位置を特定すると共に、ステップＳ２３において、仮想カメラ３００と手オブジェクト４００との間の距離Ｄ Ｎ を特定する。さらに、制御部１２１は、所定時間が経過するまで、仮想カメラ３００と手オブジェクト４００との間の最大距離Ｄｍａｘを特定する。制御部１２１は、仮想カメラ３００の中心位置を移動範囲Ｒａを規定する球の中心に設定すると共に、仮想カメラ３００と手オブジェクト４００との間の最大距離Ｄｍａｘを当該球の半径Ｒに設定する。
　また、移動範囲Ｒａの別の設定方法としては、制御部１２１は、ユーザＵの所定の姿勢
のときのＨＭＤ１１０とコントローラ３２０との間の距離と仮想カメラ３００の位置に基
づいて移動範囲Ｒａを設定してもよい。例えば、ユーザＵが起立した状態で両手を前方に
突き出したときのＨＭＤ１１０とコントローラ３２０との間の距離と仮想カメラ３００の
位置に基づいて移動範囲Ｒａが設定されてもよい。
　図１１に戻ると、ステップＳ１２において、制御部１２１は、手オブジェクト４００がタブレットオブジェクト５００を掴んだ状態で手オブジェクト４００が移動したかどうかを判定する（図１４参照）。ステップＳ１２でＹＥＳの場合、制御部１２１は、コントローラ３２０の移動に応じて、手オブジェクト４００とタブレットオブジェクト５００を一緒に移動させる（ステップＳ１３）。一方、ステップＳ１２でＮＯの場合、処理はステップＳ１４に進む。次に、ステップＳ１４において、制御部１２１は、タブレットオブジェクト５００が手オブジェクト４００によって操作されたかどうかを判定する。ステップＳ１４でＹＥＳの場合、制御部１２１は、手オブジェクトによるタブレットオブジェクト５００に対する入力操作に応じて、モニターオブジェクト６００に表示されたメニュー（メニュー画面６１０）を操作した上で、操作結果に応じた所定の処理を実行する（ステップＳ１５）。一方、ステップＳ１４でＮＯの場合、処理はステップＳ１６に進む。
　次に、制御部１２１は、タブレットオブジェクト５００は移動範囲Ｒａ外に存在すると共に、タブレットオブジェクト５００は手オブジェクト４００によって掴まれていないかどうかを判定する（ステップＳ１６）。例えば、図14の状態（ａ）に示すように、ユーザＵが手オブジェクト４００を用いてタブレットオブジェクト５００を投げ飛ばすことで、タブレットオブジェクト５００は移動範囲Ｒａ外に位置する。または、タブレットオブジェクト５００が手オブジェクト４００によって掴まれていない状態でユーザＵが移動することで、タブレットオブジェクト５００は移動範囲Ｒａ外に位置する。この場合、ユーザＵが移動することで、仮想カメラ３００が移動するため、仮想カメラ３００の周辺に設定された移動範囲Ｒａが移動する。このようにして、タブレットオブジェクト５００は移動範囲Ｒａ外に位置する。ステップＳ１６でＹＥＳの場合、制御部１２１は、仮想カメラ３００の位置とモニターオブジェクト６００の位置に基づいて、タブレットオブジェクト５００を移動範囲Ｒａ内の所定の位置に移動させる（ステップＳ１７）。例えば、図14の状態（ｂ）に示すように、制御部１２１は、モニターオブジェクト６００の中心位置と仮想カメラ３００の中心位置とを結ぶ線分Ｃの中心位置からｙ軸方向に所定距離だけオフセットした位置を特定した上で、当該特定された位置にタブレットオブジェクト５００を配置してもよい。尚、ステップＳ１６では、タブレットオブジェクト５００は移動範囲Ｒａ外に存在するかどうかのみが判定されてもよい。
　このように、本実施形態によれば、手オブジェクト４００によるタブレットオブジェクト５００に対する入力操作に応じて、モニターオブジェクト６００に表示されたメニューが操作される。つまり、ユーザＵは、ユーザＵの手の動きに連動する仮想空間２００内の手オブジェクト４００を用いて、仮想空間２００内のタブレットオブジェクト５００に対して所定の操作を行うことができる。当該所定の操作の結果、モニターオブジェクト６００に表示されるメニューが操作される。このように、メニュー操作が仮想空間２００内のオブジェクト同士の相互作用により実行されると共に、視野画像内にウィジェット等のＵＩオブジェクトが常に表示されてしまうといった状況を回避することが可能となる。従って、仮想空間２００に対するユーザＵの没入感をさらに高めることが可能な情報処理方法を提供することができる。
　また、タブレットオブジェクト５００が移動範囲Ｒａ外に位置した場合でも、タブレットオブジェクト５００が移動範囲Ｒａ内の所定の位置に移動する。このように、ユーザＵは、タブレットオブジェクト５００を容易に見つけ出すことができると共に、タブレットオブジェクト５００を手に取るための手間を大幅に軽減することができる。さらに、モニターオブジェクト６００と仮想カメラ３００との間の位置関係（例えば、線分Ｃの中心点）に基づいて、移動範囲Ｒａ内におけるタブレットオブジェクト５００の位置が決定されるので、ユーザＵはタブレットオブジェクト５００を容易に見つけ出すことができる。
　また、ＨＭＤ１１０（ユーザＵの頭部）とコントローラ３２０（ユーザＵの手）との間の最大距離Ｄｍａｘに基づいて、タブレットオブジェクト５００の移動範囲Ｒａが決定される。このように、タブレットオブジェクト５００は、ユーザＵが静止した状態（現実空間においてユーザの位置座標が変化しない状態）でユーザＵが手に取ることができる範囲に配置されるため、ユーザＵがタブレットオブジェクト５００を手に取るための手間を大幅に軽減することができる。
　制御部１２１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る情報処理方法をコンピュータ（プロセッサ）に実行させるための情報処理プログラムが記憶部１２３又はＲＯＭに予め組み込まれていてもよい。または、情報処理プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ－ＲＯＭ，ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）ディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納された情報処理プログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた情報処理プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は本実施形態に係る情報処理方法を実行する。
　また、情報処理プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１２３に組み込まれる。
　以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
　本実施形態では、ユーザＵの手の動きを示す外部コントローラ３２０の動きに応じて、手オブジェクトの移動が制御されているが、ユーザＵの手自体の移動量に応じて、仮想空間内における手オブジェクトの移動が制御されてもよい。例えば、外部コントローラを用いる代わりに、ユーザの手指に装着されるグローブ型デバイスや指輪型デバイスを用いることで、位置センサ１３０により、ユーザＵの手の位置や移動量を検出することができると共に、ユーザＵの手指の動きや状態を検出することができる。また、位置センサ１３０は、ユーザＵの手（手指を含む）を撮像するように構成されたカメラであってもよい。この場合、カメラを用いてユーザの手を撮像することにより、ユーザの手指に直接何らかのデバイスを装着させることなく、ユーザの手が表示された画像データに基づいて、ユーザＵの手の位置や移動量を検出することができると共に、ユーザＵの手指の動きや状態を検出することができる。
　また、本実施形態では、ユーザＵの頭部以外の身体の一部である手の位置及び／又は動きに応じて、手オブジェクトによってタブレットオブジェクトが操作されるが、例えば、ユーザＵの頭部以外の身体の一部である足の位置及び／又は動きに応じて、ユーザＵの足の動きに連動する足オブジェクト（操作オブジェクトの一例）によってタブレットオブジェクトが操作されてもよい。このように、手オブジェクトではなく足オブジェクトが操作オブジェクトとして規定されてもよい。
　また、タブレットオブジェクトの代わりにリモコンオブジェクト等が、モニターオブジェクトに表示されたメニューを操作可能なオブジェクトとして規定されてもよい。
１：ＨＭＤシステム
３：通信ネットワーク
２１：中心位置
１１２：表示部
１１４：ＨＭＤセンサ
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
１４０：注視センサ
２００：仮想空間
３００：仮想カメラ
３０２：操作ボタン
３０２ａ：プッシュ式ボタン
３０２ｂ：プッシュ式ボタン
３０２ｅ：トリガー式ボタン
３０２ｆ：トリガー式ボタン
３０４：検知点
３２０：外部コントローラ（コントローラ）
３２０ｉ：アナログスティック
３２０Ｌ：左手用外部コントローラ（コントローラ）
３２０Ｒ：右手用外部コントローラ（コントローラ）
３２２：天面
３２４：グリップ
３２６：フレーム
４００：手オブジェクト（操作オブジェクト）
５００：タブレットオブジェクト（第２オブジェクト）
５１０：表示画面
５２０：方向キー
５３０：ＢＡＣＫボタン
５４０：ＯＫボタン
５５０Ｌ：Ｌボタン
５５０Ｒ：Ｒボタン
６００：モニターオブジェクト（第１オブジェクト）
６１０：メニュー画面
Ｃ：線分
ＣＶ：視野
ＣＶａ：第１領域
ＣＶｂ：第２領域
Ｌ：視軸
Ｒａ，Ｒｂ：移動範囲

 

Claims (11)

  1. 　表示部を備えたヘッドマウントデバイスを制御するコンピュータのプロセッサによって実行される情報処理方法であって、
    　メニューを表示する第１オブジェクトと、前記メニューを操作可能な第２オブジェクトと、操作オブジェクトと、を含む前記仮想空間を規定する仮想空間データを生成するステップと、
    　前記ヘッドマウントデバイスの動きと、ユーザの頭部以外の身体の一部の動きと、を検出するように構成された検出ユニットの検出結果を取得するステップと、
    　前記ヘッドマウントデバイスの動きに応じた視野画像を、前記表示部に表示させるステップと、
    　前記ユーザの身体の一部の動きに応じて、前記操作オブジェクトを動作させるステップと、
    　前記操作オブジェクトによる前記第２オブジェクトに対する入力操作に応じて、前記メニューを操作するステップと、を含む、情報処理方法。
  2. 　前記入力操作は、前記第２オブジェクトと前記操作オブジェクトの相互作用に基づいて特定される、請求項1に記載の情報処理方法。
  3. 　前記仮想空間データは、前記操作オブジェクトの動作に基づいて操作される媒介オブジェクトをさらに含み、
    　前記入力操作は、前記第２オブジェクトと前記媒介オブジェクトの相互作用に基づいて特定される、請求項1に記載の情報処理方法。
  4. 　前記仮想空間データは、前記ヘッドマウントデバイスの動きに応じて前記視野画像を定義する仮想カメラをさらに含み、
    　前記仮想カメラの前記仮想空間における位置に基づいて、前記第２オブジェクトまたは前記媒介オブジェクトの移動範囲を設定するステップと、
    　前記第２オブジェクトまたは前記媒介オブジェクトが前記移動範囲内に位置しているかどうかを判定するステップと、
    　前記第２オブジェクトまたは前記媒介オブジェクトが前記移動範囲内に位置していないと判定した場合に、前記第２オブジェクトまたは前記媒介オブジェクトを前記移動範囲内の所定の位置に移動させるステップと、をさらに含む、請求項１～3のうちいずれか一項に記載の情報処理方法。
  5. 　前記仮想カメラの位置と前記第１オブジェクトの位置に基づいて、前記第２オブジェクトまたは前記媒介オブジェクトを前記移動範囲内の前記所定の位置に移動させる、請求項4に記載の情報処理方法。
  6. 　前記ユーザの頭部と前記ユーザの身体の一部との間の距離を測定するステップと、
    　前記測定された距離と、前記仮想カメラの位置に基づいて、前記移動範囲を設定するステップと、を含む、請求項4又は5に記載の情報処理方法。
  7. 　前記ユーザの頭部の位置と前記ユーザの身体の一部の位置に基づいて、前記ユーザの頭部と前記ユーザの身体の一部との間の距離の最大値を特定するステップと、
    　前記特定された距離の最大値と、前記仮想カメラの位置に基づいて、前記移動範囲を設定するステップと、を含む、請求項4又は5に記載の情報処理方法。
  8. 　前記仮想カメラの位置と前記操作オブジェクトの位置に基づいて、前記仮想カメラと前記操作オブジェクトとの間の距離の最大値を特定するステップと、
    　前記特定された距離の最大値と、前記仮想カメラの位置に基づいて、前記移動範囲を設定するステップと、を含む、請求項4又は5に記載の情報処理方法。
  9. 　請求項１から8のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
  10. 　少なくともプロセッサとメモリを備え、前記プロセッサの制御により請求項１から8のうちいずれか一項に記載の情報処理方法を実行する情報処理装置。
  11. 　少なくともプロセッサとメモリを備える情報処理装置を含み、請求項１から8のうちいずれか一項に記載の情報処理方法が実行される情報処理システム。
     

     
PCT/JP2017/009739 2016-09-08 2017-03-10 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、当該情報処理方法が実行される情報処理装置、及び情報処理システム WO2018047384A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780002079.3A CN108027987B (zh) 2016-09-08 2017-03-10 信息处理方法、信息处理装置及信息处理系统
US15/753,958 US20190011981A1 (en) 2016-09-08 2017-03-10 Information processing method, system for executing the information processing method, and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016175916A JP6122537B1 (ja) 2016-09-08 2016-09-08 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2016-175916 2016-09-08

Publications (1)

Publication Number Publication Date
WO2018047384A1 true WO2018047384A1 (ja) 2018-03-15

Family

ID=58666618

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/009739 WO2018047384A1 (ja) 2016-09-08 2017-03-10 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、当該情報処理方法が実行される情報処理装置、及び情報処理システム

Country Status (4)

Country Link
US (1) US20190011981A1 (ja)
JP (1) JP6122537B1 (ja)
CN (1) CN108027987B (ja)
WO (1) WO2018047384A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6853638B2 (ja) * 2016-09-14 2021-03-31 株式会社スクウェア・エニックス 表示システム、表示方法、及び、コンピュータ装置
US10664993B1 (en) 2017-03-13 2020-05-26 Occipital, Inc. System for determining a pose of an object
CN111344663B (zh) 2017-11-21 2023-10-24 株式会社和冠 渲染装置及渲染方法
JP7349793B2 (ja) * 2019-02-15 2023-09-25 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
CN110134197A (zh) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 可穿戴式控制设备、虚拟/增强现实系统及控制方法
US11178384B2 (en) * 2019-07-10 2021-11-16 Nintendo Co., Ltd. Information processing system, storage medium, information processing apparatus and information processing method
US11228737B2 (en) * 2019-07-31 2022-01-18 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107963A (ja) * 2003-09-30 2005-04-21 Canon Inc 三次元ｃｇ操作方法および装置
JP2005148844A (ja) * 2003-11-11 2005-06-09 Fukuda Gakuen 表示システム
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
JP5293154B2 (ja) * 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP5880115B2 (ja) * 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
US9229235B2 (en) * 2013-12-01 2016-01-05 Apx Labs, Inc. Systems and methods for unlocking a wearable device
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US20150193979A1 (en) * 2014-01-08 2015-07-09 Andrej Grek Multi-user virtual reality interaction environment
JP2017187952A (ja) * 2016-04-06 2017-10-12 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018101293A (ja) * 2016-12-20 2018-06-28 株式会社コロプラ ヘッドマウントデバイスに仮想空間を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、コンピュータ装置
JP6392945B1 (ja) * 2017-07-19 2018-09-19 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107963A (ja) * 2003-09-30 2005-04-21 Canon Inc 三次元ｃｇ操作方法および装置
JP2005148844A (ja) * 2003-11-11 2005-06-09 Fukuda Gakuen 表示システム
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Also Published As

Publication number Publication date
JP6122537B1 (ja) 2017-04-26
CN108027987B (zh) 2020-01-17
CN108027987A (zh) 2018-05-11
JP2018041341A (ja) 2018-03-15
US20190011981A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
JP6122537B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6093473B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN109690447B (zh) 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
WO2018020735A1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6117414B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6157703B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP6140871B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6118444B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018032102A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018110871A (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2018026105A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6449922B2 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6290493B2 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6934374B2 (ja) プロセッサを備えるコンピュータにより実行される方法
JP6122194B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018045338A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018026099A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018018499A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6242452B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018185567A (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP2018014084A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6189496B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848331

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17848331

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP