WO2020203870A1 - 情報処理装置、情報処理方法、および、プログラム - Google Patents

情報処理装置、情報処理方法、および、プログラム Download PDF

Info

Publication number
WO2020203870A1
WO2020203870A1 PCT/JP2020/014271 JP2020014271W WO2020203870A1 WO 2020203870 A1 WO2020203870 A1 WO 2020203870A1 JP 2020014271 W JP2020014271 W JP 2020014271W WO 2020203870 A1 WO2020203870 A1 WO 2020203870A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual space
user
display
angle
correction
Prior art date
Application number
PCT/JP2020/014271
Other languages
English (en)
French (fr)
Inventor
秋山　泰
Original Assignee
アヘッド・バイオコンピューティング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アヘッド・バイオコンピューティング株式会社 filed Critical アヘッド・バイオコンピューティング株式会社
Priority to EP20782586.0A priority Critical patent/EP3951723A4/en
Priority to CN202080024549.8A priority patent/CN113767425A/zh
Publication of WO2020203870A1 publication Critical patent/WO2020203870A1/ja
Priority to US17/486,452 priority patent/US11880502B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • This disclosure relates to an information processing device, an information processing method, and a program.
  • the actual movement of the user wearing the head-mounted display on the head matches the output attitude angle of the head-mounted display, so that the image displayed on the head-mounted display can be used. There is no sense of discomfort with the user's feeling, and the user can view the image on the head-mounted display with a natural feeling.
  • the position of the part of the body of the main character expressed on the screen is large with the position of the corresponding part of the body of the actual user. If they are different, the immersive feeling will be significantly impaired.
  • Japanese Patent Application Laid-Open No. 2004-150900 cannot solve such a problem.
  • the present disclosure describes an information processing device, an information processing method, and a program capable of suppressing the deviation between the display position of a part of the body of the main character and the position of a part of the body of the corresponding user.
  • the purpose is to provide.
  • the present disclosure inputs detection information from a sensor that detects the movement of the user's head in an information processing device that presents a virtual space on a display mounted on the user's head.
  • a first input means a generation means for generating the virtual space including a body image showing at least a part of the user's body according to the detection information input by the first input means, and a generation means of the user's head.
  • the present disclosure has a storage means for storing the correction information input from the second input means, and the correction means has a pitch of the virtual space based on the correction information stored in the storage means. It is characterized by correcting the angle of direction. According to such a configuration, it is possible to continuously correct the angle in the pitch direction based on the stored correction information.
  • the pitch direction of the virtual space is set to the initial value of the correction information stored in the storage means. It is characterized in that the correction value of the angle of is specified. With such a configuration, re-correction can be easily performed.
  • the device has an operation unit capable of operating in a direction corresponding to the front-back direction or the up-down direction of the user, and the correction means corresponds to the front-back direction or the up-down direction of the operation unit. It is characterized in that the angle in the pitch direction when presenting the virtual space on the display is corrected with reference to the operation amount related to the direction of operation. According to such a configuration, adjustment can be performed intuitively and easily by operating in the front-rear direction or the up-down direction.
  • the device can specify at least one point in the virtual space, and the correction means refers to a position designated by the device and presents the virtual space on the display. It is characterized in that the angle in the pitch direction of is corrected. According to such a configuration, the angle in the pitch direction can be easily adjusted by using the pointing device.
  • the present disclosure includes an acquisition means for acquiring an angle in the pitch direction of the body image in the virtual space
  • the correction means refers to the angle in the pitch direction acquired by the acquisition means to display the display. It is characterized in that the angle in the pitch direction when presenting the virtual space is corrected. According to such a configuration, the angle in the pitch direction can be automatically set.
  • the present disclosure is characterized in that the correction means displays a gauge indicating a correction amount of an angle in the pitch direction in a part of the virtual space based on the correction information input from the second input means. And. According to such a configuration, the correction amount can be accurately grasped by referring to the gauge.
  • the present disclosure includes a first input step of inputting detection information from a sensor that detects the movement of the user's head in an information processing method for presenting a virtual space on a display mounted on the user's head.
  • the generation step of generating the virtual space including the body image showing at least a part of the user's body and the pitch direction angle of the user's head are modified.
  • the angle in the pitch direction when presenting the virtual space on the display is determined.
  • It is characterized by having a correction step for correction and a presentation step for presenting the virtual space in which the angle in the pitch direction is corrected in the correction step to the display. According to such a method, it is possible to suppress the deviation between the display position of a part of the body of the main character and the position of a part of the body of the corresponding user.
  • the present disclosure detects the movement of the user's head in the computer-readable program that causes the computer to function information processing that presents a virtual space on a display mounted on the user's head.
  • a first input means for inputting detection information from a computer, and a generation means for generating the virtual space including a body image showing at least a part of the user's body according to the detection information input by the first input means.
  • the second input means for inputting the correction information from the device on which the operation for correcting the pitch direction angle of the user's head is performed, and the display on the display based on the correction information input by the second input means.
  • It is characterized in that it functions as a correction means for correcting an angle in the pitch direction when presenting a virtual space, and a presenting means for presenting the virtual space whose angle in the pitch direction has been corrected by the correction means to the display. According to such a program, it is possible to suppress the deviation between the display position of a part of the body of the main character and the position of a part of the body of the corresponding user.
  • the present disclosure includes a first input means for inputting detection information from a sensor that detects the movement of the user's head in an information processing device that presents a virtual space on a display mounted on the user's head.
  • a generation means for generating the virtual space including a body image showing at least a part of the user's body according to the detection information input by the first input means, and the virtual space including the body image are displayed on the display. Modification from the presenting means to present and an operation of correcting the pitch direction angle of the user's head when the presenting means presents the virtual space including the body image on the display.
  • the presenting means has a correction means for correcting the angle in the pitch direction of the virtual space including the body image so that the deviation from the position of the portion is suppressed, and the presenting means has the angle in the pitch direction by the correction means. It is characterized in that the virtual space including the modified body image is presented on the display.
  • the present disclosure includes a first input step of inputting detection information from a sensor that detects the movement of the user's head in an information processing method for presenting a virtual space on a display mounted on the user's head.
  • a generation step of generating the virtual space including a body image showing at least a part of the user's body according to the detection information input in the first input step, and the virtual space including the body image are displayed on the display.
  • the display position of the body image and the position of a part of the user's body when the virtual space is presented on the display It has a correction step of correcting the angle in the pitch direction of the virtual space including the body image so as to suppress the deviation of the body image, and in the presentation step, the angle in the pitch direction is corrected in the correction step.
  • the virtual space including the body image is presented on the display.
  • the computer detects the movement of the user's head.
  • a first input means for inputting detection information from a computer, and a generation means for generating the virtual space including a body image showing at least a part of the user's body according to the detection information input by the first input means.
  • a presenting means for presenting the virtual space including the body image on the display, and when the virtual space including the body image is presented on the display by the presenting means, in the pitch direction of the user's head.
  • the second input means for inputting correction information from the device on which the operation for correcting the angle is performed, and the above-mentioned when presenting the virtual space on the display based on the correction information input by the second input means.
  • the presenting means is characterized in that the virtual space including the body image whose angle in the pitch direction is corrected by the correcting means is presented to the display.
  • the present disclosure relates to an input means for inputting detection information from a sensor that detects the movement of the user's head in an information processing device that presents a virtual space on a display mounted on the user's head, and the input.
  • a generation means for generating the virtual space including a body image showing at least a part of the user's body according to the detection information input by the means, and a presentation means for presenting the virtual space including the body image on the display.
  • the pitch direction of the virtual space including the body image so as to suppress the deviation between the display position of the body image and the position of a part of the body of the user when the virtual space is presented on the display.
  • the presenting means presents the virtual space including the body image whose angle in the pitch direction has been corrected by the correcting means to the display. ..
  • the present disclosure comprises an input step of inputting detection information from a sensor that detects the movement of the user's head and the input in the information processing method of presenting a virtual space on a display mounted on the user's head.
  • correction information for correcting the angle of the user's head in the pitch direction is acquired, and based on the correction information, the display is displayed.
  • the angle in the pitch direction of the virtual space including the body image is modified so that the deviation between the display position of the body image and the position of a part of the user's body when presenting the virtual space is suppressed.
  • the presenting step is characterized in that the virtual space including the body image in which the angle in the pitch direction is corrected in the correction step is presented on the display.
  • the computer detects the movement of the user's head.
  • An input means for inputting detection information from a computer a generation means for generating the virtual space including a body image showing at least a part of the user's body according to the detection information input by the input means, the body image.
  • the correction information is acquired and the virtual space is presented on the display based on the correction information, the deviation between the display position of the body image and the position of a part of the user's body is suppressed.
  • the presentation means is the body image in which the angle in the pitch direction is corrected by the correction means. It is characterized in that the virtual space including the above is presented on the display.
  • an information processing device capable of suppressing a deviation between a display position of a part of the body of the main character and a position of a part of the body of a corresponding user are provided. Can be done.
  • FIG. 1 is a diagram showing a configuration example of an information processing system including an information processing apparatus according to the embodiment of the present disclosure.
  • the information processing device system according to the embodiment of the present disclosure includes an information processing device 10, an HMD (Head Mount Display) 30, an operating device 50, and a network 70.
  • HMD Head Mount Display
  • the information processing device 10 is configured by a personal computer or the like, and is VR (Virtual Reality) based on, for example, a program or data supplied from a server (not shown) connected to the network 70.
  • a spatial image is generated and supplied to the HMD 30, and the VR spatial image is updated according to the movement of the head of the user wearing the HMD 30.
  • the information processing device 10 acquires the operation amount and executes a process (described later) according to the operation amount.
  • the VR space image is an example of a virtual space.
  • the HMD 30 is worn by the user on the head and displays the VR spatial image supplied from the information processing device 10 on the built-in display, and detects the movement of the user's head and supplies the VR space image to the information processing device 10. ..
  • the operation device 50 is operated by the user to generate and output information according to the amount of operation.
  • the network 70 is configured by, for example, the Internet or the like, and transmits information as an IP packet between a server (not shown) and the information processing device 10.
  • FIG. 2 is a block diagram showing an example of an electrical configuration of the information processing device 10.
  • the information processing device 10 includes a pitch angle correction amount setting unit 11, an input unit 12, a VR space image generation unit 13, an HMD motion detection unit 14, an avatar generation unit 15, and a communication unit 16. are doing.
  • the pitch angle correction amount setting unit 11 sets the amount for correcting the pitch angle of the VR spatial image based on the information input from the operation device 50.
  • the input unit 12 When the operation device 50 is operated, the input unit 12 inputs information indicating the operation amount from the operation device 50.
  • the VR space image generation unit 13 generates a VR space image to be constructed around the user and supplies it to the HMD 30.
  • the HMD motion detection unit 14 inputs information about the motion of the HMD 30 output from the acceleration sensor (described later) of the HMD 30, and detects the motion of the HMD 30 to detect the motion of the user's head.
  • the avatar generation unit 15 generates an image of at least a part of the body of the avatar as an incarnation, which is the main character of the first person viewpoint.
  • An image of at least a portion of the avatar's body is an example of a body image.
  • the communication unit 16 accesses a server (not shown) via the network 70, acquires information stored in the server, and transmits information to the server.
  • FIG. 3 is a block diagram showing an example of electrical configuration of the HMD 30.
  • the HMD 30 includes a processor 31, a memory 32, a set of displays 33, a plurality of acceleration sensors 34, a plurality of LEDs (Light Emitting Diodes) 35, a communication unit 36, a speaker 37, and a microphone (hereinafter referred to as a microphone). , Simply referred to as a "microphone") 38.
  • the HMD30 is used by being attached to the user's head.
  • the HMD 30 has a pair of left and right displays 33 for displaying the VR spatial image supplied from the information processing device 10 to the left and right eyes of the user, and is located between the display 33 and the eyes of the user. It has a pair of left and right optical lenses for expanding the viewing angle, and an acceleration sensor 34 for detecting the movement of the user's head.
  • the processor 31 controls each part of the device based on the program and data stored in the memory 32.
  • the memory 32 is composed of, for example, a RAM (RandomAccessMemory) and a ROM (ReadOnlyMemory), and stores programs and data executed by the processor 31.
  • a RAM RandomAccessMemory
  • ROM ReadOnlyMemory
  • the display 33 presents the VR space image supplied from the information processing device 10 to the left and right eyes of the user.
  • the acceleration sensor 34 is composed of, for example, a gyro sensor. As shown in FIG. 4, the acceleration sensor 34 has a roll angle ⁇ r as an angle in the roll direction, which is a direction in which the user's head is bent left and right, and an angle in the yaw direction, which is a direction in which the user swings his face left and right. It is detected and output as the respective accelerations of the yaw angle ⁇ y as and the pitch angle ⁇ p as the angle in the pitch direction which is the raising and lowering direction of the jaw.
  • the LED 35 constitutes, for example, a light emitting marker, and is configured to be arranged so that the position of the HMD 30 can be detected with respect to the information processing device 10.
  • the communication unit 36 is wirelessly or wiredly connected to the information processing device 10, receives a VR space image from the information processing device 10, and processes information indicating acceleration in the three axes of the HMD 30 detected by the acceleration sensor 34. It is transmitted to the device 10.
  • the speaker 37 converts the voice information supplied from the information processing device 10 via the communication unit 36 into voice and emits the sound. Headphones may be used instead of the speaker 37.
  • the microphone 38 converts the voice emitted by the user into an electric signal and outputs it.
  • FIG. 5 is an external perspective view showing a configuration example of the operation device 50.
  • the operation device 50 has, for example, a main body portion 501 made of resin, and the user grips and uses the main body portion 501. Further, a flat surface portion 502 on which the operation portion 503 is arranged is formed at the end portion of the main body portion 501. By rotating the operation unit 503, the user can adjust the pitch angle when presenting the VR space image as described later.
  • FIG. 6 is a diagram showing an example of an electrical configuration of the operation device 50.
  • the operation device 50 includes a processor 51, a memory 52, an operation amount detection unit 53, a sensor group 54, a communication unit 55, and a vibration unit 56.
  • the processor 51 controls each part of the device based on the program and data stored in the memory 52.
  • the memory 52 is composed of RAM, ROM, and the like, and stores programs and data executed by the processor 51.
  • the operation amount detection unit 53 detects, for example, the operation amount of the operation unit 503 shown in FIG. 5 and outputs it. More specifically, in the example of FIG. 5, the operation unit 503 has a dial-type structure, and the operation amount detection unit 53 is configured by a rotary encoder that detects the rotation angle of the dial-type operation unit 503. Generates and outputs information indicating the amount of operation.
  • the sensor group 54 is composed of, for example, a tilt sensor or the like, and detects and outputs the angle of the operating device 50.
  • the communication unit 55 is wirelessly or wiredly connected to the information processing device 10, for example, receives information for controlling the vibration unit 56 from the information processing device 10, and is detected by the operation amount detection unit 53 and the sensor group 54. The information is transmitted to the information processing device 10.
  • the vibrating unit 56 is composed of, for example, a vibration motor, and is controlled by the processor 51 to generate vibration to vibrate the main body 501 of the operating device 50.
  • FIG. 7 shows a situation in which the environment in the sea is presented as a VR space image, and is assumed by the creator or photographer of the VR space image (hereinafter, referred to as “creator or the like”). It is a figure.
  • the environment in the sea (details are omitted for simplification of the drawing) is presented to the user 90 as a VR space image.
  • the fin 100 as a part of the body of the avatar (incarnation) of the user 90 is presented at a position corresponding to the foot of the user 90.
  • the shark 110 is attacking the fin 100.
  • production etc.
  • FIG. 8 shows the actual viewing situation of the user 90.
  • the user 90 is viewing the VR space image not in the sitting position but in the supine position lying on the sofa 92 or the like, for example.
  • the conventional information processing device that presents the VR space image does not consider the posture of the user 90. Therefore, as shown in FIG. 8, the fin 100 is located at a position away from the foot of the user 90. Is displayed. In that case, since it is difficult for the user 90 to recognize the fin 100 as a part of his / her body, even if the shark 110 attacks such a fin 100, he / she does not feel that it is an attack against himself / herself. Have difficulty.
  • One of the hero's bodies shown in the VR space image when another person such as an enemy, monster, or friend tries to approach or touch the body of the hero from the first-person perspective in the VR space.
  • the user 90 operates the operation unit 503 of the operation device 50 at the start of reproduction of the VR space image or during the reproduction of the VR space image, so that the pitch angle is as shown in FIG. Correct ⁇ p and adjust so that the image of a part of the body of the user 90's avatar or another person who is trying to interfere with the part of the body is presented at the position assumed by the creator etc. It is characterized by performing.
  • FIGS. 10 to 12 show the case of different contents.
  • FIG. 10 shows the relationship between the VR spatial image intended by the creator and the like and the user 90. That is, in the example of FIG. 10, the user 90 is in a standing position, and the dog 120 is present under the feet of the user 90.
  • FIG. 11 shows the state at the time of actual viewing.
  • the user 90 is in a sitting position in which the upper body is tilted from the vertical direction.
  • the dog 120 is displayed floating in the air, not at the feet of the user 90. If a hand that is part of the user 90's avatar is displayed in the VR space image at the corresponding position and the dog 120 is stroked by the avatar's hand, it is difficult to recognize this hand as its own hand. Is.
  • FIG. 12 shows a display example when the display position is adjusted according to the present embodiment.
  • the pitch angle ⁇ p is adjusted as shown in FIG. 12 by the user 90 operating the operation unit 503 of the operation device 50 at the start of reproduction of the VR space image or during the reproduction of the VR space image. Since the VR space image can be modified so as to be presented at the position assumed by the creator or the like, the dog 120 can be displayed at the feet of the user 90. In this case, a hand that is a part of the user 90's avatar is displayed, and when the dog 120 is stroked by the avatar's hand, this hand can be recognized as its own hand.
  • the present embodiment pays attention to various properties shared by many contents related to virtual reality, based on these scientific properties naturally possessed by the cognitive mechanism of the human brain. Therefore, for example, it is intended to provide a technical solution to the situation shown in FIG.
  • the present embodiment is characterized in that the pitch angle ⁇ p is particularly paid attention to among the three angles ( ⁇ r, ⁇ y, ⁇ p) detected from the movement of the head of the user 90 and used for adjusting the line of sight.
  • the posture of Avatar as the main character from the first person's point of view may change variously as the story progresses, but when the human eye sees his body in the field of view, he bends his head. Being (movement in the roll axis direction) and looking back to the left and right (movement in the yaw axis direction) are relatively rare events. Assuming that the protagonist is not angry and is facing almost the front of the object of interest without shifting to the left or right, in many cases there is no problem.
  • the pitch angle correction amount setting unit 11 for enabling forced movement (pitch up, pitch down) based on the intention of the user 90 with respect to the pitch angle that controls the change of the avatar as the main character of the first person viewpoint. It is possible to reduce the discrepancy between the physical expression of the user and the actual posture of the user.
  • the human brain Since the human brain has great adjustment ability, it is expected that a great psychological effect that can maintain an immersive feeling can be obtained just by adjusting the rough overlap of the positions of the limbs. Therefore, in the present embodiment, the body of the avatar, which is the main character of the first-person viewpoint, and the actual posture of the body of the user 90 are roughly aligned by the operation device 50, and the user 90 makes his / her own intention. By operating the operation device 50 accordingly, it is possible to provide a virtual space with a higher immersive feeling.
  • FIG. 13 is a flowchart for explaining an example of the processing executed in the embodiment of the present disclosure. Hereinafter, the detailed operation of the present disclosure will be described with reference to the flowchart shown in FIG. When the processing of the flowchart shown in FIG. 13 is started, the following steps are executed.
  • the LED 35 provided in the HMD 30 may be turned on, and these may be used as markers to detect the initial position by image recognition.
  • step S11 the pitch angle correction amount setting unit 11 substitutes “0” as the initial value of the pitch angle correction amount ⁇ pc.
  • step S12 the avatar generation unit 15 executes a process of generating an avatar image of the user 90 based on the roll angle ⁇ r, the yaw angle ⁇ y, and the pitch angle ⁇ p as the initial positions detected in step S10. For example, in the example of FIG. 7, the avatar generation unit 15 generates an image of the fin 100 attached to a part of the body of the avatar of the user 90.
  • step S13 the VR space image generation unit 13 executes a process of generating a VR space image based on the roll angle ⁇ r, the yaw angle ⁇ y, and the pitch angle ⁇ p as the initial positions detected in step S10. For example, in the example of FIG. 7, an image showing the environment under the sea is generated, and the avatar image generated in step S12 is superimposed to generate a VR space image.
  • step S14 the VR space image generation unit 13 outputs the VR space image generated in step S13 to the HMD 30.
  • the communication unit 36 receives the VR space image and supplies it to the processor 31.
  • the processor 31 displays the VR spatial image supplied from the communication unit 36 on the display 33.
  • step S15 the HMD motion detection unit 14 detects the position of the HMD 30 with reference to the information supplied from the acceleration sensor 34 of the HMD 30. More specifically, the HMD motion detection unit 14 detects motion in the roll axis direction, the yaw axis direction, and the pitch axis direction shown in FIG.
  • step S16 the pitch angle correction amount setting unit 11 refers to the information input from the input unit 12 and determines whether or not the operation unit 503 of the operation device 50 has been operated for pitch up or pitch down. If it is determined that the operation has been performed (step S16: Y), the process proceeds to step S17, and in other cases (step S16: N), the process proceeds to step S18. For example, when the operation unit 503 is rotated by the user's thumb or the like, it is determined as Y and the process proceeds to step S17.
  • step S17 the pitch angle correction amount setting unit 11 executes a process of updating the pitch angle correction amount ⁇ pc according to the operation amount of the operation device 50 detected in step S16 with respect to the operation unit 503.
  • the pitch angle correction amount ⁇ pc ⁇ 35 is set.
  • the sensitivity can be adjusted, for example, on the option screen of the system.
  • step S18 the VR spatial image generation unit 13 executes a process of correcting the pitch angle according to the pitch angle correction amount updated in step S17.
  • the VR space image generation unit 13 executes a process of correcting the pitch angle ⁇ p by ⁇ 35 degrees (a process of setting ⁇ p ⁇ ⁇ p + ⁇ pc). To do.
  • step S19 the avatar generation unit 15 executes a process of generating an avatar image of the user 90 based on the pitch angle corrected in step S18.
  • the avatar generation unit 15 generates an image of the fins 100 attached to a part of the body of the avatar of the user 90 based on the pitch angle ⁇ p modified in step S18.
  • step S20 the VR space image generation unit 13 executes a process of generating a VR space image. For example, in the example of FIG. 9 described above, an image showing the underwater environment is generated and an image of the shark 110 is generated based on the pitch angle ⁇ p corrected in step S18. Then, the avatar image generated in step S12 is superimposed on these images to generate a VR space image.
  • step S21 the VR space image generation unit 13 outputs the VR space image generated in step S20 to the HMD 30.
  • the communication unit 36 receives the VR space image and supplies it to the processor 31.
  • the processor 31 displays the VR spatial image supplied from the communication unit 36 on the display 33.
  • the fin 100 which is an avatar image
  • the VR space image in which the positions of the shark 110 are appropriately adjusted are displayed on the display 33 of the HMD 30.
  • the human brain causes a transfer of bodily sensation between the main character and the self in the VR space, and has a sense of physical possession.
  • the visual expression about the hero's body provided in the virtual space has the property that the closer the body is to the position where it should be, the easier it is to get that feeling. Therefore, by modifying the pitch angle ⁇ p, for example, in the example of FIG. 9, the feeling of physical possession of the fin 100 can be strengthened. As a result, the attack of the shark 110 can be strongly recognized as an attack on itself, so that the feeling of immersion in the VR space can be enhanced.
  • step S22 the VR spatial image generation unit 13 determines whether or not to end the processing, ends the processing when it is determined to end the processing (step S22: Y), and ends the processing in other cases (step S22). : N) returns to step S15 and repeats the same process as described above.
  • the operation of the operation device 50 is performed.
  • the unit 503 By manipulating the unit 503 to correct the pitch angle ⁇ p and matching them as shown in FIG. 9, it is possible to enhance the immersive feeling in the VR space.
  • the information processing device 10 is a VR space including an avatar so as to suppress a gap between a display position of a part of the body of the main character and a position of a part of the body of the corresponding user 90. Correct the angle in the pitch direction of the image. Then, the information processing device 10 presents a VR space image in which the angle in the pitch direction is corrected on the display.
  • the immersive feeling of the user 90 is enhanced by suppressing the deviation between the display position of a part of the body of the main character and the position of a part of the body of the corresponding user 90. Therefore, the processing of the information processing apparatus 10 has a technical effect of supporting the enhancement of the immersive feeling of the user 90. More specifically, the configuration of the information processing device 10 allows the user 90 to obtain an immersive feeling as disclosed in Documents 1 to 5.
  • the most important purpose is to correct the VR spatial image according to the movement of the HMD worn by the user on the head.
  • degrees of freedom Degrees of freedom: DoF
  • DoF degrees of freedom
  • Only the changes in the pitch angle, yaw angle, and roll angle of the user's head are the VR space images.
  • each mechanism The main purpose of each mechanism is to detect the movement of the user's "head” and reflect it in the VR spatial image, and the movement of the body other than the user's head is handled in the early VR technology. It wasn't. The reason for this is that in the early days of the development history of VR technology, it was assumed that the user would watch and operate while taking a standard posture such as sitting in a seat, such as operating an airplane or driving a car. It has a big influence. In such a case, the discrepancy between the posture of the user assumed by the VR content creator and the physical posture of the actual user is small.
  • the state of the user's limbs can be reflected in the VR spatial image by the user holding the operating device in one or both hands and detecting the position or movement of the operating device with a sensor group, an external camera, or the like.
  • a mechanism that makes the operating device look like an exercise device such as a tennis racket or a weapon for fighting, and dynamically generates an image representation of the user's body and device according to information detected by a sensor or the like.
  • a natural display is performed in the VR space image.
  • the information processing device 10 of the present disclosure can give a deep immersive feeling to the user without requiring the complicated and expensive mechanism as described above.
  • the basic idea in the information processing device 10 of the present disclosure is that the discrepancy between the body of the avatar, which is the main character displayed in the user's field of view, and the physical body of the actual user is "pitch angle". The point is to pay attention to the fact that the deviation is the most important cause.
  • the pitch angle can be corrected to eliminate most of the posture discrepancies between the avatar and the actual user in the VR spatial image. This can give the user a feeling of immersion.
  • a flexible cognitive function known as a rubber hand illusion is also considered in the human brain. It is scholarly that when a fake image representation that substitutes for an angle in which one's body part should exist is presented in the user's field of view, a strong sense of physical ownership can be obtained for that image representation. It is clarified from the results of the research. Therefore, even if the position of the user's limbs is not accurately reproduced, the user can be given an immersive feeling by presenting an alternative image expression at an approximately correct position by adjusting the pitch angle. it can.
  • the information processing device 10 of the present disclosure does not use a complicated posture determination mechanism or dynamic image expression mechanism that is considered as an extension of the technical trend up to now.
  • the information processing device 10 of the present disclosure can give a sufficient psychological effect to the user by adopting a simple configuration while making the best use of the properties of the flexible cognitive mechanism of the human brain. Due to this property, according to the information processing apparatus 10 of the present disclosure, a VR product can be manufactured and provided at low cost.
  • the preparation work and the start-up operation by the user can be remarkably simplified. It becomes.
  • the information processing device 10 of the present disclosure can be applied to an object in which dynamic image correction of physical expression is impossible, such as a live-action image taken in advance.
  • FIG. 14 is an example of an operation device 50A having a lever-type operation unit 503A. That is, in the example of FIG. 14, the pitch angle can be corrected by operating the operation unit 503A with the thumb or the like of the user 90.
  • the pitch angle changes at a predetermined speed (for example, 5 degrees / sec when the maximum operation is performed) according to the operation amount (tilt) of the operation unit 503A. Can be done.
  • FIG. 15 is a configuration example of an operation device 50B having button-type operation units 503B and 503C. That is, in the configuration example of FIG. 15, the desired angle can be adjusted by operating the operation unit 503B when pitching up and operating the operation unit 503C when pitching down. When the operation units 503B and 503C are continuously operated, the pitch angle can be changed at a predetermined speed (for example, 5 degrees / sec). In the operation devices shown in FIGS. 5, 14, and 15, the front-back direction is associated with the pitch angle for adjustment, but the user's vertical direction is associated with the pitch angle for adjustment. You may do so.
  • a predetermined speed for example, 5 degrees / sec
  • an operation screen as shown in FIG. 16 may be displayed in the VR space, and the pitch angle correction amount may be input from the operation screen.
  • the operation screen shown in FIG. 16 may be operated by using the pointing device for operating or designating the object in the VR space attached to the HMD 30 or the information processing device 10.
  • the pitch angle adjustment gauge is set for a fixed period of time (for example, 10 seconds) by clicking within a band having a fixed width at the left and right edges of the screen (hereinafter referred to as “gauge display area”) with a pointing device. It is displayed, and you can specify the pitch amount (increase / decrease amount) by clicking one point on the gauge. It is desirable that the upper part of the gauge is pitched up and the lower part is pitched down.
  • the pitch amount represented by the number line of the gauge may be, for example, in the range of plus 45 degrees (pitch up) to minus 45 degrees (pitch down).
  • the sensitivity (the magnitude of the pitch angle correction amount represented by the gauge) can be adjusted on the option screen of the system as in the case of the operation device 50.
  • the gauge display and click acceptance are continued for the same time (10 seconds in the above example) after reflecting the pitch angle adjustment.
  • the user can repeat the pitch angle adjustment several times to make fine adjustments to a suitable angle.
  • the pitch angle adjustment gauge is preferably drawn in a non-transparent color so as not to be affected by the brightness of the virtual space.
  • gauge display areas are provided on both the left and right ends as standard, it is desirable that the user can select to install only on the left and right sides by setting options. Further, even if a point outside the range of the pitch angle adjustment gauge is clicked, it can be treated as an effective input and the pitch angle can be adjusted. This makes it possible to click on an object of interest in the virtual space and adjust the pitch angle so that it is in front of the line of sight.
  • FIG. 17 is an example of a flowchart for setting the pitch angle correction amount based on the display screen shown in FIG.
  • the same reference numerals are given to the portions corresponding to the flowchart shown in FIG. 13, and the description thereof will be omitted.
  • step S16 is excluded, and steps S30 to S32 are newly added. Therefore, in the following, steps S30 to S32 will be mainly described.
  • step S30 the pitch angle correction amount setting unit 11 determines whether or not one point in the VR space has been designated by the pointing device, and if it is determined that the point has been designated (step S30: Y), the process proceeds to step S31. In other cases (step S30: N), the process proceeds to step S18. For example, in FIG. 16, when a gauge display area at the left and right edges of the screen is clicked by the pointing device and then one point on the gauge is clicked, it is determined as Y and the process proceeds to step S31.
  • step S31 the pitch angle correction amount setting unit 11 identifies the clicked point. For example, in FIG. 16, a point on the gauge clicked by the pointing device is identified.
  • step S32 the pitch angle correction amount setting unit 11 calculates the pitch angle correction amount ⁇ pc from the designated point. For example, in FIG. 16, the pitch angle correction amount ⁇ pc is calculated from the position of one point on the gauge clicked by the pointing device.
  • step S17 the pitch angle correction amount setting unit 11 updates the existing pitch angle correction amount ⁇ pc by the pitch angle correction amount ⁇ pc calculated in step S32.
  • the pitch angle correction amount can be updated using the display screen shown in FIG. According to such a modified embodiment, the pitch angle correction amount can be set by using the existing pointing device without adding a new operating device.
  • the pitch angle correction amount is manually input by the user, but is automatically adjusted when the posture of the presented avatar changes based on the intention of the creator or the like. You may try to do it. Specifically, information indicating the posture of the avatar is stored in the data for generating the VR space image, and the pitch angle correction amount is automatically updated based on the information indicating the posture of the avatar. You may.
  • FIG. 18 is a flowchart for realizing such a process.
  • the parts corresponding to those in FIG. 13 are designated by the same reference numerals, and the description thereof will be omitted.
  • the processes of steps S50 and S51 are added as compared with FIG. Other than these, the same as in FIG. 13, and therefore, the processing of step S50 and step S51 will be mainly described below.
  • step S50 the pitch angle correction amount setting unit 11 acquires the pitch angle correction amount ⁇ pc corresponding to the currently presented VR space image scene from, for example, the VR space image generation unit 13.
  • the pitch angle correction amount ⁇ pc embedded in the data for generating the VR space image is acquired according to the posture of the avatar presented in the scene.
  • the pitch angle correction amount ⁇ pc changes. Therefore, when the pitch angle correction amount ⁇ pc changes, a new pitch angle correction amount ⁇ pc is acquired from, for example, the VR spatial image generation unit 13 or the avatar generation unit 15.
  • step S51 the pitch angle correction amount setting unit 11 updates the existing pitch angle correction amount ⁇ pc with the pitch angle correction amount ⁇ pc acquired in step S50. For example, when the pitch angle correction amount of the immediately preceding scene is ⁇ pc1 and the pitch angle correction amount of the new scene is ⁇ pc2, the pitch angle correction amount ⁇ pc2 is newly set.
  • the pitch angle correction amount is set according to the operation of the operation device 50 described above.
  • the pitch angle correction amount ⁇ pc can be set by increasing or decreasing the value according to the operation of the operation device 50 with respect to the pitch angle correction amount ⁇ pc updated in step S51.
  • the pitch angle can be automatically corrected every time the scene changes, so that the user 90 can roughly save the trouble of manually setting the pitch angle correction amount, and the user 90 can use the operating device 50. It is possible to make only minor corrections by operation.
  • the information processing device 10 automatically corrects the pitch angle each time the scene changes, and presents a VR space image with the corrected pitch angle on the display. Since the pitch angle correction amount is set in advance, the pitch angle is automatically corrected. As a result, the user 90 can save the trouble of manually setting the pitch angle correction amount. Therefore, the processing of the information processing apparatus 10 has a technical effect of assisting the user 90 in saving the trouble of manually setting the pitch angle correction amount.
  • the present disclosure is not limited to computer graphics, for example, the whole sky.
  • a live-action image captured by a camera capable of capturing an image may be used. That is, the present disclosure may be applied to image-based rendering or image-based modeling.
  • the avatar is included in the live-action image.
  • the avatar generation unit 15 can be excluded from the configuration shown in FIG. Of course, a 180 ° image may be used instead of the entire sky (360 °) image.
  • the pitch angle correction amount according to the scene is embedded in the data for generating the VR space image.
  • the presented VR space image is expressed in computer graphics.
  • an image analysis processing unit is added to the configuration shown in FIG. 3, and the analysis processing by the image analysis processing unit is performed.
  • the appropriate pitch angle correction amount may be specified from the image, and the specified pitch angle correction amount may be set.
  • the process shown in FIG. 13 and the like is executed by the information processing device 10, but the configuration of the information processing device 10 is incorporated in the HMD 30 and the process shown in FIG. 13 and the like is performed by the HMD 30. You may want to do it.
  • the network 70 and the server are provided, but the configuration may not include the network 70.
  • the information stored in the server may be stored in the information processing device 10 or the HMD 30.
  • the pitch angle is adjusted, but the yaw angle and the roll angle may be adjusted as needed.
  • various processors other than the CPU may execute the processing in which the CPU reads the software (program) and executes it in the above embodiment.
  • the processors include PLD (Programmable Logic Device) whose circuit configuration can be changed after manufacturing FPGA (Field-Programmable Gate Array), and ASIC (Application Specific Integrated Circuit) for executing ASIC (Application Special Integrated Circuit).
  • PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • An example is a dedicated electric circuit or the like, which is a processor having a circuit configuration designed exclusively for it.
  • each process may be executed by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs and a combination of a CPU and an FPGA, etc. ) May be executed.
  • the hardware structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the program is a non-temporary storage medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital entirely Disk Online Memory), and a USB (Universal Serial Bus) memory. It may be provided in the form. Further, the program may be downloaded from an external device via a network.
  • each process of the present embodiment may be configured by a computer or a server provided with a general-purpose arithmetic processing unit, a storage device, or the like, and each process may be executed by a program.
  • This program is stored in a storage device, and can be recorded on a recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or can be provided through a network.
  • any other component does not have to be realized by a single computer or server, but may be distributed and realized by a plurality of computers connected by a network.

Abstract

ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段と、第１入力手段が入力した検出情報に応じて、ユーザの身体の少なくとも一部を示す身体画像を含む仮想空間を生成する生成手段と、ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段と、第２入力手段が入力した修正情報に基づいて、ディスプレイに仮想空間を提示する際のピッチ方向の角度を修正する修正手段と、修正手段によってピッチ方向の角度が修正された仮想空間をディスプレイに提示する提示手段と、を有する。

Description

情報処理装置、情報処理方法、および、プログラム
　本開示は、情報処理装置、情報処理方法、および、プログラムに関するものである。
　近年、ヘッドマウントディスプレイを用いて、仮想空間を提供する技術が急速に普及している。このような技術では、ユーザがその体験をあたかも現実のように感じられる、「没入感」を得られるか否かが、感動や満足感を提供する上できわめて重要な要素であることが指摘されている。
　特開２００４－１５０９００号公報には、人体の対象部位に姿勢角検出装置を取付けて対象部位の姿勢角を計測する際に、姿勢角検出装置の対象部位に対する取付け角度を予め初期姿勢角として保存しておき、人体の姿勢角検出時に、姿勢角検出装置の角速度および角加速度と、初期姿勢角とを用いて演算処理することにより、姿勢角検出装置の対象部位に対する取付け角度誤差が補正され、対象部位に関する姿勢角の検出を高い精度で行う技術が開示されている。
　このような技術によれば、ヘッドマウントディスプレイを頭部に装着している利用者の実際の動きと、ヘッドマウントディスプレイの出力姿勢角とが一致するので、ヘッドマウントディスプレイに表示される画像と利用者の感覚との間に違和感が生じず、利用者は自然な感覚でヘッドマウントディスプレイの画像を鑑賞することができる。
　ところで、手や足などの身体の一部が表示されることで、没入感を高められる場合があることが知られており、今後は、仮想空間の中に、より積極的に第一人称視点の主人公役の身体の一部を表示していく方向が想定される。
　このように、第一人称視点の主人公役の身体の一部を表示する場合、画面内に表現されている主人公の体の一部の位置が、現実のユーザの体の対応する部分の位置と大きく異なると、没入感が著しく阻害されてしまう。
　しかしながら、特開２００４－１５０９００号公報では、このような問題点を解決することができない。
　そこで、本開示は、主人公役の身体の一部の表示位置と、対応するユーザの身体の一部の位置との乖離を抑制することが可能な情報処理装置、情報処理方法、および、プログラムを提供することを目的としている。
　上記課題を解決するために、本開示は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理装置において、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段と、前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段と、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段と、前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正手段と、前記修正手段によってピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示手段と、を有することを特徴とする。
　このような構成によれば、主人公役の身体の一部の表示位置と、対応するユーザの身体の一部の位置との乖離を抑制することができる。
　また、本開示は、前記第２入力手段から入力された前記修正情報を記憶する記憶手段を有し、前記修正手段は、前記記憶手段に記憶された前記修正情報に基づいて前記仮想空間のピッチ方向の角度を修正する、ことを特徴とする。
　このような構成によれば、記憶されている修正情報に基づいてピッチ方向の角度の修正を適宜継続して行うことができる。
　また、本開示は、前記修正手段は、ピッチ方向の修正角度を新たに指定する場合には、前記記憶手段に記憶されている前記修正情報の前回値を初期値として、前記仮想空間のピッチ方向の角度の修正値を指定することを特徴とする。
　このような構成によれば、再修正を容易に行うことができる。
　また、本開示は、前記デバイスは、前記ユーザの前後方向または上下方向に対応する方向に関する操作が可能な操作部を有し、前記修正手段は、前記操作部の前記前後方向または上下方向に対応する方向に関する操作量を参照して、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、ことを特徴とする。
　このような構成によれば、前後方向または上下方向の操作によって感覚的に分かりやすく調整を行うことができる。
　また、本開示は、前記デバイスは、前記仮想空間内の少なくとも１点を指定可能であり、前記修正手段は、前記デバイスによって指定された位置を参照し、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、ことを特徴とする。
　このような構成によれば、ポインティングデバイスを用いて、ピッチ方向の角度を容易に調整することができる。
　また、本開示は、前記仮想空間における前記身体画像のピッチ方向の角度を取得する取得手段を有し、前記修正手段は、前記取得手段によって取得されたピッチ方向の角度を参照して、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、ことを特徴とする。
　このような構成によれば、ピッチ方向の角度を自動的に設定することが可能になる。
　また、本開示は、前記修正手段は、前記第２入力手段から入力された前記修正情報に基づいて、ピッチ方向の角度の修正量を示すゲージを前記仮想空間の一部に表示することを特徴とする。
　このような構成によれば、ゲージを参照することで修正量を正確に把握することができる。
　また、本開示は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理方法において、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力ステップと、前記第１入力ステップにおいて入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成ステップと、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力ステップと、前記第２入力ステップにおいて入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正ステップと、前記修正ステップにおいてピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示ステップと、を有することを特徴とする。
　このような方法によれば、主人公役の身体の一部の表示位置と、対応するユーザの身体の一部の位置との乖離を抑制することができる。
　また、本開示は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理をコンピュータに機能させる前記コンピュータが読み取り可能なプログラムにおいて、前記コンピュータを、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段、前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段、前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正手段、前記修正手段によってピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示手段、として機能させることを特徴とする。
　このようなプログラムによれば、主人公役の身体の一部の表示位置と、対応するユーザの身体の一部の位置との乖離を抑制することができる。
　また、本開示は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理装置において、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段と、前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段と、前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示手段と、前記提示手段によって前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段と、前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正手段と、を有し、前記提示手段は、前記修正手段によってピッチ方向の角度が修正された前記身体画像を含む前記仮想空間を前記ディスプレイに提示する、ことを特徴とする。
　また、本開示は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理方法において、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力ステップと、前記第１入力ステップにおいて入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成ステップと、前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示ステップと、前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力ステップと、前記第２入力ステップにおいて入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正ステップと、を有し、前記提示ステップでは、前記修正ステップにおいてピッチ方向の角度が修正された前記身体画像を含む前記仮想空間が前記ディスプレイに提示される、ことを特徴とする。
　また、本開示は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理をコンピュータに機能させる前記コンピュータが読み取り可能なプログラムにおいて、前記コンピュータを、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段、前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段、前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示手段、前記提示手段によって前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段、及び前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正手段として機能させるためのプログラムであって、前記提示手段は、前記修正手段によってピッチ方向の角度が修正された前記身体画像を含む前記仮想空間を前記ディスプレイに提示する、ことを特徴とする。
　また、本開示は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理装置において、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する入力手段と、前記入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段と、前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示手段と、前記提示手段によって前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する修正情報を取得し、前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正手段と、を有し、前記提示手段は、前記修正手段によってピッチ方向の角度が修正された前記身体画像を含む前記仮想空間を前記ディスプレイに提示する、ことを特徴とする。
　また、本開示は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理方法において、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する入力ステップと、前記入力ステップにおいて入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成ステップと、前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示ステップと、前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する修正情報を取得し、前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正ステップと、を有し、前記提示ステップでは、前記修正ステップにおいてピッチ方向の角度が修正された前記身体画像を含む前記仮想空間が前記ディスプレイに提示される、ことを特徴とする。
　また、本開示は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理をコンピュータに機能させる前記コンピュータが読み取り可能なプログラムにおいて、前記コンピュータを、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する入力手段、前記入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段、前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示手段、及び前記提示手段によって前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する修正情報を取得し、前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正手段として機能させるためのプログラムであって、前記提示手段は、前記修正手段によってピッチ方向の角度が修正された前記身体画像を含む前記仮想空間を前記ディスプレイに提示する、ことを特徴とする。
　本開示によれば、主人公役の身体の一部の表示位置と、対応するユーザの身体の一部の位置との乖離を抑制可能な情報処理装置、情報処理方法、および、プログラムを提供することができる。
本開示の実施形態に係る情報処理装置を含むシステムの構成例である。 図１に示す情報処理装置の構成例を示す図である。 図１に示すＨＭＤの構成例を示す図である。 図３に示すＨＭＤが有する３つの軸方向を示す図である。 図１に示す操作デバイスの外観斜視図である。 図１に示す操作デバイスの電気的な構成例を示す図である。 制作者等が意図するＶＲ空間画像の位置関係を示す図である。 実際のＶＲ空間画像の位置関係を示す図である。 ピッチ角修正後のＶＲ空間画像の位置関係を示す図である。 制作者等が意図するＶＲ空間画像の位置関係を示す図である。 実際のＶＲ空間画像の位置関係を示す図である。 ピッチ角修正後のＶＲ空間画像の位置関係を示す図である。 図２に示す実施形態において実行される処理の一例を説明するためのフローチャートである。 図５に示す操作デバイスの他の構成例を示す図である。 図５に示す操作デバイスのさらに他の構成例を示す図である。 ポインティングデバイスを用いてピッチ角を調整する場合の表示画面の一例を示す図である。 図２に示す実施形態において実行される他の処理の一例を説明するためのフローチャートである。 図２に示す実施形態において実行されるさらに他の処理の一例を説明するためのフローチャートである。
　次に、本開示の実施形態について説明する。
（Ａ）本開示の実施形態の構成の説明
　図１は、本開示の実施形態に係る情報処理装置を含む情報処理システムの構成例を示す図である。図１に示すように、本開示の実施形態に係る情報処理装置システムは、情報処理装置１０、ＨＭＤ（Head Mount Display）３０、操作デバイス５０、および、ネットワーク７０を有している。
　ここで、情報処理装置１０は、後述するように、パーソナルコンピュータ等によって構成され、例えば、ネットワーク７０に接続されたサーバ（不図示）から供給されるプログラムまたはデータに基づいて、ＶＲ（Virtual Reality）空間画像を生成してＨＭＤ３０に供給するとともに、ＨＭＤ３０を装着したユーザの頭部の動きに応じてＶＲ空間画像を更新する。また、情報処理装置１０は、操作デバイス５０がユーザによって操作された場合には、操作量を取得し、操作量に応じた処理（後述する）を実行する。ＶＲ空間画像は、仮想空間の一例である。
　ＨＭＤ３０は、ユーザが頭部に装着し、情報処理装置１０から供給されるＶＲ空間画像を内蔵されているディスプレイに表示するとともに、ユーザの頭部の動きを検出して情報処理装置１０に供給する。
　操作デバイス５０は、ユーザによって操作され、操作量に応じた情報を生成して出力する。
　ネットワーク７０は、例えば、インターネット等によって構成され、図示しないサーバと情報処理装置１０との間で情報をＩＰパケットとして伝送する。
　図２は、情報処理装置１０の電気的な構成例を示すブロック図である。図２に示すように、情報処理装置１０は、ピッチ角修正量設定部１１、入力部１２、ＶＲ空間画像生成部１３、ＨＭＤ動き検出部１４、アバター生成部１５、および、通信部１６を有している。
　ここで、ピッチ角修正量設定部１１は、操作デバイス５０から入力される情報に基づいてＶＲ空間画像のピッチ角を修正する量を設定する。
　入力部１２は、操作デバイス５０が操作された場合に、操作量を示す情報を操作デバイス５０から入力する。
　ＶＲ空間画像生成部１３は、ユーザの周囲に構築するＶＲ空間画像を生成して、ＨＭＤ３０に供給する。
　ＨＭＤ動き検出部１４は、ＨＭＤ３０が有する加速度センサ（後述する）から出力される、ＨＭＤ３０の動きに関する情報を入力し、ＨＭＤ３０の動きを検出することで、ユーザの頭部の動きを検出する。
　アバター生成部１５は、第一人称視点の主人公役である化身としてのアバターの身体の少なくとも一部の画像を生成する。アバターの身体の少なくとも一部の画像は、身体画像の一例である。
　通信部１６は、ネットワーク７０を介して、図示しないサーバにアクセスし、サーバに格納されている情報を取得したり、サーバに対して情報を送信したりする。
　図３は、ＨＭＤ３０の電気的な構成例を示すブロック図である。図３に示すように、ＨＭＤ３０は、プロセッサ３１、メモリ３２、１組のディスプレイ３３、複数の加速度センサ３４、複数のＬＥＤ（Light Emitting Diode）３５、通信部３６、スピーカ３７、および、マイクロフォン（以下、単に「マイク」と称する）３８を有している。
　なお、ＨＭＤ３０は、ユーザの頭部に装着して使用される。ＨＭＤ３０は、情報処理装置１０から供給されるＶＲ空間画像を、ユーザの左右の目に対して表示するための左右１組のディスプレイ３３を有するとともに、ディスプレイ３３とユーザの目の間に位置して視野角を拡大するための左右一対の光学レンズ、ユーザの頭部の動きを検出するための加速度センサ３４を有している。
　ここで、プロセッサ３１は、メモリ３２に格納されているプログラムおよびデータに基づいて、装置の各部を制御する。
　メモリ３２は、例えば、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等によって構成され、プロセッサ３１が実行するプログラムやデータを格納する。
　ディスプレイ３３は、情報処理装置１０から供給されるＶＲ空間画像をユーザの左右の目に対して提示する。
　加速度センサ３４は、例えば、ジャイロセンサによって構成される。加速度センサ３４は、図４に示すように、ユーザの頭部の動きを、首を左右にかしげる方向であるロール方向の角度としてのロール角θｒ、左右に顔を振る方向であるヨー方向の角度としてのヨー角θｙ、および、顎の上げ下げ方向であるピッチ方向の角度としてのピッチ角θｐのそれぞれの加速度として検出して出力する。
　図３に戻る。ＬＥＤ３５は、例えば、発光マーカを構成し、情報処理装置１０に対して、ＨＭＤ３０の位置を検出可能に配置されて構成されている。
　通信部３６は、無線または有線によって情報処理装置１０と接続され、ＶＲ空間画像を情報処理装置１０から受信するとともに、加速度センサ３４によって検出されたＨＭＤ３０の３軸方向の加速度を示す情報を情報処理装置１０に送信する。
　スピーカ３７は、情報処理装置１０から通信部３６を介して供給される音声情報を音声に変換して放音する。なお、スピーカ３７の代わりに、ヘッドフォンを使用するようにしてもよい。
　マイク３８は、ユーザの発した音声を電気信号に変換して出力する。
　図５は、操作デバイス５０の構成例を示す外観斜視図である。図５に示すように、操作デバイス５０は、例えば、樹脂によって構成される本体部５０１を有し、この本体部５０１をユーザが把持して使用する。また、本体部５０１の端部には、操作部５０３が配置される平面部５０２が形成されている。ユーザが操作部５０３を回転することで、後述するようにＶＲ空間画像を提示する際のピッチ角を調整することができる。
　図６は、操作デバイス５０の電気的な構成例を示す図である。図６に示すように、操作デバイス５０は、プロセッサ５１、メモリ５２、操作量検出部５３、センサ群５４、通信部５５、および、振動部５６を有している。
　ここで、プロセッサ５１は、メモリ５２に格納されたプログラムおよびデータに基づいて、装置の各部を制御する。
　メモリ５２は、ＲＡＭおよびＲＯＭ等によって構成され、プロセッサ５１が実行するプログラムおよびデータを格納している。
　操作量検出部５３は、例えば、図５に示す操作部５０３の操作量を検出して出力する。より詳細には、図５の例では、操作部５０３はダイアル型の構造を有し、操作量検出部５３は、ダイアル型の操作部５０３の回転角度を検出するロータリーエンコーダによって構成され、ユーザの操作量を示す情報を生成して出力する。
　センサ群５４は、例えば、傾きセンサ等によって構成され、操作デバイス５０の角度を検出して出力する。
　通信部５５は、無線または有線によって情報処理装置１０と接続され、例えば、振動部５６を制御するための情報を情報処理装置１０から受信するとともに、操作量検出部５３およびセンサ群５４によって検出された情報を情報処理装置１０に送信する。
　振動部５６は、例えば、バイブレーションモータによって構成され、プロセッサ５１の制御により、振動を発生して操作デバイス５０の本体部５０１を振動させる。
（Ｂ）本開示の実施形態の動作の説明
　つぎに、本開示の実施形態の動作について説明する。以下では、本開示の実施形態の動作の概要について説明した後、フローチャートを参照して動作の詳細について説明する。
　図７～図１２は、本開示の動作の概要を説明するための図である。図７は、ＶＲ空間画像として、海の中の環境を提示する場合であって、ＶＲ空間画像の制作者または撮影者（以下、「制作者等」と称する）が想定している状況を示す図である。図７の例では、ＶＲ空間画像として海の中の環境（詳細は図面の簡略化のために省略する）がユーザ９０に提示される。また、図７の例では、ユーザ９０のアバター（化身）の身体の一部としてのフィン１００が、ユーザ９０の足と一致する位置に提示される。また、図７の例では、フィン１００に対して鮫１１０が攻撃している。すなわち、制作者等は、ユーザ９０が、例えば、座位にて鑑賞することを想定するとともに、仮想カメラの正面方向よりも約４５度下方にユーザ９０の足が存在することを想定して、ＶＲ空間画像を制作または撮影（以下、「制作等」と称する）している。
　図８は、ユーザ９０の実際の鑑賞時の状況を示している。図８の例では、ユーザ９０は、座位ではなく、例えば、ソファ９２等に横になる仰臥位にてＶＲ空間画像を鑑賞している。このような場合、ＶＲ空間画像を提示する従来の情報処理装置では、ユーザ９０がどのような姿勢かは考慮しないことから、図８に示すように、ユーザ９０の足から離れた位置にフィン１００が表示されてしまう。その場合、ユーザ９０はフィン１００を自分の身体の一部と認識することは困難であることから、このようなフィン１００に対して鮫１１０が攻撃をしたとしても、自身に対する攻撃と感じることは困難である。
　ＶＲ空間内で敵、怪物、友人等の他者が、一人称視点の主人公役の身体に接近または接触などの干渉を加えようとした場合に、ＶＲ空間画像に提示されている主人公の体の一部の位置が、現実のユーザ９０の位置と異なる場合には、没入感が著しく阻害されてしまうことが、従来は問題であった。
　そこで、本開示の実施形態では、ＶＲ空間画像の再生開始時またはＶＲ空間画像の再生中に、ユーザ９０が操作デバイス５０の操作部５０３を操作することで、図９に示すように、ピッチ角θｐを修正し、制作者等が想定している位置に、ユーザ９０のアバターの身体の一部や、身体の一部に干渉を加えようとする他者等の画像が提示されるように調整を行うことを特徴とする。
　図１０～図１２は別のコンテンツの場合を示している。図１０は、制作者等が意図したＶＲ空間画像とユーザ９０との関係を示している。すなわち、図１０の例では、ユーザ９０は立位であり、ユーザ９０の足下に犬１２０が存在する状態を示している。
　図１１は、実際の鑑賞時の状態を示している。図１１の例では、ユーザ９０は、上半身が鉛直方向よりも傾いた状態の座位である。このような場合、犬１２０は、ユーザ９０の足下ではなく、空中に浮かんだ状態で表示される。ＶＲ空間画像中に、これと対応する位置にユーザ９０のアバターの一部である手が表示されて、そのアバターの手によって犬１２０を撫でる場合、この手を自身の手と認識することは困難である。
　図１２は、本実施形態によって、表示位置を調整した場合の表示例を示している。本実施形態では、ＶＲ空間画像の再生開始時またはＶＲ空間画像の再生中に、ユーザ９０が操作デバイス５０の操作部５０３を操作することで、図１２に示すように、ピッチ角θｐを調整し、制作者等が想定している位置にＶＲ空間画像が提示されるように修正を行うことができるので、犬１２０をユーザ９０の足下に表示させることができる。この場合、ユーザ９０のアバターの一部である手が表示され、アバターの手によって犬１２０を撫でる場合、この手を自身の手と認識することができる。
　このように、調整を行って、アバターの体の一部と、ユーザ９０の体の一部とを一致させることで、アバターに対する身体所有感覚を高め、これにより没入感を高めることができる。
　なお、身体所有感については、以下のような論文が知られている。
　例えば、論文１（Botvinick M., and Cohen J.: "Rubber hands ‘feel’ touch that eyes see", Nature, 391(6669):756, (1998)）では、被検者に提示する視野の中にゴム製の義手を置き、視野から隠された場所にある被験者の実際の手を触るのと同じタイミングで、ゴム製の義手にも触れるという事前の訓練を行うと、脳の錯覚によりゴム製の義手が触られている視覚情報だけでも自分が接触されたような感覚（RHI：Rubber Hand Illusion)を生じることが記載されている。なお、これと類似した一連の現象は、身体感覚の転移、または、身体所有感などと呼ばれ、近年きわめて熱心に研究されるようになっている。
　また、論文２（Slater M., Spanlang B., Sanchez-Vives M.V., and Blanke O.: “First Person Experience of Body Transfer in Virtual Reality," PLoS ONE, 5(5):e10564, (2010)）では第一人称視点だけでなく第三人称視点でも身体所有感が得られることが記載されている。
　また、論文３（Peck T.C., Seinfeld S., Aglioti S.M., and Slater M.: "Putting yourself in the skin of a black avatar reduces implicit racial bias", Consciousness and cognition, 22（3）:779-787, (2013)）では表示されるアバターの肌の色の違いなどに関わらず身体所有感が得られることが記載されている。
　また、論文４（Kondo R., Sugimoto M., Minamizawa K., Hoshi T., Inami M., and Kitazaki M.: "Illusory body ownership of an invisible body interpolated between virtual hands and feet via visual-motor synchronicity", Scientific reports, 8:7541, (2018)）では手と足先だけが被検者の動きと同期して表示され、その間をつなぐべき人体があたかも透明人間のように何も表示されない場合ですら、その透明な部分に身体所有感が得られるという事実が示されている。
　一方、論文５（Pavani F.: "Visual capture of touch : Out-of-the-body experiences with rubber gloves", Psychological Science, 11(5):353-359, (2000)）では、置かれた義手の角度と、現実の手が見えるべき角度の差が少ないほうが、身体所有の感覚が強くなることが述べられている。すなわち、人間の認知上の自然の性質として、仮想空間内での主人公の身体の表示は、できる限り現実空間内でのユーザの身体が置かれている位置と近い方が身体感覚の転移が起きやすく、したがって没入感も得やすい傾向があることが示唆される。
　すなわち、本実施形態は、人間の脳の認知機構が自然に有しているこれらの科学的性質に立脚した上で、仮想現実に関わる多くのコンテンツが共有している諸性質にも注目することにより、例えば、図８に示す状況に対して、技術的な解決手段を提供しようとするものである。
　また、本実施形態では、ユーザ９０の頭部の動きから検出し、視線の調整に用いられている３つの角度（θｒ，θｙ，θｐ）のうち、ピッチ角θｐに特に注目するという点が特徴である。すなわち、第一人称視点の主人公役としてのアバターの姿勢は、物語の進行に応じて様々に変化する可能性があるが、人間の眼が自分の体を視野内に捉えているとき、首をかしげていること（ロール軸方向の動き）や、左右に振り返ること（ヨー軸方向の動き）は相対的に稀な事象である。主人公は首をかしげておらず、興味をもつべき対象に対して左右にずれずにほぼ正面を向いていることを仮定しても、多くの場合には問題が生じない。
　視野内に映る自分の身体は、多くの場合は視野の正面中心付近にあり、自分の肩幅の中で存在していることを多くの場合には期待できる。このとき、顎の上げ下げ（ピッチ軸方向の動き）によって、その見え方は大きく変わる。人間の諸動作、例えば、立つ、座る、屈む、横たわるなどの動作に応じて、自らの身体の視野内での形は変わるが、それらの変化は主にピッチ角の調整により近似的に合わせることができる。
　そこで、本開示では、ユーザの頭部の動きを感知するセンサからのロール角θｒ、ヨー角θｙ、ピッチ角θｐに基づく視線移動を検出するＨＭＤ動き検出部１４に加えて、特に視線の上下方向の変化を司るピッチ角に関して、ユーザ９０の意図に基づく強制移動（ピッチアップ、ピッチダウン）を可能とするためのピッチ角修正量設定部１１を設けることで、第一人称視点の主人公のとしてのアバターの身体表現とユーザの現実の姿勢の齟齬を減少することができる。
　人間の脳は大きな調整能力を持つために、四肢の位置の大まかな重ね合わせを調整するだけでも、没入感を保てるだけの大きな心理的効果を得られることが期待される。このため本実施形態は、第一人称視点の主人公役であるアバターの身体と、現実のユーザ９０の身体の姿勢の大まかな位置合わせを、操作デバイス５０によって実施し、ユーザ９０がその自らの意図に応じて操作デバイス５０を操作することで、より没入感が高い仮想空間を提供することができる。
　図１３は、本開示の実施形態において実行される処理の一例を説明するためのフローチャートである。以下では、図１３に示すフローチャートを参照して、本開示の詳細な動作について説明する。図１３に示すフローチャートの処理が開始されると、以下のステップが実行される。
　ステップＳ１０では、情報処理装置１０のＨＭＤ動き検出部１４は、ＨＭＤ３０の加速度センサ３４の出力を参照して、ＨＭＤ３０の初期位置を検出する。すなわち、ＨＭＤ３０の３軸方向の初期位置として、例えば、初期ロール角θｒ０、初期ヨー角θｙ０、および、初期ピッチ角θｐ０を検出する。例えば、θｒ０＝０、θｙ０＝０、および、θｐ０＝０である場合には、描画の基準となるロール角θｒ、ヨー角θｙ、および、ピッチ角θｐは、それぞれ、θｒ＝０、θｙ＝０、および、θｐ＝０に設定される。なお、加速度センサ３４の出力ではなく、ＨＭＤ３０に設けられたＬＥＤ３５を点灯させ、これらをマーカとして、画像認識によって初期位置を検出するようにしてもよい。
　ステップＳ１１では、ピッチ角修正量設定部１１は、ピッチ角修正量θｐｃの初期値として“０”を代入する。
　ステップＳ１２では、アバター生成部１５は、ステップＳ１０で検出した初期位置としてのロール角θｒ、ヨー角θｙ、および、ピッチ角θｐに基づいて、ユーザ９０のアバター画像を生成する処理を実行する。例えば、図７の例では、アバター生成部１５は、ユーザ９０のアバターの体の一部に装着されるフィン１００の画像を生成する。
　ステップＳ１３では、ＶＲ空間画像生成部１３は、ステップＳ１０で検出した初期位置としてのロール角θｒ、ヨー角θｙ、および、ピッチ角θｐに基づいて、ＶＲ空間画像を生成する処理を実行する。例えば、図７の例では、海中の環境を示す画像を生成するとともに、ステップＳ１２で生成したアバター画像を重畳して、ＶＲ空間画を生成する。
　ステップＳ１４では、ＶＲ空間画像生成部１３は、ステップＳ１３で生成したＶＲ空間画像をＨＭＤ３０に対して出力する。この結果、ＨＭＤ３０では、例えば、通信部３６がＶＲ空間画像を受信し、プロセッサ３１に供給する。プロセッサ３１は、通信部３６から供給されるＶＲ空間画像をディスプレイ３３に表示する。
　ステップＳ１５では、ＨＭＤ動き検出部１４は、ＨＭＤ３０の加速度センサ３４から供給される情報を参照して、ＨＭＤ３０の位置を検出する。より詳細には、ＨＭＤ動き検出部１４は、図５に示すロール軸方向、ヨー軸方向、および、ピッチ軸方向の動きを検出する。
　ステップＳ１６では、ピッチ角修正量設定部１１は、入力部１２から入力される情報を参照し、操作デバイス５０の操作部５０３に対して、ピッチアップまたはピッチダウンの操作がされたか否かを判定し、操作がされたと判定した場合（ステップＳ１６：Ｙ）にはステップＳ１７に進み、それ以外の場合（ステップＳ１６：Ｎ）にはステップＳ１８に進む。例えば、操作部５０３がユーザの親指等によって回転された場合にはＹと判定してステップＳ１７に進む。
　ステップＳ１７では、ピッチ角修正量設定部１１は、ステップＳ１６で検出した操作デバイス５０の操作部５０３に対する操作量に応じてピッチ角修正量θｐｃを更新する処理を実行する。例えば、図９の例では、一例として、操作部５０３の操作量に応じた“－３５度”が入力されるので、ピッチ角修正量θｐｃ＝－３５に設定される。操作部５０３の操作量からピッチ角修正量θｐｃへの変換については、例えば、システムのオプション画面等でその感度を調整できることが望ましい。
　ステップＳ１８では、ＶＲ空間画像生成部１３は、ステップＳ１７において更新されたピッチ角修正量に応じてピッチ角を修正する処理を実行する。例えば、前述した図９の例では、ピッチ角修正量θｐｃ＝－３５であるので、ＶＲ空間画像生成部１３は、ピッチ角θｐを－３５度修正する処理（θｐ←θｐ＋θｐｃとする処理）を実行する。
　ステップＳ１９では、アバター生成部１５は、ステップＳ１８で修正されたピッチ角に基づいて、ユーザ９０のアバター画像を生成する処理を実行する。例えば、前述した図９の例では、アバター生成部１５は、ステップＳ１８で修正されたピッチ角θｐに基づいて、ユーザ９０のアバターの体の一部に装着されるフィン１００の画像を生成する。
　ステップＳ２０では、ＶＲ空間画像生成部１３は、ＶＲ空間画像を生成する処理を実行する。例えば、前述した図９の例では、ステップＳ１８で修正されたピッチ角θｐに基づいて、海中の環境を示す画像を生成するとともに、鮫１１０の画像を生成する。そして、これらの画像に対して、ステップＳ１２で生成したアバター画像を重畳して、ＶＲ空間画を生成する。
　ステップＳ２１では、ＶＲ空間画像生成部１３は、ステップＳ２０で生成したＶＲ空間画像をＨＭＤ３０に対して出力する。この結果、ＨＭＤ３０では、例えば、通信部３６がＶＲ空間画像を受信し、プロセッサ３１に供給する。プロセッサ３１は、通信部３６から供給されるＶＲ空間画像をディスプレイ３３に表示する。この結果、図９に示すように、アバター画像であるフィン１００と、鮫１１０の位置が適切に調整されたＶＲ空間画像がＨＭＤ３０のディスプレイ３３に表示される。前述したように、人間の脳はＶＲ空間内の主人公役と自己との間で身体感覚の転移を起こし、身体所有感を持つことが知られている。その時、仮想空間上で提供される主人公の身体に関する視覚的表現が、自分の身体が本来あるべき位置と近ければ近いほどその感覚を得やすいという性質がある。このため、ピッチ角θｐを修正することで、例えば、図９の例では、フィン１００に対する身体所有感を強めることができる。これにより、鮫１１０の攻撃を自身に対する攻撃と強く認識することができるため、ＶＲ空間への没入感を高めることができる。
　ステップＳ２２では、ＶＲ空間画像生成部１３は、処理を終了するか否かを判定し、処理を終了すると判定した場合（ステップＳ２２：Ｙ）には処理を終了し、それ以外の場合（ステップＳ２２：Ｎ）にはステップＳ１５に戻って前述の場合と同様の処理を繰り返す。
　以上の処理によれば、例えば、図８に示すように、アバター画像の一部であるフィン１００の位置と、ユーザ９０の足の位置とが一致していない場合には、操作デバイス５０の操作部５０３を操作することでピッチ角θｐを修正し、図９に示すように、これらを一致させることで、ＶＲ空間への没入感を高めることができる。
　具体的には、情報処理装置１０は、主人公役の身体の一部の表示位置と、対応するユーザ９０の身体の一部の位置との間の乖離を抑制するように、アバターを含むＶＲ空間画像のピッチ方向の角度を修正する。そして、情報処理装置１０は、ピッチ方向の角度が修正されたＶＲ空間画像をディスプレイに提示する。主人公役の身体の一部の表示位置と、対応するユーザ９０の身体の一部の位置との間の乖離が抑制されることにより、ユーザ９０の没入感が高まる。このため、情報処理装置１０の処理により、ユーザ９０の没入感を高めることを支援する、という技術的効果が奏される。より詳細には、情報処理装置１０の構成により、上記文献１～５に開示されているような没入感をユーザ９０は得ることができる。
　従来のＶＲ技術では、ユーザが頭部に装着するＨＭＤの動きに応じてＶＲ空間画像を修正することが最も重要な目的となっていた。なお、ＶＲ空間内の自由度（Degrees of freedom : DoF）を実現する機構として、３自由度を実現する機構（ユーザの頭部のピッチ角、ヨー角、及びロール角の変化のみがＶＲ空間画像へ反映される機構）と、６自由度（ユーザの頭部の平行移動もＶＲ空間画像へ反映される機構）を実現する機構とが存在する。
　いずれの機構も、あくまでもユーザの「頭部」の動きを検知してＶＲ空間画像に反映することが主たる目的であり、ユーザの頭部以外の身体の動きについては、初期のＶＲ技術においては取り扱われていなかった。この理由は、ＶＲ技術の発展史の初期において、飛行機の操縦又は自動車の運転のように、ユーザが座席に着座するなどの標準的姿勢を取りながら視聴及び操作することが想定されていた点が大きく影響している。このような場合には、ＶＲのコンテンツ制作者が想定するユーザの姿勢と、実際のユーザの物理的姿勢との間の齟齬が小さい。
　これに対し、今後のＶＲ技術では、ユーザが寝たきりの姿勢である場合又はユーザがリラックスした姿勢である等、あらゆる姿勢にも対応することが求められる。
　さらに、従来のＶＲ技術として、ユーザの四肢等の運動をＶＲ空間画像へ反映させる技術が存在する。例えば、ユーザが操作用デバイスを片手又は両手に握り、操作デバイスの位置又は運動をセンサ群又は外部カメラ等によって検出することにより、ユーザの四肢の状態をＶＲ空間画像へ反映させることができる。
　この場合、例えば、操作用デバイスをテニスのラケットのような運動器具又は格闘用の武器に見立てるとともに、センサ等により検出された情報に従って動的にユーザの身体及び器具等の画像表現を生成する機構を設けることにより、ＶＲ空間画像において自然な表示がなされる。
　しかし、この場合も、ＶＲのコンテンツ制作者が想定するユーザの姿勢と、実際のユーザの物理的な姿勢とはおおよそ一致していることが前提であり、あくまでもユーザの腕等の位置をＶＲ空間画像へ反映せることが目的であった。
　このような技術の延長線上において、ＶＲ空間画像内の主人公役であるアバターの姿勢と、ユーザの物理的な姿勢とを一致させようとする場合、ユーザの四肢又は体幹等の表現の対象の全ての身体位置にセンサ群を準備する等の必要がある。さらに、それらの情報を統合してＶＲ空間画像を動的に生成するための複雑な機構が必要となる。このような機構を実現するためのコストは高く、利用のための装着や設置などの準備も煩雑となる。
　これに対し、本開示の情報処理装置１０は、上記のような複雑かつ高価な機構を必要とすることなく、ユーザに対して深い没入感を与えることができる。
　さらに、本開示の情報処理装置１０における基本的なアイデアは、ユーザの視野内に表示される主人公役であるアバターの身体と、実際のユーザの物理的な身体との間の齟齬は「ピッチ角のずれが最も主要な原因となる」という事実に着目する点である。
　ユーザが頭部を正面に向けた状態である場合、ユーザ自らの両腕又は両脚は視野内の下方に位置する。このため、ユーザが特殊な姿勢を取っていない限りは、ピッチ角を修正することにより、ＶＲ空間画像内のアバターと実際のユーザとの間の姿勢の齟齬の大半を解消することができる。これにより、ユーザに対して没入感を与えることができる。
　また、本開示の情報処理装置１０では、人間の脳にはラバーハンド錯覚等として知られる柔軟な認知機能についても考慮されている。ユーザの視野内において、自らの身体部分が存在すべき角度に近接して、その代替となる偽の画像表現が提示されると、その画像表現に対して強い身体所有感が得られることが学術的研究の成果から明らかにされている。このため、ユーザの四肢の位置等を正確に再現しなくとも、ピッチ角を調整することにより、おおよそ正しい位置に代替となる画像表現を提示することで、ユーザに対して没入感を与えることができる。
　さらに、本開示の情報処理装置１０は、現在までの技術的潮流の延長線上に考えられる複雑な姿勢判定機構又は動的画像表現機構を用いていない。本開示の情報処理装置１０は、人間の脳が持つ柔軟な認知機構の性質を最大限に活かしつつ簡易な構成を採用することにより、ユーザに対して充分な心理的効果を与えることができる。この性質により、本開示の情報処理装置１０によれば、ＶＲ製品を安価に製造及び提供することできる。
　さらに、本開示の情報処理装置１０によれば、ユーザは特殊な器具の装着又は外部カメラ等の設置等をする必要がないため、ユーザによる準備作業及び起動操作等を著しく簡潔にすることが可能となる。
　また、本開示の情報処理装置１０は、予め撮影された実写の映像等、身体表現の動的画像修正が不可能な対象にも適用可能である。
（Ｃ）変形実施形態の説明
　以上の実施形態は一例であって、本開示が上述したような場合のみに限定されるものでないことはいうまでもない。例えば、前述した実施形態では、図５に示すような操作デバイス５０を用いる場合を例に挙げて説明したが、例えば、図１４または図１５に示す操作デバイス５０Ａ，５０Ｂを用いるようにしてもよい。図１４は、レバー型の操作部５０３Ａを有する操作デバイス５０Ａの例である。すなわち、図１４の例では、操作部５０３Ａをユーザ９０の親指等で操作することにより、ピッチ角を修正することができる。なお、操作部５０３Ａを連続して操作した場合には、操作部５０３Ａの操作量（傾き）に応じた所定の速度（例えば、最大限操作した場合には５度／秒）でピッチ角が変化するようにできる。
　図１５は、ボタン型の操作部５０３Ｂ，５０３Ｃを有する操作デバイス５０Ｂの構成例である。すなわち、図１５の構成例では、ピッチアップする場合には操作部５０３Ｂを操作し、ピッチダウンする場合には操作部５０３Ｃを操作することで所望の角度に調整することができる。なお、操作部５０３Ｂ，５０３Ｃを連続して操作した場合には、所定の速度（例えば、５度／秒）でピッチ角が変化するようにできる。なお、図５、図１４、および、図１５に示す操作デバイスでは、前後方向をピッチ角と対応させて調整を行うようにしたが、ユーザの上下方向とピッチ角とを対応させて調整を行うようにしてもよい。
　また、ＶＲ空間への没入感の喪失を避けるためには、前述した操作デバイス５０，５０Ａ，５０Ｂを用いることが望ましいが、システムの構成を簡易化する等の目的で操作デバイスを使用しない場合には、代替手段としてＶＲ空間内に、例えば、図１６に示すような操作画面を表示し、この操作画面からピッチ角修正量の入力を受けるようにしてもよい。
　より詳細には、ＨＭＤ３０または情報処理装置１０に付属されている、ＶＲ空間内のオブジェクトを操作または指定するためのポインティングデバイスを利用し、図１６に示す操作画面を操作するようにしてもよい。
　図１６の表示例では、画面の左右端の一定の幅の帯内（以下、「ゲージ表示領域」と称する）をポインティングデバイスでクリックすることで、ピッチ角調整ゲージが一定時間（例えば１０秒間）表示され、さらにそのゲージ上の一点をクリックすることで、ピッチ量（増減量）を指定できるようにする。ゲージの上方がピッチアップ、下方がピッチダウンとすることが望ましい。ゲージの数直線が表現するピッチ量は、例えば、プラス４５度（ピッチアップ）からマイナス４５度（ピッチダウン）の範囲とすることが考えられる。
　図１６の場合も、操作デバイス５０の場合と同様に、システムのオプション画面で感度（ゲージが表すピッチ角修正量の大きさ）を調整できることが望ましい。ゲージ上の一点がクリックされた際には、ピッチ角調整を反映した後に、再度同じ時間（前述の例では１０秒間）ゲージの表示とクリックの受け付けを継続する。これにより、ユーザがピッチ角調整を何度か繰り返して、好適な角度に微調整をすることが可能となる。
　ピッチ角調整ゲージは、仮想空間の明暗に影響されないよう、非透過色で描画されることが好ましい。また標準的には左右両端にゲージ表示領域を設けるが、オプション設定により、左右片側だけにしか設置しないことも、ユーザの好みにより選択できることが望ましい。また、ピッチ角調整ゲージの範囲外の一点をクリックした場合でも有効な入力として取り扱い、ピッチ角調整を行うようにすることもできる。これにより、仮想空間内で興味のあるオブジェクトをクリックし、それが視線正面になるようにピッチ角を調整することが可能となる。
　図１７は、図１６に示す表示画面に基づいて、ピッチ角修正量を設定するためのフローチャートの一例である。なお、図１７において、図１３に示すフローチャートと対応する部分には同一の符号を付してその説明を省略する。図１７では、図１３と比較すると、ステップＳ１６が除外され、ステップＳ３０～Ｓ３２が新たに追加されている。このため、以下では、ステップＳ３０～Ｓ３２を中心に説明する。
　ステップＳ３０では、ピッチ角修正量設定部１１は、ポインティングデバイスによってＶＲ空間の一点が指定されたか否かを判定し、指定されたと判定した場合（ステップＳ３０：Ｙ）にはステップＳ３１に進み、それ以外の場合（ステップＳ３０：Ｎ）にはステップＳ１８に進む。例えば、図１６において、画面の左右端のゲージ表示領域がポインティングデバイスでクリックされた後、ゲージ上の一点がクリックされた場合には、Ｙと判定してステップＳ３１に進む。
　ステップＳ３１では、ピッチ角修正量設定部１１は、クリックされた点を特定する。例えば、図１６において、ポインティングデバイスによりクリックされたゲージ上の一点を特定する。
　ステップＳ３２では、ピッチ角修正量設定部１１は、指定された点からピッチ角修正量θｐｃを算出する。例えば、図１６において、ポインティングデバイスによりクリックされたゲージ上の一点の位置からピッチ角修正量θｐｃを算出する。
　ステップＳ１７では、ピッチ角修正量設定部１１は、ステップＳ３２で算出したピッチ角修正量θｐｃによって、既存のピッチ角修正量θｐｃを更新する。
　以上の処理により、図１６に示す表示画面を用いてピッチ角修正量を更新することができる。このような変形実施形態によれば、新たな操作デバイスを追加することなく、既存のポインティングデバイスを利用してピッチ角修正量を設定することができる。
　また、以上の実施形態では、ピッチ角修正量は、ユーザがマニュアル操作で入力するようにしたが、制作者等の意図に基づき、提示するアバターの姿勢が変化する場合には、自動的に調整するようにしてもよい。具体的には、ＶＲ空間画像を生成するデータの中に、アバターの姿勢を示す情報を格納しておき、アバターの姿勢を示す情報に基づいて、ピッチ角修正量を自動的に更新するようにしてもよい。
　図１８は、このような処理を実現するためのフローチャートである。なお、図１８において、図１３と対応する部分には同一の符号を付してその説明を省略する。図１８では、図１３と比較すると、ステップＳ５０およびステップＳ５１の処理が追加されている。これら以外は、図１３と同様であるので、以下では、ステップＳ５０およびステップＳ５１の処理を中心に説明する。なお、以下の処理を実現するためには、前提として、ＶＲ空間画像を生成するデータに対して、例えば、アバターの姿勢に対応したピッチ角修正量を予め埋め込んでおく必要がある。
　ステップＳ５０では、ピッチ角修正量設定部１１は、現在提示されているＶＲ空間画像のシーンに対応するピッチ角修正量θｐｃを、例えば、ＶＲ空間画像生成部１３から取得する。例えば、当該シーンにおいて提示されるアバターの姿勢に応じて、ＶＲ空間画像を生成するためのデータに予め埋め込まれているピッチ角修正量θｐｃを取得する。ＶＲ空間画像のシーンが変化して、制作者等の意図に基づき、アバターの姿勢が変化する場合には、ピッチ角修正量θｐｃが変化する。このため、ピッチ角修正量θｐｃが変化した場合には、新たなピッチ角修正量θｐｃが、例えば、ＶＲ空間画像生成部１３またはアバター生成部１５から取得される。
　ステップＳ５１では、ピッチ角修正量設定部１１は、ステップＳ５０で取得されたピッチ角修正量θｐｃによって既存のピッチ角修正量θｐｃを更新する。例えば、直前のシーンのピッチ角修正量がθｐｃ１であり、新たなシーンのピッチ角修正量がθｐｃ２である場合、ピッチ角修正量θｐｃ２を新たに設定する。
　ステップＳ１６およびステップＳ１７では、例えば、前述した操作デバイス５０の操作に応じてピッチ角修正量が設定される。なお、ステップＳ１７では、ステップＳ５１で更新されたピッチ角修正量θｐｃに対して、操作デバイス５０の操作に応じた値を増減することで、ピッチ角修正量θｐｃを設定することができる。
　以上の処理によれば、シーンが変化する毎に、自動的にピッチ角を修正できるので、ユーザ９０がマニュアル操作でピッチ角修正量を設定する手間をおおよそ省略でき、ユーザ９０は操作デバイス５０の操作で微修正のみを行えば良いようにできる。
　具体的には、情報処理装置１０は、シーンが変化する毎に自動的にピッチ角を修正し、ピッチ角の修正がされたＶＲ空間画像をディスプレイに提示する。ピッチ角修正量は予め設定されているため、自動的にピッチ角が修正される。これにより、ユーザ９０がマニュアル操作でピッチ角修正量を設定する手間が省略される。このため、情報処理装置１０の処理により、ユーザ９０がマニュアル操作でピッチ角修正量を設定する手間の省略を支援する、という技術的効果が奏される。
　なお、以上に示す実施形態では、ＶＲ空間画像をコンピュータグラフィックスによって描画する場合を例に挙げて説明したが、本開示は、コンピューグラフィックスに限定されるものではなく、例えば、全天周映像を撮像できるカメラで撮像した実写画像を用いるようにしてもよい。すなわち、イメージベースレンダリングまたはイメージベースモデリングに対して、本開示を適用するようにしてもよい。なお、実写画像を用いる場合には、実写画像にアバターが含まれるので、その場合には、図２に示す構成から、アバター生成部１５を除外することができる。もちろん、全天周（３６０°）映像ではなく、１８０°映像を用いるようにしてもよい。
　また、図１８に示す変形実施形態では、ＶＲ空間画像を生成するデータに対して、シーンに応じたピッチ角修正量を埋め込むようにしたが、例えば、提示するＶＲ空間画像が、コンピュータグラフィックスではなく、撮影された画像の場合には、画像に含まれる主人公の画像のピッチ角修正量を埋め込むのではなく、図３に示す構成に画像解析処理部を追加し、画像解析処理部による解析処理によって、適切なピッチ角修正量を画像から特定し、特定されたピッチ角修正量を設定するようにしてもよい。
　また、以上の実施形態では、図１３等に示す処理が、情報処理装置１０で実行されるようにしたが、情報処理装置１０の構成をＨＭＤ３０に組み込み、図１３等に示す処理を、ＨＭＤ３０で実行するようにしてもよい。
　また、図１に示す構成例では、ネットワーク７０およびサーバを有するようにしたが、ネットワーク７０を含まない構成としてもよい。また、サーバに格納される情報を、情報処理装置１０またはＨＭＤ３０に格納するようにしてもよい。
　また、以上の実施形態では、ピッチ角を調整するようにしたが、必要に応じて、ヨー角およびロール角を調整できるようにしてもよい。
　なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記各実施形態では、プログラムがストレージに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　また、本実施形態の各処理を、汎用演算処理装置及び記憶装置等を備えたコンピュータ又はサーバ等により構成して、各処理がプログラムによって実行されるものとしてもよい。このプログラムは記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現してもよい。
　なお、本実施形態は、上述した各実施形態に限定されるものではなく、各実施形態の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　２０１９年３月３１日に出願された日本国特許出願２０１９‐０６９５６８号の開示は、その全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (15)

  1. 　ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理装置において、
    　前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段と、
    　前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段と、
    　前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段と、
    　前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正手段と、
    　前記修正手段によってピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示手段と、
    　を有することを特徴とする情報処理装置。
  2. 　前記第２入力手段から入力された前記修正情報を記憶する記憶手段を有し、
    　前記修正手段は、前記記憶手段に記憶された前記修正情報に基づいて前記仮想空間のピッチ方向の角度を修正する、
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記修正手段は、ピッチ方向の修正角度を新たに指定する場合には、前記記憶手段に記憶されている前記修正情報の前回値を初期値として、前記仮想空間のピッチ方向の角度の修正値を指定することを特徴とする請求項２に記載の情報処理装置。
  4. 　前記デバイスは、前記ユーザの前後方向または上下方向に対応する方向に関する操作が可能な操作部を有し、
    　前記修正手段は、前記操作部の前記前後方向または上下方向に対応する方向に関する操作量を参照して、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、
    　ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
  5. 　前記デバイスは、前記仮想空間内の少なくとも１点を指定可能であり、
    　前記修正手段は、前記デバイスによって指定された位置を参照し、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、
    　ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
  6. 　前記仮想空間における前記身体画像のピッチ方向の角度を取得する取得手段を有し、
    　前記修正手段は、前記取得手段によって取得されたピッチ方向の角度を参照して、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、
    　ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
  7. 　前記修正手段は、前記第２入力手段から入力された前記修正情報に基づいて、ピッチ方向の角度の修正量を示すゲージを前記仮想空間の一部に表示することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
  8. 　ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理方法において、
    　前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力ステップと、
    　前記第１入力ステップにおいて入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成ステップと、
    　前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力ステップと、
    　前記第２入力ステップにおいて入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正ステップと、
    　前記修正ステップにおいてピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示ステップと、
    　を有することを特徴とする情報処理方法。
  9. 　ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理をコンピュータに機能させる前記コンピュータが読み取り可能なプログラムにおいて、
    　前記コンピュータを、
    　前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段、
    　前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段、
    　前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段、
    　前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正手段、
    　前記修正手段によってピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示手段、
    　として機能させることを特徴とするプログラム。
  10. 　ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理装置において、
    　前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段と、
    　前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段と、
    　前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示手段と、
    　前記提示手段によって前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段と、
    　前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正手段と、を有し、
    　前記提示手段は、前記修正手段によってピッチ方向の角度が修正された前記身体画像を含む前記仮想空間を前記ディスプレイに提示する、
    　ことを特徴とする情報処理装置。
  11. 　ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理方法において、
    　前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力ステップと、
    　前記第１入力ステップにおいて入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成ステップと、
    　前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示ステップと、
    　前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力ステップと、
    　前記第２入力ステップにおいて入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正ステップと、を有し、
    　前記提示ステップでは、前記修正ステップにおいてピッチ方向の角度が修正された前記身体画像を含む前記仮想空間が前記ディスプレイに提示される、
    　ことを特徴とする情報処理方法。
  12. 　ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理をコンピュータに機能させる前記コンピュータが読み取り可能なプログラムにおいて、
    　前記コンピュータを、
    　前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段、
    　前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段、
    　前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示手段、
    　前記提示手段によって前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段、及び
    　前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正手段として機能させるためのプログラムであって、
    　前記提示手段は、前記修正手段によってピッチ方向の角度が修正された前記身体画像を含む前記仮想空間を前記ディスプレイに提示する、
    　ことを特徴とするプログラム。
  13. 　ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理装置において、
    　前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する入力手段と、
    　前記入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段と、
    　前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示手段と、
    　前記提示手段によって前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する修正情報を取得し、前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正手段と、を有し、
    　前記提示手段は、前記修正手段によってピッチ方向の角度が修正された前記身体画像を含む前記仮想空間を前記ディスプレイに提示する、
    　ことを特徴とする情報処理装置。
  14. 　ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理方法において、
    　前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する入力ステップと、
    　前記入力ステップにおいて入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成ステップと、
    　前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示ステップと、
    　前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する修正情報を取得し、前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正ステップと、を有し、
    　前記提示ステップでは、前記修正ステップにおいてピッチ方向の角度が修正された前記身体画像を含む前記仮想空間が前記ディスプレイに提示される、
    　ことを特徴とする情報処理方法。
  15. 　ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理をコンピュータに機能させる前記コンピュータが読み取り可能なプログラムにおいて、
    　前記コンピュータを、
    　前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する入力手段、
    　前記入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段、
    　前記身体画像を含む前記仮想空間を前記ディスプレイに提示する提示手段、及び
    　前記提示手段によって前記身体画像を含む前記仮想空間が前記ディスプレイに提示されているときに、前記ユーザの頭部のピッチ方向の角度を修正する修正情報を取得し、前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際の、前記身体画像の表示位置と前記ユーザの身体の一部の位置との乖離が抑制されるように、前記身体画像を含む前記仮想空間のピッチ方向の角度を修正する修正手段として機能させるためのプログラムであって、
    　前記提示手段は、前記修正手段によってピッチ方向の角度が修正された前記身体画像を含む前記仮想空間を前記ディスプレイに提示する、
    　ことを特徴とするプログラム。
PCT/JP2020/014271 2019-03-31 2020-03-27 情報処理装置、情報処理方法、および、プログラム WO2020203870A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20782586.0A EP3951723A4 (en) 2019-03-31 2020-03-27 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN202080024549.8A CN113767425A (zh) 2019-03-31 2020-03-27 信息处理装置、信息处理方法及程序
US17/486,452 US11880502B2 (en) 2019-03-31 2021-09-27 Information processing device, information processing method, and non-transitory computer readable storage medium storing an information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019069568A JP6664778B1 (ja) 2019-03-31 2019-03-31 情報処理装置、情報処理方法、および、プログラム
JP2019-069568 2019-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/486,452 Continuation US11880502B2 (en) 2019-03-31 2021-09-27 Information processing device, information processing method, and non-transitory computer readable storage medium storing an information processing program

Publications (1)

Publication Number Publication Date
WO2020203870A1 true WO2020203870A1 (ja) 2020-10-08

Family

ID=70000406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014271 WO2020203870A1 (ja) 2019-03-31 2020-03-27 情報処理装置、情報処理方法、および、プログラム

Country Status (5)

Country Link
US (1) US11880502B2 (ja)
EP (1) EP3951723A4 (ja)
JP (1) JP6664778B1 (ja)
CN (1) CN113767425A (ja)
WO (1) WO2020203870A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6664778B1 (ja) * 2019-03-31 2020-03-13 アヘッド・バイオコンピューティング株式会社 情報処理装置、情報処理方法、および、プログラム
CN113407084B (zh) * 2021-06-24 2022-05-17 杭州灵伴科技有限公司 展示内容更新方法、头戴式显示设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004150900A (ja) 2002-10-29 2004-05-27 Japan Aviation Electronics Industry Ltd 姿勢角検出装置および取付け角度補正量取得方法
JP2018010486A (ja) * 2016-07-13 2018-01-18 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2019069568A (ja) 2017-10-10 2019-05-09 ブラザー工業株式会社 液体排出装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10334274A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
JP6465672B2 (ja) * 2015-01-29 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6775957B2 (ja) * 2016-01-29 2020-10-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6246310B1 (ja) * 2016-12-22 2017-12-13 株式会社コロプラ 仮想空間を提供するための方法、プログラム、および、装置
JP6298523B1 (ja) * 2016-12-26 2018-03-20 株式会社コロプラ 仮想空間を介して通信するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるためのプログラム、およびコンピュータ装置
JP6266814B1 (ja) * 2017-01-27 2018-01-24 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US10969861B2 (en) * 2017-02-23 2021-04-06 Sony Corporation Image processing device, image processing method, and image system
US10365784B2 (en) * 2017-03-08 2019-07-30 Colopl, Inc. Information processing method and apparatus for executing the information processing method
JP6257825B1 (ja) * 2017-05-26 2018-01-10 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6330089B1 (ja) * 2017-06-30 2018-05-23 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法
JP2018147465A (ja) * 2017-12-15 2018-09-20 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6664778B1 (ja) * 2019-03-31 2020-03-13 アヘッド・バイオコンピューティング株式会社 情報処理装置、情報処理方法、および、プログラム
US10701316B1 (en) * 2019-10-10 2020-06-30 Facebook Technologies, Llc Gesture-triggered overlay elements for video conferencing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004150900A (ja) 2002-10-29 2004-05-27 Japan Aviation Electronics Industry Ltd 姿勢角検出装置および取付け角度補正量取得方法
JP2018010486A (ja) * 2016-07-13 2018-01-18 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2019069568A (ja) 2017-10-10 2019-05-09 ブラザー工業株式会社 液体排出装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
F. PAVANI: "Visual capture of touch: out-of-the-body experiences with rubber gloves", PSYCHOLOGICAL SCIENCE, vol. 11, no. 5, 2000, pages 353 - 359
M. BOTVINICKJ. COHEN: "Rubber hands 'feel' touch that eyes see", NATURE, vol. 391, no. 6669, 1998, pages 756
M. SLATERB. SPANLANGM. V SANCHEZ-VIVESO. BLANKE: "First Person Experience of Body Transfer in Virtual Reality", PLS ONE, vol. 5, no. 5, 2010, pages e10564, XP055236839, DOI: 10.1371/journal.pone.0010564
See also references of EP3951723A4
T. C. PECKS. SEINFELDS. M. AGLIOTIM. SLATER: "Putting yourself in the skin of a black avatar reduces implicit racial bias", CONSCIOUSNESS AND COGNITION, vol. 22, no. 3, 2013, pages 779 - 787

Also Published As

Publication number Publication date
EP3951723A4 (en) 2022-12-28
JP2020170207A (ja) 2020-10-15
JP6664778B1 (ja) 2020-03-13
CN113767425A (zh) 2021-12-07
US11880502B2 (en) 2024-01-23
US20220011857A1 (en) 2022-01-13
EP3951723A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
JP6646620B2 (ja) 広範囲同時遠隔ディジタル提示世界
US10223064B2 (en) Method for providing virtual space, program and apparatus therefor
US10313481B2 (en) Information processing method and system for executing the information method
US20190018479A1 (en) Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space
JP4083684B2 (ja) 画像処理システムおよび画像処理装置
JP2010257461A (ja) ネットワークゲーム用の共有ゲーム空間を創出する方法およびシステム
JP2010253277A (ja) ビデオゲームにおいてオブジェクトの動きを制御する方法およびシステム
US20180299948A1 (en) Method for communicating via virtual space and system for executing the method
US10216261B2 (en) Method of suppressing VR sickness, system for executing the method , and information processing device
US11880502B2 (en) Information processing device, information processing method, and non-transitory computer readable storage medium storing an information processing program
JP2011258159A (ja) プログラム、情報記憶媒体及び画像生成システム
WO2020039568A1 (ja) 画像生成装置および画像生成方法
JP7160669B2 (ja) プログラム、情報処理装置、および方法
WO2019087564A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111930223A (zh) 用于观看计算机生成的环境并与其互动的可移动显示器
US20180247454A1 (en) Unknown
US10564801B2 (en) Method for communicating via virtual space and information processing apparatus for executing the method
JP2023501079A (ja) 共有人工現実環境における同じ場所での姿勢推定
US20180253902A1 (en) Method executed on computer for providing object in virtual space, program for executing the method on the computer, and computer apparatus
US20200342621A1 (en) Information processing apparatus and device information derivation method
JP7305185B2 (ja) 情報処理装置、情報処理方法、および、プログラム
WO2020218182A1 (ja) 情報処理装置およびデバイス情報導出方法
JP7370198B2 (ja) 処理システム、情報処理装置、プログラム及び処理方法
JP6820299B2 (ja) プログラム、情報処理装置、および方法
JP2018129692A (ja) 頭部装着型表示装置及びシミュレーションシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20782586

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020782586

Country of ref document: EP

Effective date: 20211102