WO2019225354A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2019225354A1
WO2019225354A1 PCT/JP2019/018720 JP2019018720W WO2019225354A1 WO 2019225354 A1 WO2019225354 A1 WO 2019225354A1 JP 2019018720 W JP2019018720 W JP 2019018720W WO 2019225354 A1 WO2019225354 A1 WO 2019225354A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
information processing
user
processing apparatus
video
Prior art date
Application number
PCT/JP2019/018720
Other languages
English (en)
French (fr)
Inventor
石川　毅
惇一 清水
孝悌 清水
高橋　慧
安田　亮平
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980032291.3A priority Critical patent/CN112119451A/zh
Priority to JP2020521155A priority patent/JPWO2019225354A1/ja
Priority to EP19807859.4A priority patent/EP3799027A4/en
Priority to KR1020207031129A priority patent/KR20210011369A/ko
Priority to US17/056,135 priority patent/US20210314557A1/en
Publication of WO2019225354A1 publication Critical patent/WO2019225354A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program for displaying an image of which the display range changes according to the orientation of the user's head, such as a spherical image.
  • omnidirectional video is progressing in fields such as VR (virtual reality).
  • the omnidirectional video is shot by a shooting device capable of shooting around 360 ° and is disclosed on a website or the like.
  • These omnidirectional images may be images with no left-right parallax or stereo images with parallax that can be stereoscopically viewed.
  • the user can view such a spherical image using a head-mounted display (hereinafter referred to as HMD) or a simple HMD using a smartphone.
  • HMD head-mounted display
  • a simple HMD using a smartphone.
  • the rotation of the HMD is detected, and a part of the omnidirectional video is cut out and displayed on the display device according to the rotation (see, for example, Patent Document 1). ).
  • the omnidirectional video can be seen.
  • the user may feel uncomfortable with respect to the relationship between the user's sense of equilibrium in accordance with the user's movement in the real space and the change in the video.
  • the present disclosure provides an information processing apparatus, an information processing method, and a program that can suppress a user's uncomfortable feeling with respect to a change in video according to a user's operation.
  • An information processing apparatus includes a display control unit.
  • the display control unit has motion parallax corresponding to the change in the position of the user's head in a display space in which the position of the viewpoint is controlled substantially independently of the change in the position of the user's head. Control the display device to display the object.
  • an object having motion parallax corresponding to a change in the position of the user's head is displayed in the display space. For this reason, even when the position of the viewpoint of the display space does not substantially change with respect to the change of the position of the user's head, the user can suppress the discomfort with respect to the display space by visually recognizing the object having motion parallax. It is possible.
  • the display control unit may change the object from a non-display state to a display state according to a change in the position of the user's head.
  • the display control unit changes the state of the object from the display state to the non-display state when the position of the user's head is not substantially changed after the state of the object is changed to the display state. You may change to
  • the display control unit detects a translational movement of the user's head position as a change in the user's head position, and changes the display space with respect to the rotational movement of the user's head.
  • the display space may not be substantially changed with respect to the translational movement of the user's head.
  • the display control unit may change the object from a non-display state to a display state according to a change in the display space.
  • the display control unit may change the display space according to a change in the position of the viewpoint.
  • the change in the viewpoint position may correspond to the shaking of the camera that acquires the display space.
  • the object may be a user interface for operation.
  • the display control unit may localize the object in the display space.
  • the display control unit may fix the object within a predetermined distance from the viewpoint of the display space.
  • the display space may be an image wider than the user's field of view.
  • the display space may be a spherical image.
  • the display device may be a head mounted display.
  • the display control unit may generate the motion parallax based on an output of a six-degree-of-freedom sensor that detects rotation and movement of the head mounted display.
  • the display control unit includes the user's head in a display space in which the position of the viewpoint is substantially independently controlled with respect to a change in the position of the user's head.
  • the display device is controlled so as to display an object having motion parallax according to the change in position.
  • a program according to an embodiment of the present technology is responsive to a change in the position of the user's head in a display space in which the position of the viewpoint is controlled substantially independently of the change in the position of the user's head.
  • the information processing apparatus is caused to function as a display control unit that controls the display apparatus to display an object having motion parallax.
  • the present technology it is possible to provide an information processing apparatus, an information processing method, and a program that can suppress a user's uncomfortable feeling with respect to a change in display space according to a user's operation.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 is a schematic diagram of a video display system according to an embodiment of the present technology. It is a block diagram which shows the functional structure of the video display system. It is an example of the visual field image
  • the video display system includes a display device and an information processing device.
  • the information processing apparatus controls the position of the viewpoint in the display space (virtual space) substantially independently of the change in the position of the user's head.
  • the information processing apparatus controls a display device (HMD (Head-Mounted-Display)) that displays an object having motion parallax according to a change in the position of the user's head.
  • HMD Head-Mounted-Display
  • the video display system of the present disclosure may include various display devices configured to cover substantially the entire visual field of the user instead of the HMD.
  • the video display system may include a head mounted projector (Head Mounted Projector) that projects a virtual space in real space instead of the HMD.
  • the video display system may include a projector that is provided separately from the information processing apparatus and that projects a video of the virtual space in accordance with a user operation.
  • the position of the viewpoint of the omnidirectional video does not change, so the display video is not changed.
  • VR sickness is likely to occur because no visual feedback occurs in the movement of the user.
  • the video display system (information processing apparatus) according to the present disclosure solves the problem relating to the mismatch between the change in the display space and the sense of balance of the user.
  • the video display system includes an HMD
  • FIG. 1 is a schematic diagram illustrating a configuration of a video display system 100 according to the present embodiment
  • FIG. 2 is a block diagram illustrating a functional configuration of the video display system 100.
  • the video display system 100 includes an HMD 110 and an information processing device 120.
  • the HMD 110 is a display worn on the user's head and includes a display device 111 and a sensor 112.
  • the HMD 110 may be a general HMD, or a simple HMD configured from a smartphone and a device for mounting the smartphone on the user's head.
  • the display device 111 is a display device such as a liquid crystal display or an organic EL display.
  • the display device 111 may include separate display screens for the right eye and the left eye of the user, or may include only one display screen.
  • Sensor 112 detects the movement of HMD 110.
  • the sensor 112 can use a six-degree-of-freedom (6DoF) sensor that can detect three-axis rotation of yaw, roll, and pitch, and movement in three directions, front and rear, left and right, and up and down.
  • 6DoF six-degree-of-freedom
  • the sensor 112 may be an IMU (inertial measurement unit) or various combinations such as a gyro sensor and an acceleration sensor. It should be noted that the function of detecting the acceleration of the sensor 112 can be replaced by various sensors such as a camera mounted on the HMD 110 or an external sensor provided separately from the HMD 110.
  • the information processing apparatus 120 is an information processing apparatus such as a smartphone, a tablet computer, or a personal computer, and is connected to the HMD 110 by wired communication or wireless communication.
  • the information processing apparatus 120 includes a video decoder 121, a visual field video generation unit 122, a translation detection unit 123, a video shake detection unit 124, an object generation unit 125, and a video synthesis unit 126.
  • the video decoder 121 acquires omnidirectional video data (hereinafter referred to as video data) and decodes it.
  • the omnidirectional video is a 360-degree omnidirectional video with a certain point as the center, and is a video obtained by synthesizing a video taken using a omnidirectional camera or videos taken by a plurality of cameras.
  • the video decoder 121 may acquire video data by reading video data stored in the information processing apparatus 120, or may acquire video data via a network.
  • the video decoder 121 When the video decoder 121 acquires the video data, the video decoder 121 decodes the video data and generates a spherical image. The video decoder 121 supplies the generated omnidirectional video to the in-field video generation unit 122 and the video shake detection unit 124.
  • the in-view image generation unit 122 generates an in-view image, which is an image displayed on the display device 111, from the omnidirectional image supplied from the image decoder 121.
  • FIG. 3 shows an in-view image G1, which is an example of an in-view image.
  • the in-view image generation unit 122 can generate the in-view image by acquiring sensor information from the sensor 112 and extracting a part of the omnidirectional image according to the orientation of the HMD 110.
  • the in-field image generation unit 122 moves the range of the omnidirectional image that becomes the in-field image according to the rotation.
  • the omnidirectional image realized by the in-view image forms a display space in which the viewpoint position is controlled substantially independently of the change in the position of the user's head.
  • the translation detection unit 123 acquires sensor information from the sensor 112 and detects the translation of the HMD 110.
  • the translation of the HMD 110 is the movement of the HMD 110 without rotation. Specifically, the sensor 112 does not detect the rotation of the three axes of yaw, roll and pitch, and detects the movement in the three directions of front and rear, left and right and up and down. This is the case.
  • the translation of the HMD 110 may be regarded as corresponding to the translational movement of the user's head. Further, the rotation of the HMD 110 may be regarded as corresponding to the rotational movement of the user's head.
  • the translation detection unit 123 holds a predetermined threshold for the movement, and can determine that the HMD 110 is translating when the movement threshold exceeds a predetermined value.
  • the predetermined threshold value for the movement may be set so that the unconscious movement of the head of the user is not detected as a translational movement and the explicit peeping action of the user is detected.
  • the translation detection unit 123 supplies the determination result to the object generation unit 125.
  • the translation detection unit 123 may hold a predetermined threshold for the rotation and determine the translation of the HMD 110 only when the rotation threshold is less than the predetermined value. Supply.
  • the video shake detection unit 124 acquires the omnidirectional video from the video decoder 121 and detects the shake of the omnidirectional video.
  • the shaking of the omnidirectional video is caused by the shaking of the camera at the time of shooting the omnidirectional video.
  • the image shake detection unit 124 can detect the shake of the omnidirectional image by image processing on the omnidirectional image.
  • the image shake detection unit 124 can detect the shake of the omnidirectional image using, for example, an optical flow.
  • the optical flow means a displacement vector of an object between adjacent frames caused by the movement of the object or the camera.
  • the image shake detection unit 124 can detect the image of the omnidirectional image using the IMU sensor log included in the omnidirectional image.
  • the IMU sensor log is a log of the IMU sensor provided in the photographing camera at the time of photographing the omnidirectional video, and the shake of the photographing camera, that is, the omnidirectional video can be detected from the IMU sensor log.
  • the image shake detection unit 124 can determine that the omnidirectional image is oscillated when the omnidirectional image detected based on the image processing or the IMU sensor log exceeds a threshold value.
  • the video shake detection unit 124 supplies the determination result to the object generation unit 125.
  • the object generation unit 125 generates a virtual object displayed on the display device 111.
  • FIG. 4 is a schematic diagram illustrating the object P generated by the object generation unit 125.
  • the object generation unit 125 generates the object P as an object having motion parallax according to the change in the position of the user's head in the display space, and localizes the object P in the display space.
  • the object generation unit 125 supplies the generated object P to the video composition unit 126.
  • the object P is substantially fixed at a predetermined position based on the viewpoint of the display space, and the object P does not move with the user.
  • the object P may be fixed within a predetermined distance from the viewpoint (center) of the display space when viewed from the user.
  • the object generation unit 125 may generate the object P on condition that the translation of the HMD 110 is detected by the translation detection unit 123 so as not to prevent the user from viewing the video.
  • the object generation unit 125 may generate the object P on the condition that the image shake detection unit 124 detects the shake of the omnidirectional image. Note that the object generation unit 125 may switch between the display state and the non-display state of the object P according to a manual operation on a mobile controller separate from the HMD 110 instead of the translation detection unit 123 or the image shake detection unit 124. good.
  • the video composition unit 126 synthesizes the visual field video G1 supplied from the visual field video generation unit 122 and the object P supplied from the object generation unit 125 to generate a display video.
  • FIG. 5 is an example of the display video G2 generated by the video composition unit 126. As shown in the figure, the video composition unit 126 superimposes the visual field video G1 and the object P to generate a display video G2. The video composition unit 126 supplies the composited display video G2 to the display device 111 for display.
  • the video display system 100 has the above configuration.
  • the in-view image generation unit 122, the translation detection unit 123, the image shake detection unit 124, the object generation unit 125, and the image composition unit 126 make the display device 111 display the display image including the object P on the display device 111.
  • Control It may be considered that at least one of the in-view image generation unit 122, the translation detection unit 123, the image shake detection unit 124, the object generation unit 125, and the image composition unit 126 functions as the display control unit of the present disclosure.
  • the display control unit of the present disclosure may be considered to include at least the in-field video generation unit 122, the object generation unit 125, and the video synthesis unit 126.
  • the display control unit may be regarded as including at least one of the translation detection unit 123 and the image shake detection unit 124.
  • the display control unit may include at least a processor (at least one of the CPU 1001 or the GPU 1002) described later.
  • the video display system 100 may include only one of the translation detection unit 123 and the video shake detection unit 124.
  • the video decoder 121, the in-field video generation unit 122, the translation detection unit 123, the video shake detection unit 124, the object generation unit 125, and the video synthesis unit 126 have a functional configuration realized by cooperation of hardware and a program described later. is there.
  • FIG. 6 is a flowchart showing the operation of the video display system 100.
  • the video decoder 121 acquires the video data of the omnidirectional video and decodes it (St101).
  • the in-view image generation unit 122 acquires sensor information from the sensor 112 (St102), and generates an in-view image from the omnidirectional image based on the sensor information.
  • the translation detection unit 123 detects the translation of the HMD 110 (St103: Yes), or the video shake detection unit 124 detects the omnidirectional video shake (St104: Yes), the object generation unit 125 detects the object. P is generated (St105).
  • the object generation unit 125 does not generate the object P (106).
  • the video composition unit 126 When the object P has been generated, the video composition unit 126 synthesizes the object P and the visual field video to generate a display video (St107). If the object P has not been generated, the video composition unit 126 sets the video in the field of view as the display video (St107). The video composition unit 126 outputs the generated display video to the display device 111 and causes the display device 111 to display the display video.
  • a display video that does not include the object P is generated, and when the translation of the HMD 110 is detected, the object is displayed.
  • a display image including P is generated.
  • the video display system 100 changes the object P from the non-display state to the display state according to the change in the position of the user's head.
  • the object generation unit 125 may generate an object P that is not completely visible, or may generate an object P that is less visible than the display state.
  • the visibility of the object P can be adjusted by the transparency of the object P, for example.
  • a display video including the object P is generated even when a shake of the omnidirectional video is detected.
  • the video display system 100 changes the object P from the non-display state to the display state according to the change in the display space corresponding to the change in the viewpoint position.
  • the object generation unit 125 may generate an object P that is not completely visible in the non-display state, or may generate an object P that is less visible than the display state.
  • the video in the field of view does not change, and visual feedback does not occur in the movement of the user depending on the video in the field of view.
  • the object P localized in the display space as described above is displayed in the display video.
  • FIG. 7 is a schematic diagram showing a virtual positional relationship between the user U wearing the HMD 110 and the object P.
  • FIG. 8 is an example of the display video G2 displayed on the HMD 110.
  • FIG. 7A when the user U starts translation, a display image G2 shown in FIG. 8A is displayed on the display device 111. Even when the user U moves to the position shown in FIG. 7B, the in-view image G1 does not change as shown in FIG. 8B.
  • the user U can recognize his movement by the approach of the object P, that is, Since visual feedback by the object P can be obtained, VR sickness can be prevented.
  • the omnidirectional video image is shaken due to camera shake or the like during the shooting of the omnidirectional video image
  • the image in the field of view that is a part of the omnidirectional video image is also shaken.
  • the user U may have the illusion that he is shaking by the in-view image.
  • FIG. 9 is an example of the display image G2 when the omnidirectional image is shaken. As shown in the figure, even if the in-view image G1 is shaken, the object P is not shaken, and the user can recognize that he / she is not shaken, so that VR sickness can be prevented. Is possible.
  • the object P may be a virtual object having motion parallax according to the change in the position of the user's head in the display space.
  • the object P may be an object for suppressing VR sickness or an operation object. Types can be used.
  • FIG. 10 is a schematic diagram showing an example of an object P for suppressing VR sickness.
  • the object P can be a particulate object arranged with the user U as the center.
  • the particle-like object P preferably has a size and density that do not hinder the user U's field of view.
  • the object P can be an iron lattice object arranged in front of the user. Thereby, it can be set as the expression where the user U is appreciating the celestial sphere image from the cage.
  • the object P may be a handrail object arranged around the user U.
  • the omnidirectional video image is shaken, it can be strongly perceived that the user U is not moving.
  • an object P for suppressing VR sickness can be selected appropriately depending on the content of the omnidirectional video and the type of application that presents the omnidirectional video.
  • the visibility of the object P can also be adjusted by the transparency according to the content content and the type of application.
  • FIG. 11 is a schematic diagram illustrating an example of the operation object P.
  • the object P may be an object that functions as an operation UI (user interface) such as a virtual keyboard or a virtual control panel.
  • operation UI user interface
  • the type and visibility of the object P for operation can be adjusted according to the content content and the type of application.
  • the object generation unit 125 may simultaneously generate both an object for suppressing VR sickness and an operation object as the object P.
  • the object generation unit 125 generates the object P when the translation detection unit 123 detects the translation of the HMD 110 or when the image shake detection unit 124 detects the omnidirectional video shake.
  • FIG. 12 is a graph showing how the object P is displayed by the object generator 125.
  • the object generation unit 125 sets the object P to the display state using this detection as a trigger. At this time, the object generating unit 125 can gradually increase the visibility of the object P and make an expression that fades in the display image.
  • the object generation unit 125 changes the object P from the display state to the non-display state when the position of the user's head does not substantially change for a certain period of time after the object P is in the display state and no shaking is detected in the celestial sphere image. Can be changed.
  • the object generation unit 125 can gradually reduce the visibility of the object P and make it fade out from the display video.
  • the object generation unit 125 does not necessarily have to generate the object P using the translation of the HMD 110 or the shaking of the omnidirectional video as a trigger.
  • the object generation unit 125 may generate the object P using a user U gesture or an operation input to the information processing apparatus 120 as a trigger.
  • the object generation unit 125 redisplays the object P when the trigger occurs again after the object P is in the non-display state.
  • the object P when the object P is an object for suppressing VR sickness, it may be displayed again at a previously displayed position, or may be displayed again based on the current position of the user U.
  • the object generation unit 125 re-displays the current user U based on the current position so that the user U can easily operate.
  • the operation object is inappropriate when displayed at a fixed position with respect to the user U during the display period. This is because if the user U continues to be displayed at a fixed position, visual feedback for the translation of the user U is lost.
  • FIG. 13 is a schematic diagram showing a state in which an object P and an operation object Q for suppressing VR sickness are arranged. As shown in FIGS. 13A and 13B, unlike the object P, the operation object Q is not localized in the display space, and the positional relationship with respect to the HMD 110 is fixed in the display space.
  • the object generation unit 125 can always generate the object P while the in-view image is displayed, for example, when the visibility of the object P is small.
  • FIG. 14 and FIG. 15 are schematic diagrams showing a preferred arrangement of the objects P.
  • the object generation unit 125 is preferably arranged so that the object P avoids the front of the user U as shown in FIG.
  • the object generation unit 125 arrange the object P avoiding the place where the in-video object T exists as shown in FIG.
  • FIG. 16 is a schematic diagram illustrating a hardware configuration of the information processing apparatus 120.
  • the information processing apparatus 120 includes a CPU 1001, a GPU 1002, a memory 1003, a storage 1004, and an input / output unit (I / O) 1005 as hardware configurations. These are connected to each other by a bus 1006.
  • a CPU (Central Processing Unit) 1001 controls other configurations in accordance with a program stored in the memory 1003, performs data processing in accordance with the program, and stores a processing result in the memory 1003.
  • the CPU 1001 can be a microprocessor.
  • a GPU (Graphic Processing Unit) 1002 executes image processing under the control of the CPU 1001.
  • the GPU 1002 can be a microprocessor.
  • the memory 1003 stores programs and data executed by the CPU 1001.
  • the memory 1003 can be a RAM (Random Access Memory).
  • the storage 1004 stores programs and data.
  • the storage 1004 can be an HDD (hard disk drive) or an SSD (solid state drive).
  • the input / output unit 1005 receives an input to the information processing device 120 and supplies the output of the information processing device 120 to the outside.
  • the input / output unit 1005 includes an input device such as a touch panel and a keyboard, an output device such as a display, and a connection interface such as a network.
  • the hardware configuration of the information processing apparatus 120 is not limited to that shown here, and any hardware configuration that can realize the functional configuration of the information processing apparatus 120 is acceptable. A part or all of the hardware configuration may exist on the network.
  • the video display system 100 is configured from the HMD 110 and the information processing apparatus 120 as described above, a part or all of the functional configuration of the information processing apparatus 120 may be included in the HMD 110.
  • the HMD 110 is a simple HMD configured by a smartphone, and may include the functional configuration of the information processing apparatus 120.
  • configurations other than the display device 111 may be mounted on the information processing device 120.
  • the configuration other than the display device 111 may be realized by a server connected to the HMD 110 or the information processing device 120 via a network.
  • the sensor 112 is not limited to the one mounted on the HMD 110, and may be a sensor that is arranged around the HMD 110 and can detect the position and orientation of the HMD 110.
  • the display target video of the video display system 100 has been described as a omnidirectional video, the display target video is not limited to the omnidirectional video, and is a video having a wider range than at least the user's field of view. Any video may be used as long as the display range changes according to the orientation of the video.
  • this technique can also take the following structures.
  • An information processing apparatus comprising a display control unit for controlling the apparatus.
  • the display control unit is configured to change the object from a non-display state to a display state according to a change in the position of the user's head.
  • the display control unit changes the state of the object from the display state to the non-display state when the position of the user's head is not substantially changed after the state of the object is changed to the display state. Change to information processing device.
  • the display control unit As a change in the position of the user's head, the translational movement of the position of the user's head is detected, The information processing apparatus, wherein the display space is changed with respect to the rotational movement of the user's head while the display space is not substantially changed with respect to the translational movement of the user's head.
  • the information processing apparatus corresponds to the shaking of the camera that acquires the display space.
  • the information processing apparatus according to any one of (1) to (11) above,
  • the display space is an omnidirectional video image processing apparatus.
  • the display device is a head-mounted display.
  • the display control unit generates the motion parallax based on an output of a six-degree-of-freedom sensor that detects rotation and movement of the head mounted display.
  • An object having motion parallax corresponding to a change in the position of the user's head in a display space in which the display control unit is substantially independently controlled with respect to the change in the position of the user's head An information processing method for controlling a display device to display a message.
  • Video display system 110 ... HMD DESCRIPTION OF SYMBOLS 111 ... Display apparatus 112 ... Sensor 120 ... Information processing apparatus 121 ... Image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザの動作に応じた映像の変化に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法及びプログラムを提供すること。 【解決手段】本技術に係る情報処理装置は、表示制御部を具備する。上記表示制御部は、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する。

Description

情報処理装置、情報処理方法及びプログラム
　本技術は、全天球映像等の、ユーザの頭部の向きに応じて表示範囲が変化する映像の表示を行う情報処理装置、情報処理方法及びプログラムに関する。
　近年、ＶＲ（virtual reality）等の分野で全天球映像の利用が進んでいる。全天球映像は、周囲３６０°の撮影が可能な撮影装置によって撮影され、ウェブサイト等で公開されている。これらの全天球映像は左右視差のない映像であったり、立体視が可能な視差付きのステレオ映像であったりする。
　ユーザは、ヘッドマウントディスプレイ（以下、ＨＭＤ）やスマートフォンによる簡易型のＨＭＤを用いてこのような全天球映像を視聴することができる。ユーザが実空間上で頭部の向きを変化させると、ＨＭＤの回転が検出され、その回転に応じて全天球映像の一部が切り出され、表示装置において表示される（例えば特許文献１参照）。これにより、ユーザが周囲を見渡すように頭部を動かすと、全天球映像を見渡すことができる。
特開２０１７－１０２２９７号公報
　しかしながら、引用文献１に記載のような表示方法では、実空間におけるユーザの動作に応じたユーザの平衡感覚と映像の変化との関係性に対し、ユーザが違和感を覚える場合がある。
　そこで、本開示では、ユーザの動作に応じた映像の変化に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法及びプログラムを提供する。
　本技術の一形態に係る情報処理装置は、表示制御部を具備する。
　上記表示制御部は、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する。
　この構成によれば、ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトが表示空間に表示される。このため、ユーザの頭部の位置の変化に対し表示空間の視点の位置が実質的に変化しない場合であっても、ユーザは運動視差を有するオブジェクトを視認することによって表示空間に対する違和感を抑制することが可能である。
　上記表示制御部は、上記ユーザの頭部の位置の変化に応じて上記オブジェクトを非表示状態から表示状態に変更してもよい。
　上記表示制御部は、上記オブジェクトの状態が上記表示状態に変更された後、上記ユーザの頭部の位置が実質的に変化していない場合、上記オブジェクトの状態を上記表示状態から上記非表示状態に変更してもよい。
　上記表示制御部は、上記ユーザの頭部の位置の変化として、上記ユーザの頭部の位置の並進運動を検出し、上記表示空間を上記ユーザの頭部の回転運動に対して変化させる一方で、上記表示空間を上記ユーザの頭部の並進運動に対しては実質的に変化させなくてもよい。
　上記表示制御部は、上記表示空間の変化に応じて上記オブジェクトを非表示状態から表示状態に変更してもよい。
　上記表示制御部は、上記視点の位置の変化に応じて上記表示空間を変化させてもよい。
　上記視点の位置の変化は、上記表示空間を取得するカメラの揺れに対応してもよい。
　上記オブジェクトは操作用ユーザインターフェースであってもよい。
　上記表示制御部は、上記オブジェクトを上記表示空間に定位してもよい。
　上記表示制御部は、上記オブジェクトを上記表示空間の視点から所定の距離以内に固定してもよい。
　上記表示空間は、上記ユーザの視野よりも広い映像であってもよい。
　上記表示空間は全天球映像であってもよい。
　上記表示装置はヘッドマウントディスプレイであってもよい。
　上記表示制御部は、上記ヘッドマウントディスプレイの回転及び移動を検出する６自由度センサの出力に基づいて上記運動視差を生成してもよい。
　本技術の一形態に係る情報処理方法は、表示制御部が、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する。
　本技術の一形態に係るプログラムは、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部として情報処理装置を機能させる。
　以上のように、本技術によれば、ユーザの動作に応じた表示空間の変化に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法及びプログラムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施形態に係る映像表示システムの模式図である。 同映像表示システムの機能的構成を示すブロック図である。 同映像表示システムの視野内映像生成部が生成する視野内映像の例である。 同映像表示システムのオブジェクト生成部が生成するオブジェクトの例である。 同映像表示システムの映像合成部が生成する表示映像の例である。 同映像表示システムの動作を示すフローチャートである。 同映像表示システムにおけるユーザとオブジェクトの仮想的な位置関係を示す模式図である。 同映像表示システムにおける、ユーザの並進に伴う表示映像の変化を示す模式図である。 同映像表示システムにおける、全天球映像に揺れが生じている場合の表示映像を示す模式図である。 同映像表示システムにおけるＶＲ酔い防止用オブジェクトの種類を示す模式図である。 同映像表示システムにおける操作用オブジェクトを示す模式図である。 同映像表示システムにおけるオブジェクトの表示態様を示すグラフである。 同映像表示システムにおける、ＶＲ酔い防止用オブジェクトと操作用オブジェクトを示す模式図である。 同映像表示システムにおけるオブジェクトの表示位置を示す模式図である。 同映像表示システムにおけるオブジェクトの表示位置を示す模式図である。 同映像表示システムが備える情報処理装置のハードウェア構成を示すブロック図である。
　はじめに、本発明の実施形態に係る映像表示システムの概要について説明する。映像表示システムは、表示装置と情報処理装置を含む。後述の通り、情報処理装置は、表示空間（仮想空間）の視点の位置を、ユーザの頭部の位置の変化に対して実質的に独立して制御する。また、情報処理装置は、ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示する表示装置（ＨＭＤ（Head Mounted Display））を制御する。なお、本開示の映像表示システムは、ＨＭＤに代えて、ユーザの視野を実質的に全てカバーするように構成された種々の表示装置を含み得る。"ユーザの視野を実質的に全てカバーする"とは、ユーザの視野よりも広い視野角を有する映像を提供すること、と見做されても良い。例えば、映像表示システムは、ＨＭＤに代えて、実空間に仮想空間を投影するヘッドマウントプロジェクタ（Head Mounted Projector）を含んでも良い。あるいは、映像表示システムは、情報処理装置とは別体に設けられ、ユーザの動作に応じて仮想空間の映像を投影するプロジェクタを含んでも良い。
　次に、本開示における情報処理装置が解決する課題の一例を説明する。
　一般的なＨＭＤによる映像視聴では、実空間におけるユーザの動作（動作状態）に応じたユーザの平衡感覚と映像（例えば、全天球映像）の変化との関係性に対し、ユーザが違和感を覚える場合がある。このユーザの違和感は、実空間におけるユーザの平衡感覚と映像の変化の不一致による自律神経の失調状態（ＶＲ酔い）と見做され得る。
　例えば、全天球映像の視聴においては、ユーザが頭部の向きを変えずに移動（並進）したとしても、全天球映像の視点の位置は変化しないため、表示映像は変更されない、この結果、ユーザの移動に視覚的なフィードバックが生じないためにＶＲ酔いが生じやすい。
　あるいは、全天球映像の撮影時における撮影機器の揺れ等によって表示映像に揺れが生じている場合、ユーザは自身が揺れていると錯覚し、映像の変化と平衡感覚に不一致が生じてＶＲ酔いが生じやすい。
　以上のような事情に鑑み、本開示における映像表示システム（情報処理装置）は、表示空間の変化とユーザの平衡感覚の不一致に関する課題を解決する。以下、映像表示システムが、ＨＭＤを含む場合について具体的に説明する。
　［映像表示システムの構成］
　図１は本実施形態に係る映像表示システム１００の構成を示す模式図であり、図２は映像表示システム１００の機能的構成を示すブロック図である。
　これらの図に示すように、映像表示システム１００は、ＨＭＤ１１０と情報処理装置１２０から構成されている。
　ＨＭＤ１１０は、ユーザの頭部に装着されるディスプレイであり、表示装置１１１及びセンサ１１２を備える。ＨＭＤ１１０は、一般的なＨＭＤであってもよく、スマートフォンと、スマートフォンをユーザの頭部に装着するための装具から構成された簡易型のＨＭＤであってもよい。
　表示装置１１１は、液晶ディスプレイ又は有機ＥＬディスプレイ等の表示装置である。表示装置１１１は、ユーザの右眼用と左眼用にそれぞれ別の表示画面を備えるものであってもよく、一つの表示画面のみを備えるものであってもよい。
　センサ１１２は、ＨＭＤ１１０の動きを検出する。センサ１１２は、ヨー、ロール及びピッチの３軸の回転と、前後、左右及び上下の３方向の移動を検出可能な６自由度センサ（６ＤｏＦ：six degrees of freedom）を利用することができる。以下、センサ１１２による検出結果をセンサ情報とする。なお、センサ１１２は、ＩＭＵ（inertial measurement unit：慣性計測装置）であってもよく、ジャイロセンサや加速度センサといった種々の組み合わせであっても良い。センサ１１２の加速度を検出する機能は、ＨＭＤ１１０に搭載されたカメラ、あるいはＨＭＤ１１０とは別に設けられた外部センサといった種々のセンサによって代替され得ることに留意されたい。
　情報処理装置１２０は、スマートフォン、タブレット型コンピュータ又はパーソナルコンピュータ等の情報処理装置であり、有線通信又は無線通信によってＨＭＤ１１０に接続されている。情報処理装置１２０は、映像デコーダ１２１、視野内映像生成部１２２、並進検出部１２３、映像揺れ検出部１２４、オブジェクト生成部１２５及び映像合成部１２６を備える。
　映像デコーダ１２１は、全天球映像のデータ（以下、映像データ）を取得し、デコードを行う。全天球映像は、ある一点を中心とする３６０°の全方位の映像であり、全天球カメラを利用して撮像された映像や複数のカメラで撮影された映像を合成した映像である。
　映像デコーダ１２１は、情報処理装置１２０に保存されている映像データを読出すことによって映像データを取得してもよく、ネットワークを介して映像データを取得してもよい。
　映像デコーダ１２１は、映像データを取得すると、映像データを復号し、全天球映像を生成する。映像デコーダ１２１は、生成した全天球映像を視野内映像生成部１２２及び映像揺れ検出部１２４に供給する。
　視野内映像生成部１２２は、映像デコーダ１２１から供給された全天球映像から、表示装置１１１に表示される映像である視野内映像を生成する。図３は、視野内映像の例である視野内映像Ｇ１を示す。
　視野内映像生成部１２２は、センサ１１２からセンサ情報を取得し、ＨＭＤ１１０の向き応じて全天球映像の一部を抽出することによって視野内映像を生成することができる。視野内映像生成部１２２は、センサ１１２によってヨー、ロール及びピッチの３軸の回転が検出されると、その回転に応じて全天球映像のうち視野内映像となる範囲を移動させる。
　これにより、ユーザが頭部を動かすと、ＨＭＤ１１０の動きに追随して全天球映像のうち視野内映像となる範囲が移動し、ユーザは周囲を見渡すかのように全天球映像を視聴することができる。即ち、視野内映像によって実現される全天球映像により、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間が形成される。
　並進検出部１２３は、センサ１１２からセンサ情報を取得し、ＨＭＤ１１０の並進を検出する。ＨＭＤ１１０の並進とは、回転を伴わないＨＭＤ１１０の移動であり、具体的にはセンサ１１２によってヨー、ロール及びピッチの３軸の回転が検出されず、前後、左右及び上下の３方向の移動が検出された場合である。なお、ＨＭＤ１１０の並進は、ユーザの頭部の並進運動に対応すると見做されてもよい。また、ＨＭＤ１１０の回転は、ユーザの頭部の回転運動に対応すると見做されてもよい。
　並進検出部１２３は、上記移動について所定の閾値を保持し、移動の閾値が所定値を超える場合にＨＭＤ１１０が並進していると判定することができる。上記移動についての所定の閾値は、無意識的なユーザの頭部の揺動は並進運動として検出されず、かつ、ユーザの明示的な覗き込み動作は検出されるように設定されると良い。並進検出部１２３は、判定結果をオブジェクト生成部１２５に供給する。なお、並進検出部１２３は、上記回転について所定の閾値を保持し、回転の閾値が所定値未満である場合にのみＨＭＤ１１０の並進を判定してもよい。
供給する。
　映像揺れ検出部１２４は、映像デコーダ１２１から全天球映像を取得し、全天球映像の揺れを検出する。全天球映像の揺れは、全天球映像の撮影時におけるカメラの揺れ等によるものである。
　映像揺れ検出部１２４は、全天球映像に対する画像処理によって全天球映像の揺れを検出することができる。映像揺れ検出部１２４は、例えば、オプティカルフローを用いて全天球映像の揺れを検出することができる。オプティカルフローは物体やカメラの移動によって生じる隣接フレーム間の物体の変位ベクトルを意味する。
　また、映像揺れ検出部１２４は、全天球映像に含まれるＩＭＵセンサログを用いて全天球映像の映像を検出することもできる。ＩＭＵセンサログは全天球映像の撮影時に撮影カメラに設けられたＩＭＵセンサのログであり、ＩＭＵセンサログから撮影カメラの揺れ、即ち全天球映像の揺れを検出することができる。
　映像揺れ検出部１２４は、上記画像処理又はＩＭＵセンサログ等に基づいて検出した全天球映像の揺れが閾値を超える場合に、全天球映像に揺れが生じていると判定することができる。映像揺れ検出部１２４は判定結果をオブジェクト生成部１２５に供給する。
　オブジェクト生成部１２５は、表示装置１１１に表示される仮想的なオブジェクトを生成する。図４は、オブジェクト生成部１２５が生成するオブジェクトＰを示す模式図である。
　オブジェクト生成部１２５は、オブジェクトＰを表示空間においてユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトとして生成し、オブジェクトＰを表示空間に定位させる。オブジェクト生成部１２５は、生成したオブジェクトＰを映像合成部１２６に供給する。これにより、ＨＭＤ１１０を装着したユーザが実空間で並進移動しても、オブジェクトＰは、表示空間の視点を基準とした所定の位置に実質的に固定され、オブジェクトＰはユーザと共に移動しない。例えば、オブジェクトＰは、ユーザから見て表示空間の視点（中心）から所定の距離以内に固定されてもよい。
　オブジェクト生成部１２５は、ユーザが映像を視聴することを妨げないように、並進検出部１２３によってＨＭＤ１１０の並進が検出されたことを条件にオブジェクトＰを生成してもよい。また、オブジェクト生成部１２５は映像揺れ検出部１２４によって全天球映像の揺れが検出されたことを条件にオブジェクトＰを生成してもよい。なお、オブジェクト生成部１２５は、並進検出部１２３または映像揺れ検出部１２４に代えて、ＨＭＤ１１０とは別体のモバイルコントローラに対するマニュアル操作に応じてオブジェクトＰの表示状態と非表示状態を切り変えても良い。
　映像合成部１２６は、視野内映像生成部１２２から供給された視野内映像Ｇ１と、オブジェクト生成部１２５から供給されたオブジェクトＰを合成し、表示映像を生成する。
　図５は、映像合成部１２６が生成する表示映像Ｇ２の例である。同図に示すように、映像合成部１２６は、視野内映像Ｇ１とオブジェクトＰを重畳させ、表示映像Ｇ２を生成する。映像合成部１２６は、合成した表示映像Ｇ２を表示装置１１１に供給し、表示させる。
　映像表示システム１００は以上のような構成を有する。なお、視野内映像生成部１２２、並進検出部１２３、映像揺れ検出部１２４、オブジェクト生成部１２５及び映像合成部１２６は、オブジェクトＰを含む表示映像を表示装置１１１に表示するように表示装置１１１を制御する。視野内映像生成部１２２、並進検出部１２３、映像揺れ検出部１２４、オブジェクト生成部１２５及び映像合成部１２６のうち少なくとも１つが、本開示の表示制御部として機能すると見做されても良い。より具体的には、本開示の表示制御部は、視野内映像生成部１２２、オブジェクト生成部１２５、映像合成部１２６を少なくとも含むものと見做されても良い。好ましくは、表示制御部は、並進検出部１２３と映像揺れ検出部１２４のうち少なくとも一方を含むものと見做されても良い。なお、表示制御部は、後述するプロセッサ（ＣＰＵ１００１またはＧＰＵ１００２の少なくとも一方）を少なくとも含み得る。
　また、映像表示システム１００は、並進検出部１２３と映像揺れ検出部１２４のいずれか一方のみを有してもよい。
　映像デコーダ１２１、視野内映像生成部１２２、並進検出部１２３、映像揺れ検出部１２４、オブジェクト生成部１２５及び映像合成部１２６は、後述するハードウェアとプログラムの協働によって実現される機能的構成である。
　［映像表示システムの動作］
　図６は、映像表示システム１００の動作を示すフローチャートである。
　同図に示すように、映像デコーダ１２１が全天球映像の映像データを取得し、デコードする（Ｓｔ１０１）。
　視野内映像生成部１２２は、センサ１１２からセンサ情報を取得し（Ｓｔ１０２）、センサ情報に基づいて全天球映像から視野内映像を生成する。
　続いて、並進検出部１２３によってＨＭＤ１１０の並進が検出され（Ｓｔ１０３：Ｙｅｓ）、又は映像揺れ検出部１２４によって全天球映像の揺れが検出される（Ｓｔ１０４：Ｙｅｓ）と、オブジェクト生成部１２５がオブジェクトＰを生成する（Ｓｔ１０５）。
　また、ＨＭＤ１１０の並進及び全天球映像の揺れが検出されない場合（Ｓｔ１０３：Ｎｏ、Ｓｔ１０４：Ｎｏ）、オブジェクト生成部１２５はオブジェクトＰを生成しない（１０６）。
　映像合成部１２６は、オブジェクトＰが生成されている場合、オブジェクトＰと視野内映像を合成し、表示映像を生成する（Ｓｔ１０７）。また、映像合成部１２６は、オブジェクトＰが生成されていない場合、視野内映像を表示映像とする（Ｓｔ１０７）。映像合成部１２６は生成した表示映像を表示装置１１１に出力し、表示装置１１１に表示させる。
　このように、映像表示システム１００では、ＨＭＤ１１０の並進及び全天球映像の揺れが検出されていない場合には、オブジェクトＰを含まない表示映像が生成され、ＨＭＤ１１０の並進が検出された場合にオブジェクトＰを含む表示映像が生成される。
　即ち、映像表示システム１００はユーザの頭部の位置の変化に応じてオブジェクトＰを非表示状態から表示状態に変更する。なお、非表示状態においてオブジェクト生成部１２５は、完全に視認性がないオブジェクトＰを生成してもよく、表示状態に比べて視認性が小さいオブジェクトＰを生成してもよい。オブジェクトＰの視認性は例えばオブジェクトＰの透過性によって調整することができる。
　また、映像表示システム１００では、全天球映像の揺れが検出された場合にもオブジェクトＰを含む表示映像が生成される。
　即ち、映像表示システム１００は視点の位置の変化に対応する表示空間の変化に応じてオブジェクトＰを非表示状態から表示状態に変更する。この場合も、非表示状態においてオブジェクト生成部１２５は、完全に視認性がないオブジェクトＰを生成してもよく、表示状態に比べて視認性が小さいオブジェクトＰを生成してもよい。
　［映像表示システムの効果］
　映像表示システム１００について説明する。ＨＭＤ１１０を装着したユーザが並進、即ちＨＭＤ１１０を回転させずに移動した場合、センサ１１２によってＨＭＤ１１０の回転が検出されないため、視野内映像生成部１２２は全天球映像において視野内映像となる範囲を移動させない。
　このため、ユーザが移動しているにも係わらず、視野内映像は変化せず、視野内映像によってはユーザの移動に視覚的なフィードバックが生じない。ここで、映像表示システム１００では、上記のように表示空間に定位されたオブジェクトＰが表示映像において表示されている。
　図７は、ＨＭＤ１１０を装着したユーザＵとオブジェクトＰの仮想的な位置関係を示す模式図である。図８は、ＨＭＤ１１０に表示される表示映像Ｇ２の例である。
　図７（ａ）に示すように、ユーザＵが並進を開始した場合、表示装置１１１には、図８（ａ）に示す表示映像Ｇ２が表示されている。ユーザＵが図７（ｂ）の位置に移動しても、図８（ｂ）に示すように、視野内映像Ｇ１は変化しない。
　一方、図７（ｂ）に示すように、オブジェクトＰの実空間における位置は変化しないため、図８（ｂ）に示すようにオブジェクトＰはユーザＵの並進に伴ってユーザＵに接近するように表示される。
　ユーザＵは自己の移動をオブジェクトＰの接近によって認識することができ、即ち、
オブジェクトＰによる視覚的なフィードバックを得ることができるため、ＶＲ酔いを防止することが可能である。
　また、全天球映像の撮影時のカメラの揺れ等によって全天球映像に揺れが生じている場合、全天球映像の一部である視野内映像にも揺れが生じる。このため、ユーザＵは視野内映像によって自身が揺れていると錯覚するおそれがある。
　ここで映像表示システム１００では、視野内映像とは別に生成されたオブジェクトＰが視野内映像と共にユーザＵに提示される。図９は、全天球映像に揺れが生じている場合の表示映像Ｇ２の例である。同図に示すように、視野内映像Ｇ１に揺れが生じていても、オブジェクトＰに揺れは生じず、ユーザは自身が揺れていないことを認識することができるため、ＶＲ酔いを防止することが可能である。
　［オブジェクトの種類ついて］
　上述のようにオブジェクトＰは、表示空間においてユーザの頭部の位置の変化に応じた運動視差を有する仮想的なオブジェクトであればよいが、ＶＲ酔い抑制のためのオブジェクトと、操作用オブジェクトの２種類を利用することができる。
　図１０は、ＶＲ酔い抑制のためのオブジェクトＰの例を示す模式図である。図１０（ａ）に示すように、オブジェクトＰはユーザＵを中心として配置される粒子状オブジェクトとすることができる。粒子状のオブジェクトＰは、ユーザＵの視界を妨げない大きさ、密度のものが好適である。
　また、図１０（ｂ）に示すようにオブジェクトＰはユーザの前方に配置される鉄格子状オブジェクトとすることもできる。これにより、ユーザＵが檻の中から全天球映像を鑑賞しているような表現とすることができる。
　さらに、図１０（ｃ）に示すようにオブジェクトＰはユーザＵを中心として配置される手すり状オブジェクトとすることもできる。これにより、全天球映像に揺れが生じている場合に、ユーザＵ自身が動いていないことを強く知覚させることができる。
　この他にもＶＲ酔い抑制のためのオブジェクトＰは、全天球映像のコンテンツ内容や全天球映像を提示するアプリケーションの種類に応じて適切なものを選択することができる。オブジェクトＰの視認性も、コンテンツ内容やアプリケーションの種類に応じて、透過度によって調整することができる。
　図１１は、操作用のオブジェクトＰの例を示す模式図である。同図に示すように、オブジェクトＰは、仮想的キーボードや仮想的コントロールパネル等のような操作用ＵＩ（ユーザインターフェース）として機能するオブジェクトとすることもできる。
　操作用のオブジェクトＰの種類や視認性も、コンテンツ内容やアプリケーションの種類に応じて調整することが可能である。
　また、オブジェクト生成部１２５は、ＶＲ酔い抑制のためのオブジェクトと操作用オブジェクトの両方をオブジェクトＰとして同時に生成してもよい。
　［オブジェクトの表示方法について］
　上述のようにオブジェクト生成部１２５は、並進検出部１２３によってＨＭＤ１１０の並進が検出された場合、又は映像揺れ検出部１２４によって全天球映像の揺れが検出された場合にオブジェクトＰを生成する。
　図１２は、オブジェクト生成部１２５によるオブジェクトＰの表示態様を示すグラフである。同図に示すようにオブジェクト生成部１２５は、ＨＭＤ１１０の並進又は全天球映像の揺れが検出されると、この検出をトリガとしてオブジェクトＰを表示状態とする。この際、オブジェクト生成部１２５は、次第にオブジェクトＰの視認性を上昇させ、表示映像に対してフェードインさせるような表現とすることができる。
　オブジェクト生成部１２５は、オブジェクトＰを表示状態とした後、一定時間ユーザの頭部の位置が実質的に変化せず、かつ天球映像において揺れが検出されない場合、オブジェクトＰを表示状態から非表示状態に変更することができる。
　この際、オブジェクト生成部１２５は、オブジェクトＰの視認性を次第に低下させ、表示映像からフェードアウトさせるような表現とすることができる。
　なお、オブジェクト生成部１２５は、必ずしもＨＭＤ１１０の並進又は全天球映像の揺れをトリガとしてオブジェクトＰを生成するものでなくてもよい。オブジェクト生成部１２５は、例えばオブジェクトＰが操作用のオブジェクトである場合には、ユーザＵのジェスチャや情報処理装置１２０に対する操作入力をトリガをとしてオブジェクトＰを生成してもよい。
　オブジェクト生成部１２５は、オブジェクトＰが非表示状態となった後、再度トリガが生じた場合にはオブジェクトＰを再表示させる。ここで、オブジェクトＰがＶＲ酔い抑制のためのオブジェクトである場合には、以前に表示した位置に再表示させてもよく、現在のユーザＵの位置を基準として再表示させてもよい。
　また、オブジェクト生成部１２５は、オブジェクトＰが操作用オブジェクトである場合、ユーザＵが操作しやすいように現在のユーザＵの位置を基準として再表示させると好適である。なお、操作用オブジェクトは、表示期間中にユーザＵに対して固定された位置に表示されると不適当である。ユーザＵに対して固定された位置に表示し続けるとユーザＵの並進に対する視覚的フィードバックがなくなるためである。
　この場合、オブジェクト生成部１２５は、操作用オブジェクトに合わせて、ＶＲ酔い抑制のためのオブジェクトを生成すると好適である。図１３は、ＶＲ酔い抑制のためのオブジェクトＰと操作用オブジェクトＱを配置した状態を示す模式図である。図１３（ａ）及び（ｂ）に示すように、操作用オブジェクトＱはオブジェクトＰとは異なって表示空間に定位されず、表示空間においてＨＭＤ１１０に対する位置関係が固定されている。
　なお、オブジェクト生成部１２５は、オブジェクトＰの視認性が小さい場合等には、視野内映像が表示されている間、常にオブジェクトＰを生成することも可能である。
　図１４及び図１５は、オブジェクトＰの好適な配置を示す模式図である。オブジェクトＰがユーザＵの正面に配置されるとユーザＵの視界が妨げられるため、オブジェクト生成部１２５は、図１４に示すようにオブジェクトＰはユーザＵの正面を避けて配置すると好適である。
　また、全天球映像が視差付全天球映像の場合、映像内物体とユーザＵの距離を取得することができる。この場合、オブジェクト生成部１２５は、図１５に示すように、映像内物体Ｔが存在する場所を避けてオブジェクトＰを配置すると好適である。
　［ハードウェア構成］
　図１６は、情報処理装置１２０のハードウェア構成を示す模式図である。同図に示すように情報処理装置１２０はハードウェア構成として、ＣＰＵ１００１、ＧＰＵ１００２、メモリ１００３、ストレージ１００４及び入出力部（Ｉ／Ｏ）１００５を有する。これらはバス１００６によって互いに接続されている。
　ＣＰＵ（Central Processing Unit）１００１は、メモリ１００３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１００３に格納する。ＣＰＵ１００１はマイクロプロセッサとすることができる。
　ＧＰＵ（Graphic Processing Unit）１００２は、ＣＰＵ１００１による制御を受けて、画像処理を実行する。ＧＰＵ１００２はマイクロプロセッサとすることができる。
　メモリ１００３はＣＰＵ１００１によって実行されるプログラム及びデータを格納する。メモリ１００３はＲＡＭ（Random Access Memory）とすることができる。
　ストレージ１００４は、プログラムやデータを格納する。ストレージ１００４はＨＤＤ（hard disk drive）又はＳＳＤ（solid state drive）とすることができる。
　入出力部１００５は情報処理装置１２０に対する入力を受け付け、また情報処理装置１２０の出力を外部に供給する。入出力部１００５は、タッチパネルやキーボード等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。
　情報処理装置１２０のハードウェア構成はここに示すものに限られず、情報処理装置１２０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
　［変形例］
　映像表示システム１００は、上述のようにＨＭＤ１１０と情報処理装置１２０から構成されるとしたが、情報処理装置１２０の機能的構成の一部又は全部はＨＭＤ１１０が備えるものであってもよい。例えば、ＨＭＤ１１０はスマートフォンによって構成される簡易型ＨＭＤであり、情報処理装置１２０の機能的構成を備えるものであってもよい。
　また、映像表示システム１００の機能的構成のうち、表示装置１１１以外の構成は情報処理装置１２０に搭載されてもよい。さらに、表示装置１１１以外の構成は、ＨＭＤ１１０又は情報処理装置１２０にネットワークを介して接続されたサーバによって実現されてもよい。
　センサ１１２もＨＭＤ１１０に搭載されるものに限られず、ＨＭＤ１１０の周囲に配置され、ＨＭＤ１１０の位置及び向きを検出できるセンサであってもよい。
　また、映像表示システム１００の表示対象映像は全天球映像として説明したが、表示対象映像は全天球映像に限られず、少なくともユーザの視野よりも広い範囲の映像であって、ユーザの頭部の向きに応じて表示範囲が変化する映像であればよい。
　なお、本技術は以下のような構成も採ることができる。
　（１）
　ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
　を具備する情報処理装置。
　（２）
　上記（１）に記載の情報処理装置であって、
　上記表示制御部は、上記ユーザの頭部の位置の変化に応じて上記オブジェクトを非表示状態から表示状態に変更する
　情報処理装置。
　（３）
　上記（１）又は（２）に記載の情報処理装置であって、
　上記表示制御部は、上記オブジェクトの状態が上記表示状態に変更された後、上記ユーザの頭部の位置が実質的に変化していない場合、上記オブジェクトの状態を上記表示状態から上記非表示状態に変更する
　情報処理装置。
　（４）
　上記（２）に記載の情報処理装置であって、
　上記表示制御部は、
　　上記ユーザの頭部の位置の変化として、上記ユーザの頭部の位置の並進運動を検出し、
　　上記表示空間を上記ユーザの頭部の回転運動に対して変化させる一方で、上記表示空間を上記ユーザの頭部の並進運動に対しては実質的に変化させない
　情報処理装置。
　（５）
　上記（１）から（４）のうちいずれか一つに記載の情報処理装置であって、
　上記表示制御部は、上記表示空間の変化に応じて上記オブジェクトを非表示状態から表示状態に変更する
　情報処理装置。
　（６）
　上記（５）に記載の情報処理装置であって、
　上記表示制御部は、上記視点の位置の変化に応じて上記表示空間を変化させる
　情報処理装置。
　（７）
　上記（６）に記載の情報処理装置であって、
　上記視点の位置の変化は、上記表示空間を取得するカメラの揺れに対応する
　情報処理装置。
　（８）
　上記（１）から（７）のうちいずれか一つに記載の情報処理装置であって
　上記オブジェクトは操作用ユーザインターフェースである
　情報処理装置。
　（９）
　上記（１）から（８）のうちいずれか一つに記載の情報処理装置であって
　上記表示制御部は、上記オブジェクトを上記表示空間に定位する
　情報処理装置。
　（１０）
　上記（１）から（９）のうちいずれか一つに記載の情報処理装置であって
　上記表示制御部は、上記オブジェクトを上記表示空間の視点から所定の距離以内に固定する
　情報処理装置。
　（１１）
　上記（１）から（１０）のうちいずれか一つに記載の情報処理装置であって
　上記表示空間は、上記ユーザの視野よりも広い映像である
　情報処理装置。
　（１２）
　上記（１）から（１１）のうちいずれか一つに記載の情報処理装置であって、
　上記表示空間は全天球映像である
　情報処理装置。
　（１３）
　上記（１）から（１２）のうちいずれか一つに記載の情報処理装置であって、
　上記表示装置はヘッドマウントディスプレイである
　情報処理装置。
　（１４）
　上記（１）から（１３）のうちいずれか一つに記載の情報処理装置であって、
　上記表示制御部は、上記ヘッドマウントディスプレイの回転及び移動を検出する６自由度センサの出力に基づいて上記運動視差を生成する
　情報処理装置。
　（１５）
　表示制御部が、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する
　情報処理方法。
　（１６）
　ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
　として情報処理装置を機能させるプログラム。
　１００…映像表示システム
　１１０…ＨＭＤ
　１１１…表示装置
　１１２…センサ
　１２０…情報処理装置
　１２１…映像デコーダ
　１２２…視野内映像生成部
　１２３…並進検出部
　１２４…映像揺れ検出部
　１２５…オブジェクト生成部
　１２６…映像合成部

Claims (16)

  1. 　ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、前記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記ユーザの頭部の位置の変化に応じて前記オブジェクトを非表示状態から表示状態に変更する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記表示制御部は、前記オブジェクトの状態が前記表示状態に変更された後、前記ユーザの頭部の位置が実質的に変化していない場合、前記オブジェクトの状態を前記表示状態から前記非表示状態に変更する
    　情報処理装置。
  4. 　請求項２に記載の情報処理装置であって、
    　前記表示制御部は、
    　　前記ユーザの頭部の位置の変化として、前記ユーザの頭部の位置の並進運動を検出し、
    　　前記表示空間を前記ユーザの頭部の回転運動に対して変化させる一方で、前記表示空間を前記ユーザの頭部の並進運動に対しては実質的に変化させない
    　情報処理装置。
  5. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記表示空間の変化に応じて前記オブジェクトを非表示状態から表示状態に変更する
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　前記表示制御部は、前記視点の位置の変化に応じて前記表示空間を変化させる
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記視点の位置の変化は、前記表示空間を取得するカメラの揺れに対応する
    　情報処理装置。
  8. 　請求項１に記載の情報処理装置であって、
    　前記オブジェクトは操作用ユーザインターフェースである
    　情報処理装置。
  9. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記オブジェクトを前記表示空間に定位する
    　情報処理装置。
  10. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記オブジェクトを前記表示空間の視点から所定の距離以内に固定する
    　情報処理装置。
  11. 　請求項１に記載の情報処理装置であって、
    　前記表示空間は、前記ユーザの視野よりも広い映像である
    　情報処理装置。
  12. 　請求項１１に記載の情報処理装置であって、
    　前記表示空間は全天球映像である
    　情報処理装置。
  13. 　請求項１に記載の情報処理装置であって、
    　前記表示装置はヘッドマウントディスプレイである
    　情報処理装置。
  14. 　請求項１３に記載の情報処理装置であって、
    　前記表示制御部は、前記ヘッドマウントディスプレイの回転及び移動を検出する６自由度センサの出力に基づいて前記運動視差を生成する
    　情報処理装置。
  15. 　表示制御部が、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、前記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する
    　情報処理方法。
  16. 　ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、前記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
    　として情報処理装置を機能させるプログラム。
PCT/JP2019/018720 2018-05-22 2019-05-10 情報処理装置、情報処理方法及びプログラム WO2019225354A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980032291.3A CN112119451A (zh) 2018-05-22 2019-05-10 信息处理装置、信息处理方法和程序
JP2020521155A JPWO2019225354A1 (ja) 2018-05-22 2019-05-10 情報処理装置、情報処理方法及びプログラム
EP19807859.4A EP3799027A4 (en) 2018-05-22 2019-05-10 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
KR1020207031129A KR20210011369A (ko) 2018-05-22 2019-05-10 정보 처리 장치, 정보 처리 방법 및 프로그램
US17/056,135 US20210314557A1 (en) 2018-05-22 2019-05-10 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-098130 2018-05-22
JP2018098130 2018-05-22

Publications (1)

Publication Number Publication Date
WO2019225354A1 true WO2019225354A1 (ja) 2019-11-28

Family

ID=68617318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/018720 WO2019225354A1 (ja) 2018-05-22 2019-05-10 情報処理装置、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US20210314557A1 (ja)
EP (1) EP3799027A4 (ja)
JP (1) JPWO2019225354A1 (ja)
KR (1) KR20210011369A (ja)
CN (1) CN112119451A (ja)
WO (1) WO2019225354A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7086307B1 (ja) * 2021-04-09 2022-06-17 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023148434A1 (fr) * 2022-02-01 2023-08-10 Boarding Ring Procédé d'affichage d'un repère visuel de confort, notamment anti-cinétose

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105153A (ja) * 2010-11-11 2012-05-31 Sharp Corp 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
WO2016157923A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置及び情報処理方法
JP2017102297A (ja) 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP2017138973A (ja) * 2017-01-18 2017-08-10 株式会社コロプラ 仮想空間の提供方法、およびプログラム
JP2017144038A (ja) * 2016-02-17 2017-08-24 株式会社コーエーテクモゲームス 情報処理プログラム及び情報処理装置
US20170285344A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Peripheral display for head mounted display device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7667700B1 (en) * 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
JP2014071499A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
JP5884816B2 (ja) * 2013-12-16 2016-03-15 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
US9473764B2 (en) * 2014-06-27 2016-10-18 Microsoft Technology Licensing, Llc Stereoscopic image display
JP2016025633A (ja) * 2014-07-24 2016-02-08 ソニー株式会社 情報処理装置、管理装置、情報処理方法、およびプログラム
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
JP6689694B2 (ja) * 2016-07-13 2020-04-28 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6093473B1 (ja) * 2016-08-19 2017-03-08 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6181842B1 (ja) * 2016-11-30 2017-08-16 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105153A (ja) * 2010-11-11 2012-05-31 Sharp Corp 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
WO2016157923A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置及び情報処理方法
JP2017102297A (ja) 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP2017144038A (ja) * 2016-02-17 2017-08-24 株式会社コーエーテクモゲームス 情報処理プログラム及び情報処理装置
US20170285344A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Peripheral display for head mounted display device
JP2017138973A (ja) * 2017-01-18 2017-08-10 株式会社コロプラ 仮想空間の提供方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3799027A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7086307B1 (ja) * 2021-04-09 2022-06-17 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム
WO2022215258A1 (ja) * 2021-04-09 2022-10-13 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム
DE112021007014T5 (de) 2021-04-09 2023-12-07 Mitsubishi Electric Corporation Bewegungsübelkeit-regulierungsvorrichtung, bewegungsübelkeit-regulierungsverfahren und bewegungsübelkeit-regulierungsprogramm

Also Published As

Publication number Publication date
US20210314557A1 (en) 2021-10-07
KR20210011369A (ko) 2021-02-01
EP3799027A1 (en) 2021-03-31
EP3799027A4 (en) 2021-06-16
JPWO2019225354A1 (ja) 2021-07-26
CN112119451A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
US11202008B2 (en) Head mounted display having a plurality of display modes
US10692300B2 (en) Information processing apparatus, information processing method, and image display system
EP3349107B1 (en) Information processing device and image generation method
JP6346131B2 (ja) 情報処理装置および画像生成方法
WO2018155233A1 (ja) 画像処理装置、画像処理方法、および画像システム
WO2016163183A1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
WO2019065846A1 (ja) プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
WO2019225354A1 (ja) 情報処理装置、情報処理方法及びプログラム
AU2017346451B2 (en) HMD delivery system and method
US11051005B2 (en) Virtual reality device and operation method of virtual reality device
KR20160128735A (ko) 디스플레이 장치 및 그의 제어 방법
CN108140357B (zh) 信息处理装置
KR102286517B1 (ko) 컨트롤러 입력에 따른 회전 구동 제어 방법 및 이를 이용한 헤드 마운티드 디스플레이 시스템
KR20200114921A (ko) 관전 영상의 자동제어를 이용한 부하 감소 방법 및 이를 이용한 헤드 마운티드 디스플레이
JP2018136706A (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19807859

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020521155

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019807859

Country of ref document: EP

Effective date: 20201222