WO2020184021A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2020184021A1
WO2020184021A1 PCT/JP2020/004802 JP2020004802W WO2020184021A1 WO 2020184021 A1 WO2020184021 A1 WO 2020184021A1 JP 2020004802 W JP2020004802 W JP 2020004802W WO 2020184021 A1 WO2020184021 A1 WO 2020184021A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
display
wide
display device
Prior art date
Application number
PCT/JP2020/004802
Other languages
English (en)
French (fr)
Inventor
真里 斎藤
賢次 杉原
壮一郎 稲谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202410540425.5A priority Critical patent/CN118502695A/zh
Priority to CN202080018820.7A priority patent/CN113544765B/zh
Priority to JP2021505603A priority patent/JP7416048B2/ja
Priority to US17/310,884 priority patent/US12025794B2/en
Priority to EP20770776.1A priority patent/EP3940687A4/en
Publication of WO2020184021A1 publication Critical patent/WO2020184021A1/ja
Priority to US18/635,525 priority patent/US20240255754A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • This disclosure relates to information processing devices, information processing methods, and programs.
  • VR virtual reality
  • HMD head-mounted display
  • the display screen is located in front of the user's eyes when worn, but there are a transmissive HMD device in which the external appearance can be seen through the display screen and a shielded HMD device in which the field of view is blocked by the display screen. .. Since the shielded HMD device blocks external visual information from the user, it is easy to get an immersive feeling in the content, and it can be said that it is suitable for providing a virtual reality space. If the transmittance of the display screen can be controlled, both the transmissive type and the shield type can be realized by one HMD device.
  • Patent Document 1 discloses a notification state control method capable of more smoothly communicating between a user wearing a shielded HMD device and an external person.
  • the image when a user's state transition including a rising motion or a moving motion of the user is detected during playback of a wide-angle image covering the entire visual field of the user, the image is attached to the head of the user and covers the entire visual field.
  • a real-space image acquired by an outward-facing camera provided in a display device having a display unit is displayed on the display unit in real time, and a 2D image corresponding to a part of the wide-angle image is displayed on the real-space image.
  • the processor when the processor detects a user's state transition including a standing motion or a moving motion of the user during reproduction of a wide-angle image covering the entire visual field of the user, the processor is attached to the head of the user and the visual field is mounted.
  • a real-space image acquired by an outward-facing camera provided in a display device having a display unit that covers the entire area is displayed on the display unit in real time, and a part of the wide-angle image is supported on the real-space image.
  • We propose an information processing method including controlling to display a 2D image.
  • a computer when a computer detects a user's state transition including a standing motion or a moving motion of the user during reproduction of a wide-angle image covering the entire visual field of the user, the computer is attached to the head of the user and the visual field is displayed.
  • a real-space image acquired by an outward-facing camera provided in a display device having a display unit that covers the entire area is displayed on the display unit in real time, and a part of the wide-angle image is supported on the real-space image.
  • FIG. 1 is a diagram illustrating an outline of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the present embodiment includes a display device 10 (information processing device) and a content server 20.
  • the display device 10 is a device having a display unit 150 (FIG. 2) that presents an image of the virtual space to the user.
  • the display device 10 is realized by an HMD device worn on the user's head or face.
  • the HMD device has, for example, an image display unit for each of the left and right eyes, and is configured to be able to control vision and hearing by using headphones in combination.
  • the HMD device can also project different images to the left and right eyes, and can also present a 3D image by displaying an image having parallax with respect to the left and right eyes.
  • the display device 10 includes an IMU (Inertial Measurement Unit) that senses the real space in order to recognize the position and posture of the user, an outward-facing camera, an inward-facing camera, a microphone, and the like.
  • IMU Inertial Measurement Unit
  • the display device 10 acquires the contents of the virtual space from the content server 20.
  • the display device 10 generates a free viewpoint image from the acquired content according to the movement of the user, and displays it on the display unit 150.
  • the movement of the user includes the posture of the user, and the display device 10 follows the posture of the user based on various sensing data sensed by the user.
  • the display device 10 may perform head tracking and eye tracking based on the sensing data.
  • the information processing system according to the present disclosure may further include a remote controller and a game controller for communicating the user's intention to the system. When it is assumed that the user views the virtual space content while sitting or standing, the movement in the virtual space can be moved by operating the remote controller or the game controller.
  • the generation of the free viewpoint image and the tracking process are performed by the display device 10, but the present disclosure is not limited to this, and a configuration may be performed by an external device.
  • the virtual space content provided to the user is spherical content, free-viewpoint content, game content, or the like.
  • the spherical content is content of a 360-degree image (so-called spherical image), but may be a wide-angle image (for example, a 180-degree image) that covers at least the entire field of view of the user.
  • the free viewpoint content is a content that uses images captured by a plurality of cameras to generate an image when a virtual camera is placed at an arbitrary position, and enables image viewing from any viewpoint. .. For example, by 3D modeling, synthesizing, and complementing people and objects acquired from a plurality of cameras, it is possible to view from an arbitrary viewpoint including an angle in which no camera exists. Content can be recorded or real-time.
  • VR space can be perceived by a real user through one or more display devices and / or through one or more user interfaces.
  • the user may be represented by an avatar, or the world of the virtual space may be displayed from the viewpoint of the avatar without displaying the avatar on the display.
  • the user's (or avatar's) viewpoint in the virtual space can be regarded as the field of view of the virtual camera.
  • the "virtual camera” refers to a viewpoint in a virtual space, and is used in a calculation for drawing a three-dimensional virtual space as a two-dimensional image on a display (display device).
  • a mechanism capable of improving usability is provided by allowing the user to leave the seat while continuing to view a part of the wide-angle image while viewing the wide-angle image covering the entire field of view of the user. suggest.
  • FIG. 2 is a block diagram showing an example of the configuration of the display device 10 according to the present embodiment.
  • the display device 10 according to the present embodiment includes a control unit 100, a communication unit 110, a sensor unit 120, an outward camera 130, an operation input unit 140, a display unit 150, a speaker 160, and a storage unit. It is equipped with 170.
  • the sensor unit 120 senses the user state or the surrounding situation at a predetermined cycle, and outputs the sensed information to the control unit 100.
  • the sensor unit 120 captures the user's movements, an inward-looking camera 121 that captures the user's eyes when the display device 10 is attached to the user's head or face, a microphone 122 that collects the user's voice and surrounding voices. It has a plurality of sensors such as an IMU 123 for sensing and an orientation sensor 124 for detecting the orientation of the display device 10.
  • the inward camera 121 is a camera (for example, an infrared sensor having an infrared light emitting unit and an infrared imaging unit) that captures the eyes of a user wearing the display device 10.
  • the inward-facing camera 121 may be provided for right-eye photography and left-eye photography, respectively, or may be provided only on one of them.
  • the microphone 122 collects the user's voice and surrounding voice (environmental sound, etc.) and outputs the voice signal to the control unit 100.
  • the IMU 123 is an example of a motion sensor, has a 3-axis gyro sensor and a 3-axis acceleration sensor, and can calculate a three-dimensional angular velocity and acceleration.
  • the motion sensor may be a sensor capable of detecting a total of 9 axes having a 3-axis geomagnetic sensor.
  • the motion sensor may be at least one of a gyro sensor and an acceleration sensor.
  • the azimuth sensor 124 is a sensor that measures the direction of the display device 10, and is realized by, for example, a geomagnetic sensor.
  • Control unit 100 functions as an arithmetic processing unit and a control device, and controls the overall operation of the display device 10 according to various programs.
  • the control unit 100 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor. Further, the control unit 100 may include a ROM (Read Only Memory) for storing programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) for temporarily storing parameters and the like that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 100 also functions as a posture information acquisition unit 101, a movement information acquisition unit 102, a line-of-sight information acquisition unit 103, a content important area identification unit 104, and a drawing processing unit 105.
  • the posture information acquisition unit 101 acquires (calculates) the user's posture information (including the head posture) based on the sensing data acquired from the sensor unit 120. For example, the posture information acquisition unit 101 can calculate the user posture including the head posture of the user based on the sensing data of the IMU 123 and the orientation sensor 124. This makes it possible to grasp the state transition of the user's body such as whether the user sits or stands.
  • the movement information acquisition unit 102 acquires (calculates) information regarding the actual movement of the user in the real space based on the sensing data acquired from the sensor unit 120. For example, the movement information acquisition unit 102 acquires movement information including the user walking, the traveling direction, and the like, based on the sensing data of the IMU 123 and the direction sensor 124.
  • the line-of-sight information acquisition unit 103 acquires (calculates) the user's line-of-sight information based on the sensing data acquired from the sensor unit 120. For example, the line-of-sight information acquisition unit 103 calculates the user's line-of-sight direction and gaze point (line-of-sight position) based on the sensing data of the inward-facing camera 121.
  • the inward camera 121 is used as an example of a line-of-sight detection sensor for acquiring (calculating) the user's line-of-sight information, but the line-of-sight detection sensor is not limited to this, and for example, the muscles around the user's eye.
  • the line-of-sight information acquisition unit 103 may estimate the line-of-sight direction in a pseudo manner by using the head posture (head direction) acquired by the posture information acquisition unit 101.
  • the content important area identification unit 104 has a function of specifying an important area in the content that the user is viewing.
  • the criteria for determining the important area may be set in advance according to the content. For example, in the case of live soccer footage, the area containing at least the ball and the player closest to the ball is identified as an important area.
  • the drawing processing unit 105 generates and controls the display of the image to be displayed on the display unit 150. For example, as described above, the drawing processing unit 105 generates a free viewpoint image from the content acquired from the content server 20 (for example, a spherical image which is an image of a virtual space) in response to a user's movement or an operation input by a controller. Then, it is displayed on the display unit 150.
  • a free viewpoint image from the content acquired from the content server 20 (for example, a spherical image which is an image of a virtual space) in response to a user's movement or an operation input by a controller. Then, it is displayed on the display unit 150.
  • the drawing processing unit 105 controls the display unit 150 to display the real space image acquired by the outward-facing camera 130 provided in the display device 10, and is equipped with the shield-type HMD device. Even if there is, the outside world can be seen (so-called video see-through). As a result, the user can safely move and work in the real space while wearing the shielded HMD device.
  • the drawing processing unit 105 states the user's state including the user's standing up operation or moving operation. (Transition detection), the real space image is displayed in real time, and the 2D image showing a part of the wide-angle image being viewed is controlled to be displayed on the real space image.
  • Transition detection the real space image is displayed in real time
  • the 2D image showing a part of the wide-angle image being viewed is controlled to be displayed on the real space image.
  • This allows the user to continue viewing at least a portion of the wide-angle image while leaving the seat to move or work in real space. For example, by displaying an important area of the content as a part of a wide-angle image, it is possible to prevent an important scene from being overlooked while away from the desk.
  • the drawing processing unit 105 may include a region (gaze region) that the user was looking at immediately before leaving his / her seat in a part of the wide-angle image to be displayed. Further, the drawing processing unit 105 may arrange a 2D image showing a part of the wide-angle image at a predetermined position in the local coordinate system with respect to the display device 10.
  • the communication unit 110 connects to the content server 20 by wire or wirelessly to transmit / receive data.
  • the communication unit 110 communicates with the content server 20 by, for example, a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), or the like.
  • Outward camera 130 takes an image of the real space and outputs the captured image (real space image) to the control unit 100.
  • a plurality of outward-facing cameras 130 may be provided.
  • a stereo camera provided with a plurality of outward-facing cameras 130 can acquire an image for the right eye and an image for the left eye.
  • Operation input unit 140 detects the user's operation input to the display device 10 and outputs the operation input information to the control unit 100.
  • the operation input unit 140 may be, for example, a touch panel, a button, a switch, a lever, or the like. Further, the user's operation input to the display device 10 is not limited to a physical operation by a button or the like, and may be a gesture input or a voice input. The user can also input operations using a controller that is separate from the display device 10.
  • the display unit 150 includes left and right screens fixed so as to correspond to the left and right eyes of the user, and displays an image for the left eye and an image for the right eye. Further, the display unit 150 is provided so as to cover at least the entire visual field of the user. Further, the screen of the display unit 150 may be a display panel such as a liquid crystal display (LCD) or an organic EL ((Electro Luminescence) display).
  • LCD liquid crystal display
  • organic EL (Electro Luminescence) display).
  • the speaker 160 is configured as headphones worn on the user's head and reproduces an audio signal. Further, the speaker 160 is not limited to the headphone type, and may be configured as an earphone or a bone conduction speaker.
  • the storage unit 170 is realized by a ROM (Read Only Memory) that stores programs and arithmetic parameters used for processing of the control unit 100, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate. Further, the storage unit 170 may store the contents of the virtual space (such as spherical images) acquired from the content server 20.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the configuration of the display device 10 has been specifically described above, the configuration of the display device 10 according to the present disclosure is not limited to the example shown in FIG.
  • at least a part of the functional configuration of the control unit 100 may be provided in an external device (for example, an information processing device that communicates with the display device 10, a server on a network, or the like).
  • the content server 20 when the content is not delivered from the content server 20 in real time such as live video, it is possible to save the content in advance in the storage unit 170 and play the content even when it is not connected to the network. Become.
  • FIG. 3 is a flowchart showing an example of the flow of operation processing according to the first embodiment. As shown in FIG. 3, while the user wearing the display device 10 is viewing the spherical image in the sitting position (step S103), the display device 10 continuously detects the user's line of sight by the inward camera 121. (Step S106).
  • the display device 10 detects the user's standing motion (standing position) by the posture information acquisition unit 101 based on the sensing data sensed from the IMU 123 (step S109). If the posture simply moves while sitting (such as leaning forward or looking around), it is not detected as a standing position, and the display device 10 adjusts to the change in the user's posture and the user's posture in the virtual space. It is possible to move the viewpoint.
  • step S109 when the standing position of the user is detected (step S109 / Yes), the display device 10 considers that the user is away from the seat, turns on the outward camera 130 (step S112), and immediately before the standing position detection. Identification of the user's gaze point in the spherical image (step S115), identification of the important area of the content (omnidirectional image) (step S118), and invalidation of operations in the virtual space such as free viewpoint operation. (Step S127). These processes may be processed in parallel.
  • the outward-facing camera 130 that acquires a real-space image is basically turned off when the user is viewing the spherical image in order to reduce power consumption, but when the user stands up, it is actually turned off. Since movement and work in space are expected, the outward camera 130 is controlled to be ON to acquire a real space image.
  • the display device 10 generates a 2D image including the specified gaze area and important area from the spherical image by the drawing processing unit 105.
  • FIG. 4 is a diagram showing a display example in the display unit 150 of the display device 10 according to the present embodiment. As shown on the left side of FIG. 4, when the user stands up while viewing the spherical image using the display device 10 while the user is sitting, the real space image 400 is shown on the right side of FIG.
  • the 2D image 500 including the gaze area 310 that the user was gazing at until just before and the important area 320 (for example, a soccer ball and a chasing player) of this content is converted into a real space image 400. It is superimposed and displayed on.
  • the content can be continuously viewed without disturbing the movement or work in the real space.
  • the goal It is possible to prevent overlooking important scenes such as moments.
  • the display position of the 2D image 500 is not particularly limited, and may be displayed at a predetermined position (for example, below the field of view) in the local coordinate system with respect to the display device 10. Further, when the user starts walking, the user may be arranged at a position that does not interfere with the movement of the user.
  • the shape of the 2D image 500 may be a quadrangle as shown in FIG. 4, a circle, an ellipse, or the like.
  • the display device 10 may use the layer of the background image as a real space image, continuously reduce the area of the spherical image, switch to the 2D image 500, and superimpose the display on the real space image.
  • the display device 10 controls the display angle of view so that the important part of the spherical image can always be seen in the 2D image 500.
  • FIG. 5 is a flowchart showing an example of the flow of operation processing according to the second embodiment.
  • the display device 10 first identifies the user's gaze point immediately before the standing position detection (step S203), and also identifies the important region of the content (omnidirectional image) (step S206). ..
  • the display device 10 calculates the distance between the gaze area and the important area (step S209).
  • the display device 10 determines the magnification of the important area (step S212).
  • the magnification of the important area is determined in advance. For example, in the case of soccer broadcasting, a magnification may be set so that the ball has a predetermined size (recognizable size).
  • the display device 10 determines whether or not both the gaze area and the important area are within the presentation range of the 2D image (that is, the display size and angle of view of the 2D image) (step S215). Since the display size of the 2D image is basically set in advance (exception, when the user is working in the real space, the display size may be controlled small so as not to disturb the work area), for example.
  • the display device 10 may make a determination based on whether or not the distance between the gaze area and the important area exceeds a predetermined value. In addition, if the image is reduced and displayed, it may fit within the presentation range of the 2D image, but if it is too small, it is difficult to see. Therefore, as described above, a predetermined image is taken into consideration with a predetermined magnification. It may be determined whether or not both the gaze area and the important area are included in the angle.
  • step S215 when both are included (step S215 / Yes), the drawing processing unit 105 of the display device 10 generates a 2D image including both (step S218).
  • step S215 / No the drawing processing unit 105 of the display device 10 generates a 2D image that transitions from the gaze area to the important area while changing the display magnification (step S221).
  • the drawing processing unit 105 of the display device 10 may generate a 2D image that focuses (enlarges) the important portion from a wide range (reduced image) including both the gaze area and the important region. Such an example will be described later with reference to FIG.
  • the display device 10 controls the display unit 150 to display a 2D image of the content (omnidirectional image) against the background of the real space image (step S224).
  • FIG. 6 is a transition diagram showing a display example of a 2D image showing a part of the spherical image according to this embodiment.
  • the display device 10 when the gaze area 310 and the important area 320 are separated from each other as shown in the upper left of FIG. 6 and do not fall within the presentation range of the 2D image, first, as shown in the upper right of FIG. The image is reduced to present a 2D image 500a including both the gaze area 310 and the important area 320, then a 2D image 500b focused on the important area 320 as shown in the lower left of FIG. 6, and finally FIG. As shown in the lower right, a 2D image 500c in which the important region 320 is enlarged to a predetermined magnification may be displayed.
  • the display device 10 is similarly shown in the upper right of FIG. 7 when the gaze area 310 and the important area 320 are separated from each other and do not fall within the presentation range of the 2D image.
  • the 2D image 500d including the gaze area 310 is presented, then the 2D image 500e in which the display angle of view changes toward the important area 320 is presented as shown in the lower left of FIG. 7, and finally the right of FIG.
  • the 2D image 500f including the important region 320 and enlarged to a predetermined magnification may be displayed.
  • the display device 10 makes a transition after highlighting an important area in advance (for example, illuminating, surrounding with a blinking line, displaying an arrow). You may do so.
  • the display device 10 may be annotated (highlighting is performed in the same manner as described above).
  • the display device 10 may display the gaze area for a certain period of time and transition from there to an important part (at that time, a countdown display or the like may be performed).
  • FIG. 8 is a flowchart showing an example of the flow of operation processing according to the third embodiment.
  • the display device 10 is in a standing state (a state in which a real space image and a 2D image are presented on the display unit 150) (step S303), and then the movement of the user's body. Is detected (step S306).
  • it is detected as a movement of the body when the person actually starts walking, etc., instead of changing the posture to the extent of leaning forward.
  • the movement information acquisition unit 102 of the display device 10 can detect the movement of the user's body based on the sensing data from the IMU 123, the azimuth sensor 124, and the communication unit 110.
  • the display device 10 determines whether or not the 2D image can be displayed at a position that does not interfere with the movement (step S309).
  • the position that does not interfere with the movement is assumed to be, for example, a place in a real space image that avoids the user's traveling direction or feet, a wall, or a ceiling. For example, if it can be predicted from the shape of the corridor that the user is going straight, it can be placed on the left and right sides of the corridor, or if there are many objects on the aisle and the user must walk carefully, place it above. It can be judged that it is possible.
  • FIG. 9 shows a display example of a 2D image showing a part of the spherical image according to this embodiment. As shown in FIG. 9, for example, when the user is walking toward the kitchen on the right side of the real space image 400, the display device 10 displays the 2D image 500 on the left side.
  • the display device 10 hides the 2D image and pauses the content viewing to secure the field of view in the movement direction. (Step S315).
  • the content may be chased, played at high speed, or digested while stopped.
  • the display device 10 may control the reproduction of the content (omnidirectional image) by using the line of sight of the user.
  • the display device 10 reproduces the content when the user's line of sight is within the content (for example, in a 2D image showing a part of the content superimposed on the real space image) for a certain period of time or longer. May be continued and playback may be paused when the time is off for a certain period of time.
  • the playback and the stop are controlled in the line-of-sight state, the playback may be started in duplicate from the portion before the stop for a certain period of time at the time of restart.
  • the display device 10 has a low certainty of the IMU (when the estimation is not successful), and when the content being viewed (object in the content) has a continuous user's gaze point. It may be determined that the user is merely moving his / her posture instead of standing, and the content viewing may be prioritized. On the contrary, if the gazing point is not in the object in the content or is moved to the periphery, it may be determined to be standing.
  • the display device 10 may personalize the important area according to the line of sight. It is useful when the important areas may differ from person to person. Specifically, when the gaze point distribution in the content viewing space is concentrated at a specific position within a certain period of time, the display device 10 estimates that part as an important area for the user and personalizes the important area. can do. Then, for example, while the real space image has the user's line of sight, at least the personalized important area of the content is saved (recorded), and when the content is returned to viewing, the important area is chased and played, or chased and played at high speed. Alternatively, the digest playback while stopped may be performed.
  • the display device 10 may be regarded as working in the real space (making coffee, toilet, courier service, etc.). .. In this case, the display device 10 determines the presentation position of the content (2D image) according to the movement of the line of sight. For example, as shown in FIG. 10, the trajectory of the gazing point L when the user is working at hand or at his feet is analyzed, a position that does not interfere with the work is specified, and the arrangement of the 2D image 570 of the content is adjusted. .. For example, a position where there is no object, a position where the body such as a user's hand is not detected, or the like is assumed near the line-of-sight position during work.
  • the display device 10 may analyze the real space image, detect in advance what work the user is trying to do, and control the arrangement of the 2D image. For example, when it is predicted that coffee will be made, the place where sugar, milk, etc. are present should be excluded from the 2D image placement area in advance.
  • the display device 10 can perform playback control according to the operating range of the user. Specifically, when the user's work area extends beyond a certain range in the real space, such as when the body changes direction more than a certain frequency (work in a wide range such as drying laundry or moving things), it interferes with the work.
  • the playback of the 2D image of the content may be paused and resumed when the user can sit down or watch the content again.
  • the display device 10 may suspend the content (2D image) when it detects that the user is interacting with another person in the real space.
  • the display device 10 analyzes the content that is not a real-time image in advance and presents the information to the user when the excitement time is near, or displays the spherical image when changing it to a 2D image when the excitement time is near.
  • An effect that makes it difficult for the angle of view to shrink, or an effect that is different from the usual one when shrinking may be given. Further, even if the content is real-time, if the excitement is expected, the information may be presented to the user.
  • the display device 10 may control the reproduction of the content according to the surrounding environment. For example, the display device 10 may increase the brightness of the content (2D image) when the real space is bright and present it in a large size. Further, the display device 10 may not reduce the sound of the 2D imaged content so much in a noisy place. Further, the 2D image of the content may be displayed in a place where the color of the real space is different from the color of the content.
  • the display device 10 may default to display control for reducing the display angle of view toward the center of the spherical image (for example, the center of the user's line of sight) to create a 2D image.
  • the place where the character is in the spherical image may be regarded as an important area.
  • the user may arbitrarily set the mode so that the 2D image can be continuously viewed while being displayed.
  • the shape of the 2D image is not limited to a uniform square or circle, and may be scaled to a shape suitable for the content. Further, the 2D image may be a plurality of images (for example, a score display screen in a soccer broadcast content and a play display screen around the ball).
  • the display device 10 may shift the intermediate state of the transition of the display screen by animation to prevent the screen from suddenly switching. it can. Further, each time it is detected that the transition from the sitting position to the standing position is detected, the 2D image may be displayed at the same specific position (for example, the center of the visual field) and then moved to an appropriate position (user). You can not miss the image that changed from the spherical image to the 2D image).
  • the display device 10 starts switching the display when the standing position is detected, but prevents the transition completely for a certain period of time, and then switches when the certainty of recognizing the moving motion becomes higher than a certain value. The transition of may be completed. Also, if the user's line of sight is available, the transition of switching may be started when the line of sight shifts to the (background) real space image.
  • FIG. 11 is a flowchart showing an example of the flow of operation processing according to the fourth embodiment.
  • step S403 when the display device 10 detects a stop or sitting position after being in a moving state (a state in which a real space image and a 2D image are presented) (step S403) (step S406 /). Yes), it is determined whether or not the line of sight (gaze point) is in the content (2D image superimposed on the real space image) (step S406).
  • step S409 / Yes when the line of sight (gaze point) is in the content (step S409 / Yes), the display device 10 turns off the outward camera 130 (step S412) and controls to return to viewing the spherical image (step). S415).
  • step S409 / No when the line of sight (gaze point) is not in the content (step S409 / No), the display device 10 considers that the work is being performed in the real space, does not interfere with the work, and is in a position where the content can be followed by the line of sight. Control to display an image (step S418).
  • the display device 10 can perform not only display control of contents but also control of sound. For example, when the user is moving or working in the real space, the display device 10 needs to listen to the surrounding sounds, so that the volume of the content (2D image) may be reduced to continue playing. Also, if the AR expression of the sound is performed, this is stopped. Further, when the display device 10 stops the reproduction of the content which is not in real time, the sound is also stopped. On the contrary, when the playback of the real-time content is stopped, only the sound may be played to prevent oversight.
  • the display device 10 can warn with a sound and emphasize the excitement when the user is not watching the content (2D image), and can realize prevention of oversight.
  • the display device 10 may adjust the speaker 160 so that the ambient volume is relatively small with respect to the volume of the content.
  • the ambient sound that becomes a predetermined trigger for example, a doorbell, a family call, etc.
  • General sounds can be registered in the DB as cancellation exclusion sounds, and other sounds can be pre-registered by the user.
  • the cancellation of the ambient sound may be stopped at the timing when the outward camera 130 is turned on.
  • the display device 10 switches the display when a standing position is detected in the case of a sitting game, and when a movement is detected in the case of a standing game, and the real space image is used as the background. A part of the whole celestial sphere image of the game screen is converted into a 2D image and superposed on the real space image, and the operation in the virtual space is invalidated. As a result, when viewed from another user who is playing the game together in the virtual space, the user's avatar or the like suddenly stops moving in the game or does not respond. Therefore, at this time, the display device 10 notifies the content server 20 of the status (for example, "start of movement", “moving”, “suspended”, "away from the seat”, etc.), as shown in FIG.
  • the status notification image 602 such as "moving" is displayed on the user's avatar 601.
  • the status notification image 602 such as "moving” is displayed on the user's avatar 601.
  • the display device 10 may emphasize the appealing sound to the user.
  • a 2D image of the game progressing in real time can be displayed around the gaze area so that it does not interfere with the movement or work. To some extent, it is possible to grasp the progress of the game. Further, when the game is restarted, high-speed playback (digest playback) may be performed. Further, when the game is interrupted by standing or moving, only the sound in the virtual space may be in the playback state.
  • FIG. 13 is a display example of the 2D image 620 according to this embodiment. Since the controller is difficult to use while moving, it may be possible to enable touch gestures and voice operation inputs for the 2D image 620 displayed as shown in the display device 10 and FIG. In addition, since erroneous operation of the 2D image 620 is likely to occur when moving or working in the real space is involved, voice recognition and gestures are combined so that the activation is performed by voice and the operation confirmation is performed by voice. You may. In addition, the line of sight and the gesture may be combined so that the operation can be performed only where the user is looking.
  • the display device 10 moves out of a predetermined fixed area such as leaving the viewing room, the content viewing may be interrupted and the real space image may be displayed.
  • the display device 10 may always present the surrounding real space environment from the viewpoint of avoiding danger. For example, the display device 10 may always be able to see places that are likely to cause danger (stepping, bumping, etc.), such as below the feet and below the left and right. Further, the display device 10 may present the surrounding real space environment depending on the situation (dangerous state, etc.).
  • the display device 10 when the display device 10 does not frequently move or work in the real space, or moves only within a certain range, the display device 10 makes the spherical image semi-transparent and displays the entire real space image so that it can be seen. Good. At this time, the display device 10 increases the transparency of the spherical image when there are many movements of the gaze point to the object in the real space, and conversely, when there are many gaze points to the spherical image, the spherical image The transparency of the image may be reduced. The content will continue to play, and if the user stops or sits, the translucency will be removed.
  • FIG. 14 is a diagram showing an example of a perforated display in a real space according to the present embodiment.
  • a real space image 400 is displayed on a part of the spherical image 300 so that it can be viewed.
  • display range of a real space image may be determined, for example, according to the distribution of the gazing point of the user's line of sight.
  • the display device 10 may increase the display range of the real space image when gazing at the real space.
  • the display device 10 may display a real space image in the moving direction and continue playing the content in the peripheral portion other than the moving direction. Then, when the user stops or sits down, the hole in the content is filled in order to secure the field of view in the real space, and the reproduction of the spherical image is restarted.
  • the display device 10 may always fix the display position of the 2D image of the content, such as below the front.
  • the display device 10 may control the display so that the spherical image appears to be split in the traveling direction of the user.
  • the image 500 omnidirectional image
  • the image 500 h is divided in the traveling direction of the user and displayed on the left and right respectively (2D image 500 g, 500 h).
  • a computer program for exerting the functions of the display device 10 and the content server 20 on the hardware such as the display device 10 (information processing device) and the CPU, ROM, and RAM built in the content server 20 is also created. It is possible. Also provided is a computer-readable storage medium that stores the computer program.
  • the present technology can also have the following configurations.
  • a display device mounted on the head of the user and having a display unit covering the entire visual field.
  • the real space image acquired by the outward-facing camera provided in the above is displayed on the display unit in real time, and the 2D image corresponding to a part of the wide-angle image is controlled to be displayed on the real space image.
  • the control unit generates a part of the wide-angle image including a gaze area based on the line-of-sight information of the user immediately before detecting the state transition as the 2D image, according to the above (2).
  • Information processing device Information processing device.
  • the control unit transitions from a part of the wide-angle image including a gaze area based on the user's line-of-sight information immediately before detecting the state transition and a predetermined important area to an enlarged image of the important area.
  • the information processing apparatus according to (1) above, which generates an image.
  • control unit generates a 2D image transitioning to a predetermined important region from a gaze region based on the line-of-sight information of the user immediately before detecting the state transition in the wide-angle image. Processing equipment.
  • control unit controls the display position of the 2D image according to the moving direction when the moving motion of the user is detected.
  • control unit controls the power of the outward-facing camera to be turned on when the state transition is detected.
  • the control unit When the control unit detects the movement stop operation or sitting position of the user, the control unit switches from the display of the 2D image to the display of the wide-angle image covering the entire visual field of the user according to the line-of-sight information of the user.
  • the information processing apparatus according to any one of (7) to (7).
  • the processor When a user's state transition including a rising motion or a moving motion of the user is detected during playback of a wide-angle image covering the entire visual field of the user, a display device mounted on the head of the user and having a display unit covering the entire visual field.
  • the real space image acquired by the outward-facing camera provided in the above is displayed on the display unit in real time, and the 2D image corresponding to a part of the wide-angle image is controlled to be displayed on the real space image.
  • Information processing methods including that. (10) Computer, When a user's state transition including a rising motion or a moving motion of the user is detected during playback of a wide-angle image covering the entire field of view of the user, a display device mounted on the head of the user and having a display unit covering the entire field of view.
  • the real space image acquired by the outward-facing camera provided in the above is displayed on the display unit in real time, and the 2D image corresponding to a part of the wide-angle image is controlled to be displayed on the real space image.
  • Display device 20
  • Content server 100
  • Control unit 101
  • Attitude information acquisition unit 102
  • Movement information acquisition unit 103
  • Line-of-sight information acquisition unit 104
  • Content important area identification unit 105
  • Drawing processing unit 110
  • Communication unit 120
  • Sensor unit 121
  • Inward camera 122
  • Microphone 124
  • Orientation sensor 130
  • Outward camera 140
  • Operation input unit 150
  • Display unit 160 Speaker 170 Storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Business, Economics & Management (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザの視野全体を覆う広角画像の再生中に、前記ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移を検出すると、前記ユーザの頭部に装着され、視野全体を覆う表示部を有する表示装置に設けられた外向きカメラによって取得された実空間画像を、前記表示部にリアルタイムで表示すると共に、前記実空間画像上に、前記広角画像の一部に対応する２Ｄ画像を表示するよう制御する制御部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、ユーザの頭部や顔に装着される表示装置、いわゆるヘッドマウントディスプレイ（ＨＭＤ）を用いて、仮想の映像をあたかも現実の出来事のようにユーザに提供する仮想現実（VR：Virtual　Reality）技術が提案されている。
　HMD装置では装着時に表示画面がユーザの眼前に位置するが、当該表示画面越しに外部の様子が透けて見える透過型HMD装置と、当該表示画面によって視界が遮蔽される遮蔽型HMD装置とがある。遮蔽型HMD装置では、ユーザに対して外部の視覚的な情報が遮断されるため、コンテンツへの没入感が得やすく、仮想現実空間の提供に適していると言える。なお、表示画面の透過率を制御することが可能な場合、透過型および遮蔽型のいずれも一のHMD装置で実現することができる。
　また、仮想現実技術では、広角画像の一部を切り出した画像を、ユーザの頭部の動きに追従して提示することができる。例えば、ユーザの頭部の動きをジャイロセンサ等から取得し、ユーザの頭部の動きに追従させた全周囲３６０度の映像（いわゆる全天球画像）を実感させることが可能である。ジャイロセンサが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、自由視点視聴および視点移動環境を実現することができる。
　また、遮蔽型HMD装置を装着してコンテンツを視聴したり各種の作業を行っているユーザは、当該コンテンツや作業に集中できる反面、外部の状況を把握することが難しく、外部の人間がコミュニケーションを取ろうと近付いたりしても気付かない場合があった。下記特許文献１では、遮蔽型HMD装置を装着しているユーザと外部の人間とがより円滑にコミュニケーションを取ることが可能な通知状態制御方法について開示されている。
国際公開第２０１４／１５６３８８号
　しかしながら、遮蔽型HMD装置を装着してコンテンツを視聴している際に、実空間でのちょっとした移動や作業が必要になった場合、その度にHMD装置を着脱したり、若しくは表示画面の透過率を調整して透過型HMD装置に変化させると、特にスポーツ中継などのライブ視聴の場合、重要な場面を見逃してしまう恐れがあった。また、ライブ視聴ではなくとも、ユーザは、できるだけコンテンツ視聴を中断せずに楽しみたいものである。
　本開示によれば、ユーザの視野全体を覆う広角画像の再生中に、前記ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移を検出すると、前記ユーザの頭部に装着され、視野全体を覆う表示部を有する表示装置に設けられた外向きカメラによって取得された実空間画像を、前記表示部にリアルタイムで表示すると共に、前記実空間画像上に、前記広角画像の一部に対応する２Ｄ画像を表示するよう制御する制御部を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、ユーザの視野全体を覆う広角画像の再生中に、前記ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移を検出すると、前記ユーザの頭部に装着され、視野全体を覆う表示部を有する表示装置に設けられた外向きカメラによって取得された実空間画像を、前記表示部にリアルタイムで表示すると共に、前記実空間画像上に、前記広角画像の一部に対応する２Ｄ画像を表示するよう制御することを含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、ユーザの視野全体を覆う広角画像の再生中に、前記ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移を検出すると、前記ユーザの頭部に装着され、視野全体を覆う表示部を有する表示装置に設けられた外向きカメラによって取得された実空間画像を、前記表示部にリアルタイムで表示すると共に、前記実空間画像上に、前記広角画像の一部に対応する２Ｄ画像を表示するよう制御する制御部として機能させるための、プログラムを提案する。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態に係る表示装置の構成の一例を示すブロック図である。 第１の実施例による動作処理の流れの一例を示すフローチャートである。 第１の実施例による全天球画像の一部を示す２Ｄ画像の表示例を示す図である。 第２の実施例による動作処理の流れの一例を示すフローチャートである。 第２の実施例による全天球画像の一部を示す２Ｄ画像の表示例を示す遷移図である。 第２の実施例による全天球画像の一部を示す２Ｄ画像の他の表示例を示す遷移図である。 第３の実施例による動作処理の流れの一例を示すフローチャートである。 第３の実施例による全天球画像の一部を示す２Ｄ画像の表示例を示す図である。 本実施形態による実空間での作業時におけるコンテンツの２Ｄ画像の表示位置について説明する図である。 第４の実施例による動作処理の流れの一例を示すフローチャートである。 第５の実施例による仮想空間内における他ユーザへのユーザの状態通知表示の一例について説明する図である。 第５の実施例による２Ｄ画像の表示例である。 本実施形態による実空間の穴あき表示の一例を示す図である。 本実施形態による進行方向に割れた全天球画像の表示例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成例
　３．動作処理
　　３－１．第１の実施例
　　３－２．第２の実施例
　　３－３．第３の実施例
　　３－４．第４の実施例
　　３－５．第５の実施例
　　３－６．第６の実施例
　４．その他
　５．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムは、図１に示すように、表示装置１０（情報処理装置）と、コンテンツサーバ２０とを含む。
　表示装置１０は、仮想空間の画像をユーザに提示する表示部１５０（図２）を有する装置である。例えば表示装置１０は、ユーザの頭部または顔に装着されるＨＭＤ装置により実現される。ＨＭＤ装置は、例えば左右の眼毎の画像表示部を有すると共に、ヘッドフォンを併用し、視覚および聴覚を制御できるよう構成される。また、ＨＭＤ装置は、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示することで３Ｄ画像を提示することも可能である。
　また、表示装置１０は、ユーザの位置および姿勢を認識するために実空間をセンシングするＩＭＵ（Inertial　Measurement　Unit）や外向きカメラ、内向きカメラ、マイクロフォン等を有する。
　また、表示装置１０は、コンテンツサーバ２０から仮想空間のコンテンツを取得する。表示装置１０は、取得したコンテンツから、ユーザの動きに応じて自由視点画像を生成し、表示部１５０に表示する。ユーザの動きとは、ユーザの姿勢を含み、表示装置１０は、ユーザをセンシングした各種センシングデータに基づいて、ユーザの姿勢を追従する。例えば、表示装置１０は、センシングデータに基づいてヘッドトラッキングおよびアイトラッキングを行い得る。また、本開示による情報処理システムは、さらに、ユーザの意図をシステムに伝えるためのリモートコントローラやゲームコントローラを含んでもよい。ユーザが、座位若しくは立ち止まった状態で仮想空間コンテンツを視聴することを想定する場合、仮想空間内での前後上下左右の移動は、リモートコントローラやゲームコントローラの操作により移動できるものとする。
　本実施形態では、自由視点画像の生成やトラッキング処理を表示装置１０で行う旨を説明するが、本開示はこれに限定されず、外部装置により行われる構成であってもよい。
　また、ユーザに提供される仮想空間のコンテンツは、全天球コンテンツ、自由視点コンテンツ、またはゲームコンテンツ等である。全天球コンテンツとは、全周囲３６０度の映像（いわゆる全天球画像）のコンテンツであるが、少なくともユーザの視野全体を覆う広角画像（例えば、１８０度の映像）であってもよい。また、自由視点コンテンツとは、複数のカメラを用いて撮像した映像を用いて、任意の位置に仮想カメラを置いた際の映像を生成し、あらゆる視点からの映像視聴を可能としたものである。例えば複数のカメラから取得した人物や物体を３Ｄモデル化して合成、補完することで、カメラが存在しないアングルを含む任意の視点からの鑑賞を可能とする。コンテンツは録画されたものと、リアルタイムのものがある。
　本明細書で使用する「仮想空間」（いわゆるＶＲ空間）との用語は、実際のユーザが、１つ以上の表示装置を介して感知し得る、および／または１つ以上のユーザインタフェースを介してインタラクトしうる、１つ以上のプロセッサによってシミュレートされるインタラクションのルールを有する現実または架空の環境の表現を指す。仮想空間内では、ユーザがアバターによって表現されてもよいし、ディスプレイにアバターを表示せずに、アバターの視点から仮想空間の世界を表示してもよい。本明細書において、仮想空間におけるユーザの（またはアバターの）視点とは、仮想カメラの視界とみなすことができる。「仮想カメラ」とは、仮想空間内の視点を指し、三次元の仮想空間を二次元画像としてディスプレイ（表示装置）に描画するための計算に使用される。
　（背景）
　ここで、ユーザの視野全体を実質的に遮蔽した状態のHMD装置を装着して全天球画像や少なくともユーザの視野全体を覆う広角画像のコンテンツを視聴している際に、トイレに行ったりコーヒーを入れる、また、来訪の応対など、実空間でのちょっとした移動や作業が必要になった場合、ユーザは、その度にHMD装置を着脱したり、実空間が見えるよう操作したりする必要があった。この場合、特にスポーツ中継やイベント中継などのライブ視聴をしていた場合は、離席してコンテンツを非表示にしている間に重要な場面を見逃してしまう恐れがあった。また、ライブ視聴ではなくとも、離席中もできるだけコンテンツ視聴を中断せずに楽しみたいものである。
　そこで、本開示では、ユーザの視野全体を覆う広角画像の視聴中に、広角画像の一部分の視聴を継続しながらユーザが離席できるようにすることで、ユーザビリティを向上させることが可能な仕組みを提案する。
　＜＜２．構成例＞＞
　図２は、本実施形態に係る表示装置１０の構成の一例を示すブロック図である。図２に示すように、本実施形態に係る表示装置１０は、制御部１００、通信部１１０、センサ部１２０、外向きカメラ１３０、操作入力部１４０、表示部１５０、スピーカ１６０、および、記憶部１７０を備える。
　＜２－１．センサ部１２０＞
　センサ部１２０は、所定の周期でユーザ状態または周辺の状況をセンシングし、センシングした情報を制御部１００に出力する。センサ部１２０は、表示装置１０がユーザの頭部または顔に装着された際にユーザの眼を撮影する内向きカメラ１２１、ユーザの音声や周辺の音声を収音するマイクロフォン１２２、ユーザの動きをセンシングするＩＭＵ１２３、および、表示装置１０の向きを検知する方位センサ１２４など、複数のセンサを有する。
　内向きカメラ１２１は、表示装置１０を装着しているユーザの眼を撮影するカメラ（例えば赤外線発光部および赤外線撮像部を有する赤外線センサ）である。内向きカメラ１２１は、右目撮影用と、左目撮影用にそれぞれ設けられてもよいし、一方にのみ設けられてもよい。
　マイクロフォン１２２は、ユーザの音声や周囲の音声（環境音など）を収音し、音声信号を制御部１００に出力する。
　ＩＭＵ１２３は、モーションセンサの一例であって、３軸ジャイロセンサおよび３軸加速度センサを有し、３次元の角速度と加速度を算出し得る。なお、モーションセンサは、さらに３軸地磁気センサを有する合計９軸を検出可能なセンサとしてもよい。または、モーションセンサは、ジャイロセンサまたは加速度センサの少なくともいずれかのセンサであってもよい。
　方位センサ１２４は、表示装置１０の方向を計測するセンサであって、例えば、地磁気センサにより実現される。
　＜２－２．制御部１００＞
　制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って表示装置１０の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部１００は、姿勢情報取得部１０１、移動情報取得部１０２、視線情報取得部１０３、コンテンツ重要領域特定部１０４、および描画処理部１０５としても機能する。
　姿勢情報取得部１０１は、センサ部１２０から取得したセンシングデータに基づいて、ユーザの姿勢情報（頭部姿勢を含む）を取得（算出）する。例えば姿勢情報取得部１０１は、ＩＭＵ１２３および方位センサ１２４のセンシングデータに基づいて、ユーザの頭部姿勢を含むユーザ姿勢の算出を行うことができる。これにより、ユーザが座ったか、立ったか、といったユーザの身体の状態遷移を把握することも可能となる。
　移動情報取得部１０２は、センサ部１２０から取得したセンシングデータに基づいて、実空間におけるユーザの実際の移動に関する情報を取得（算出）する。例えば移動情報取得部１０２は、ＩＭＵ１２３および方位センサ１２４のセンシングデータに基づいて、ユーザが歩いていることや、進行方向等を含む移動情報を取得する。
　視線情報取得部１０３は、センサ部１２０から取得したセンシングデータに基づいて、ユーザの視線情報を取得（算出）する。例えば視線情報取得部１０３は、内向きカメラ１２１のセンシングデータに基づいて、ユーザの視線方向および注視点（視線位置）を算出する。ここで、内向きカメラ１２１は、ユーザの視線情報を取得（算出）するための視線検出センサの一例として用いているが、視線検出センサはこれに限定されず、例えばユーザの眼の周辺の筋肉の動きを検知する筋電センサ、または脳波センサ等であってもよい。また、視線情報取得部１０３は、姿勢情報取得部１０１により取得された頭部姿勢（頭の向き）を用いて、疑似的に視線方向を推定してもよい。
　コンテンツ重要領域特定部１０４は、ユーザが視聴しているコンテンツにおける重要領域を特定する機能を有する。重要領域の判断基準は、コンテンツに応じて予め設定されていてもよい。例えばサッカーのライブ映像の場合、ボールおよびボールに最も近い選手を少なくとも含む領域が、重要領域と特定される。
　描画処理部１０５は、表示部１５０に表示する画像の生成および表示制御を行う。例えば描画処理部１０５は、上述したように、コンテンツサーバ２０から取得したコンテンツ（例えば仮想空間の映像である全天球画像）から、ユーザの動きやコントローラによる操作入力に応じて自由視点画像を生成し、表示部１５０に表示する。
　また、本実施形態による描画処理部１０５は、表示装置１０に設けられた外向きカメラ１３０により取得された実空間画像を表示部１５０に表示するよう制御し、遮蔽型HMD装置を装着した状態であっても外界が見えるようにすることができる（いわゆるビデオシースルー）。これによりユーザは、遮蔽型HMD装置を装着した状態で、現実空間での安全な移動や作業を行うことが可能となる。
　ここで、描画処理部１０５は、全天球画像など、少なくともユーザの視野全体を覆う広角画像を視聴中にユーザが立ち上がって離席する場合に（ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移の検出）、実空間画像をリアルタイムで表示すると共に、視聴していた広角画像の一部分を示す２Ｄ画像を、実空間画像上に表示するよう制御する。これによりユーザは、離席して現実空間での移動や作業を行いながらも、広角画像の少なくとも一部分の視聴を続けることができる。例えば広角画像の一部分としてコンテンツの重要領域を表示するようにすることで、離席中に重要なシーンを見逃すことを防止することができる。また、描画処理部１０５は、表示する広角画像の一部分に、ユーザが離席直前に見ていた領域（注視領域）を含むようにしてもよい。また、描画処理部１０５は、広角画像の一部分を示す２Ｄ画像を、表示装置１０を基準とするローカル座標系の所定の位置に配置するようにしてもよい。
　＜２－３．通信部１１０＞
　通信部１１０は、有線または無線により、コンテンツサーバ２０と接続し、データの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により、コンテンツサーバ２０と通信接続する。
　＜２－４．外向きカメラ１３０＞
　外向きカメラ１３０は、実空間を撮像し、撮像画像（実空間画像）を制御部１００に出力する。外向きカメラ１３０は、複数設けられてもよい。例えば外向きカメラ１３０が複数設けられたステレオカメラにより、右目用画像と左目用画像を取得し得る。
　＜２－５．操作入力部１４０＞
　操作入力部１４０は、表示装置１０に対するユーザの操作入力を検出し、操作入力情報を制御部１００に出力する。操作入力部１４０は、例えば、タッチパネル、ボタン、スイッチ、及びレバー等であってもよい。また、表示装置１０に対するユーザの操作入力は、ボタン等による物理的な操作に限定されず、ジェスチャ入力や、音声入力であってもよい。また、ユーザは、表示装置１０と別体のコントローラを用いて操作入力を行うことも可能である。
　＜２－６．表示部１５０＞
　表示部１５０は、表示装置１０がＨＭＤ装置として構成される場合、ユーザの左右の眼にそれぞれ対応するよう固定された左右の画面を備え、左眼用画像および右眼用画像を表示する。また、表示部１５０は、少なくともユーザの視野全体を覆うよう設けられる。また、表示部１５０の画面は、例えば液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）、有機ＥＬ（（Electro　Luminescence）ディスプレイなどの表示パネルであってもよい。
　＜２－７．スピーカ１６０＞
　スピーカ１６０は、表示装置１０がＨＭＤ装置として構成される場合、ユーザの頭部に装着されるヘッドフォンとして構成され、音声信号を再生する。また、スピーカ１６０は、ヘッドフォン型に限定されず、イヤフォン、若しくは骨伝導スピーカとして構成されてもよい。
　＜２－８．記憶部１７０＞
　記憶部１７０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。また、記憶部１７０には、コンテンツサーバ２０から取得した仮想空間のコンテンツ（全天球画像など）が蓄積されていてもよい。
　以上、表示装置１０の構成について具体的に説明したが、本開示による表示装置１０の構成は図２に示す例に限定されない。例えば、制御部１００の機能構成の少なくとも一部が外部装置（例えば表示装置１０と通信接続する情報処理装置、またはネットワーク上のサーバ等）に設けられていてもよい。
　また、コンテンツがライブ映像等のリアルタイムでコンテンツサーバ２０から配信されるものではない場合、記憶部１７０に予め保存し、ネットワークに接続されていない状態であってもコンテンツの再生を行うことが可能となる。
　＜＜３．動作処理＞＞
　続いて、本実施形態によるユーザの視野全体を覆う広角画像再生中におけるユーザの状態遷移に応じた表示制御の処理の流れについて、図面を用いて具体的に説明する。ここでは広角画像の一例として、全天球画像を用いる。
　＜３－１．第１の実施例＞
　図３は、第１の実施例による動作処理の流れの一例を示すフローチャートである。図３に示すように、表示装置１０を装着したユーザが座位にて全天球画像を視聴中に（ステップＳ１０３）、表示装置１０は、内向きカメラ１２１により、継続的にユーザの視線を検出する（ステップＳ１０６）。
　次に、表示装置１０は、ＩＭＵ１２３からセンシングしたセンシングデータに基づいて、姿勢情報取得部１０１により、ユーザの立ち上がり動作（立位）を検出する（ステップＳ１０９）。単に座位のまま姿勢が動く場合（身を乗り出したり、周りを見回す動作など）は、立位として検出されず、表示装置１０は、ユーザの姿勢の変化に合わせて、仮想空間内でのユーザの視点を動かすことが可能となる。
　次いで、ユーザの立位を検出すると（ステップＳ１０９／Ｙｅｓ）、表示装置１０は、ユーザが離席するものとみなし、外向きカメラ１３０をＯＮにする処理と（ステップＳ１１２）、立位検出直前の全天球画像におけるユーザの注視点の特定と（ステップＳ１１５）、コンテンツ（全天球画像）の重要領域の特定と（ステップＳ１１８）、自由視点操作などの仮想空間上での操作の無効化と（ステップＳ１２７）、を行う。これらの処理は、並列で処理してもよい。
　実空間画像を取得する外向きカメラ１３０は、電力消費を抑えるため、ユーザが全天球画像を視聴している際は基本的にはＯＦＦにしているが、ユーザが立ち上がった際には、実空間内での移動や作業が予想されるため、外向きカメラ１３０をＯＮに制御して実空間画像を取得する。
　次いで、表示装置１０は、描画処理部１０５により、全天球画像から、特定した注視領域と重要領域を含む２Ｄ画像を生成する。
　そして、表示装置１０は、表示部１５０に実空間画像を表示すると共に、実空間画像上に、全天球画像の一部分、具体的には、重要領域を含む２Ｄ画像、さらにはユーザが直前まで注視していた注視領域を含む２Ｄ画像を表示する（ステップＳ１２４）。図４は、本実施例による表示装置１０の表示部１５０における表示例を示す図である。図４左側に示すように、ユーザが座った状態で表示装置１０を用いて全天球画像の視聴を行っている際に、ユーザが立ち上がると、図４右側に示すように、実空間画像４００を表示してビデオシースルー状態にすると共に、ユーザが直前まで注視していた注視領域３１０と、本コンテンツの重要領域３２０（例えばサッカーボールと追いかける選手）とを含む２Ｄ画像５００を、実空間画像４００に重畳表示する。
　これにより、実空間での移動や作業に支障を来さずに、コンテンツの少なくとも一部分の視聴は続けることができ、特にコンテンツの重要領域３２０を少なくとも含む２Ｄ画像を表示することで、例えばゴールの瞬間など、重要な場面を見逃すことを防止することができる。
　２Ｄ画像５００の表示位置は特に限定せず、例えば、表示装置１０を基準とするローカル座標系の所定の位置（例えば視野の下方など）に表示するようにしてもよい。また、ユーザが歩き出した場合は、ユーザの移動に邪魔にならない位置に配置するようにしてもよい。
　また、２Ｄ画像５００の形状は、図４に示すような四角形でもよいし、円形、楕円形等であってもよい。また、表示装置１０は、背景画像のレイヤーを実空間画像とし、全天球画像を連続的に領域縮小して、２Ｄ画像５００に切り替え、実空間画像に重畳表示するようにしてもよい。
　また、表示装置１０は、常に全天球画像の重要部分が２Ｄ画像５００で見えるよう、表示画角を制御する。
　＜３－２．第２の実施例＞
　上述した実施例では、直前のユーザの注視領域と重要領域を含む画角の２Ｄ画像５００を表示する場合について説明したが、注視領域と重要領域が離れすぎている場合など、両方の領域を含む画角にすると映像が縮小され過ぎて見え難くなってしまう場合もある。そこで、第２の実施例として、ユーザが表示画角の移動先を見失うことがないよう、２Ｄ画像の画角を重要領域に遷移する表示制御について、図５～図７を参照して説明する。
　図５は、第２の実施例による動作処理の流れの一例を示すフローチャートである。図５に示すように、まず、表示装置１０は、立位検出直前のユーザの注視点を特定し（ステップＳ２０３）、また、コンテンツ（全天球画像）の重要領域を特定する（ステップＳ２０６）。
　次に、表示装置１０は、注視領域と重要領域の距離を算出する（ステップＳ２０９）。
　次いで、表示装置１０は、重要領域の拡大倍率を決定する（ステップＳ２１２）。重要領域の拡大倍率は、予め決定される。例えばサッカー中継の場合は、ボールが所定の大きさ（認識できる大きさ）となる拡大倍率が設定されていてもよい。
　次に、表示装置１０は、２Ｄ画像の提示範囲内（すなわち、２Ｄ画像の表示サイズ、画角）に、注視領域と重要領域の両方が入るか否かを判断する（ステップＳ２１５）。２Ｄ画像の表示サイズも基本的には予め設定されている（例外として、ユーザが実空間で作業をしている場合などには作業領域を邪魔しないよう小さく制御される場合もある）ため、例えば表示装置１０は、注視領域と重要領域の距離が所定値を超えか否かに基づいて判断してもよい。また、画像を縮小して表示すれば２Ｄ画像の提示範囲内に収まる場合もあるが、あまりに小さいと見え難いため、上述したように、予め決定された拡大倍率を考慮した上で、所定の画角内に注視領域と重要領域の両方が入るか否かを判断するようにしてもよい。
　次いで、両方が入る場合には（ステップＳ２１５／Ｙｅｓ）、表示装置１０の描画処理部１０５は、両方を含む２Ｄ画像を生成する（ステップＳ２１８）。
　一方、両方が入らない場合（ステップＳ２１５／Ｎｏ）、表示装置１０の描画処理部１０５は、注視領域から重要領域に表示倍率を変更しながら遷移する２Ｄ画像を生成する（ステップＳ２２１）。具体的な表示例については、図７を参照して後述する。また、表示装置１０の描画処理部１０５は、注視領域と重要領域の両方を含む広い範囲（縮小画像）から、重要部分にフォーカス（拡大）する２Ｄ画像を生成してもよい。かかる例については、図６を参照して後述する。
　そして、表示装置１０は、表示部１５０に、実空間画像を背景として、コンテンツ（全天球画像）の２Ｄ画像を表示する制御を行う（ステップＳ２２４）。
　（具体的な表示例）
　ここで、本実施例による２Ｄ画像の具体的な表示例について、図６および図７を参照して説明する。
　図６は、本実施例による全天球画像の一部を示す２Ｄ画像の表示例を示す遷移図である。例えば表示装置１０は、図６の左上に示すように、注視領域３１０と重要領域３２０が離れており、２Ｄ画像の提示範囲内には入らない場合に、図６の右上に示すように、まずは画像を縮小して注視領域３１０と重要領域３２０の両方を含む２Ｄ画像５００ａを提示し、次に図６の左下に示すように重要領域３２０にフォーカスした２Ｄ画像５００ｂを提示し、最後に図６右下に示すように重要領域３２０を所定の拡大倍率まで拡大した２Ｄ画像５００ｃを表示するようにしてもよい。
　また、表示装置１０は、図７の左上に示すように、同様に、注視領域３１０と重要領域３２０が離れており、２Ｄ画像の提示範囲内には入らない場合に、図７の右上に示すように、まずは注視領域３１０を含む２Ｄ画像５００ｄを提示し、次に図７の左下に示すように表示画角を重要領域３２０に向けて遷移する２Ｄ画像５００ｅを提示し、最後に図７右下に示すように重要領域３２０を含み所定の拡大倍率まで拡大した２Ｄ画像５００ｆを表示するようにしてもよい。
　このように、注視領域から重要領域に遷移することで、ユーザが表示画角の移動先を見失ってどこに遷移したのか分からなくなってしまうことを回避することができる。
　また、表示装置１０は、表示画角の遷移先を明確にするために、事前に重要領域を強調表示（例えば光らせたり、点滅する線で囲ったり、矢印を表示したり）してから遷移するようにしてもよい。
　また、表示装置１０は、注視領域が重要領域部分と異なる場合は、アノテーションするなどして（上記と同様に強調表示を行ったりして）もよい。
　また、表示装置１０は、一定時間は注視領域を表示し、そこから重要部分に遷移するようにしてもよい（その際、カウントダウン表示などを行ってもよい）。
　＜３－３．第３の実施例＞
　続いて、ユーザが立ち上がってさらに移動を開始した場合における２Ｄ画像５００の表示位置の制御について、図８～図９を参照して説明する。
　図８は、第３の実施例による動作処理の流れの一例を示すフローチャートである。図８に示すように、まず、表示装置１０は、立位状態（表示部１５０には実空間画像および２Ｄ画像が提示されている状態）となった後に（ステップＳ３０３）、ユーザの身体の移動を検知する（ステップＳ３０６）。ここでは、身を乗り出す程度の姿勢変化ではなく、実際に歩き出す等した場合に、身体の移動として検知する。例えば表示装置１０の移動情報取得部１０２は、ＩＭＵ１２３や方位センサ１２４、通信部１１０からのセンシングデータに基づいて、ユーザの身体の移動を検知し得る。
　次に、表示装置１０は、２Ｄ画像を、移動を邪魔しない位置に表示可能か否かを判断する（ステップＳ３０９）。移動を邪魔しない位置とは、例えば実空間画像内において、ユーザの進行方向や足元を避けた場所、壁や天井などが想定される。例えば廊下の形状等からユーザの進行方向が直進であると予測できる場合、廊下の左右に配置可能と判断したり、通路上に物が多くユーザが注意して歩かないとならない場合、上方に配置可能と判断したりすることができる。
　次いで、移動を邪魔しない位置に表示可能と判断した場合（ステップＳ３０９／Ｙｅｓ）、表示装置１０は、２Ｄ画像を、ユーザの移動を邪魔しない位置に表示するよう制御する（ステップＳ３１２）。ここで図９に、本実施例による全天球画像の一部を示す２Ｄ画像の表示例を示す。図９に示すように、例えばユーザが実空間画像４００の右の方にあるキッチンに向かって歩いている場合、表示装置１０は、２Ｄ画像５００を左の方に表示する。
　一方、移動を邪魔しない位置に表示することができないと判断した場合（ステップＳ３０９／Ｎｏ）、表示装置１０は、２Ｄ画像を非表示とすると共にコンテンツ視聴を一時停止し、移動方向の視野を確保する（ステップＳ３１５）。この場合、ユーザがまた座位になって視聴できる状態となった場合に、コンテンツの追いかけ再生、または追いかけ高速再生、停止中のダイジェスト再生などを行うようにしてもよい。
　（視線利用）
　また、本実施形態による表示装置１０は、ユーザの視線を利用して、コンテンツ（全天球画像）の再生を制御するようにしてもよい。
　例えば表示装置１０は、ライブ映像などのリアルタイムではないコンテンツの場合に、ユーザの視線がコンテンツ内（例えば実空間画像に重畳表示したコンテンツの一部分を示す２Ｄ画像内）に一定時間以上あるときは再生を継続し、一定時間以上外れたときは再生を一時停止するようにしてもよい。視線状態で再生と停止をコントロールする場合は、再開時に、停止の一定時間前の部分から重複して再生を開始するようにしてもよい。
　また、表示装置１０は、ＩＭＵの確信度が低い場合（推定がうまくいかなかった場合）、視聴しているコンテンツ（コンテンツ内のオブジェクト）にユーザの注視点が継続的にある状態の場合は、立位ではなく、単に姿勢を動かしているだけと判断し、コンテンツ視聴を優先するようにしてもよい。逆に、注視点がコンテンツ内のオブジェクトにない場合や、周辺に移動している場合は、立位と判断するようにしてもよい。
　また、表示装置１０は、視線に応じた重要領域の個人化を行ってもよい。人によって重要領域が異なる可能性がある場合は有用である。具体的には、表示装置１０は、コンテンツ視聴空間での注視点分布が、一定期間内に特定位置に集中する場合は、その部分をそのユーザにとっての重要領域と推定し、重要領域を個人化することができる。そして、例えば実空間画像にユーザの視線がある間は、少なくともコンテンツの個人化した重要領域を保存（録画）し、コンテンツ視聴に戻った際に、その重要領域を追いかけ再生、または追いかけ高速再生、若しくは、停止中のダイジェスト再生を行うようにしてもよい。
　（実空間での作業時の２Ｄ画像の表示）
　表示装置１０は、移動速度が所定値以下で、注視点がコンテンツ（２Ｄ画像）に向いていない場合、実空間での作業中（コーヒーを入れる、トイレ、宅配便対応など）とみなしてもよい。この場合、表示装置１０は、視線移動に応じて、コンテンツ（２Ｄ画像）の提示位置を決定する。例えば図１０に示すように、ユーザが手元や足元で作業を行っている場合の注視点Ｌの軌跡を分析し、作業を邪魔しない位置を特定して、コンテンツの２Ｄ画像５７０の配置を調整する。例えば、作業中の視線位置の付近で、オブジェクトがない位置や、ユーザの手など身体が検出されない位置等が想定される。
　また、表示装置１０は、実空間画像を解析し、ユーザが何の作業をしようとしているかを事前検出し、２Ｄ画像の配置を制御してもよい。例えばコーヒーを入れると予測した場合、砂糖やミルクなどがある場所も事前に２Ｄ画像の配置可能領域から外すようにする。
　また、表示装置１０は、ユーザの動作範囲に応じた再生制御を行える。具体的には、一定頻度以上、体の方向転換があるなど実空間における一定範囲以上にユーザの作業領域が及ぶ場合（洗濯物を干す、物を移動させるなど広範囲での作業）、作業の邪魔にならないよう、コンテンツの２Ｄ画像の再生は一時停止し、再度ユーザが座るなど視聴できるようになったら再開するようにしてもよい。
　また、表示装置１０は、ユーザが実空間で他者と対話を行っていることを検出した場合、コンテンツ（２Ｄ画像）を一時停止するようにしてもよい。
　（２Ｄ画像の表示例）
　表示装置１０は、リアルタイム映像ではないコンテンツを予め解析し、盛り上がる時間が近い場合に、その情報をユーザに提示したり、盛り上がる時間が近い場合に全天球画像を２Ｄ画像に変化させる際に表示画角が縮み難くするエフェクトや、縮む際に通常とは異なるエフェクトを与えるようにしてもよい。また、リアルタイムのコンテンツであっても、盛り上がりが予測される場合には、その情報をユーザに提示してもよい。
　また、表示装置１０は、周辺環境に応じてコンテンツの再生を制御してもよい。例えば表示装置１０は、実空間が明るい場所の場合はコンテンツ（２Ｄ画像）の輝度を高くし、大きいサイズで提示するようにしてもよい。また、表示装置１０は、騒音が大きい場所では、２Ｄ画像化したコンテンツの音をあまり小さくしないようにしてもよい。また、実空間の色がコンテンツの色味と異なる場所に、コンテンツの２Ｄ画像を表示するようにしてもよい。
　また、表示装置１０は、重要領域が特定できない場合は、全天球画像の中央（例えばユーザの視線中央）に向かって表示画角を縮めて２Ｄ画像化する表示制御をデフォルトとしてもよい。または、全天球画像中に文字がある場所を重要領域とみなすようにしてもよい。
　また、ユーザが任意に、２Ｄ画像表示のまま継続して見られるモードに設定できるようにしてもよい。
　また、２Ｄ画像の形状は、画一的な四角や円形に限定されず、コンテンツに適した形に拡縮するようにしてもよい。また、２Ｄ画像は、複数の映像であってもよい（例えばサッカー中継のコンテンツにおけるスコア表示画面とボール周辺のプレイ表示画面など)。
　また、ユーザの立位、移動を検出して、表示を切り替える際、表示装置１０は、表示画面の遷移の中間状態をアニメーションで移行するなどして、画面が急に切り替わらないようにすることもできる。また、座位から立位に遷移したことを検出した際、毎回、２Ｄ画像を同じ特定の位置（例えば視野の中央など）に表示してから、適した位置に移動させるようにしてもよい（ユーザが全天球画像から２Ｄ画像に変化した画像を見逃さないようにすることができる）。
　また、センシングの検出区間などの影響でばたつきが生じることが想定されるが、一方でなるべくレイテンシなしで切り替えるようにすることが望ましい。このため、例えば表示装置１０は、立位が検知されたら表示の切り替えを開始するが、一定時間完全に遷移しないようにし、その後移動動作と認識する確信度が一定値以上高くなった際に切り替えの遷移を完了するようにしてもよい。また、ユーザの視線が利用できる場合は、視線が（背景の）実空間画像に移行した時点で、切り替えの遷移を開始するようにしてもよい。
　＜３－４．第４の実施例＞
　続いて、全天球画像の視聴に戻す場合の動作処理について、図１１を参照して説明する。図１１は、第４の実施例による動作処理の流れの一例を示すフローチャートである。
　図１１に示すように、まず、表示装置１０は、移動状態（実空間画像および２Ｄ画像を提示している状態）となった後に（ステップＳ４０３）、停止または座位を検知した場合（ステップＳ４０６／Ｙｅｓ）、視線（注視点）がコンテンツ（実空間画像に重畳表示している２Ｄ画像）にあるか否かを判断する（ステップＳ４０６）。
　次に、視線（注視点）がコンテンツにある場合（ステップＳ４０９／Ｙｅｓ）、表示装置１０は、外向きカメラ１３０をＯＦＦし（ステップＳ４１２）、全天球画像の視聴に戻す制御を行う（ステップＳ４１５）。
　一方、視線（注視点）がコンテンツにない場合（ステップＳ４０９／Ｎｏ）、表示装置１０は、実空間で作業中とみなし、作業の邪魔にならず、かつ、視線で追える位置に、コンテンツの２Ｄ画像を表示するよう制御する（ステップＳ４１８）。
　＜３－５．第５の実施例＞
　また、本実施形態による表示装置１０は、コンテンツの表示制御に限らず、音に関する制御も行い得る。例えば表示装置１０は、ユーザが実空間で移動中や作業中の場合は、周囲の音も聞く必要があるため、コンテンツ（２Ｄ画像）の音量を小さくして再生し続けるようにしてもよい。また、音のＡＲ表現が行われた場合はこれを停止する。また、表示装置１０は、リアルタイムではないコンテンツの再生を停止する場合は、音も停止する。反対に、リアルタイムのコンテンツの再生を停止する場合は、見逃し防止のため音だけは再生するようにしてもよい。
　また、表示装置１０は、重要なイベントや盛り上がりがある場合に、ユーザがコンテンツ（２Ｄ画像）を注視していない場合は、音で警告して盛り上がりを強調し、見逃し防止を実現し得る。
　また、表示装置１０は、全天球画像の視聴中など、仮想空間体験を行っている際は、周囲の音が聞こえるとコンテンツに集中しにくいため、周囲の音をキャンセルするようにしてもよい。または、表示装置１０は、コンテンツの音量に対して周囲の音量が相対的に小さくなるようスピーカ１６０の調整を行ってもよい。
　この場合、ユーザが周囲の音に気付き難くなるが、例えば所定のトリガとなる周囲音（例えば呼び鈴、家族の呼びかけなど）は、キャンセルしないようにしてもよい。一般的な音については、キャンセル除外音としてＤＢ登録し、他の音に関してはユーザが事前登録することが可能である。
　また、ユーザが立ち上がって自発的に動くような場合は、外向きカメラ１３０をＯＮにするタイミングで、周囲音のキャンセルを停止するようにしてもよい。
　＜３－６．第６の実施例＞
　次に、視聴型のコンテンツ以外の例について説明する。例えば複数人で仮想空間内においてゲームを行うコミュニケーション型コンテンツの場合に、急にゲーム内で他のユーザ（アバターなど）の動きが無くなったり、反応しなくなったりすると困惑する場合があるため、コンテンツ表示の切り替えを行うと共に、コミュニケーション相手に状態通知を行うようにしてもよい。
　例えば表示装置１０は、座位でのゲームの場合であれば立位が検出された場合、立位でのゲームの場合であれば移動が検出された場合に、表示を切り替え、実空間画像を背景に表示すると共にゲーム画面の全天球画像の一部を２Ｄ画像化して実空間画像に重畳表示し、仮想空間上での操作の無効化する。これにより、仮想空間内で一緒にゲームをしている他のユーザから見ると、当該ユーザのアバター等が急にゲーム内での動きが無くなったり、反応しなくなったりして見える。したがってこの際表示装置１０は、コンテンツサーバ２０に対して状態通知（例えば、「移動開始」、「移動中」、「中断中」、「離席中」など）を行うことで、図１２に示すように、他のユーザが見ているゲーム画面６００（全天球画像）において、当該ユーザのアバター６０１に、「移動中」等の状態通知画像６０２を表示するようにする。これにより他ユーザは、ユーザが実空間で移動したり作業を行っている際中であることを直感的に把握できる。
　なお、２Ｄ画像表示中も、仮想空間からの呼び掛けには反応できるようにしてもよい。例えば、表示装置１０は、ユーザへの呼び掛け音は強調して提示するようにしてもよい。
　また、立位や移動によりゲームを中断している際も、移動や作業の邪魔にならないよう、注視領域の周囲などに、リアルタイムで進行しているゲームの２Ｄ画像を表示しておくことで、ある程度はゲームの進み具合を把握できるようにすることができる。また、ゲームを再開した場合は、高速再生（ダイジェスト再生）を行うようにしてもよい。また、立位や移動によりゲームを中断している際、仮想空間の音声のみを再生状態にしておいてもよい。
　また、２Ｄ画像の表示に切り替えた際（離席時）にも、ゲームへの操作を可能としてもよい。図１３は、本実施例による２Ｄ画像６２０の表示例である。移動中にコントローラは使いにくいため、表示装置１０、図１３に示すように表示された２Ｄ画像６２０に対するタッチジェスチャーや音声による操作入力を可能にしてもよい。なお、実空間での移動や作業が伴うと、２Ｄ画像６２０への誤操作が生じやすくなるため、音声認識とジェスチャを組み合わせて、起動を音声で行ったり、操作確認を音声で行ったりするようにしてもよい。また、視線とジェスチャを組み合わせて、ユーザが見ているところでしか操作できないようにしてもよい。
　また、表示装置１０は、ユーザの踏み出し等による身体移動を想定した仮想空間コンテンツ（ゲーム等）の場合、単なる踏み出し動作や姿勢変更はコンテンツの操作とみなし、一定以上の距離を実際に歩くと（例えば特定方向への加速度が一定以上検出された場合など）、歩行（移動）の検出とみなし、移動に必要な視野を確保する（実空間画像を表示する）ようにしてもよい。
　また、表示装置１０は、視聴している部屋から出るなど、予め設定した一定のエリア外へ移動した場合は、コンテンツ視聴を中断し、実空間画像の表示を行うようにしてもよい。
　また、表示装置１０は、危険回避という観点からは、常に周囲の実空間の環境を提示しておくようにしてもよい。例えば表示装置１０は、足元などの下方、左右下方など、危険を引き起こしそうな場所（踏む・ぶつかるなど）は、常に見えるようにしておいてもよい。また、表示装置１０は、状況に応じて（危険な状態など）、周囲の実空間環境を提示するようにしてもよい。
　＜＜４．その他＞＞
　本実施形態による立位や移動の検出に応じた表示の切り替えは、上述した各実施例に限定されない。以下、いくつかの変形例について説明する。
　例えば、表示装置１０は、実空間での移動や作業が頻発しない場合や、一定範囲内でしか移動しない場合、全天球画像を半透明化し、実空間画像全体が見えるように表示してもよい。この際、表示装置１０は、実空間のオブジェクトへの注視点移動が多い場合は全天球画像の透明度を高くし、逆に全天球画像への注視点が多い場合は、全天球画像の透明度を低くするようにしてもよい。コンテンツは再生し続け、ユーザが止まったり座ったりした場合は、半透明化を解除する。
　また、表示装置１０は、全天球画像の一部分を切り抜いて、実空間が見えるようにしてもよい。図１４は、本実施形態による実空間の穴あき表示の一例を示す図である。図１４に示すように、全天球画像３００の一部に、実空間画像４００を表示し、覗けるようにする。どこに穴をあけるか、また、穴の大きさ（実空間画像の表示範囲）は、例えばユーザの視線の注視点の分布に応じて、決定してもよい。例えば、表示装置１０は、実空間を注視している場合は実空間画像の表示範囲を大きくするようにしてもよい。
　また、表示装置１０は、移動方向に実空間画像を表示し、移動方向以外の周辺部分では、コンテンツの再生を継続するようにしてもよい。そしてユーザが立ち止まったり座ったりした場合は、実空間の視野の確保のためにコンテンツに空けていた穴の部分を埋めて全天球画像の再生を再開する。
　また、表示装置１０は、正面下方など、コンテンツの２Ｄ画像の表示位置を常に固定するようにしてもよい。
　また、表示装置１０は、図１５に示すように、全天球画像がユーザの進行方向に割れたように見えるよう表示制御してもよい。図１５に示す例では、画像５００（全天球画像）が、ユーザの進行方向に割れて左右にそれぞれ表示されている（２Ｄ画像５００ｇ、５００ｈ）。
　このように、本実施形態では、実空間の視野を確保しつつ、仮想空間の全天球画像の少なくとも一部を視聴し続けることが可能となる。
　＜＜５．まとめ＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した表示装置１０（情報処理装置）、コンテンツサーバ２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、表示装置１０、コンテンツサーバ２０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザの視野全体を覆う広角画像の再生中に、前記ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移を検出すると、前記ユーザの頭部に装着され、視野全体を覆う表示部を有する表示装置に設けられた外向きカメラによって取得された実空間画像を、前記表示部にリアルタイムで表示すると共に、前記実空間画像上に、前記広角画像の一部に対応する２Ｄ画像を表示するよう制御する制御部を備える、情報処理装置。
（２）
　前記制御部は、前記広角画像のうち所定の重要領域を含む一部の画像を２Ｄ画像として生成する、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記広角画像のうち前記状態遷移を検出する直前の前記ユーザの視線情報に基づく注視領域をさらに含む一部の画像を、前記２Ｄ画像として生成する、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記広角画像のうち前記状態遷移を検出する直前の前記ユーザの視線情報に基づく注視領域と所定の重要領域を含む一部の画像から、前記重要領域の拡大画像に遷移する２Ｄ画像を生成する、前記（１）に記載の情報処理装置。
（５）
　前記制御部は、前記広角画像のうち前記状態遷移を検出する直前の前記ユーザの視線情報に基づく注視領域から、所定の重要領域に遷移する２Ｄ画像を生成する、前記（１）に記載の情報処理装置。
（６）
　前記制御部は、前記ユーザの移動動作を検出すると、移動方向に応じて、前記２Ｄ画像の表示位置を制御する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記制御部は、前記状態遷移を検出すると、前記外向きカメラの電源をＯＮに制御する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記制御部は、前記ユーザの移動の停止動作または座位を検出すると、前記ユーザの視線情報に応じて、前記２Ｄ画像の表示から前記ユーザの視野全体を覆う広角画像の表示に切り替える、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　プロセッサが、
　ユーザの視野全体を覆う広角画像の再生中に、前記ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移を検出すると、前記ユーザの頭部に装着され、視野全体を覆う表示部を有する表示装置に設けられた外向きカメラによって取得された実空間画像を、前記表示部にリアルタイムで表示すると共に、前記実空間画像上に、前記広角画像の一部に対応する２Ｄ画像を表示するよう制御することを含む、情報処理方法。
（１０）
　コンピュータを、
　ユーザの視野全体を覆う広角画像の再生中に、前記ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移を検出すると、前記ユーザの頭部に装着され、視野全体を覆う表示部を有する表示装置に設けられた外向きカメラによって取得された実空間画像を、前記表示部にリアルタイムで表示すると共に、前記実空間画像上に、前記広角画像の一部に対応する２Ｄ画像を表示するよう制御する制御部として機能させるための、プログラム。
　１０　表示装置
　２０　コンテンツサーバ
　１００　制御部
　１０１　姿勢情報取得部
　１０２　移動情報取得部
　１０３　視線情報取得部
　１０４　コンテンツ重要領域特定部
　１０５　描画処理部
　１１０　通信部
　１２０　センサ部
　１２１　内向きカメラ
　１２２　マイクロフォン
　１２４　方位センサ
　１３０　外向きカメラ
　１４０　操作入力部
　１５０　表示部
　１６０　スピーカ
　１７０　記憶部

Claims (10)

  1. 　ユーザの視野全体を覆う広角画像の再生中に、前記ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移を検出すると、前記ユーザの頭部に装着され、視野全体を覆う表示部を有する表示装置に設けられた外向きカメラによって取得された実空間画像を、前記表示部にリアルタイムで表示すると共に、前記実空間画像上に、前記広角画像の一部に対応する２Ｄ画像を表示するよう制御する制御部を備える、情報処理装置。
  2. 　前記制御部は、前記広角画像のうち所定の重要領域を含む一部の画像を２Ｄ画像として生成する、請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記広角画像のうち前記状態遷移を検出する直前の前記ユーザの視線情報に基づく注視領域をさらに含む一部の画像を、前記２Ｄ画像として生成する、請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記広角画像のうち前記状態遷移を検出する直前の前記ユーザの視線情報に基づく注視領域と所定の重要領域を含む一部の画像から、前記重要領域の拡大画像に遷移する２Ｄ画像を生成する、請求項１に記載の情報処理装置。
  5. 　前記制御部は、前記広角画像のうち前記状態遷移を検出する直前の前記ユーザの視線情報に基づく注視領域から、所定の重要領域に遷移する２Ｄ画像を生成する、請求項１に記載の情報処理装置。
  6. 　前記制御部は、前記ユーザの移動動作を検出すると、移動方向に応じて、前記２Ｄ画像の表示位置を制御する、請求項１に記載の情報処理装置。
  7. 　前記制御部は、前記状態遷移を検出すると、前記外向きカメラの電源をＯＮに制御する、請求項１に記載の情報処理装置。
  8. 　前記制御部は、前記ユーザの移動の停止動作または座位を検出すると、前記ユーザの視線情報に応じて、前記２Ｄ画像の表示から前記ユーザの視野全体を覆う広角画像の表示に切り替える、請求項１に記載の情報処理装置。
  9. 　プロセッサが、
    　ユーザの視野全体を覆う広角画像の再生中に、前記ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移を検出すると、前記ユーザの頭部に装着され、視野全体を覆う表示部を有する表示装置に設けられた外向きカメラによって取得された実空間画像を、前記表示部にリアルタイムで表示すると共に、前記実空間画像上に、前記広角画像の一部に対応する２Ｄ画像を表示するよう制御することを含む、情報処理方法。
  10. 　コンピュータを、
    　ユーザの視野全体を覆う広角画像の再生中に、前記ユーザの立ち上がり動作または移動動作を含むユーザの状態遷移を検出すると、前記ユーザの頭部に装着され、視野全体を覆う表示部を有する表示装置に設けられた外向きカメラによって取得された実空間画像を、前記表示部にリアルタイムで表示すると共に、前記実空間画像上に、前記広角画像の一部に対応する２Ｄ画像を表示するよう制御する制御部として機能させるための、プログラム。
PCT/JP2020/004802 2019-03-12 2020-02-07 情報処理装置、情報処理方法、およびプログラム WO2020184021A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202410540425.5A CN118502695A (zh) 2019-03-12 2020-02-07 信息处理装置、信息处理方法和非暂态计算机可读介质
CN202080018820.7A CN113544765B (zh) 2019-03-12 2020-02-07 信息处理装置、信息处理方法和程序
JP2021505603A JP7416048B2 (ja) 2019-03-12 2020-02-07 情報処理装置、情報処理方法、およびプログラム
US17/310,884 US12025794B2 (en) 2019-03-12 2020-02-07 Information processing device and image processing method
EP20770776.1A EP3940687A4 (en) 2019-03-12 2020-02-07 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US18/635,525 US20240255754A1 (en) 2019-03-12 2024-04-15 Information processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019045082 2019-03-12
JP2019-045082 2019-03-12

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/310,884 A-371-Of-International US12025794B2 (en) 2019-03-12 2020-02-07 Information processing device and image processing method
US18/635,525 Continuation US20240255754A1 (en) 2019-03-12 2024-04-15 Information processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2020184021A1 true WO2020184021A1 (ja) 2020-09-17

Family

ID=72426003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004802 WO2020184021A1 (ja) 2019-03-12 2020-02-07 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US12025794B2 (ja)
EP (1) EP3940687A4 (ja)
JP (1) JP7416048B2 (ja)
CN (2) CN118502695A (ja)
WO (1) WO2020184021A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190735A1 (ja) * 2021-03-11 2022-09-15 株式会社Ｎｔｔドコモ 表示制御装置
WO2022224586A1 (ja) * 2021-04-20 2022-10-27 国立研究開発法人理化学研究所 情報処理装置、情報処理方法、プログラム、ならびに、情報記録媒体
JP7171964B1 (ja) 2022-07-29 2022-11-15 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP7537254B2 (ja) 2020-12-02 2024-08-21 株式会社Ｊｖｃケンウッド 映像表示装置、映像表示装置の制御方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022018836A1 (ja) * 2020-07-21 2022-01-27
CN115737143A (zh) * 2022-11-07 2023-03-07 张博彦 手术成像系统和成像手术的显示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261112A (ja) * 1994-03-22 1995-10-13 Hitachi Ltd 頭部搭載型ディスプレイ装置
WO2014156388A1 (ja) 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
JP2014186089A (ja) * 2013-03-22 2014-10-02 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2019031397A1 (ja) * 2017-08-07 2019-02-14 ナーブ株式会社 画像表示装置、画像表示方法及び画像表示プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4593406B2 (ja) 2005-09-05 2010-12-08 Ｎｅｃパーソナルプロダクツ株式会社 コンピュータ
KR101605276B1 (ko) * 2011-09-08 2016-03-21 인텔 코포레이션 오디오 비주얼 재생을 위한 시선 기반 위치 선택
US9973722B2 (en) 2013-08-27 2018-05-15 Qualcomm Incorporated Systems, devices and methods for displaying pictures in a picture
EP2854410A1 (en) * 2013-09-30 2015-04-01 Thomson Licensing Method and apparatus for simultaneously displaying and supervising video programs
US10254920B2 (en) * 2013-12-01 2019-04-09 Upskill, Inc. Systems and methods for accessing a nested menu
JP6079614B2 (ja) 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
JP2017069687A (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
US10025376B2 (en) * 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
WO2017195034A1 (en) * 2016-05-07 2017-11-16 Smart Third-I Ltd Systems and methods involving edge camera assemblies in handheld devices
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
CN106951316B (zh) * 2017-03-20 2021-07-09 北京安云世纪科技有限公司 虚拟模式与现实模式的切换方法、装置及虚拟现实设备
US20180276891A1 (en) * 2017-03-24 2018-09-27 Pcms Holdings, Inc. System and method for providing an in-context notification of a real-world event within a virtual reality experience
EP3654159A4 (en) 2017-07-13 2020-07-22 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP7261112B2 (ja) 2019-07-19 2023-04-19 シャープ株式会社 第１コネクタ、これに接続される第２コネクタ及びこれらを含むコネクタセット

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261112A (ja) * 1994-03-22 1995-10-13 Hitachi Ltd 頭部搭載型ディスプレイ装置
JP2014186089A (ja) * 2013-03-22 2014-10-02 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2014156388A1 (ja) 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
WO2019031397A1 (ja) * 2017-08-07 2019-02-14 ナーブ株式会社 画像表示装置、画像表示方法及び画像表示プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3940687A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7537254B2 (ja) 2020-12-02 2024-08-21 株式会社Ｊｖｃケンウッド 映像表示装置、映像表示装置の制御方法、及びプログラム
WO2022190735A1 (ja) * 2021-03-11 2022-09-15 株式会社Ｎｔｔドコモ 表示制御装置
WO2022224586A1 (ja) * 2021-04-20 2022-10-27 国立研究開発法人理化学研究所 情報処理装置、情報処理方法、プログラム、ならびに、情報記録媒体
JP7171964B1 (ja) 2022-07-29 2022-11-15 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
WO2024024500A1 (ja) * 2022-07-29 2024-02-01 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP2024018622A (ja) * 2022-07-29 2024-02-08 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Also Published As

Publication number Publication date
US12025794B2 (en) 2024-07-02
CN118502695A (zh) 2024-08-16
CN113544765B (zh) 2024-05-24
EP3940687A1 (en) 2022-01-19
CN113544765A (zh) 2021-10-22
US20220146821A1 (en) 2022-05-12
JP7416048B2 (ja) 2024-01-17
EP3940687A4 (en) 2022-05-04
JPWO2020184021A1 (ja) 2020-09-17
US20240255754A1 (en) 2024-08-01

Similar Documents

Publication Publication Date Title
WO2020184021A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11900527B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN109643162B (zh) 用现实世界内容增强虚拟现实内容
CN109690633B (zh) 模拟系统、处理方法以及信息存储介质
US10733781B2 (en) Virtual reality
JP6316387B2 (ja) 広範囲同時遠隔ディジタル提示世界
KR20230048554A (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
CN108463839B (zh) 信息处理装置和用户指南呈现方法
WO2019187862A1 (ja) 情報処理装置、情報処理方法、および記録媒体
WO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6945409B2 (ja) 情報処理方法、コンピュータ、及びプログラム
JP2023095862A (ja) プログラム及び情報処理方法
WO2023242981A1 (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム、および、ヘッドマウントディスプレイの表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20770776

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021505603

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020770776

Country of ref document: EP

Effective date: 20211012