WO2020017435A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2020017435A1
WO2020017435A1 PCT/JP2019/027566 JP2019027566W WO2020017435A1 WO 2020017435 A1 WO2020017435 A1 WO 2020017435A1 JP 2019027566 W JP2019027566 W JP 2019027566W WO 2020017435 A1 WO2020017435 A1 WO 2020017435A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereoscopic image
information processing
image
user
viewpoint
Prior art date
Application number
PCT/JP2019/027566
Other languages
English (en)
French (fr)
Inventor
石川　毅
孝悌 清水
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2020017435A1 publication Critical patent/WO2020017435A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • a user can view a virtual space in which a 3D model is arranged from an arbitrary viewpoint.
  • a VR world can be provided using a non-transmissive HMD (Head Mounted Display) that mainly covers the user's field of view with a display unit.
  • HMD Head Mounted Display
  • the reflection of the user operation in the virtual space is performed, for example, by acquiring information on the real world from a captured image of the real world. Specifically, a technique is used in which a user's body or a marker is photographed with a camera, an area of the image is detected, operation input information such as a user's movement is acquired, and the information is reflected in a virtual space.
  • the present disclosure proposes an information processing device, an information processing method, and a program that can make a two-dimensional image look like a three-dimensional image in a three-dimensional space.
  • display control for arranging a two-dimensional image obtained by photographing a real object as a stereoscopic image in a three-dimensional space, and, based on a predetermined axis on the stereoscopic image.
  • An information processing apparatus including a control unit that performs display control for maintaining a state in which a straight line connecting an axis and a user viewpoint is substantially perpendicular to the stereoscopic image is proposed.
  • a processor performs display control for arranging a two-dimensional image obtained by photographing a real object in a three-dimensional space as a stereoscopic image, based on a predetermined axis on the stereoscopic image
  • An information processing method is proposed, which includes performing display control to maintain a state in which a straight line connecting the predetermined axis and the user viewpoint is substantially perpendicular to the stereoscopic image.
  • a computer a display control for arranging a two-dimensional image obtained by photographing a real object in a three-dimensional space as a stereoscopic image, based on a predetermined axis on the stereoscopic image
  • a program is proposed for functioning as a control unit for performing display control for maintaining a state in which a straight line connecting the predetermined axis and the user viewpoint is substantially perpendicular to the stereoscopic image.
  • a two-dimensional image can be made to look like a three-dimensional image in a three-dimensional space.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating movement of a user viewpoint in a virtual space according to the present embodiment. It is a figure explaining distortion which arises when a stereoscopic vision picture by a stereo image is seen from diagonal.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of an information processing system according to an embodiment. It is a block diagram showing an example of composition of an information processing terminal by this embodiment.
  • FIG. 6 is a diagram for describing rotation control of a stereoscopic image according to a first example of the present embodiment.
  • FIG. 7 is a diagram illustrating an example of a way of seeing when a stereoscopic image is rotationally controlled according to a first example of the present embodiment.
  • FIG. 7 is a diagram illustrating a case where a stereoscopic image has an unnatural posture when control is performed so as to always face a user viewpoint in a virtual space.
  • FIG. 5 is a diagram illustrating a definition of a rotation axis of a stereoscopic image according to a first example of the present embodiment.
  • FIG. 8 is a diagram illustrating an example of a warning displayed when viewing from a restricted direction according to the first example of the present embodiment.
  • FIG. 11 is a diagram illustrating a stereoscopic image and a 3D model according to a second example of the present embodiment.
  • FIG. 7 is a diagram illustrating distortion of a stereoscopic image and displacement of a decoration position of a 3D model when a user viewpoint moves in a virtual space.
  • FIG. 11 is a diagram illustrating a shift in the decoration position of the 3D model when only the stereoscopic image is rotationally controlled according to the movement of the user viewpoint in the virtual space. It is a figure explaining rotation control of a stereoscopic image and 3D model according to movement of a user viewpoint in virtual space by the 2nd example of this embodiment. It is a figure explaining movement linked with the stereoscopic image of the decorated 3D model by the 2nd example of this embodiment. It is a flowchart which shows an example of the flow of the operation processing by this embodiment.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the present embodiment is implemented by a display device such as a non-transmissive HMD mounted on a user's head and covering the user's field of view with a display unit 140, for example. 10, an image of the virtual space is presented to the user.
  • a display device such as a non-transmissive HMD mounted on a user's head and covering the user's field of view with a display unit 140, for example. 10
  • a display unit 140 for example. 10
  • an image of the virtual space is presented to the user.
  • virtual objects 50a and 50b which are generated three-dimensional images (so-called 3D models) are localized as backgrounds (localized virtual objects).
  • the virtual objects 50a and 50b have shape data including depth information in the virtual space, and can be displayed without any shape collapse even when viewed from any viewpoint. That is, the virtual objects 50a and 50b localized in the virtual space change their motion parallax in response to a change in the user's viewpoint and posture.
  • the stereoscopic image 40 is arranged in the virtual space based on information obtained by imaging a person or the like (real object) in the real space.
  • the person or the like is converted into a 3D model from a real image in a special shooting studio equipped with a large number of cameras. I need to shoot.
  • the video quality of the 3D model generated in this way may be a greatly degraded video as compared with the video quality of a person or the like watching on a normal television or the like.
  • a stereo image is composed of two 2D images (a left viewpoint image and a right viewpoint image) photographed by a stereo camera, and the left viewpoint image is shown only to the left eye, and the right viewpoint image is shown only to the right eye.
  • 2D video can be stereoscopically viewed. Therefore, by arranging a stereo image obtained by photographing a real object (for example, a person) in a virtual space as a stereoscopic image, it is possible to reduce the image quality or reduce the cost of photographing without forming a 3D model from the photographed image. It is possible to make a person or the like in the real world stereoscopically viewed in the virtual space without hanging.
  • the stereoscopic video presented by the stereo video does not break down, but as shown in FIG.
  • the stereoscopic image 40 is viewed obliquely, as shown in FIG. 3, when viewed from the front, a stereoscopic image 40 without discomfort is seen (see left of FIG. 3). Distortion occurs in the stereoscopic image 40, which is a three-dimensional image (see FIG. 3, right).
  • the information processing system makes it possible to make a two-dimensional image look like a three-dimensional image in a three-dimensional space by maintaining a state in which the stereoscopic image is directly opposed to the user viewpoint.
  • a straight line connecting the predetermined axis and the viewpoint of the user is substantially perpendicular to the plane of the stereoscopic image with reference to the predetermined axis passing through the stereoscopic image.
  • a spatially localized 3D model (localized virtual object) such as a background, and to change the motion parallax in response to a change in the user's viewpoint or posture (the display coordinates of the localized virtual object change).
  • a user who visually recognizes such a 3D model and a stereoscopic image at the same time even if the stereoscopic image is rotationally controlled to face the user's viewpoint when the viewpoint is changed, Is difficult to recognize as a two-dimensional image, and is easily illusioned with a three-dimensional image.
  • a two-dimensional image (specifically, a two-dimensional image generated by a simple device / equipment / method without performing 3D modeling from a real video and without increasing the cost of shooting). (Stereo image), it is possible to present a real-world person or the like in a three-dimensional space without deteriorating the image quality.
  • the stereoscopic image which is a two-dimensional image, is simulated without causing distortion of the stereoscopic image. It can be shown as a three-dimensional image. That is, in the video experience in the virtual space, an appropriate video change (pseudo three-dimensionalization) according to the change in the user's viewpoint can be given, and the user's video experience value can be improved.
  • the stereoscopic image may be generated based on a two-dimensional image obtained by capturing a real object in advance, or may be generated based on a two-dimensional image obtained by capturing a real object in real time. .
  • FIG. 4 is a diagram illustrating an example of the entire configuration of the information processing system according to the present embodiment.
  • the information processing system includes an information processing terminal 10 that generates an image of a virtual space and controls display on a display unit 140, and a server 2 that stores content information of the virtual space. It may be a configuration.
  • the information processing terminal 10 and the server 2 are communicatively connected via the network 3 and can transmit and receive data.
  • the information processing terminal 10 acquires the content in the virtual space from the server 2, generates a free viewpoint image from the content according to a user's movement, a controller operation, and the like, and provides the free viewpoint image to the display unit 140.
  • the movement of the user is a change in the position and posture of the user (including the direction of the head), and the information processing terminal 10 determines the user's viewpoint position (3D position ) Is calculated, and a user viewpoint position in the virtual space (hereinafter, also referred to as a virtual space user viewpoint) is calculated based on the recognized user viewpoint position.
  • the virtual space content provided to the user is a spherical content, a free viewpoint content, a game content, or the like.
  • the free viewpoint content is a content that generates a video when a virtual camera is placed at an arbitrary position and enables video viewing from all viewpoints.
  • the term "virtual space” refers to the actual user being able to sense through one or more display devices and / or Refers to a representation of a real or fictional environment with rules of interaction simulated by one or more processors that can interact through an interface.
  • the term "user interface” refers to the actual device that allows a user to send input to or receive output from a virtual world.
  • the user may be represented by an avatar, or the world of the virtual space may be displayed from the viewpoint of the avatar without displaying the avatar on the display.
  • a viewpoint of a user (or an avatar) in a virtual space can be regarded as a view of a virtual camera.
  • the “virtual camera” refers to a viewpoint in a virtual space, and is used for calculation for drawing a three-dimensional virtual space as a two-dimensional image on a display (display device).
  • the information processing system according to the present embodiment may further include a remote controller or a game controller for transmitting a user's intention to the system.
  • the information processing terminal 10 is realized by, for example, the HMD mounted on the head of the user.
  • the HMD may have an image display unit for each of the left and right eyes, and may be configured to be able to control sight and hearing by using headphones in combination.
  • the HMD can also display different images to the left and right eyes, and can present a 3D image by displaying an image having parallax to the left and right eyes.
  • the information processing terminal 10 may be a device that presents a virtual space image on a non-wearable display, such as a television device, a smartphone, or a tablet terminal.
  • FIG. 5 is a block diagram illustrating an example of a configuration of the information processing terminal 10 according to the present embodiment.
  • the information processing terminal 10 includes a control unit 100, a communication unit 110, an operation input unit 120, a sensor unit 130, a display unit 140, a speaker 150, and a storage unit 160.
  • the control unit 100 functions as an arithmetic processing device and a control device, and controls overall operations in the information processing terminal 10 according to various programs.
  • the control unit 100 is realized by an electronic circuit such as a CPU (Central Processing Unit) and a microprocessor. Further, the control unit 100 may include a ROM (Read Only Memory) for storing a program to be used and operation parameters, and a RAM (Random Access Memory) for temporarily storing appropriately changing parameters and the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 100 also functions as a user viewpoint recognition unit 101, a virtual space viewpoint calculation unit 102, an image generation unit 103, and a display control unit 104.
  • the user viewpoint recognition unit 101 recognizes a user viewpoint position (three-dimensional position) in the real world from the position and posture (including the direction of the head) of the user sensed by the sensor unit 130 and the like.
  • the virtual space viewpoint calculation unit 102 calculates the user viewpoint in the virtual space based on the real world user viewpoint recognized by the user viewpoint recognition unit 101.
  • the image generation unit 103 generates a free viewpoint image of the virtual space corresponding to the user viewpoint in the virtual space calculated by the virtual space viewpoint calculation unit 102, and the display control unit 104 generates the free viewpoint image of the generated virtual space.
  • the free viewpoint image is displayed on the display unit 140.
  • the virtual space By performing these processes continuously, when the user moves forward, backward, left and right in the real world or changes the viewpoint, the virtual space also moves forward, backward, left, right, and the same with the same movement amount (or the corresponding movement amount at a predetermined ratio). You can move and change the viewpoint, and enjoy a highly immersive VR experience.
  • the detection of the position and the posture of the user is performed by, for example, the sensor unit 130 provided in the information processing terminal 10.
  • the user viewpoint recognition unit 101 Based on the sensing data sensed by the sensor unit 130, the user viewpoint recognition unit 101 follows the movement of the user's head (head tracking), follows the movement of the line of sight (eye tracking), and positions and postures. (Position tracking), the user's viewpoint position in the real space can be continuously recognized.
  • the head tracking calculates head posture information based on nine-axis detection results detected by the sensor unit 130 of the information processing terminal 10 mounted on the user's head. Can be done.
  • the eye tracking is performed on an image of the user's eye detected by the sensor unit 130 of the information processing terminal 10 mounted on the user's head (for example, an infrared image in which infrared light is emitted to the eye and its reflection is imaged). This can be performed by calculating the user's line of sight (the line of sight direction) based on this.
  • the position tracking includes an outside-in method using a sensor installed outside, an inside-out method using a sensor mounted on the object to be measured (HMD) itself, and a hybrid method that is a combination of these. There is.
  • the positions of a plurality of LED lights (markers) provided on the HMD are captured and acquired by a camera installed outside, and the position and orientation are determined based on a change in the acquired position information of the LED lights. calculate.
  • the user viewpoint recognition unit 101 can also calculate the user posture including the head posture of the user based on the change in the position information of the LED lights and the motion sensor data provided on the HMD.
  • the position and the posture of the user are calculated based on information acquired by a motion sensor, a depth sensor, and an outward camera provided in the HMD.
  • an external camera provided on the HMD captures an image of the outside world, compares the image with a spatial map generated in advance by using a SLAM (Simultaneous Localization and Mapping) technique, and acquires position information of the user.
  • SLAM Simultaneous Localization and Mapping
  • the image generation unit 103 can generate an image in which a two-dimensional image (for example, a stereo image of a person) obtained by photographing a real object is arranged in a three-dimensional space as a stereoscopic image.
  • a two-dimensional image for example, a stereo image of a person
  • the background can be removed, for example, by photographing with clean back.
  • the display control unit 104 is configured to face the two-dimensional image directly facing the user viewpoint in the virtual space so that when the user viewpoint in the virtual space changes, the two-dimensional image that is stereoscopically viewed does not feel strange. Control to rotate can be performed.
  • the display control unit 104 regards the right-eye image and the left-eye image that are stereoscopically viewed as one object, and rotates the object so as to face the viewpoint. As a result, the two-dimensional image can be more simulated as a three-dimensional image in the three-dimensional space, and the value of the user's video experience can be improved.
  • the communication unit 110 connects to the network 3 by wire or wirelessly, and transmits and receives data to and from the server 2 on the network.
  • the communication unit 110 is, for example, a wired / wireless LAN (Local Area Network), or Wi-Fi (registered trademark), Bluetooth (registered trademark), a mobile communication network (LTE (Long Term Evolution), 3G (third generation mobile). Communication connection is made with the network 3 by a communication method)) or the like.
  • the operation input unit 120 receives an operation instruction from the user, and outputs the operation content to the control unit 100.
  • the operation input unit 120 may be, for example, a touch sensor, a pressure sensor, or a proximity sensor.
  • the operation input unit 120 may have a physical configuration such as a button, a switch, and a lever.
  • the sensor unit 130 has a function of sensing a real space such as a user or a surrounding situation.
  • the sensor unit 130 includes a position information acquisition unit 131, a camera 132 (inward / outward camera), a microphone (microphone) 133, an acceleration sensor 134, and a biological sensor 135 (pulse, heart rate, sweat, blood pressure, Body temperature, respiration, myoelectric value, EEG), etc.
  • a specific example of the sensor unit 130 is not limited thereto.
  • the sensor unit 130 includes a sensor that can detect a total of 9 axes of a 3-axis gyro sensor, a 3-axis acceleration sensor, and a 3-axis geomagnetic sensor. You may.
  • the sensor unit 130 may be a line-of-sight detection sensor that detects the line of sight of the user, such as an inward-facing camera such as an infrared sensor (an infrared light emitting unit and an infrared camera) provided around the display unit 140 located in front of the user.
  • an infrared sensor an infrared light emitting unit and an infrared camera
  • a myoelectric sensor or an electroencephalogram sensor for detecting the movement of the muscle around the user's eye may be provided.
  • Display unit 140 For example, when the information processing terminal 10 is configured as an HMD, the display unit 140 includes left and right screens respectively fixed to the left and right eyes of the user, and displays a left-eye image and a right-eye image.
  • the screen of the display unit 140 is configured by, for example, a display panel such as a liquid crystal display (LCD), an organic EL (Electro Luminescence) display, or a laser scanning display such as a retinal direct drawing display.
  • the display unit 140 may include an imaging optical system that enlarges and projects the display screen to form an enlarged virtual image having a predetermined angle of view on the user's pupil.
  • the speaker 150 is configured as a headphone worn on the user's head, and reproduces an audio signal.
  • the speaker 150 is not limited to the headphone type, and may be configured as an earphone or a bone conduction speaker.
  • the storage unit 160 is realized by a ROM (Read Only Memory) that stores a program, an operation parameter, and the like used in the processing of the control unit 100, and a RAM (Random Access Memory) that temporarily stores appropriately changed parameters and the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the configuration of the information processing terminal 10 is not limited to the example illustrated in FIG.
  • the information processing terminal 10 may be realized by a plurality of devices.
  • the configuration includes a display device (corresponding to at least the display unit 140) realized by an HMD or the like and an information processing device (corresponding to at least the control unit 100) realized by a smartphone, a tablet terminal, a PC, or the like. There may be. Further, the tracking processing by the information processing terminal 10 described above may be performed by an external device.
  • each function of the control unit 100 of the information processing terminal 10 may be realized by a server provided on a network, a dedicated terminal arranged in the same space as the user, a smartphone, a tablet terminal, or a PC. It may be realized by such as.
  • the information processing terminal 10 maintains a state in which a stereoscopic image based on a two-dimensional image obtained by capturing an image of a real object faces a user viewpoint in a virtual space. Even if the viewpoint changes, the stereoscopic image can be seen without breaking down, and a two-dimensional image can be artificially shown as a three-dimensional image in a three-dimensional space.
  • the stereoscopic display control of the two-dimensional image according to the present embodiment will be described in detail with reference to FIGS.
  • FIG. 6 is a diagram illustrating the rotation control of the stereoscopic image 40 according to the first example of the present embodiment.
  • the information processing terminal 10 performs stereoscopic processing based on a predetermined axis 42 passing through the stereoscopic image 40 so as to maintain a state in which the stereoscopic image 40 faces the user's viewpoint in the virtual space.
  • the visual image 40 is rotated. More specifically, the information processing terminal 10 determines that a straight line 45 connecting the predetermined axis 42 passing through the stereoscopic image 40 and the viewpoint of the user (the user viewpoint in the virtual space) is (a surface of) the stereoscopic image 40.
  • the stereoscopic image 40 is rotated about a predetermined axis 42 so as to be substantially perpendicular to the image.
  • the information processing terminal 10 rotates the stereoscopic image 40 in a yaw direction (left and right) with respect to a predetermined axis 42 passing through the stereoscopic image 40.
  • FIG. 7 shows an example of the appearance when the stereoscopic image 40 is rotationally controlled as described above.
  • the viewpoint is moved to the right with respect to the stereoscopic image 40 from the viewpoint of viewing the stereoscopic image 40 shown in the left of FIG. 7 from the front, the stereoscopic image 40 is rotated to face the user's viewpoint. Therefore, as shown in the right side of FIG. 7, the image can be viewed without discomfort, without generating the distortion as shown in the right side of FIG.
  • FIG. 8 is a diagram illustrating a case where the stereoscopic image 40 has an unnatural posture when control is performed so as to always face the user's viewpoint in the virtual space.
  • the user viewpoint in the virtual space is moved upward with respect to the stereoscopic image 40 from the viewpoint of viewing the stereoscopic image 40 from the front as shown on the left side of FIG. (In the case where the angle is such that the angle looks down from above).
  • the stereoscopic image 40 is rotated to face the user's viewpoint (specifically, the image is rotated (vertically) in the Pitch direction with respect to a horizontal axis passing through the center of the stereoscopic image 40. 8)
  • the stereoscopic image 40 has an unnatural posture as if it were falling on the ground, as shown on the right side of FIG.
  • the rotation constraint includes a constraint on a rotatable axis (rotation direction) and a rotatable angle (rotation amount).
  • FIG. 9 is a diagram illustrating the definition of the rotation axis of the stereoscopic image 40 according to the first example of the present embodiment.
  • Yaw rotation left and right rotation with respect to an axis that vertically passes through the center of the stereoscopic image 40 (that is, an axis in the vertical direction in the virtual space)
  • Pitch rotation The vertical rotation based on the axis passing through (i.e., the horizontal axis in the virtual space) is referred to as Pitch rotation.
  • a rotation based on an axis passing through the center of the stereoscopic image 40 perpendicularly to the plane of the stereoscopic image 40 (that is, an axis in the front-back direction in the virtual space) is referred to as a Roll rotation.
  • the rotation constraint may be set for each stereoscopic image.
  • the rotation constraint may include information on an angle that can be rotated for each rotation axis. For example, when the real object is a person, by limiting the rotation to the Yaw rotation, it is possible to avoid an unnatural posture.
  • An example of the parameters of the rotation constraint information in this case is shown below.
  • the rotation constraint is assumed to have a stereoscopic image as a parameter.
  • the present embodiment is not limited to this, and may be embedded as a fixed value in an application.
  • the rotation from 0 ° to 360 ° is set in the Yaw rotation.
  • the present embodiment is not limited to this.
  • Yaw 0 ° to 180 ° may be set.
  • the image may be switched to an image shot by the different camera (for example, a stereo image shot of the person from the side).
  • the rotation angle set by the rotation constraint may be an angle based on the viewing start point, or may be an angle based on the front in global coordinates of the virtual space.
  • the stereoscopic image 40 can be prevented from having an unnatural posture, but when viewed from the restricted direction, the image of the stereoscopic image 40 is not displayed. May be greatly distorted.
  • the information processing terminal 10 may perform a warning (warning using voice, display, vibration, or the like) indicating the recommended viewing direction to the user, so that comfortable viewing can be realized.
  • FIG. 10 is a diagram showing an example of a warning displayed when viewing from a restricted direction according to the first example of the present embodiment.
  • the stereoscopic image 40 is moved to the pitch by the rotation constraint. Since the image cannot be rotated, the stereoscopic image 40 appears to be greatly distorted as shown on the right side of FIG.
  • the information processing terminal 10 may display a warning display 142 for notifying a recommended viewing direction, such as "Please view from the front as much as possible.” Note that the information processing terminal 10 may issue a warning when viewing the stereoscopic image 40 at a certain angle or more in a direction in which rotation is restricted.
  • FIG. 11 is a diagram illustrating the stereoscopic image 40 and the 3D model 60 according to the second example of the present embodiment.
  • the stereoscopic image 40 is a stereo image composed of two two-dimensional images, and the stereoscopic vision is realized by individually presenting these images to the left and right eyes.
  • the 3D model 60 is a three-dimensional object having three-dimensional shape data including depth information in a virtual space, and its shape does not break even when viewed from any viewpoint.
  • an expression in which such a stereoscopic image 40 as two-dimensional data and a 3D model 60 as three-dimensional data are combined is realized, and the viewing experience of the user can be further improved.
  • FIG. 12 is a diagram illustrating an example of the decorative display of the 3D model 60 on the stereoscopic image 40 according to the present embodiment.
  • the 3D model 60 presents image
  • the position of the hand of the stereoscopic image 40 person
  • a decorative display to be shown can be realized.
  • the 3D model 60 is a virtual object that can interact in a virtual space.
  • the information on the position of the hand in the real space of the stereoscopic image 40 may be recognized by image analysis, or a controller held by the subject person at the time of shooting may be detected and recognized. Further, information on the hand position (three-dimensional position information) recognized at the time of photographing or the like may be recorded.
  • the surface of the stereoscopic image 40 faces the user viewpoint in the virtual space with reference to the predetermined axis 42, as shown on the left side of FIG.
  • the 3D model 60 is also rotated with respect to the same rotation axis (that is, the predetermined axis 42) by the same amount of rotation (the rotation direction and the rotation angle) (with the stereoscopic image 40). Rotate.
  • the information processing terminal 10 revolves the 3D model 60 on the basis of the predetermined axis 42 that is the rotation axis of the stereoscopic image 40, so that the 3D model 60 is rotated when the stereoscopic image 40 and the 3D model 60 are rotated.
  • the relative position with respect to the stereoscopic image 40 can be maintained.
  • Revolving the 3D model 60 means that the 3D model 60 orbits around the predetermined axis 42 about the predetermined axis 42 (rotates the 3D model 60 along a circular orbit about the predetermined axis). That is, the coordinate position of the 3D model 60 in the virtual space changes.
  • the stereoscopic image 40 rotates on a predetermined axis 42 passing through the stereoscopic image 40 as a reference (that is, rotates around the predetermined axis 42 on the spot without changing the coordinate position in the virtual space).
  • the information processing terminal 10 can perform the rotation control within the rotation constraint, and can issue a warning as necessary.
  • FIG. 16 is a diagram illustrating movement of the decorated 3D model 60 according to the present embodiment that is linked to the stereoscopic image 40. As shown in the upper part of FIG. 16, for example, when the 3D model 60 (for example, the present image) is displayed in accordance with the position of the hand of the person in the stereoscopic image 40, the display position of the 3D model 60 is determined by the movement of the hand position. Can be followed.
  • the position information of the hand of the person in the stereoscopic image 40 is recognized and recorded, for example, at the time of shooting, so that the 3D model 60 can be arranged in accordance with the position of the hand at the time of reproduction.
  • the person of the stereoscopic image 40 hands the present (3D model 60) to the user.
  • the information on the position of the hand also includes depth information (depth information), and when the present (3D model 60) approaches the user, display control can be performed so that the 3D model 60 looks large.
  • the 3D model 60 can also be expressed without deviating from the position of the hand by rotating the model 60 with the same rotation axis and the same rotation amount as the stereoscopic image 40 as described with reference to FIG. Become.
  • FIG. 17 is a flowchart illustrating an example of the flow of the display control process according to the present embodiment.
  • a description will be given including the decoration of the 3D model 60 described in the second embodiment, the rotation constraint described in the first embodiment, and processing relating to a warning as necessary.
  • the information processing terminal 10 calculates a viewpoint position in the virtual space (user viewpoint in the virtual space) based on the viewpoint position in the real world (step S103).
  • the user viewpoint in the virtual space may be calculated by sensing the direction and the line of sight of the user's head in the real world, or may be calculated based on a controller operated by the user.
  • the information processing terminal 10 rotates the stereoscopic image 40 (based on the two-dimensional image obtained by photographing the real object) so as to face the viewpoint position in the virtual space (step S106). Thereby, even if the user's viewpoint in the virtual space changes, it is possible to prevent the image of the stereoscopic image 40 as the two-dimensional data from being distorted. At this time, the information processing terminal 10 may be rotated (only in a rotatable direction and angle) within the rotation constraint set in the stereoscopic image 40.
  • the information processing terminal 10 rotates the 3D model 60 by the same rotation amount (angle) on the same rotation axis as the stereoscopic image 40 (step S109). . This makes it possible to prevent the display position of the 3D model 60 from shifting even when the stereoscopic image 40 rotates.
  • step S113 when the user's viewpoint in the virtual space with respect to the stereoscopic image 40 is at a certain angle or more in the rotation restriction direction (step S113 / Yes), the information processing terminal 10 indicates the recommended viewing direction or the like. Then, a warning notification or the like is performed (step S115).
  • the information processing terminal 10 draws all the objects according to the viewpoint position in the virtual space (step S118).
  • step S115 and the processing of step S118 may be performed in parallel, or may be performed in the reverse order.
  • the information processing terminal 10 may move the sound source position of the corresponding audio information in accordance with the rotation of the stereoscopic image 40. For example, the information processing terminal 10 may perform the sound image localization process so that the voice information of the person in the stereoscopic image 40 can always be heard from the front of the stereoscopic image 40 even when the stereoscopic image 40 is rotated. Further, when the stereoscopic image 40 is blocked by the virtual object, the information processing terminal 10 may change the audio information corresponding to the stereoscopic image 40.
  • the information processing terminal 10 may be configured to display the stereoscopic image.
  • the voices of the forty persons may be changed to a muffled voice.
  • the information processing terminal 10 changes (reproduces, for example, the illumination effect (shadow position, size, density, etc.) of the stereoscopic image 40 based on the illumination position in the virtual space according to the rotation angle of the stereoscopic image 40. Illumination).
  • the change in the lighting effect of the stereoscopic image 40 may be generated (or photographed) in advance.
  • the information processing terminal 10 may perform a warning display such as “not visible from this direction” without performing the rotation control of the stereoscopic image 40. Accordingly, it is possible to reduce a sense of discomfort such as the stereoscopic image 40 facing an impossible direction. Note that information such as a direction in which the subject of the stereoscopic image 40 may not face may be set as a rotation constraint.
  • a computer program for causing the functions of the information processing terminal 10 or the server 2 to be exhibited by hardware such as a CPU, a ROM, and a RAM built in the information processing terminal 10 or the server 2 can be created.
  • a computer-readable storage medium storing the computer program is provided.
  • the present technology can also have the following configurations.
  • the control unit includes: The stereoscopic image is controlled to rotate about the predetermined axis so that the straight line connecting the predetermined axis and the user viewpoint is substantially perpendicular to the stereoscopic image.
  • the information processing device according to (1).
  • the control unit includes: Performing rotation control within the rotation constraint corresponding to the two-dimensional image, The information processing device according to (2).
  • the rotation constraint is a constraint on a rotatable axis,
  • the control unit rotates the stereoscopic image around an axis set to be rotatable among predetermined axes on the stereoscopic image, and the straight line connecting the predetermined axis and the user viewpoint is the stereoscopic image. Maintaining a state that is substantially perpendicular to the visual image, The information processing device according to (3).
  • the rotation constraint is a constraint on a rotatable angle
  • the control unit when rotating the stereoscopic image on a predetermined axis on the stereoscopic image, performs rotation control within the rotatable angle, The information processing device according to (3) or (4).
  • the control unit includes: Due to the rotation constraint, if the straight line connecting the predetermined axis and the user viewpoint cannot maintain a state of being substantially perpendicular to the stereoscopic image, a warning notification is performed.
  • the information processing device according to any one of (3) to (5).
  • the control unit includes: If the straight line connecting the predetermined axis and the user's viewpoint has a certain angle or more with respect to the stereoscopic image in a direction in which the rotation is restricted, a recommended viewpoint direction is notified. , The information processing device according to (6).
  • the stereoscopic image is a stereo image of a person,
  • the rotatable axis is an axis that is a vertical direction in the three-dimensional space among predetermined axes on the stereoscopic image,
  • the control unit includes: Performing control to display a virtual object that is a three-dimensional image in accordance with the position of the stereoscopic image, The information processing device according to any one of (2) to (8).
  • the control unit includes: The display coordinates of the virtual object in the three-dimensional space change so as to follow a predetermined portion of the stereoscopic image.
  • the information processing device according to (9).
  • the control unit includes: When rotating the stereoscopic image around the predetermined axis, the virtual object is rotated with the same amount of rotation in the same direction as the rotation of the stereoscopic image, based on the predetermined axis, The information processing device according to (9) or (10).
  • (12) The control unit includes: Displaying a localization virtual object of the three-dimensional image localized in the three-dimensional space, When the user viewpoint changes, the display coordinates of the localized virtual object in the three-dimensional space are not changed, and the localized virtual object from the user viewpoint is generated and displayed.
  • the information processing apparatus includes a display unit, The control unit includes: Calculating the user viewpoint in the three-dimensional space based on information obtained from the real space, The display unit displays the generated image of the three-dimensional space of the user viewpoint, The information processing device according to any one of (2) to (12).
  • the processor Display control for arranging a two-dimensional image obtained by shooting a real object as a stereoscopic image in a three-dimensional space, And performing display control to maintain a state in which a straight line connecting the predetermined axis and the user viewpoint is substantially perpendicular to the stereoscopic image with reference to the predetermined axis on the stereoscopic image. , Information processing method.
  • Computer Display control for arranging a two-dimensional image obtained by shooting a real object as a stereoscopic image in a three-dimensional space, A display control that maintains a state in which a straight line connecting the predetermined axis and the user viewpoint is substantially perpendicular to the stereoscopic image, based on a predetermined axis on the stereoscopic image, Program to function as a control unit that performs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

三次元空間において二次元画像を疑似的に三次元画像に見せることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。実オブジェクトを撮影して得た二次元画像を立体視画像として三次元の空間内に配置する表示制御と、前記立体視画像上の所定の軸を基準として、当該所定の軸とユーザ視点とを結ぶ直線が、前記立体視画像に対して略垂直となる状態を維持する表示制御と、を行う制御部（１００）を備える、情報処理装置（１０）。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年普及しているＶＲ（Virtual　Reality）アプリケーションでは、３Ｄモデルが配置された仮想空間内を、ユーザが任意の視点から視聴することができる。このようなＶＲの世界は、主にユーザの視界を表示部で覆う非透過型のＨＭＤ（Head　Mounted　Display）を用いて提供され得る。
　仮想空間内へのユーザ動作の反映は、例えば実世界を撮影した撮影画像から実世界に係る情報を取得して行われる。具体的には、ユーザの体やマーカーをカメラで撮影し、その像の領域を検出してユーザの動き等の操作入力情報を取得し、仮想空間へ反映する手法が一例として用いられる。
　このような実世界に係る情報の取得はより正確に行われることが望ましく、例えば下記特許文献１では、実世界を撮影した映像を、メインデータの他に補助データとしてユーザに提示し、情報処理装置側で実空間についてどのような認識を行っているかをユーザに示し、不具合に係る気づきを与える技術が開示されている。
特開２０１６－１４００１７号公報
　ここで、視聴対象に、よりリアルな実世界の人物等の３Ｄモデルを用いることも想定される。しかしながら、実写映像から人物等を３Ｄモデル化するには、非常に多くのカメラが設置された特殊な撮影スタジオにて撮影する必要があった。また、そのようにして生成した３Ｄモデルの映像品質は、テレビなどで通常視聴する人物等の映像品質と比較すると大きく劣化した映像となってしまう。
　そこで、本開示では、三次元空間において二次元画像を疑似的に三次元画像に見せることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、実オブジェクトを撮影して得た二次元画像を立体視画像として三次元の空間内に配置する表示制御と、前記立体視画像上の所定の軸を基準として、当該所定の軸とユーザ視点とを結ぶ直線が、前記立体視画像に対して略垂直となる状態を維持する表示制御と、を行う制御部を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、実オブジェクトを撮影して得た二次元画像を立体視画像として三次元の空間内に配置する表示制御と、前記立体視画像上の所定の軸を基準として、当該所定の軸とユーザ視点とを結ぶ直線が、前記立体視画像に対して略垂直となる状態を維持する表示制御と、を行うことを含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、実オブジェクトを撮影して得た二次元画像を立体視画像として三次元の空間内に配置する表示制御と、前記立体視画像上の所定の軸を基準として、当該所定の軸とユーザ視点とを結ぶ直線が、前記立体視画像に対して略垂直となる状態を維持する表示制御と、を行う制御部として機能させるための、プログラムを提案する。
　以上説明したように本開示によれば、三次元空間において二次元画像を疑似的に三次元画像に見せることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による仮想空間内におけるユーザ視点の移動を示す図である。 ステレオ映像による立体視画像を斜めから見た場合に生じる歪みについて説明する図である。 本実施形態による情報処理システムの全体構成の一例を示す図である。 本実施形態による情報処理端末の構成の一例を示すブロック図である。 本実施形態の第１の実施例による立体視画像の回転制御について説明する図である。 本実施形態の第１の実施例による立体視画像を回転制御した際の見え方の一例を示す図である。 仮想空間内ユーザ視点に常に正対させるよう制御した際に立体視画像が不自然な姿勢になる場合について説明する図である。 本実施形態の第１の実施例による立体視画像の回転軸の定義について説明する図である。 本実施形態の第１の実施例による制約されている方向から視聴した場合に表示される警告の一例を示す図である。 本実施形態の第２の実施例による立体視画像と３Ｄモデルについて説明する図である。 本実施形態の第２の実施例による立体視画像に対する３Ｄモデルの装飾表示の一例を示す図である。 仮想空間内ユーザ視点が移動した場合の立体視画像の歪みおよび３Ｄモデルの装飾位置のずれについて説明する図である。 仮想空間内ユーザ視点の移動に応じて立体視画像のみを回転制御した場合における３Ｄモデルの装飾位置のずれについて説明する図である。 本実施形態の第２の実施例による仮想空間内ユーザ視点の移動に応じた立体視画像および３Ｄモデルの回転制御について説明する図である。 本実施形態の第２の実施例による装飾した３Ｄモデルの立体視画像に連動した動きについて説明する図である。 本実施形態による動作処理の流れの一例を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．情報処理端末の構成
　３．立体視表示制御例
　　３－１．第１の実施例
　　（３－１－１．回転制御）
　　（３－１－２．回転制約）
　　（３－１－３．警告）
　　３－２．第２の実施例
　４．動作処理
　５．その他
　６．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、例えばユーザの頭部に装着され、ユーザの視界を表示部１４０で覆う非透過型のＨＭＤ等の表示装置により実現される情報処理端末１０により、仮想空間の画像をユーザに提示する。ＨＭＤを頭部に装着した際に外界を遮る構成にすることで、視聴時の仮想現実感を増すことができる。
　また、仮想空間内には、例えば、生成された三次元画像（いわゆる３Ｄモデル）である仮想オブジェクト５０ａ、５０ｂが背景として定位されている（定位仮想オブジェクト）。かかる仮想オブジェクト５０ａ、５０ｂは、仮想空間内で奥行き情報を含めた形状データを有し、任意の視点から視聴しても形状が破綻せずに表示され得る。すなわち、仮想空間に定位された仮想オブジェクト５０ａ、５０ｂは、ユーザの視点や姿勢の変化に対してその運動視差を変化させる。
　さらに、本開示による情報処理システムでは、仮想空間内に、実空間の人物等（実オブジェクト）を撮像して得た情報に基づいて立体視画像４０を配置する。
　（背景）
　ここで、視聴対象に、よりリアルな実世界の人物等の３Ｄモデルを用いる場合、実写映像から人物等を３Ｄモデル化するには、非常に多くのカメラが設置された特殊な撮影スタジオにて撮影する必要がある。また、そのようにして生成した３Ｄモデルの映像品質は、通常テレビなどで視聴している人物等の映像品質と比較すると大きく劣化した映像となってしまうことがあった。
　なお、立体視技術として、ステレオ映像技術が知られている。ステレオ映像はステレオカメラにより撮影された２枚の２Ｄ映像（左視点画像および右視点画像）から構成され、左視点画像を左目だけに見せ、右視点画像を右目だけに見せることで、ステレオ映像（２Ｄ映像）を立体視させることが可能となる。したがって、仮想空間内に、実オブジェクト（例えば人物）を撮影して得たステレオ映像を立体視映像として配置することで、実写映像から３Ｄモデル化せずに、映像品質を落としたり撮影のコストを掛けたりすることなく、実世界の人物等を仮想空間内で立体視させることが可能となる。
　しかしながら、仮想空間を特定の視点（正面）からしか視聴しない場合には、ステレオ映像により提示される立体視映像が破綻することはないが、図２に示すように、仮想空間内でユーザが視点を左右に移動させ、立体視画像４０を斜めから見た場合、図３に示すように、正面から見た場合は違和感の無い立体視画像４０が（図３左参照）、斜めから見ると二次元画像である立体視画像４０に歪みが生じてしまう（図３右参照）。
　そこで、本開示による情報処理システムでは、立体視画像をユーザ視点に対して正対させる状態を維持することで、三次元空間において二次元画像を疑似的に三次元画像に見せることを可能とする。具体的には、本開示による情報処理システムは、立体視画像を通る所定の軸を基準として、当該所定の軸とユーザの視点とを結ぶ直線が、当該立体視画像の面に対して略垂直となるよう立体視画像の向きを回転させることで、ユーザ視点に対して正対させることが可能となる。
　仮想空間内には、背景等、空間定位された３Ｄモデル（定位仮想オブジェクト）が存在し、ユーザの視点や姿勢の変化に対してその運動視差を変化させるため（定位仮想オブジェクトの表示座標は変化しない）、このような３Ｄモデルと、立体視画像とを同時に視認するユーザは、視点を変化させた際、立体視画像がユーザ視点に対して正対するよう回転制御されても、当該立体視画像を二次元画像と認識し難く、三次元画像と錯覚し易くなる。
　このように、本開示による情報処理システムでは、実写映像から３Ｄモデル化を行うことなく、撮影時のコストを掛けずに簡易的な装置・設備・手法で生成された二次元画像（具体的にはステレオ映像）を用いて、映像品質を落とさずに、リアルな実世界の人物等を三次元空間内で提示することが可能となる。
　また、立体視画像をユーザ視線に対して正対させる状態を維持することで、ユーザ視点が移動した場合にも立体視画像の歪みを生じさせずに、二次元画像である立体視画像を疑似的に三次元画像に見せることが可能となる。すなわち、仮想空間内での映像体験において、ユーザの視点の変化に応じた適切な映像変化（擬似的な三次元化）を付与することができ、ユーザの映像体験価値を向上させることができる。
　なお、立体視画像は、実オブジェクトを予め撮影して得た二次元画像に基づいて生成してもよいし、実オブジェクトをリアルタイムで撮影して得た二次元画像に基づいて生成してもよい。
　続いて、このような本実施形態による情報処理システムの全体構成について図４を参照して説明する。図４は、本実施形態による情報処理システムの全体構成の一例を示す図である。
　図４に示すように、本実施形態による情報処理システムは、仮想空間の画像生成や表示部１４０への表示制御を行う情報処理端末１０と、仮想空間のコンテンツ情報を格納するサーバ２とを含む構成であってもよい。情報処理端末１０と、サーバ２は、ネットワーク３を介して通信接続し、データの送受信が可能である。
　情報処理端末１０は、サーバ２から仮想空間のコンテンツを取得すると共に、当該コンテンツから、ユーザの動きやコントローラ操作等に応じて自由視点画像を生成し、表示部１４０に提供する。ユーザの動きとは、ユーザの位置や姿勢（頭部の向きを含む）の変化であって、情報処理端末１０は、検出したユーザの位置や姿勢から実世界でのユーザ視点位置（３次元位置）を認識し、認識したユーザ視点位置に基づいて仮想空間内でのユーザ視点位置（以下、仮想空間内ユーザ視点とも称す）を算出する。
　ユーザに提供される仮想空間のコンテンツは、全天球コンテンツ、自由視点コンテンツ、またはゲームコンテンツ等である。自由視点コンテンツとは、任意の位置に仮想カメラを置いた際の映像を生成し、あらゆる視点からの映像視聴を可能としたものである。また、本明細書で使用する「仮想空間」（または「ＶＲ空間」）との用語は、実際のユーザが、１つ以上の表示装置を介して感知し得る、および／または１つ以上のユーザインタフェースを介してインタラクトしうる、１つ以上のプロセッサによってシミュレートされるインタラクションのルールを有する現実または架空の環境の表現を指す。「ユーザインタフェース」との用語は、ユーザが仮想世界との間で、入力を送信するか出力を受信することができる実際のデバイスを指す。
　仮想空間内では、ユーザがアバターによって表現されてもよいし、ディスプレイにアバターを表示せずに、アバターの視点から仮想空間の世界を表示してもよい。本明細書において、仮想空間におけるユーザの（またはアバターの）視点（仮想空間内ユーザ視点）とは、仮想カメラの視界とみなすことができる。「仮想カメラ」とは、仮想空間内の視点を指し、三次元の仮想空間を二次元画像としてディスプレイ（表示装置）に描画するための計算に使用される。本実施形態による情報処理システムは、さらに、ユーザの意図をシステムに伝えるためのリモートコントローラやゲームコントローラを含んでもよい。
　また、情報処理端末１０は、上述したように、例えばユーザの頭部に装着されるＨＭＤにより実現される。ＨＭＤは、左右の眼毎の画像表示部を有すると共に、ヘッドフォンを併用し、視覚および聴覚を制御できるよう構成されていてもよい。また、ＨＭＤは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示することで３Ｄ画像を提示することが可能である。また、情報処理端末１０は、テレビ装置やスマートフォン、またはタブレット端末等、非装着型のディスプレイに仮想空間画像を提示するデバイスであってもよい。
　以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる情報処理端末１０の具体的な構成について図面を参照して説明する。
　＜＜２．情報処理端末１０の構成＞＞
　図５は、本実施形態による情報処理端末１０の構成の一例を示すブロック図である。図５に示すように、情報処理端末１０は、制御部１００、通信部１１０、操作入力部１２０、センサ部１３０、表示部１４０、スピーカ１５０、および記憶部１６０を有する。
　制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理端末１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部１００は、ユーザ視点認識部１０１、仮想空間視点算出部１０２、画像生成部１０３、および表示制御部１０４としても機能する。
　ユーザ視点認識部１０１は、センサ部１３０等によりセンシングされたユーザの位置や姿勢（頭部の向きを含む）から、実世界でのユーザ視点位置（３次元位置）を認識する。次いで、仮想空間視点算出部１０２は、ユーザ視点認識部１０１により認識された実世界のユーザ視点に基づいて、仮想空間内ユーザ視点を算出する。次に、画像生成部１０３は、仮想空間視点算出部１０２により算出された仮想空間内ユーザ視点に対応する仮想空間の自由視点画像を生成し、表示制御部１０４は、当該生成された仮想空間の自由視点画像を、表示部１４０に表示する。これらの処理を継続的に行うことで、ユーザが実世界で前後左右に移動したり視点を変化させると、仮想空間でも同じ移動量（または所定の比率での対応する移動量）で前後左右に移動したり視点を変化させることができ、没入感の高いＶＲ体験を楽しむことができる。
　ユーザの位置や姿勢の検出は、例えば情報処理端末１０に設けられたセンサ部１３０により行われる。ユーザ視点認識部１０１は、センサ部１３０によりセンシングされたセンシングデータに基づいて、ユーザの頭部の動きを追従したり（ヘッドトラッキング）、視線の動きを追従したり（アイトラッキング）、位置や姿勢を追従したり（ポジショントラッキング）することで、実空間のユーザ視点位置を継続的に認識し得る。
　より具体的には、例えばヘッドトラッキングは、ユーザの頭部に装着された情報処理端末１０のセンサ部１３０により検出された９軸の検出結果に基づいて、頭部の姿勢情報を算出することにより行われ得る。また、アイトラッキングは、ユーザの頭部に装着された情報処理端末１０のセンサ部１３０により検出されたユーザの眼の撮像画像（例えば赤外線を眼に発光してその反射を撮像した赤外線画像）に基づいて、ユーザの視線（視線方向）を算出することにより行われ得る。また、ポジショントラッキングには、外部に設置したセンサを利用するアウトサイド・イン方式と、計測したいもの自体（ＨＭＤ）に搭載したセンサを利用するインサイド・アウト方式と、これらの組み合わせであるハイブリッド方式とがある。
　アウトサイド・イン方式では、例えばＨＭＤに設けた複数のＬＥＤライト（マーカー）の位置を外部に設置したカメラにより撮像して取得し、取得したＬＥＤライトの位置情報の変化に基づいて位置および姿勢を算出する。なお、ユーザ視点認識部１０１は、ＬＥＤライトの位置情報の変化と、ＨＭＤに設けたモーションセンサデータとに基づいて、ユーザの頭部姿勢を含むユーザ姿勢の算出を行うことも可能である。一方、インサイド・アウト方式では、ＨＭＤに設けられたモーションセンサ、深度センサ、および外向きカメラにより取得した情報に基づいて、ユーザの位置および姿勢を算出する。例えば、ＨＭＤに設けられた外向きカメラにより外界を撮像し、予めＳＬＡＭ（Simultaneous　Localization　and　Mapping）技術により生成した空間マップと比較してユーザの位置情報を取得したり、モーションセンサや深度センサの情報と併せてユーザの姿勢を算出したりすることが可能である。
　また、本実施形態による画像生成部１０３は、実オブジェクトを撮影して得た二次元画像（例えば、人物のステレオ映像）を立体視画像として三次元の空間内に配置する画像を生成し得る。これにより、実写の人物等を、撮影コストを掛けず、また、映像品質を落とすことなく、仮想空間内に配置することができる。なお、実写のステレオ映像は、その背景を残したままだと３次元空間の背景と馴染まないため、背景除去を実施したステレオ映像を用いるようにしてもよい。背景除去は、例えばクリーンバックでの撮影等により可能である。
　また、表示制御部１０４は、仮想空間内ユーザ視点が変化した場合に、立体視させている二次元画像に違和感が生じないよう、仮想空間内ユーザ視点に対して当該二次元画像が正対するよう回転させる制御を行い得る。表示制御部１０４は、立体視させている右目用画像と左目用画像を合わせて１オブジェクトとみなし、当該オブジェクトが視点に対して正対するよう回転させる。これにより、より確実に、三次元空間において二次元画像を疑似的に三次元画像に見せることができ、ユーザの映像体験価値を向上させることが可能となる。
　このような本実施形態による実オブジェクトを撮影して得た二次元画像の立体視表示制御の詳細に関しては、図面を用いて後述する。
　（通信部１１０）
　通信部１１０は、有線または無線によりネットワーク３と接続し、ネットワーク上のサーバ２とデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long　Term　Evolution）、３Ｇ（第３世代の移動体通信方式））等によりネットワーク３と通信接続する。
　（操作入力部１２０）
　操作入力部１２０は、ユーザによる操作指示を受付け、その操作内容を制御部１００に出力する。操作入力部１２０は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部１２０は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
　（センサ部１３０）
　センサ部１３０は、ユーザまたは周辺の状況等、実空間をセンシングする機能を有する。具体的には、センサ部１３０は、位置情報取得部１３１、カメラ１３２（内向き／外向きカメラ）、マイク（マイクロホン）１３３、加速度センサ１３４、および生体センサ１３５（脈拍、心拍、発汗、血圧、体温、呼吸、筋電値、脳波）等を含む。なお、センサ部１３０の具体例はこれに限定されず、例えば、センサ部１３０は、３軸ジャイロセンサ、３軸加速度センサ、および３軸地磁気センサの合計９軸を検出可能なセンサを有していてもよい。また、センサ部１３０は、ユーザの視線を検出する視線検出センサとして、例えばユーザの眼前に位置する表示部１４０の周辺に設けられた赤外線センサ（赤外線発光部および赤外線カメラ）等の内向きカメラや、ユーザの眼の周辺の筋肉の動きを検知する筋電センサ、若しくは脳波センサ等を有していてもよい。
　（表示部１４０）
　表示部１４０は、例えば情報処理端末１０がＨＭＤとして構成される場合、ユーザの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像および右眼用画像を表示する。表示部１４０の画面は、例えば液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）、有機ＥＬ（（Electro　Luminescence）ディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部１４０は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備えてもよい。
　（スピーカ１５０）
　スピーカ１５０は、例えば情報処理端末１０がＨＭＤとして構成される場合、ユーザの頭部に装着されるヘッドフォンとして構成され、音声信号を再生する。なおスピーカ１５０は、ヘッドフォン型に限定されず、イヤフォン、若しくは骨伝導スピーカとして構成されてもよい。
　（記憶部１６０）
　記憶部１６０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。
　以上、情報処理端末１０の構成について具体的に説明したが、本開示による情報処理端末１０の構成は図５に示す例に限定されない。例えば、情報処理端末１０は、複数の装置により実現されてもよい。具体的には、ＨＭＤ等により実現される表示装置（少なくとも表示部１４０に対応）と、スマートフォンやタブレット端末、ＰＣ等により実現される情報処理装置（少なくとも制御部１００に対応）とを含む構成であってもよい。また、上述した情報処理端末１０によるトラッキング処理を外部装置で行ってもよい。
　また、情報処理端末１０の制御部１００が有する各機能を、ネットワーク上に設けられたサーバで実現してもよいし、ユーザと同一空間に配置された専用端末や、スマートフォン、タブレット端末、またはＰＣ等により実現してもよい。
　＜＜３．立体視表示制御例＞＞
　　＜３－１．第１の実施例＞
　本実施形態による情報処理端末１０は、仮想空間内ユーザ視点に対して、実オブジェクトを撮影して取得した二次元画像に基づく立体視画像が正対した状態を維持することで、仮想空間内ユーザ視点が変化しても立体視画像が破綻することなく見せることができ、三次元空間において二次元画像を疑似的に三次元画像に見せることを可能とする。以下、図６～図１０を参照して本実施形態による二次元画像の立体視表示制御について詳述する。
　（３－１－１．回転制御）
　図６は、本実施形態の第１の実施例による立体視画像４０の回転制御について説明する図である。図６に示すように、情報処理端末１０は、仮想空間内において、立体視画像４０をユーザ視点に正対させた状態を維持するよう、立体視画像４０を通る所定の軸４２を基準として立体視画像４０を回転させる。より具体的には、情報処理端末１０は、立体視画像４０を通る所定の軸４２とユーザの視点（仮想空間内ユーザ視点）とを結ぶ直線４５が、当該立体視画像４０（の面）に対して略垂直となるよう、立体視画像４０を所定の軸４２を基準として回転させる。図６に示す例では、情報処理端末１０は、立体視画像４０を通る所定の軸４２を基準とした回転、すなわちｙａｗ方向に（左右に）立体視画像４０を回転させる。
　このように立体視画像４０を回転制御した場合の見え方の一例を、図７に示す。例えば、図７左に示す立体視画像４０を正面から見ている視点から、立体視画像４０に対して視点を右側に移動した場合、立体視画像４０はユーザの視点に正対するよう回転されるため、図３右に示すような歪みが生じることなく、図７右に示すように、違和感無く見ることができる。
　（３－１－２．回転制約）
　ここで、仮想空間内ユーザ視点に常に正対させるよう立体視画像４０の回転制御を行うと、立体視画像４０（被写体）によっては、不自然な姿勢になってしまう場合がある。
　図８は、仮想空間内ユーザ視点に常に正対させるよう制御した際に立体視画像４０が不自然な姿勢になる場合について説明する図である。例えば、図８左に示すような立体視画像４０を正面から見ている視点から、仮想空間内ユーザ視点を立体視画像４０に対して上側に移動した場合（すなわち立体視画像４０に対して上から見下ろすような角度となった場合）について説明する。この場合、立体視画像４０がユーザの視点に正対するよう回転されると（具体的には、立体視画像４０の中心を通る水平方向の軸を基準としてＰｉｔｃｈ方向に（上下に）回転される）、図８右に示すように、立体視画像４０が地面に倒れているような不自然な姿勢となってしまう。
　従って、本実施形態による情報処理システムでは、各立体視画像に対して回転制約を設定し、回転制約内で回転制御を行うことで、不自然な姿勢となってしまうことを回避することを可能とする。回転制約には、回転可能軸（回転方向）や回転可能角度（回転量）に関する制約が含まれる。
　ここで、本明細書で用いる回転軸の定義について、図９を参照して説明する。図９は、本実施形態の第１の実施例による立体視画像４０の回転軸の定義について説明する図である。図９に示すように、立体視画像４０の中心を縦に通る軸（すなわち、仮想空間において垂直方向の軸）を基準とする左右の回転をＹａｗ回転と称し、立体視画像４０の中心を横に通る軸（すなわち、仮想空間において水平方向の軸）を基準とする上下の回転をＰｉｔｃｈ回転と称する。また、立体視画像４０の中心を立体視画像４０の面に対して垂直に通る軸（すなわち、仮想空間において前後方向の軸）を基準とする回転をＲｏｌｌ回転と称する。
　回転制約は、立体視画像毎に設定してもよい。また、回転制約は、回転軸毎に回転可能な角度の情報を含むものであってもよい。例えば実オブジェクトが人物の場合、回転をＹａｗ回転に限定することで不自然な姿勢になってしまうことを回避することができる。この場合の回転制約情報のパラメータの一例を下記に示す。
・回転制約パラメータＹａｗ：０°～３６０°Ｐｉｔｃｈ：０°Ｒｏｌｌ：０°
　なお回転制約は、パラメータとして立体視画像が有することを想定するが、本実施形態はこれに限定されず、アプリケーション内に固定値として埋め込んでもよい。
　また、上述した例では、Ｙａｗ回転において０°～３６０°が回転可能と設定しているが、本実施形態はこれに限定されず、例えばユーザが人物（立体視画像４０）を真後ろから見た場合にも人物が正面に見えると、後ろ側が見えないことに違和感を持つ場合もあるため、Ｙａｗ：０°～１８０°等に設定してもよい。また、この場合、１８０°付近において、別カメラがある場合、当該別カメラで撮影した映像（例えば当該人物を横から撮影したステレオ映像）に切り替えるようにしてもよい。
　また、回転制約で設定される回転角度は、視聴開始点を基準とした角度であってもよいし、仮想空間のグローバル座標における正面を基準とした角度であってもよい。
　（３－１－３．警告）
　回転制約内で回転制御を行うことで、上述したように、立体視画像４０が不自然な姿勢になることを回避できるが、制約されている方向から視聴した際に、立体視画像４０の映像が大きく歪んでしまう場合がある。この場合、情報処理端末１０は、推奨される視聴方向をユーザに示す等の警告（音声、表示、振動等を用いた警告）を行って、快適な視聴が実現できるようにしてもよい。
　図１０は、本実施形態の第１の実施例による制約されている方向から視聴した場合に表示される警告の一例を示す図である。例えば図１０左に示すように、仮想空間内ユーザ視点が立体視画像４０に対して上側に移動した場合（すなわち上から見下ろすような角度になった場合）、回転制約により立体視画像４０をＰｉｔｃｈ回転できないため、図１０右に示すように、立体視画像４０が大きく歪んで見える。この場合、情報処理端末１０は、「なるべく正面から視聴してください」といった、推奨される視聴方向を通知する警告表示１４２を表示してもよい。なお、情報処理端末１０は、立体視画像４０に対して、回転が制約されている方向において一定以上の角度で視聴を行っている場合に警告を行うようにしてもよい。
　　＜３－２．第２の実施例＞
　続いて、本実施形態の第２の実施例として、上述したような回転制御を行う立体視画像に対して、３Ｄモデル（三次元の形状データを有する仮想オブジェクト）による装飾表現を行う場合について、図１１～図１６を参照して説明する。
　図１１は、本実施形態の第２の実施例による立体視画像４０と３Ｄモデル６０について説明する図である。図１１に示すように、立体視画像４０は、２枚の二次元画像から成るステレオ映像であり、これらを左右の目に個別に提示することで立体視を実現している。これに対し、３Ｄモデル６０は、仮想空間内で奥行き情報を含めた３次元の形状データを有する立体物であり、任意の視点から視聴しても形状が破綻しない。本実施例では、このような二次元データである立体視画像４０と、三次元データである３Ｄモデル６０とを組み合わせた表現を実現し、ユーザの視聴体験をさらに向上させることを可能とする。
　図１２は、本実施例による立体視画像４０に対する３Ｄモデル６０の装飾表示の一例を示す図である。図１２に示すように、立体視画像４０の手前側において、立体視画像４０（人物）の手の位置に３Ｄモデル６０（プレゼント画像）を配置することで、人物がプレゼントを持っているように見せる装飾表示を実現することができる。なお３Ｄモデル６０は、仮想空間内においてインタラクション可能な仮想オブジェクトである。また、立体視画像４０の実空間における手の位置の情報は、画像解析により認識してもよいし、撮影時に被写体人物が手に有しているコントローラを検出して認識してもよい。また、このように撮影時等に認識した手の位置の情報（３次元位置情報）を記録しておいてもよい。
　ここで、仮想空間内ユーザ視点が移動した場合、図１３に示すように、二次元データである立体視画像４０には歪みが生じ、また、３Ｄモデルは三次元データであるため画像の歪みは生じず任意の位置から視聴しても形状は破綻しないが、立体視画像４０に対する装飾位置がずれてしまう（人物の手の位置からずれる）。
　一方、仮想空間内ユーザ視点の移動に応じて立体視画像４０のみを（仮想空間内ユーザ視点に正対するよう）回転制御した場合、図１４に示すように、立体視画像４０の映像の歪みは解消されるが、依然として、３Ｄモデル６０の装飾位置のずれが生じる。
　そこで、本実施例では、仮想空間内ユーザ視点の移動に応じて、図１５左に示すように、所定の軸４２を基準として、立体視画像４０の面が仮想空間内ユーザ視点に正対するよう立体視画像４０を回転制御すると共に、併せて、同回転軸（すなわち、所定の軸４２）を基準として、３Ｄモデル６０を、（立体視画像４０と）同回転量（回転方向、回転角度）回転させる。
　情報処理端末１０は、立体視画像４０の回転軸である所定の軸４２を基準として、３Ｄモデル６０を公転させることで、立体視画像４０と３Ｄモデル６０を回転させた際に３Ｄモデル６０の立体視画像４０に対する相対位置を維持することができる。３Ｄモデル６０を公転させるとは、すなわち、３Ｄモデル６０を、所定の軸４２を中心として所定の軸４２の周りを周回させる（当該所定の軸を中心に円状の軌道に沿って回転させる）ことであり、仮想空間内での３Ｄモデル６０の座標位置は変化する。一方、立体視画像４０は、立体視画像４０を通る所定の軸４２を基準として自転（すなわち仮想空間内での座標位置は変化せずにその場で所定の軸４２を中心として回転）する。
　これにより、図１５右に示すように、立体視画像４０の映像の歪みを解消すると共に、３Ｄモデル６０の装飾位置のずれも解消することができる。
　なお、第２の実施例においても、立体視画像４０に回転制約が設定されている場合、情報処理端末１０は、回転制約内で回転制御を行い、また、必要に応じて警告を行い得る。
　また、３Ｄモデル６０の表示位置は固定ではなく、立体視画像４０に連動して動かすようにしてもよい。図１６は、本実施例による装飾した３Ｄモデル６０の立体視画像４０に連動した動きについて説明する図である。図１６上段に示すように、例えば立体視画像４０の人物の手の位置に合わせて３Ｄモデル６０（例えばプレゼント画像）を表示している場合、３Ｄモデル６０の表示位置を、手の位置の動きに追従させることが可能である。立体視画像４０の人物の手の位置情報は、上述したように、例えば撮影時に認識して記録しておくことで、再生時に、当該手の位置に合せて３Ｄモデル６０を配置することが可能となる。
　また、図１６下段に示すように、立体視画像４０の人物がプレゼント（３Ｄモデル６０）をユーザに手渡すような表現を行うことも可能となる。手の位置の情報には、奥行き情報（深度情報）も含まれ、プレゼント（３Ｄモデル６０）がユーザに近付いた場合は、３Ｄモデル６０が大きく見えるよう表示制御することが可能である。
　なお、３Ｄモデル６０の表示位置を立体視画像４０に連動して動かす際も、仮想空間内ユーザ視点の変化に応じて立体視画像４０をユーザ視点に正対させるよう回転制御する際は、３Ｄモデル６０も、図１５を参照して説明したように、立体視画像４０と同じ回転軸および同じ回転量で回転させることで、３Ｄモデル６０が手の位置から外れることなく表現することが可能となる。
　＜＜４．動作処理＞＞
　続いて、本実施形態による情報処理システムの動作処理について、図１７を用いて具体的に説明する。図１７は、本実施形態による表示制御処理の流れの一例を示すフローチャートである。ここでは一例として、第２の実施例で説明した３Ｄモデル６０の装飾や、第１の実施例で説明した回転制約および必要に応じた警告に関する処理を含めて説明する。
　図１７に示すように、まず、情報処理端末１０は、実世界での視点位置に基づいて、仮想空間内での視点位置（仮想空間内ユーザ視点）を算出する（ステップＳ１０３）。仮想空間内ユーザ視点は、実世界におけるユーザの頭部の向きや視線をセンシングして算出してもよいし、ユーザが操作するコントローラに基づいて算出してもよい。
　次に、情報処理端末１０は、仮想空間内での視点位置に正対するよう、（実オブジェクトを撮影して得た二次元画像に基づく）立体視画像４０を回転させる（ステップＳ１０６）。これにより、仮想空間内ユーザ視点が変化しても、二次元データである立体視画像４０の映像に歪みが生じることを回避することができる。また、情報処理端末１０は、この際、立体視画像４０に設定されている回転制約内で（回転可能な方向、角度にのみ）回転させるようにしてもよい。
　次いで、情報処理端末１０は、立体視画像４０に３Ｄモデル６０を装飾表示していた際、立体視画像４０と同じ回転軸で同じ回転量（角度）だけ３Ｄモデル６０を回転させる（ステップＳ１０９）。これにより、立体視画像４０が回転しても３Ｄモデル６０の表示位置がずれないようにすることができる。
　次に、立体視画像４０に対する仮想空間内ユーザ視点が、回転制約方向において一定以上の角度になった場合（ステップＳ１１３／Ｙｅｓ）、情報処理端末１０は、推奨される視聴方向を示す等、ユーザへの警告通知などを実施する（ステップＳ１１５）。
　そして、情報処理端末１０は、仮想空間内での視点位置に従って全オブジェクトを描画する（ステップＳ１１８）。
　以上、本実施形態による動作処理の一例を説明した。なお図１７に示す動作処理は一例であって、本開示は図１７に示す例に限定されない。例えば、本開示は、図１７に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップＳ１１５の処理とステップＳ１１８の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。
　また、図１７に示す全ての処理が必ずしも実行されてなくともよい。また、図１７に示す全ての処理が必ずしも単一の装置で行われなくともよい。
　＜＜５．その他＞＞
　本実施形態による情報処理システムについて、以下補足する。
　情報処理端末１０は、立体視画像４０を回転制御したとき、対応する音声情報の音源位置を、立体視画像４０の回転制御に併せて移動させるようにしてもよい。例えば情報処理端末１０は、立体視画像４０の人物の音声情報が、立体視画像４０が回転した場合でも常に立体視画像４０の正面から聞こえるよう音像定位処理を行うようにしてもよい。また、情報処理端末１０は、仮想オブジェクトで立体視画像４０が遮蔽された際、立体視画像４０に対応する音声情報を変化させてもよい。例えば、立体視画像４０の人物に、３Ｄモデル６０（プレゼント画像）を装飾表示している際に、立体視画像４０の人物がプレゼントで口元を隠した場合、情報処理端末１０は、立体視画像４０の人物の音声を、籠った声に変化させてもよい。
　また、情報処理端末１０は、立体視画像４０の回転角度に応じて、仮想空間内の照明位置に基づく立体視画像４０の照明演出（影の位置、大きさ、濃さ等）を変化（再照明付与）させてもよい。立体視画像４０の照明演出の変化は、予め生成（または撮影）しておいてもよい。
　また、視聴位置が特殊な位置になった場合（例えば、立体視画像４０の裏側に回り込んだ場合等）、その方向に立体視画像４０の被写体が向くことがあり得ない等の場合には、情報処理端末１０は、立体視画像４０の回転制御を行わず、「この方向からは見えません」等の警告表示を行うようにしてもよい。これにより、立体視画像４０があり得ない方向を向いている等の違和感を軽減することが可能となる。なお、立体視画像４０の被写体が向くことがあり得ない方向等の情報は、回転制約として設定しておいてもよい。
　＜＜６．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、三次元空間において二次元画像を疑似的に三次元画像に見せることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理端末１０、またはサーバ２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理端末１０、またはサーバ２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　実オブジェクトを撮影して得た二次元画像を立体視画像として三次元の空間内に配置する表示制御と、
　前記立体視画像上の所定の軸を基準として、当該所定の軸とユーザ視点とを結ぶ直線が、前記立体視画像に対して略垂直となる状態を維持する表示制御と、を行う制御部を備える、
情報処理装置。
（２）　前記制御部は、
　　前記所定の軸と前記ユーザ視点とを結ぶ前記直線が前記立体視画像に対して略垂直となるよう、前記立体視画像を前記所定の軸で回転させる制御を行う、
前記（１）に記載の情報処理装置。
（３）
　前記制御部は、
　　前記二次元画像に対応する回転制約内で回転制御を行う、
前記（２）に記載の情報処理装置。
（４）
　前記回転制約は、回転可能軸に関する制約であり、
　前記制御部は、前記立体視画像上の所定の軸のうち、回転可能に設定されている軸で前記立体視画像を回転させ、前記所定の軸と前記ユーザ視点とを結ぶ前記直線が前記立体視画像に対して略垂直となる状態を維持する、
前記（３）に記載の情報処理装置。
（５）
　前記回転制約は、回転可能角度に関する制約であり、
　前記制御部は、前記立体視画像上の所定の軸で前記立体視画像を回転させる際、前記回転可能角度内で回転制御を行う、
前記（３）または（４）に記載の情報処理装置。
（６）
　前記制御部は、
　　前記回転制約により、前記所定の軸と前記ユーザ視点とを結ぶ前記直線が、前記立体視画像に対して略垂直となる状態が維持できない場合、警告通知を行う、
前記（３）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記制御部は、
　　前記所定の軸と前記ユーザ視点とを結ぶ前記直線が、前記立体視画像に対し、前記回転が制限されている方向に一定以上の角度を有している場合、推奨される視点方向を通知する、
前記（６）に記載の情報処理装置。
（８）
　前記立体視画像は、人物を撮影したステレオ映像であり、
　前記回転可能軸は、前記立体視画像上の所定の軸のうち、前記三次元の空間において垂直方向となる軸とする、
前記（４）に記載の情報処理装置。
（９）
　前記制御部は、
　　前記立体視画像の位置に合わせて、三次元画像である仮想オブジェクトを表示する制御を行う、
前記（２）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記制御部は、
　　前記仮想オブジェクトの前記三次元の空間における表示座標は、前記立体視画像の所定箇所に追従するよう変化する、
前記（９）に記載の情報処理装置。
（１１）
　前記制御部は、
　　前記立体視画像を前記所定の軸で回転させる際、前記仮想オブジェクトを、当該所定の軸を基準として、前記立体視画像の回転と同じ方向に同じ回転量で回転させる、
前記（９）または（１０）に記載の情報処理装置。
（１２）
　前記制御部は、
　　前記３次元の空間に定位された三次元画像の定位仮想オブジェクトを表示し、
　　前記ユーザ視点が変化した際、前記定位仮想オブジェクトの前記三次元の空間における表示座標は変化させずに、前記ユーザ視点からの前記定位仮想オブジェクトを生成し、表示する、
前記（２）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記情報処理装置は、表示部を備え、
　前記制御部は、
　　実空間から取得した情報に基づいて前記三次元の空間内における前記ユーザ視点を算出し、
　　前記表示部に、生成した前記ユーザ視点の前記三次元の空間の画像を表示する、
前記（２）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　プロセッサが、
　実オブジェクトを撮影して得た二次元画像を立体視画像として三次元の空間内に配置する表示制御と、
　前記立体視画像上の所定の軸を基準として、当該所定の軸とユーザ視点とを結ぶ直線が、前記立体視画像に対して略垂直となる状態を維持する表示制御と、を行うことを含む、
情報処理方法。
（１５）
　コンピュータを、
　実オブジェクトを撮影して得た二次元画像を立体視画像として三次元の空間内に配置する表示制御と、
　前記立体視画像上の所定の軸を基準として、当該所定の軸とユーザ視点とを結ぶ直線が、前記立体視画像に対して略垂直となる状態を維持する表示制御と、
を行う制御部として機能させるための、プログラム。
　２　サーバ
　３　ネットワーク
　１０　情報処理端末
　　１００　制御部
　　　１０１　ユーザ視点認識部
　　　１０２　仮想空間視点算出部
　　　１０３　画像生成部
　　　１０４　表示制御部
　　１１０　通信部
　　１２０　操作入力部
　　１３０　センサ部
　　　１３１　位置情報取得部
　　　１３２　カメラ
　　　１３３　マイク（マイクロホン）
　　　１３４　加速度センサ
　　　１３５　生体センサ
　　１４０　表示部
　　１４２　警告表示
　　１５０　スピーカ
　　１６０　記憶部
　４０　立体視画像
　４２　所定の軸
　５０ａ　仮想オブジェクト（定位仮想オブジェクト）
　５０ｂ　仮想オブジェクト（定位仮想オブジェクト）
　６０　３Ｄモデル（仮想オブジェクト）

Claims (15)

  1. 　実オブジェクトを撮影して得た二次元画像を立体視画像として三次元の空間内に配置する表示制御と、
    　前記立体視画像上の所定の軸を基準として、当該所定の軸とユーザ視点とを結ぶ直線が、前記立体視画像に対して略垂直となる状態を維持する表示制御と、を行う制御部を備える、
    情報処理装置。
  2. 　前記制御部は、
    　　前記所定の軸と前記ユーザ視点とを結ぶ前記直線が前記立体視画像に対して略垂直となるよう、前記立体視画像を前記所定の軸で回転させる制御を行う、
    請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　　前記二次元画像に対応する回転制約内で回転制御を行う、
    請求項２に記載の情報処理装置。
  4. 　前記回転制約は、回転可能軸に関する制約であり、
    　前記制御部は、前記立体視画像上の所定の軸のうち、回転可能に設定されている軸で前記立体視画像を回転させ、前記所定の軸と前記ユーザ視点とを結ぶ前記直線が前記立体視画像に対して略垂直となる状態を維持する、
    請求項３に記載の情報処理装置。
  5. 　前記回転制約は、回転可能角度に関する制約であり、
    　前記制御部は、前記立体視画像上の所定の軸で前記立体視画像を回転させる際、前記回転可能角度内で回転制御を行う、
    請求項３に記載の情報処理装置。
  6. 　前記制御部は、
    　　前記回転制約により、前記所定の軸と前記ユーザ視点とを結ぶ前記直線が、前記立体視画像に対して略垂直となる状態が維持できない場合、警告通知を行う、
    請求項３に記載の情報処理装置。
  7. 　前記制御部は、
    　　前記所定の軸と前記ユーザ視点とを結ぶ前記直線が、前記立体視画像に対し、前記回転が制限されている方向に一定以上の角度を有している場合、推奨される視点方向を通知する、
    請求項６に記載の情報処理装置。
  8. 　前記立体視画像は、人物を撮影したステレオ映像であり、
    　前記回転可能軸は、前記立体視画像上の所定の軸のうち、前記三次元の空間において垂直方向となる軸とする、
    請求項４に記載の情報処理装置。
  9. 　前記制御部は、
    　　前記立体視画像の位置に合わせて、三次元画像である仮想オブジェクトを表示する制御を行う、
    請求項２に記載の情報処理装置。
  10. 　前記制御部は、
    　　前記仮想オブジェクトの前記三次元の空間における表示座標は、前記立体視画像の所定箇所に追従するよう変化する、
    請求項９に記載の情報処理装置。
  11. 　前記制御部は、
    　　前記立体視画像を前記所定の軸で回転させる際、前記仮想オブジェクトを、当該所定の軸を基準として、前記立体視画像の回転と同じ方向に同じ回転量で回転させる、
    請求項９に記載の情報処理装置。
  12. 　前記制御部は、
    　　前記３次元の空間に定位された三次元画像の定位仮想オブジェクトを表示し、
    　　前記ユーザ視点が変化した際、前記定位仮想オブジェクトの前記三次元の空間における表示座標は変化させずに、前記ユーザ視点からの前記定位仮想オブジェクトを生成し、表示する、
    請求項２に記載の情報処理装置。
  13. 　前記情報処理装置は、表示部を備え、
    　前記制御部は、
    　　実空間から取得した情報に基づいて前記三次元の空間内における前記ユーザ視点を算出し、
    　　前記表示部に、生成した前記ユーザ視点の前記三次元の空間の画像を表示する、
    請求項２に記載の情報処理装置。
  14. 　プロセッサが、
    　実オブジェクトを撮影して得た二次元画像を立体視画像として三次元の空間内に配置する表示制御と、
    　前記立体視画像上の所定の軸を基準として、当該所定の軸とユーザ視点とを結ぶ直線が、前記立体視画像に対して略垂直となる状態を維持する表示制御と、を行うことを含む、
    情報処理方法。
  15. 　コンピュータを、
    　実オブジェクトを撮影して得た二次元画像を立体視画像として三次元の空間内に配置する表示制御と、
    　前記立体視画像上の所定の軸を基準として、当該所定の軸とユーザ視点とを結ぶ直線が、前記立体視画像に対して略垂直となる状態を維持する表示制御と、
    を行う制御部として機能させるための、プログラム。
PCT/JP2019/027566 2018-07-18 2019-07-11 情報処理装置、情報処理方法、およびプログラム WO2020017435A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-134800 2018-07-18
JP2018134800A JP2021177580A (ja) 2018-07-18 2018-07-18 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2020017435A1 true WO2020017435A1 (ja) 2020-01-23

Family

ID=69164018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027566 WO2020017435A1 (ja) 2018-07-18 2019-07-11 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2021177580A (ja)
WO (1) WO2020017435A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022192306A1 (en) * 2021-03-11 2022-09-15 Dathomir Laboratories Llc Image display within a three-dimensional environment

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202328421A (zh) 2021-10-29 2023-07-16 日商日油股份有限公司 軟性隱形眼鏡用溶液
JPWO2023140120A1 (ja) * 2022-01-21 2023-07-27

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078125A (ja) * 2002-08-22 2004-03-11 Sharp Corp 表示補正装置、表示補正方法、表示補正プログラム、および表示補正プログラムを記録した記録媒体
JP2004312690A (ja) * 2003-03-25 2004-11-04 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2008085481A (ja) * 2006-09-26 2008-04-10 Sharp Corp 画像調整方法及びプロジェクタ
JP2009251141A (ja) * 2008-04-03 2009-10-29 Mitsubishi Electric Corp 立体画像表示装置
JP2010048917A (ja) * 2008-08-20 2010-03-04 Seiko Epson Corp プロジェクタ
WO2013108314A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 ３次元映像処理装置および方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078125A (ja) * 2002-08-22 2004-03-11 Sharp Corp 表示補正装置、表示補正方法、表示補正プログラム、および表示補正プログラムを記録した記録媒体
JP2004312690A (ja) * 2003-03-25 2004-11-04 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2008085481A (ja) * 2006-09-26 2008-04-10 Sharp Corp 画像調整方法及びプロジェクタ
JP2009251141A (ja) * 2008-04-03 2009-10-29 Mitsubishi Electric Corp 立体画像表示装置
JP2010048917A (ja) * 2008-08-20 2010-03-04 Seiko Epson Corp プロジェクタ
WO2013108314A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 ３次元映像処理装置および方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022192306A1 (en) * 2021-03-11 2022-09-15 Dathomir Laboratories Llc Image display within a three-dimensional environment

Also Published As

Publication number Publication date
JP2021177580A (ja) 2021-11-11

Similar Documents

Publication Publication Date Title
CN106170083B (zh) 用于头戴式显示器设备的图像处理
JP6511386B2 (ja) 情報処理装置および画像生成方法
EP3008698B1 (en) Head-mountable apparatus and systems
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
JP7496460B2 (ja) 画像生成装置および画像生成方法
GB2519418A (en) Head-mountable apparatus and systems
JP7073481B2 (ja) 画像表示システム
US11507201B2 (en) Virtual reality
WO2020017435A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2014199155A1 (en) Head-mountable apparatus and systems
US10515481B2 (en) Method for assisting movement in virtual space and system executing the method
WO2017126433A1 (ja) 情報処理装置およびユーザガイド提示方法
CN107810634A (zh) 用于立体增强现实的显示器
JP2020115353A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
US9773350B1 (en) Systems and methods for greater than 360 degree capture for virtual reality
US20230260235A1 (en) Information processing apparatus, information processing method, and information processing system
US11045733B2 (en) Virtual reality
US20240036327A1 (en) Head-mounted display and image displaying method
EP3673348B1 (en) Data processing device, method and non-transitory machine-readable medium for detecting motion of the data processing device
JP2012223357A (ja) ビデオゲーム装置およびビデオゲーム制御方法
JP2021507365A (ja) データ処理
EP3688561A1 (en) Motion signal generation
WO2017163649A1 (ja) 画像処理装置
JP6916896B2 (ja) 情報処理装置および画像生成方法
JP6921204B2 (ja) 情報処理装置および画像出力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19838318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19838318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP