WO2019044188A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019044188A1
WO2019044188A1 PCT/JP2018/026126 JP2018026126W WO2019044188A1 WO 2019044188 A1 WO2019044188 A1 WO 2019044188A1 JP 2018026126 W JP2018026126 W JP 2018026126W WO 2019044188 A1 WO2019044188 A1 WO 2019044188A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
virtual
display control
display surface
control unit
Prior art date
Application number
PCT/JP2018/026126
Other languages
English (en)
French (fr)
Inventor
横山 一樹
青山 幸治
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/641,083 priority Critical patent/US11064176B2/en
Priority to KR1020207002150A priority patent/KR20200043371A/ko
Priority to EP18851514.2A priority patent/EP3678370A4/en
Priority to JP2019539030A priority patent/JP7259753B2/ja
Priority to CN201880054560.1A priority patent/CN111034190B/zh
Publication of WO2019044188A1 publication Critical patent/WO2019044188A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/38Image reproducers using viewer tracking for tracking vertical translational head movements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • stereoscopic image display technology capable of stereoscopically displaying content is becoming widespread.
  • binocular parallax can be given to the user by displaying the right-eye image and the left-eye image on the display while being shifted in the horizontal direction, and the content can be displayed at an arbitrary distance in the depth direction.
  • Patent Document 1 In addition to a method of wearing special glasses and viewing a display, and a method of wearing a dedicated device in which different displays are disposed in front of the left and right eyes, for stereoscopic image display technology, as shown in Patent Document 1 below. There is also proposed a method in which the user does not have to wear glasses or devices.
  • the present disclosure proposes a novel and improved information processing apparatus, information processing method, and program that can suppress the loss of stereoscopic effect or the occurrence of sickness.
  • the display control unit is configured to control the display of the display unit so that a stereoscopic image is displayed on the virtual display surface arranged in the space, and the display control unit is based on the position of the user's viewpoint.
  • An information processing apparatus is provided, which controls the arrangement of the virtual display surface in the space.
  • the processor includes controlling display of a display unit such that a stereoscopic image is displayed on a virtual display surface arranged in a space, and arrangement of the virtual display surface in the space is An information processing method is provided, which is controlled based on the position of the user's viewpoint.
  • a display control function of controlling display of a display unit is realized such that a stereoscopic image is displayed on a virtual display surface arranged in space according to the present disclosure, and the display control function is a user
  • a program is provided that controls the placement of the virtual display surface in the space based on the position of the viewpoint of
  • FIG. 16 is a block diagram showing an example of configuration of a display control unit 10-2 according to a modification 1; It is an explanatory view for explaining modification 2. It is an explanatory view showing the example of hardware constitutions.
  • a so-called stereo content (an example of a stereoscopic image) including a left-eye image and a right-eye image shifted in the horizontal direction is displayed so as to be observed by the user's left and right eyes, respectively.
  • the user can perceive depth by binocular parallax (sometimes referred to simply as parallax) which is a gap between the left-eye image and the right-eye image.
  • Various techniques have been developed to display different images (a left-eye image and a right-eye image) to the left eye and the right eye of the user. For example, a method of wearing a special glasses to look at a display, a method of wearing a dedicated device in which different displays are disposed in front of the left and right eyes, and a left or right eye without the user wearing glasses or a device There are methods that can display different images.
  • the present embodiment has been made with the above circumstances taken into consideration. According to the present embodiment, by controlling the display such that a stereoscopic image is displayed on a virtual display surface (virtual display surface) arranged in space, the influence of the sticking effect is suppressed, and a three-dimensional effect is obtained. It is possible to suppress the occurrence of loss or sickness.
  • the configuration of the information processing apparatus according to the present embodiment will be described below.
  • FIG. 1 is a block diagram showing an exemplary configuration of an information processing apparatus 1 according to an embodiment of the present disclosure.
  • the information processing apparatus 1 includes a display control unit 10, a display unit 20, a sensor unit 30, and a storage unit 40.
  • the display control unit 10 has a display control function of controlling the display of the display unit 20. More specifically, the display control unit 10 controls the display of the display unit 20 such that stereo content is displayed on a virtual display surface arranged in a virtual space or a real space. Stereo content may be acquired from, for example, the storage unit 40.
  • the virtual display surface will be described later with reference to FIG.
  • the display unit 20 performs display in accordance with the control of the display control unit 10.
  • the display unit 20 according to the present embodiment is a display device capable of performing stereoscopic display so as to present different images to at least the left eye and the right eye of the user. Examples of the display unit 20 to which the present embodiment can be applied will be described later with reference to FIGS. 2 to 6.
  • the sensor unit 30 has a function of acquiring (sensing) various information related to the user or the surrounding environment, and includes at least a sensor for detecting the position of the user's viewpoint.
  • the sensor unit 30 may itself detect the position of the viewpoint of the user and output information on the position of the viewpoint of the user to the display control unit 10, or display information for detecting the position of the viewpoint of the user You may output to the control part 10.
  • the sensor for detecting the position of the viewpoint of the user may be an imaging unit for imaging the user direction.
  • the sensor for detecting the position of the user's viewpoint is any of an acceleration sensor, a gyro sensor, a direction sensor, and an imaging unit. Or a combination of the above.
  • the sensor unit 30 may further include an imaging unit arranged to capture an area corresponding to the field of view of the user in the real space.
  • the storage unit 40 stores programs and parameters for the display control unit 10 to execute each function.
  • the storage unit 40 may store stereo content to be displayed by the display control unit 10 and information on a virtual space.
  • the display control unit 10 may control the display of the display unit provided outside the information processing device 1.
  • the display control unit 10 may control display via a communication unit (not shown) such that stereo content acquired from another device is displayed on the virtual display surface.
  • the information processing device 1 may not have the sensor unit, and the above-described information may be transmitted to the information processing device 1 from a sensor installed outside the information processing device 1.
  • FIG. 2 and 3 are explanatory diagrams showing an example of the display unit 20 according to the present embodiment.
  • the display unit 20 may be fixedly arranged such that the display surface of the display unit 20 is perpendicular to the horizontal plane in the real space.
  • the display control unit 10 may arrange the virtual space VW on the opposite side as viewed from the viewpoint E of the user, that is, on the far side of the display unit 20, and cause the display unit 20 to display the virtual space VW.
  • FIG. 3 shows an example of the field of view F of the user as viewed from the viewpoint E of the user shown in FIG.
  • a virtual space VW is displayed on the display unit 20.
  • the virtual space VW may be displayed as if it exists beyond the window, or its contents may be displayed as if it is a box whose side is the frame of the display unit 20.
  • FIG. 4 and 5 are explanatory views showing another example of the display unit 20 according to the present embodiment.
  • the display unit 20 may be fixedly arranged such that the display surface of the display unit 20 is oblique (non-perpendicular) to the horizontal plane in the real space.
  • the display control unit 10 arranges the virtual space VW so as to intersect the display surface of the display unit 20 as shown in FIG. 4, that is, to have regions on both the front and back sides of the display unit 20.
  • the virtual space VW may be displayed on the display unit 20.
  • FIG. 5 shows an example of the field of view F of the user as viewed from the viewpoint E of the user shown in FIG.
  • a virtual space VW is displayed on the display unit 20.
  • the display control unit 10 arranges a virtual object on the front side of the display unit 20 in the virtual space, and displays the display unit.
  • the virtual object may be displayed so as to be observed on the near side of 20. Further, as described later, the display control unit 10 may arrange the virtual object so as to intersect the display surface of the display unit 20.
  • FIG. 6 is an explanatory view showing another example of the display unit 20 according to the present embodiment.
  • the information processing device 1 is a wearable device worn by the user, and when the user wears the information processing device 1, the display unit 20 is positioned in front of the user's eyes.
  • the information processing apparatus 1 may be, for example, a glasses-type head mounted display (HMD) mounted on the head, and in such a case, the display unit 20 is a glasses lens portion. Equivalent to.
  • the information processing apparatus 1 is a headband type (a type that is attached with a band that goes around the entire circumference of the head. There may be a band that passes not only the side but also the top of the head) HMD or helmet type The visor portion of the helmet may correspond to the display unit 20).
  • the display control unit 10 arranges the virtual space VW on the opposite side as viewed from the user's viewpoint E, that is, on the back side of the display unit 20 and displays the virtual space VW on the display unit 20.
  • the display unit 20 may cover the field of view F of the user, and in this case, the user can obtain an immersive feeling as if he / she exists in the virtual space VW.
  • the display control unit 10 may arrange the virtual space VW based on the real space, or may arrange the virtual space VW independently of the real space. For example, as shown in FIG. 6, by aligning the wall or floor (or ground) of the real space with the wall or floor (or ground) of the virtual space VW,
  • the display control unit 10 determines the viewpoint of the user based on the information acquired by the sensor unit 30.
  • the position of the virtual space VW may be specified, and the display may be controlled so that the virtual space VW is localized.
  • a control method of display in which the virtual space VW is localized can be realized by a known technique, and thus the detailed description thereof will be omitted.
  • the display control unit 10 arranges a virtual display surface, which is a virtual display surface, in the virtual space VW arranged with respect to the display unit 20 as shown in FIGS. It may be displayed.
  • FIG. 7 is an explanatory view showing an example of the virtual display surface VD displayed by the display control unit 10. As shown in FIG. Note that FIG. 7 illustrates an example in which the display unit 20 is disposed so that the display surface of the display unit 20 is oblique to the horizontal plane in the real space as described with reference to FIGS. 4 and 5. It shows.
  • the display control unit 10 may dispose the virtual display surface VD so as to intersect the display surface of the display unit 20.
  • the user it is possible for the user to obtain both a stereoscopic effect in the pop-out direction (front direction) and a stereoscopic effect in the retraction direction (back direction) on the virtual display surface VD.
  • the virtual display surface VD may be arranged in the virtual space VW, for example, as a planar virtual object. Then, the display control unit 10 causes the virtual display surface VD to display stereo content. The virtual display surface VD is observed by the user as if a flat three-dimensional image display device having no frame is disposed. As described above, since the virtual display surface VD does not have a frame unlike the existing display, the influence of the sticking effect described above is suppressed, and it is possible to suppress the loss of stereoscopic effect or the occurrence of sickness.
  • the display control unit 10 can arrange the virtual display surface in the virtual space VW and display stereo content on the virtual display surface. Also in the following, the case where the display unit 20 is disposed mainly in such a manner that the display surface of the display unit 20 is oblique to the horizontal plane in the real space will be described as an example. is there.
  • the display control unit 10 causes the display unit 20 to display the virtual space VW, but the present technology is not limited to such an example.
  • the display control unit 10 may not display the virtual space VW.
  • the display control unit 10 arranges the virtual display surface VD in the real space instead of the virtual space VW described above, and controls the display of the display unit 20 as if the virtual display surface VD exists in the real space.
  • the sensor unit 30, which will be described later has an imaging unit for imaging the user's gaze direction
  • the display control unit 10 displays the real space displayed on the display unit 20 based on the image acquired by imaging by the imaging unit.
  • the virtual display surface VD may be arranged.
  • the display unit 20 may be arranged as shown in FIGS. 2 and 3, or as shown in FIGS. 4 and 5. It may be arranged as shown in FIG. 6 or as shown in FIG.
  • the display control unit 10 arranges the virtual display surface VD in the real space and the information processing apparatus 1 is an HMD as shown in FIG. 6, the virtual display surface VD is actually real unless the arrangement of the virtual display surface VD is changed. It may be displayed to be localized in space. Display control to localize the virtual display surface VD in the real space is realized, for example, using the position of the viewpoint of the user specified based on the information acquired by the sensor unit 30.
  • the display control unit 10 arranges the virtual display surface in the virtual space or the real space, and controls the display of the display unit 20 so that the stereo content is displayed on the virtual display surface.
  • the display control unit 10 can further enhance the three-dimensional effect or perform drunkenness by performing further display control on the virtual display surface VD (including display control based on stereo content displayed on the virtual display surface VD). It is possible to obtain the effect of suppressing the occurrence of
  • display control regarding the virtual display surface by the display control unit 10 and an example of the configuration of the display control unit 10 for realizing the display control will be described.
  • the display unit 20 is disposed so that the display surface of the display unit 20 is oblique to the horizontal plane in the real space, as in the examples shown in FIGS. 3, 4 and 7 mainly.
  • the explanation will be made with the example.
  • the display control described below is also applicable to the example of the display unit 20 as described with reference to FIGS. 2, 3 and 6.
  • an example in which the display control unit 10 causes the virtual space VW to be displayed and the virtual display surface VD is disposed in the virtual space VW will be mainly described, and an example in which the virtual display surface is disposed in the real space is modified. It will be described later as an example.
  • the display control example regarding the virtual display surface described below does not have to be all realized at the same time, and the display control unit 10 performs some display control among the display control examples described below. It does not have to have the function.
  • first display control example (hereinafter, also simply referred to as a first display control example) related to a virtual display surface will be described.
  • a first display control example (hereinafter, also simply referred to as a first display control example) related to a virtual display surface will be described.
  • the range in which the user can comfortably observe is limited.
  • the user observes from the front of the fixed display he can feel the stereoscopic effect of the stereo content correctly and can observe comfortably, but when observed from a position shifted from the front, the distorted binocular parallax or reverse vision It may be observed and there is a risk of fatigue and intoxication.
  • the display control unit 10 may control the arrangement of the virtual display surface VD in the virtual space VW based on the position of the viewpoint of the user.
  • control the arrangement of the virtual display surface controls at least one of the position, posture (angle), and size of the virtual display surface in the space where the virtual display surface is disposed. Including.
  • a straight line (hereinafter referred to as the user's line of sight) in which the display control unit 10 connects the user's viewpoint and the central point of the virtual display surface VD is in relation to the virtual display surface.
  • the display control unit 10 connects the user's viewpoint and the central point of the virtual display surface VD is in relation to the virtual display surface.
  • FIG. 8 and later hatching indicating the virtual space VW is omitted in order to prioritize visibility.
  • the predetermined condition relating to the relationship between the line of sight of the user and the virtual display surface VD may be a condition regarding the angle formed by the line of sight of the user and the virtual display surface VD.
  • the display control unit 10 satisfies the condition that the angle formed by the virtual display surface VD and the straight line connecting the user's viewpoint E and the central point VDC of the virtual display surface VD is vertical.
  • the attitude of the virtual display surface VD is controlled.
  • FIG. 8 is a view in which the display unit 20 is viewed from the side, as in the example shown in FIG. As shown in FIG. 8, at a certain time T11, the line of sight G11 of the user and the virtual display surface VD are vertical. When the position of the viewpoint E of the user changes, the virtual display surface VD rotates in accordance with the position of the viewpoint E of the user, and at time T12 shown in FIG. Is placed. That is, the display control unit 10 controls (rotates) the attitude (angle) of the virtual display surface VD so as to be perpendicular to the user's line of sight according to the user's viewpoint movement in the horizontal direction in real space.
  • FIG. 9 is a plan view of the display unit 20 viewed from directly above, that is, in the direction opposite to the Y-axis direction shown in FIG.
  • the line of sight G13 of the user and the virtual display surface VD are vertical.
  • the virtual display surface VD rotates in accordance with the position of the viewpoint E of the user, and at time T14 shown in FIG. VD is arranged. That is, the display control unit 10 controls (rotates) the attitude of the virtual display surface VD so as to be perpendicular to the user's line of sight in accordance with the movement of the user's viewpoint in the vertical direction in real space.
  • the first display control example described above makes it possible for the user to feel as if a stereoscopic display device that moves to face the user constantly exists in the virtual space. That is, as described above, by controlling the attitude of the virtual display surface VD, the user can always observe the stereo content from the front of the virtual display surface VD, and can always observe the stereo content comfortably .
  • the present embodiment is not limited to such an example.
  • the virtual display surface VD may not always be perpendicular to the user's line of sight, and the angle between the virtual display surface VD and the user's line of sight may be within a predetermined range including the vertical.
  • the predetermined condition may be that the angle formed by the line of sight of the user and the virtual display surface VD is within a predetermined range including vertical.
  • the display control unit 10 does not have to change the attitude of the virtual display surface VD while the angle formed by the user's line of sight and the virtual display surface VD is within the predetermined range. With such a configuration, for example, discomfort due to frequent changes in the attitude of the virtual display surface VD can be reduced.
  • the display control unit 10 may control the position or the size of the virtual display surface VD instead of controlling the attitude of the virtual display surface VD in order to satisfy the predetermined condition. For example, by moving the position of the virtual display surface VD, the display control unit 10 can keep the angle between the line of sight of the user and the virtual display surface VD vertical. Further, the display control unit 10 may be configured to combine a plurality of controls among the control of the position of the virtual display surface VD, the control of the posture, and the control of the size to satisfy a predetermined condition.
  • the display control unit 10 may control the transparency of the stereo content so that the transparency of the peripheral portion of the stereo content is higher than the transparency of the center of the stereo content. Furthermore, the display control unit 10 may control the degree of transparency of stereo content so that the degree of transparency is higher as it is closer to the end of the stereo content.
  • FIG. 10 is an explanatory diagram for describing a second display control example.
  • the display control unit 10 controls, for example, the stereo content C21 as shown in FIG. 10 such that the transparency of the peripheral portion is higher than the transparency of the central portion, and the stereo content C22 is displayed on the transparent virtual display surface VD. Display on.
  • the peripheral portion C221 of the stereo content C22 shown in FIG. 10 is higher in transparency than the central portion of the stereo content C22, and is higher in transparency closer to the end of the stereo content C22. Such changes in transparency may be linear or non-linear.
  • the display control unit 10 mixes (alpha blending) the stereo content which is the foreground and the virtual space VW which is the background according to the ⁇ value according to the transparency.
  • the transparency may be reflected on the display by combining with VW.
  • FIG. 11 is an explanatory view showing an example of a parallax range included in stereo content.
  • the stereo content C31 having the parallax range R31 is displayed on the virtual display surface VD. Since the parallax range R31 includes a large parallax in the pop-up direction with respect to the position of the virtual display surface VD, in the example of the pattern P31 shown in FIG. 11, the partial region C311 of the stereo content C31 protrudes from the virtual space VW in the pop-out direction. ing.
  • the stereo content C32 having the parallax range R32 is displayed on the virtual display surface VD. Since the parallax range R32 includes a large parallax in the retraction direction with respect to the position of the virtual display surface VD, in the example of the pattern P32 shown in FIG. 11, the partial region C321 of the stereo content C32 protrudes from the virtual space VW in the retraction direction. ing.
  • the stereo content C33 which has the parallax range R33 on the virtual display surface VD is displayed. Since the parallax range R33 includes large parallaxes in both the pop-out direction and the retraction direction with respect to the position of the virtual display surface VD, in the example of the pattern P33 shown in FIG. A partial area C331 and a partial area C332 of the content C32 extend out of the virtual space VW.
  • the parallax in the pop-out direction, the pull-in direction, or both is too large, there is a possibility that stereo content can not be normally displayed on the virtual display surface VD arranged in the virtual space VW.
  • the projection amount, the retraction amount, or the total of them from the display unit 20 is too large, the visibility, the stereoscopic effect, or the localization in the virtual space VW may be reduced.
  • the display control unit 10 may control the arrangement of the virtual display surface VD based on the parallax range (an example of parallax information) included in the stereo content.
  • the parallax range an example of parallax information
  • FIG. 12 shows a pattern P31 in which the stereo content C31 shown in FIG. 11 is displayed.
  • the display control unit 10 realizes proper arrangement by control of moving the position of the virtual display surface VD in the back side direction of the display unit 20.
  • the display control unit 10 may control the position of the virtual display surface VD so that the parallax range R31 of the stereo content C31 falls within the virtual space VW, for example, as in the pattern P34.
  • the display control unit 10 may set the virtual display surface such that any one of the projection amount from the display unit 20 specified from the parallax range, the retraction amount, and the sum of the projection amount and the retraction amount falls within a predetermined range.
  • the position of VD may be controlled.
  • the display control unit 10 realizes proper arrangement, for example, by control of moving the position of the virtual display surface VD in the front direction of the display unit 20. It is also good.
  • FIG. 13 shows a pattern P33 in which the stereo content C33 shown in FIG. 11 is displayed. It is difficult to properly arrange the virtual display surface VD only by moving the virtual display surface VD because the parallax range R33 included in the stereo content C33 includes a large parallax in the retraction direction with respect to the position of the virtual display surface VD It is. Therefore, the display control unit 10 realizes proper arrangement by control to reduce the size of the virtual display surface VD as illustrated in a pattern P35 illustrated in FIG.
  • the display control unit 10 may control the size of the virtual display surface VD such that the parallax range R35 of the stereo content C33 displayed on the virtual display surface VD as in the pattern P35 falls within the virtual space VW.
  • the display control unit 10 may set the virtual display surface such that any one of the projection amount from the display unit 20 specified from the parallax range, the retraction amount, and the sum of the projection amount and the retraction amount falls within a predetermined range.
  • the magnitude of VD may be controlled. Note that, as shown in FIG. 13, the parallax range of the stereo content C33 displayed on the virtual display surface VD may also change with the change in the size of the virtual display surface VD.
  • the display control unit 10 may control the color around the virtual display surface VD based on the color information of the stereo content.
  • An example related to this will be described as a fourth display control example with reference to FIG.
  • FIG. 14 is an explanatory diagram for describing a fourth display control example.
  • the display control unit 10 displays an effect VE41 such as flare around the virtual display surface VD based on color information of the stereo content C41 as shown in FIG. 14, for example.
  • the color of the effect VE41 may be determined based on the color information of the stereo content C41, may be a color close to the stereo content C41, or a color that appears to be connected to the stereo content C41.
  • the main background color of the stereo content C41, the illumination light color estimated from the stereo content C41, or the color of the end of the stereo content C41 may be used as the color of the effect VE41.
  • the effect VE41 so as to increase the transparency as closer to the outer end like the peripheral edge VE411 of the effect VE41 shown in FIG. 14, the connection with the space is more naturally expressed.
  • the display control unit 10 uses CG (Computer Graphics) technology to display the surrounding color of the virtual display surface VD instead of displaying an effect such as flare. You may control.
  • the display control unit 10 may control the color around the virtual display surface VD by controlling the color of the illumination light used to draw the virtual space VW based on the color information of the stereo content.
  • the display control unit 10 detects the flat background area from the stereo content, and controls the transparency of the stereo content so that the transparency of the flat background area is higher than the transparency of the other area in the stereo content. It is also good.
  • FIG. 15 is an explanatory diagram for describing a fifth display control example.
  • the display control unit 10 virtually displays stereo content C52 subjected to control such that the transparency of the flat background area C521 is higher than the transparency of the foreground area C552 (other areas) as shown in pattern P52. Display on surface VD.
  • the flat background area C521 may be identified based on, for example, the parallax detected from the stereo content C51.
  • the transparency of the flat background area is increased, whereby the virtual space VW to be the background behind is recognized and it becomes difficult to recognize the background area as a plane.
  • the foreground area of the stereo content exists in the same space.
  • the display control unit 10 may display a virtual shadow (virtual shadow) based on the stereo content in order to further enhance the sense of reality of the stereo content.
  • the display control unit 10 may display a virtual shadow corresponding to the foreground area based on the foreground area and space specified from the stereo content.
  • FIGS. 16 to 18 are explanatory diagrams for explaining a sixth display control example.
  • the display control unit 10 When displaying stereo content C61 as shown in FIG. 16, the display control unit 10 generates a depth map DM61 as shown in FIG. 16 by detecting the parallax of the stereo content C61 and the like. Furthermore, as shown in FIG. 16, the display control unit 10 specifies the foreground area FR from the depth map DM61, and generates a shadow generation image FP61. The region other than the foreground region FR in the shadow generation image FP61 may be transparent.
  • the display control unit 10 may display the virtual shadow generated (drawn) by deforming the foreground region FR by projective transforming the shadow generation image FP 61.
  • the display control unit 10 arranges the shadow generation image FP 61 and the virtual light source L in the virtual space VW, and generates (draws) a virtual shadow VS using shadow mapping of the CG technique.
  • the arrangement of the shadow generation image FP 61 is preferably the same as the arrangement of the virtual display surface VD, or the arrangement according to the arrangement of the virtual display surface VD, for example. Then, as shown in FIG.
  • the display control unit 10 causes the virtual display surface VD disposed in the virtual space VW to display the stereo content C61 and causes the generated (drawn) virtual shadow VS to be displayed.
  • the virtual shadow VS corresponding to the foreground area of the stereo content C61 is displayed on the floor plane of the virtual space VW.
  • the present invention is not limited to this example.
  • a shadow may be displayed not in the plane of the virtual space VW but in the air.
  • a seventh example of display control regarding the virtual display surface (hereinafter, also simply referred to as a seventh example of display control) will be described. Since the sticking effect occurs when the virtual display surface VD protrudes from the display area of the display unit 20, the virtual display surface VD includes the entire display area of the display unit 20 so as not to impair the three-dimensional effect. Is desirable. However, there are cases where the virtual display surface VD protrudes from the display area. Therefore, the display control unit 10 may control the position of the virtual display surface VD or the size of the virtual display surface VD such that the entire display range of the display unit 20 includes the entire virtual display surface VD.
  • the display control unit 10 moves the viewpoint of the user unless the arrangement of the virtual display surface VD is changed. Is displayed so that the virtual display surface VD is localized. Therefore, when the arrangement of the virtual display surface VD is not changed, if the user's viewpoint approaches the virtual display surface VD too much, the entire display region of the display unit 20 may not include the entire virtual display surface VD. . Therefore, the display control unit 10 determines the position of the virtual display surface VD or the size of the virtual display surface VD so that the display range of the display unit 20 includes the entire virtual display surface VD based on the position of the viewpoint of the user. May be controlled.
  • the seventh display control example is effective even when the display unit 20 is fixedly arranged in the real space.
  • the display control unit 10 tries to control the arrangement of the virtual display surface VD as described in the other display control examples described above, the entire virtual display surface VD is not included in the display range of the display unit 20 There is a risk of In such a case, the display control unit 10 gives priority to display control according to the seventh display control example, and the position of the virtual display surface VD is set so that the display range of the display unit 20 includes the entire virtual display surface VD.
  • the size of the virtual display surface VD may be controlled.
  • the position of the virtual display surface VD or the size of the virtual display surface VD is controlled so that the display range of the display unit 20 includes the entire virtual display surface VD, and the sticking effect is generated. It is possible to suppress
  • FIG. 19 is a block diagram showing an example of the configuration of the display control unit 10. As shown in FIG.
  • the display control unit 10 includes the functions of the parallax detection unit 11, the arrangement control unit 12, the flat detection unit 13, the transparency control unit 14, the color extraction unit 15, the foreground area identification unit 16, and the drawing unit 18. Have.
  • the parallax detection unit 11 performs, for example, stereo matching between the image for the left eye and the image for the right eye included in the stereo content, and detects the parallax of the stereo content.
  • the disparity detection unit 11 also outputs disparity information on the detected disparity to the placement control unit 12, the flat detection unit 13, and the foreground area identification unit 16.
  • the placement control unit 12 controls the placement of the virtual display surface drawn by the drawing unit 18.
  • the placement control unit 12 controls the placement of the virtual display surface so that, for example, the first display control example, the third display control example, and the seventh display control example described above are realized.
  • the arrangement control unit 12 realizes the arrangement control as in the first control example or the seventh control example.
  • the arrangement control unit 12 realizes arrangement control as in the third display control example based on the parallax range (an example of parallax information) detected by the parallax detection unit 11.
  • the flat detection unit 13 detects a flat background area from stereo content, and outputs the flat background area to the transparency control unit 14. For example, based on the parallax detected by the parallax detection unit 11, the flat detection unit 13 may detect an area with a small parallax change as a flat background area.
  • the transparency control unit 14 controls the transparency of stereo content displayed on the virtual display surface. As shown in FIG. 19, the transparency control unit 14 can function as a peripheral transparency control unit 142 and a background transparency control unit 144.
  • the peripheral transparency control unit 142 controls the transparency of the peripheral portion of the stereo content so that the second display control example described above is realized.
  • the peripheral edge transparency control unit 142 controls the transparency of the stereo content so that the transparency is higher as it is closer to the end of the stereo content.
  • the transparency of the flat background area detected by the flatness detection unit 13 is higher than the transparency of the other areas of the stereo content so that the fifth display control example described above is realized. As such, control the transparency of stereo content.
  • the color extraction unit 15 extracts color information of stereo content from the stereo content, and outputs the color information to the drawing unit 18.
  • the color information of the stereo content may be, for example, information such as the main background color of the stereo content, the illumination light color estimated from the stereo content, or the luminance or saturation of the color of the end of the stereo content.
  • the foreground area specifying unit 16 specifies a foreground area from stereo content.
  • the foreground area specifying unit 16 may specify the foreground area from the depth map based on the parallax information provided from the parallax detection unit 11 as described with reference to FIG. 16.
  • the method of specifying the foreground area by the foreground area specifying unit 16 is not limited to the above-described example.
  • the area of an object detected by a known object detection method may be specified as the foreground area.
  • the drawing unit 18 functions as a virtual space drawing unit 182, a virtual shadow drawing unit 184, and a virtual display surface drawing unit 186 as shown in FIG. 19, and a virtual space, a virtual shadow, and a virtual displayed on the display unit 20, respectively. Draw the display surface.
  • the virtual space drawing unit 182 may draw a virtual space based on color information provided from the color extraction unit 15 so that the fourth display control example described above is realized.
  • the virtual shadow drawing unit 184 draws a virtual shadow based on the foreground area identified by the foreground area identification unit 16 so that the sixth display control example described above is realized. Further, the foreground area specifying unit 16 may draw virtual shadows further based on the virtual space drawn by the virtual space drawing unit 182.
  • the virtual display surface drawing unit 186 arranges the virtual display surface in the virtual space under the control of the arrangement control unit 12 and draws stereo content on the virtual display surface.
  • the first display control example, the second display control example, and the seventh display control example described above are realized.
  • the transparency control unit 14 controls the transparency of the stereo content drawn by the virtual display surface drawing unit 186.
  • the third display control example and the fifth display control example described above are realized.
  • FIG. 19 is an example, and the display control unit 10 may not have all the functions shown in FIG.
  • the display control unit 10 may not have a function for realizing such a display control example.
  • FIG. 20 is a flowchart showing an operation example of the information processing device 1 according to the present embodiment.
  • the sensor unit 30 detects the position of the user's viewpoint (S102). Subsequently, the parallax detection unit 11 of the display control unit 10 detects parallax from stereo content and acquires parallax information (S104). Subsequently, the arrangement control unit 12 of the display control unit 10 controls the arrangement of the virtual display surface based on the position of the viewpoint of the user and the parallax information (S106).
  • the flat detection unit 13 of the display control unit 10 detects a flat background area from the stereo content based on the parallax information (S108).
  • the transparency control unit 14 of the display control unit 10 controls the transparency of the stereo content (S110).
  • the color extraction unit 15 of the display control unit 10 extracts color information from the stereo content (S111).
  • the foreground area specifying unit 16 of the display control unit 10 specifies the foreground area from the stereo content based on the parallax information (S112).
  • step S114 the virtual space drawing unit 182 of the drawing unit 18 draws a virtual space based on the color information extracted in step S111.
  • step S116 the virtual shadow drawing unit 184 of the drawing unit 18 draws a virtual shadow based on the foreground area detected in step S112 and the virtual space drawn in step S114.
  • step S118 the virtual display surface drawing unit 186 of the drawing unit 18 arranges the virtual display surface according to the arrangement control in step 106, and draws the stereo content on the virtual display surface according to the control of the transparency of stereo content in step S110. .
  • the virtual space, the virtual shadow, and the stereo content drawn by the drawing unit 18 are displayed on the display unit 20 (S120).
  • FIG. 21 is a block diagram showing a configuration example of the display control unit 10-2 according to the first modification.
  • the display control unit 10-2 differs from the display control unit 10 shown in FIG. 19 in that the function of the drawing unit 19 is different from the function of the drawing unit 18.
  • the drawing unit 19 functions as a virtual shadow drawing unit 194 and a virtual display surface drawing unit 196 as shown in FIG.
  • the display control unit 10-2 shown in FIG. 21 is a configuration example for realizing the first display control example to the seventh display control example described above. It is. However, in this modification, the virtual display surface is arranged in the real space instead of the virtual space.
  • the drawing method of the virtual shadow in the sixth display control example and the drawing method for reflecting the transparency of the stereo content in the second display control example and the fifth display control example in space are different.
  • the first display control example, the second display control example, and the seventh display control example described above are control independent of space.
  • the virtual shadow drawing unit 194 Similar to the virtual shadow drawing unit 184 described above, the virtual shadow drawing unit 194 generates a virtual shadow based on the foreground area specified by the foreground area specifying unit 16 so that the sixth display control example described above is realized.
  • the virtual shadow drawing unit 194 may draw virtual shadows further based on the real space.
  • the virtual shadow drawing unit 194 is based on real space information (for example, an image obtained by imaging) acquired by the sensor unit 30 as if virtual shadows exist on the floor, ground, wall, etc. in the real space. Virtual shadows may be drawn on
  • the virtual display surface drawing unit 196 arranges the virtual display surface in the virtual space under the control of the arrangement control unit 12 and draws stereo content on the virtual display surface.
  • the first display control example, the second display control example, and the seventh display control example described above are realized.
  • the transparency control unit 14 controls the transparency of the stereo content drawn by the virtual display surface drawing unit 196.
  • control of transparency in the second display control example and the fifth display control example may be control of the levels of luminance and saturation
  • the virtual display surface drawing unit 196 Stereo content may be drawn on the virtual display surface with luminance and saturation according to control of transparency.
  • the drawing unit 19 draws an effect such as the flare shown in FIG. 14 based on the color information extracted by the color extraction unit 15 in order to realize the fourth display control example described above. It may have a function.
  • the first display control example to the seventh display control example are realized.
  • the display control unit according to this modification virtually installs the virtual camera VC with the position of the user's viewpoint as a virtual viewpoint, and draws, for example, the virtual space VW and the virtual display surface VD described above. To obtain a viewpoint image at the virtual viewpoint.
  • the display control unit according to the present modification may set the direction of the virtual camera VC based on the posture (face orientation or gaze direction) of the user, or the virtual camera may be virtually directed to the virtual display surface VD.
  • the direction of the camera VC may be set.
  • the display control unit virtually arranges the virtual projector VP at the same position and direction as the virtual camera VC, and from the virtual projector VP, the virtual surface VF of the display unit 20 virtually installed. Project the viewpoint image on top.
  • the virtual projector VP may project a viewpoint image with the same parameters (for example, focal length parameters, distortion parameters, etc.) as the virtual camera VC.
  • the display control unit orthogonally projects the image generated by being projected onto the virtual surface VF, and acquires the display image DP.
  • the display image DP is a distorted image when viewed from other than the position of the current user's viewpoint, but is perceived as a normal image when viewed from the current user's viewpoint.
  • the display control unit performs the above processing on viewpoints for two viewpoints of the left eye and the right eye, and displays the display image for the left eye. And acquire a display image for the right eye.
  • Modification 2 is also applicable to the case where the virtual display surface is disposed in the real space.
  • the stereoscopic image may be an image including a two-dimensional image and a parallax image, or may be an image including a two-dimensional image and a distance image.
  • the parallax information may be acquired from the parallax image or the distance image.
  • FIG. 23 is a block diagram illustrating an example of a hardware configuration of the information processing device 1 according to an embodiment of the present disclosure. Information processing by the information processing apparatus 1 according to the embodiment of the present disclosure is realized by cooperation of software and hardware described below.
  • the information processing apparatus 1 includes a central processing unit (CPU) 901, a read only memory (ROM) 902, a random access memory (RAM) 903 and a host bus 904a.
  • the information processing apparatus 1 further includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 1 may have a processing circuit such as a DSP or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 1 according to various programs. Also, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution.
  • the CPU 901 can form, for example, the display control unit 10.
  • the CPU 901, the ROM 902, and the RAM 903 are mutually connected by a host bus 904a including a CPU bus and the like.
  • the host bus 904 a is connected to an external bus 904 b such as a peripheral component interconnect / interface (PCI) bus via the bridge 904.
  • PCI peripheral component interconnect / interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily need to be separately configured, and these functions may be implemented on one bus.
  • the input device 906 is realized by, for example, a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever to which information is input by the user. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA corresponding to the operation of the information processing apparatus 1. . Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above input unit, and outputs the generated input signal to the CPU 901. The user of the information processing apparatus 1 can input various data to the information processing apparatus 1 and instruct processing operations by operating the input device 906.
  • the output device 907 is formed of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 907 outputs, for example, results obtained by various processes performed by the information processing device 1.
  • the display device visually displays the results obtained by the various processes performed by the information processing device 1 in various formats such as text, images, tables, graphs, and the like.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and aurally outputs it.
  • the output device 907 may form, for example, the display unit 20.
  • the storage device 908 is a device for storing data formed as an example of a storage unit of the information processing device 1.
  • the storage device 908 is realized by, for example, a magnetic storage unit device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 may form, for example, a storage unit 40.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 1.
  • the drive 909 reads out information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port to an external device capable of data transmission by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless Local Area Network (LAN), Long Term Evolution (LTE), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for asymmetric digital subscriber line (ADSL), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or another communication device.
  • the sensor 915 is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 1 such as the attitude of the information processing apparatus 1 and the moving speed, and information on the environment around the information processing apparatus 1 such as brightness and noise around the information processing apparatus 1.
  • sensor 915 may include a GPS sensor that receives GPS signals and measures latitude, longitude and altitude of the device.
  • the sensor 915 may form, for example, the sensor unit 30.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include the Internet, a public network such as a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), or the like.
  • the network 920 may include a leased line network such as an Internet Protocol-Virtual Private Network (IP-VPN).
  • IP-VPN Internet Protocol-Virtual Private Network
  • a computer program for realizing each function of the information processing apparatus 1 according to the embodiment of the present disclosure as described above, and to implement the computer program or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • each step in each operation according to the above embodiment does not necessarily have to be processed chronologically in the order described in the flowchart of FIG.
  • the steps in each operation may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • a display control unit configured to control display of the display unit such that a stereoscopic image is displayed on a virtual display surface arranged in a space;
  • the information processing apparatus wherein the display control unit controls the arrangement of the virtual display surface in the space based on the position of the viewpoint of the user.
  • the display control unit controls the arrangement of the virtual display surface such that a straight line connecting the viewpoint of the user and the central point of the virtual display surface satisfies a predetermined condition related to the relationship with the virtual display surface.
  • the display control unit according to (3) which controls the position of the virtual display surface or the size of the virtual display surface such that the entire display range of the display unit includes the entire virtual display surface.
  • Information processing device (5) The information processing apparatus according to (4), wherein the display unit is a display unit of a device attached to the user.
  • the display control unit controls the arrangement of the virtual display surface further based on parallax information related to the stereoscopic image.
  • the display control unit controls the position of the virtual display surface or the size of the virtual display surface based on the pop-out amount or the retract amount from the display unit specified based on the disparity information.
  • the display control unit is configured to set the position of the virtual display surface or the virtual display surface such that any one of the projection amount, the retraction amount, and the sum of the projection amount and the retraction amount falls within a predetermined range.
  • the information processing apparatus according to (7) which controls the size.
  • the information processing apparatus controls the transparency of the three-dimensional image based on the three-dimensional image.
  • the display control unit controls the transparency of the stereoscopic image such that the transparency of the flat background region detected from the stereoscopic image is higher than the transparency of the other regions in the stereoscopic image.
  • the information processing apparatus according to claim 1.
  • the information processing apparatus controls colors around the virtual display surface based on color information of the stereoscopic image.
  • 1 information processing device 10 display control unit 20 display unit 30 sensor unit 40 storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】空間に配置された仮想表示面に立体画像が表示されるように、表示部の表示を制御する表示制御部を備え、前記表示制御部は、ユーザの視点の位置に基づいて、前記空間における前記仮想表示面の配置を制御する、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
 本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
 近年、コンテンツを立体的に表示することが可能な立体画像表示技術が普及しつつある。例えばディスプレイ上に右眼用画像及び左眼用画像を水平方向にずらして表示することでユーザに両眼視差を与え、奥行き方向の任意の距離にコンテンツを表示することが可能である。
 立体画像表示技術には、専用の眼鏡を装着してディスプレイを見る方式、左右の眼の前に各々異なるディスプレイが配されるような専用の装置を装着する方式に加え、下記特許文献1のようにユーザが眼鏡や装置を装着する必要のない方式も提案されている。
特開2015-012560号公報
 しかし、ユーザはディスプレイの枠等の実在する物体を手掛かりとして奥行きを認識してしまうため、ディスプレイの表示面の端近傍に画面より手前に飛び出した部分や奥に引っ込んだ部分が表示されると、立体感の損失や、酔いが生じる恐れがあった。
 そこで、本開示では、立体感の損失、または酔いの発生を抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。
 本開示によれば、空間に配置された仮想表示面に立体画像が表示されるように、表示部の表示を制御する表示制御部を備え、前記表示制御部は、ユーザの視点の位置に基づいて、前記空間における前記仮想表示面の配置を制御する、情報処理装置が提供される。
 また、本開示によれば、プロセッサが、空間に配置された仮想表示面に立体画像が表示されるように、表示部の表示を制御することを含み、前記空間における前記仮想表示面の配置は、ユーザの視点の位置に基づいて制御される、情報処理方法が提供される。
 また、本開示によれば、コンピュータに、空間に配置された仮想表示面に立体画像が表示されるように、表示部の表示を制御する表示制御機能を実現させ、前記表示制御機能は、ユーザの視点の位置に基づいて、前記空間における前記仮想表示面の配置を制御する、プログラムが提供される。
 以上説明したように本開示によれば、立体感の損失、または酔いの発生を抑制することが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置1の構成例を示すブロック図である。 同実施形態に係る表示部20の一例を示す説明図である。 同実施形態に係る表示部20の一例を示す説明図である。 同実施形態に係る表示部20の他の例を示す説明図である。 同実施形態に係る表示部20の他の例を示す説明図である。 同実施形態に係る表示部20の他の例を示す説明図である。 表示制御部10が表示させる仮想表示面VDの一例を示す説明図である。 第1の表示制御例を説明するための説明図である。 第1の表示制御例を説明するための説明図である。 第2の表示制御例を説明するための説明図である。 ステレオコンテンツが有する視差範囲の例を示す説明図である。 第3の表示制御例を説明するための説明図である。 第3の表示制御例を説明するための説明図である。 第4の表示制御例を説明するための説明図である。 第5の表示制御例を説明するための説明図である。 第6の表示制御例を説明するための説明図である。 第6の表示制御例を説明するための説明図である。 第6の表示制御例を説明するための説明図である。 同実施形態に係る表示制御部10の構成の一例を示すブロック図である。 同実施形態に係る情報処理装置1の動作例を示すフローチャートである。 変形例1に係る表示制御部10-2の構成例を示すブロック図である。 変形例2を説明するための説明図である。 ハードウェア構成例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 <<1.概要>>
  <1-1.背景>
  <1-2.概略構成>
 <<2.表示部の具体例と基本的な表示制御>>
 <<3.表示制御部の詳細>>
  <3-1.仮想表示面に関する表示制御>
  <3-2.表示制御部の構成例>
 <<4.動作例>>
 <<5.変形例>>
  <5-1.変形例1>
  <5-2.変形例2>
  <5-3.変形例3>
 <<6.ハードウェア構成例>>
 <<7.むすび>>
 <<1.概要>>
  <1-1.背景>
 本開示の一実施形態についての説明にあたり、まず本開示の一実施形態の創作に至った背景を説明する。
 水平方向にずらされた左眼用画像と右眼用画像を含む所謂ステレオコンテンツ(立体画像の一例)をそれぞれユーザの左眼と右眼に観察されるように表示することが行われている。ユーザは、左眼用画像と右眼用画像との間ずれである両眼視差(単に視差と呼ぶ場合もある)により、奥行きを知覚することが可能となる。
 ユーザの左眼と右眼にそれぞれ異なる画像(左眼用画像と右眼用画像)を表示させるために、様々な技術が開発されている。例えば、専用の眼鏡を装着してディスプレイを見る方式、左右の眼の前に各々異なるディスプレイが配されるような専用の装置を装着する方式、ユーザが眼鏡や装置を装着することなく左右の眼に異なる画像を表示可能な方式等が存在する。
 このようにステレオコンテンツをディスプレイに表示させる場合、画面(ディスプレイの表示面)より手前に飛び出した部分または奥に引っ込んだ部分が画面の端近傍に存在し、画面の端と重なると、立体感の損失や、酔いが生じることが知られている。このような現象は、ユーザが実在するディスプレイの枠(以下、画面枠とも称する)を手掛かりとして奥行きを認識してしまうため、ステレオコンテンツが本来持つ両眼視差が抑制されることで発生する。また、ステレオコンテンツが画面枠に張り付いたように見えることから、このような現象は張り付き効果(または額縁効果)と呼ばれている。
 このような張り付き効果の影響を抑制するため、透明なディスプレイを用いることも行われている。しかし、ステレオコンテンツの端部では、ユーザは本来のディスプレイ平面の両眼視差を認識するため、ステレオコンテンツの持つ両眼視差が突然消失したように感じられ、同様な張り付き効果が生じる場合がある。その結果、やはり立体感の損失や、酔いが発生する恐れがあった。
 そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、空間に配置された仮想的な表示面(仮想表示面)に立体画像が表示されるように、表示を制御することで、張り付き効果の影響を抑制し、立体感の損失、または酔いの発生を抑制することが可能である。以下、本実施形態に係る情報処理装置の構成について説明する。
  <1-2.概略構成>
 図1は、本開示の一実施形態に係る情報処理装置1の構成例を示すブロック図である。図1に示すように、情報処理装置1は、表示制御部10、表示部20、センサ部30、及び記憶部40を備える。
 表示制御部10は、表示部20の表示を制御する表示制御機能を有する。より具体的には、表示制御部10は、仮想空間、または実空間に配置された仮想表示面にステレオコンテンツが表示されるように、表示部20の表示を制御する。ステレオコンテンツは、例えば記憶部40から取得されてもよい。仮想表示面については図7等を参照して後述する。
 表示部20は、表示制御部10の制御に従い、表示を行う。本実施形態に係る表示部20は、少なくともユーザの左眼と右眼に異なる画像を提示するように立体表示を行うことが可能な表示装置である。本実施形態を適用可能な表示部20の例については図2~図6を参照して後述する。
 センサ部30は、ユーザまたは周辺環境に関する各種情報を取得(センシング)する機能を有し、少なくともユーザの視点の位置を検出するためのセンサを含む。センサ部30は、それ自身がユーザの視点の位置を検出してユーザの視点の位置の情報を表示制御部10へ出力してもよいし、ユーザの視点の位置を検出するための情報を表示制御部10へ出力してもよい。
 例えば、情報処理装置1が実空間に固定される場合、ユーザの視点の位置を検出するためのセンサは、ユーザ方向を撮像する撮像部であってもよい。また、後述するように情報処理装置1がユーザに装着されて移動する装置である場合、ユーザの視点の位置を検出するためのセンサは、加速度センサ、ジャイロセンサ、方位センサ、撮像部のうちいずれか、または上記の組み合わせであってもよい。
また、センサ部30は、さらに実空間におけるユーザの視界に相当する領域を撮像するように配置された撮像部を含んでもよい。
 記憶部40は、上述した表示制御部10が各機能を実行するためのプログラムやパラメータを記憶する。また、記憶部40には、表示制御部10が表示させるステレオコンテンツや、仮想空間に関する情報が記憶されていてもよい。
 以上、情報処理装置1の概略構成を説明した。なお、図1に示した構成は一例であって、本技術は係る例に限定されない。例えば、表示制御部10は、情報処理装置1の外部に備えられた表示部の表示を制御してもよい。また、表示制御部10は、不図示の通信部を介して、他の装置から取得したステレオコンテンツが仮想表示面に表示されるように、表示を制御してもよい。また、情報処理装置1がセンサ部を有していなくてもよく、情報処理装置1の外部に設置されたセンサから、上述した情報が情報処理装置1へ送信されてもよい。
  <<2.表示部の具体例と基本的な表示制御>>
 続いて、図1を参照して説明した表示部20の具体例と、表示制御部10による基本的な表示制御について、図2~図7を参照して説明する。
 図2、図3は、本実施形態に係る表示部20の一例を示す説明図である。図2に示すように、表示部20は、表示部20の表示面が実空間における水平面に対して垂直になるように固定的に配置されてもよい。係る場合、表示制御部10は、例えばユーザの視点Eから見て反対側、つまり表示部20の奥側に仮想空間VWを配置し、仮想空間VWを表示部20に表示させてもよい。図3には、図2に示したユーザの視点Eから見たユーザの視界Fの一例が示されている。図3に示すように、表示部20に仮想空間VWが表示されている。仮想空間VWは、窓の向こうに存在するかのように表示されたり、表示部20の枠を辺とした箱であるかのようにその中身が表示されたりしてもよい。
 図4、図5は、本実施形態に係る表示部20の他の例を示す説明図である。図4に示すように、表示部20は、表示部20の表示面が実空間における水平面に対して斜めに(非垂直に)なるように固定的に配置されてもよい。係る場合、表示制御部10は、図4に示すように表示部20の表示面と交差するように、つまり表示部20の手前側と奥側の両方に領域を有するように仮想空間VWを配置し、仮想空間VWを表示部20に表示させてもよい。図5には、図4に示したユーザの視点Eから見たユーザの視界Fの一例が示されている。図5に示すように、表示部20に仮想空間VWが表示されている。
 なお、図5では、表示部20の奥側にのみ仮想空間VWが表示されているが、表示制御部10は、仮想空間内の表示部20の手前側に仮想オブジェクトを配置して、表示部20の手前側に仮想オブジェクトが観察されるように表示させてもよい。また、後述するように、表示制御部10は、表示部20の表示面と交差するように仮想オブジェクトを配置してもよい。
 図6は、本実施形態に係る表示部20の他の例を示す説明図である。図6に示す例では、情報処理装置1はユーザに装着される装着型の装置であり、ユーザが情報処理装置1を装着した際に、ユーザの眼前に表示部20が位置する。図6に示す例において、情報処理装置1は、例えば頭部に装着されるメガネ型のヘッドマウントディスプレイ(HMD:Head Mounted Display)であってもよく、係る場合、表示部20はメガネレンズ部分に相当する。なお、情報処理装置1は、ヘッドバンド型(頭部の全周を回るバンドで装着されるタイプ。側頭部だけでなく頭頂部を通るバンドが設ける場合もある)のHMDや、ヘルメットタイプ(ヘルメットのバイザー部分が表示部20に相当する)のHMDであってもよい。
 図6に示す例において、表示制御部10は例えばユーザの視点Eから見て反対側、つまり表示部20の奥側に仮想空間VWを配置し、仮想空間VWを表示部20に表示させてもよい。また、図6に示すように表示部20はユーザの視界Fを覆っていてもよく、係る場合、ユーザは自身が仮想空間VWに存在するかのような没入感を得ることが可能となる。
 また、表示制御部10は、仮想空間VWを実空間に基づいて配置してもよいし、実空間とは独立に配置してもよい。例えば、図6に示したように実空間の壁や床(または地面)と仮想空間VWの壁や床(または地面)を整合させることで、
 また、図6に示す例のように、情報処理装置1はユーザに装着される装着型の装置である場合、表示制御部10は、センサ部30により取得される情報に基づいて、ユーザの視点の位置を特定し、仮想空間VWが定位するように表示を制御してもよい。仮想空間VWが定位しているような表示の制御方法は周知技術により実現可能であるためここでの詳細な説明は省略する。
 表示制御部10は、図2~図6に示したような表示部20に対して配置された仮想空間VWに仮想的な表示面である仮想表示面を配置し、仮想表示面にステレオコンテンツを表示させてもよい。図7は、表示制御部10が表示させる仮想表示面VDの一例を示す説明図である。なお、図7には、図4、図5を参照して説明したように表示部20の表示面が実空間における水平面に対して斜めになるように表示部20が配置された場合を例に示している。
 図7に示すように表示部20が配置された場合、表示制御部10は、表示部20の表示面と交差するように仮想表示面VDを配置してもよい。係る構成により、ユーザは、仮想表示面VDについて、飛び出し方向(手前方向)の立体感と引っ込み方向(奥方向)の立体感の両方を得ることが可能となる。その結果、より小さい視差量で十分な立体感を得やすいという効果がある。
 仮想表示面VDは、例えば平面的な仮想オブジェクトとして仮想空間VWに配置されてもよい。そして、表示制御部10は、仮想表示面VDにステレオコンテンツを表示させる。仮想表示面VDは、枠を有しない平面の立体画像表示装置が配置されているかのようにユーザに観察される。このように仮想表示面VDには実在するディプレイとは異なり枠を有しないため、上述した張り付き効果の影響が抑制され、立体感の損失、または酔いの発生を抑制することが可能となる。
 なお、上記では、表示部20の表示面が実空間における水平面に対して斜めになるように表示部20が配置された場合を例に説明したが、図2、図3、図6を参照して説明したような表示部20の例においても同様に、表示制御部10は仮想空間VWに仮想表示面を配置し、仮想表示面にステレオコンテンツを表示させ得る。また、以下においても主に表示部20の表示面が実空間における水平面に対して斜めになるように表示部20が配置された場合を例に説明するが、他の場合も同様に適用可能である。
 また、図2~図7では、表示制御部10が表示部20に仮想空間VWを表示させる例を示したが、本技術は係る例に限定されない。表示部20が光学透過性を有する場合、表示制御部10は、仮想空間VWを表示させなくてもよい。係る場合、表示制御部10は上述した仮想空間VWの代わりに、実空間に仮想表示面VDを配置し、実空間に仮想表示面VDが存在するかのように表示部20の表示を制御する。また、後述するセンサ部30がユーザの視線方向を撮像する撮像部を有する場合、表示制御部10は、係る撮像部の撮像により取得された画像に基づいて表示部20に表示させた実空間に仮想表示面VDを配置してもよい。
 なお、このように表示制御部10が実空間に仮想表示面VDを配置する場合、表示部20は図2、図3に示したように配置されてもよいし、図4、図5に示したように配置されてもよいし、図6に示したように配置されてもよい。表示制御部10が実空間に仮想表示面VDを配置し、かつ図6に示したように情報処理装置1がHMDである場合、仮想表示面VDの配置が変更されない限り仮想表示面VDが実空間に定位するように表示されてもよい。仮想表示面VDを実空間に定位させるような表示制御は、例えばセンサ部30により取得される情報に基づいて特定されるユーザの視点の位置を用いて実現される。
 <<3.表示制御部の詳細>>
 以上、表示部20の具体例と表示制御部10による基本的な表示制御について説明した。上述したように、表示制御部10は、仮想空間、または実空間に仮想表示面を配置し、当該仮想表示面にステレオコンテンツが表示されるように表示部20の表示を制御する。
 本実施形態に係る表示制御部10は、仮想表示面VDに関するさらなる表示制御(仮想表示面VDに表示されるステレオコンテンツに基づく表示制御を含む)を行うことで、より立体感を高めたり、酔いの発生を抑制したりする効果を得ることが可能である。以下、表示制御部10による仮想表示面に関する表示制御の幾つかの例と、係る表示制御を実現するための表示制御部10の構成の一例について説明する。
 なお、以下では主に、図3、図4、図7に示した例と同様に、表示部20の表示面が実空間における水平面に対して斜めになるように表示部20が配置された場合を例に説明を行う。ただし、特に言及しない限り、図2、図3、図6を参照して説明したような表示部20の例においても同様に以下に説明する表示制御は適用可能である。また、以下では、表示制御部10が仮想空間VWを表示させ、仮想空間VWに仮想表示面VDが配置される例を主に説明し、実空間に仮想表示面が配置される例については変形例として後述する。
 また、以下に説明する仮想表示面に関する表示制御例は、全てが同時に実現されなくてもよく、表示制御部10は、以下に説明する表示制御例のうち、いくつかの表示制御を行うための機能を有していなくてもよい。
  <3-1.仮想表示面に関する表示制御例>
 (第1の表示制御例)
 まず、仮想表示面に関する第1の表示制御例(以下単に第1の表示制御例とも称する)について説明する。実空間に固定された固定ディスプレイにステレオコンテンツが表示される場合、ユーザが快適に観察可能な範囲は限られている。例えば、ユーザは固定ディスプレイの正面から観察するとステレオコンテンツの持つ立体感を正しく感じ、快適に観察することが可能であるが、正面からずれた位置から観察すると歪んだ両眼視差や、逆視で観察してしまう場合があり、疲労や酔いが生じる恐れがある。
 仮想表示面VDが実空間に固定的に配置されると、上記と同様の問題が生じ得る。例えば、図2~図5に示したように実空間に固定的に配置された表示部20に対する仮想表示面VDの配置が固定される場合、または図6に示した例において、仮想表示面VDが定位するように表示される場合、仮想表示面VDは実空間に固定的に配置される。
 そこで、表示制御部10は、ユーザの視点の位置に基づいて、仮想空間VWにおける仮想表示面VDの配置を制御してもよい。なお、本明細書において「仮想表示面の配置を制御する」とは仮想表示面が配置された空間における仮想表示面の位置、姿勢(角度)、大きさのうち少なくともいずれか一つを制御することを含む。
 以下では、第1の表示制御例として、表示制御部10がユーザの視点と仮想表示面VDの中心点とを結んだ直線(以下、ユーザの視線と呼ぶ)が、仮想表示面との関係に係る所定の条件を満たすように、仮想表示面VDの配置を制御する例を説明する。図8、図9は、第1の表示制御例を説明するための説明図である。なお、図8以降では、見易さを優先するため仮想空間VWを示すハッチングを省略している。
 ユーザの視線と仮想表示面VDとの関係に係る所定の条件は、ユーザの視線と仮想表示面VDとがなす角に関する条件であってもよい。例えば、図8に示す例において、表示制御部10は、ユーザの視点Eと仮想表示面VDの中心点VDCとを結んだ直線と仮想表示面VDとがなす角が垂直であるという条件を満たすように、仮想表示面VDの姿勢を制御する。
 図8は、図4に示した例と同様に、横方向から表示部20を見た図である。図8に示すように、ある時刻T11において、ユーザの視線G11と仮想表示面VDは垂直である。ユーザの視点Eの位置が変化した場合、仮想表示面VDはユーザの視点Eの位置に応じて回転し、図8に示す時刻T12において、ユーザの視線G12と垂直になるように仮想表示面VDが配置される。つまり、表示制御部10は、実空間における水平方向のユーザの視点移動に応じて、ユーザの視線に対して垂直になるように仮想表示面VDの姿勢(角度)を制御する(回転させる)。
 図9は、真上から、つまり図8に示すY軸方向の逆向きに表示部20を見た平面図である。図9に示すように、ある時刻T13において、ユーザの視線G13と仮想表示面VDは垂直である。ユーザの視点Eの位置が変化した場合、仮想表示面VDはユーザの視点Eの位置に応じて回転し、図9に示す時刻T14において、時ユーザの視線G12と垂直になるように仮想表示面VDが配置される。つまり、表示制御部10は、実空間における垂直方向のユーザの視点移動に応じて、ユーザの視線に対して垂直になるように仮想表示面VDの姿勢を制御する(回転させる)。
 上述第1の表示制御例により、ユーザは常にユーザに対して正対するように動く立体表示装置が仮想空間に存在するかのように感じられる。つまり、上述したように仮想表示面VDの姿勢が制御されることで、ユーザは常に仮想表示面VDの正面からステレオコンテンツを観察した状態となり、常に快適にステレオコンテンツを観察することが可能となる。
 なお、上記では、ユーザの視線と仮想表示面VDとがなす角が垂直になるように仮想表示面VDの姿勢が制御される例を説明したが、本実施形態は係る例に限定されない。例えば、仮想表示面VDはユーザの視線と常に垂直でなくてもよく、仮想表示面VDとユーザの視線とがなす角は垂直を含む所定の範囲内であってもよい。係る場合、例えば所定の条件は、ユーザの視線と仮想表示面VDとがなす角が垂直を含む所定の範囲内であることであってもよい。さらに、係る場合、表示制御部10は、ユーザの視線と仮想表示面VDとがなす角が所定の範囲内に収まっている間に、仮想表示面VDの姿勢を変更しなくてもよい。係る構成により、例えば仮想表示面VDの姿勢が頻繁に変化する事による違和感が軽減され得る。
 また、表示制御部10は、所定の条件を満たすため、仮想表示面VDの姿勢を制御することに代えて、仮想表示面VDの位置または大きさを制御してもよい。例えば、表示制御部10は、仮想表示面VDの位置を移動させることで、ユーザの視線と仮想表示面VDとがなす角を垂直に保つこと可能である。また、表示制御部10は、仮想表示面VDの位置の制御、姿勢の制御、及び大きさの制御のうち複数の制御を組み合わせて、所定の条件を満たすようにしてもよい。
 (第2の表示制御例)
 続いて、仮想表示面に関する第2の表示制御例(以下単に第2の表示制御例とも称する)について説明する。上述したように仮想空間VWに配置された仮想表示面VDにステレオコンテンツを表示することで、画面枠の存在に伴う張り付き効果を抑制することが可能である。ただし、ステレオコンテンツの端部における両眼視差の急激な消失に伴う張り付き効果が発生する恐れがある。
 そこで、表示制御部10は、ステレオコンテンツの周縁部の透明度が、ステレオコンテンツの中心部の透明度よりも高くなるように、ステレオコンテンツの透明度を制御してもよい。さらに表示制御部10は、ステレオコンテンツの端部に近い程、透明度が高くなるように、ステレオコンテンツの透明度を制御してもよい。係る例について、第2の表示制御例として、図10を参照して説明する。図10は、第2の表示制御例を説明するための説明図である。
 表示制御部10は、例えば図10に示すようなステレオコンテンツC21に対して周縁部の透明度が中心部の透明度よりも高くなるような透明度の制御を施し、ステレオコンテンツC22を透明な仮想表示面VDに表示させる。図10に示すステレオコンテンツC22の周縁部C221は、ステレオコンテンツC22の中心部よりも透明度が高く、さらにステレオコンテンツC22の端部に近い程、透明度が高い。係る透明度の変化は、線形であってもよいし、非線形であってもよい。
 仮想表示面VDが仮想空間VWに配置される場合、表示制御部10は、前景であるステレオコンテンツと背景である仮想空間VWとを透明度に応じたα値による混合(アルファブレンディング)して仮想空間VWと合成を行うことで、透明度を表示に反映してもよい。
 上述した第2の表示制御により、ユーザはステレオコンテンツの端部で両眼視差が急激に消失しているように感じ難くなり、立体感の損失、または酔いの発生をより抑制することが可能である。
 (第3の表示制御例)
 続いて、仮想表示面に関する第3の表示制御例(以下単に第3の表示制御例とも称する)について説明する。多様なステレオコンテンツを表示しようとする場合、当該ステレオコンテンツが有する視差の範囲も多様である。図11は、ステレオコンテンツが有する視差範囲の例を示す説明図である。
 図11に示すパターンP31の例では、仮想表示面VDに視差範囲R31を有するステレオコンテンツC31が表示されている。視差範囲R31は、仮想表示面VDの位置に対して、飛び出し方向に大きな視差を含むため、図11に示すパターンP31の例では飛び出し方向にステレオコンテンツC31の一部領域C311が仮想空間VWからはみ出ている。
 また、図11に示すパターンP32の例では、仮想表示面VDに視差範囲R32を有するステレオコンテンツC32が表示されている。視差範囲R32は、仮想表示面VDの位置に対して、引っ込み方向に大きな視差を含むため、図11に示すパターンP32の例では引っ込み方向にステレオコンテンツC32の一部領域C321が仮想空間VWからはみ出ている。
 また、図11に示すパターンP33では、仮想表示面VDに視差範囲R33を有するステレオコンテンツC33が表示されている。視差範囲R33は、仮想表示面VDの位置に対して、飛び出し方向、及び引っ込み方向の両方に大きな視差を含むため、図11に示すパターンP33の例では飛び出し方向、及び引っ込み方向の両方にそれぞれステレオコンテンツC32の一部領域C331と一部領域C332が仮想空間VWからはみ出ている。
 このように飛び出し方向、引っ込み方向、またはその両方の視差が大きすぎる場合、仮想空間VWに配置された仮想表示面VDにステレオコンテンツを正常に表示させることが出来ない恐れがある。特に、表示部20からの飛び出し量、引っ込み量、またはそれらの合計が大きすぎる場合に、視認性、立体感、または仮想空間VWへの定位感の低下が発生する恐れがある。
 そこで、表示制御部10は、ステレオコンテンツが有する視差範囲(視差情報の一例)に基づいて仮想表示面VDの配置を制御してもよい。係る例について、第3の表示制御例として、図12、図13を参照して説明する。図12、図13は、第3の表示制御例を説明するための説明図である。
 図12には、図11に示したステレオコンテンツC31が表示されるパターンP31が示されている。図12に示すパターンP34において、表示制御部10は、仮想表示面VDの位置を表示部20の奥側方向へ移動させる制御により、適正な配置を実現する。表示制御部10は、例えばパターンP34のように仮想空間VWにステレオコンテンツC31の視差範囲R31が収まるように仮想表示面VDの位置を制御してもよい。また、表示制御部10は、視差範囲から特定される表示部20からの飛び出し量、引っ込み量、及び飛び出し量と引っ込み量の合計、のうちいずれかが所定の範囲に収まるように、仮想表示面VDの位置を制御してもよい。
 なお、図示しないが、図11に示したパターンP32の場合、表示制御部10は、例えば、仮想表示面VDの位置を表示部20の手前方向へ移動させる制御により、適正な配置を実現してもよい。
 図13には、図11に示したステレオコンテンツC33が表示されるパターンP33が示されている。ステレオコンテンツC33が有する視差範囲R33は仮想表示面VDの位置に対して、引っ込み方向に大きな視差を含むため、仮想表示面VDを移動させるだけでは、適正に仮想表示面VDを配置することが困難である。そこで、表示制御部10は、図13に示すパターンP35のように、仮想表示面VDの大きさを小さくする制御により、適正な配置を実現する。
 表示制御部10は、例えばパターンP35のように仮想表示面VDに表示されたステレオコンテンツC33の視差範囲R35が仮想空間VWに収まるように仮想表示面VDの大きさを制御してもよい。また、表示制御部10は、視差範囲から特定される表示部20からの飛び出し量、引っ込み量、及び飛び出し量と引っ込み量の合計、のうちいずれかが所定の範囲に収まるように、仮想表示面VDの大きさを制御してもよい。なお、図13に示すように仮想表示面VDの大きさの変化に伴い、仮想表示面VDに表示されたステレオコンテンツC33の視差範囲も変化し得る。
 上述した第3の表示制御により、ステレオコンテンツを適正な配置で表示させることが可能である。
 (第4の表示制御例)
 続いて、仮想表示面に関する第4の表示制御例(以下単に第4の表示制御例とも称する)について説明する。仮想空間VWに仮想表示面VDが配置される場合、仮想空間VWと仮想表示面VDに表示されるステレオコンテンツとの輝度差によっては境界が明確に認識されてしまい、同一空間に存在しているような実在感が低下する恐れがある。
 そこで、表示制御部10は、ステレオコンテンツの色情報に基づいて、仮想表示面VDの周囲の色を制御してもよい。係る例について、第4の表示制御例として、図14を参照して説明する。図14は、第4の表示制御例を説明するための説明図である。
 表示制御部10は、例えば図14に示すようなステレオコンテンツC41の色情報に基づいて、仮想表示面VDの周囲にフレアのような効果VE41を表示させる。効果VE41の色は、ステレオコンテンツC41の色情報に基づいて決定されてもよく、ステレオコンテンツC41と近い色、またはステレオコンテンツC41とつながって見えるような色であってもよい。例えば、例えばステレオコンテンツC41の主要な背景色、ステレオコンテンツC41から推定された照明光色、あるいはステレオコンテンツC41の端部の色が効果VE41の色として用いられてもよい。また、図14に示す効果VE41の周縁部VE411のように外側端部に近い程、透明度を高くするように効果VE41を表示させることで、空間との繋がりがより自然に表現される。
 なお、仮想空間VWに仮想表示面VDが配置される場合、表示制御部10はフレアのような効果を表示させる代わりに、CG(Computer Graphics)技法を用いて仮想表示面VDの周囲の色を制御してもよい。例えば、表示制御部10は仮想空間VWの描画に使用する照明光の色をステレオコンテンツの色情報に基づいて制御することで、仮想表示面VDの周囲の色を制御してもよい。
 上述した第4の表示制御により、空間とステレオコンテンツとの繋がりが自然に表現され、同一空間に存在しているような実在感が得られる。
 (第5の表示制御例)
 続いて、仮想表示面に関する第5の表示制御例(以下単に第5の表示制御例とも称する)について説明する。仮想表示面VDに表示させるステレオコンテンツの背景が平坦な場合、両眼視差の手掛かりが乏しくなり、係る領域の視差変化をユーザが感じにくくなるため、空間に平面が存在するように知覚され、ステレオコンテンツの奥行き感が損なわれる恐れがある。
 そこで、表示制御部10は、ステレオコンテンツから平坦な背景領域を検出し、当該平坦な背景領域の透明度がステレオコンテンツにおける他の領域の透明度よりも高くなるように、ステレオコンテンツの透明度を制御してもよい。係る例について、第5の表示制御例として、図15を参照して説明する。図15は、第5の表示制御例を説明するための説明図である。
 図15のパターンP51に示すように、仮想空間VWに配置された仮想表示面VDにステレオコンテンツC51が表示される例について考える。係る場合、表示制御部10は、パターンP52に示すように平坦な背景領域C521の透明度が、前景領域C552(他の領域)が透明度よりも高くなるような制御を施したステレオコンテンツC52を仮想表示面VDに表示させる。平坦な背景領域C521は、例えばステレオコンテンツC51から検出される視差に基づいて特定され得る。
 上述した第5の表示制御により、平坦な背景領域の透明度が高くなることで、更に奥の背景となる仮想空間VWが認識され、背景領域を平面として認識し難くなる。その結果、ステレオコンテンツの前景領域が同一空間に存在しているような実在感が得られる。
 (第6の表示制御例)
 続いて、仮想表示面に関する第6の表示制御例(以下単に第6の表示制御例とも称する)について説明する。表示制御部10は、さらにステレオコンテンツの実在感を高めるため、ステレオコンテンツに基づいて仮想的な影(仮想影)を表示させてもよい。例えば、表示制御部10はステレオコンテンツから特定される前景領域と空間とに基づいて、当該前景領域に対応する仮想影を表示させてもよい。係る例について、第6の表示制御例として、図16~図18を参照して説明する。図16~図18は、第6の表示制御例を説明するための説明図である。
 図16に示すようなステレオコンテンツC61を表示させる場合、表示制御部10は、ステレオコンテンツC61の視差検出等により、図16に示すような奥行きマップDM61を生成する。さらに、図16に示すように、表示制御部10は、奥行きマップDM61から前景領域FRを特定し、影生成用画像FP61を生成する。影生成用画像FP61において前景領域FR以外の領域は透明であってもよい。
 表示制御部10は、影生成用画像FP61を射影変換することにより前景領域FRを変形させて生成(描画)した仮想影を表示させてもよい。また、表示制御部10は、図17に示すように仮想空間VWに影生成用画像FP61と仮想的な光源Lを配置して、CG技法のシャドウマッピングを用いて仮想影VSを生成(描画)してもよい。なお、影生成用画像FP61の配置は、例えば仮想表示面VDの配置と同一の配置、または仮想表示面VDの配置に応じた配置であることが望ましい。そして、図18に示すように、表示制御部10は、仮想空間VWに配置された仮想表示面VDにステレオコンテンツC61を表示させると共に、生成(描画)した仮想影VSを、表示させる。係る構成により仮想空間VWの床平面に、ステレオコンテンツC61の前景領域に対応する仮想影VSが表示される。
 上述した第6の表示制御により、ステレオコンテンツに含まれる前景物体が同一空間に存在しているかのような実在感を高めることが可能である。
 なお、上記では、仮想空間VWに基づき、仮想空間VWの床に存在するように仮想影VSを表示させる例を示したが、係る例に限定されない。仮想空間VWの面ではなく空中に影が表示されてもよい。
 (第7の表示制御例)
 続いて、仮想表示面に関する第7の表示制御例(以下単に第7の表示制御例とも称する)について説明する。表示部20の表示領域から仮想表示面VDがはみ出してしまうと、張り付き効果が生じてしまうため、仮想表示面VDは、立体感を損なわないために表示部20の表示領域にその全体が含まれることが望ましい。しかし、仮想表示面VDが表示領域から仮想表示面VDがはみ出してしまう場合がある。そこで、表示制御部10は、表示部20の表示範囲に仮想表示面VDの全体が含まれるように、仮想表示面VDの位置または仮想表示面VDの大きさを制御してもよい。
 例えば、図6を参照して説明したように、表示部20がユーザに装着された装置の表示部である場合、表示制御部10は、仮想表示面VDの配置が変更されない限りユーザの視点移動に応じて仮想表示面VDが定位するように表示させる。そのため、仮想表示面VDの配置が変更されない場合、仮想表示面VDに対してユーザの視点が近づき過ぎると、表示部20の表示領域に仮想表示面VDの全体が含まれなくなってしまう恐れがある。そこで、表示制御部10は、ユーザの視点の位置に基づいて、表示部20の表示範囲に仮想表示面VDの全体が含まれるように、仮想表示面VDの位置または仮想表示面VDの大きさを制御してもよい。
 また、表示部20が実空間に対して固定的に配置される場合であっても、第7の表示制御例は有効である。例えば、表示制御部10が上述した他の表示制御例で説明したように仮想表示面VDの配置を制御しようとした場合に、仮想表示面VDの全体が表示部20の表示範囲に含まれなくなってしまう恐れがある。係る場合には、表示制御部10は、第7の表示制御例に係る表示制御を優先し、表示部20の表示範囲に仮想表示面VDの全体が含まれるように、仮想表示面VDの位置または仮想表示面VDの大きさを制御してもよい。
 上述した第7の表示制御により、表示部20の表示範囲に仮想表示面VDの全体が含まれるように、仮想表示面VDの位置または仮想表示面VDの大きさを制御され、張り付き効果の発生を抑制することが可能である。
  <3-2.表示制御部の構成例>
 以上、仮想表示面に関する表示制御例について説明した。続いて、上述した仮想表示面に関する表示制御例を実現可能な表示制御部10の構成の一例について図19を参照して説明する。図19は、表示制御部10の構成の一例を示すブロック図である。
 図19に示すように、表示制御部10は、視差検出部11、配置制御部12、平坦検出部13、透明度制御部14、色抽出部15、前景領域特定部16、及び描画部18の機能を有する。
 視差検出部11は、例えばステレオコンテンツに含まれる左眼用画像と右眼用画像とのステレオマッチング等を行い、ステレオコンテンツの視差を検出する。また視差検出部11は、検出された視差に関する視差情報を配置制御部12、平坦検出部13、及び前景領域特定部16へ出力する。
 配置制御部12は、描画部18が描画する仮想表示面の配置を制御する。配置制御部12は、例えば上述した第1の表示制御例、第3の表示制御例、及び第7の表示制御例が実現されるように仮想表示面の配置を制御する。例えば、配置制御部12は、センサ部30から提供されるユーザの視点の位置の情報に基づいて、第1の制御例や第7の制御例のような配置制御を実現する。また、配置制御部12は、視差検出部11により検出された視差範囲(視差情報の一例)に基づいて第3の表示制御例のような配置制御を実現する。
 平坦検出部13は、ステレオコンテンツから平坦な背景領域を検出し、透明度制御部14へ出力する。平坦検出部13は、例えば視差検出部11により検出された視差に基づいて、視差変化の小さい領域を平坦な背景領域として検出してもよい。
 透明度制御部14は、仮想表示面に表示されるステレオコンテンツの透明度を制御する。図19に示すように、透明度制御部14は、周縁透明度制御部142と、背景透明度制御部144として機能し得る。
 周縁透明度制御部142は、上述した第2の表示制御例が実現されるように、ステレオコンテンツの周縁部の透明度を制御する。例えば、周縁透明度制御部142は、ステレオコンテンツの端部に近い程、透明度が高くなるようにステレオコンテンツの透明度を制御する。
 背景透明度制御部144は、上述した第5の表示制御例が実現されるように、平坦検出部13により検出された平坦な背景領域の透明度が、ステレオコンテンツの他の領域の透明度よりも高くなるように、ステレオコンテンツの透明度を制御する。
 色抽出部15は、ステレオコンテンツからステレオコンテンツの色情報を抽出し、描画部18へ出力する。ステレオコンテンツの色情報は、例えばステレオコンテンツの主要な背景色、ステレオコンテンツから推定された照明光色、あるいはステレオコンテンツの端部の色の輝度や彩度等の情報であってもよい。
 前景領域特定部16は、ステレオコンテンツから前景領域を特定する。例えば、前景領域特定部16は、図16を参照して説明したように、視差検出部11から提供される視差情報に基づく奥行きマップから前景領域を特定してもよい。なお、前景領域特定部16による前景領域の特定方法は上述した例に限定されず、例えば周知の物体検出手法により検出された物体の領域が前景領域として特定されてもよい。
 描画部18は、図19に示すように仮想空間描画部182、仮想影描画部184、及び仮想表示面描画部186として機能し、それぞれ表示部20に表示される仮想空間、仮想影、及び仮想表示面を描画する。
 仮想空間描画部182は、上述した第4の表示制御例が実現されるように、色抽出部15から提供される色情報に基づいて仮想空間を描画してもよい。
 仮想影描画部184は、上述した第6の表示制御例が実現されるように、前景領域特定部16により特定された前景領域に基づいて、仮想影を描画する。また、前景領域特定部16は、仮想空間描画部182により描画された仮想空間にさらに基づいて仮想影を描画してもよい。
 仮想表示面描画部186は、配置制御部12の制御に従って仮想表示面を仮想空間に配置し、仮想表示面にステレオコンテンツを描画する。係る構成により、上述した第1の表示制御例、第2の表示制御例、及び第7の表示制御例が実現される。また、仮想表示面描画部186が描画するステレオコンテンツの透明度は透明度制御部14により制御される。係る構成により、上述した第3の表示制御例、第5の表示制御例が実現される。
 以上、上述した表示制御例を実現し得る表示制御部10の構成の一例について説明した。なお、図19に示したのは一例であり、表示制御部10は図19に示した全ての機能を有していなくてもよい。例えば、上述した表示制御例のうち、一部が実現されない場合、表示制御部10は係る表示制御例を実現するための機能を有していなくてもよい。
 <<4.動作例>>
 続いて、本実施形態に係る情報処理装置1の動作例について図20を参照して説明する。図20は、本実施形態に係る情報処理装置1の動作例を示すフローチャートである。
 まず、図20に示すように、センサ部30がユーザの視点の位置を検出する(S102)。続いて、表示制御部10の視差検出部11がステレオコンテンツから視差を検出して視差情報を取得する(S104)。続いて、表示制御部10の配置制御部12が、ユーザの視点の位置、及び視差情報に基づいて仮想表示面の配置を制御する(S106)。
 続いて、表示制御部10の平坦検出部13が視差情報に基づいてステレオコンテンツから平坦な背景領域を検出する(S108)。続いて、表示制御部10の透明度制御部14がステレオコンテンツの透明度を制御する(S110)。続いて、表示制御部10の色抽出部15がステレオコンテンツから色情報を抽出する(S111)。続いて、表示制御部10の前景領域特定部16が視差情報に基づいてステレオコンテンツから前景領域を特定する(S112)。
 続いて、表示制御部10の描画部18により、仮想空間、仮想影、及び仮想表示面が描画される(S114~S118)。まず、ステップS114において、描画部18の仮想空間描画部182がステップS111で抽出された色情報に基づき仮想空間を描画する。
 続いて、ステップS116において、描画部18の仮想影描画部184がステップS112で検出された前景領域と、ステップS114で描画された仮想空間に基づき仮想影を描画する。
 続いて、ステップS118において、描画部18の仮想表示面描画部186がステップ106における配置制御に従い仮想表示面を配置し、ステップS110におけるステレオコンテンツの透明度の制御に従ってステレオコンテンツを仮想表示面に描画する。
 そして描画部18により描画された仮想空間、仮想影、及びステレオコンテンツが表示部20に表示される(S120)。
 <<5.変形例>>
 以上、本開示の一実施形態を説明した。以下では、本開示の一実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
  <5-1.変形例1>
 上記では、表示制御部10が仮想空間に仮想表示面を配置する場合について主に説明しが、上述したように表示制御部は、実空間に仮想表示面を配置してもよい。係る例について変形例1として説明する。また、変形例1に係る表示制御部を表示制御部10-2とし、表示制御部10-2の構成例について図21を参照して説明する。図21は、変形例1に係る表示制御部10-2の構成例を示すブロック図である。
 なお、図21に示す表示制御部10-2の構成のうち、図19に示した表示制御部10と同様の構成については同一の符号を付しているため、説明を省略する。表示制御部10-2は、描画部19の機能が描画部18の機能と異なる点において図19に示した表示制御部10と異なる。描画部19は、図21に示すように仮想影描画部194、及び仮想表示面描画部196として機能する。
 ここで、図21に示す表示制御部10-2は、図19に示した表示制御部10と同様に、上述した第1の表示制御例~第7の表示制御例を実現するための構成例である。ただし、本変形例では、仮想空間の代わりに実空間に仮想表示面が配置される。
 そのため、第6の表示制御例における仮想影の描画方法、第2の表示制御例、第5の表示制御例におけるステレオコンテンツの透明度を空間に反映させるための描画方法が異なる。一方で、上述した第1の表示制御例、第2の表示制御例、及び第7の表示制御例は、空間に依らない制御である。
 仮想影描画部194は、上述した仮想影描画部184と同様に、上述した第6の表示制御例が実現されるように、前景領域特定部16により特定された前景領域に基づいて、仮想影を描画する。ただし、仮想影描画部194は、実空間にさらに基づいて仮想影を描画してもよい。例えば、仮想影描画部194は、センサ部30により取得される実空間の情報(例えば撮像により得られた画像)に基づいて、実空間における床や地面、壁などに仮想影が存在するかのように仮想影を描画してもよい。
 仮想表示面描画部196は、上述した仮想表示面描画部186と同様に、配置制御部12の制御に従って仮想表示面を仮想空間に配置し、仮想表示面にステレオコンテンツを描画する。係る構成により、上述した第1の表示制御例、第2の表示制御例、及び第7の表示制御例が実現される。また、仮想表示面描画部196が描画するステレオコンテンツの透明度は透明度制御部14により制御される。
 本変形例では、第2の表示制御例、第5の表示制御例における透明度の制御は輝度や彩度のレベルの制御であってもよく、仮想表示面描画部196は、透明度制御部14の透明度の制御に応じた輝度や彩度でステレオコンテンツを仮想表示面に描画してもよい。
 また、図示していないが、描画部19は上述した第4の表示制御例を実現するため、色抽出部15が抽出した色情報に基づき、図14に示したフレアのような効果を描画する機能を有してもよい。
 上述したように、仮想表示面が実空間に配置される場合であっても、第1の表示制御例~第7の表示制御例が実現される。
  <5-2.変形例2>
 表示部20が実空間に固定的に配置される場合には、ユーザの視点の位置に基づいて、ユーザから見える正しい視点画像を描画することが望ましい。係る描画を行うことにより、仮想空間が定位しているようにユーザに見せることが可能である。係る例について変形例2として、図22を参照して説明する。図22は、変形例2を説明するための説明図である。
 本変形例に係る表示制御部は、図22に示すように、ユーザの視点の位置を仮想視点として仮想カメラVCを仮想的に設置し、例えば上述した仮想空間VWや仮想表示面VDに係る描画を行って当該仮想視点での視点画像を取得する。本変形例に係る表示制御部は、ユーザの姿勢(顔の向き、または視線方向)に基づいて仮想カメラVCの方向を設定してもよいし、仮想カメラが仮想表示面VDに向くように仮想カメラVCの方向を設定してもよい。
 続いて、本変形例に係る表示制御部は、仮想カメラVCと同一の位置、方向で仮想プロジェクタVPを仮想的に配置し、仮想プロジェクタVPから、仮想的に設置した表示部20の仮想表面VF上に、視点画像を投影する。ここで、仮想プロジェクタVPは、仮想カメラVCと同一のパラメータ(例えば焦点距離パラメータ、歪みパラメータ等)で視点画像を投影してもよい。
 さらに、本変形例に係る表示制御部は、仮想表面VF上に投影されて生成された画像を正射影して、表示画像DPを取得する。表示画像DPは、現在のユーザの視点の位置以外から見ると歪んだ画像となるが、現在のユーザの視点の位置から見ると正常な画像として知覚される。
 図22では1視点分の処理しか示していないが、本変形例に係る表示制御部は、左眼、及び右眼の2視点分の視点において上記の処理を行い、左眼用の表示画像、及び右眼用の表示画像を取得する。
 上述した変形例2によれば、仮想空間が定位しているようにユーザに見せることが可能である。なお、実空間に仮想表示面が配置される場合も同様に変形例2は適用可能である。
  <5-3.変形例3>
 上記実施形態では、立体画像として左眼用画像と右眼用画像を含むステレオコンテンツが用いられる例を説明したが、本技術は係る例に限定されない。例えば、立体画像は、2次元画像と視差画像とを含む画像であってもよいし、2次元画像と距離画像とを含む画像であってもよい。なお、立体画像が視差画像や距離画像を含む場合には、視差情報は視差画像や距離画像から取得され得る。
 <<6.ハードウェア構成例>>
 以上、本開示の実施形態を説明した。最後に、図23を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図23は、本開示の実施形態に係る情報処理装置1のハードウェア構成の一例を示すブロック図である。本開示の実施形態に係る情報処理装置1による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
 図23に示すように、情報処理装置1は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置1は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、通信装置913、及びセンサ915を備える。情報処理装置1は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置1内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、表示制御部10を形成し得る。
 CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置1の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置1のユーザは、この入力装置906を操作することにより、情報処理装置1に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置1が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置1が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置907は、例えば表示部20を形成し得る。
 ストレージ装置908は、情報処理装置1の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置908は、例えば、記憶部40を形成し得る。
 ドライブ909は、記憶媒体用リーダライタであり、情報処理装置1に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
 接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
 通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。
 センサ915は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ915は、情報処理装置1の姿勢、移動速度等、情報処理装置1自身の状態に関する情報や、情報処理装置1の周辺の明るさや騒音等、情報処理装置1の周辺環境に関する情報を取得する。また、センサ915は、GPS信号を受信して装置の緯度、経度及び高度を測定するGPSセンサを含んでもよい。センサ915は、例えば、センサ部30を形成し得る。
 なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 以上、本開示の実施形態に係る情報処理装置1の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 なお、上述のような本開示の実施形態に係る情報処理装置1の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 <<7.むすび>>
 以上説明したように、本開示の実施形態によれば、仮想表示面に立体画像を表示させることで、張り付き効果の発生を抑制し、立体感の損失、または酔いの発生を抑制することが可能である。さらに、仮想表示面の配置をユーザの視点の位置に基づいて制御することにより、ユーザの視点が移動してもユーザが快適に観察することが可能である。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記実施形態による各動作における各ステップは、必ずしも図20のフローチャートに記載された順序に沿って時系列に処理する必要はない。各動作における各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 空間に配置された仮想表示面に立体画像が表示されるように、表示部の表示を制御する表示制御部を備え、
 前記表示制御部は、ユーザの視点の位置に基づいて、前記空間における前記仮想表示面の配置を制御する、情報処理装置。
(2)
 前記表示制御部は、前記ユーザの視点と前記仮想表示面の中心点とを結んだ直線が、前記仮想表示面との関係に係る所定の条件を満たすように、前記仮想表示面の配置を制御する、前記(1)に記載の情報処理装置。
(3)
 前記所定の条件は、前記直線と前記仮想表示面とがなす角に関する条件である、前記(2)に記載の情報処理装置。
(4)
 前記表示制御部は、前記表示部の表示範囲に前記仮想表示面の全体が含まれるように、前記仮想表示面の位置または前記仮想表示面の大きさを制御する、前記(3)に記載の情報処理装置。
(5)
 前記表示部は前記ユーザに装着された装置の表示部である、前記(4)に記載の情報処理装置。
(6)
 前記表示制御部は、前記立体画像に係る視差情報にさらに基づいて、前記仮想表示面の配置を制御する、前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
 前記表示制御部は、前記視差情報に基づいて特定される前記表示部からの飛び出し量または引っ込み量に基づいて、前記仮想表示面の位置または前記仮想表示面の大きさを制御する、前記(6)に記載の情報処理装置。
(8)
 前記表示制御部は、前記飛び出し量、前記引っ込み量、及び前記飛び出し量と前記引っ込み量の合計、のうちいずれかが所定の範囲に収まるように、前記仮想表示面の位置または前記仮想表示面の大きさを制御する、前記(7)に記載の情報処理装置。
(9)
 前記表示制御部は、前記仮想表示面に表示される前記立体画像の透明度を制御する、前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
 前記表示制御部は、前記立体画像の端部に近い程、透明度が高くなるように、前記立体画像の透明度を制御する、前記(9)に記載の情報処理装置。
(11)
 前記表示制御部は、前記立体画像に基づいて、前記立体画像の透明度を制御する、前記(9)または(10)に記載の情報処理装置。
(12)
 前記表示制御部は、前記立体画像から検出される平坦な背景領域の透明度が、前記立体画像における他の領域の透明度よりも高くなるように、前記立体画像の透明度を制御する、前記(11)に記載の情報処理装置。
(13)
 前記表示制御部は、前記立体画像の色情報に基づいて、前記仮想表示面の周囲の色を制御する、前記(1)~(12)のいずれか一項に記載の情報処理装置。
(14)
 前記表示制御部は、前記立体画像に基づいて影を表示させる、前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
 前記表示制御部は、前記立体画像から特定される前景領域に基づいて前記影を表示させる、前記(14)に記載の情報処理装置。
(16)
 前記表示制御部は、前記空間にさらに基づいて前記影を表示させる、前記(14)または(15)に記載の情報処理装置。
(17)
 前記空間は仮想空間または実空間である、前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
 前記表示部は光学的透過性を有し、前記空間は実空間である、前記(17)に記載の情報処理装置。
(19)
 プロセッサが、空間に配置された仮想表示面に立体画像が表示されるように、表示部の表示を制御することを含み、
 前記空間における前記仮想表示面の配置はユーザの視点の位置に基づいて制御される、情報処理方法。
(20)
 コンピュータに、
 空間に配置された仮想表示面に立体画像が表示されるように、表示部の表示を制御する表示制御機能を実現させ、
 前記表示制御機能は、ユーザの視点の位置に基づいて、前記空間における前記仮想表示面の配置を制御する、プログラム。
 1  情報処理装置
 10  表示制御部
 20  表示部
 30  センサ部
 40  記憶部

Claims (20)

  1.  空間に配置された仮想表示面に立体画像が表示されるように、表示部の表示を制御する表示制御部を備え、
     前記表示制御部は、ユーザの視点の位置に基づいて、前記空間における前記仮想表示面の配置を制御する、情報処理装置。
  2.  前記表示制御部は、前記ユーザの視点と前記仮想表示面の中心点とを結んだ直線が、前記仮想表示面との関係に係る所定の条件を満たすように、前記仮想表示面の配置を制御する、請求項1に記載の情報処理装置。
  3.  前記所定の条件は、前記直線と前記仮想表示面とがなす角に関する条件である、請求項2に記載の情報処理装置。
  4.  前記表示制御部は、前記表示部の表示範囲に前記仮想表示面の全体が含まれるように、前記仮想表示面の位置または前記仮想表示面の大きさを制御する、請求項3に記載の情報処理装置。
  5.  前記表示部は前記ユーザに装着された装置の表示部である、請求項4に記載の情報処理装置。
  6.  前記表示制御部は、前記立体画像に係る視差情報にさらに基づいて、前記仮想表示面の配置を制御する、請求項1に記載の情報処理装置。
  7.  前記表示制御部は、前記視差情報に基づいて特定される前記表示部からの飛び出し量または引っ込み量に基づいて、前記仮想表示面の位置または前記仮想表示面の大きさを制御する、請求項6に記載の情報処理装置。
  8.  前記表示制御部は、前記飛び出し量、前記引っ込み量、及び前記飛び出し量と前記引っ込み量の合計、のうちいずれかが所定の範囲に収まるように、前記仮想表示面の位置または前記仮想表示面の大きさを制御する、請求項7に記載の情報処理装置。
  9.  前記表示制御部は、前記仮想表示面に表示される前記立体画像の透明度を制御する、請求項1に記載の情報処理装置。
  10.  前記表示制御部は、前記立体画像の端部に近い程、透明度が高くなるように、前記立体画像の透明度を制御する、請求項9に記載の情報処理装置。
  11.  前記表示制御部は、前記立体画像に基づいて、前記立体画像の透明度を制御する、請求項9に記載の情報処理装置。
  12.  前記表示制御部は、前記立体画像から検出される平坦な背景領域の透明度が、前記立体画像における他の領域の透明度よりも高くなるように、前記立体画像の透明度を制御する、請求項11に記載の情報処理装置。
  13.  前記表示制御部は、前記立体画像の色情報に基づいて、前記仮想表示面の周囲の色を制御する、請求項1に記載の情報処理装置。
  14.  前記表示制御部は、前記立体画像に基づいて影を表示させる、請求項1に記載の情報処理装置。
  15.  前記表示制御部は、前記立体画像から特定される前景領域に基づいて前記影を表示させる、請求項14に記載の情報処理装置。
  16.  前記表示制御部は、前記空間にさらに基づいて前記影を表示させる、請求項14に記載の情報処理装置。
  17.  前記空間は仮想空間または実空間である、請求項1に記載の情報処理装置。
  18.  前記表示部は光学的透過性を有し、前記空間は実空間である、請求項17に記載の情報処理装置。
  19.  プロセッサが、空間に配置された仮想表示面に立体画像が表示されるように、表示部の表示を制御することを含み、
     前記空間における前記仮想表示面の配置は、ユーザの視点の位置に基づいて制御される、情報処理方法。
  20.  コンピュータに、
     空間に配置された仮想表示面に立体画像が表示されるように、表示部の表示を制御する表示制御機能を実現させ、
     前記表示制御機能は、ユーザの視点の位置に基づいて、前記空間における前記仮想表示面の配置を制御する、プログラム。
PCT/JP2018/026126 2017-08-29 2018-07-11 情報処理装置、情報処理方法、及びプログラム WO2019044188A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/641,083 US11064176B2 (en) 2017-08-29 2018-07-11 Information processing apparatus, information processing method, and program for display control to arrange virtual display based on user viewpoint
KR1020207002150A KR20200043371A (ko) 2017-08-29 2018-07-11 정보 처리 장치, 정보 처리 방법, 및 프로그램
EP18851514.2A EP3678370A4 (en) 2017-08-29 2018-07-11 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS, AND PROGRAM
JP2019539030A JP7259753B2 (ja) 2017-08-29 2018-07-11 情報処理装置、情報処理方法、及びプログラム
CN201880054560.1A CN111034190B (zh) 2017-08-29 2018-07-11 信息处理设备、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-164193 2017-08-29
JP2017164193 2017-08-29

Publications (1)

Publication Number Publication Date
WO2019044188A1 true WO2019044188A1 (ja) 2019-03-07

Family

ID=65527391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026126 WO2019044188A1 (ja) 2017-08-29 2018-07-11 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US11064176B2 (ja)
EP (1) EP3678370A4 (ja)
JP (1) JP7259753B2 (ja)
KR (1) KR20200043371A (ja)
CN (1) CN111034190B (ja)
WO (1) WO2019044188A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021052799A1 (en) * 2019-09-19 2021-03-25 Interdigital Ce Patent Holdings Devices and methods for generating and rendering immersive video
WO2021131829A1 (ja) 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理システム、および部材
WO2023162799A1 (ja) * 2022-02-28 2023-08-31 ソニーグループ株式会社 画像処理装置および方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018144890A1 (en) * 2017-02-03 2018-08-09 Warner Bros. Entertainment, Inc. Rendering extended video in virtual reality

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051029A (ja) * 2001-04-12 2003-02-21 Matsushita Electric Ind Co Ltd アニメーションデータ生成装置、アニメーションデータ生成方法、アニメーション映像生成装置、及びアニメーション映像生成方法
JP2008085503A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 三次元画像処理装置、方法、プログラム及び三次元画像表示装置
JP2013237320A (ja) * 2012-05-14 2013-11-28 Toshiba Alpine Automotive Technology Corp 違和感軽減表示装置およびその表示制御方法
JP2015008394A (ja) * 2013-06-25 2015-01-15 Kddi株式会社 情報端末装置
JP2015012560A (ja) 2013-07-02 2015-01-19 ソニー株式会社 表示処理装置、表示装置および画像処理方法
JP2016018560A (ja) * 2014-07-08 2016-02-01 三星電子株式会社Samsung Electronics Co.,Ltd. 視覚効果を有するオブジェクトを表示する装置及び方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2848291B2 (ja) * 1995-08-24 1999-01-20 松下電器産業株式会社 立体tv装置
US6828971B2 (en) * 2001-04-12 2004-12-07 Matsushita Electric Industrial Co., Ltd. Animation data generation apparatus, animation data generation method, animated video generation apparatus, and animated video generation method
JP4212987B2 (ja) * 2003-08-26 2009-01-21 シャープ株式会社 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
JP4468341B2 (ja) * 2006-09-28 2010-05-26 株式会社東芝 三次元画像表示方法および三次元画像表示装置
JP2011090400A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像表示装置および方法、並びにプログラム
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム,インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
CN103595997A (zh) * 2012-08-13 2014-02-19 辉达公司 3d显示系统和3d显示方法
JP6318470B2 (ja) * 2013-05-15 2018-05-09 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9400553B2 (en) * 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
US9773349B2 (en) * 2014-02-19 2017-09-26 Daqri, Llc Active parallax correction
CN107037873A (zh) * 2016-10-09 2017-08-11 深圳市金立通信设备有限公司 一种虚拟现实主界面的显示方法及终端
JP7087481B2 (ja) * 2018-03-13 2022-06-21 セイコーエプソン株式会社 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051029A (ja) * 2001-04-12 2003-02-21 Matsushita Electric Ind Co Ltd アニメーションデータ生成装置、アニメーションデータ生成方法、アニメーション映像生成装置、及びアニメーション映像生成方法
JP2008085503A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 三次元画像処理装置、方法、プログラム及び三次元画像表示装置
JP2013237320A (ja) * 2012-05-14 2013-11-28 Toshiba Alpine Automotive Technology Corp 違和感軽減表示装置およびその表示制御方法
JP2015008394A (ja) * 2013-06-25 2015-01-15 Kddi株式会社 情報端末装置
JP2015012560A (ja) 2013-07-02 2015-01-19 ソニー株式会社 表示処理装置、表示装置および画像処理方法
JP2016018560A (ja) * 2014-07-08 2016-02-01 三星電子株式会社Samsung Electronics Co.,Ltd. 視覚効果を有するオブジェクトを表示する装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3678370A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021052799A1 (en) * 2019-09-19 2021-03-25 Interdigital Ce Patent Holdings Devices and methods for generating and rendering immersive video
US12081720B2 (en) 2019-09-19 2024-09-03 Interdigital Ce Patent Holdings Devices and methods for generating and rendering immersive video
WO2021131829A1 (ja) 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理システム、および部材
WO2023162799A1 (ja) * 2022-02-28 2023-08-31 ソニーグループ株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
US20200177861A1 (en) 2020-06-04
CN111034190B (zh) 2022-04-15
JPWO2019044188A1 (ja) 2020-08-13
EP3678370A1 (en) 2020-07-08
KR20200043371A (ko) 2020-04-27
CN111034190A (zh) 2020-04-17
JP7259753B2 (ja) 2023-04-18
US11064176B2 (en) 2021-07-13
EP3678370A4 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
CN110413105B (zh) 虚拟环境内的虚拟对象的有形可视化
US11386626B2 (en) Information processing apparatus, information processing method, and program
JP7259753B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9204126B2 (en) Three-dimensional image display device and three-dimensional image display method for displaying control menu in three-dimensional image
JP6642430B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
US10095032B2 (en) Handling different input signals
JPWO2017183346A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102402381B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
WO2019130708A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN111095348A (zh) 基于摄像头的透明显示器
GB2557594A (en) Image processing system and method
WO2019150668A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010226391A (ja) 画像処理装置、プログラムおよび画像処理方法
CN109313823B (zh) 信息处理装置、信息处理方法和计算机可读介质
WO2022219877A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2017056597A1 (ja) 情報処理装置
JP2012244433A (ja) 映像提示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18851514

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019539030

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018851514

Country of ref document: EP

Effective date: 20200330