WO2017203818A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2017203818A1
WO2017203818A1 PCT/JP2017/011873 JP2017011873W WO2017203818A1 WO 2017203818 A1 WO2017203818 A1 WO 2017203818A1 JP 2017011873 W JP2017011873 W JP 2017011873W WO 2017203818 A1 WO2017203818 A1 WO 2017203818A1
Authority
WO
WIPO (PCT)
Prior art keywords
display method
information processing
user
processing apparatus
viewpoint
Prior art date
Application number
PCT/JP2017/011873
Other languages
English (en)
French (fr)
Inventor
茜 矢野
翼 塚原
友久 田中
遼 深澤
賢次 杉原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780030622.0A priority Critical patent/CN109313823B/zh
Priority to EP17802420.4A priority patent/EP3467791A4/en
Priority to US16/097,471 priority patent/US10834382B2/en
Publication of WO2017203818A1 publication Critical patent/WO2017203818A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a device that presents a stereoscopically visible image to the user is used for the purpose of viewing the video with a sense of presence, or accurately observing by the user.
  • a technique for giving binocular parallax to a user by presenting different images to the user's left eye and right eye is known.
  • Patent Literature 1 discloses a 3D mode in which different images are presented to the left and right eyes of the wearer according to the movement of the wearer's head, and the same for the left and right eyes of the wearer.
  • a head mounted display that switches between 2D mode for presenting an image and the like is disclosed.
  • a control unit that determines a display method of the object based on a positional relationship between the object in the virtual space and the viewpoint, and the user is given to the user according to the determined display method
  • an information processing apparatus in which binocular parallax relating to an object is different.
  • the processor includes determining a display method of the object based on a positional relationship between the object in the virtual space and the viewpoint, and the user is notified according to the determined display method.
  • An information processing method is provided in which binocular parallax related to the given object is different.
  • the computer is provided with a function of determining a display method of the object based on a positional relationship between the object in the virtual space and the viewpoint, and the user according to the determined display method. And a function for controlling the binocular parallax related to the object to be different are provided.
  • binocular parallax can be given to a user more flexibly.
  • FIG. 6 is a flowchart for explaining an operation example according to the embodiment. It is explanatory drawing which shows the hardware structural example.
  • the adjustment distance is the distance between the eye and the real object, or the focal length in the display optical system.
  • the convergence distance is the distance between the eyes and the intersection position of the line of sight of both eyes according to the binocular parallax.
  • FIG. 1 is an explanatory diagram illustrating an adjustment distance and a convergence distance in natural vision when viewing a real object.
  • the left eye E L 1 and if the right eye E R 1 See real object R1, adjusting the distance between convergence distance corresponds to a distance D1 illustrated in FIG.
  • FIG. 2 is an explanatory diagram showing an adjustment distance and a convergence distance in binocular stereoscopic vision in which different images are presented to the left and right eyes by a display.
  • adjusting distance a position of the image H2 of the display, so that a distance between the right eye E R 2 D21.
  • the convergence distance is determined by the position of the object V2 perceived by the user and the right eye by the line of sight of the left eye E L 2 and the right eye E R 2 intersecting according to the images presented to the left and right eyes. It becomes the distance D22 with E R 2.
  • a mismatch between the adjustment distance and the convergence distance may occur in the binocular stereoscopic vision in which different images are presented to the left and right eyes.
  • the magnitude of the mismatch between the adjustment distance and the convergence distance tends to increase as the binocular parallax of the image presented to the left and right eyes increases.
  • an image reflected in the left and right eyes may not be fused and may not be recognized as one image, which may cause discomfort to the user.
  • FIG. 3 is an image diagram of a phenomenon in which an image is not fused.
  • the images Z1 and Z2 are recognized as separate images, and the images appear to be broken into two.
  • a phenomenon in which an image does not fuse as shown in FIG. 3 occurs, it is difficult to comfortably observe the image.
  • HMD Head Mounted Display
  • binocular parallax is flexibly given to the user by switching the object display method based on the positional relationship between the object in the virtual space and the viewpoint, and more comfortable observation is possible.
  • an outline of an embodiment of the present disclosure having such effects will be described.
  • FIGS. 4 and 5 are conceptual diagrams for explaining an overview of an information processing apparatus according to an embodiment of the present disclosure.
  • the information processing apparatus 1 according to the present embodiment is a glasses-type HMD having a transmissive display unit.
  • the information processing apparatus 1 provides the user U with a creator application for observing a virtual object.
  • the position of the virtual object V32 in the virtual space may be specified based on the real space recognized by the information processing apparatus 1, for example.
  • the position of the viewpoint related to rendering in the virtual space for generating an image presented to the user U may be specified based on the position of the user U recognized by the information processing apparatus 1. It may be a position in the virtual space according to the position.
  • the user U can change the distance to the object V32 by moving his / her position, or change the angle and observe. Further, the user U can observe the internal state of the object V32 by moving the viewpoint so as to enter the inside of the object V32.
  • the information processing apparatus 1 may give binocular parallax larger than 0 to the user U by presenting different images to the left and right eyes of the user U, or present the same image to the left and right eyes of the user U.
  • the binocular parallax given to the user U may be set to zero.
  • the binocular parallax greater than 0 is given to the user U, the user U can perform binocular stereoscopic vision.
  • the binocular parallax that can be given is too large, comfortable binocular stereoscopic vision is obtained. It can be difficult.
  • the information processing apparatus 1 renders the object V32 using the two viewpoints in the virtual space corresponding to both eyes of the user U as rendering viewpoints so that the user U can perform binocular stereoscopic vision.
  • An image for use and an image for the right eye may be generated.
  • the user U can view the object V32 in a binocular manner.
  • the binocular parallax related to the object V32 given to the user U increases.
  • the binocular parallax given to the user U increases rapidly, which may make comfortable observation difficult.
  • FIG. 5 is an image diagram when the viewpoint exists inside the object. As shown in FIG. 5, when the viewpoint enters the inside of the object V32, the user U can observe the internal state V34 of the object V32.
  • the information processing apparatus 1 may switch the display method so as to reduce the binocular parallax given to the user U at the timing when the viewpoint enters the inside of the object V32 due to the movement of the user U.
  • the information processing apparatus 1 may switch the display method so that the same image is presented to the left eye and the right eye of the user U at the timing when the viewpoint enters the object V32 due to the movement of the user U. Good.
  • the binocular parallax given to the user U is 0, and thus the user U can comfortably observe without receiving discomfort caused by the binocular parallax.
  • the information processing apparatus 1 gives the user U motion parallax according to the head movement of the user U regardless of the switching of the display method, and displays such that the perspective changes according to the head movement, for example. You may go. Further, the information processing apparatus 1 may perform display such that the occlusion relationship between the real space and the object is consistent regardless of the switching of the display method. For example, by rendering the internal state V34 with one viewpoint positioned between two viewpoints corresponding to both eyes of the user U as a rendering viewpoint, an image having the above effects can be generated and displayed. Is possible. With such a configuration, even if binocular stereoscopic vision is impossible, the user U can perform observation with a stereoscopic effect.
  • the outline of the information processing apparatus 1 according to this embodiment has been described above. Note that the switching of the display method described above is an example, and the information processing apparatus 1 according to the present embodiment may switch the display method by various methods, and may perform the display by various display methods. .
  • FIG. 6 is a block diagram illustrating a configuration example of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 according to the present embodiment includes a control unit 10, a communication unit 11, an out camera 12, an in camera 13, a microphone 14, a gyro sensor 15, an acceleration sensor 16, a speaker 17, and a display unit. 18 and an information processing apparatus including a storage unit 19.
  • the information processing apparatus 1 can be realized in various forms such as an HMD (Head Mounted Display), a PC (Personal Computer), a mobile phone, a smartphone, a tablet PC, and a projector.
  • HMD Head Mounted Display
  • PC Personal Computer
  • the information processing apparatus 1 according to the present embodiment is a glasses-type HMD having a transmissive display unit and is worn on the user's head. An example will be explained.
  • the control unit 10 controls each component of the information processing apparatus 1.
  • the information processing apparatus 1 can provide various applications to the user under the control of the control unit 10.
  • the control unit 10 also functions as a recognition unit 101, a display control unit 103, and a determination unit 105 as shown in FIG.
  • the recognition unit 101 performs various recognition processes based on information acquired by an out camera 12, an in camera 13, a microphone 14, a gyro sensor 15, and an acceleration sensor 16, which will be described later, and acquires information.
  • the recognizing unit 101 performs a stereo matching method, a SLAM (Simultaneous Localization and Mapping) method, and the like based on an image acquired by the out-camera 12, and the real space information and the user's head in the real space. Get location information.
  • SLAM Simultaneous Localization and Mapping
  • the recognition unit 101 acquires line-of-sight information related to the user's line of sight based on the user's eye image acquired by the in-camera 13.
  • the line-of-sight information may include, for example, the direction of the user's line of sight, the position of the user's line of sight, and the focal position.
  • the position of the user's line of sight may be, for example, a position (for example, a coordinate position) where the display unit 18 and the user's line of sight intersect in the display unit 18.
  • the recognizing unit 101 recognizes an eye reference point (for example, a point corresponding to a non-moving part of the eye, such as an eye head or a corneal reflection), or an eye moving point (for example, an iris or a pupil). Or a point corresponding to a moving part of the eye).
  • the recognizing unit 101 may acquire the line-of-sight information of the user based on the position of the eye movement point with respect to the eye reference point.
  • the acquisition method of the gaze information by the recognition unit 101 according to the present embodiment is not limited to the above, and may be performed by any gaze detection technique capable of detecting the gaze, for example.
  • the recognition unit 101 may recognize the user's voice based on the acoustic signal acquired by the microphone 14.
  • the recognition unit 101 acquires information on the user's posture (head posture) and the user's movement (for example, the user's speed) based on sensor information acquired by the gyro sensor 15 and the acceleration sensor 16. May be.
  • the recognizing unit 101 may perform behavior recognition processing based on the user's voice, sensor information, or the like, and acquire the user's behavior information.
  • the recognition processing by the recognition unit 101 described above is an example, and is not limited to the above.
  • the recognition unit 101 recognizes information such as various contexts based on various sensors included in the information processing device 1, the status of applications provided by the information processing device 1, information acquired from the communication unit 11, and the like. Also good.
  • the display control unit 103 has a display control function for controlling display by the display unit 18.
  • the display control unit 103 may display information (for example, time information) at a predetermined position on the display unit 18.
  • the display control unit 103 may display a virtual object based on real space information acquired by the recognition unit 101.
  • the display control unit 103 determines the position of the object in the virtual space corresponding to the real space so that it is perceived that the object exists at a predetermined position in the real space (for example, on the detected plane) based on the real space information. May be specified.
  • the display control unit 103 may generate a left-eye image and a right-eye image to be displayed on the display unit 18 by rendering based on the position of the object in the virtual space and a rendering viewpoint described later. .
  • the display control unit 103 perceives that the user exists at the predetermined position in the real space by performing display control so that the object is shielded by the real space based on the positional relationship between the rendering viewpoint and the object.
  • the shielding relationship may be matched so that it is possible. For example, when a real object exists in the real space corresponding to the position of the object and the rendering viewpoint in the virtual space, the object is displayed so as to be hidden by the real object.
  • the display control unit 103 identifies a viewpoint (display method determination viewpoint) used for determining a display method by the determination unit 105 described later based on the position of the user. For example, the display control unit 103 may identify two viewpoints corresponding to the user's eyes in the virtual space as display method determination viewpoints based on the user's head position.
  • the display control unit 103 may generate an image to be displayed on the display unit 18 by rendering the object from a rendering viewpoint specified according to the display method determined by the determination unit 105 described later.
  • a first display method, a second display method, and a third display method will be described as examples of the display method according to the present embodiment.
  • the display control unit 103 uses the two viewpoints corresponding to the user's eyes in the virtual space (the display method determination viewpoint described above) as rendering viewpoints based on the user's head position. May be rendered.
  • the first display method binocular parallax is given to the user according to the theoretical value of binocular stereoscopic vision, and binocular stereoscopic vision is possible so that the object exists at the position of the object described above.
  • the display control unit 103 may perform display control so that the binocular parallax reduced than the binocular parallax given to the user in the first display method is given to the user. For example, in the second display method, the display control unit 103 renders the object using the two points between the two display method determination viewpoints specified as described above as the rendering viewpoint, and performs the left-eye image. And an image for the right eye may be generated.
  • a reduced binocular parallax is given to the user, and the user can easily perform more comfortable binocular stereoscopic vision. Further, according to the rendering in the second display method described above, it is possible to give a motion parallax according to the user's head motion and to control the display so that the shielding relationship between the real space and the object is matched. is there. Therefore, even if the binocular parallax provided is reduced, the user can easily perceive (illusion) that the object exists at the position of the object in the above-described real space.
  • the binocular parallax can be reduced as the interval between the two rendering viewpoints becomes shorter.
  • a method for determining the interval between two rendering viewpoints will be described later.
  • the display control unit 103 may perform display control so that the same image is presented to the left and right eyes of the user. For example, in the third display method, the display control unit 103 renders the object using one point between the two display method determination viewpoints specified as described above as the rendering viewpoint, and performs the left-eye image. And an image for the right eye may be generated.
  • the rendering viewpoint may be, for example, the center point of the two display method determination viewpoints, or may be either one of the display method determination viewpoints.
  • the third display method since the binocular parallax given to the user is 0, the user can comfortably observe the object without receiving discomfort due to the binocular parallax.
  • the rendering in the third display method described above it is possible to give a motion parallax according to the user's head motion and to control the display so that the shielding relationship between the real space and the object matches. is there. Therefore, even if the binocular parallax provided is 0, the user can easily perceive (the illusion) that the object exists at the position of the object in the above-described real space.
  • the third display method described above can be included in the second display method. For example, when the interval between two rendering viewpoints used in rendering in the second display method described above is 0, this corresponds to the third display method described above.
  • the display control unit 103 performs display control so that a smooth display transition is performed when the display method is switched (for example, when any of the display methods described above is switched to another display method). May be.
  • the display control unit 103 may increase the transparency of the object and decrease the visibility when switching the display method.
  • the display control unit 103 uses the third display method as a clue to both eyes. You may display by a 2nd display method, after giving a parallax to a user.
  • the display control unit 103 may perform display control so that the user can easily view stereoscopically. For example, when the user's movement is large, the display control unit 103 blurs and displays characters (an example of an object) so that the user does not lose sight of the binocular parallax. No characters may be displayed.
  • features that are clues for binocular stereopsis such as dots, characters, continuity from the front of the object, etc. on objects that are difficult to binocularly stereoscopically (for example, objects with little texture, objects with recursive patterns) May be added and displayed.
  • the determination unit 105 has a function of determining the object display method based on the positional relationship between the object in the virtual space and the display method determination viewpoint. As described above, the binocular parallax related to the object given to the user can be obtained by causing the display control unit 103 to display (control display) the object in a display method according to the display method determined by the determination unit 105. Can be different.
  • the determination unit 105 may determine the display method based on the distance between the object and the display method determination viewpoint in the virtual space, and determines the display method based on the comparison between the distance and the threshold value. May be.
  • the determination unit 105 determines the above-described second display method (including the third display method) as the display method when the distance is less than the threshold, and the above-described when the distance is equal to or greater than the threshold.
  • the first display method may be determined as the display method.
  • the display method is determined such that the binocular parallax is smaller, so that the user can easily perform a more comfortable observation.
  • the information processing apparatus 1 provides an application such as a game
  • an object with an effect that surrounds all directions of the user, such as rain or snow is displayed, the binocular parallax of the object close to the user is reduced. Can be done.
  • the rendering viewpoint may be specified such that the smaller the distance, the smaller the rendering viewpoint interval. According to such a configuration, when the distance is smaller and the binocular parallax tends to be larger, the display control is performed so that the binocular parallax is further reduced, so that the user can easily perform a more comfortable observation. .
  • the determination unit 105 may dynamically set the threshold value according to the speed of the user, the speed of the display method determination viewpoint, the relative speed of the object with respect to the display method determination viewpoint, When the speed is large, the threshold value may be set large. According to such a configuration, binocular parallax can be easily reduced when the moving speed is high and it is difficult for the user to watch the object, such as when the user is on a car or a bicycle.
  • the setting of the threshold value by the determination unit 105 is not limited to the above-described setting based on the speed, and may be performed based on, for example, the surrounding environment, user behavior, application, or context.
  • the determination unit 105 may set the threshold value 2 so that the switching of the display method has hysteresis. According to such a configuration, it is difficult for the user to observe more comfortably because the display method is not easily switched by a slight change in the distance.
  • the determination unit 105 uses different methods when the distance changes due to the movement of the object (an example of an application) and when the distance changes due to the movement of the user (an example of user behavior).
  • a threshold may be set. For example, when the distance has changed due to the movement of the user, the threshold value of 2 may be set so that the display method switching has hysteresis. Further, when the distance changes due to the movement of the object, a threshold value of 1 may be set so that the display method switching does not have hysteresis.
  • the determination unit 105 may set the threshold value to be large or small when the user's head movement is large to the left and right (an example of the user's behavior). According to such a configuration, when the motion parallax perceived by the user is large, it is difficult to switch the display method, and it is difficult to prevent the user from perceiving the position of the object.
  • the threshold value can be variously set as described above. However, since the distance that humans can perceive the depth by binocular parallax is generally about 10 m, even if the threshold value is set in consideration of the distance. Good.
  • the determination unit 105 determines different display methods depending on whether the display method determination viewpoint exists inside the object or the outside. Also good.
  • the determination unit 105 determines the second display method (including the third display method) as the display method when the display method determination viewpoint exists inside the object, and exists outside the object.
  • the first display method may be determined as the display method.
  • the display method is determined so that the binocular parallax becomes smaller. This makes it easier to perform comfortable observations. Further, when the viewpoint moves from the outside to the inside of the object, the sense of distance and the scene are likely to change, and even if the display method is switched, it is difficult for the user to feel uncomfortable.
  • the determination unit 105 may change the transition of the display method depending on whether the display method determination viewpoint moves from the outside of the object to the inside or when the display method determination viewpoint moves from the outside of the object to the inside.
  • the third display method may be determined as the display method, and there may be one rendering viewpoint. That is, when the display method determination viewpoint moves from the outside to the inside of the object, the binocular parallax immediately given to the user becomes zero.
  • the display method is changed so that the rendering method interval is gradually increased and then the third display method is displayed. You may decide. According to such a configuration, since the binocular parallax given to the user gradually increases, the load on the user decreases.
  • the determination unit 105 may determine the display method based on the user's line-of-sight information. For example, the determination unit 105 determines the second display method (including the third display method) as the display method when the user is not looking at the object (the user's line of sight is not facing), and the user When viewing the screen, the first display method may be determined as the display method. According to such a configuration, the binocular parallax related to the object that the user is not looking at is reduced, and the user is less likely to be subjected to the binocular stereoscopic vision related to the object that the user is not paying attention to.
  • the communication unit 11 is a communication interface that mediates communication with other devices.
  • the communication unit 11 supports an arbitrary wireless communication protocol or wired communication protocol, and establishes a communication connection with another device via a communication network (not shown). Accordingly, for example, the information processing apparatus 1 can acquire information related to the object or perform communication for providing various applications to the user.
  • the out camera 12 is a camera directed in the direction of the user's visual field.
  • the in-camera 13 is a camera for acquiring a user's eye image.
  • Each of the out camera 12 and the in camera 13 may include a plurality of cameras.
  • the microphone 14 acquires sound around the information processing apparatus 1.
  • the gyro sensor 15 and the acceleration sensor 16 acquire sensor information related to the posture and movement of the information processing apparatus 1.
  • the speaker 17 converts the sound signal into sound and outputs it under the control of the control unit 10.
  • the display unit 18 performs display under the control of the display control unit 103.
  • the display unit 18 may be, for example, a transmission type (optical see-through type) and a binocular spectacles type display. With this configuration, the display control unit 103 can give binocular parallax to the user so that it is perceived that an object exists at an arbitrary three-dimensional position in the real space.
  • the storage unit 19 stores programs and parameters for the functions of each component of the information processing apparatus 1 to function.
  • the storage unit 19 may store information on objects that the display control unit 103 displays.
  • the configuration of the information processing apparatus 1 according to the present embodiment has been specifically described above.
  • the configuration illustrated in FIG. 6 is an example, and the present embodiment is not limited to this.
  • the information processing apparatus 1 may further include an IR (infrared) camera, a depth camera, a human sensor, or the like in order to acquire information related to the surrounding environment.
  • Each function of the control unit 10 according to the present embodiment may be on a cloud connected via the communication unit 11.
  • FIG. 7 is a flowchart for explaining an operation example according to the present embodiment.
  • step S102 based on the recognition result by the recognition unit 101, display control processing by the display control unit 103 is started, and an object is displayed (S102).
  • the object may be displayed by the first display method described above.
  • the determination unit 105 determines whether or not the user (the viewpoint corresponding to the user) has moved to approach the object (S104). When the user has moved and has not approached the object (NO in S104), the determination unit 105 determines whether the object has moved and has approached the user (S106). If the user has not moved and approached the object, and the object has moved and has not approached the user (NO in S104 and NO in S106), the process ends.
  • the determination unit 105 determines whether or not the approach speed of the user and the object (the relative speed of the object with respect to the display method determination viewpoint) is high (S118).
  • the approach speed between the user and the object is high (YES in S118)
  • the binocular parallax related to the object is 0 (OFF).
  • the display method switching transition is started (S120).
  • the display method may be determined by setting a large threshold value.
  • the display method When the approach speed of the user and the object is low (NO in S118), the display method is set so that the binocular parallax related to the object existing at a closer distance (for example, about 1 m to 2 m) is 0 (OFF). A switching transition is started (S122). For example, in the determination of the display method based on the distance by the determination unit 105 described above, the display method may be determined by setting a small threshold value.
  • steps S102 to S122 may be repeated as needed. Further, when there are a plurality of objects displayed on the display unit 18, the above-described series of processes may be performed for each object, and a display method is determined for any one of the objects, and according to the display method Display control processing for the entire screen may be performed.
  • the above processing may be selected according to, for example, an application or content. Further, the one object may be an object closest to the display method determination viewpoint, for example.
  • Application Example 1 The above-described embodiment can be applied to, for example, an application for sports players and an application for watching sports. For example, when the user is watching a tennis match, even if the display method related to objects such as score and player information is switched depending on the context, such as a court change or an interval after a score is entered, Good.
  • the display method can be switched without causing a great sense of discomfort to the user.
  • the first display method is determined, so that it is perceived that an object exists at the position of the road ahead of the user's line of sight or the other car that runs in front of the car. Binocular parallax may be given to the user. Further, when the automobile is stopped, the third display method is determined, and the binocular parallax given to the user may be zero.
  • the third display method may be determined, and the binocular parallax related to the caption given to the user may be zero.
  • the first display method may be determined for video content included in a movie, and a predetermined binocular parallax may be given to the user.
  • FIG. 8 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment of the present disclosure. Note that the information processing apparatus 900 illustrated in FIG. 8 can realize the information processing apparatus 1 illustrated in FIG. 6, for example. Information processing by the information processing apparatus 1 according to the present embodiment is realized by cooperation between software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form the control unit 10 shown in FIG.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900.
  • the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the display device can form, for example, the speaker 17 and the display unit 18 shown in FIG.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication device 913 can form, for example, the communication unit 11 illustrated in FIG.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs including Ethernet (registered trademark), a WAN (Wide Area Network), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • the sensor 915 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 900 itself, such as the posture and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900.
  • Sensor 915 may also include a GPS sensor that receives GPS signals and measures the latitude, longitude, and altitude of the device.
  • the sensor 915 may form, for example, the out camera 12, the in camera 13, the microphone 14, the gyro sensor 15, and the acceleration sensor 16 illustrated in FIG.
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the number of computers that execute the computer program is not particularly limited.
  • the computer program may be executed by a plurality of computers (for example, a plurality of servers) in cooperation with each other.
  • binocular parallax can be given to a user more flexibly based on various information such as a positional relationship between a viewpoint and an object, speed, context, and the like. .
  • the user's physical load is reduced, and viewing and observation for a longer time becomes possible.
  • the user can move more naturally between the real space and the virtual space (for example, inside the object), and easily grasp the positional relationship by the binocular parallax provided.
  • binocular parallax amount or the like since appropriate binocular parallax is automatically given, smooth viewing and observation are possible. Further, in information presentation by binocular stereoscopic vision, in which individual differences are likely to occur due to factors such as the skeleton and interocular distance, it is possible to present information independent of the user.
  • the present technology may be applied to a naked-eye 3D display, a 3D display using a spectacle-type device (frame sequential method, polarization method, etc.), a light field display, a movie theater, parallax projection mapping, and the like.
  • 3D elements other than congestion examples include FOV (Field of View), perspective, motion parallax, focus adjustment, object size comparison, and light field (blurring, shadow expression, etc.).
  • the present technology may be applied to switching of a method related to another sense. For example, by switching sound presentation methods such as monaural, stereo, and surround, the load on the user regarding hearing can be reduced.
  • the interval between the two rendering viewpoints in the second display method is specified based on the distance between the viewpoint and the object
  • the present technology is not limited to such an example.
  • the interval between the two rendering viewpoints may be specified so that the binocular parallax reduction effect differs according to the probability of recognition by the recognition unit 101.
  • each step in the above embodiment does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the flowchart diagram or may be processed in parallel.
  • a control unit that determines a display method of the object based on a positional relationship between the object in the virtual space and the viewpoint; An information processing apparatus in which binocular parallax related to the object given to a user differs according to the determined display method.
  • the information processing apparatus according to (1) wherein the control unit determines the display method based on a distance between the object and the viewpoint.
  • the control unit determines the display method based on a comparison between the distance and a threshold value.
  • the control unit is configured to display the binocular parallax smaller than the binocular parallax in the display method determined when the distance is greater than or equal to the threshold when the distance is less than the threshold.
  • the information processing apparatus according to (3) wherein the information is determined as the display method.
  • the information processing apparatus according to (4), wherein the threshold is set based on at least one of speed, action, application, and context.
  • the speed is at least one of a speed of the user, a speed of the viewpoint, and a relative speed of the object with respect to the viewpoint.
  • the control unit causes the binocular parallax to be smaller than the binocular parallax in the display method determined when the viewpoint exists outside the object when the viewpoint exists inside the object.
  • the control unit displays the binocular parallax smaller than the binocular parallax in the display method determined when the user is looking at the object when the user is not looking at the object.
  • the information processing apparatus includes rendering the object at one rendering viewpoint specified based on the viewpoint, according to any one of (1) to (11).
  • Information processing device (13) The information according to any one of (1) to (12), wherein the display method determined by the control unit includes rendering the object with two viewpoints specified based on the viewpoint. Processing equipment.
  • the control unit performs display control so as to give motion parallax according to the head movement of the user regardless of the display method determined by the control unit.
  • the information processing apparatus according to one item.
  • the control unit performs display control so that a concealment relationship between the real space and the object is matched regardless of the display method determined by the control unit.
  • a processor determining a display method of the object based on a positional relationship between the object and the viewpoint in the virtual space; An information processing method in which binocular parallax related to the object given to a user differs according to the determined display method.
  • On the computer A function for determining a display method of the object based on a positional relationship between the object in the virtual space and the viewpoint; A function of controlling the binocular parallax associated with the object to be given to the user according to the determined display method; A program to realize

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】仮想空間におけるオブジェクトと、視点との位置関係に基づいて、前記オブジェクトの表示方法を決定する制御部、を備え、決定された前記表示方法に応じて、ユーザに与えられる前記オブジェクトに係る両眼視差が異なる、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　臨場感のある映像視聴や、ユーザによる正確な観察等を目的として、ユーザに立体視可能な画像を提示する装置が用いられている。例えば、ユーザの左眼と右眼に異なる画像を提示することで、ユーザに両眼視差を与える技術が知られている。
　一方、ユーザに与えられる両眼視差によっては、例えば画像が融像せず、快適な立体視が困難な場合があった。そこで、例えば、特許文献１には、装着者の頭部の動きに応じて、装着者の左眼と右眼に異なる画像を提示する３Ｄモードと、装着者の左眼と右眼に同一の画像を提示する２Ｄモードと、の切り替えを行うヘッドマウントディスプレイが開示されている。
特開２０１１－２０５３５８号公報
　上記のような技術においては、より柔軟に両眼視差をユーザに与えることが望まれていた。
　本開示によれば、仮想空間におけるオブジェクトと、視点との位置関係に基づいて、前記オブジェクトの表示方法を決定する制御部、を備え、決定された前記表示方法に応じて、ユーザに与えられる前記オブジェクトに係る両眼視差が異なる、情報処理装置が提供される。
　また、本開示によれば、プロセッサが、仮想空間におけるオブジェクトと、視点との位置関係に基づいて、前記オブジェクトの表示方法を決定することを含み、決定された前記表示方法に応じて、ユーザに与えられる前記オブジェクトに係る両眼視差が異なる、情報処理方法が提供される。
　また、本開示によれば、コンピュータに、仮想空間におけるオブジェクトと、視点との位置関係に基づいて、前記オブジェクトの表示方法を決定する機能と、決定された前記表示方法に応じて、ユーザに与えられる前記オブジェクトに係る両眼視差が異なるように制御する機能と、を実現させるための、プログラムが提供される。
　以上説明したように本開示によれば、より柔軟に両眼視差をユーザに与えることが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
自然視における調節距離と輻輳距離を示す説明図である。 両眼立体視における調節距離と輻輳距離を示す説明図である。 像が融像しない現象のイメージ図である。 本開示の一実施形態に係る情報処理装置の概要を説明するための概念図である。 同実施形態に係る情報処理装置の概要を説明するための概念図である。 同実施形態に係る情報処理装置１の構成例を示すブロック図である。 同実施形態に係る動作例を説明するためのフローチャート図である。 ハードウェア構成例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．背景＞＞
　＜＜２．概要＞＞
　＜＜３．構成例＞＞
　＜＜４．動作例＞＞
　＜＜５．応用例＞＞
　　＜５－１．応用例１＞
　　＜５－２．応用例２＞
　　＜５－３．応用例３＞
　＜＜６．ハードウェア構成例＞＞
　＜＜７．むすび＞＞
　＜＜１．背景＞＞
　本開示の一実施形態に係る情報処理装置についての説明に当たり、まず、図面を参照しながら本開示の一実施形態に係る情報処理装置の創作に至った背景を説明する。
　ユーザの左眼と右眼に異なる画像が提示されて、両眼視差が与えられた場合、両眼視差の大きさ等によっては、例えば画像が融像せず、快適な立体視が困難な場合がある。快適な立体視が困難となる要因として、水晶体によるピント調節における調節距離と、両眼輻輳における輻輳距離の不一致が挙げられる。
　一般に、調節距離は、眼と実物体との距離、またはディスプレイの光学系における焦点距離となる。また、輻輳距離は、眼と両眼視差に応じた両眼の視線の交差位置との距離となる。
　以下、図１～３を参照して、両眼立体視に関する説明を行う。図１は、実物体を見る自然視における調節距離と輻輳距離を示す説明図である。図１に示すように、左眼ＥＬ１、及び右眼ＥＲ１で実物体Ｒ１を見る場合、調節距離と輻輳距離は図１に示す距離Ｄ１のように一致する。
　図２は、ディスプレイにより左右の眼に異なる画像が提示された両眼立体視における調節距離と輻輳距離を示す説明図である。図２に示すように、例えば調節距離は、ディスプレイ上の画像Ｈ２の位置と、右眼ＥＲ２との距離Ｄ２１のようになる。一方、輻輳距離は、左右の眼に提示された画像に応じて、左眼ＥＬ２、及び右眼ＥＲ２の視線が交差することで、ユーザが知覚するオブジェクトＶ２の位置と、右眼ＥＲ２との距離Ｄ２２のようになる。
　つまり、図２のように、左右の眼に異なる画像が提示された両眼立体視において、調節距離と輻輳距離の不一致が生じ得る。調節距離と輻輳距離の不一致の大きさ（調節距離と輻輳距離の差の大きさ）は、左右の眼に提示される画像の両眼視差の大きさが大きい程、大きくなりやすい。調節距離と輻輳距離の不一致が大きい場合、例えば、左右の眼に映る像が融像せず、一つの像として認識されない等、ユーザに不快感を与える恐れがある。
　図３は、像が融像しない現象のイメージ図である。像が融像しない場合、図３に示すように、像Ｚ１と像Ｚ２が別々の像として認識され、像が２つに割れたように見える。図３のように像が融像しない現象が発生すると、快適に画像を観察することは困難である。
　例えばＨＭＤ（Head Mounted Display）のように、装着型のディスプレイをユーザが装着している場合、ユーザの頭部運動に追従して画像が提示され得るため、ユーザが視線を外す等の行為により意図的に上記の現象を回避することは困難である。
　そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、仮想空間におけるオブジェクトと、視点との位置関係に基づいて、オブジェクトの表示方法を切り替えることで、柔軟にユーザへ両眼視差を与え、より快適な観察が可能である。以下、このような効果を有する本開示の一実施形態の概要について説明を行う。
　＜＜２．概要＞＞
　以下では、図４，５を参照して本開示の一実施形態に係る情報処理装置の概要について説明を行い、本実施形態に係る情報処理装置の詳細な構成については、図６を参照して後述する。図４，５は本開示の一実施形態に係る情報処理装置の概要を説明するための概念図である。図４に示す例において、本実施形態に係る情報処理装置１は、透過型の表示部を有する眼鏡型のＨＭＤである。図４に示す例において、情報処理装置１は、仮想的なオブジェクトを観察するためのクリエータ向けアプリケーションをユーザＵに提供している。
　仮想空間における仮想的なオブジェクトＶ３２の位置は、例えば、情報処理装置１により認識される実空間に基づいて特定されてもよい。また、ユーザＵに提示される画像を生成するための、仮想空間におけるレンダリングに係る視点の位置は、情報処理装置１により認識されるユーザＵの位置に基づいて特定されてもよく、例えば、ユーザの位置に応じた仮想空間中の位置であってもよい。係る構成により、例えば、ユーザＵは自身の位置を移動することで、オブジェクトＶ３２との距離を変えて観察したり、角度を変えて観察したりすることが可能である。また、ユーザＵはオブジェクトＶ３２の内部に入り込むように視点を移動させることで、オブジェクトＶ３２の内部状態を観察することも可能である。
　情報処理装置１は、ユーザＵの左右の眼に異なる画像を提示することで、ユーザＵに０より大きい両眼視差を与えてもよいし、ユーザＵの左右の眼に同一の画像を提示することで、ユーザＵに与えられる両眼視差を０にしてもよい。ユーザＵに０より大きい両眼視差を与えられる場合、ユーザＵは両眼立体視が可能であるが、上述したように、与えらえる両眼視差が大きすぎると、快適な両眼立体視が困難となる場合がある。
　例えば、オブジェクトＶ３２とユーザＵとの間に十分な距離がある場合、ユーザＵに与えられるオブジェクトＶ３２に係る両眼視差は小さくなり、ユーザは快適に両眼立体視可能となりやすい。係る場合、情報処理装置１は、ユーザＵが両眼立体視可能なようにユーザＵの両眼に対応する仮想空間中の２つの視点をレンダリング視点として、オブジェクトＶ３２をレンダリングすることで、左眼用画像と右眼用画像を生成してもよい。その結果、図４に示すように、ユーザＵはオブジェクトＶ３２を両眼立体視することが可能となる。
　一方、オブジェクトＶ３２とユーザＵとの距離が小さいと、ユーザＵに与えられるオブジェクトＶ３２に係る両眼視差は大きくなる。特に、ユーザＵの移動により、視点がオブジェクトＶ３２の内部に入り込んだ場合、ユーザＵに与えられる両眼視差が急激に大きくなることで、快適な観察が困難となる恐れがある。
　図５は、視点がオブジェクトの内部に存在する場合のイメージ図である。図５に示すように、視点がオブジェクトＶ３２の内部に入り込んだ場合、ユーザＵは、オブジェクトＶ３２の内部状態Ｖ３４を観察することが可能である。ここで、情報処理装置１は、ユーザＵの移動により視点がオブジェクトＶ３２の内部に入り込んだタイミングで、ユーザＵに与えられる両眼視差を低減させるように、表示方法を切り替えてもよい。
　例えば、情報処理装置１は、ユーザＵの移動により視点がオブジェクトＶ３２の内部に入り込んだタイミングで、ユーザＵの左眼と右眼に同一の画像が提示されるように、表示方法を切り替えてもよい。係る表示方法により、ユーザＵに与えられる両眼視差は０となるため、ユーザＵは両眼視差に起因する不快感を受けず、快適に観察することが可能となる。
　また、情報処理装置１は、上記の表示方法の切り替えに関わらず、ユーザＵの頭部運動に応じた運動視差をユーザＵに与え、例えば頭部運動に応じてパースが変化するような表示を行ってもよい。また、情報処理装置１は、上記の表示方法の切り替えに関わらず、実空間とオブジェクトとの遮蔽（オクルージョン）関係が整合するような表示を行ってもよい。例えば、ユーザＵの両眼に対応する２の視点の間に位置する１の視点をレンダリング視点として内部状態Ｖ３４をレンダリングすることで、上記のような効果を奏する画像を生成し、表示することが可能である。係る構成により、両眼立体視が不可能であっても、ユーザＵは立体感のある観察を行うことが可能である。
　以上、本実施形態に係る情報処理装置１の概要を説明した。なお、上述した表示方法の切り替えは一例であって、本実施形態に係る情報処理装置１は多様な方法で表示方法の切り替えを行ってもよく、また多様な表示方法により表示を行ってもよい。
　＜＜３．構成例＞＞
　続いて、本実施形態に係る情報処理装置１の構成例を説明する。図６は本実施形態に係る情報処理装置１の構成例を示すブロック図である。図６に示すように、本実施形態に係る情報処理装置１は、制御部１０、通信部１１、アウトカメラ１２、インカメラ１３、マイクロフォン１４、ジャイロセンサ１５、加速度センサ１６、スピーカ１７、表示部１８、及び記憶部１９を備える情報処理装置である。
　本実施形態に係る情報処理装置１は、例えば、ＨＭＤ（Head Mounted Display）、ＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレットＰＣ、プロジェクタ等、多様な形態で実現され得る。なお、以下では、図４、５に示したように、本実施形態に係る情報処理装置１が、透過型の表示部を有する眼鏡型のＨＭＤであり、ユーザの頭部に装着される場合を例に説明を行う。
　制御部１０は、情報処理装置１の各構成を制御する。例えば、制御部１０による制御により、情報処理装置１は、ユーザに多様なアプリケーションを提供することができる。
　また、制御部１０は、図６に示すように、認識部１０１、表示制御部１０３、及び決定部１０５としても機能する。
　認識部１０１は、後述するアウトカメラ１２、インカメラ１３、マイクロフォン１４、ジャイロセンサ１５、及び加速度センサ１６により取得される情報に基づき、様々な認識処理を行い、情報を取得する。
　例えば、認識部１０１は、アウトカメラ１２により取得される画像等に基づいて、ステレオマッチング法、ＳＬＡＭ（Simultaneous Localization and Mapping）法等を行うことで、実空間情報と、実空間におけるユーザの頭部位置の情報を取得する。
　また、認識部１０１は、インカメラ１３により取得されるユーザの眼画像に基づいて、ユーザの視線に関する視線情報を取得する。本実施形態に係る視線情報とは、例えばユーザの視線の方向、ユーザの視線の位置、焦点位置等を含んでもよい。また、ユーザの視線の位置とは、例えば、表示部１８において、表示部１８とユーザの視線の交差する位置（例えば座標位置）であってもよい。
　認識部１０１は、インカメラ１３により取得される情報から、眼の基準点（例えば眼頭や角膜反射等の眼における動かない部分に対応する点）や、眼の動点（例えば、虹彩や瞳孔等の眼における動く部分に対応する点）を検出してもよい。また、認識部１０１は、眼の基準点に対する眼の動点の位置に基づいて、ユーザの視線情報を取得してもよい。なお、本実施形態に係る認識部１０１による視線情報の取得方法は上記に限定されず、例えば視線を検出することが可能な任意の視線検出技術により行われてもよい。
　また、認識部１０１は、マイクロフォン１４により取得される音響信号に基づいて、ユーザの音声を認識してもよい。また、認識部１０１は、ジャイロセンサ１５、加速度センサ１６により取得されるセンサ情報等に基づいて、ユーザの姿勢（頭部姿勢）や、ユーザの動き（例えばユーザの速度等）の情報を取得してもよい。さらに、認識部１０１は、ユーザの音声や、センサ情報等に基づいて、行動認識処理を行い、ユーザの行動情報を取得してもよい。
　上述した認識部１０１による認識処理は一例であって、上記に限定されない。認識部１０１は、情報処理装置１が有する様々なセンサや、情報処理装置１が提供するアプリケーションの状況、通信部１１から取得される情報等に基づいて、多様なコンテキスト等の情報を認識してもよい。
　表示制御部１０３は、表示部１８による表示を制御する表示制御機能を有する。表示制御部１０３は、表示部１８における所定位置に情報（例えば時刻の情報等）を表示させてもよい。また、表示制御部１０３は、認識部１０１により取得される実空間情報に基づいて仮想的なオブジェクトを表示させてもよい。
　例えば、表示制御部１０３は、実空間情報に基づき、実空間における所定の位置（例えば検出された平面上）にオブジェクトが存在すると知覚されるように、実空間に対応する仮想空間におけるオブジェクトの位置を特定してもよい。また、表示制御部１０３は、仮想空間におけるオブジェクトの位置と、後述するレンダリング視点とに基づいてレンダリングすることで、表示部１８に表示させる左眼用画像、及び右目用画像を生成してもよい。
　なお、表示制御部１０３は、レンダリング視点とオブジェクトとの位置関係に基づいて、実空間によりオブジェクトが遮蔽されるように表示制御を行うことで、ユーザが実空間における当該所定の位置に存在すると知覚できるように遮蔽関係を整合させてもよい。例えば、仮想空間におけるオブジェクトの位置とレンダリング視点の位置との間に相当する実空間に、実物体が存在する場合、当該オブジェクトは当該実物体により隠されるように表示される。
　また、表示制御部１０３は、ユーザの位置に基づいて、後述する決定部１０５による表示方法決定のために用いられる視点（表示方法決定用視点）を特定する。例えば、表示制御部１０３は、ユーザの頭部位置に基づき、仮想空間におけるユーザの両眼に対応する２の視点を、表示方法決定用視点として特定してもよい。
　また、表示制御部１０３は、後述する決定部１０５により決定された表示方法に応じて特定されるレンダリング視点で、オブジェクトのレンダリングを行うことで、表示部１８に表示させる画像を生成してもよい。以下、本実施形態に係る表示方法の例として、第一の表示方法、第二の表示方法、第三の表示方法について説明する。
　第一の表示方法において、表示制御部１０３は、ユーザの頭部位置に基づき、仮想空間におけるユーザの両眼に対応する２の視点（上述した表示方法決定用視点）を、レンダリング視点として、オブジェクトのレンダリングを行ってもよい。第一の表示方法によれば、両眼立体視の理論値通り両眼視差がユーザに与えられ、上述したオブジェクトの位置に、オブジェクトが存在するように両眼立体視することが可能となる。
　第二の表示方法において、表示制御部１０３は、第一の表示方法においてユーザに与えられる両眼視差よりも低減された両眼視差がユーザに与えられるように、表示制御を行ってもよい。例えば、第二の表示方法において、表示制御部１０３は、上述のように特定される２の表示方法決定用視点の間の２点を、レンダリング視点として、オブジェクトのレンダリングを行って、左目用画像と右眼用画像を生成してもよい。
　第二の表示方法によれば、低減された両眼視差がユーザに与えられ、ユーザはより快適な両眼立体視を行いやすくなる。また、上述した第二の表示方法におけるレンダリングによれば、ユーザの頭部運動に応じた運動視差を与え、さらに、実空間とオブジェクトとの遮蔽関係が整合するように表示制御することが可能である。したがって、ユーザは、与えられる両眼視差が低減されていても、上述した実空間におけるオブジェクトの位置に、オブジェクトが存在するように知覚（錯覚）しやすい。
　なお、第二の表示方法において、上述した２つのレンダリング視点の間隔が近い程、両眼視差は低減させられる。２つのレンダリング視点の間隔の決定方法については、後述する。
　第三の表示方法において、表示制御部１０３は、ユーザの左右の眼に同一の画像が提示されるように表示制御を行ってもよい。例えば、第三の表示方法において、表示制御部１０３は、上述のように特定される２の表示方法決定用視点の間の１点を、レンダリング視点として、オブジェクトのレンダリングを行って、左目用画像と右眼用画像を生成してもよい。なお、レンダリング視点は、例えば２の表示方法決定用視点の中央の点であってもよいし、いずれか一方の表示方法決定用視点であってもよい。
　第三の表示方法によれば、ユーザに与えられる両眼視差は０となるため、ユーザは両眼視差に起因する不快感を受けず、快適にオブジェクトを観察することが可能となる。また、上述した第三の表示方法におけるレンダリングによれば、ユーザの頭部運動に応じた運動視差を与え、さらに、実空間とオブジェクトとの遮蔽関係が整合するように表示制御することが可能である。したがって、ユーザは、与えられる両眼視差が０であっても、上述した実空間におけるオブジェクトの位置に、オブジェクトが存在するように知覚（錯覚）しやすい。
　なお、上述した第三の表示方法は、第二の表示方法に含まれ得る。例えば、上述した第二の表示方法におけるレンダリングにおいて用いられる２点のレンダリング視点の間隔が０である場合、上述した第三の表示方法に相当する。
　また、表示制御部１０３は、表示方法が切り替えられた（例えば上述したいずれかの表示方法から、他の表示方法に切り替えられた）場合に、滑らかな表示遷移が行われるように表示制御を行ってもよい。例えば、表示制御部１０３は、表示方法の切り替えを行う際に、オブジェクトの透過度を高め、視認性を低くしてもよい。
　また、表示制御部１０３は、一度画角から外れたオブジェクトが、再度画角に含まれるようになり、第二の表示方法が決定された場合、第三の表示方法により、手掛かりとなる両眼視差をユーザに与えた後に第二の表示方法により表示してもよい。
　また、表示制御部１０３は、ユーザがより立体視しやすいように表示制御を行ってもよい。例えば、ユーザの動きが大きい場合、表示制御部１０３は、ユーザが両眼視差を見失わないように、文字（オブジェクトの一例）をぼかして表示させ、ユーザの動きが止まると、アニメーションさせながらぼけのない文字を表示させてもよい。
　また、両眼立体視が困難なオブジェクト（例えばテクスチャの少ないオブジェクト、再帰的なパターンを有するオブジェクト）に、点、文字、オブジェクトの手前からの連続性等、両眼立体視の手掛かりとなる特徴点を追加して、表示させてもよい。
　決定部１０５は、仮想空間におけるオブジェクトと、表示方法決定用視点との位置関係に基づいて、オブジェクトの表示方法を決定する機能を有する。上述したように、決定部１０５により決定された表示方法に応じた表示方法で、表示制御部１０３がオブジェクトを表示させる（表示制御する）ことにより、ユーザに与えられる当該オブジェクトに係る両眼視差が異なり得る。
　例えば、決定部１０５は、仮想空間における、オブジェクトと表示方法決定用視点との間の距離に基づいて、表示方法を決定してもよく、当該距離と閾値との比較に基づいて表示方法を決定してもよい。
　例えば、決定部１０５は、当該距離が、閾値未満である場合に、上述した第二の表示方法（第三の表示方法を含む）を表示方法として決定し、閾値以上である場合に、上述した第一の表示方法を表示方法として決定してもよい。
　係る構成によれば、当該距離が小さく両眼視差が大きくなりやすい場合には、両眼視差がより小さくなるような表示方法が決定されるため、ユーザはより快適な観察を行いやすくなる。例えば、情報処理装置１がゲーム等のアプリケーションを提供する場合において、雨や雪等、ユーザの全方位を取り囲むようなエフェクトのオブジェクトが表示される場合に、ユーザに近いオブジェクトは両眼視差が低減され得る。
　なお、当該距離に基づいて、上述した第二の表示方法が表示方法として決定された場合、当該距離が小さい程、レンダリング視点の間隔が小さくなるように、レンダリング視点が特定されてもよい。係る構成によれば、当該距離がより小さく、両眼視差がより大きくなりやすい場合に、両眼視差がより低減されるように表示制御が行われるため、ユーザはより快適な観察を行いやすくなる。
　また、決定部１０５は、上記の閾値を、ユーザの速度、表示方法決定用視点の速度、表示方法決定用視点に対するオブジェクトの相対速度等の速度に応じて、動的に設定してもよく、上記速度が大きい場合、閾値が大きく設定されてもよい。係る構成によれば、ユーザが車や自転車に乗っている場合など、移動速度が大きく、ユーザがオブジェクトを注視し辛い場合に、両眼視差が低減されやすくなる。
　なお、決定部１０５による閾値の設定は、上述した速度に基づく設定に限定されず、例えば、周囲の環境、ユーザの行動、アプリケーション、またはコンテキスト等に基づいて行われてもよい。
　例えば、決定部１０５は、表示方法の切り替えがヒステリシスを有するように２の閾値を設定してもよい。係る構成によれば、当該距離の僅かな変動では表示方法が切り替えられ難くなるため、ユーザはより快適に観察することが可能となる。
　また、決定部１０５は、オブジェクトが移動したことで当該距離が変化した場合（アプリケーションの一例）と、ユーザが移動したことで当該距離が変化した場合（ユーザの行動の一例）で、異なる方法により閾値を設定してもよい。例えば、ユーザが移動したことで当該距離が変化した場合には、表示方法の切り替えがヒステリシスを有するように２の閾値を設定してもよい。また、オブジェクトが移動したことで当該距離が変化した場合には、表示方法の切り替えがヒステリシスを持たないように１の閾値を設定してもよい。
　また、決定部１０５は、ユーザの頭部運動が左右に大きい場合（ユーザの行動の一例）、閾値を大きく、または小さく設定してもよい。係る構成によれば、ユーザが知覚する運動視差が大きい場合に、表示方法が切り替えられ難くなり、ユーザによるオブジェクトの位置の知覚が妨げられにくくなる。
　なお、閾値は、上述したように多様に設定され得るが、一般に人間が両眼視差により奥行きを知覚可能な距離は１０ｍ程度とされているため、係る距離を考慮して閾値が設定されてもよい。
　また、図４、５を参照して説明したように、決定部１０５は、表示方法決定用視点がオブジェクトの内部に存在する場合と、外部に存在する場合とで、異なる表示方法を決定してもよい。
　例えば、決定部１０５は、表示方法決定用視点がオブジェクトの内部に存在する場合に、第二の表示方法（第三の表示方法を含む）を表示方法として決定し、オブジェクトの外部に存在する場合に、第一の表示方法を表示方法として決定してもよい。
　係る構成によれば、オブジェクトの内部に視点が移動することで、急激に両眼視差が大きくなりやすい場合には、両眼視差がより小さくなるような表示方法が決定されるため、ユーザはより快適な観察を行いやすくなる。また、オブジェクトの外部から内部に視点が移動する場合には、距離感や場面が変化しやすく、表示方法が切り替えられても、ユーザに違和感を与え難い。
　また、決定部１０５は、表示方法決定用視点がオブジェクトの外部から内部に移動する場合と、オブジェクトの外部から内部に移動する場合とで、表示方法の遷移を異ならせてもよい。例えば、表示方法決定用視点がオブジェクトの外部から内部に移動した場合には、第三の表示方法が表示方法として決定され、レンダリング視点が１つであってもよい。すなわち、表示方法決定用視点がオブジェクトの外部から内部に移動した場合には、即座にユーザに与えられる両眼視差が０となる。
　一方、表示方法決定用視点がオブジェクトの内部から外部に移動した場合、第二の表示方法におけるレンダリング視点の間隔を徐々に大きくした後に、第三の表示方法で表示されるように、表示方法を決定してもよい。係る構成によれば、ユーザに与えられる両眼視差が徐々に大きくなるため、ユーザにかかる負荷が小さくなる。
　また、決定部１０５は、ユーザの視線情報に基づいて、表示方法を決定してもよい。例えば、決定部１０５は、ユーザがオブジェクトを見ていない（ユーザの視線が向いていない）場合に、第二の表示方法（第三の表示方法を含む）を表示方法として決定し、ユーザがオブジェクトを見ている場合に、第一の表示方法を表示方法として決定してもよい。係る構成によれば、ユーザが見ていないオブジェクトに係る両眼視差が低減され、ユーザは注目していないオブジェクトに係る両眼立体視による負荷を受け難くなる。
　通信部１１は、他の装置との間の通信を仲介する通信インタフェースである。通信部１１は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、不図示の通信網を介して他の装置との間の通信接続を確立する。それにより、例えば、情報処理装置１がオブジェクトに係る情報を取得し、または様々なアプリケーションをユーザに提供するための通信を行うこと可能となる。
　アウトカメラ１２は、ユーザの視野方向に向けられたカメラである。また、インカメラ１３は、ユーザの眼画像を取得するためのカメラである。アウトカメラ１２、及びインカメラ１３は、それぞれ複数のカメラを含んでもよい。
　マイクロフォン１４は、情報処理装置１の周囲の音響を取得する。また、ジャイロセンサ１５、及び加速度センサ１６は、情報処理装置１の姿勢や動きに係るセンサ情報を取得する。
　スピーカ１７は、制御部１０の制御に従って、音響信号を音響に変換して出力する。また、表示部１８は、表示制御部１０３に制御されて、表示を行う。表示部１８は、例えば透過型（光学シースルー型）、かつ両眼の眼鏡型ディスプレイであってもよい。係る構成により、表示制御部１０３は、実空間における任意の三次元位置にオブジェクトが存在すると知覚されるような両眼視差をユーザに与えることが可能である。
　記憶部１９は、情報処理装置１の各構成が機能するためのプログラムやパラメータを記憶する。例えば、記憶部１９は、表示制御部１０３が表示させるオブジェクトの情報を記憶してもよい。
　以上、本実施形態による情報処理装置１の構成について具体的に説明した。なお、図６に示す構成は一例であって、本実施形態はこれに限定されない。例えば、情報処理装置１は、周辺環境に関する情報を取得するために、ＩＲ（infrared：赤外線）カメラ、深度カメラ、または人感センサ等をさらに備えていてもよい。また、本実施形態による制御部１０の各機能は、通信部１１を介して接続されるクラウド上にあってもよい。
　＜＜４．動作例＞＞
　続いて、本実施形態に係る動作例について、図７を参照して説明を行う。図７は、本実施形態に係る動作例を説明するためのフローチャート図である。
　まず、認識部１０１による認識結果に基づいて、表示制御部１０３による表示制御処理が開始され、オブジェクトが表示される（Ｓ１０２）。ステップＳ１０２において、例えば上述した第一の表示方法によりオブジェクトが表示されてもよい。
　続いて、決定部１０５により、ユーザ（ユーザに対応する視点）が移動してオブジェクトに接近したか否かが判定される（Ｓ１０４）。ユーザが移動してオブジェクトに接近していない場合（Ｓ１０４においてＮＯ）、決定部１０５により、オブジェクトが移動してユーザに接近したか否かが判定される（Ｓ１０６）。ユーザが移動してオブジェクトに接近していない、かつ、オブジェクトが移動してユーザに接近していない場合（Ｓ１０４においてＮＯ、かつＳ１０６においてＮＯ）、処理は終了する。
　一方、オブジェクトが移動してユーザに接近していた場合（Ｓ１０６においてＹＥＳ）、ユーザの視線情報が取得される（Ｓ１０８）。続いて、視線情報に基づいて、ユーザがオブジェクトを見ているか否かが判定される（Ｓ１１２）。
　ユーザがオブジェクトを見ていないと判定された場合（Ｓ１１２においてＮＯ）、ユーザに与えられる両眼視差が０（ＯＦＦ）となる第三の表示方法が決定される（Ｓ１１４）。
　一方、ユーザが移動してオブジェクトに接近していた場合（Ｓ１０４においてＹＥＳ）、または、ユーザがオブジェクトを見ていると判定された場合（Ｓ１１２においてＹＥＳ）、オブジェクトと、表示方法決定用視点との位置関係の情報が取得される（Ｓ１１６）。
　続いて、決定部１０５により、ユーザとオブジェクトの接近速度（表示方法決定用視点に対するオブジェクトの相対速度）が大きいか否かが判定される（Ｓ１１８）。ユーザとオブジェクトの接近速度が大きい場合（Ｓ１１８においてＹＥＳ）には、より遠方（例えば、３ｍ～５ｍ程度）に存在するオブジェクトであっても、当該オブジェクトに係る両眼視差が０（ＯＦＦ）となるように表示方法の切り替え遷移が開始される（Ｓ１２０）。例えば、上述した決定部１０５による距離に基づく表示方法の決定において、大きな閾値が設定されて、表示方法の決定が行われてもよい。
　ユーザとオブジェクトの接近速度が小さい場合（Ｓ１１８においてＮＯ）には、より近距離（例えば、１ｍ～２ｍ程度）に存在するオブジェクトに係る両眼視差が０（ＯＦＦ）となるように、表示方法の切り替え遷移が開始される（Ｓ１２２）。例えば、上述した決定部１０５による距離に基づく表示方法の決定において、小さな閾値が設定されて、表示方法の決定が行われてもよい。
　なお、上述したステップＳ１０２～Ｓ１２２の一連の処理は、随時繰り返されてもよい。また、表示部１８に表示されるオブジェクトが複数存在する場合、オブジェクトごとに上述した一連の処理が行われてもよいし、いずれか１のオブジェクトについて表示方法が決定され、当該表示方法に応じて画面全体の表示制御処理が行われもよい。上記の処理は、例えばアプリケーションやコンテンツに応じて選択されてもよい。また、当該１のオブジェクトは、例えば表示方法決定用視点に最も近いオブジェクトであってもよい。
　＜＜５．応用例＞＞
　以上、本実施形態の構成例、及び動作例を説明した。続いて、いくつかの本技術の応用例を説明する。
　　＜５－１．応用例１＞
　上述した本実施形態は、例えばスポーツプレーヤー用のアプリケーションや、スポーツ観戦用のアプリケーションに適用可能である。例えば、ユーザがテニスの試合を観戦している場合に、コートチェンジや、得点が入った後の合間等、コンテキストに応じて、得点や選手の情報等のオブジェクトに係る表示方法が切り替えられてもよい。
　上記のように、ユーザが試合に集中していなくてもよい場合に表示方法を切り替えることで、ユーザに大きな違和感を与えることなく表示方法を切り替えることが可能となる。
　　＜５－２．応用例２＞
　上述した本技術は、例えば自動車のフロントガラス等に画像を表示させるヘッドアップディスプレイに適用することも可能である。係る場合、例えば、自動車が走行中、または停止中であるか、といったコンテキストに応じて、表示方法が切り替えられてもよい。
　例えば、自動車が走行中の場合、第一の表示方法が決定され、当該自動車の前を走行する他の自動車や、ユーザの視線の先の道路の位置にオブジェクトが存在すると知覚されるように、両眼視差がユーザに与えられてもよい。また、自動車が停止中の場合、第三の表示方法が決定され、ユーザに与えられる両眼視差が０であってもよい。
　　＜５－３．応用例３＞
　上述した本技術は、例えば映画をユーザに提示する場合に適用することも可能である。係る場合、映画の提示内容に応じて表示方法が切り替えられてもよい。
　例えば、映画に含まれる字幕オブジェクトに関して、第三の表示方法が決定され、ユーザに与えられる字幕に係る両眼視差が０であってもよい。また、映画に含まれる映像コンテンツに関して、第一の表示方法が決定され、所定の両眼視差がユーザに与えられてもよい。
　＜＜６．ハードウェア構成例＞＞
　以上、本開示の実施形態を説明した。最後に、図８を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図８は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図８に示す情報処理装置９００は、例えば、図６に示した情報処理装置１を実現し得る。本実施形態に係る情報処理装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図８に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図６に示す制御部１０を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置は、例えば、図６に示すスピーカ１７、及び表示部１８を形成し得る。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータまたは各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図６に示す通信部１１を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、図６に示すアウトカメラ１２、インカメラ１３、マイクロフォン１４、ジャイロセンサ１５、及び加速度センサ１６を形成し得る。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
　＜＜７．むすび＞＞
　以上説明したように、本開示の実施形態によれば、視点とオブジェクトとの位置関係や、速度、コンテキスト等、様々な情報に基づき、より柔軟に両眼視差をユーザに与えることが可能である。
　例えば、大きな両眼視差はユーザに与えられ難いため、ユーザの身体的な負荷が低減され、より長時間の視聴や観察が可能となる。また、ユーザは実空間と、仮想空間（例えばオブジェクトの内部）との間でより自然な行き来が可能となり、また、与えられる両眼視差によって位置関係を容易に把握し易くなる。
　また、ユーザが両眼視差量の設定等を行わなくても、自動的により適切な両眼視差が与えられるため、スムーズな視聴や観察が可能となる。さらに、骨格や眼間距離等の要因で個人差が発生しやすい両眼立体視による情報提示において、ユーザによらない情報提示が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、主にＨＭＤに本技術が適用される例を説明したが、本技術の適用範囲は係る例に限定されない。例えば、本技術は、裸眼３Ｄディスプレイ、眼鏡型デバイスを用いる３Ｄディスプレイ（フレームシーケンシャル方式、偏光方式等）、ライトフィールドディスプレイ、映画館、視差プロジェクションマッピング等に適用されてもよい。
　また、上記実施形態では、輻輳に係る両眼視差が異なるような表示方法を決定する例を説明したが、輻輳以外の３Ｄ要素が異なるような表示方法に本技術が応用的に適用されてもよい。輻輳以外の３Ｄ要素としては、例えばＦＯＶ（Field　of　View）、パース、運動視差、焦点調節、オブジェクトの大きさの比較、ライトフィールド（ぼかし、影の表現等）が挙げられる。
　また、上記実施形態では、視覚に係る表示方法を切り替える例を説明したが、表示方法の切り替えに代えて、または加えて、他の感覚に係る方法の切り替えに本技術が適用されてもよい。例えば、モノラル、ステレオ、サラウンド等、音の提示方法が切り替えられることで、聴覚に関するユーザに与えられる負荷が軽減され得る。
　また、上記実施形態では、第二の表示方法における２のレンダリング視点の間隔が、視点とオブジェクトの間の距離に基づいて特定される例を説明したが、本技術は係る例に限定されない。例えば、認識部１０１による認識の確からしさに応じて、両眼視差の低減効果が異なるように、当該２のレンダリング視点の間隔が特定されてもよい。
　また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　仮想空間におけるオブジェクトと、視点との位置関係に基づいて、前記オブジェクトの表示方法を決定する制御部、を備え、
　決定された前記表示方法に応じて、ユーザに与えられる前記オブジェクトに係る両眼視差が異なる、情報処理装置。
（２）
　前記制御部は、前記オブジェクトと前記視点との間の距離に基づいて、前記表示方法を決定する、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記距離と閾値との比較に基づいて、前記表示方法を決定する、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記距離が前記閾値未満である場合に、前記距離が前記閾値以上である場合に決定される表示方法における前記両眼視差よりも前記両眼視差が小さくなるような表示方法を、前記表示方法として決定する、前記（３）に記載の情報処理装置。
（５）
　前記閾値は、速度、行動、アプリケーション、コンテキストのうち、少なくともいずれか一つに基づいて設定される、前記（４）に記載の情報処理装置。
（６）
　前記速度は、前記ユーザの速度、前記視点の速度、前記視点に対する前記オブジェクトの相対速度のうち、少なくともいずれか一つである、前記（５）に記載の情報処理装置。
（７）
　前記制御部は、前記視点が前記オブジェクトの内部に存在する場合と、外部に存在する場合とで、異なる表示方法を決定する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記制御部は、前記視点が前記オブジェクトの内部に存在する場合に、前記視点が前記オブジェクトの外部に存在する場合に決定される表示方法における前記両眼視差よりも前記両眼視差が小さくなるような表示方法を、前記表示方法として決定する、前記（７）に記載の情報処理装置。
（９）
　前記制御部は、さらに前記ユーザの視線情報に基づいて、前記表示方法を決定する、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記制御部は、前記ユーザが前記オブジェクトを見ていない場合に、前記ユーザが前記オブジェクトを見ている場合に決定される表示方法における前記両眼視差よりも前記両眼視差が小さくなるような表示方法を、前記表示方法として決定する、前記（９）に記載の情報処理装置。
（１１）
　前記視点の位置は、前記ユーザの位置に応じた位置である、前記（１）に記載の情報処理装置。
（１２）
　前記制御部により決定される前記表示方法は、前記視点に基づいて特定される１のレンダリング視点で前記オブジェクトをレンダリングすることを含む、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記制御部により決定される前記表示方法は、前記視点に基づいて特定される２の視点で前記オブジェクトをレンダリングすることを含む、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記制御部は、前記制御部により決定される前記表示方法に関わらず、前記ユーザの頭部運動に応じた運動視差を与えるように表示制御を行う、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記制御部は、前記制御部により決定される前記表示方法に関わらず、実空間と前記オブジェクトとの隠蔽関係が整合するように表示制御を行う、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　プロセッサが、仮想空間におけるオブジェクトと、視点との位置関係に基づいて、前記オブジェクトの表示方法を決定することを含み、
　決定された前記表示方法に応じて、ユーザに与えられる前記オブジェクトに係る両眼視差が異なる、情報処理方法。
（１７）
　コンピュータに、
　仮想空間におけるオブジェクトと、視点との位置関係に基づいて、前記オブジェクトの表示方法を決定する機能と、
　決定された前記表示方法に応じて、ユーザに与えられる前記オブジェクトに係る両眼視差が異なるように制御する機能と、
　を実現させるための、プログラム。
　　１　情報処理装置
　　１０　制御部
　　１１　通信部
　　１２　アウトカメラ
　　１３　インカメラ
　　１４　マイクロフォン
　　１５　ジャイロセンサ
　　１６　加速度センサ
　　１７　スピーカ
　　１８　表示部
　　１９　記憶部
　　１０１　認識部
　　１０３　表示制御部
　　１０５　決定部

Claims (17)

  1. 　仮想空間におけるオブジェクトと、視点との位置関係に基づいて、前記オブジェクトの表示方法を決定する制御部、を備え、
    　決定された前記表示方法に応じて、ユーザに与えられる前記オブジェクトに係る両眼視差が異なる、情報処理装置。
  2. 　前記制御部は、前記オブジェクトと前記視点との間の距離に基づいて、前記表示方法を決定する、請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記距離と閾値との比較に基づいて、前記表示方法を決定する、請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記距離が前記閾値未満である場合に、前記距離が前記閾値以上である場合に決定される表示方法における前記両眼視差よりも前記両眼視差が小さくなるような表示方法を、前記表示方法として決定する、請求項３に記載の情報処理装置。
  5. 　前記閾値は、速度、行動、アプリケーション、コンテキストのうち、少なくともいずれか一つに基づいて設定される、請求項４に記載の情報処理装置。
  6. 　前記速度は、前記ユーザの速度、前記視点の速度、前記視点に対する前記オブジェクトの相対速度のうち、少なくともいずれか一つである、請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記視点が前記オブジェクトの内部に存在する場合と、外部に存在する場合とで、異なる表示方法を決定する、請求項１に記載の情報処理装置。
  8. 　前記制御部は、前記視点が前記オブジェクトの内部に存在する場合に、前記視点が前記オブジェクトの外部に存在する場合に決定される表示方法における前記両眼視差よりも前記両眼視差が小さくなるような表示方法を、前記表示方法として決定する、請求項７に記載の情報処理装置。
  9. 　前記制御部は、さらに前記ユーザの視線情報に基づいて、前記表示方法を決定する、請求項１に記載の情報処理装置。
  10. 　前記制御部は、前記ユーザが前記オブジェクトを見ていない場合に、前記ユーザが前記オブジェクトを見ている場合に決定される表示方法における前記両眼視差よりも前記両眼視差が小さくなるような表示方法を、前記表示方法として決定する、請求項９に記載の情報処理装置。
  11. 　前記視点の位置は、前記ユーザの位置に応じた位置である、請求項１に記載の情報処理装置。
  12. 　前記制御部により決定される前記表示方法は、前記視点に基づいて特定される１のレンダリング視点で前記オブジェクトをレンダリングすることを含む、請求項１に記載の情報処理装置。
  13. 　前記制御部により決定される前記表示方法は、前記視点に基づいて特定される２の視点で前記オブジェクトをレンダリングすることを含む、請求項１に記載の情報処理装置。
  14. 　前記制御部は、前記制御部により決定される前記表示方法に関わらず、前記ユーザの頭部運動に応じた運動視差を与えるように表示制御を行う、請求項１に記載の情報処理装置。
  15. 　前記制御部は、前記制御部により決定される前記表示方法に関わらず、実空間と前記オブジェクトとの隠蔽関係が整合するように表示制御を行う、請求項１に記載の情報処理装置。
  16. 　プロセッサが、仮想空間におけるオブジェクトと、視点との位置関係に基づいて、前記オブジェクトの表示方法を決定することを含み、
    　決定された前記表示方法に応じて、ユーザに与えられる前記オブジェクトに係る両眼視差が異なる、情報処理方法。
  17. 　コンピュータに、
    　仮想空間におけるオブジェクトと、視点との位置関係に基づいて、前記オブジェクトの表示方法を決定する機能と、
    　決定された前記表示方法に応じて、ユーザに与えられる前記オブジェクトに係る両眼視差が異なるように制御する機能と、
    　を実現させるための、プログラム。
PCT/JP2017/011873 2016-05-23 2017-03-23 情報処理装置、情報処理方法、及びプログラム WO2017203818A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780030622.0A CN109313823B (zh) 2016-05-23 2017-03-23 信息处理装置、信息处理方法和计算机可读介质
EP17802420.4A EP3467791A4 (en) 2016-05-23 2017-03-23 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US16/097,471 US10834382B2 (en) 2016-05-23 2017-03-23 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-102284 2016-05-23
JP2016102284A JP2017211694A (ja) 2016-05-23 2016-05-23 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2017203818A1 true WO2017203818A1 (ja) 2017-11-30

Family

ID=60411301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/011873 WO2017203818A1 (ja) 2016-05-23 2017-03-23 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US10834382B2 (ja)
EP (1) EP3467791A4 (ja)
JP (1) JP2017211694A (ja)
CN (1) CN109313823B (ja)
WO (1) WO2017203818A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022239297A1 (ja) * 2021-05-11 2022-11-17 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11338457A (ja) * 1998-05-26 1999-12-10 Nippon Telegr & Teleph Corp <Ntt> 両眼視差式立体表示方法及び記録媒体
JP2011064894A (ja) * 2009-09-16 2011-03-31 Fujifilm Corp 立体画像表示装置
JP2011124941A (ja) * 2009-12-14 2011-06-23 Mitsubishi Electric Corp ３次元映像生成装置及び３次元映像生成方法
JP2011205358A (ja) 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
JP2012054877A (ja) * 2010-09-03 2012-03-15 Canon Inc 立体動画像再生装置及びその制御方法
JP2012141819A (ja) * 2010-12-29 2012-07-26 Nintendo Co Ltd 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置
WO2014057618A1 (ja) * 2012-10-09 2014-04-17 パナソニック株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1617684A4 (en) * 2003-04-17 2009-06-03 Sharp Kk THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
JP4393151B2 (ja) * 2003-10-01 2010-01-06 シャープ株式会社 画像データ表示装置
JP4999853B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP5355208B2 (ja) * 2009-05-01 2013-11-27 富士フイルム株式会社 ３次元表示装置及びデジタルズーム補正方法
JP5491786B2 (ja) * 2009-07-21 2014-05-14 富士フイルム株式会社 画像再生装置及び方法
JP5361618B2 (ja) * 2009-09-04 2013-12-04 キヤノン株式会社 画像処理装置及びその制御方法
JP5898842B2 (ja) * 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
EP2355526A3 (en) * 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP2011176541A (ja) * 2010-02-24 2011-09-08 Sony Corp 立体映像処理装置および方法、並びにプログラム
JP2011199389A (ja) * 2010-03-17 2011-10-06 Sony Corp 画像処理装置、画像変換方法、およびプログラム
WO2012001970A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5250598B2 (ja) * 2010-10-05 2013-07-31 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
JP5367034B2 (ja) * 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
CN102509343B (zh) * 2011-09-30 2014-06-25 北京航空航天大学 一种基于双目图像和对象轮廓的虚实遮挡处理方法
KR101872859B1 (ko) * 2012-01-20 2018-06-29 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
WO2013132601A1 (ja) * 2012-03-07 2013-09-12 富士通株式会社 立体画像表示装置及びプログラム
JP2014135714A (ja) * 2012-12-13 2014-07-24 Panasonic Corp 立体映像信号処理装置及び立体映像撮像装置
JP2014241015A (ja) * 2013-06-11 2014-12-25 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
KR102201733B1 (ko) * 2013-09-30 2021-01-12 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN104967837A (zh) * 2015-06-30 2015-10-07 西安三星电子研究有限公司 用于调整三维显示效果的设备和方法
JP6298130B2 (ja) * 2016-09-14 2018-03-20 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US20190241070A1 (en) * 2016-10-28 2019-08-08 Mitsubishi Electric Corporation Display control device and display control method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11338457A (ja) * 1998-05-26 1999-12-10 Nippon Telegr & Teleph Corp <Ntt> 両眼視差式立体表示方法及び記録媒体
JP2011064894A (ja) * 2009-09-16 2011-03-31 Fujifilm Corp 立体画像表示装置
JP2011124941A (ja) * 2009-12-14 2011-06-23 Mitsubishi Electric Corp ３次元映像生成装置及び３次元映像生成方法
JP2011205358A (ja) 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
JP2012054877A (ja) * 2010-09-03 2012-03-15 Canon Inc 立体動画像再生装置及びその制御方法
JP2012141819A (ja) * 2010-12-29 2012-07-26 Nintendo Co Ltd 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置
WO2014057618A1 (ja) * 2012-10-09 2014-04-17 パナソニック株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3467791A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022239297A1 (ja) * 2021-05-11 2022-11-17 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
US20190149811A1 (en) 2019-05-16
EP3467791A1 (en) 2019-04-10
CN109313823A (zh) 2019-02-05
EP3467791A4 (en) 2019-08-14
JP2017211694A (ja) 2017-11-30
US10834382B2 (en) 2020-11-10
CN109313823B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN110413105B (zh) 虚拟环境内的虚拟对象的有形可视化
JP6572893B2 (ja) 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
KR20210154814A (ko) 패스 쓰루 이미징을 갖는 헤드 마운트 디스플레이
WO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2017183346A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113168007A (zh) 用于增强现实的系统和方法
US9875079B1 (en) Information processing method and system for executing the information processing method
JP5996814B1 (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
WO2019013863A1 (en) VARIABLE FOCAL ABERRATION COMPENSATION FOR NEAR EYE DISPLAYS
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
JP2023139098A (ja) 画像生成装置および画像生成方法
KR102402381B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
WO2019150880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7259753B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7452434B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2017203818A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019150668A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2018216327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240012472A1 (en) Vergence based gaze matching for mixed-mode immersive telepresence application
WO2022219877A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN117452637A (zh) 头戴式显示器和图像显示方法
KR20240090602A (ko) 혼합 모드 몰입형 텔레프레즌스 애플리케이션을 위한 이향운동 기반 시선 매칭
JPH06289772A (ja) 仮想現実体験機

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17802420

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017802420

Country of ref document: EP

Effective date: 20190102