WO2013132885A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2013132885A1
WO2013132885A1 PCT/JP2013/050555 JP2013050555W WO2013132885A1 WO 2013132885 A1 WO2013132885 A1 WO 2013132885A1 JP 2013050555 W JP2013050555 W JP 2013050555W WO 2013132885 A1 WO2013132885 A1 WO 2013132885A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint position
user
information processing
viewpoint
processing apparatus
Prior art date
Application number
PCT/JP2013/050555
Other languages
English (en)
French (fr)
Inventor
智也 成田
陽方 川名
綾 高岡
大輔 廣
茜 矢野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2013132885A1 publication Critical patent/WO2013132885A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 In order to calculate the viewpoint position of the user, as shown in Patent Document 1 below, it is generally performed to detect the position of the eyes using a camera.
  • the user's viewpoint position In the method of calculating the user's viewpoint position using the image captured by the camera as described in Patent Document 1, the user's viewpoint position must be tracked by the camera. Power consumption will increase. Further, since the detection rate of the viewpoint position depends on the frame rate of the camera, high-speed detection is difficult to expect. Furthermore, while the angle of view that can be detected depends on the angle of view of the lens of the camera, it is difficult to reduce the size of a camera with a wide angle of view exceeding 90 °, and the versatility of such a camera is inferior. Therefore, it is not preferable to use a method for calculating the user's viewpoint position.
  • an information processing apparatus in view of the circumstances as described above, an information processing apparatus, an information processing method, and a program capable of specifying a user's viewpoint position while suppressing a decrease in processing load and a user's operational feeling. Propose.
  • the sensor information analysis unit that analyzes the direction of gravity based on the sensor information that is data output from the sensor and identifies the posture of the chassis, the profile relating to the preset viewpoint position of the user
  • An information processing apparatus includes a viewpoint position estimation unit that estimates a viewpoint position of a user based on the posture of the casing analyzed by the sensor information analysis unit.
  • the gravity method is analyzed based on the sensor information that is data output from the sensor, the posture of the chassis is specified, the profile relating to the preset viewpoint position of the user, and the analysis
  • an information processing method including estimating a user's viewpoint position based on the posture of the casing.
  • the sensor information analysis function for analyzing the direction of gravity based on the sensor information that is data output from the sensor and specifying the posture of the chassis, and a preset user viewpoint
  • the posture of the chassis is specified based on the sensor information output from the sensor, and based on the profile relating to the viewpoint position of the user set in advance and the analyzed posture of the chassis, The viewpoint position is estimated.
  • FIG. 3 is a block diagram illustrating a configuration of an information processing apparatus according to an embodiment of the present disclosure. It is a block diagram showing the composition of the control part with which the information processor concerning an embodiment of this indication is provided. It is explanatory drawing which showed an example of the relationship between the holding
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • FIGS. 1A to 1C are explanatory diagrams showing an example of stereoscopic content.
  • content stereoscopic content
  • display methods include phantomgrams, desktop virtual reality, fish tank virtual reality, and the like as described above.
  • FIGS. 1A to 1C schematically show the contents of content displayed on a display screen D included in a certain information processing apparatus.
  • a triangular prism object OBJ1 a female character OBJ2, and a male character OBJ3 are displayed.
  • the viewpoint direction of the user viewing the display screen D is represented by an arrow object L for convenience.
  • the display objects OBJ1, OBJ2, and OBJ3 as described above are related to each other by using a coordinate system fixed on the display screen D.
  • a triangular shape is displayed for the triangular prism object OBJ1
  • a character is displayed for the humanoid characters OBJ2 and OBJ3. Will be displayed.
  • the triangular prism object OBJ1 displays the side of the triangular prism.
  • the human characters OBJ2 and OBJ3 the whole body of the character is displayed.
  • FIG. 1C when the user views the display screen D from the diagonal direction toward the front of the display screen (the direction indicated by the object L in FIG. 1C), the view looks different from FIG. 1B.
  • Each object OBJ1, OBJ2, OBJ3 will be displayed respectively.
  • the stereoscopic display methods such as the phantomgram, the desktop virtual reality, the fish tank virtual reality, etc.
  • the viewpoint position at which the user views the display screen D On the display screen. Therefore, in these display methods, since the stereoscopic sense is increased only when the content is watched from a specific position (for example, a position 30 ° in front of the front), it is important where the user's viewpoint position exists. Become an element.
  • the viewpoint position of the user is specified while suppressing a reduction in processing load and user's operational feeling.
  • the user's viewpoint is the content so that the user can more easily view the stereoscopic content as described above.
  • the user's viewpoint is guided so as to be within an appropriate range.
  • the information processing apparatus 10 is an apparatus that can identify a user's viewpoint position while suppressing a process addition and a decrease in a user's operational feeling.
  • FIG. 2 is a block diagram illustrating a configuration of the information processing apparatus 10 according to the present embodiment.
  • Examples of the information processing apparatus 10 according to the present embodiment include portable devices such as a digital camera, a smartphone, and a tablet, and devices that can perform stereoscopic imaging.
  • portable devices such as a digital camera, a smartphone, and a tablet
  • devices that can perform stereoscopic imaging are portable devices.
  • the information processing apparatus 10 according to the present embodiment is a smartphone or a tablet will be described as an example.
  • the information processing apparatus 10 mainly includes a control unit 101, a sensor 103, and a storage unit 105, as shown in FIG. Further, the information processing apparatus 10 according to the present embodiment may further include an imaging unit 107.
  • the control unit 101 is realized by, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the control unit 101 is a processing unit that performs execution control of various processes that can be executed by the information processing apparatus 10 according to the present embodiment. The configuration of the control unit 101 will be described in detail later.
  • the sensor 103 measures acceleration acting on the information processing apparatus 10 according to the present embodiment.
  • a triaxial acceleration sensor including an acceleration sensor, a gravity detection sensor, and the like can be given.
  • the sensor 103 measures acceleration at a predetermined rate under the control of the control unit 101, and outputs data indicating the measurement result (hereinafter also referred to as sensor information) to the control unit 101.
  • the sensor 103 may store the obtained sensor information in the storage unit 105 or the like described later.
  • the storage unit 105 is realized by a RAM, a storage device, or the like provided in the information processing apparatus 10 according to the present embodiment.
  • the storage unit 105 stores various types of data used for various types of processing executed by the control unit 101, various types of databases, lookup tables, and the like.
  • the storage unit 105 implements measurement data measured by the sensor 103 according to the present embodiment, actual data of a captured image captured by the imaging unit 107 described later, and the control unit 101 according to the present embodiment.
  • Various programs, parameters, data, and the like used for processing may be recorded.
  • the storage unit 105 needs to store various contents that can be executed by the information processing apparatus 10 according to the present embodiment and when the information processing apparatus 10 performs some processing. It is possible to appropriately store various parameters and the progress of processing.
  • the storage unit 105 can be freely accessed by each processing unit such as the control unit 101, the sensor 103, and the imaging unit 107 to write and read data.
  • the imaging unit 107 is realized by a camera externally connected to the information processing apparatus 10 or a camera built in the information processing apparatus 10.
  • the imaging unit 107 captures a captured image including the face of the user of the information processing apparatus 10 at a predetermined frame rate under the control of the control unit 101, and outputs the obtained captured image data to the control unit 101. To do.
  • the imaging unit 107 may store the obtained captured image data in the storage unit 105 or the like.
  • the information processing apparatus 10 has various known functions for performing the function according to various functions provided to the user by the information processing apparatus 10. You may have a processing part.
  • FIG. 3 is a block diagram illustrating a configuration of the control unit 101 included in the information processing apparatus according to the present embodiment.
  • the control unit 101 mainly includes an overall control unit 111, a user viewpoint position specifying unit 113, and a display control unit 115, as shown in FIG.
  • the overall control unit 111 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the overall control unit 111 is a processing unit that performs overall control of various processes performed by the information processing apparatus 10 according to the present embodiment. Under the control of the overall control unit 111, the processing units included in the information processing apparatus 10 according to the present embodiment can implement various processes while cooperating with each other as necessary.
  • the user viewpoint position specifying unit 113 is realized by a CPU, a ROM, a RAM, and the like, for example.
  • the user viewpoint position specifying unit 113 uses sensor information generated by the sensor 103 included in the information processing apparatus 10, and the attitude of the information processing apparatus 10 (attitude realized by being held by the user).
  • the viewpoint position of the user is specified based on the above.
  • the user viewpoint position specifying unit 113 may estimate the user's viewpoint position each time sensor information is output from the sensor 103, and estimates the user's viewpoint position at a predetermined cycle different from the sensor information output rate. May be.
  • viewpoint position information Information indicating the viewpoint position of the user specified by the user viewpoint position specifying unit 113 (hereinafter also referred to as viewpoint position information) is output to the overall control unit 111 and the display control unit 113 described later, and these processes are performed. It is used for various processes performed in the department.
  • the display control unit 115 is realized by, for example, a CPU, a ROM, a RAM, an output device, and the like.
  • the display control unit 115 performs display screen display control on a display device such as a display included in the information processing device 10 or a display device such as a display provided outside the information processing device 10 that can communicate with the information processing device 10. Do.
  • the display control unit 115 executes the content stored in the storage unit 105 or the like, and displays the content content on the display screen.
  • the display control unit 115 applies, for example, a well-known image perspective transformation technique that produces the same effect as tilt-shift shooting of a camera lens when executing stereoscopic content such as that shown in FIGS. 1A to 1C. be able to.
  • the display control unit 115 controls the display screen, for example, various information that can be browsed by the user is displayed on the display screen of the information processing apparatus 10.
  • FIG. 4 is an explanatory diagram showing an example of the relationship between the holding state of the information processing apparatus and the viewpoint position.
  • the user holds the information processing apparatus 10 using his / her hand H, so that the relative position between the viewpoint E and the display screen D can be increased.
  • the positional relationship and the distance L between the viewpoint E and the display screen D change.
  • the user viewpoint position specifying unit 113 samples in advance what kind of posture the information processing device 10 will be in the holding state of the general information processing device 10, and such posture Is set as reference posture information.
  • this reference posture information a relative positional relationship between a general viewpoint E and the display screen D and a reference value of a distance L between the viewpoint E and the display screen D are associated as reference information. Yes.
  • the user viewpoint position specifying unit 113 specifies the posture of the information processing apparatus 10 based on the sensor information, extracts one or more reference posture states close to the specified posture, and based on the extracted reference posture state, Identify the location.
  • FIG. 5 is an explanatory diagram showing an example of a coordinate system used for explanation in the present embodiment.
  • a coordinate system in which the display screen D is the xy plane and the normal direction of the display screen D is the z-axis positive direction is employed for convenience.
  • objects (objects as shown in FIGS. 1A to 1C) included in the content are based on a coordinate system unique to the apparatus as shown in FIG. It shall be displayed.
  • FIG. 6 is a block diagram showing a configuration of the user viewpoint position specifying unit 113 according to the present embodiment.
  • the user viewpoint position specifying unit 113 according to the present embodiment includes a sensor information acquisition unit 151, a captured image acquisition unit 15, a sensor information analysis unit 155, and a viewpoint position estimation unit 157. Prepare mainly.
  • the sensor information acquisition unit 151 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the sensor information acquisition unit 151 acquires sensor information generated by the sensor 103 included in the information processing apparatus 10 and transmits the sensor information to a sensor information analysis unit 155 described later.
  • the sensor information acquisition unit 151 may associate time information indicating the date and time when the sensor information is acquired with the acquired sensor information, and store the information in the storage unit 105 or the like as history information.
  • the captured image acquisition unit 153 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like. For example, when there is a captured image including the vicinity of the user's face generated by the imaging unit 107 included in the information processing apparatus 10, the captured image acquisition unit 153 acquires the captured image and estimates a viewpoint position to be described later. To the unit 157. The captured image acquisition unit 153 may associate the acquired captured image data with time information indicating the date and time when the data is acquired and store the acquired data as history information in the storage unit 105 or the like.
  • the sensor information analysis unit 155 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the sensor information analysis unit 155 analyzes the direction of gravity (gravity direction) acting on the information processing device 10 based on the sensor information transmitted from the sensor information acquisition unit 151, and the posture of the information processing device 10 (information processing device). 10 frame postures).
  • FIGS. 7A and 7B are explanatory diagrams showing angles representing the holding state of the information processing apparatus 10.
  • the rotation amount when the information processing apparatus 10 rotates around the y-axis shown in FIG. It shall be expressed as Further, as shown in FIG. 7B, in this embodiment, the rotation amount when the information processing apparatus 10 rotates around the z-axis shown in FIG. 5 is represented by a yaw angle ⁇ .
  • the pitch angle ⁇ represents the rotation angle when the information processing apparatus 10 rotates in the vertical direction
  • the yaw angle ⁇ represents the rotation angle when the information processing apparatus 10 rotates in the left-right direction. Yes.
  • the sensor information analysis unit 155 pays attention to the gravity component in the y-axis direction and the gravity component in the z-axis direction in the acquired sensor information, and the yz plane defined from the y-axis direction component and the z-axis direction component.
  • the angle ⁇ of the vector at ie, the direction of gravity
  • This angle ⁇ corresponds to the pitch angle ⁇ shown in FIG. 7A.
  • the sensor information analysis unit 155 pays attention to the gravity component in the x-axis direction and the gravity component in the z-axis direction in the acquired sensor information, and defines from the x-axis direction component and the z-axis direction component.
  • the angle ⁇ of the vector (that is, the direction of gravity) on the xz plane to be calculated is calculated. This angle ⁇ corresponds to the yaw angle ⁇ shown in FIG. 7B.
  • angle information information about the calculated angles (hereinafter also referred to as angle information) is a viewpoint position described later. It outputs to the estimation part 157.
  • the sensor information analysis unit 155 may associate the calculated angle information with time information indicating the date and time when the angle information is acquired, and store it in the storage unit 105 or the like as history information.
  • the viewpoint position estimation unit 157 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the viewpoint position estimation unit 157 estimates the user's viewpoint position based on a preset profile related to the user's viewpoint position and the posture of the chassis analyzed by the sensor information analysis unit 155.
  • the holding state of the general information processing apparatus 10 is classified into several types in advance as described above.
  • the posture (pitch angle) of the chassis when moved to an angle and the chassis and the user's viewpoint position at that time are associated with each other.
  • Such prior information is stored in advance in the storage unit 105 and the like, and is used as reference posture information, that is, a profile, in the viewpoint position estimation unit 157.
  • FIG. 8 is an explanatory diagram for explaining the viewpoint position of the user
  • FIG. 9 is an explanatory diagram showing an example of a profile used in the viewpoint position estimation unit 157 according to the present embodiment.
  • the holding state by the user of the information processing apparatus 10 is classified into a plurality of states such as an upright holding state, an upward looking state, a lying state, and the like. is doing.
  • the holding state illustrated in FIG. 9 is merely an example, and is not limited to the holding state illustrated in FIG. 9, and further, various possible states such as a state of lying down are set. Can do.
  • the user's viewpoint direction (angle ⁇ : unit deg. In FIG. 8) and the user's viewpoint direction (that is, the calculated pitch angle ⁇ ) are set.
  • the distance d (unit: mm) between the viewpoint and the display screen is associated with each other.
  • a plurality of postures of the housing are set at predetermined angular intervals (30 ° intervals in FIG. 9) within a range of 0 ° to 180 ° for each holding state.
  • the angle interval is not limited to the example shown in FIG. 8, and may be set, for example, in increments of 10 °, depending on the required estimation accuracy, resources available in the apparatus, and the like. It may be set at a fine angle.
  • FIGS. 10A to 10C show examples of profiles in the upright holding state (that is, the state where the information processing apparatus 10 is held while the user is upright).
  • the angle ⁇ is defined as an angle formed by the viewpoint direction and the z axis.
  • 11A to 11C show examples of profiles corresponding to the case where the user is looking into the information processing apparatus 10 from above.
  • 12A to 12C show examples of profiles corresponding to the case where the user holds the information processing apparatus 10 lying on his back.
  • the angle ⁇ is defined as an angle formed by the viewpoint direction and the z axis.
  • the viewpoint position estimation unit 157 can estimate the user's viewpoint position using only the output from the acceleration sensor based on the knowledge (profile) obtained by such a prior sampling process. .
  • the viewpoint position estimation unit 157 first identifies the angle ⁇ representing the posture of the chassis as illustrated in FIG. 8 by referring to the angle information output from the sensor information analysis unit 155. Subsequently, the viewpoint position estimation unit 157 refers to the profile shown in FIG. 9 and acquires one or a plurality of ones that are closest to the obtained angle ⁇ or have values near the angle ⁇ , and correspondingly. Specify viewpoint direction and distance. In addition, when a nearby object is acquired, complementing processing may be performed by using several pieces of close data, and the obtained viewpoint direction and distance may be supplemented. By such processing, the viewpoint position estimation unit 157 can specify the user's line-of-sight direction ⁇ shown in FIG. 8, for example.
  • the viewpoint position estimation unit 157 identifies the magnitude of the yaw angle ⁇ by referring to the angle information output from the sensor information analysis unit 155. Subsequently, the viewpoint position estimation unit 157 rotates the identified user's line-of-sight direction ⁇ by ⁇ using the obtained angle ⁇ . Thus, the viewpoint position estimation unit 157 can estimate the final user's line-of-sight direction and viewpoint position.
  • the viewpoint position estimation unit 157 may block the continued processing when the obtained angle ⁇ is in an inappropriate range in the profile. Thereby, it becomes possible to prevent an erroneous reaction and an erroneous operation.
  • the information processing apparatus 10 can take measures such as stopping the updating of the viewpoint position to be displayed or returning to the front front viewpoint.
  • the viewpoint position estimation unit 157 outputs information (viewpoint position information) on the user's viewpoint position obtained in this way to the display control unit 115, for example.
  • the display control unit 115 can control display of stereoscopic content, for example, with reference to the notified viewpoint position information.
  • the viewpoint position estimation unit 157 estimates the user's viewpoint position by referring only to the sensor information.
  • the viewpoint position estimation unit 157 can use the captured image captured by the imaging unit 107, the viewpoint position of the user can be estimated more accurately by using the method described below. It becomes possible.
  • FIG. 13 is an explanatory diagram for describing viewpoint position estimation processing when a captured image is used together.
  • the holding posture of the information processing apparatus 10 by the user is expected to change remarkably, especially when the information processing apparatus 10 is realized as a mobile terminal.
  • the display manner is uncomfortable due to a change in the posture of the user.
  • the position of the user's eyes is detected by a camera connected to or built in the information processing apparatus, and based on the position of the eyes and the distance between both eyes, It is conceivable to roughly calculate the absolute positional relationship between the display screen and the user.
  • the angle of view of the camera is often smaller than the angle at which the viewpoint is viewed, the calculation process of the distance and the like is complicated, and the frame rate of the camera is inferior to the sensing rate of the acceleration sensor.
  • the viewpoint position estimation unit 157 in addition to the posture change detection at a high rate (for example, 60 Hz or more) by the acceleration sensor, an image captured by the camera at a regular low rate (for example, several Hz or less). Calibration of the viewpoint position using may be performed.
  • a high rate for example, 60 Hz or more
  • a regular low rate for example, several Hz or less
  • the viewpoint position estimation unit 157 first calculates the user's viewpoint position by a known method using the captured image captured by the camera (S1). . After that, the viewpoint position estimation unit 157 does not use the absolute viewpoint position calculated based on the captured image as the user's viewpoint position for processing, but for selecting the profile as described above (S2). .
  • the viewpoint position estimation unit 157 detects the posture of the chassis based on the sensor information from the acceleration sensor (S3), and estimates the viewpoint position of the user based on the profile selected using the captured image (S4). It becomes.
  • the feedback to the user's operation is based on the value estimated by the acceleration sensor, and is not affected by the detectable angular range and the decrease in the frame rate.
  • the feedback to the user with a high frame rate can be realized.
  • the body position ⁇ is obtained based on the sensor information by the viewpoint position estimation unit 157, and the user's viewpoint direction ⁇ and the viewpoint up to the viewpoint by a known method based on the captured image. It is assumed that the distance d is calculated.
  • the body posture of the profile is expressed as ⁇ p , the viewpoint direction as ⁇ p , and the viewpoint distance as d p .
  • the viewpoint position estimation unit 157 calculates the difference D ⁇ by, for example, the following equation 101 for ⁇ p of each profile that minimizes
  • k is a certain constant.
  • the profile having the minimum value of D ⁇ obtained for each profile is a candidate profile to be selected.
  • the viewpoint position estimation unit 157 selects the corresponding profile as an application profile in a state of interest.
  • the body posture is detected as 60 °.
  • the viewpoint position estimation unit 157 performs an upright holding state in which D 60 is minimized in light of Equation 101 above. Select as the profile to be used.
  • the viewpoint position estimation unit 157 shows information on the user viewpoint position calculated based on the captured image as shown in FIG. You may use for the update of such a profile.
  • the viewpoint distance d is often a value unique to the user in accordance with the physical characteristics of the user. Therefore, when the viewpoint position is stably detected by the camera and the profile is stably selected, the viewpoint distance d possessed by the profile may be updated as needed with the viewpoint distance obtained by the camera.
  • it is possible to create a profile suitable for each user and it is possible to estimate a viewpoint position with higher accuracy by using a profile specialized for each user. Note that it is preferable not to update the profile when the viewpoint direction based on the captured image is not detected.
  • the amount of rotation of the housing exceeds a predetermined range, or the calculated viewpoint position exceeds a predetermined threshold.
  • the user's absolute viewpoint position is calculated using the captured image obtained by the camera, and the current profile of the information processing device is also used to obtain the closest profile. It is also possible to select.
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • a computer program for realizing each function of the information processing apparatus according to the present embodiment as described above can be produced and installed in a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • FIG. 14 is a flowchart illustrating an example of the flow of the information processing method according to the present embodiment.
  • the sensor information acquisition unit 151 of the user viewpoint position specifying unit 113 acquires the sensor information output from the sensor 103 (step S101), and then proceeds to the sensor information analysis unit 155. To transmit.
  • the sensor information analysis unit 155 analyzes the acquired sensor information (step S103), specifies the posture of the chassis, and outputs the obtained result to the viewpoint position estimation unit 157 as angle information.
  • the viewpoint position estimation unit 157 uses the angle information output from the sensor information analysis unit 157 to select a profile to be used for estimating the user's viewpoint position from a plurality of preset profiles. (Step S105). Thereafter, the viewpoint position estimation unit 157 estimates the user's viewpoint position using the selected profile and the angle information output from the sensor information analysis unit 157 (step S107). When the viewpoint position estimation unit 157 estimates the viewpoint position of the user, the viewpoint position estimation unit 157 outputs the obtained estimation result to the display control unit 115.
  • the display control unit 115 controls display contents to be displayed on the display screen based on the viewpoint position information regarding the user's viewpoint position output from the viewpoint position estimation unit 157 (step S109). Thereby, display control according to the user's viewpoint position is realized.
  • the display control unit 115 determines whether or not an operation for ending the display of content or the like has been performed (step S111).
  • the user viewpoint position specifying unit 113 returns to step S101 and continues the process. Further, when an operation for ending the process is performed by the user, the user viewpoint position specifying unit 113 ends the user viewpoint position estimation process.
  • the information processing apparatus 10 uses only the attitude information of the information processing apparatus when estimating the viewpoint position of the user. Therefore, although a strict viewpoint position that can be dealt with when only the user's head is moved is not possible, the processing is lighter than performing strict viewpoint position detection, and high-speed feedback can be presented. As a result, the user has a good feeling of operating the information processing apparatus 10 and has a feature that it is difficult for the user to feel uncomfortable feeling that the strict viewpoint position detection is not performed. Further, since the movable range of the sensor is very wide, the user can operate the information processing apparatus 10 within a free range.
  • the viewpoint of the user is the content so that the user can more easily view the stereoscopic content as described above.
  • the user's viewpoint is guided so as to be within an appropriate range.
  • the overall configuration of the information processing apparatus 10 according to the present embodiment is the same as that of the information processing apparatus 10 according to the first embodiment illustrated in FIG. 2, and the control unit 101 included in the information processing apparatus 10 according to the present embodiment.
  • This configuration is also the same as that of the information processing apparatus 10 according to the first embodiment shown in FIG. Therefore, detailed description is omitted below.
  • the user viewpoint position specifying unit 113 included in the information processing apparatus 10 performs the process of specifying the user viewpoint position using the sensor information as described in the first embodiment.
  • a known process of calculating the user's viewpoint position from the distance or size between both eyes using a captured image obtained by capturing a part including the user's face may be performed.
  • FIG. 15 is a block diagram illustrating a configuration of the display control unit 115 included in the information processing apparatus 10 according to the present embodiment.
  • the display control unit 115 according to the present embodiment mainly includes a viewpoint position determination unit 201, an object display control unit 203, and a content display control unit 205.
  • the viewpoint position determination unit 201 is realized by, for example, a CPU, a ROM, a RAM, and the like. The viewpoint position determination unit 201 determines whether the viewpoint position of the user is included in the viewpoint position range suitable for the content based on the viewpoint position information that is output from the user viewpoint position specifying unit 113 and represents the viewpoint position of the user. .
  • the content (for example, stereoscopic content) executed by the information processing apparatus 10 according to the present embodiment is associated with information related to a range of viewpoint positions preferable for viewing the content as metadata.
  • the viewpoint position range can be defined by, for example, polar coordinate display based on the display screen.
  • the method of specifying the viewpoint position range using the polar coordinate display is not particularly limited, but for example, the pitch angle ⁇ and the yaw angle ⁇ as shown in FIG. 7A and FIG. 7B, as shown in FIG.
  • a preferable viewpoint position range can be defined by using a distance d to a proper viewpoint.
  • the viewpoint position determination unit 201 executes content with the overall control unit 111 and, when the overall control unit 111 requests display control of the content, refers to the metadata associated with the content and Information on a preferred viewpoint position range is acquired. Thereafter, the viewpoint position determination unit 201 refers to the parameter representing the viewpoint position included in the viewpoint position information output from the user viewpoint position specifying unit 113, and the viewpoint position corresponding to the viewpoint position information is within the preferable viewpoint position range. It is determined whether or not it is included.
  • the viewpoint position determination unit 201 When the viewpoint position corresponding to the viewpoint position information is not included in the preferable viewpoint position range, the viewpoint position determination unit 201 requests the object display control unit 203 described later to perform display control of the viewpoint guidance object.
  • the viewpoint position determination unit 201 also includes the viewpoint position information output from the user viewpoint position specifying unit 113 or the amount of deviation from the preferred viewpoint position range of the user viewpoint position (the amount of deviation including the amount of deviation and the direction of deviation). ) Is preferably transmitted to the object display control unit 203.
  • the viewpoint position determination unit 201 requests the content display control unit 205 described later to perform content display control.
  • the viewpoint position determination unit 201 performs the above determination process based on the viewpoint position information transmitted to the viewpoint position determination unit 201. Therefore, when the viewpoint position of the user that was not included in the preferable viewpoint position range is included in the preferable viewpoint position range with time, the content displayed on the display screen is changed from the viewpoint guiding object to the content. Will be switched.
  • the object display control unit 203 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the object display control unit 203 displays a viewpoint guidance object that guides the user's viewpoint to the preferred viewpoint position range when the viewpoint position of the user is not included in the viewpoint position range (preferable viewpoint position range) suitable for the content. Perform display control.
  • the shape of the viewpoint guidance object displayed on the display screen by the object display control unit 203 is not particularly limited, and any shape can be used as long as it can prompt the user to move the viewpoint without imposing a load on the user. It is possible to use things.
  • a viewpoint guidance object may be, for example, an arrow object that suggests a correct viewpoint direction, or an arbitrary object that is displayed correctly only when the correct viewpoint position is reached.
  • the object display control unit 203 refers to at least one of the viewpoint position information transmitted from the viewpoint position determination unit 201 and the information on the amount of deviation from the preferable viewpoint position range of the user viewpoint position, Controls the display format of the guidance object.
  • the object display control unit 203 preferably changes the display of the viewpoint guidance object in accordance with the time transition of the user's viewpoint position corresponding to the viewpoint position information.
  • the object display control unit 203 may display text for guiding the user in accordance with the viewpoint guiding object.
  • the content display control unit 205 is realized by, for example, a CPU, a ROM, a RAM, and the like. For example, the content display control unit 205 performs display control when displaying the content corresponding to the content executed by the overall processing unit 111 on the display screen. The content display control unit 205 performs content display control, so that the user can browse various contents such as stereoscopic content.
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • a computer program for realizing each function of the information processing apparatus according to the present embodiment as described above can be produced and installed in a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • FIG. 16 is an explanatory diagram illustrating display control in the information processing apparatus according to the present embodiment
  • FIGS. 17A to 21B are explanatory diagrams illustrating an example of a viewpoint guidance object according to the present embodiment.
  • a space B partitioned by the walls W1, W2, and W3 is displayed on the display screen D, and a triangular prism object OBJ1 is displayed in the space B.
  • OBJ1 a triangular prism object
  • the determination result by the viewpoint position determination unit 201 is sent to the content display control unit 205. Is output. As a result, the content as shown in FIG. 16 is displayed on the display screen D under display control by the content display control unit 205.
  • the determination result by the viewpoint position determination unit 201 is output to the object display control unit 203.
  • the triangular prism object OBJ1 as shown in FIG. 16 is not displayed on the display screen D, and the viewpoint guiding object as shown in FIGS. 17A to 21B is controlled under the control of the object display control unit 203. Will be displayed.
  • FIG. 17A and FIG. 17B show examples of viewpoint guidance objects that are displayed when it is desired to guide the user's viewpoint position to the left side of the current position.
  • an arrow object A indicating the direction of the viewpoint is displayed as the viewpoint guidance object.
  • rectangular objects G1 to G3 are displayed as the viewpoint guidance objects.
  • the rectangular objects G1 to G3 are objects that are displayed so that a plurality of rectangles appear to be integrated as the viewpoint position of the user approaches a preferable range.
  • FIGS. 18A and 18B show examples of viewpoint guiding objects that are displayed when the viewpoint position is to be guided to the right side from the current position.
  • FIGS. 19A and 19B show the viewpoint position lower than the current position. The example of the viewpoint guidance object displayed when it wants to guide to is shown.
  • 20A and 20B show examples of viewpoint guidance objects that are displayed when it is desired to guide the viewpoint position upward from the current position.
  • such a viewpoint guiding object is displayed on the display screen, so that the user can confirm that the current viewpoint position is not included in the preferable viewpoint position range corresponding to the content. It becomes possible to grasp easily. Furthermore, the user can easily grasp in which direction the viewpoint should be moved by referring to such a viewpoint guiding object. Further, when an arrow object as shown in FIG. 17A is displayed as the viewpoint guidance object, the amount of movement of the viewpoint can be shown to the user by associating the length of the arrow with the amount of deviation. The convenience can be further improved.
  • the object display control unit 203 may display a text T for guiding the user in addition to the viewpoint guiding object.
  • viewpoint guidance objects disappear from the display screen when the user's viewpoint position falls within the preferred viewpoint position range, and the content content is displayed.
  • the method for erasing the viewpoint guiding object and text is not particularly limited, and may be faded out in accordance with the fade-in of the content, or may disappear instantaneously from the display screen.
  • a viewpoint guiding object may be displayed instead of the content.
  • the display control processing by the display control unit 115 according to the present embodiment has been specifically described above with reference to FIGS. 16 to 21B.
  • FIG. 22 is a flowchart illustrating an example of the flow of the information processing method according to the present embodiment.
  • the viewpoint position determination unit 201 acquires the viewpoint position information output from the user viewpoint position specifying unit 113 (step S201), and based on the acquired viewpoint position information. Then, it is determined whether or not the viewpoint position is included in a preferable viewpoint position range (step S203).
  • step S205 when the viewpoint corresponding to the viewpoint position information is included in the preferable viewpoint position range, this is notified to the content display control unit 205, and the content is controlled under the control of the content display control unit 205. It is displayed on the display screen (step S205).
  • the viewpoint corresponding to the viewpoint position information is not included in the preferable viewpoint position range, the fact is notified to the object display control unit 203, and the viewpoint guidance is controlled under the control of the object display control unit 203.
  • the object is displayed on the display screen (step S207). Thereafter, the display control unit 115 returns to step S201 and continues the process.
  • a user's viewpoint is preferable regardless of the type of content by associating a preferable viewing range as metadata with content entity data for each content. You can be guided to the viewing range.
  • the viewpoint position adjustment by the user himself / herself becomes easy and the load on the user is small.
  • the user can easily view stereoscopic content and can also cope with stereoscopic content such as a phantomgram, which has a slightly advanced browsing method.
  • stereoscopic content such as a phantomgram
  • FIG. 23 is a block diagram for explaining a hardware configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 mainly includes a CPU 901, a ROM 903, and a RAM 905.
  • the information processing apparatus 10 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, a sensor 914, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • a host bus 907 mainly includes a CPU 901, a ROM 903, and a RAM 905.
  • the information processing apparatus 10 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, a sensor 914, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 10 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the sensor 914 is a detection unit such as a sensor that detects a user's movement or a sensor that acquires information indicating the current position.
  • a motion sensor such as a three-axis acceleration sensor including an acceleration sensor, a gravity detection sensor, a fall detection sensor, an angular velocity sensor, a camera shake correction sensor, a geomagnetic sensor, a GPS sensor, and the like.
  • the sensor 914 may include various measuring devices such as a thermometer, an illuminometer, and a hygrometer in addition to the above-described ones.
  • the input device 915 is an operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever. Further, the input device 915 may be, for example, remote control means (so-called remote controller) using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA corresponding to the operation of the information processing device 10. 929 may be used. Furthermore, the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example. The user of the information processing apparatus 10 can input various data and instruct a processing operation to the information processing apparatus 10 by operating the input device 915.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and display devices such as lamps, audio output devices such as speakers and headphones, printer devices, mobile phones, and facsimiles.
  • the output device 917 outputs results obtained by various processes performed by the information processing apparatus 10. Specifically, the display device displays results obtained by various processes performed by the information processing device 10 as text or images.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for the recording medium, and is built in or externally attached to the information processing apparatus 10.
  • the drive 921 reads information recorded on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 921 can write a record on a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray medium, or the like.
  • the removable recording medium 927 may be a compact flash (registered trademark) (CompactFlash: CF), a flash memory, or an SD memory card (Secure Digital memory card). Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • CompactFlash CompactFlash: CF
  • flash memory a flash memory
  • SD memory card Secure Digital memory card
  • the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (High-Definition Multimedia Interface) port, and the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication network 931 connected to the communication device 925 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a sensor information analysis unit that analyzes the direction of gravity based on sensor information that is data output from the sensor and identifies the posture of the housing
  • a viewpoint position estimation unit that estimates a user's viewpoint position based on a preset profile relating to the viewpoint position of the user and the posture of the housing analyzed by the sensor information analysis unit
  • An information processing apparatus comprising: (2) In the profile, the holding state of the housing by the user, the angle formed by the housing with the horizontal plane in the holding state, and the reference viewpoint position of the user are associated with each other.
  • the viewpoint position estimation unit Identify the angle formed by the housing with the horizontal plane based on the analyzed direction of gravity, and select the profile corresponding to the holding state of the housing suitable for the identified angle from the plurality of profiles,
  • the information processing apparatus according to (1) wherein the viewpoint position of the user is estimated in accordance with a reference viewpoint position of the user associated with the selected profile.
  • the viewpoint position estimation unit Using the captured image obtained by capturing the user's face with the camera, the user's viewpoint position is calculated according to the position of both eyes of the user and the distance between the eyes, The information processing apparatus according to (2), wherein the suitable profile is selected from the plurality of profiles based on a user viewpoint position calculated instead of an angle formed with the horizontal plane.

Abstract

【課題】処理負荷及びユーザの操作感の低下を抑制しつつ、ユーザの視点位置を特定することが可能な、情報処理装置、情報処理方法及びプログラムを提案すること。 【解決手段】本開示に係る情報処理装置は、センサから出力されたデータであるセンサ情報に基づいて重力方向を解析し、筺体の姿勢を特定するセンサ情報解析部と、予め設定されているユーザの視点位置に関するプロファイルと、前記センサ情報解析部により解析された前記筺体の姿勢と、に基づいて、ユーザの視点位置を推定する視点位置推定部と、を備える。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　近年、人間の両眼視差を利用して、ユーザに物体を立体的に感知させることが可能なディスプレイ等が開発されるようになってきている。このような立体視ディスプレイでは、ディスプレイを注視する際の視点位置が制約されるものが多い。特に、ファントグラム（ｐｈａｎｔｏｇｒａｍ）、デスクトップ・バーチャルリアリティ（Ｄｅｓｋｔｏｐ　ＶＲ）、フィッシュタンク・バーチャルリアリティ（Ｆｉｓｈｔａｎｋ　ＶＲ）と呼ばれるような、立体的な３Ｄ表示を画面の正面から行うのではなく、視点位置をオフセットして閲覧する閲覧方法では、ある特定の位置からコンテンツを注視した場合のみ立体感覚が増長されるため、ユーザの視点位置が重要な要素となる。
　ここで、ユーザの視点位置を算出するためには、下記の特許文献１に示したように、カメラを用いて目の位置を検出することが一般的に行われている。
特開２０１０－１２２８７９号公報
　しかしながら、上記特許文献１に記載されているような、カメラにより撮像された画像を利用してユーザの視点位置を算出する方法では、ユーザの視点位置をカメラにより追尾しなくてはならないため、カメラの消費電力が大きくなってしまう。また、視点位置の検出レートがカメラのフレームレートに依存するため、高速な検出は期待しにくい。更に、検出できる画角がカメラのレンズの画角に依存する一方で、９０°を超えるような広い画角のカメラの小型化は難しく、そうしたカメラの汎用性も劣るため、カメラのみを利用して、ユーザの視点位置を算出する方法を用いることは好ましくない。
　一方、ユーザの視点位置を厳密には計算せずに、加速度センサやジャイロセンサを用いて、端末の姿勢の変化から疑似的な運動視差を生成する方法も存在する。この方法は、端末の姿勢の変化が発生した際に、姿勢の変化に対応する視点位置の変化を疑似的に逆算し、得られた視点位置から見た情報を画面に提示する。その後、絶対的な一定時間の経過とともに視点位置が画面正面に正対するように戻すか、姿勢変化がある一定の端まで行った際に、到達位置で視点の変化を止め、逆の姿勢変化の操作によって視点位置を正面に戻すようなことが行われている。これによって、疑似的な運送視差のようなものは瞬間的に得られるものの、操作の違和感が大きく、操作感が損なわれてしまう。
　そこで、本開示では、以上のような事情に鑑みて、処理負荷及びユーザの操作感の低下を抑制しつつ、ユーザの視点位置を特定することが可能な、情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、センサから出力されたデータであるセンサ情報に基づいて重力方向を解析し、筺体の姿勢を特定するセンサ情報解析部と、予め設定されているユーザの視点位置に関するプロファイルと、前記センサ情報解析部により解析された前記前記筺体の姿勢と、に基づいて、ユーザの視点位置を推定する視点位置推定部と、を備える情報処理装置が提供される。
　また、本開示によれば、センサから出力されたデータであるセンサ情報に基づいて重力方法を解析し、筺体の姿勢を特定することと、予め設定されているユーザの視点位置に関するプロファイルと、解析された前記前記筺体の姿勢と、に基づいて、ユーザの視点位置を推定することと、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータに、センサから出力されたデータであるセンサ情報に基づいて重力方向を解析し、筺体の姿勢を特定するセンサ情報解析機能と、予め設定されているユーザの視点位置に関するプロファイルと、前記センサ情報解析機能により解析された前記前記筺体の姿勢と、に基づいて、ユーザの視点位置を推定する視点位置推定機能と、を実現させるためのプログラムが提供される。
　本開示によれば、センサから出力されたセンサ情報に基づいて筺体の姿勢が特定され、予め設定されているユーザの視点位置に関するプロファイルと、解析された筺体の姿勢と、に基づいて、ユーザの視点位置が推定される。
　以上説明したように本開示によれば、処理負荷及びユーザの操作感の低下を抑制しつつ、ユーザの視点位置を特定することができる。
立体視コンテンツの一例を示した説明図である。 立体視コンテンツの一例を示した説明図である。 立体視コンテンツの一例を示した説明図である。 本開示の実施形態に係る情報処理装置の構成を示したブロック図である。 本開示の実施形態に係る情報処理装置が備える制御部の構成を示したブロック図である。 情報処理装置の保持状態と視点位置との関係の一例を示した説明図である。 本開示で利用する座標系の一例について示した説明図である。 本開示の第１の実施形態に係る制御部が備えるユーザ視点位置特定部の構成を示したブロック図である。 情報処理装置の保持状態を表す角度について示した説明図である。 情報処理装置の保持状態を表す角度について示した説明図である。 同実施形態に係るプロファイルの一例について示した説明図である。 ユーザの視点位置について説明するための説明図である。 同実施形態に係るプロファイルについて説明するための説明図である。 同実施形態に係るプロファイルについて説明するための説明図である。 同実施形態に係るプロファイルについて説明するための説明図である。 同実施形態に係るプロファイルについて説明するための説明図である。 同実施形態に係るプロファイルについて説明するための説明図である。 同実施形態に係るプロファイルについて説明するための説明図である。 同実施形態に係るプロファイルについて説明するための説明図である。 同実施形態に係るプロファイルについて説明するための説明図である。 同実施形態に係るプロファイルについて説明するための説明図である。 撮像画像をあわせて用いる場合の視点位置の推定処理について説明するための説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の第２の実施形態に係る情報処理装置が備える表示制御部の構成を示したブロック図である。 同実施形態に係る情報処理装置における表示制御を示した説明図である。 同実施形態に係る視点誘導オブジェクトの一例について示した説明図である。 同実施形態に係る視点誘導オブジェクトの一例について示した説明図である。 同実施形態に係る視点誘導オブジェクトの一例について示した説明図である。 同実施形態に係る視点誘導オブジェクトの一例について示した説明図である。 同実施形態に係る視点誘導オブジェクトの一例について示した説明図である。 同実施形態に係る視点誘導オブジェクトの一例について示した説明図である。 同実施形態に係る視点誘導オブジェクトの一例について示した説明図である。 同実施形態に係る視点誘導オブジェクトの一例について示した説明図である。 同実施形態に係る視点誘導オブジェクトの一例について示した説明図である。 同実施形態に係る視点誘導オブジェクトの一例について示した説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は、以下の順序で行うものとする。
（１）立体視コンテンツの一例について
（２）第１の実施形態
　（２－１）情報処理装置の構成について
　（２－２）ユーザ視点位置特定部の構成について
　（２－３）情報処理方法（ユーザ視点位置の推定方法）について
（３）第２の実施形態
　（３－１）表示制御部の構成について
　（３－２）情報処理方法（表示制御方法）について
（４）本開示の各実施形態に係る情報処理装置のハードウェア構成について
（立体視コンテンツの一例について）
　本開示の実施形態に係る情報処理装置について説明するに先立ち、本開示の実施形態に係る情報処理装置で実行される立体視コンテンツの一例について、図１Ａ～図１Ｃを参照しながら、簡単に説明する。図１Ａ～図１Ｃは、立体視コンテンツの一例を示した説明図である。
　本開示の実施形態に係る情報処理装置１０では、例えば、立体的な３Ｄ表示を画面の正面から行うのではなく、視点位置をオフセットして閲覧するような表示方法を利用したコンテンツ（立体視コンテンツ）が実行される。このような表示方法の例として、前述のようなファントグラム、デスクトップ・バーチャルリアリティ、フィッシュタンク・バーチャルリアリティ等を挙げることができる。
　図１Ａ～図１Ｃでは、ある情報処理装置が備える表示画面Ｄに表示されるコンテンツの内容を模式的に示したものである。図１Ａ～図１Ｃに示したコンテンツでは、三角柱のオブジェクトＯＢＪ１と、女性キャラクタＯＢＪ２と、男性キャラクタＯＢＪ３と、が表示されるものとする。また、図１Ａ～図１Ｃでは、表示画面Ｄを見るユーザの視点方向を、便宜的に矢印オブジェクトＬで表している。
　上記のような表示オブジェクトＯＢＪ１、ＯＢＪ２，ＯＢＪ３は、表示画面Ｄに固定された座標系を利用して互いの相対的な位置関係が関係づけられているものとする。このような場合において、図１Ａに示したようにユーザが表示画面Ｄの正面からコンテンツを見た場合、三角柱オブジェクトＯＢＪ１については、三角形状が表示され、人型のキャラクタＯＢＪ２，ＯＢＪ３については、キャラクタの頭部が表示されることとなる。
　また、図１Ｂに示したように、ユーザが表示画面Ｄを表示画面の正面手前方向（図１Ｂ中のオブジェクトＬに示した方向）から見る場合には、三角柱オブジェクトＯＢＪ１は、三角柱の側面が表示され、人型のキャラクタＯＢＪ２，ＯＢＪ３については、キャラクタの全身が表示されることとなる。
　更に、図１Ｃに示したように、ユーザが表示画面Ｄを表示画面の手前斜め方向（図１Ｃ中のオブジェクトＬに示した方向）から見る場合には、図１Ｂとは違った見え方で、各オブジェクトＯＢＪ１，ＯＢＪ２，ＯＢＪ３がそれぞれ表示されることとなる。
　このように、ファントグラム、デスクトップ・バーチャルリアリティ、フィッシュタンク・バーチャルリアリティ等の立体視表示方法では、ユーザが表示画面Ｄを見る視点位置に応じて、その斜視点による画面上のゆがみを補正する効果を表示画面上に提示する。そのため、これらの表示方法では、ある特定の位置（例えば、正面手前３０°の位置等）からコンテンツを注視した場合のみ立体感覚が増長されるため、ユーザの視点位置がどこに存在するのかが重要な要素となる。
　そこで、以下で説明する本開示の第１の実施形態に係る情報処理装置では、処理負荷及びユーザの操作感の低下を抑制しつつ、ユーザの視点位置を特定する。
　また、以下で説明する本開示の第２の実施形態に係る情報処理装置では、以上のような立体視コンテンツをユーザがより容易に閲覧することが可能となるように、ユーザの視点がコンテンツに適正な範囲内に含まれるようにユーザの視点を誘導する。
（第１の実施形態）
　以下では、図２～図１４を参照しながら、本開示の第１の実施形態に係る情報処理装置及び情報処理方法について、詳細に説明する。本実施形態に係る情報処理装置１０は、処理付加及びユーザの操作感の低下を抑制しつつ、ユーザの視点位置を特定することが可能な装置である。
＜情報処理装置の構成について＞
　まず、図２を参照しながら、本実施形態に係る情報処理装置１０の全体構成について説明する。図２は、本実施形態に係る情報処理装置１０の構成を示したブロック図である。
　本実施形態に係る情報処理装置１０としては、例えば、デジタルカメラ、スマートフォン、タブレット等の携帯機器や、立体撮像が可能な機器等を挙げることができる。以下では、本実施形態に係る情報処理装置１０が、スマートフォンやタブレットである場合を例に挙げて説明を行うものとする。
　本実施形態に係る情報処理装置１０は、図２に示したように、制御部１０１と、センサ１０３と、記憶部１０５と、を主に備える。また、本実施形態に係る情報処理装置１０は、撮像部１０７を更に備えていてもよい。
　制御部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等により実現される。制御部１０１は、本実施形態に係る情報処理装置１０が実行可能な各種の処理の実行制御を行う処理部である。この制御部１０１の構成については、以下で改めて詳細に説明する。
　センサ１０３は、本実施形態に係る情報処理装置１０に作用する加速度を測定するものである。このようなセンサの一例として、例えば、加速度センサや重力検知センサ等を含む３軸加速度センサを挙げることができる。センサ１０３は、制御部１０１による制御のもとで所定のレートで加速度を測定し、測定結果を示すデータ（以下では、センサ情報とも称する。）を、制御部１０１に出力する。また、センサ１０３は、得られたセンサ情報を、後述する記憶部１０５等に格納してもよい。
　記憶部１０５は、本実施形態に係る情報処理装置１０に設けられたＲＡＭやストレージ装置等により実現される。記憶部１０５には、制御部１０１で実行される各種の処理に用いられる各種のデータや、各種のデータベースやルックアップテーブル等が格納されている。また、記憶部１０５には、本実施形態に係るセンサ１０３により測定された測定データや、後述する撮像部１０７により撮像された撮像画像の実体データや、本実施形態に係る制御部１０１が実施する処理に用いられる各種のプログラムやパラメータやデータ等が記録されていてもよい。また、記憶部１０５には、これらのデータ以外にも、本実施形態に係る情報処理装置１０が実行可能な各種のコンテンツや、情報処理装置１０が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等を適宜記憶することが可能である。この記憶部１０５は、制御部１０１、センサ１０３、撮像部１０７等の各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
　撮像部１０７は、情報処理装置１０に外部接続されたカメラ、又は、情報処理装置１０に内蔵されているカメラ等により実現される。撮像部１０７は、制御部１０１による制御のもとで、情報処理装置１０のユーザの顔を含む撮像画像を所定のフレームレートで撮像して、得られた撮像画像のデータを制御部１０１に出力する。また、撮像部１０７は、得られた撮像画像のデータを、記憶部１０５等に格納してもよい。
　また、本実施形態に係る情報処理装置１０は、図２に示した処理部以外にも、情報処理装置１０がユーザに提供する様々な機能に応じて、当該機能を実施するための様々な公知の処理部を有していてもよい。
　以上、図２を参照しながら、本実施形態に係る情報処理装置１０の全体構成について説明した。
［制御部１０１の構成について］
　続いて、図３を参照しながら、本実施形態に係る情報処理装置１０が備える制御部１０１の構成について説明する。図３は、本実施形態に係る情報処理装置が備える制御部１０１の構成を示したブロック図である。
　本実施形態に係る制御部１０１は、図３に示したように、統括制御部１１１と、ユーザ視点位置特定部１１３と、表示制御部１１５と、を主に備える。
　統括制御部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。統括制御部１１１は、本実施形態に係る情報処理装置１０で実施される様々な処理を統括して制御する処理部である。統括制御部１１１の制御のもとで、本実施形態に係る情報処理装置１０が有する各処理部は、必要に応じて互いに連携しつつ、様々な処理を実現することが可能となる。
　ユーザ視点位置特定部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。本実施形態に係るユーザ視点位置特定部１１３は、情報処理装置１０が備えるセンサ１０３によって生成されたセンサ情報を利用し、情報処理装置１０の姿勢（ユーザによって保持されることで実現される姿勢）に基づいてユーザの視点位置を特定する。ユーザ視点位置特定部１１３は、センサ１０３からセンサ情報が出力される度に、ユーザの視点位置を推定してもよく、センサ情報の出力レートとは異なる所定の周期で、ユーザの視点位置を推定してもよい。
　ユーザ視点位置特定部１１３によって特定されたユーザの視点位置を表した情報（以下、視点位置情報とも称する。）は、統括制御部１１１や、後述する表示制御部１１３へと出力され、これらの処理部で実施される様々な処理に利用される。
　本実施形態に係るユーザ視点位置特定部１１３の具体的な構成については、以下で詳述する。
　表示制御部１１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置等により実現される。表示制御部１１５は、情報処理装置１０が備えるディスプレイ等の表示装置や、情報処理装置１０と通信可能な、情報処理装置１０の外部に設けられたディスプレイ等の表示装置における表示画面の表示制御を行う。具体的には、本実施形態に係る表示制御部１１５は、記憶部１０５等に格納されているコンテンツを実行して、コンテンツの内容を表示画面に表示させる。また、表示制御部１１５は、図１Ａ～図１Ｃに示したような立体視コンテンツを実行するに際しては、例えば、カメラレンズのチルトシフト撮影と同様な効果を奏する公知の画像透視変換技術を適用することができる。
　表示制御部１１５が表示画面の制御を行うことで、例えば情報処理装置１０の表示画面には、ユーザが閲覧可能な様々な情報が表示されることとなる。
＜ユーザ視点位置特定部の構成について＞
　続いて、図４～図１３を参照しながら、本実施形態に係るユーザ視点位置特定部１１３の構成について、詳細に説明する。
　図４は、情報処理装置の保持状態と視点位置との関係の一例を示した説明図である。図４（ａ）～図４（ｃ）に示したように、ユーザが自身の手Ｈを利用して情報処理装置１０を保持することで、視点Ｅと表示画面Ｄとの間の相対的な位置関係や、視点Ｅと表示画面Ｄとの間の距離Ｌが変化することとなる。
　本実施形態に係るユーザ視点位置特定部１１３では、事前に、一般的な情報処理装置１０の筺体の保持状態において、情報処理装置１０がどのような姿勢となるかをサンプリングし、このような姿勢の集合を参照姿勢情報としている。この参照姿勢情報には、一般的な視点Ｅと表示画面Ｄとの間の相対的な位置関係や、視点Ｅと表示画面Ｄとの間の距離Ｌの参照値が、参照情報として関連付けられている。ユーザ視点位置特定部１１３は、センサ情報に基づいて情報処理装置１０の姿勢を特定し、特定した姿勢に近い参照姿勢状態を１又は複数抽出し、抽出した参照姿勢状態に基づいて、ユーザの視点位置を特定する。
　図５は、本実施形態で説明に利用する座標系の一例について示した説明図である。図５に示したように、以下の説明では、表示画面Ｄをｘｙ平面とし、表示画面Ｄの法線方向をｚ軸正方向とする座標系を便宜的に採用することとする。本実施形態に係る情報処理装置１０では、例えば図５に示したような、装置に固有の座標系に基づいて、コンテンツ中に含まれるオブジェクト（図１Ａ～図１Ｃに示したようなオブジェクト）が表示されるものとする。
　図６は、本実施形態に係るユーザ視点位置特定部１１３の構成を示したブロック図である。本実施形態に係るユーザ視点位置特定部１１３は、図６に例示したように、センサ情報取得部１５１と、撮像画像取得部１５と、センサ情報解析部１５５と、視点位置推定部１５７と、を主に備える。
　センサ情報取得部１５１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。センサ情報取得部１５１は、例えば情報処理装置１０が備えるセンサ１０３によって生成されたセンサ情報を取得して、後述するセンサ情報解析部１５５へと伝送する。また、センサ情報取得部１５１は、取得したセンサ情報に、当該センサ情報を取得した日時等を表す時刻情報を関連付けて、履歴情報として記憶部１０５等に格納してもよい。
　撮像画像取得部１５３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。撮像画像取得部１５３は、例えば情報処理装置１０が備える撮像部１０７によって生成された、ユーザの顔の近傍を含む撮像画像が存在する場合に、この撮像画像を取得して、後述する視点位置推定部１５７へと伝送する。また、撮像画像取得部１５３は、取得した撮像画像のデータに、当該データを取得した日時等を表す時刻情報を関連付けて、履歴情報として記憶部１０５等に格納してもよい。
　センサ情報解析部１５５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。センサ情報解析部１５５は、センサ情報取得部１５１から伝送されたセンサ情報に基づいて、情報処理装置１０に作用する重力の方向（重力方向）を解析し、情報処理装置１０の姿勢（情報処理装置１０の筺体の姿勢）を特定する。
　ここで、センサ情報解析部１５５は、重力方向を解析するにあたって、図７Ａ及び図７Ｂに示したような２種類の角度に着目する。図７Ａ及び図７Ｂは、情報処理装置１０の保持状態を表す角度について示した説明図である。図７Ａに示したように、本実施形態では、水平方向ＰＬを基準とし、情報処理装置１０が図５に示したｙ軸の周りで回転運動した場合の回転量を、ピッチ（ｐｉｔｃｈ）角θで表すこととする。また、図７Ｂに示したように、本実施形態では、情報処理装置１０が図５に示したｚ軸の周りで回転運動した場合の回転量を、ヨー（ｙａｗ）角φで表すこととする。換言すれば、ピッチ角θは、情報処理装置１０が上下方向に回転する場合の回転角を表しており、ヨー角φは、情報処理装置１０が左右方向に回転する場合の回転角を表している。
　センサ情報解析部１５５は、取得したセンサ情報のうち、ｙ軸方向における重力成分、及び、ｚ軸方向における重力成分に着目して、このｙ軸方向成分及びｚ軸方向成分から規定されるｙｚ平面でのベクトル（すなわち、重力方向）の角度θを算出する。この角度θが、図７Ａに示したピッチ角θに対応する。同様にして、センサ情報解析部１５５は、取得したセンサ情報のうち、ｘ軸方向における重力成分、及び、ｚ軸方向における重力成分に着目して、このｘ軸方向成分及びｚ軸方向成分から規定されるｘｚ平面でのベクトル（すなわち、重力方向）の角度φを算出する。この角度φが、図７Ｂに示したヨー角φに対応する。
　センサ情報解析部１５５は、以上のようにして重力方向について解析を行い、角度θ及び角度φを算出すると、算出したこれらの角度に関する情報（以下、角度情報ともいう。）を、後述する視点位置推定部１５７に出力する。
　なお、センサ情報解析部１５５は、算出した角度情報に、当該角度情報を取得した日時等を表す時刻情報を関連付けて、履歴情報として記憶部１０５等に格納してもよい。
　視点位置推定部１５７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。視点位置推定部１５７は、予め設定されているユーザの視点位置に関するプロファイルと、センサ情報解析部１５５により解析された筺体の姿勢と、に基づいて、ユーザの視点位置を推定する。
　本実施形態に係る情報処理装置１０では、先述のように、一般的な情報処理装置１０の保持状態を予め数種類に分類しており、それぞれの保持状態において、情報処理装置１０の筺体を様々な角度に動かした際の筺体の姿勢（ピッチ角）と、その際の筺体とユーザの視点位置と、が互いに関連付けられている。このような事前情報が、予め記憶部１０５等に格納されており、視点位置推定部１５７において、参照姿勢情報、すなわちプロファイルとして利用される。
　図８は、ユーザの視点位置について説明するための説明図であり、図９は、本実施形態に係る視点位置推定部１５７において利用されるプロファイルの一例を示した説明図である。図９に示したように、本実施形態に係る情報処理装置１０では、情報処理装置１０のユーザによる保持状態として、例えば、直立保持状態、上方覗き込み状態、寝そべり状態等といった複数の状態に分類している。なお、図９に示した保持状態はあくまでも一例であって、図９に示した保持状態に限定されるわけではなく、更に、横に寝転んでいる状態等、考えうる様々な状態を設定することができる。
　また、図９に示したように、各保持状態におけるプロファイルでは、筺体の姿勢（すなわち、算出されたピッチ角θ）に応じて、ユーザの視点方向（図８における角度ξ：単位ｄｅｇ．）と、視点と表示画面との間の離隔距離ｄ（単位：ｍｍ）と、が互いに関連付けられている。また、筺体の姿勢は、各保持状態について、０°～１８０°の範囲内において所定の角度間隔（図９では、３０°間隔）で複数設定されている。なお、角度間隔は、図８に示した例に限定されるわけではなく、求められる推定精度や、装置において利用可能なリソース等に応じて、例えば１０°刻みに設定してもよいし、更に細かい角度で設定してもよい。
　図１０Ａ～図１０Ｃは、直立保持状態（すなわち、ユーザが直立している状態で情報処理装置１０を保持している状態）におけるプロファイルの一例を示している。これらのプロファイルでは、角度ξは視点方向とｚ軸とのなす角度として定義されている。図１０Ａ及び図１０Ｂに示したように、筺体の姿勢θが水平方向ＰＬに対して斜めである場合（θ＝θＡ１，θＡ２の場合）には、視点方向Ｌと視点位置Ｅを特定することができる。しかし、図１０Ｃに示したように、直立保持状態では、情報処理装置１０が水平に載置されている場合（θＡ３＝０°の場合）には、視点方向Ｌ及び視点位置Ｅを決定することはできない。
　図１１Ａ～図１１Ｃは、ユーザが情報処理装置１０を上方から覗き込んでいる場合に対応するプロファイルの一例を示している。また、図１２Ａ～図１２Ｃは、ユーザが情報処理装置１０を仰向けに寝そべった状態で保持している場合に対応するプロファイルの一例を示している。これらのプロファイルにおいても、角度ξは視点方向とｚ軸とのなす角度として定義されている。
　図９～図１２Ｃから明らかなように、それぞれの保持状態について、筺体の姿勢θによっては、ユーザの視点方向Ｌや視点位置Ｅを特定できない範囲が存在することがわかる。本実施形態に係る視点位置推定部１５７では、このような事前のサンプリング処理によって得られる知見（プロファイル）に基づき、加速度センサからの出力のみを利用して、ユーザの視点位置を推定することができる。
　以下では、図８及び図９を参照しながら、視点位置推定部１５７によって実施される視点位置の推定処理について、具体的に説明する。
　視点位置推定部１５７は、まず、センサ情報解析部１５５から出力された角度情報を参照することで、図８に示したような筺体の姿勢を表す角度θを特定する。続いて、視点位置推定部１５７は、図９に示したプロファイルを参照して、得られた角度θに最も近いもの、又は、角度θの近傍の値のものを１又は複数取得し、対応する視点方向及び距離を特定する。また、近傍のものを取得した場合には、近いデータを数個利用して補完処理を行い、得られた視点方向及び距離を補完してもよい。このような処理により、視点位置推定部１５７は、例えば図８に示したユーザの視線方向ξを特定することができる。
　次に、視点位置推定部１５７は、センサ情報解析部１５５から出力された角度情報を参照することで、ヨー角φの大きさを特定する。続いて、視点位置推定部１５７は、得られた角度φを利用して、特定したユーザの視線方向ξをφだけ回転させる。これによって、視点位置推定部１５７は、最終的なユーザの視線方向や視点の位置を推定することができる。
　なお、視点位置推定部１５７は、得られた角度θがプロファイルにおいて不適切なレンジにある場合には、継続する処理を遮断してもよい。これにより、誤反応・誤操作を防ぐことが可能となる。なお、継続する処理を遮断する場合には、情報処理装置１０は、表示する視点位置の更新を止めるたり、正面手前視点に戻したりする等の対応を行うことができる。
　視点位置推定部１５７は、このようにして得られたユーザの視点位置に関する情報（視点位置情報）を、例えば表示制御部１１５に出力する。表示制御部１１５は、通知された視点位置情報を参照して、例えば立体視コンテンツの表示制御を行うことが可能となる。
　上記説明では、視点位置推定部１５７が、センサ情報のみを参照することで、ユーザの視点位置を推定する場合について説明した。ここで、視点位置推定部１５７が、撮像部１０７により撮像された撮像画像を利用できる場合には、以下で説明するような方法を用いることにより、より正確にユーザの視点位置を推定することが可能となる。
　以下では、図８、図９及び図１３を参照しながら、センサ情報及び撮像画像の双方を利用したユーザの視点位置の推定方法について、詳細に説明する。図１３は、撮像画像をあわせて用いる場合の視点位置の推定処理について説明するための説明図である。
　ユーザによる情報処理装置１０の保持姿勢は、情報処理装置１０がモバイル端末として実現されている場合においては特に顕著に、刻々と変化することが予想される。これに対し、単一の保持状態プロファイルでは、ユーザの姿勢の変化によって、表示のされ方に違和感を覚えることがある。
　このような保持姿勢の変化に伴う違和感を解消するために、情報処理装置に接続又は内蔵されているカメラによってユーザの眼の位置を検出し、眼の位置と両眼間の距離に基づいて、表示画面とユーザとの絶対的な位置関係を大まかに算出することが考えられる。しかしながら、先述のように、カメラの画角は視点の覗き込む角度より小さいことが多く、距離等の算出処理も複雑であり、加速度センサのセンシングレートに比べて、カメラのフレームレートが劣る。
　そこで、本実施形態に係る視点位置推定部１５７では、加速度センサによる高いレート（例えば６０Ｈｚ以上）での姿勢変化検出に加え、定期的な低いレート（例えば、数Ｈｚ以下）でのカメラによる撮像画像を用いた視点位置の校正処理を行ってもよい。
　この際に、カメラの低いフレームレートをユーザの操作にそのまま適用してしまうと、更新レートの低さから遅延やガタつき等といった様々な違和感が生じてしまうと考えられる。そこで、本実施形態に係る視点位置推定部１５７では、図１３に示したように、まず、カメラで撮像された撮像画像を利用して、公知の方法によりユーザの視点位置を算出する（Ｓ１）。その後、視点位置推定部１５７は、撮像画像に基づいて算出した絶対視点位置を、ユーザの視点位置として処理に利用するのではなく、上記のようなプロファイルの選定用に用いるようにする（Ｓ２）。視点位置推定部１５７は、加速度センサによるセンサ情報に基づいて筺体の姿勢を検出し（Ｓ３）、撮像画像を利用して選択されたプロファイルに基づいて、ユーザの視点位置を推定する（Ｓ４）こととなる。
　これにより、ユーザの操作（例えば、筺体保持姿勢の変化）に対するフィードバックは、加速度センサによって推定された値に基づくこととなり、検出できる角度レンジと、フレームレートの低下の影響を受けない。その結果、高いフレームレートによるユーザへのフィードバックを実現することができる。
　以下、図８及び図９を参照しながら、センサ情報及び撮像画像を利用した、ユーザの視点位置の推定方法について、具体的に説明する。
　いま、視点位置推定部１５７により、図８に示したように、センサ情報に基づいて筺体姿勢θが得られ、また、撮像画像に基づく公知の方法により、ユーザの視点方向ξと、視点までの距離ｄとが算出されたものとする。この場合において、プロファイルが持つ筺体姿勢をθｐ、視点方向をξｐ、視点距離をｄｐと表記することとする。視点位置推定部１５７は、｜θ－θｐ｜が最小となるような各プロファイルのθｐについて、例えば下記式１０１により差Ｄθを算出する。なお、下記式１０１において、ｋはある定数である。
Figure JPOXMLDOC01-appb-M000001
　ここで、各プロファイルに対して求めたＤθの最小値を有するプロファイルが、選択すべきプロファイルの候補となる。この候補がある一定回数以上連続して同じプロファイルとなった場合、視点位置推定部１５７は、該当するプロファイルを、着目している状態での適用プロファイルとして選択する。
　例えば、図９に示したようなプロファイルが予め設定されていた場合に、筺体姿勢が６０°として検出されたとする。視点位置推定部１５７は、撮像画像に基づいて算出した視点方向が２０°であり、視点距離が４００ｍｍであった場合に、上記式１０１に照らし合わせて、Ｄ６０が最少となる直立保持状態を、利用すべきプロファイルとして選択する。
　上記のように、撮像画像に基づくユーザ視点位置を補助的に利用する場合には、視点位置推定部１５７は、撮像画像に基づいて算出されたユーザの視点位置に関する情報を、図９に示したようなプロファイルの更新に利用してもよい。例えば、視点距離ｄは、ユーザの身体的な特徴等に応じて、ユーザに固有の値となる場合が多い。そのため、安定的にカメラによって視点位置が検出され、安定的にプロファイルが選択された場合には、プロファイルが持つ視点距離ｄを、カメラによって得られた視点距離によって随時更新してもよい。これにより、個々のユーザに適合したプロファイルを創出することが可能となり、それぞれのユーザに特化したプロファイルを利用して、更に精度の高い視点位置の推定を行うことが可能となる。なお、撮像画像に基づく視点方向が不検知だった場合には、プロファイルの更新を行わないことが好ましい。
　このように、センサ情報に加えて撮像画像から得られる知見を補助的に利用することで、筺体の回転量が所定のレンジを超えたり、算出された視点位置が所定の閾値を超えたりして、大きな筺体姿勢の変化が予想される場合などにも、カメラにより得られた撮像画像を利用してユーザの絶対視点位置を算出し、現在の情報処理装置の姿勢状態も合わせて、最も近いプロファイルを選択することも可能となる。
　以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
＜情報処理方法の流れについて＞
　続いて、図１４を参照しながら、本実施形態に係る情報処理方法（すなわち、ユーザ視点位置の推定方法）の流れの一例について、簡単に説明する。図１４は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
　本実施形態に係る情報処理方法では、まず、ユーザ視点位置特定部１１３のセンサ情報取得部１５１が、センサ１０３から出力されたセンサ情報を取得して（ステップＳ１０１）、センサ情報解析部１５５へと伝送する。
　その後、センサ情報解析部１５５は、取得したセンサ情報を解析して（ステップＳ１０３）、筺体の姿勢を特定し、得られた結果を角度情報として視点位置推定部１５７に出力する。
　視点位置推定部１５７は、センサ情報解析部１５７から出力された角度情報を利用して、予め設定されている複数のプロファイルの中から、ユーザの視点位置を推定するために利用するプロファイルを選択する（ステップＳ１０５）。その後、視点位置推定部１５７は、選択したプロファイルと、センサ情報解析部１５７から出力された角度情報と、を利用して、ユーザの視点位置を推定する（ステップＳ１０７）。視点位置推定部１５７は、ユーザの視点位置を推定すると、得られた推定結果を表示制御部１１５に出力する。
　表示制御部１１５は、視点位置推定部１５７から出力されたユーザの視点位置に関する視点位置情報に基づいて、表示画面に表示させる表示内容を制御する（ステップＳ１０９）。これにより、ユーザの視点位置に応じた表示制御が実現されることとなる。
　その後、表示制御部１１５は、コンテンツ等の表示を終了させる操作が行われたか否かを判断する（ステップＳ１１１）。処理を終了するための操作がユーザによって行われていない場合には、ユーザ視点位置特定部１１３は、ステップＳ１０１に戻って処理を継続する。また、処理を終了するための操作がユーザによって行われた場合には、ユーザ視点位置特定部１１３は、ユーザ視点位置の推定処理を終了する。
　以上、図１４を参照しながら、本実施形態に係る情報処理方法の流れの一例について、簡単に説明した。
　以上説明したように、本開示の第１の実施形態に係る情報処理装置１０では、ユーザの視点位置を推定する際に、情報処理装置の姿勢情報のみを利用する。そのため、ユーザの頭部のみを動かした際などにも対応可能な厳密な視点位置はできないものの、厳密な視点位置検出を行うよりも処理が軽く、高速なフィードバックを提示することが可能となる。その結果、ユーザにとっては、情報処理装置１０を操作した感覚が良く、厳密な視点位置検出を行っていないことの違和感を覚えにくいという特徴がある。また、センサの可動範囲が非常に広いため、ユーザは、自由な範囲で情報処理装置１０の操作が可能となる。
（第２の実施形態）
　先述のように、立体視コンテンツの中には、ある特定の位置から閲覧した場合に立体感覚が増長されるものが存在するが、特定の視点位置以外から閲覧を行うと、クロストークが発生したり、物が歪んで見えたり、表示物が結像しなかったりといった、ユーザに閲覧負荷が発生してしまう。そこで、以下で説明する本開示の第２の実施形態に係る情報処理装置では、以上のような立体視コンテンツをユーザがより容易に閲覧することが可能となるように、ユーザの視点がコンテンツに適正な範囲内に含まれるようにユーザの視点を誘導する。
　本実施形態に係る情報処理装置１０の全体構成については、図２に示した第１の実施形態に係る情報処理装置１０と同様であり、本実施形態に係る情報処理装置１０が備える制御部１０１の構成も、図３に示した第１の実施形態に係る情報処理装置１０と同様である。従って、以下では、詳細な説明は省略する。
　なお、本実施形態に係る情報処理装置１０の備えるユーザ視点位置特定部１１３は、第１の実施形態で説明したようなセンサ情報を利用したユーザの視点位置の特定処理を実施するものであってもよく、ユーザの顔を含む部分を撮像した撮像画像を利用して、両眼の間隔や大きさ等からユーザの視点位置を算出する、公知の処理を実施するものであってもよい。
＜表示制御部の構成について＞
　以下では、図１５～図２１Ｂを参照しながら、本実施形態に係る情報処理装置１０が備える表示制御部１１５の構成について、詳細に説明する。
　図１５は、本実施形態に係る情報処理装置１０が備える表示制御部１１５の構成を示したブロック図である。
　本実施形態に係る表示制御部１１５は、図１５に示したように、視点位置判定部２０１と、オブジェクト表示制御部２０３と、コンテンツ表示制御部２０５と、を主に備える。
　視点位置判定部２０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。視点位置判定部２０１は、ユーザ視点位置特定部１１３から出力された、ユーザの視点位置を表す視点位置情報に基づいて、ユーザの視点位置がコンテンツに適した視点位置範囲に含まれるかを判定する。
　ここで、本実施形態に係る情報処理装置１０が実行するコンテンツ（例えば、立体視コンテンツ）には、当該コンテンツを視聴するのに好ましい視点位置の範囲に関する情報が、メタデータとして関連付けられているものとする。好ましい視点位置範囲をどのように規定するかは、特に限定されるものではないが、例えば、表示画面を基準とした極座標表示により視点位置範囲を規定することができる。極座標表示を用いた視点位置範囲の指定方法についても、特に限定されるものではないが、例えば、図７Ａ及び図７Ｂに示したようなピッチ角θやヨー角φと、図８に示したような視点までの距離ｄ等を用いて、好ましい視点位置範囲を規定することができる。
　視点位置判定部２０１は、統括制御部１１１があるコンテンツを実行し、統括制御部１１１により当該コンテンツの表示制御を要請された場合に、コンテンツに関連付けられているメタデータを参照して、コンテンツの好ましい視点位置範囲に関する情報を取得する。その後、視点位置判定部２０１は、ユーザ視点位置特定部１１３から出力された視点位置情報に含まれる視点位置を表すパラメータを参照して、視点位置情報に対応する視点位置が、好ましい視点位置範囲に含まれているか否かを判定する。
　視点位置判定部２０１は、視点位置情報に対応する視点位置が好ましい視点位置範囲に含まれていない場合には、後述するオブジェクト表示制御部２０３に、視点誘導オブジェクトの表示制御を要請する。また、視点位置判定部２０１は、ユーザ視点位置特定部１１３から出力された視点位置情報、又は、ユーザ視点位置の好ましい視点位置範囲からのズレ量（ズレの大きさ及びズレの方向を含むズレ量）に関する情報、の少なくとも何れか一方を、オブジェクト表示制御部２０３に伝送することが好ましい。
　一方、視点位置判定部２０１は、視点位置情報に対応する視点位置が好ましい視点位置範囲に含まれている場合には、後述するコンテンツ表示制御部２０５に、コンテンツの表示制御を要請する。
　また、視点位置判定部２０１は、視点位置判定部２０１に伝送される視点位置情報に基づいて上記の判定処理を実施している。そのため、好ましい視点位置範囲に含まれていなかったユーザの視点位置が、時間の推移とともに好ましい視点位置範囲に含まれるようになった場合、表示画面に表示されている内容が視点誘導オブジェクトからコンテンツへと切り替わることとなる。
　オブジェクト表示制御部２０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。オブジェクト表示制御部２０３は、ユーザの視点位置がコンテンツに適した視点位置範囲（好ましい視点位置範囲）に含まれていない場合に、ユーザの視点を好ましい視点位置範囲に誘導する視点誘導オブジェクトを表示する表示制御を行う。
　オブジェクト表示制御部２０３が表示画面に表示させる視点誘導オブジェクトの形状については、特に限定されるものではなく、ユーザに負荷を掛けることなく、ユーザに視点の移動を促せるものであれば、任意のものを利用することが可能である。このような視点誘導オブジェクトは、例えば、正しい視点の方向を示唆する矢印オブジェクトであってもよく、正しい視点位置となった場合に初めて正しく表示されるような任意のオブジェクト等であってもよい。
　また、オブジェクト表示制御部２０３は、視点位置判定部２０１から伝送された視点位置情報、又は、ユーザ視点位置の好ましい視点位置範囲からのズレ量に関する情報、の少なくとも何れか一方を参照して、視点誘導オブジェクトの表示形式を制御する。
　なお、オブジェクト表示制御部２０３は、視点位置情報に対応するユーザの視点位置の時間推移に応じて、視点誘導オブジェクトの表示を変化させることが好ましい。また、オブジェクト表示制御部２０３は、視点誘導オブジェクトにあわせて、ユーザを誘導するためのテキストを表示してもよい。
　コンテンツ表示制御部２０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。コンテンツ表示制御部２０５は、例えば統括処理部１１１で実行されているコンテンツに対応する内容を表示画面に表示する際の表示制御を行う。コンテンツ表示制御部２０５がコンテンツの表示制御を行うことで、ユーザは、立体視コンテンツ等の各種コンテンツを閲覧することが可能である。
　以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
　以下、図１６～図２１Ｂを参照しながら、本実施形態に係る表示制御部１１５による表示制御処理を具体的に説明する。図１６は、本実施形態に係る情報処理装置における表示制御を示した説明図であり、図１７Ａ～図２１Ｂは、本実施形態に係る視点誘導オブジェクトの一例について示した説明図である。
　いま、図１６に示したように、表示画面Ｄに、壁Ｗ１，Ｗ２，Ｗ３で区画された空間Ｂが表示され、この空間Ｂの中に三角柱のオブジェクトＯＢＪ１が表示されるようなファントグラムのコンテンツを考える。
　視点位置情報に記載されたユーザの視点位置が、図１６に示したようなコンテンツの好ましい視点位置範囲に含まれている場合には、視点位置判定部２０１による判定結果がコンテンツ表示制御部２０５へと出力される。その結果、コンテンツ表示制御部２０５による表示制御のもとで、表示画面Ｄには図１６に示したような内容が表示されることとなる。
　一方、視点位置情報に記載されたユーザの視点位置が好ましい視点位置範囲に含まれていない場合には、視点位置判定部２０１による判定結果がオブジェクト表示制御部２０３へと出力される。その結果、表示画面Ｄには、図１６に示したような三角柱のオブジェクトＯＢＪ１は表示されず、オブジェクト表示制御部２０３による制御のもとで、図１７Ａ～図２１Ｂに示したような視点誘導オブジェクトが表示されることとなる。
　図１７Ａ及び図１７Ｂは、ユーザの視点位置を現在よりも左側に誘導したい場合に表示される視点誘導オブジェクトの例を示している。図１７Ａでは、視点誘導オブジェクトとして、視点の方向を示した矢印オブジェクトＡが表示されている。また、図１７Ｂでは、視点誘導オブジェクトとして、矩形状のオブジェクトＧ１～Ｇ３が表示されている。矩形状のオブジェクトＧ１～Ｇ３は、ユーザの視点位置が好ましい範囲に近づくほど、複数の矩形が一体化して見えるように表示されるオブジェクトである。
　同様に、図１８Ａ及び図１８Ｂは、視点位置を現在よりも右側に誘導したい場合に表示される視点誘導オブジェクトの例を示しており、図１９Ａ及び図１９Ｂは、視点位置を現在よりも下側に誘導したい場合に表示される視点誘導オブジェクトの例を示している。また、図２０Ａ及び図２０Ｂは、視点位置を現在よりも上側に誘導したい場合に表示される視点誘導オブジェクトの例を示している。
　図１７Ａ～図２０Ｂから明らかなように、このような視点誘導オブジェクトが表示画面に表示されることで、ユーザは、現在の視点位置がコンテンツに対応した好ましい視点位置範囲に含まれていないことを、容易に把握することが可能となる。更に、ユーザは、このような視点誘導オブジェクトを参照することで、どちらの方向に視点を移動させればよいかを容易に把握することができる。また、視点誘導オブジェクトとして、図１７Ａのような矢印オブジェクトを表示させる場合には、矢印の長さをズレ量の大きさに対応させることで、視点の移動量をユーザに示すことができ、ユーザの利便性を更に向上させることができる。
　また、オブジェクト表示制御部２０３は、図２１Ａ及び図２１Ｂに示したように、視点誘導オブジェクトに加えて、ユーザを誘導するためのテキストＴを併せて表示してもよい。
　これらの視点誘導オブジェクトは、ユーザの視点位置が好ましい視点位置範囲に入った場合には表示画面から消滅して、コンテンツの内容が表示されるようになる。視点誘導オブジェクトやテキストの消滅方法は、特に限定されるものではなく、コンテンツのフェードインにあわせてフェードアウトしてもよいし、表示画面から瞬間的に消えてもよい。
　また、ユーザの視点が再度好ましい視点位置範囲から外れてしまった場合には、コンテンツに代わって視点誘導オブジェクトが表示されるようにしてもよい。
　以上、図１６～図２１Ｂを参照しながら、本実施形態に係る表示制御部１１５による表示制御処理について具体的に説明した。
＜情報処理方法の流れについて＞
　続いて、図２２を参照しながら、本実施形態に係る情報処理方法（すなわち、表示制御方法）の流れの一例について、簡単に説明する。図２２は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
　本実施形態に係る表示制御部１１５では、まず、視点位置判定部２０１が、ユーザ視点位置特定部１１３から出力された視点位置情報を取得して（ステップＳ２０１）、取得した視点位置情報に基づいて、視点位置が好ましい視点位置範囲に含まれているか否かを判定する（ステップＳ２０３）。
　すなわち、視点位置情報に対応する視点が好ましい視点位置範囲に含まれている場合には、その旨がコンテンツ表示制御部２０５へと通知され、コンテンツ表示制御部２０５による制御のもとで、コンテンツが表示画面に表示される（ステップＳ２０５）。
　一方、視点位置情報に対応する視点が好ましい視点位置範囲に含まれていない場合には、その旨がオブジェクト表示制御部２０３へと通知され、オブジェクト表示制御部２０３による制御のもとで、視点誘導オブジェクトが表示画面に表示される（ステップＳ２０７）。その後、表示制御部１１５は、ステップＳ２０１に戻って、処理を継続する。
　以上、図２２を参照しながら、本実施形態に係る情報処理方法の流れの一例について、簡単に説明した。
　以上説明したように、本実施形態に係る表示制御処理では、コンテンツ毎に、好ましい視聴範囲をメタデータとしてコンテンツの実体データに関連付けておくことで、コンテンツの種別によらず、ユーザの視点を好ましい視聴範囲に誘導することができる。
　また、本実施形態に係る表示制御処理では、ユーザ自らによる視点位置調整が容易となり、ユーザへの負荷も小さい。これにより、ユーザは、立体視コンテンツの閲覧を容易にすることが可能となるとともに、閲覧方法が若干高度なファントグラム等の立体視コンテンツにも対応することができる。その結果、ユーザに対して、より立体感の増長されたコンテンツを提供することが容易になり、閲覧時の負荷を軽減させることも可能となる。
（ハードウェア構成について）
　次に、図２３を参照しながら、本開示の実施形態に係る情報処理装置１０のハードウェア構成について、詳細に説明する。図２３は、本開示の実施形態に係る情報処理装置１０のハードウェア構成を説明するためのブロック図である。
　情報処理装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置１０は、更に、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、センサ９１４、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３および通信装置９２５を備える。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　センサ９１４は、ユーザの動きを検知するセンサや、現在位置を表す情報を取得するセンサ等の検出手段である。かかるセンサの一例として、加速度センサ、重力検知センサ、落下検出センサ等を含む３軸加速度センサ、角速度センサ、手振れ補正センサ、地磁気センサ等を含む３軸ジャイロセンサ等のモーションセンサや、ＧＰＳセンサ等を挙げることができる。また、センサ９１４は、上述のもの以外にも、温度計、照度計、湿度計などの様々な測定機器を備えていてもよい。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、この入力装置９１５を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
　ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種データなどを格納する。
　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア、Ｂｌｕ－ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）または電子機器等であってもよい。
　接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。
　通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
　以上、本開示の実施形態に係る情報処理装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　センサから出力されたデータであるセンサ情報に基づいて重力方向を解析し、筺体の姿勢を特定するセンサ情報解析部と、
　予め設定されているユーザの視点位置に関するプロファイルと、前記センサ情報解析部により解析された前記前記筺体の姿勢と、に基づいて、ユーザの視点位置を推定する視点位置推定部と、
を備える、情報処理装置。
（２）
　前記プロファイルは、ユーザによる筺体の保持状態と、当該保持状態において前記筺体が水平面となす角度と、ユーザの基準視点位置と、が互いに関連付けられたものであり、
　前記視点位置推定部は、
　解析された前記重力方向に基づいて前記筺体が水平面となす角度を特定して、複数の前記プロファイルの中から、特定した前記角度に適した前記筺体の保持状態に対応する前記プロファイルを選択し、
　選択した前記プロファイルに関連付けられている前記ユーザの基準視点位置に応じて、前記ユーザの視点位置を推定する、（１）に記載の情報処理装置。
（３）
　前記視点位置推定部は、
　カメラによってユーザの顔が撮像された撮像画像を利用して、ユーザの両眼の位置及び両眼間の距離に応じてユーザの視点位置を算出し、
　前記水平面となす角度の代わりに算出されたユーザの視点位置に基づいて、複数の前記プロファイルの中から適した前記プロファイルを選択する、（２）に記載の情報処理装置。
（４）
　前記カメラによる前記撮像画像の生成レートは、前記センサによる前記センサ情報の生成レートよりも低い、（３）に記載の情報処理装置。
（５）
　前記視点位置推定部は、前記撮像画像を利用して算出された前記ユーザの視点位置に基づいて、前記プロファイルの前記ユーザの基準視点位置を更新する、（４）に記載の情報処理装置。
（６）
　前記プロファイルは、前記筺体の保持状態ごとに、前記筺体のピッチ方向の角度について、所定の角度間隔で複数設定されている、（２）～（５）のいずれか１つに記載の情報処理装置。
（７）
　センサから出力されたデータであるセンサ情報に基づいて重力方法を解析し、筺体の姿勢を特定することと、
　予め設定されているユーザの視点位置に関するプロファイルと、解析された前記前記筺体の姿勢と、に基づいて、ユーザの視点位置を推定することと、
を含む、情報処理方法。
（８）
　コンピュータに、
　センサから出力されたデータであるセンサ情報に基づいて重力方向を解析し、筺体の姿勢を特定するセンサ情報解析機能と、
　予め設定されているユーザの視点位置に関するプロファイルと、前記センサ情報解析機能により解析された前記前記筺体の姿勢と、に基づいて、ユーザの視点位置を推定する視点位置推定機能と、
を実現させるためのプログラム。
　１０　　情報処理装置
　１０１　　制御部
　１０３　　センサ
　１０５　　記憶部
　１０７　　撮像部
　１１１　　統括制御部
　１１３　　ユーザ視点位置特定部
　１１５　　表示制御部
　１５１　　センサ情報取得部
　１５３　　撮像画像取得部
　１５５　　センサ情報解析部
　１５７　　視点位置推定部
　２０１　　視点位置判定部
　２０３　　オブジェクト表示制御部
　２０５　　コンテンツ表示制御部
 
 

Claims (8)

  1. 　センサから出力されたデータであるセンサ情報に基づいて重力方向を解析し、筺体の姿勢を特定するセンサ情報解析部と、
    　予め設定されているユーザの視点位置に関するプロファイルと、前記センサ情報解析部により解析された前記筺体の姿勢と、に基づいて、ユーザの視点位置を推定する視点位置推定部と、
    を備える、情報処理装置。
  2. 　前記プロファイルは、ユーザによる筺体の保持状態と、当該保持状態において前記筺体が水平面となす角度と、ユーザの基準視点位置と、が互いに関連付けられたものであり、
    　前記視点位置推定部は、
    　解析された前記重力方向に基づいて前記筺体が水平面となす角度を特定して、複数の前記プロファイルの中から、特定した前記角度に適した前記筺体の保持状態に対応する前記プロファイルを選択し、
    　選択した前記プロファイルに関連付けられている前記ユーザの基準視点位置に応じて、前記ユーザの視点位置を推定する、請求項１に記載の情報処理装置。
  3. 　前記視点位置推定部は、
    　カメラによってユーザの顔が撮像された撮像画像を利用して、ユーザの両眼の位置及び両眼間の距離に応じてユーザの視点位置を算出し、
    　前記水平面となす角度の代わりに算出されたユーザの視点位置に基づいて、複数の前記プロファイルの中から適した前記プロファイルを選択する、請求項２に記載の情報処理装置。
  4. 　前記カメラによる前記撮像画像の生成レートは、前記センサによる前記センサ情報の生成レートよりも低い、請求項３に記載の情報処理装置。
  5. 　前記視点位置推定部は、前記撮像画像を利用して算出された前記ユーザの視点位置に基づいて、前記プロファイルの前記ユーザの基準視点位置を更新する、請求項４に記載の情報処理装置。
  6. 　前記プロファイルは、前記筺体の保持状態ごとに、前記筺体のピッチ方向の角度について、所定の角度間隔で複数設定されている、請求項２に記載の情報処理装置。
  7. 　センサから出力されたデータであるセンサ情報に基づいて重力方法を解析し、筺体の姿勢を特定することと、
    　予め設定されているユーザの視点位置に関するプロファイルと、解析された前記筺体の姿勢と、に基づいて、ユーザの視点位置を推定することと、
    を含む、情報処理方法。
  8. 　コンピュータに、
    　センサから出力されたデータであるセンサ情報に基づいて重力方向を解析し、筺体の姿勢を特定するセンサ情報解析機能と、
    　予め設定されているユーザの視点位置に関するプロファイルと、前記センサ情報解析機能により解析された前記前記筺体の姿勢と、に基づいて、ユーザの視点位置を推定する視点位置推定機能と、
    を実現させるためのプログラム。
     
PCT/JP2013/050555 2012-03-07 2013-01-15 情報処理装置、情報処理方法及びプログラム WO2013132885A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012050269 2012-03-07
JP2012-050269 2012-03-07

Publications (1)

Publication Number Publication Date
WO2013132885A1 true WO2013132885A1 (ja) 2013-09-12

Family

ID=49116372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/050555 WO2013132885A1 (ja) 2012-03-07 2013-01-15 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2013132885A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015162946A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 頭部位置検出装置及び頭部位置検出方法、画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラム
US10402939B2 (en) 2014-08-20 2019-09-03 Sony Corporation Information processing device, information processing method, and program
JP2021536588A (ja) * 2018-08-26 2021-12-27 レイア、インコーポレイテッドLeia Inc. ユーザ追跡を使用したマルチビューディスプレイ、システム、および方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011108256A (ja) * 2011-01-07 2011-06-02 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
JP2012004669A (ja) * 2010-06-14 2012-01-05 Nintendo Co Ltd 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004669A (ja) * 2010-06-14 2012-01-05 Nintendo Co Ltd 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP2011108256A (ja) * 2011-01-07 2011-06-02 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015162946A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 頭部位置検出装置及び頭部位置検出方法、画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラム
US10402939B2 (en) 2014-08-20 2019-09-03 Sony Corporation Information processing device, information processing method, and program
JP2021536588A (ja) * 2018-08-26 2021-12-27 レイア、インコーポレイテッドLeia Inc. ユーザ追跡を使用したマルチビューディスプレイ、システム、および方法

Similar Documents

Publication Publication Date Title
JP6015743B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5869177B1 (ja) 仮想現実空間映像表示方法、及び、プログラム
US10324523B2 (en) Rendering virtual images based on predicted head posture
US10915993B2 (en) Display apparatus and image processing method thereof
US8310537B2 (en) Detecting ego-motion on a mobile device displaying three-dimensional content
TWI544447B (zh) 擴增實境的方法及系統
US10037614B2 (en) Minimizing variations in camera height to estimate distance to objects
WO2016017254A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN104737205B (zh) 自适应尺度及/或重力估计
EP2933605A1 (en) A device orientation correction method for panorama images
JP2011075559A (ja) 動き検出装置および方法
JP2015095802A (ja) 表示制御装置、表示制御方法、およびプログラム
EP3528024B1 (en) Information processing device, information processing method, and program
US20240031678A1 (en) Pose tracking for rolling shutter camera
WO2013132885A1 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2011024363A1 (ja) 画像表示制御装置、画像表示制御方法及び集積回路
EP3185239A1 (en) Information processing device, information processing method, and program
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
CN111344776B (zh) 信息处理装置、信息处理方法和程序
WO2021075113A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240071018A1 (en) Smooth object correction for augmented reality devices
US11282228B2 (en) Information processing device, information processing method, and program
JP2023028404A (ja) 情報処理装置、情報処理方法、及びプログラム
CN107705320B (zh) 跟踪视频中的对象的边界点的方法和装置
TW202209875A (zh) 擴增實境系統與其錨定顯示虛擬物件的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13757649

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13757649

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP