WO2022196069A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2022196069A1
WO2022196069A1 PCT/JP2022/001327 JP2022001327W WO2022196069A1 WO 2022196069 A1 WO2022196069 A1 WO 2022196069A1 JP 2022001327 W JP2022001327 W JP 2022001327W WO 2022196069 A1 WO2022196069 A1 WO 2022196069A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
self
information processing
boundary
estimated
Prior art date
Application number
PCT/JP2022/001327
Other languages
English (en)
French (fr)
Inventor
遵 五味田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022196069A1 publication Critical patent/WO2022196069A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program that enable collision avoidance with an obstacle, for example.
  • VR virtual reality
  • HMD head mounted display
  • VR virtual reality
  • VR is, for example, an HMD (head mounted display) worn on the user's head, displaying an image of the virtual world according to the movement of the user's head. It is a technology that allows the user to enjoy the sensation of being there.
  • VR is used, for example, in computer games, simulators, and the like.
  • Methods for avoiding collisions between the user and obstacles include, for example, switching the image display of the HMD to the real world when the user approaches the boundary of the pre-set playable area. Therefore, in order to avoid collisions with obstacles, it is necessary to estimate the position of the user, for example, the position of the head of the user wearing the HMD.
  • SLAM Simultaneous Localization and Mapping
  • This technology has been developed in view of this situation, and enables collisions with obstacles to be avoided.
  • a first information processing device or program of the present technology reflects an estimation error of the estimated self-position between an estimated self-position obtained by estimating the self-position and a boundary of a predetermined region set in advance.
  • a first information processing method of the present technology is an error reflection distance reflecting an estimation error of the estimated self-position between an estimated self-position obtained by estimating the self-position and a boundary of a predetermined area set in advance.
  • the information processing method includes notifying the approach of the estimated self-position and the boundary of the predetermined area in response to.
  • the estimated self-position between the estimated self-position obtained by estimating the self-position and the boundary of a predetermined area set in advance The approach of the estimated self-position and the boundary of the predetermined area is notified according to the error reflection distance reflecting the estimated error of .
  • a second information processing device or program of the present technology reflects an estimation error of the estimated self-position between an estimated self-position obtained by estimating the self-position and a boundary of a predetermined region set in advance.
  • An information processing apparatus including a display control unit that controls display of an image corresponding to the estimated self-position according to the calculated error reflection distance, or a program for causing a computer to function as such an information processing apparatus.
  • a second information processing method of the present technology is an error reflecting distance reflecting an estimation error of the estimated self-position between an estimated self-position obtained by estimating the self-position and a boundary of a predetermined region set in advance.
  • the information processing method includes controlling display of an image corresponding to the estimated self-position according to the estimated self-position.
  • the estimated self-position between the estimated self-position obtained by estimating the self-position and the boundary of a predetermined area set in advance The display of the image corresponding to the estimated self-position is controlled according to the error reflection distance reflecting the estimated error of .
  • the information processing device may be an independent device, or may be an internal block that constitutes one device.
  • the program can be provided by transmitting it via a transmission medium or by recording it on a recording medium.
  • FIG. 1 is a diagram showing a usage example of an embodiment of a VR system to which the present technology is applied;
  • FIG. 3 is a block diagram showing an example of electrical configuration of the HMD 10 and the information processing device 30;
  • FIG. It is a figure explaining the Mahalanobis distance as boundary distance.
  • 4 is a diagram showing an example of setting of a movable area by an area setting unit 31;
  • FIG. 4 is a diagram showing a first example of a notification image;
  • FIG. FIG. 10 is a diagram showing a second example of a notification image;
  • FIG. 11 is a diagram showing a third example of a notification image;
  • FIG. 11 is a diagram showing a fourth example of a notification image
  • 4 is a flowchart for explaining an example of processing of the information processing device 30
  • 1 is a block diagram showing a configuration example of an embodiment of a computer to which the present technology is applied; FIG.
  • FIG. 1 is a diagram showing a usage example of one embodiment of a VR system to which this technology is applied.
  • the VR system 1 has an HMD 10, a controller 20, and an information processing device 30.
  • the HMD 10 and the controller 20 and the information processing device 30 can exchange various information (data) by performing wireless or wired communication.
  • the HMD 10 is a non-transmissive HMD that is worn on the user's head and covers the entire visual field of the user.
  • the HMD 10 has one or more cameras 11.
  • the HMD 10 when the user wears the HMD 10, the HMD 10 has two cameras 11 for photographing the front, one camera 11 for photographing each of the left and right, and one camera for photographing the rear. 11.
  • the HMD 10 can be possessed by various sensing devices in addition to the camera 11.
  • Sensing devices other than the camera 11 include an IMU (inertial measurement unit), a ToF (time of flight) sensor, and the like.
  • Images captured by the camera 11 and sensing data obtained by sensing by a sensing device other than the camera 11 are transmitted to the information processing device 30 and processed.
  • the camera 11 is a kind of sensing device, and therefore the image captured by the camera 11 is sensing data.
  • the controller 20 is operated by a user and transmits an operation signal according to the operation to the information processing device 30 .
  • the information processing device 30 processes images transmitted from the HDM 10, other sensing data, and operation signals transmitted from the controller 20, and generates images to be displayed on the HMD 10.
  • the information processing device 30 transmits the image to the HMD 10 for display.
  • the information processing device 30 estimates the position (movement) of the user's head from sensing data. Then, the information processing device 30 generates a virtual world image (computer graphics, etc.) corresponding to the position of the user's head estimated from the sensing data, and causes the HMD 10 to display the image.
  • a virtual world image computer graphics, etc.
  • the VR system 1 can be applied, for example, to computer games, theme park attractions, training simulators, and the like.
  • the information processing device 30 can be incorporated in the HMD 10 or the controller 20.
  • methods for estimating the position of the head of the user wearing the HMD include the Outside In method and the Inside Out method.
  • a sensing device is installed in the usage environment where the user uses the HMD. is estimated.
  • a sensing device is installed in the HMD, and the sensing data obtained by sensing the usage environment with the sensing device is used. The position of the head is estimated.
  • a camera can be adopted as a sensing device used to estimate the position of the user's head.
  • the position of the user's head is estimated from an image taken by the camera as sensing data.
  • the position of the user's head is estimated using the Inside Out method.
  • the VR system 1 that employs the Inside Out method, it is possible to estimate the position (movement) of the controller 20 operated by the user, in addition to estimating the position of the user's head from the image captured by the camera 11.
  • an HMD is equipped with multiple point light sources that emit infrared light. is used to accurately estimate the position of the head.
  • the Inside Out method is, in principle, less accurate in estimating the position of the head than the Outside In method, but does not require installation of a sensing device in the usage environment. Therefore, the cost of installing a camera in the usage environment is not required, and the usage environment is not restricted, so the Inside Out method is widely used in many VR systems such as home game machines.
  • the VR system may have a video transmission (see-through) function that displays images captured by the camera mounted on the HMD as if they were directly viewed. According to the video transmission function, the user can visually recognize the surrounding real world while wearing the HMD, such as between plays. Cameras as inside-out sensing devices can also be used for video transmission functions.
  • a first avoidance method for example, JP-A-2017-119031
  • a second avoidance method for example, a Japanese Patent Laid-Open No. 2005-165848
  • the first and second avoidance methods are to use the Outside In method for estimating the position of the user's head.
  • the method is based on the assumption that the position of the head of the user wearing the HMD is accurately estimated from the image captured by the camera.
  • the user's lower body and back may be blind spots from the camera 11 of the HMD 10, and obstacles may not appear in the image captured by the camera 11.
  • the VR system 1 preliminarily sets, for example, a predetermined area free of obstacles as a movable area in which the user wearing the HMD 10 can move. , has a collision avoidance function that avoids collisions with obstacles by appropriately notifying the user.
  • FIG. 2 is a block diagram showing an electrical configuration example of the HMD 10 and the information processing device 30. As shown in FIG.
  • the HMD 10 has a display 12 in addition to the camera 11.
  • a plurality of cameras 11 and displays 12 can be provided.
  • the camera 11 shoots the usage environment in the real world, and supplies the image obtained by the shooting to the information processing device 30 .
  • the image from the camera 11 is supplied to necessary blocks.
  • the display 12 displays images supplied from the information processing device 30 .
  • the information processing device 30 has an area setting unit 31, a self-position estimation unit 32, a distance calculation unit 33, and a display control unit 34.
  • the area setting unit 31 selects a predetermined area free from obstacles in the usage environment according to the self-position of the HMD 10 estimated by the self-position estimation unit 32 using the image from the camera 11 and the like. It is set as a movable area (for example, a playable area where a game can be played) that the user can move.
  • the area setting unit 31 supplies area information representing the movable area to the distance calculation unit 33 .
  • the VR system 1 can be used in any usage environment, so the VR system 1 may be used in an unknown environment. Therefore, the VR system 1 is required to set a usable area. It is desirable that the available area can be set to any area in an arbitrary environment while avoiding obstacles such as walls and furniture.
  • the user holds a self-position estimable device capable of estimating his/her own position, such as the HMD 10 or the controller 20, and grasps the outer circumference of the usable area.
  • a method of setting an area bounded by the trajectory of the estimated self-position of the device capable of estimating self-position as the usable area is a method of setting an area bounded by the trajectory of the estimated self-position of the device capable of estimating self-position as the usable area.
  • the user is asked to point a plurality of points forming the boundaries of the available area using the device capable of estimating the self-position, and the area bounded by the trajectory connecting the pointed points is defined as the available area.
  • the region setting unit 31 models the usage environment using the distance measured by the ranging device. , it is possible to set a movable area that avoids obstacles from a model of the use environment obtained by the modeling.
  • the self-position estimation unit 32 uses the image from the camera 11 to estimate the self-position of the HMD 10 as the position of the user's head according to the Inside Out method, and supplies it to the distance calculation unit 33 and the display control unit 34. .
  • the distance calculation unit 33 calculates a boundary distance, which is the distance between the position of the user's head from the self-position estimation unit 32 and the boundary of the available area represented by the area information from the area setting unit 31, and calculates the boundary distance. 34.
  • the display control unit 34 generates an image according to, for example, the position of the user's head from the self-position estimation unit 32 and the boundary distance from the distance calculation unit 33 .
  • the display control unit 34 performs display control to supply and display an image generated according to the position of the user's head and the boundary distance to the display 12 . Therefore, the display control unit 34 functions as a display control unit that controls the display of the display 12 as a display unit for displaying images according to the position of the user's head and the boundary distance.
  • the display control unit 34 generates an image of the virtual world according to the position of the user's head and causes the display 12 to display it.
  • the display control unit 34 generates a notification image that notifies approaching the boundary of the available area according to the boundary distance, and causes the display 12 to display it.
  • the display control unit 34 generates a notification image and causes the display 12 to display it when the boundary distance is equal to or less than the threshold.
  • the display control unit 34 functions as a notification unit that displays the notification image on the display 12 to notify the approach to the boundary of the available area.
  • the approach to the boundary of the available area can be notified by a method other than displaying the notification image, for example, by outputting sound or vibration.
  • a collision avoidance function that avoids collisions with obstacles is realized by appropriately informing the user of the approach to the boundary of the movable area.
  • the position of the user's head estimated (self-position estimation) by the self-position estimation unit 32 may contain an estimation error.
  • the actual position of the user's head may be outside the movable area. can occur. Conversely, even if the estimated self-position is outside the movable area, the actual position of the user's head may be within the movable area.
  • the estimation error included in the estimated self-position As a result, obstacles cannot be avoided.
  • the distance calculation unit 33 can employ, as the boundary distance, an error reflection distance that reflects (considers) the estimation error included in the estimated self-position, for example, a distance that decreases as the estimation error increases. Mahalanobis distance, for example, can be used as the distance that decreases as the estimation error increases.
  • the estimation error included in the estimated self-position can be estimated, for example, as follows.
  • the inverse matrix of the Hessian matrix used in the Gauss-Newton method can be used to estimate the self-position as a solution of the optimization problem.
  • the error (co)variance is a matrix whose elements are the results of partial differentiation of a function to be solved with respect to each variable.
  • the position of the one camera 11 can be estimated as the position of the head of the user wearing the HMD 10. Furthermore, in the Gauss-Newton method, images from a plurality of cameras 11 mounted on the HMD 10 can be used to estimate the position of the head of the user wearing the HMD 10 .
  • the position of each camera 11 can be estimated using the images of each of the multiple cameras 11 mounted on the HMD 10 .
  • the position of each of the multiple cameras 11 mounted on the HMD 10 can also be estimated using, for example, an IMU (inertial measurement unit) or GPS (global positioning system).
  • IMU intial measurement unit
  • GPS global positioning system
  • the positions of the multiple cameras 11 are integrated to estimate the position of the head of the user wearing the HMD 10.
  • a method such as a Kalman filter that integrates and filters observed values observed (sensed) by a plurality of sensing devices can be used.
  • the error variance used to calculate the likelihood of the position of the user's head as the estimated self-position is Desired.
  • the position estimation error (error variance) estimated for each camera 11 is used as a modeled error probability distribution, and the most likely The position of the user's head is estimated as a high degree state.
  • the input to the Kalman filter may be the position itself of each of the plurality of cameras 11, or may be a change in position.
  • the boundary distance between the estimated self-position and the predetermined target here, the boundary of the movable area
  • the Mahalanobis distance that reflects the error variance.
  • the estimated self-position is represented by a vector x
  • a point on the boundary of the movable area is represented by a vector y
  • an error covariance matrix as an estimation error of the estimated self-position x is represented by ⁇ .
  • the Mahalanobis distance dM as the boundary distance can be calculated according to equation (1).
  • Equation (1) the superscript T represents transposition, and ⁇ ⁇ 1 represents the inverse matrix of the error covariance matrix ⁇ .
  • FIG. 3 is a diagram explaining the Mahalanobis distance as a boundary distance.
  • the Mahalanobis distance is the Euclidean distance between two points normalized by the error variance.
  • the boundary distance is long in the direction with small error variance, and the boundary distance is short in the direction with large error variance.
  • the boundary distance becomes far in the direction where the estimation of self-location is likely to be correct, and the boundary distance becomes close in the direction where the estimation of self-location is likely to be incorrect.
  • the distance calculation unit 33 calculates the shortest Mahalanobis distance from the estimated self-position to the boundary of the movable area as the boundary distance.
  • the points on the boundary of the estimated self-position and the movable area are points in the three-dimensional space, each having three degrees of freedom.
  • the boundary surface of the movable area consists of a plane perpendicular to the floor
  • the points on the boundary of the estimated self-position and the movable area can be projected onto a plane parallel to the floor to obtain 2 It can be treated as a point in dimensional space.
  • the computational complexity of calculating the Mahalanobis distance as the boundary distance can be reduced.
  • the display control unit 34 According to the Mahalanobis distance as the boundary distance as described above, by generating a notification image that notifies the approach to the boundary of the available area, the correctness of the estimated self-position (estimation accuracy) Accordingly, the approach to the boundary of the available area can be appropriately notified to the user.
  • the estimation error of the estimated self-position in the direction of the boundary of the available area is estimated to be large, the estimation error A distance shorter than the Euclidean distance corresponding to the size is calculated as the boundary distance, making it easier to report the approach to the boundary of the available area.
  • the estimation error of the estimated self-position is large and the actual self-position is likely to be close to the boundary of the available area.
  • the user can be notified of the approach to the boundary of the available area.
  • FIG. 4 is a diagram showing an example of setting of the movable area by the area setting unit 31. As shown in FIG.
  • FIG. 4 is a plan view of a user's room as a usage environment.
  • the movable area is set by avoiding obstacles such as furniture.
  • FIG. 5 is a diagram showing a first example of the notification image.
  • the notification image may be an image of the real world captured by the camera 11 in the direction the user is facing (an image displayed by the video transparency function), or a blended image obtained by blending the image of the virtual world and the image of the real world. can be adopted.
  • threshold processing is performed on the boundary distance with a single threshold. can be switched to Also, when the boundary distance is no longer equal to or less than the threshold, the notification image can be switched to the image of the virtual world.
  • an image of the real world as a notification image can be displayed in picture-in-picture on the image of the virtual world.
  • the blending rate of the images in the real world and the virtual world can be changed step by step according to the boundary distance. That is, the blend ratio can be changed discretely or seamlessly according to the boundary distance by threshold processing the boundary distance.
  • FIG. 6 is a diagram showing a second example of the notification image.
  • the saturation of the image in the virtual world decreases when the user is near the boundary of the movable area, the saturation of the image in the virtual world is set to low saturation ( Ultimately, a low-saturation image converted to grayscale can be employed as the notification image.
  • FIG. 7 is a diagram showing a third example of the notification image.
  • the image can be employed as a notification image.
  • a virtual world image whose resolution decreases discretely or seamlessly as the boundary distance decreases can be adopted as the notification image.
  • the notification image for example, an image with a warning message displayed, a blinking image, etc. can be adopted.
  • the user can view the image of the virtual world without interrupting the viewing. For example, it is possible to take action to avoid obstacles without interrupting the play of a game or the like.
  • the display control unit 34 displays a guidance image that guides the user to reduce the estimation error.
  • a guidance image that guides the user to reduce the estimation error.
  • the guiding image can be displayed instead of the image of the virtual world or the notification image, or can be superimposed (superimposed) on the image of the virtual world or the notification image.
  • the notification image in addition to an image obtained by lowering the saturation or resolution of the image of the virtual world, an image obtained by lowering parameters other than the saturation and resolution, such as brightness, can be adopted.
  • the notification image in addition to an image with reduced saturation or resolution, an image with two or more reduced parameters among parameters such as saturation, resolution, and luminance can be adopted.
  • FIG. 8 is a diagram showing a fourth example of the notification image.
  • the notification image When an image captured by the camera 11 showing the real world in the direction the user is facing is displayed as the notification image, when there is an obstacle in front of the user, the user can be displayed by the notification image. , can see obstacles ahead and avoid them.
  • a bird's-eye view image can be generated using images captured by a plurality of cameras 11 of the HMD 10 .
  • a bird's-eye view image as a notification image can be displayed instead of an image of the virtual world.
  • the bird's-eye view image is an image of the virtual world, an image of the real world, or an image of the virtual world with reduced saturation as another notification image, or a blending rate that changes stepwise according to the boundary distance. It can be displayed as a picture-in-picture in the image of the virtual world.
  • the user can visually recognize obstacles in the background, etc., and avoid the obstacles.
  • one or more of the estimated self-position, the error variance of the estimated self-position, and the display of the movable area can be superimposed on the bird's-eye view image as the notification image.
  • the user can confirm the reason for the notification by the notification image. That is, the user can confirm, for example, whether there is really an obstacle nearby, or whether the user's position or usable area has shifted during use.
  • the boundary distance is short, the actual (Euclidean) distance between the user and the obstacle (boundary of the usable area) is short, and the estimation error of the estimated self-position is large. Sometimes the distance is short.
  • Whether the actual distance is short when the boundary distance is short, or whether the Mahalanobis distance is short because the estimation error of the estimated self-location is large can be determined, for example, from the estimation error of the estimated self-location.
  • the display control unit 34 can change the display method of the notification image depending on whether the actual distance is short or when the Mahalanobis distance is short due to a large estimation error of the estimated self-position. . By changing the manner of display in this way, the user can recognize whether the actual distance is short or the estimation error of the estimated self-position is large.
  • a blended image an image with a blending rate of 100% of the real world image, that is, including the real world image itself
  • the user can avoid collisions with obstacles by viewing the blended image showing the real world.
  • an image of the virtual world with reduced saturation etc. can be displayed as the notification image.
  • the user can continue watching the image of the virtual world, that is, playing the game, etc., while recognizing the possibility of collision with the obstacle.
  • an image such as an arrow guiding the user in a direction to avoid collision with an obstacle, for example, in a direction away from the boundary of the available area, is displayed as the notification image.
  • An image such as an arrow as the notification image can be superimposed and displayed on another notification image such as a virtual world image or a blended image or a desaturated virtual world image.
  • the display control unit 34 increases the amount of motion in the virtual world with respect to the amount of motion of the user in the real world for the motion of the user in the direction close to the boundary of the available area. can be done. For example, when an avatar imitating a user is displayed in the virtual world, the amount of movement of the avatar can be increased relative to the amount of movement of the user. In this case, it is possible to suppress the amount of movement of the user in the real world in the direction in which the Mahalanobis distance as the boundary distance is short, and avoid colliding with obstacles.
  • FIG. 9 is a flowchart illustrating an example of processing of the information processing device 30.
  • FIG. 9 is a flowchart illustrating an example of processing of the information processing device 30.
  • step S11 the area setting unit 31 sets a movable area according to a user's operation or the like, supplies area information representing the movable area to the distance calculation unit 33, and the process proceeds to step S12. move on.
  • step S12 the information processing device 30 determines whether or not the controller 20 has been operated to start play. If it is determined that the controller 20 has not been operated to start play, the process proceeds to step S12. return.
  • step S12 If it is determined in step S12 that the controller 20 has been operated to start playing, the process proceeds to step S13.
  • step S13 the self-position estimation unit 32 estimates the self-position using the image from the camera 11, supplies the resulting estimated self-position to the distance calculation unit 33 and the display control unit 34, The process proceeds to step S14.
  • step S14 the display control unit 34 generates an image of the virtual world according to the estimated self-position from the self-position estimation unit 32, displays it on the display 12, and the process proceeds to step S15.
  • step S15 the distance calculation unit 33 uses the estimated self-position from the self-position estimation unit 32 and the area information from the area setting unit 31 to calculate the Mahalanobis distance as the boundary distance, and sends it to the display control unit 34. After supplying, the process proceeds to step S16.
  • step S16 the display control unit 34 controls the display of the display 12 according to the boundary distance from the distance calculation unit 33, and the process proceeds to step S17.
  • the display control unit 34 For example, if the boundary distance is not equal to or less than the threshold, the display control unit 34 generates an image of the virtual world according to the estimated self-position and causes the display 12 to display it.
  • the display control unit 34 when the boundary distance is equal to or less than the threshold, the display control unit 34 generates a notification image and causes the display 12 to display it. As a result, the user is notified of the approach to the boundary of the usable area.
  • An image such as an arrow that guides the user in a direction, an overhead image, or the like can be displayed.
  • the display control in step S16 can increase the amount of movement in the virtual world relative to the amount of movement of the user in the real world when displaying the image of the virtual world.
  • the amount of motion in the virtual world relative to the amount of motion of the user in the real world can be increased in the direction near the boundary of the available area. This prevents the user from going out of the usable area, thereby avoiding collisions with obstacles.
  • the display control in step S16 can display a guidance image that guides the user to reduce the estimation error.
  • step S17 the information processing device 30 determines whether or not the controller 20 has been operated to end the play. If it is determined that the controller 20 has not been operated to end the play, the process proceeds to step S13. return.
  • step S17 if it is determined in step S17 that the controller 20 has been operated to end the play, the process ends.
  • an error reflection distance such as the Mahalanobis distance that reflects the estimation error of the estimated self-position is adopted as the boundary distance, and the approach to the available area is notified according to the boundary distance. . Therefore, when the user is actually approaching or likely to reach the boundary of the available area, but the estimated self-position is estimated to be a position away from the boundary of the available area due to poor estimation accuracy, the user can avoid going out of the available area and colliding with obstacles.
  • the notification image when adopting a virtual world image with reduced saturation etc., or a virtual world image in which the blend rate etc. changes step by step according to the boundary distance, or such a notification image or virtual world image
  • the user can avoid obstacles without interrupting viewing of the image of the virtual world.
  • the user can check not only the front but also the obstacles in the blind spots such as behind.
  • notification of approaching the boundary of the available area can be performed by outputting sound, vibration, or the like.
  • the frequency and power (magnitude) of the sound or vibration are adjusted according to the boundary distance and the estimation error of the estimated self-position. can be changed.
  • the Mahalanobis distance is used as the error reflection distance, but a distance other than the Mahalanobis distance that reflects the estimation error of the estimated self-position can be used as the error reflection distance. .
  • Equation (2) As the error reflection distance, it is possible to adopt the distance d expressed by Equation (2), which becomes shorter when the error variance is large and becomes longer when the error variance is small.
  • Equation (2) tr( ⁇ ) represents the trace of the error covariance matrix ⁇ as the estimation error of the estimated self-position.
  • the error reflection distance the four arithmetic operations including the value corresponding to the estimation error of the estimated self-position are calculated, various operations such as logarithmic operation and exponential operation, and furthermore, the estimated error is reflected by combining various operations. Any distance can be employed.
  • the method of using the error reflection distance as the boundary distance can be applied to the Outside In method in addition to the Inside Out method.
  • FIG. 10 is a block diagram showing a configuration example of one embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance on the hard disk 905 or ROM 903 as a recording medium built into the computer.
  • the program can be stored (recorded) in a removable recording medium 911 driven by the drive 909.
  • a removable recording medium 911 can be provided as so-called package software.
  • the removable recording medium 911 includes, for example, a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto Optical) disc, DVD (Digital Versatile Disc), magnetic disc, semiconductor memory, and the like.
  • the program can be installed in the computer from the removable recording medium 911 as described above, or can be downloaded to the computer via a communication network or broadcasting network and installed in the built-in hard disk 905 . That is, for example, the program is transferred from the download site to the computer wirelessly via an artificial satellite for digital satellite broadcasting, or transferred to the computer by wire via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer incorporates a CPU (Central Processing Unit) 902 , and an input/output interface 910 is connected to the CPU 902 via a bus 901 .
  • a CPU Central Processing Unit
  • an input/output interface 910 is connected to the CPU 902 via a bus 901 .
  • the CPU 902 executes a program stored in a ROM (Read Only Memory) 903 according to a command input by the user through the input/output interface 910 by operating the input unit 907 or the like. .
  • the CPU 902 loads a program stored in the hard disk 905 into a RAM (Random Access Memory) 904 and executes it.
  • the CPU 902 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 902 outputs the processing result from the output unit 906 via the input/output interface 910, transmits it from the communication unit 908, or records it in the hard disk 905 as necessary.
  • the input unit 907 is composed of a keyboard, mouse, microphone, and the like. Also, the output unit 906 is composed of an LCD (Liquid Crystal Display), a speaker, and the like.
  • LCD Liquid Crystal Display
  • processing performed by the computer according to the program does not necessarily have to be performed in chronological order according to the order described as the flowchart.
  • processing performed by a computer according to a program includes processing that is executed in parallel or individually (for example, parallel processing or processing by objects).
  • the program may be processed by one computer (processor), or may be processed by a plurality of computers in a distributed manner. Furthermore, the program may be transferred to a remote computer and executed.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • this technology can take the configuration of cloud computing in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • this technology can take the following configuration.
  • ⁇ 1> between the estimated self-position obtained by estimating the self-position and the boundary of a predetermined region set in advance, according to an error reflecting distance reflecting an estimation error of the estimated self-position, the estimated self-position and the predetermined Information processing apparatus comprising a notification unit that notifies approaching the boundary of the area of .
  • the error reflection distance is a distance that decreases as the estimation error increases.
  • the error reflection distance is a Mahalanobis distance.
  • the notification unit displays a notification image that notifies approaching the boundary.
  • the information processing apparatus changes the notification image according to the error reflection distance.
  • the notification image is a blended image obtained by blending a virtual world image and a real world image corresponding to the estimated self-position,
  • the information processing device according to ⁇ 5>, wherein the notification unit changes a blend ratio of the virtual world image and the real world image in the blend image.
  • the notification unit changes saturation, resolution, or luminance of the notification image.
  • the notification image is a bird's-eye view image of a real world including the estimated self-position.
  • the information processing apparatus includes one or more of the estimated self-position, the estimated error, and display of the predetermined area.
  • ⁇ 13> The information processing apparatus according to ⁇ 12>, wherein the error reflection distance is a distance that decreases as the estimation error increases.
  • ⁇ 14> The information processing apparatus according to ⁇ 12> or ⁇ 13>, wherein the error reflection distance is a Mahalanobis distance.
  • ⁇ 15> The information processing apparatus according to any one of ⁇ 12> to ⁇ 14>, wherein the display control unit increases the amount of motion in the virtual world relative to the amount of motion of the user whose self-position is estimated in the image of the virtual world.
  • ⁇ 16> The information processing apparatus according to ⁇ 15>, wherein the display control unit increases an amount of motion of the virtual world with respect to an amount of motion of the user in a direction in which the boundary is close.
  • a program that causes a computer to function as a display controller that controls image display.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本技術は、障害物との衝突を回避することができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、推定自己位置の推定誤差を反映した誤差反映距離に応じて、推定自己位置と所定の領域の境界との接近が報知され、又は、推定自己位置に応じた画像の表示が制御される。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、障害物との衝突を回避することができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。
　VR(virtual reality)は、例えば、ユーザが頭部に装着するHMD(head mounted display)に、ユーザの頭部の動きに合わせた仮想世界の画像を表示することで、あたかも仮想世界に存在しているかのような感覚をユーザに享受させることができる技術である。VRは、例えば、コンピュータゲームやシミュレータ等に用いられる。
　VRでは、仮想世界への没入感を向上するため、HMDを装着したユーザが、周囲の現実世界を見えないようすることが多い。現実世界が見えない場合、ユーザが、現実世界の障害物（壁や家具等）に衝突する可能性があるため、その衝突を回避する必要がある。
　ユーザと障害物との衝突を回避する方法としては、例えば、ユーザが、事前に設定されたプレイ可能領域の境界に接近した場合に、HMDの画像表示を、現実世界に切り替える方法等がある。したがって、障害物との衝突を回避するには、ユーザの位置、例えば、HMDが装着されたユーザの頭部の位置を推定する必要がある。
　ユーザの頭部の位置を推定する方法としては、HMDにカメラを搭載し、そのカメラでHMDを使用する使用環境を撮影して得られる画像を用い、SLAM(Simultaneous Localization and Mapping)と呼ばれる技術（例えば、特許文献１を参照）により、HMDからの使用環境の見え方の変化から逆算して、ユーザの頭部の位置を推定する方法がある。
特開2016-045874号公報
　頭部の位置の推定精度によっては、推定された頭部の位置は、事前に設定されたプレイ可能領域内にあるが、実際の頭部の位置は、プレイ可能領域外にあるケースや、逆のケースが生じ得る。そのため、障害物との衝突の回避が困難な場合がある。
　本技術は、このような状況に鑑みてなされたものであり、障害物との衝突を回避することができるようにするものである。
　本技術の第１の情報処理装置、又は、プログラムは、自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置と前記所定の領域の境界との接近を報知する報知部を備える情報処理装置、又は、そのような情報処理装置としてコンピュータを機能させるためのプログラムである。
　本技術の第１の情報処理方法は、自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置と前記所定の領域の境界との接近を報知することを含む情報処理方法である。
　本技術の第１の情報処理装置、情報処理方法、及び、プログラムにおいては、自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置と前記所定の領域の境界との接近が報知される。
　本技術の第２の情報処理装置、又は、プログラムは、自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置に応じた画像の表示を制御する表示制御部を備える情報処理装置、又は、そのような情報処理装置としてコンピュータを機能させるためのプログラムである。
　本技術の第２の情報処理方法は、自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置に応じた画像の表示を制御することを含む情報処理方法である。
　本技術の第２の情報処理装置、情報処理方法、及び、プログラムにおいては、自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置に応じた画像の表示が制御される。
　情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術を適用したVRシステムの一実施の形態の使用例を示す図である。 HMD１０及び情報処理装置３０の電気的構成例を示すブロック図である。 境界距離としてのマハラノビス距離を説明する図である。 領域設定部３１による移動可能領域の設定の例を示す図である。 報知画像の第１の例を示す図である。 報知画像の第２の例を示す図である。 報知画像の第３の例を示す図である。 報知画像の第４の例を示す図である。 情報処理装置３０の処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用したVRシステムの一実施の形態＞
　図１は、本技術を適用したVRシステムの一実施の形態の使用例を示す図である。
　VRシステム１は、HMD１０、コントローラ２０、及び、情報処理装置３０を有する。HMD１０及びコントローラ２０それぞれと、情報処理装置３０とは、無線又は有線による通信を行うことで、各種の情報（データ）をやりとりすることができる。
　HMD１０は、ユーザの頭部に装着され、ユーザの視野全体を覆う非透過型のHMDであり、情報処理装置３０の制御に従い、情報処理装置３０から供給（送信）される画像等を表示する。
　HMD１０は、1個以上のカメラ１１を有する。本実施の形態では、HMD１０は、ユーザがHMD１０を装着したときに、前方を撮影する2個のカメラ１１、左右それぞれを撮影する1個ずつのカメラ１１、及び、後方を撮影する1個のカメラ１１を有する。
　HMD１０は、カメラ１１の他、各種のセンシングデバイスが有することができる。カメラ１１以外のセンシングデバイスとしては、IMU(inertial measurement unit)やToF(time of flight)センサ等がある。
　カメラ１１で撮影された画像や、カメラ１１以外のセンシングデバイスのセンシングにより得られるセンシングデータは、情報処理装置３０に送信されて処理される。なお、カメラ１１は、センシングデバイスの一種であり、したがって、カメラ１１で撮影される画像は、センシングデータである。
　コントローラ２０は、ユーザによって操作され、その操作に応じた操作信号を、情報処理装置３０に送信する。
　情報処理装置３０は、HDM１０から送信される画像、及び、他のセンシングデータ、並びに、コントローラ２０から送信される操作信号を処理し、HMD１０に表示させる画像を生成する。情報処理装置３０は、画像を、HMD１０に送信して表示させる。
　例えば、情報処理装置３０は、センシングデータから、ユーザの頭部の位置（動き）を推定する。そして、情報処理装置３０は、センシングデータから推定されたユーザの頭部の位置に応じた仮想世界の画像（computer graphics等）を生成し、HMD１０に表示させる。
　ユーザは、HMD１０で表示される仮想世界の画像を見ることで、あたかも仮想世界の中に存在しているかのような感覚を享受することができる。
　VRシステム１は、例えば、コンピュータゲームや、テーマパークのアトラクション、訓練のためのシミュレータ等に適用することができる。
　なお、VRシステム１において、情報処理装置３０は、HMD１０又はコントローラ２０に内蔵させることができる。
　ここで、HMDが装着されたユーザの頭部の位置を推定する方法としては、Outside In方式と、Inside Out方式とがある。
　Outside In方式では、ユーザがHMDを使用する使用環境に、センシングデバイスを設置し、そのセンシングデバイスで、HMDをセンシングして、HMD、ひいては、HMDが装着されたユーザの頭部の位置（姿勢）が推定される。
　Inside Out方式では、HMDにセンシングデバイスを搭載し、そのセンシングデバイスで使用環境をセンシングすることにより得られるセンシングデータを用い、例えば、HMDからの使用環境の見え方の変化から逆算して、ユーザの頭部の位置が推定される。
　ユーザの頭部の位置の推定に用いるセンシングデバイスとしては、カメラを採用することができる。この場合、カメラで撮影されたセンシングデータとしての画像から、ユーザの頭部の位置が推定される。
　図１のVRシステム１では、Inside Out方式で、ユーザの頭部の位置が推定される。
　Inside Out方式を採用するVRシステム１では、カメラ１１で撮影された画像から、ユーザの頭部の位置を推定する他、ユーザが操作するコントローラ２０の位置（動き）を推定することができる。
　Inside Out方式において、ユーザの頭部やコントローラ２０の位置の推定を安定的に行うには、広範囲の使用環境が映り、コントローラ２０が常時映る画像を撮影することが望ましい。そのため、図１に示すように、HMD１０には、カメラ１１を複数個搭載することが望ましい。
　一方、Outside In方式では、例えば、HMDに赤外光を発光する点光源を複数個搭載し、その点光源を、使用環境に設置されたセンシングデバイスとしてのカメラで撮影することにより得られる画像を用いて、頭部の位置が精度良く推定される。
　Outside In方式では、使用環境にセンシングデバイスの設置が必要となるため、センシングデバイスの設置に費用を要する。さらに、Outside In方式では、センシングデバイスが設置された環境でしか、VRシステムを利用することができない。
　これに対して、Inside Out方式は、Outside In方式に比較して、原理上、頭部の位置の推定精度が劣るが、使用環境へのセンシングデバイスの設置を必要としない。そのため、使用環境にカメラを設置する費用が不要となり、使用環境が制限されることもないので、Inside Out方式は、例えば、家庭用ゲーム機等の多くのVRシステムでの利用が広がっている。
　VRシステムにおいては、仮想世界への没入感を向上させるため、ゲーム等のプレイ中に、ユーザに、周囲の現実世界を見えないように（非透過型に）することが多い。
　また、VRシステムは、HMDに搭載されたカメラで撮影された画像を、あたかも直接目視しているように表示させるビデオ透過（シースルー）機能を有することがある。ビデオ透過機能によれば、ユーザは、プレイの合間等に、HMDを装着したまま、周囲の現実世界を視認することができる。Inside out方式のセンシングデバイスとしてのカメラは、ビデオ透過機能にも利用することができる。
　非透過型のVRシステムでは、ユーザは、現実世界が見えない状態でプレイするので、現実世界の障害物（壁や家具等）に衝突する可能性がある。したがって、ユーザが現実世界の障害物に衝突することを回避することが必要になる。
　ユーザの、現実世界の障害物との衝突を回避する方法としては、例えば、障害物との接近を検知し、その接近をユーザに通知する方法や、HMDに現実世界を表示すること等により、障害物との接近をユーザに視認させる方法等がある。
　例えば、ユーザが、事前に設定されたプレイ可能領域の境界に接近又は到達した場合に、HMDの画像表示を、現実世界に切り替える第１の回避方法（例えば、特開2017-119031号公報）がある。その他、例えば、HMDを装着したユーザの頭部の位置が、追跡可能な領域から逸脱する場合に、HMDに、仮想世界と現実世界とを合成して表示する第２の回避方法（例えば、特開2005-165848号公報）がある。
　なお、第１及び第２の回避方法は、ユーザの頭部の位置の推定に、Outside In方式を使用すること、つまり、HMDを使用する使用環境に、センシングデバイスとしての、例えば、カメラを設置し、そのカメラで撮影される画像から、HMDを装着したユーザの頭部の位置を正確に推定することを前提とする方法である。
　センシングデバイスとしてのカメラで撮影される画像に障害物が映っている場合、障害物との接近を検知することは、容易に行うことができる。
　但し、Inside Out方式を採用するVRシステム１では、ユーザの下半身回りや背後が、HMD１０のカメラ１１から死角になって、カメラ１１で撮影される画像に、障害物が映らないことがある。
　そこで、VRシステム１は、使用環境において、例えば、障害物がない所定の領域を、HMD１０を装着したユーザが移動可能な移動可能領域として事前に設定し、その移動可能領域の境界との接近を、ユーザに適切に報知することで、障害物との衝突を回避する衝突回避機能を有する。
　＜HMD１０及び情報処理装置３０の電気的構成例＞
　図２は、HMD１０及び情報処理装置３０の電気的構成例を示すブロック図である。
　HMD１０は、カメラ１１の他、ディスプレイ１２を有する。カメラ１１及びディスプレイ１２は、それぞれ複数設けることができる。
　カメラ１１は、現実世界の使用環境を撮影し、その撮影により得られる画像を、情報処理装置３０に供給する。情報処理装置３０では、カメラ１１からの画像が必要なブロックに供給される。
　ディスプレイ１２は、情報処理装置３０から供給される画像を表示する。
　情報処理装置３０は、領域設定部３１、自己位置推定部３２、距離算出部３３、及び、表示制御部３４を有する。
　領域設定部３１は、例えば、カメラ１１からの画像等を用いて自己位置推定部３２で推定されるHMD１０の自己位置に応じて、使用環境において障害物がない所定の領域を、HMD１０を装着したユーザが移動可能な移動可能領域（例えば、ゲームのプレイが可能なプレイ可能領域）として設定する。領域設定部３１は、移動可能領域を表す領域情報を、距離算出部３３に供給する。
　ここで、VRシステム１が採用するInside Out方式によれば、任意の使用環境で、VRシステム１を使用することができるので、VRシステム１は、未知の環境で使用されることがある。そのため、VRシステム１には、利用可能領域を設定することが要求される。利用可能領域は、任意の環境において、壁や家具等の障害物を避けて、任意の領域を設定することができることが望ましい。
　そのような利用可能領域を設定する設定方法としては、例えば、ユーザに、HMD１０やコントローラ２０等の、自己位置を推定可能な自己位置推定可能デバイスを手にもって、利用可能領域とする領域の外周を歩いてもらい、自己位置推定可能デバイスについて推定された自己位置の軌跡を境界とする領域を、利用可能領域に設定する方法がある。
　また、例えば、ユーザに、自己位置推定可能デバイスで、利用可能領域の境界となる複数の点をポインティングしてもらい、そのポインティングされた複数の点を結ぶ軌跡を境界とする領域を、利用可能領域に設定する方法がある。
　その他、例えば、HMD１０に、距離を測定するセンシングデバイスである測距デバイスが搭載されている場合には、領域設定部３１では、測距デバイスで測定された距離を用いて、使用環境をモデリングし、そのモデリングにより得られる使用環境のモデルから、障害物を避けた移動可能領域を設定することができる。
　自己位置推定部３２は、カメラ１１からの画像を用い、Inside Out方式により、HMD１０の自己位置を、ユーザの頭部の位置として推定し、距離算出部３３、及び、表示制御部３４に供給する。
　距離算出部３３は、自己位置推定部３２からのユーザの頭部の位置と、領域設定部３１からの領域情報が表す利用可能領域の境界との距離である境界距離を算出し、表示制御部３４に供給する。
　表示制御部３４は、例えば、自己位置推定部３２からのユーザの頭部の位置や、距離算出部３３からの境界距離に応じて、画像を生成する。表示制御部３４は、ユーザの頭部の位置や境界距離に応じて生成した画像を、ディスプレイ１２に供給して表示させる表示制御を行う。したがって、表示制御部３４は、ユーザの頭部の位置や境界距離に応じて、画像を表示する表示部としてのディスプレイ１２の表示を制御する表示制御部として機能する。
　例えば、表示制御部３４は、ユーザの頭部の位置に応じた仮想世界の画像を生成し、ディスプレイ１２に表示させる。
　また、表示制御部３４は、境界距離に応じて、利用可能領域の境界との接近を報知する報知画像を生成し、ディスプレイ１２に表示させる。
　例えば、表示制御部３４は、境界距離が閾値以下である場合に報知画像を生成し、ディスプレイ１２に表示させる。
　報知画像がディスプレイ１２に表示されることで、利用可能領域の境界との接近が、ユーザに適切に報知される。したがって、表示制御部３４は、報知画像をディスプレイ１２に表示させることにより、利用可能領域の境界との接近を報知する報知部として機能する。
　なお、利用可能領域の境界との接近の報知は、報知画像の表示以外の方法、例えば、音や振動の出力等によって行うことができる。
　以上のように、移動可能領域の境界との接近を、ユーザに適切に報知することで、障害物との衝突を回避する衝突回避機能が実現される。
　ところで、自己位置推定部３２で推定（自己位置推定）されたユーザの頭部の位置（以下、推定自己位置ともいう）は、推定誤差を含むことがある。
　推定自己位置に含まれる推定誤差（推定自己位置の推定精度）によっては、推定自己位置が移動可能領域内にあっても、実際のユーザの頭部の位置が、移動可能領域外にあるケースが生じ得る。逆に、推定自己位置が移動可能領域外にあっても、実際のユーザの頭部の位置が、移動可能領域内にあるケースも生じ得る。
　したがって、推定自己位置と利用可能領域の境界との境界距離として、推定自己位置に含まれる推定誤差を考慮しない距離、例えば、ユークリッド距離を採用する場合には、推定自己位置に含まれる推定誤差に起因して、障害物を回避することができないことが生じ得る。
　そこで、距離算出部３３では、境界距離として、推定自己位置に含まれる推定誤差を反映（考慮）した誤差反映距離、例えば、推定誤差が大きくなるほど短くなる距離を採用することができる。推定誤差が大きくなるほど短くなる距離としては、例えば、マハラノビス距離を採用することができる。
　推定自己位置に含まれる推定誤差は、例えば、以下のようにして見積もることができる。
　例えば、SLAMにおいて、自己位置の推定を、最適化問題として解く場合に、ガウスニュートン法を採用するときには、ガウスニュートン法で用いるヘッセ行列の逆行列によって、最適化問題の解としての推定自己位置の推定誤差としての誤差（共）分散を見積もることができる。ヘッセ行列は、解くべき関数を各変数で偏微分した結果を要素とする行列である。
　ガウスニュートン法では、HMD１０に搭載された１つのカメラ１１の画像を用いて、その１つのカメラ１１の位置を、HMD１０を装着したユーザの頭部の位置として推定することができる。さらに、ガウスニュートン法では、HMD１０に搭載された複数のカメラ１１の画像を用いて、HMD１０を装着したユーザの頭部の位置を推定することができる。
　また、ガウスニュートン法では、HMD１０に搭載された複数のカメラ１１それぞれの画像を用いて、それぞれのカメラ１１の位置を推定することができる。
　HMD１０に搭載された複数のカメラ１１それぞれの位置は、その他、例えば、IMU(inertial measurement unit)や、GPS(global positioning system)等を用いて推定することができる。
　HMD１０に搭載された複数のカメラ１１それぞれの位置を推定する場合には、複数のカメラ１１それぞれの位置を統合して、HMD１０を装着したユーザの頭部の位置が推定される。
　複数のカメラ１１それぞれの位置の統合には、カルマンフィルタのような複数のセンシングデバイスで観測（センシング）される観測値を統合してフィルタリングする方法を用いることができる。
　カルマンフィルタを用い、複数のカメラ１１それぞれの位置から、HMD１０を装着したユーザの頭部の位置を推定する場合、推定自己位置としてのユーザの頭部の位置の尤度の算出に用いられる誤差分散が求められる。
　ガウスニュートン法で推定された複数のカメラ１１それぞれの位置をカルマンフィルタで統合する場合、各カメラ１１について推定された位置の推定誤差（誤差分散）を、モデル化された誤差確率分布として用い、最も尤度が高い状態としてのユーザの頭部の位置が推定される。カルマンフィルタへの入力は、複数のカメラ１１それぞれの位置そのものであっても良いし、位置の変化であっても良い。
　推定自己位置の誤差（共）分散が得られる場合、その推定自己位置と所定の対象、ここでは、移動可能領域の境界との境界距離は、誤差分散を反映したマハラノビス距離で表現することができる。
　3次元座標系において、推定自己位置をベクトルxで表すとともに、移動可能領域の境界上の点をベクトルyで表し、推定自己位置xの推定誤差としての誤差共分散行列をΣで表すこととする。境界距離としてのマハラノビス距離dMは、式（１）に従って算出することができる。
　dM＝√((x-y)T・Σ-1・(x-y))
　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　式（１）において、上付のTは転置を表し、Σ-1は、誤差共分散行列Σの逆行列を表す。
　＜マハラノビス距離＞
　図３は、境界距離としてのマハラノビス距離を説明する図である。
　マハラノビス距離は、2点間のユークリッド距離を誤差分散で正規化した距離である。
　したがって、誤差分散が小さい方向については、境界距離は遠くなり、誤差分散が大きい方向については、境界距離は近くなる。
　すなわち、自己位置の推定が正しい可能性が高い方向については、境界距離は遠くなり、自己位置の推定が誤っている可能性が高い方向については、境界距離は近くなる。
　距離算出部３３は、例えば、推定自己位置から移動可能領域の境界までの最短のマハラノビス距離を、境界距離として算出する。
　なお、推定自己位置及び移動可能領域の境界上の点は、3次元空間上の点であり、それぞれ3自由度をもつ。但し、移動可能領域の境界面が床面に垂直な面で構成されると仮定すると、推定自己位置及び移動可能領域の境界上の点は、床面に平行な平面に投影することにより、2次元空間上の点として扱うことができる。これにより、境界距離としてのマハラノビス距離の算出の計算量を削減することができる。
　表示制御部３４において、以上のような境界距離としてのマハラノビス距離に応じて、利用可能領域の境界との接近を報知する報知画像を生成することにより、推定自己位置の正しさ（推定精度）に応じて、利用可能領域の境界との接近を、ユーザに適切に報知することができる。
　例えば、推定自己位置が、利用可能領域の境界に接近した位置でない場合であっても、利用可能領域の境界の方向への推定自己位置の推定誤差が大きいと推定されるときには、その推定誤差の大きさに応じた分だけ、ユークリッド距離よりも短い距離が、境界距離として算出され、利用可能領域の境界との接近が報知されやすくなる。
　したがって、推定自己位置が、利用可能領域の境界に接近した位置でないが、推定自己位置の推定誤差が大きく、実際の自己位置が、利用可能領域の境界に接近した位置である可能性が高い場合に、利用可能領域の境界との接近を、ユーザに報知することができる。
　＜移動可能領域の設定＞
　図４は、領域設定部３１による移動可能領域の設定の例を示す図である。
　図４は、使用環境としてのユーザの部屋の平面図である。
　図４では、家具等の障害物を避けて、移動可能領域が設定されている。
　＜報知画像＞
　図５は、報知画像の第１の例を示す図である。
　報知画像としては、カメラ１１で撮影された、ユーザが向いている方向の現実世界の画像（ビデオ透過機能で表示される画像）や、仮想世界の画像と現実世界の画像とをブレンドしたブレンド画像を採用することができる。
　報知画像として、現実世界の画像を採用する場合、境界距離を１つの閾値で閾値処理することにより、境界距離が閾値以下になったときには、仮想世界の画像を、報知画像としての現実世界の画像に切り替えることができる。また、境界距離が閾値以下でなくなったときには、報知画像を、仮想世界の画像に切り替えることができる。
　あるいは、境界距離が閾値以下である間、報知画像としての現実世界の画像を、仮想世界の画像に、ピクチャインピクチャで表示することができる。
　報知画像として、ブレンド画像を採用する場合、境界距離に応じて、仮想世界の画像と、報知画像としての所定のブレンド率でブレンドされたブレンド画像とを切り替えることができる。
　その他、ブレンド画像については、図５に示すように、境界距離に応じて、境界距離が近い（短い）ほど、現実世界の画像のブレンド率を大きくするとともに、仮想世界の画像のブレンド率を小さくすることができる。
　現実世界及び仮想世界の画像のブレンド率は、境界距離に応じて段階的に変化させることができる。すなわち、ブレンド率は、境界距離を閾値処理することにより、離散的に変化させることや、境界距離に応じて、シームレスに変化させることができる。
　図６は、報知画像の第２の例を示す図である。
　移動可能領域の境界に近い位置にいる場合に、仮想世界の画像の彩度が低下することを、ユーザに事前に理解してもらった上で、仮想世界の画像の彩度を低彩度（究極的にはグレースケール）にした低彩度画像を、報知画像として採用することができる。
　この場合、図６に示すように、境界距離を１つの閾値で閾値処理することにより、境界距離が閾値以下になったときには、通常の彩度（高彩度）の仮想世界の画像が、報知画像としての低彩度の仮想世界の画像に切り替えられる。
　なお、図５の場合と同様に、境界距離に応じて、境界距離が近いほど彩度が離散的又はシームレスに低下する仮想世界の画像を、報知画像として採用することができる。
　図７は、報知画像の第３の例を示す図である。
　移動可能領域の境界に近い位置にいる場合に、仮想世界の画像の解像度が低下することを、ユーザに事前に理解してもらった上で、仮想世界の画像の解像度を低解像度にした低解像度画像を、報知画像として採用することができる。
　この場合、図７に示すように、境界距離を１つの閾値で閾値処理することにより、境界距離が閾値以下になったときには、通常の解像度（高解像度）の仮想世界の画像が、報知画像としての低解像度の仮想世界の画像に切り替えられる。
　なお、図５の場合と同様に、境界距離に応じて、境界距離が近いほど解像度が離散的又はシームレスに低下する仮想世界の画像を、報知画像として採用することができる。
　その他、報知画像としては、例えば、警告メッセージが表示された画像や、明滅する画像等を採用することができる。
　図５ないし図７で説明したように、ブレンド率や、彩度、解像度を境界距離に応じて段階的に変化させる場合には、ユーザは、仮想世界の画像の視聴を中断せずに、すなわち、例えば、ゲーム等のプレイを中断せずに、障害物を回避する行動をとることができる。
　また、推定自己位置の推定誤差が大きいことに起因して、境界距離が近くなっている場合には、表示制御部３４は、推定誤差が小さくなるようにユーザを誘導する誘導画像を表示することができる。例えば、現実世界を鮮明に撮影するために、部屋を明るくすることを要求するメッセージの画像や、室内の特徴点となる部分が鮮明に撮影することができる位置にユーザを誘導する矢印の画像等を、誘導画像として採用することができる。誘導画像は、仮想世界の画像若しくは報知画像に代えて表示すること、又は、仮想世界の画像若しくは報知画像に重畳して（スーパーインポーズで）表示することができる。
　なお、報知画像としては、仮想世界の画像の彩度又は解像度を低下させた画像の他、彩度、及び、解像度以外のパラメータ、例えば、輝度等を低下させた画像を採用することができる。
　さらに、報知画像としては、彩度又は解像度を低下させた画像の他、彩度、解像度、及び、輝度等のパラメータのうちの2種類以上のパラメータを低下させた画像を採用することができる。
　図８は、報知画像の第４の例を示す図である。
　報知画像として、ユーザが向いている方向の現実世界が映る、カメラ１１で撮影された画像を、報知画像として表示する場合には、ユーザの前方に障害物があるときには、ユーザは、報知画像により、前方の障害物を視認し、その障害物を避けることができる。
　一方、障害物が、ユーザの背後や、カメラ１１の死角にあるときには、ユーザが向いている方向の現実世界が映る画像を、報知画像として表示しても、ユーザは障害物を視認することができず、障害物を回避することが困難となる。
　そこで、報知画像としては、現実世界のユーザの周囲を上方から俯瞰した俯瞰画像、例えば、推定自己位置を含む現実世界を俯瞰した俯瞰画像を採用することができる。俯瞰画像は、HMD１０の複数のカメラ１１で撮影された画像を用いて生成することができる。
　報知画像としての俯瞰画像は、仮想世界の画像に代えて表示することができる。また、俯瞰画像は、仮想世界の画像、現実世界の画像、又は、他の報知画像としての彩度等が低下した仮想世界の画像、若しくは、境界距離に応じてブレンド率等が段階的に変化する仮想世界の画像に、ピクチャインピクチャで表示することができる。
　報知画像として、俯瞰画像を採用する場合には、ユーザは、背後等にある障害物を視認し、その障害物を避けることができる。
　報知画像としての俯瞰画像には、図８に示すように、推定自己位置や、推定自己位置の誤差分散、移動可能領域の表示の１つ以上を重畳することができる。
　俯瞰画像に、推定自己位置や、推定自己位置の誤差分散、移動可能領域の表示を重畳する場合には、ユーザは、報知画像による報知の理由を確認することができる。すなわち、ユーザは、例えば、本当に障害物が近くにあるのかや、使用中に、自己位置や利用可能領域がずれてしまったのか等を、確認することができる。
　なお、境界距離が短い場合としては、ユーザと障害物（利用可能領域の境界）との実際の（ユークリッド）距離が短い場合と、推定自己位置の推定誤差が大きいために、境界距離としてのマハラノビス距離が短い場合とがある。
　境界距離が短い場合に、実際の距離が短いのか、又は、推定自己位置の推定誤差が大きいために、マハラノビス距離が短いのかは、例えば、推定自己位置の推定誤差から判定することができる。
　表示制御部３４では、報知画像の表示については、実際の距離が短い場合と、推定自己位置の推定誤差が大きいことに起因してマハラノビス距離が短い場合とで、表示の仕方を変えることができる。このように表示の仕方を変えることで、ユーザは、実際の距離が短いのか、又は、推定自己位置の推定誤差が大きいのかを認識することができる。
　例えば、実際の距離が短い場合には、ブレンド画像（現実世界の画像のブレンド率が100%の画像、すなわち、現実世界の画像そのものを含む）を報知画像として表示することができる。この場合、ユーザは、現実世界が映るブレンド画像を見て、障害物との衝突を回避することができる。
　一方、推定自己位置の推定誤差が大きいことに起因してマハラノビス距離が短い場合には、彩度等を低下させた仮想世界の画像を報知画像として表示することができる。この場合、ユーザは、障害物との衝突の可能性を認識しつつ、ユーザは、仮想世界の画像の視聴、すなわち、例えば、ゲーム等のプレイを続行することができる。
　また、境界距離が近い場合（閾値以下の場合）には、障害物との衝突を回避する方向、例えば、利用可能領域の境界から離れる方向にユーザを誘導する矢印等の画像を、報知画像として表示することができる。この報知画像としての矢印等の画像は、仮想世界の画像、又は、ブレンド画像や彩度等を低下させた仮想世界の画像等の他の報知画像に重畳して表示することができる。
　表示制御部３４では、境界距離としてのマハラノビス距離が近い場合において、利用可能領域の境界に近い方向のユーザの動きについては、現実世界でのユーザの動き量に対する仮想世界の動き量を大きくすることができる。例えば、仮想世界に、ユーザを模したアバタが表示される場合には、ユーザの動き量に対するアバタの動き量を大きくすることができる。この場合、境界距離としてのマハラノビス距離が近い方向について、現実世界でのユーザの移動量を抑制し、障害物との衝突を回避することができる。
　＜情報処理装置３０の処理＞
　図９は、情報処理装置３０の処理の例を説明するフローチャートである。
　ステップＳ１１において、領域設定部３１は、ユーザの操作等に応じて、移動可能領域を設定し、その移動可能領域を表す領域情報を、距離算出部３３に供給して、処理は、ステップＳ１２に進む。
　ステップＳ１２では、情報処理装置３０は、プレイを開始するように、コントローラ２０が操作されたかどうかを判定し、プレイを開始するように操作されていないと判定された場合、処理は、ステップＳ１２に戻る。
　また、ステップＳ１２において、プレイを開始するように、コントローラ２０が操作されたと判定された場合、処理は、ステップＳ１３に進む。
　ステップＳ１３では、自己位置推定部３２は、カメラ１１からの画像を用い、自己位置を推定し、その結果得られる推定自己位置を、距離算出部３３、及び、表示制御部３４に供給して、処理は、ステップＳ１４に進む。
　ステップＳ１４では、表示制御部３４は、自己位置推定部３２からの推定自己位置に応じた仮想世界の画像を生成し、ディスプレイ１２に表示させて、処理は、ステップＳ１５に進む。
　ステップＳ１５では、距離算出部３３は、自己位置推定部３２からの推定自己位置と、領域設定部３１からの領域情報とを用いて、境界距離としてのマハラノビス距離を算出し、表示制御部３４に供給して、処理は、ステップＳ１６に進む。
　ステップＳ１６では、表示制御部３４は、距離算出部３３からの境界距離に応じて、ディスプレイ１２の表示の表示制御を行って、処理は、ステップＳ１７に進む。
　例えば、表示制御部３４は、境界距離が閾値以下でない場合、推定自己位置に応じた仮想世界の画像を生成し、ディスプレイ１２に表示させる。
　また、例えば、表示制御部３４は、境界距離が閾値以下である場合、報知画像を生成し、ディスプレイ１２に表示させる。これにより、利用可能領域の境界との接近が、ユーザに報知される。
　報知画像としては、上述したように、現実世界の画像や、彩度等が低下した仮想世界の画像、境界距離に応じてブレンド率等が段階的に変化する画像、利用可能領域の境界から離れる方向にユーザを誘導する矢印等の画像、俯瞰画像等を表示することができる。
　その他、境界距離が閾値以下である場合、ステップＳ１６の表示制御では、仮想世界の画像の表示において、現実世界でのユーザの動き量に対する仮想世界の動き量を大きくすることができる。例えば、利用可能領域の境界に近い方向について、現実世界でのユーザの動き量に対する仮想世界の動き量を大きくすることができる。これにより、ユーザが利用可能領域外に出ることを抑止し、ひいては、障害物との衝突を回避することができる。
　また、境界距離が閾値以下である場合、ステップＳ１６の表示制御では、推定誤差が小さくなるようにユーザを誘導する誘導画像を表示することができる。
　ステップＳ１７では、情報処理装置３０は、プレイを終了するように、コントローラ２０が操作されたかどうかを判定し、プレイを終了するように操作されていないと判定された場合、処理は、ステップＳ１３に戻る。
　また、ステップＳ１７において、プレイを終了するように、コントローラ２０が操作されたと判定された場合、処理は終了する。
　以上のように、VRシステム１では、推定自己位置の推定誤差を反映したマハラノビス距離等の誤差反映距離を境界距離として採用し、その境界距離に応じて、利用可能領域との接近が報知される。したがって、ユーザが利用可能領域の境界に、実際に接近又は到達しそうであるが、推定自己位置が、推定精度が悪いために、利用可能領域の境界から離れた位置に推定された場合に、ユーザが利用可能領域外に出て、障害物に衝突することを回避することができる。
　報知画像として、彩度等が低下した仮想世界の画像、又は、境界距離に応じてブレンド率等が段階的に変化する仮想世界の画像を採用する場合や、そのような報知画像又は仮想世界の画像に重畳して、利用可能領域の境界から離れる方向にユーザを誘導する表示を行う場合等には、ユーザは、仮想世界の画像の視聴を中断せずに、障害物を回避することができる。
　報知画像として、俯瞰画像を採用する場合には、ユーザは、前方だけでなく、背後等の死角部分の障害物も確認することができる。
　なお、図２で説明したように、利用可能領域の境界との接近の報知は、音や振動の出力等によって行うことができる。利用可能領域の境界との接近の報知を、音や振動の出力等によって行う場合には、境界距離や、推定自己位置の推定誤差に応じて、音や振動の周波数やパワー（大きさ）を変化させることができる。
　また、本実施の形態では、誤差反映距離として、マハラノビス距離を採用することとしたが、誤差反映距離としては、マハラノビス距離以外の、推定自己位置の推定誤差を反映した距離を採用することができる。
　例えば、誤差反映距離としては、誤差分散が大きいときに短くなり、誤差分散が小さいときに長くなる式（２）で表される距離dを採用することができる。
　d＝√((x-y)T・(x-y)／tr(Σ))
　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　式（２）において、tr(Σ)は、推定自己位置の推定誤差としての誤差共分散行列Σのトレースを表す。
　その他、誤差反映距離としては、推定自己位置の推定誤差に応じた値を演算対象に含む四則演算や、対数演算、指数演算等の各種演算、さらには、各種演算の組み合わせによって、推定誤差を反映した任意の距離を採用することができる。
　また、境界距離として、誤差反映距離を用いる方法は、Inside Out方式の他、Outside In方式に適用することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１つのコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置と前記所定の領域の境界との接近を報知する報知部を備える
　情報処理装置。
　＜２＞
　前記誤差反映距離は、前記推定誤差が大きいほど短くなる距離である
　＜１＞に記載の情報処理装置。
　＜３＞
　前記誤差反映距離は、マハラノビス距離である
　＜１＞又は＜２＞に記載の情報処理装置。
　＜４＞
　前記報知部は、前記境界との接近を報知する報知画像を表示させる
　＜１＞ないし＜３＞のいずれかに記載の情報処理装置。
　＜５＞
　前記報知部は、前記誤差反映距離に応じて、前記報知画像を変化させる
　＜４＞に記載の情報処理装置。
　＜６＞
　前記報知画像は、前記推定自己位置に応じた仮想世界の画像と現実世界の画像とをブレンドしたブレンド画像であり、
　前記報知部は、前記ブレンド画像における、前記仮想世界の画像と前記現実世界の画像とのブレンド率を変化させる
　＜５＞に記載の情報処理装置。
　＜７＞
　前記報知部は、前記報知画像の彩度、解像度、又は、輝度を変化させる
　＜５＞に記載の情報処理装置。
　＜８＞
　前記報知画像は、前記推定自己位置を含む現実世界を俯瞰した俯瞰画像である
　＜４＞に記載の情報処理装置。
　＜９＞
　前記俯瞰画像は、前記推定自己位置、前記推定誤差、及び、前記所定の領域の表示の１つ以上を含む
　＜８＞に記載の情報処理装置。
　＜１０＞
　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置と前記所定の領域の境界との接近を報知することを含む
　情報処理方法。
　＜１１＞
　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置と前記所定の領域の境界との接近を報知する報知部
　として、コンピュータを機能させるためのプログラム。
　＜１２＞
　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置に応じた画像の表示を制御する表示制御部を備える
　情報処理装置。
　＜１３＞
　前記誤差反映距離は、前記推定誤差が大きいほど短くなる距離である
　＜１２＞に記載の情報処理装置。
　＜１４＞
　前記誤差反映距離は、マハラノビス距離である
　＜１２＞又は＜１３＞に記載の情報処理装置。
　＜１５＞
　前記表示制御部は、仮想世界の画像において、前記自己位置が推定されたユーザの動き量に対する仮想世界の動き量を大きくする
　＜１２＞ないし＜１４＞のいずれかに記載の情報処理装置。
　＜１６＞
　前記表示制御部は、前記境界が近い方向について、前記ユーザの動き量に対する前記仮想世界の動き量を大きくする
　＜１５＞に記載の情報処理装置。
　＜１７＞
　前記表示制御部は、前記境界から離れる方向に、前記自己位置が推定されたユーザを誘導する画像を表示させる
　＜１２＞ないし＜１４＞のいずれかに記載の情報処理装置。
　＜１８＞
　前記表示制御部は、前記推定誤差が小さくなるように、前記自己位置が推定されたユーザを誘導する画像を表示させる
　＜１２＞ないし＜１４＞のいずれかに記載の情報処理装置。
　＜１９＞
　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置に応じた画像の表示を制御することを含む
　情報処理方法。
　＜２０＞
　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置に応じた画像の表示を制御する表示制御部
　として、コンピュータを機能させるためのプログラム。
　１　VRシステム，　１０　HMD，　１１　カメラ，　１２　ディスプレイ，　２０　コントローラ，　３０　情報処理装置，　３１　領域設定部，　３２　自己位置推定部，　３３　距離算出部，　３４　表示制御部，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (20)

  1. 　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置と前記所定の領域の境界との接近を報知する報知部を備える
    　情報処理装置。
  2. 　前記誤差反映距離は、前記推定誤差が大きいほど短くなる距離である
    　請求項１に記載の情報処理装置。
  3. 　前記誤差反映距離は、マハラノビス距離である
    　請求項１に記載の情報処理装置。
  4. 　前記報知部は、前記境界との接近を報知する報知画像を表示させる
    　請求項１に記載の情報処理装置。
  5. 　前記報知部は、前記誤差反映距離に応じて、前記報知画像を変化させる
    　請求項４に記載の情報処理装置。
  6. 　前記報知画像は、前記推定自己位置に応じた仮想世界の画像と現実世界の画像とをブレンドしたブレンド画像であり、
    　前記報知部は、前記ブレンド画像における、前記仮想世界の画像と前記現実世界の画像とのブレンド率を変化させる
    　請求項５に記載の情報処理装置。
  7. 　前記報知部は、前記報知画像の彩度、解像度、又は、輝度を変化させる
    　請求項５に記載の情報処理装置。
  8. 　前記報知画像は、前記推定自己位置を含む現実世界を俯瞰した俯瞰画像である
    　請求項４に記載の情報処理装置。
  9. 　前記俯瞰画像は、前記推定自己位置、前記推定誤差、及び、前記所定の領域の表示の１つ以上を含む
    　請求項８に記載の情報処理装置。
  10. 　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置と前記所定の領域の境界との接近を報知することを含む
    　情報処理方法。
  11. 　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置と前記所定の領域の境界との接近を報知する報知部
    　として、コンピュータを機能させるためのプログラム。
  12. 　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置に応じた画像の表示を制御する表示制御部を備える
    　情報処理装置。
  13. 　前記誤差反映距離は、前記推定誤差が大きいほど短くなる距離である
    　請求項１２に記載の情報処理装置。
  14. 　前記誤差反映距離は、マハラノビス距離である
    　請求項１２に記載の情報処理装置。
  15. 　前記表示制御部は、仮想世界の画像において、前記自己位置が推定されたユーザの動き量に対する仮想世界の動き量を大きくする
    　請求項１２に記載の情報処理装置。
  16. 　前記表示制御部は、前記境界が近い方向について、前記ユーザの動き量に対する前記仮想世界の動き量を大きくする
    　請求項１５に記載の情報処理装置。
  17. 　前記表示制御部は、前記境界から離れる方向に、前記自己位置が推定されたユーザを誘導する画像を表示させる
    　請求項１２に記載の情報処理装置。
  18. 　前記表示制御部は、前記推定誤差が小さくなるように、前記自己位置が推定されたユーザを誘導する画像を表示させる
    　請求項１２に記載の情報処理装置。
  19. 　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置に応じた画像の表示を制御することを含む
    　情報処理方法。
  20. 　自己位置を推定することにより得られる推定自己位置と、あらかじめ設定された所定の領域の境界との、前記推定自己位置の推定誤差を反映した誤差反映距離に応じて、前記推定自己位置に応じた画像の表示を制御する表示制御部
    　として、コンピュータを機能させるためのプログラム。
PCT/JP2022/001327 2021-03-15 2022-01-17 情報処理装置、情報処理方法、及び、プログラム WO2022196069A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021041733 2021-03-15
JP2021-041733 2021-03-15

Publications (1)

Publication Number Publication Date
WO2022196069A1 true WO2022196069A1 (ja) 2022-09-22

Family

ID=83320227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001327 WO2022196069A1 (ja) 2021-03-15 2022-01-17 情報処理装置、情報処理方法、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2022196069A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011065308A (ja) * 2009-09-16 2011-03-31 Hitachi Ltd 自律移動システム及び自律移動装置
JP2011137708A (ja) * 2009-12-28 2011-07-14 Kawasaki Heavy Ind Ltd 衛星測位システム受信機測位信頼度評価装置
JP2011215055A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 風景画像認識を用いた自車位置検出システム
JP2017535901A (ja) * 2014-11-05 2017-11-30 バルブ コーポレーション 仮想現実環境においてユーザをガイドするための感覚フィードバックシステム及び方法
WO2018173399A1 (ja) * 2017-03-21 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019176577A1 (ja) * 2018-03-14 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011065308A (ja) * 2009-09-16 2011-03-31 Hitachi Ltd 自律移動システム及び自律移動装置
JP2011137708A (ja) * 2009-12-28 2011-07-14 Kawasaki Heavy Ind Ltd 衛星測位システム受信機測位信頼度評価装置
JP2011215055A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 風景画像認識を用いた自車位置検出システム
JP2017535901A (ja) * 2014-11-05 2017-11-30 バルブ コーポレーション 仮想現実環境においてユーザをガイドするための感覚フィードバックシステム及び方法
WO2018173399A1 (ja) * 2017-03-21 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019176577A1 (ja) * 2018-03-14 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体

Similar Documents

Publication Publication Date Title
CN113892073B (zh) 具有优先化运动模型的多层人工现实控制器姿态跟踪架构
JP7277451B2 (ja) レーシングシミュレーション
TWI732194B (zh) 用於在hmd環境中利用傳至gpu之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
CN110199325B (zh) 仿真系统、处理方法以及信息存储介质
JP2020102239A (ja) ヘッドマウントディスプレイ追跡
US9599818B2 (en) Obstacle avoidance apparatus and obstacle avoidance method
JP6017664B1 (ja) 情報処理方法及び情報処理プログラム
US11865448B2 (en) Information processing apparatus and user guide presentation method
US11695908B2 (en) Information processing apparatus and information processing method
US10978019B2 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
WO2020218131A1 (ja) 画像生成装置および情報提示方法
JP2019175323A (ja) シミュレーションシステム及びプログラム
US11195320B2 (en) Feed-forward collision avoidance for artificial reality environments
EP3264228A1 (en) Mediated reality
KR102190072B1 (ko) 콘텐츠 발견
CN114026527A (zh) 可穿戴装置的空间音频
WO2022196069A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2006318094A (ja) 情報処理方法、情報処理装置
US20190089899A1 (en) Image processing device
US11586281B2 (en) Method, computer program and head mountable arrangement for assisting a subject to acquire spatial information about an environment
US20230130815A1 (en) Image processing apparatus, image processing method, and program
WO2023204013A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2017120619A (ja) 情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22770831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP