WO2017126172A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2017126172A1
WO2017126172A1 PCT/JP2016/080770 JP2016080770W WO2017126172A1 WO 2017126172 A1 WO2017126172 A1 WO 2017126172A1 JP 2016080770 W JP2016080770 W JP 2016080770W WO 2017126172 A1 WO2017126172 A1 WO 2017126172A1
Authority
WO
WIPO (PCT)
Prior art keywords
size
information processing
estimation
unit
real
Prior art date
Application number
PCT/JP2016/080770
Other languages
English (en)
French (fr)
Inventor
辰吾 鶴見
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP16886412.2A priority Critical patent/EP3407302B1/en
Priority to CN201680078613.4A priority patent/CN108463840B/zh
Priority to US16/066,366 priority patent/US10783654B2/en
Publication of WO2017126172A1 publication Critical patent/WO2017126172A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a recording medium.
  • AR augmented reality
  • virtual object virtual content of various aspects such as text, icons, or animation
  • Patent Document 1 discloses an example of AR technology.
  • SLAM simultaneous localization and mapping
  • a real object having a known size or shape, such as a known marker is detected in an image picked up by the image pickup unit.
  • the size of a real object used as a reference for self-position estimation may not always be known.
  • the size of the marker may change according to the size of the display.
  • the positional relationship between the real object and the imaging unit is estimated more accurately (that is, the self-position estimation is performed more accurately). ) May be difficult.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a recording medium that can estimate the size of an object in real space.
  • an acquisition unit that acquires an image of a real object in a real space imaged by a predetermined imaging unit, and a measurement result of a distance to the real object by a predetermined distance measurement unit; Based on the size of the real object and the measurement result of the distance, the size of the real object in the real space is estimated, and the estimation result of the size is compared with a plurality of preset size candidates.
  • An information processing apparatus is provided that includes an estimation unit that identifies the size of the real object in the real space.
  • the processor obtains an image of a real object in a real space imaged by a predetermined imaging unit and a measurement result of a distance to the real object by a predetermined distance measuring unit; Based on the size of the real object in the image and the measurement result of the distance, the size of the real object in the real space is estimated, and the estimation result of the size is used as a plurality of preset size candidates. Is provided, and an information processing method including specifying the size of the real object in the real space is provided.
  • the computer obtains an image of the real object in the real space imaged by the predetermined imaging unit and a measurement result of the distance to the real object by the predetermined distance measuring unit; Based on the size of the real object in the image and the measurement result of the distance, the size of the real object in the real space is estimated, and the estimation result of the size is used as a plurality of preset size candidates.
  • a recording medium on which a program for executing the specification of the size of the real object in the real space is recorded is provided.
  • an information processing apparatus an information processing method, and a recording medium capable of estimating the size of an object in real space are provided.
  • FIG. 5 is an explanatory diagram for describing an example of a schematic configuration of a terminal device according to a first embodiment of the present disclosure.
  • FIG. It is explanatory drawing for demonstrating an example of the principle of self-position estimation. It is explanatory drawing for demonstrating an example of the process using the result of self-position estimation. It is explanatory drawing for demonstrating the technical subject of the information processing system which concerns on the embodiment. It is the block diagram shown about an example of the function structure of the information processing system which concerns on the embodiment. It is the flowchart shown about an example of the flow of a series of processes of the information processing system which concerns on the embodiment. It is explanatory drawing for demonstrating the outline
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram for describing an example of a schematic configuration of a terminal device according to the present embodiment.
  • the terminal device 20 includes an output unit 201 and imaging units 203a and 203b. Further, the terminal device 20 according to the present embodiment is configured as a so-called head-mounted display device (HMD: Head Mounted Display). That is, the terminal device 20 is configured to hold an output unit 201 (for example, a display panel) for displaying an image in front of the user's eyes by being mounted on the user's head.
  • HMD Head Mounted Display
  • the imaging units 203a and 203b are configured as so-called stereo cameras so that when the terminal device 20 is mounted on the user's head, the user's head is directed in the direction (that is, in front of the user). Are provided at different positions of the terminal device 20. Based on such a configuration, the imaging units 203a and 203b have different positions (in other words, different viewpoints) for subjects positioned in front of the user wearing the terminal device 20 (in other words, real objects positioned in the real space). Take an image from Thereby, the terminal device 20 acquires the image of the subject located in front of the user, and based on the parallax between the images captured by the imaging units 203a and 203b, the distance from the terminal device 20 to the subject. Can be calculated.
  • the terminal device 20 is provided with, for example, an acceleration sensor or an angular velocity sensor (gyro sensor), and can detect the movement (head posture) of the head of the user wearing the terminal device 20. It may be configured. As a specific example, the terminal device 20 detects components of the user's head by detecting respective components in the yaw direction, the pitch direction, and the roll direction. A change in at least one of the position and orientation of the part may be recognized.
  • an acceleration sensor or an angular velocity sensor gyro sensor
  • the terminal device 20 detects components of the user's head by detecting respective components in the yaw direction, the pitch direction, and the roll direction. A change in at least one of the position and orientation of the part may be recognized.
  • the terminal device 20 presents an image of a subject located in front of the user to the user via the output unit 201 in accordance with the movement of the user's head. It becomes possible to do. At this time, the terminal device 20 outputs an image in which virtual content (that is, a virtual object) is superimposed on a subject (that is, a real object located in the real space) based on the so-called AR technology. It is also possible to present to the user via 201. In addition, when the terminal device 20 superimposes a virtual object on a real object, details of an example of a method for estimating its own position and orientation in real space (that is, self-position estimation) will be separately described. It will be described later.
  • HMD head-mounted display device
  • examples of a head-mounted display device (HMD) applicable as the terminal device 20 include a video see-through HMD, a see-through HMD, and a retinal projection HMD.
  • the video see-through HMD When the video see-through HMD is mounted on the user's head or face, the video see-through HMD is mounted so as to cover the user's eyes, and a display unit such as a display is held in front of the user's eyes. Further, the video see-through HMD has an imaging unit for imaging a surrounding landscape, and displays an image of a landscape in front of the user captured by the imaging unit on the display unit. With such a configuration, it is difficult for a user wearing a video see-through HMD to directly view an external landscape, but it is possible to confirm the external landscape from an image displayed on the display unit. Become.
  • the terminal device 20 illustrated in FIG. 1 corresponds to an example of a video see-through HMD.
  • the see-through type HMD uses, for example, a half mirror or a transparent light guide plate to hold a virtual image optical system including a transparent light guide unit or the like in front of the user's eyes and display an image inside the virtual image optical system. Therefore, a user wearing a see-through HMD can view an external scenery while viewing an image displayed inside the virtual image optical system.
  • the see-through type HMD for example, is based on the AR technology, based on the recognition result of at least one of the position and orientation of the see-through type HMD, with respect to the optical image of the real object located in the real space. It is also possible to superimpose virtual object images.
  • a specific example of the see-through HMD is a so-called glasses-type wearable device in which a portion corresponding to a lens of glasses is configured as a virtual image optical system.
  • a projection unit is held in front of the user's eyes, and the image is projected from the projection unit toward the user's eyes so that the image is superimposed on an external landscape. More specifically, in the retinal projection type HMD, an image is directly projected from the projection unit onto the retina of the user's eye, and the image is formed on the retina. With such a configuration, it is possible to view a clearer video even for a myopic or farsighted user. In addition, the user wearing the retinal projection type HMD can view an external landscape while viewing an image projected from the projection unit.
  • the retinal projection type HMD is based on, for example, the AR technology, and an optical image of a real object located in the real space according to at least one of the positions and orientations of the retinal projection type HMD. It is also possible to superimpose a virtual object image on the image.
  • an HMD called an immersive HMD can be cited.
  • the immersive HMD is mounted so as to cover the user's eyes, and a display unit such as a display is held in front of the user's eyes. For this reason, it is difficult for a user wearing an immersive HMD to directly view an external landscape (that is, a real world landscape), and only the image displayed on the display unit enters the view. With such a configuration, the immersive HMD can give an immersive feeling to the user who is viewing the image.
  • the configuration of the terminal device 20 described above is merely an example, and an image in front of the user wearing the terminal device 20 is captured and the distance from the terminal device 20 to the subject to be imaged is calculated. If possible, the configuration is not particularly limited. As a specific example, instead of the imaging units 203a and 203b configured as a stereo camera, a monocular imaging unit and a distance measuring unit that measures the distance between the subject may be provided.
  • the configuration and method are not particularly limited as long as the distance between the terminal device 20 and the subject can be measured.
  • the distance between the terminal device 20 and the subject may be measured based on a method such as multi-camera stereo, moving parallax, TOF (Time Of Flight), or Structured Light.
  • TOF refers to projecting light such as infrared rays to a subject and measuring the time until the posted light is reflected and returned by the subject for each pixel, and based on the measurement result, This is a method of obtaining an image (so-called distance image) including the distance (depth) of the image.
  • the Structured Light is a distance image that includes the distance (depth) to the subject based on the change in the pattern obtained from the imaging result by irradiating the subject with light such as infrared rays and imaging it. It is a method to obtain.
  • the moving parallax is a method of measuring the distance to the subject based on the parallax even in a so-called monocular camera. Specifically, the subject is imaged from different viewpoints by moving the camera, and the distance to the subject is measured based on the parallax between the captured images. At this time, the distance to the subject can be measured with higher accuracy by recognizing the moving distance and moving direction of the camera using various sensors. Note that the configuration of the imaging unit (for example, a monocular camera, a stereo camera, or the like) may be changed according to the distance measurement method.
  • FIG. 2 is an explanatory diagram for explaining an example of the principle of self-position estimation.
  • the terminal device 20 images the marker V10 of a known size presented on a real object in real space with an imaging unit such as a camera provided on the terminal device 20. Then, the terminal device 20 estimates at least one of the relative position and orientation of the terminal device 20 with respect to the marker V10 (and thus the real object on which the marker V10 is presented) by analyzing the captured image.
  • the terminal device 20 will be described while focusing on the case where the terminal device 20 estimates its own position and orientation. However, the terminal device 20 may estimate only one of its own position and orientation. This is as described above.
  • the imaging unit and thus the terminal device 20 including the imaging unit relative to the marker V10. It is possible to estimate a specific direction.
  • the distance between the marker V10 and the imaging unit is estimated according to the size of the marker V10 in the image. It is possible. More specifically, when the marker V10 is imaged from a greater distance, the marker V10 is imaged smaller. At this time, the real space range captured in the image can be estimated based on the angle of view of the imaging unit.
  • the distance between the marker V10 and the imaging unit can be changed according to the size of the marker V10 captured in the image (in other words, the ratio of the marker V10 in the angle of view). It is possible to calculate backward.
  • the terminal device 20 can estimate its relative position and orientation with respect to the marker V10.
  • SLAM simultaneous localization and mapping
  • SLAM is a technology that performs self-position estimation and creation of an environment map in parallel by using an imaging unit such as a camera, various sensors, an encoder, and the like.
  • SLAM particularly Visual SLAM
  • the position and orientation of the imaging unit may be estimated as information indicating a relative change based on the detection result of the sensor, for example, by providing the terminal device 20 with various sensors such as an acceleration sensor and an angular velocity sensor. Is possible.
  • the method is not necessarily limited to a method based on detection results of various sensors such as an acceleration sensor and an angular velocity sensor.
  • the estimation result of the relative position and orientation of the terminal device 20 with respect to the marker V10 based on the imaging result of the known marker V10 by the imaging unit is initialized in the SLAM described above. It may be used for processing and position correction.
  • the terminal device 20 can perform self-position estimation based on SLAM that has received the results of initialization and position correction performed in the past even when the marker V10 is not included in the angle of view of the imaging unit.
  • the terminal device 20 uses the self-position estimation result described above, and based on the AR technique, the virtual object is superimposed on a desired position (desired real object) in the real space. Can be presented to the user.
  • the marker V10 is displayed on the display device 50 such as a display.
  • the terminal device 20 recognizes the marker V10 displayed on the display device 50 (for example, causes the imaging unit to capture an image), so that the relative position and posture of the confidence with respect to the display device 50 are obtained. (That is, self-position estimation is performed). And the terminal device 20 utilizes the estimation result of the position and attitude
  • FIG. 3 is an explanatory diagram for explaining an example of processing using the result of self-position estimation, and shows an example in the case of presenting a virtual object based on the AR technology.
  • the terminal device 20 causes the virtual object V20 to be superimposed on a desired position in the real space where the display device 50 is arranged based on the estimation result of its relative position and orientation with respect to the display device 50. Then, the virtual object V20 is presented to the user via the output unit 201.
  • the size of the marker used for self-position estimation is not always known.
  • the size of the marker V10 in the real space differs depending on the size (for example, the number of inches) of the display device 50. .
  • FIG. 4 is an explanatory diagram for explaining a technical problem of the information processing system according to the present embodiment, and shows an example in which markers are displayed on display devices having different sizes.
  • the same image on which the marker V10 is presented is displayed on the display devices 50a and 50b having different numbers of inches.
  • the size of the marker V10a displayed on the display device 50a in the real space and the display on the display device 50b are displayed. This is different from the size of the marker V10b.
  • a marker such as a sticker that is explicitly attached is not necessarily used as a marker for self-position estimation.
  • a book cover or the like is used as a marker.
  • the terminal device 20 when the size of the marker used for self-position estimation is unknown, it is difficult for the terminal device 20 to accurately estimate the scale in the real space, and thus to perform self-position estimation accurately. May be difficult. Therefore, in the present disclosure, even when the size of the real object is unknown, the position and orientation of the imaging unit (and thus the terminal device 20) with respect to the real object can be estimated by estimating the size of the real object. An example of a possible mechanism is proposed. Therefore, hereinafter, the features of the information processing system according to the present embodiment will be described in more detail.
  • FIG. 5 is a block diagram illustrating an example of a functional configuration of the information processing system according to the present embodiment.
  • the information processing system 1 includes a terminal device 20, an information processing device 10, and an object recognition dictionary 301.
  • the terminal device 20 and the information processing device 10 are configured to be able to transmit and receive information to and from each other via a predetermined network.
  • the type of network connecting the terminal device 20 and the information processing apparatus 10 is not particularly limited.
  • the network may be configured by a so-called wireless network such as a network based on the Wi-Fi (registered trademark) standard.
  • the network may be configured by the Internet, a dedicated line, a LAN (Local Area Network), a WAN (Wide Area Network), or the like.
  • the network may include a plurality of networks, and a part thereof may be configured as a wired network.
  • the terminal device 20 includes an output unit 201, an imaging unit 203, and a distance measuring unit 205.
  • the output unit 201 corresponds to the output unit 201 illustrated in FIG.
  • the imaging units 203 a and 203 b configured as a stereo camera
  • a part related to image capturing is illustrated as the imaging unit 203
  • a part related to measurement of the distance to the subject is illustrated.
  • a distance measuring unit 205 is shown.
  • the imaging unit 203 captures an image of an object (subject) in real space, and outputs the captured image to the information processing apparatus 10.
  • the distance measuring unit 205 measures the distance to the object (subject) in the real space and outputs depth information indicating the measurement result to the information processing apparatus 10.
  • the information processing apparatus 10 includes an image analysis unit 101, a distance estimation unit 103, a size estimation unit 105, a position / orientation estimation unit 107, and an output control unit 109.
  • the image analysis unit 101 acquires an image captured by the imaging unit 203, and performs an analysis process on the acquired image, thereby recognizing an object (real object) captured as a subject in the image. At this time, for example, the image analysis unit 101 calculates a feature amount based on a feature (for example, a feature such as a shape or a pattern) of an object captured in the image, and collates it with information indicating the feature amount of a known object. Thus, an object captured in the image may be recognized.
  • Information indicating the feature quantity of a known object may be stored in advance in a storage area that can be read by the information processing apparatus 10.
  • the object recognition dictionary 301 shows an example of a storage area for storing information indicating the feature amount of a known object.
  • the image analysis unit 101 recognizes the object captured in the image. Such a recognition result makes it possible to recognize the position and size of the object in the image. Then, the image analysis unit 101 outputs information indicating the recognition result of the object captured in the image (hereinafter, simply referred to as “object recognition result”) to the distance estimation unit 103.
  • object recognition result information indicating the recognition result of the object captured in the image
  • the acquired image that is, the image captured by the imaging unit 203
  • the method is not particularly limited as long as each configuration of the information processing apparatus 10 can refer to the acquired image. Based on the above, in the following description, it is assumed that each component of the information processing apparatus 10 can refer to the acquired image as necessary.
  • the distance estimation unit 103 acquires depth information indicating the measurement result of the distance to the object imaged as the subject by the imaging unit 203 from the distance measurement unit 205.
  • the distance estimation unit 103 uses the stereo camera.
  • Information indicating parallax based on the imaging result may be acquired as depth information.
  • the distance measuring unit 205 is configured to measure the distance to the subject (object) based on the TOF method
  • the distance estimating unit 103 is information indicating the distance (depth) to the subject measured for each pixel.
  • a so-called distance image including “” may be acquired as depth information.
  • the distance estimation unit 103 acquires information indicating the recognition result of the object from the image analysis unit 101. Then, the distance estimation unit 103 estimates the distance to the recognized object based on the information indicating the acquired recognition result of the object and the depth information. As a more specific example, the distance estimation unit 103 recognizes the position of the object in the image based on the recognition result of the object, and acquires the depth measurement result of the distance corresponding to the position in the recognized image. To recognize (estimate) the distance to the object.
  • the distance estimation unit 103 outputs information indicating the acquired recognition result of the object and information indicating the estimation result of the distance to the object to the size estimation unit 105.
  • the size estimation unit 105 acquires information indicating the recognition result of the object and information indicating the estimation result of the distance to the object from the distance estimation unit 103, and based on the acquired information, the object in real space Estimate the size of As a specific example, the size estimation unit 105 estimates the size of the object in real space based on the size of the object in the image and the estimation result of the distance to the object. Note that, as described above, the range in real space that is captured in an image can be estimated based on the angle of view of the imaging unit 203. Therefore, if it is possible to estimate the distance to the object captured in the image, the object in real space based on the size of the object in the image (that is, the range of the object in the angle of view). Can be estimated.
  • the size estimation unit 105 outputs information indicating the acquired recognition result of the object and information indicating the estimation result of the size of the object to the position and orientation estimation unit 107.
  • the position / orientation estimation unit 107 is a configuration for executing processing related to estimation of the position and orientation of the terminal device 20 in real space (processing related to so-called self-position estimation).
  • the position / orientation estimation unit 107 acquires information indicating the recognition result of the object and information indicating the estimation result of the size of the object from the size estimation unit 105, and based on the acquired information, the terminal device 20 for the object.
  • Estimate the relative position and orientation of Note that the relative position and orientation of the terminal device 20 with respect to the recognized object (that is, the object imaged in the image) is known based on the obtained estimation result of the object size. By recognizing that there is something, it is possible to estimate based on the method described above.
  • the position / orientation estimation unit 107 may estimate the relative position and orientation of the terminal device 20 with respect to the recognized object based on SLAM.
  • the position / orientation estimation unit 107 receives information indicating changes in the position and orientation of the terminal device 20 from a predetermined detection unit (not illustrated) (for example, an acceleration sensor or an angular velocity sensor provided in the terminal device 20).
  • the information may be acquired and used for self-position estimation based on SLAM (that is, estimation of the position and orientation of the terminal device 20 with respect to the object).
  • the position / orientation estimation unit 107 outputs information indicating the recognition result of the acquired object and information indicating the estimation result of the position and orientation of the terminal device 20 in the real space to the output control unit 109.
  • the output control unit 109 is configured to present the virtual object to the user via the output unit 201 so that the virtual object is superimposed on the real space based on the AR technology.
  • the output control unit 109 corresponds to an example of a “display control unit”.
  • the output control unit 109 acquires information indicating the recognition result of the object and information indicating the estimation result of the position and orientation of the terminal device 20 in the real space from the position / orientation estimation unit 107. As a result, the output control unit 109 can estimate the positional relationship between the terminal device 20 and the recognized object in the real space, and the three-dimensional position and orientation of the object in the real space. Become.
  • the output control unit 109 for example, in accordance with the positional relationship between the terminal device 20 in the real space and the recognized object, the virtual object is superimposed so that the virtual object is superimposed at a desired position in the real space.
  • the object is displayed on the output unit 201.
  • the output control unit 109 superimposes the virtual object on the image captured by the imaging unit 203 in accordance with the positional relationship between the terminal device 20 and the recognized object in the real space,
  • the output unit 201 displays the image on which the virtual object is superimposed.
  • the output control unit 109 may adjust the display position of the virtual object and the size of the virtual object according to the positional relationship between the terminal device 20 and the recognized object in the real space. Thereby, the user can visually recognize an image as if the virtual object exists in front of the user.
  • the terminal device 20 is configured as a see-through HMD.
  • the output control unit 109 displays a virtual object inside the virtual image optical system (corresponding to the output unit 201)
  • the positional relationship between the terminal device 20 and the recognized object in the real space Accordingly, the display position and size of the virtual object may be controlled.
  • the user can visually recognize the virtual object as if the virtual object existed in front of the user.
  • the configuration shown in FIG. 5 is merely an example, and the configuration of the information processing system 1 is not necessarily limited to the example shown in FIG.
  • the terminal device 20 and the information processing device 10 may be configured integrally.
  • a part of the configuration of the information processing device 10 may be provided in a device (for example, the terminal device 20 or an external server) different from the information processing device 10.
  • the object recognition dictionary 301 may be built in the information processing apparatus 10 or may be provided in an external server.
  • FIG. 6 is a flowchart illustrating an example of a flow of a series of processes of the information processing system according to the present embodiment.
  • the information processing apparatus 10 acquires an image captured by the image capturing unit 203, performs analysis processing on the acquired image, and thereby captures an object (image captured as a subject in the image) ( Real object) is recognized (S101). Note that the method for recognizing an object captured in an image is as described above as the processing of the image analysis unit 101.
  • the information processing apparatus 10 acquires depth information indicating the measurement result of the distance from the distance measurement unit 205 to the object imaged as the subject by the imaging unit 203. Then, the information processing apparatus 10 estimates the distance to the recognized object based on the information indicating the recognition result of the object and the acquired depth information (S103). The method for estimating the distance to the recognized object is as described above as the processing of the distance estimation unit 103.
  • the information processing apparatus 10 estimates the size of the object in real space based on the information indicating the recognition result of the object and the information indicating the estimation result of the distance to the object ( S105).
  • the method for estimating the size of the recognized object in the real space is as described above as the processing of the size estimation unit 105.
  • the information processing apparatus 10 position / orientation estimation unit 107, based on the information indicating the recognition result of the object and the information indicating the estimation result of the size of the object, the relative position of the terminal device 20 and the object Estimate posture.
  • the information processing apparatus 10 recognizes that the size of the object is known based on the obtained estimation result of the size of the object, and thus based on the method described above, the relative relationship of the terminal device 20 with respect to the object. It is possible to estimate a specific position and posture.
  • the information processing apparatus 10 may estimate the relative position and orientation of the terminal device 20 with respect to the recognized object based on SLAM (S107).
  • the information processing apparatus 10 can estimate the position and orientation of the terminal device 20 in real space. Thereby, the information processing apparatus 10 can also present the virtual object to the user via the output unit 201 so that the virtual object is superimposed on the real space based on the AR technology, for example.
  • the timing at which the information processing apparatus 10 executes the process related to the estimation of the position and orientation of the terminal device 20 described above is not particularly limited.
  • the information processing apparatus 10 executes the process related to the estimation of the position and orientation of the terminal device 20 described above when a symmetric object (for example, a marker) is captured in the image. Also good.
  • the information processing apparatus 10 is based on SLAM and predicts that a predetermined object is imaged by the imaging unit (in other words, the object may enter the angle of view of the imaging unit). When predicted, the processing related to the estimation of the position and orientation of the terminal device 20 described above may be executed.
  • processing related to the size estimation of the target object by the information processing device 10 and the processing related to the estimation of the position and orientation of the terminal device 20 based on the estimation result of the size are not limited to one execution, but desired It may be executed as appropriate according to the timing and predetermined conditions.
  • the information processing apparatus 10 for example, when the target object is imaged, the position and orientation of the terminal device 20 based on the captured image. It is possible to correct the above-described error by executing the process related to the estimation.
  • the information processing apparatus 10 determines the image of the object (real object) located in the real space imaged by the imaging unit and the distance to the object. Get the measurement results.
  • the information processing apparatus 10 estimates the size of the object in the real space based on the size of the object in the image and the measurement result of the distance to the object. Thereby, the information processing apparatus 10 according to the present embodiment estimates the size of the object even when the size of the object (marker or the like) used for self-position estimation is unknown, so that the terminal device for the object 20 positions and postures can be estimated (recognized).
  • Second Embodiment> an information processing system according to the second embodiment of the present disclosure will be described.
  • an object with a known size candidate such as a so-called television receiver, display, book, etc.
  • the object is compared with the first embodiment described above.
  • An example of a mechanism for estimating the size with higher accuracy will be described.
  • the information processing apparatus 10 first, as in the first embodiment described above, an image of an object (real object) located in the real space imaged by the imaging unit and the distance to the object Based on the measurement result, the size of the object in the real space is estimated.
  • the resolution associated with the measurement of the size of the object in the image increases as the distance between the imaging unit and the target object increases. Decreases, and as a result, the accuracy related to the estimation of the size of the object in real space decreases.
  • the information processing apparatus 10 estimates the size of the object in real space for an object whose size candidates are known, and uses the size estimation result as the object size candidate. By comparing, the size of the object is specified (in other words, the size estimation result is corrected).
  • FIG. 7 is an explanatory diagram for explaining the outline of the information processing system according to the present embodiment, and shows an example of a television receiver and a display size candidate.
  • the unit of numerical values shown as height and width is cm (centimeter).
  • candidates for discretized values are determined in advance as the screen size. Specifically, as shown in FIG. 7, between 32 inches and 65 inches, as screen size candidates, 32 inches, 37 inches, 42 inches, 46 inches, 50 inches, 55 inches, 60 inches, And 65 inches are set.
  • the books include so-called A version (A4 version (210 mm ⁇ 297 mm), A5 version (148 mm ⁇ 210 mm), A6 version (105 mm ⁇ 148 mm), etc.), B version (B4 version (257 mm ⁇ 364 mm), B5 version (182 mm). ⁇ 257 mm), B6 plate (128 mm ⁇ 182 mm), small B6 plate (112 mm ⁇ 174 mm), etc.), size candidates are set.
  • size candidates are set as so-called A columns (A0, A1, A2, A3,...) And B columns (B0, B1, B2, B3,). Yes.
  • the information processing apparatus 10 sets the size of the marker V10 displayed on the screen of the display device 50 in the real space as illustrated in FIG.
  • the size of the screen is estimated based on the estimation result.
  • the information processing apparatus 10 compares the estimation result of the screen size with a candidate for the screen size as illustrated in FIG. 7 and specifies a candidate closer to the estimation result of the size as the size of the screen.
  • the information processing apparatus 10 is in a situation where the distance between the imaging unit and the target object is increased and the accuracy related to the estimation of the size of the object is reduced.
  • the size of the object in the real space can be specified with higher accuracy.
  • FIG. 8 is a block diagram illustrating an example of a functional configuration of the information processing system according to the present embodiment.
  • the information processing system 2 according to the present embodiment is partly different from the information processing system 1 according to the first embodiment described above (see FIG. 5). More specifically, the information processing apparatus 10 according to the present embodiment is different in configuration corresponding to the size estimation unit 105 in the information processing apparatus 10 according to the first embodiment described above, which is indicated by reference numeral 111. Further, the information processing system 2 according to the present embodiment includes an object size DB 302. Therefore, in the present description, the information processing system 2 according to the present embodiment will be described by focusing on the size estimation unit 111 and the object size DB 302 that are different from the information processing system 1 according to the first embodiment described above. Note that detailed description of portions substantially similar to those of the information processing system 1 according to the first embodiment described above is omitted.
  • the image analysis unit 101 acquires an image captured by the imaging unit 203 and performs an analysis process on the acquired image so that the image is captured as a subject in the image. Recognize an object. At this time, the image analysis unit 101 recognizes an object whose size candidate is known, such as a television receiver, a display, a book, and the like. The object recognition method is the same as in the first embodiment described above. Then, the image analysis unit 101 outputs information indicating the recognition result of the object imaged in the image to the distance estimation unit 103. A portion of the image analysis unit 101 that acquires an image captured by the imaging unit 203 corresponds to a portion of the “acquisition unit” that acquires an image of a real object.
  • the distance estimation unit 103 estimates the distance to the recognized object based on the information indicating the recognition result of the object acquired from the image analysis unit 101 and the depth information acquired from the distance measurement unit 205. This operation is the same as that of the distance estimation unit 103 according to the first embodiment described above. Then, the distance estimation unit 103 outputs information indicating the acquired recognition result of the object and information indicating the estimation result of the distance to the object to the size estimation unit 111. In addition, the part which acquires depth information among the distance estimation parts 103 is equivalent to the part which acquires the measurement result of distance among "acquisition parts.”
  • the size estimation unit 111 acquires information indicating the recognition result of the object and information indicating the estimation result of the distance to the object from the distance estimation unit 103, and based on the acquired information, the object in real space Estimate the size of
  • the size estimation unit 111 estimates the size of the marker V10 displayed on the screen of the display device 50 in the real space, and displays the estimation result of the size of the marker V10. Based on this, the size of the screen of the display device 50 in the real space may be estimated. As another example, when the size estimation unit 111 can directly recognize the screen of the display device 50, the size estimation unit 111 may directly estimate the size of the screen in the real space.
  • the method for estimating the size of the recognized object in the real space is the same as in the first embodiment described above.
  • the size estimation unit 111 compares the estimated size of the recognized object with a candidate for the size of the object, and identifies a candidate closer to the estimated size based on the comparison result as the size of the object.
  • Information indicating candidates for the size of a target object such as a television receiver, a display, a book, or the like may be stored in advance in a storage area that can be read by the information processing apparatus 10.
  • the object size DB 302 shows an example of a storage area for storing information indicating candidates for the size of a target object such as a television receiver, a display, and a book.
  • the size estimation unit 111 outputs information indicating the recognition result of the acquired object and information indicating the result of specifying the size of the object to the position / orientation estimation unit 107.
  • the subsequent processing is the same as that of the information processing apparatus 10 according to the first embodiment described above. That is, the position and orientation estimation unit 107 estimates the relative position and orientation of the terminal device 20 with respect to the object based on information indicating the recognition result of the object and information indicating the estimation result of the size of the object. At this time, the position / orientation estimation unit 107 corrects the estimation result of the distance to the recognized object based on the identification result of the size of the object, and based on the correction result, the relative position of the terminal device 20 with respect to the object. A correct position and orientation may be estimated. With such a configuration, the position and orientation of the terminal device 20 can be estimated with higher accuracy.
  • the output control unit 109 also recognizes the object recognized as the terminal device 20 in the real space based on the information indicating the recognition result of the object and the information indicating the estimation result of the position and orientation of the terminal device 20 in the real space. Recognize the positional relationship between Then, based on the AR technology, the output control unit 109 superimposes the virtual object at a desired position in the real space, for example, according to the positional relationship between the terminal device 20 in the real space and the recognized object. As described above, the virtual object is displayed on the output unit 201.
  • FIG. 9 is a flowchart illustrating an example of a flow of a series of processes of the information processing system 1 according to the present embodiment.
  • the information processing apparatus 10 acquires an image captured by the image capturing unit 203, performs analysis processing on the acquired image, and thereby captures an object (image captured as a subject in the image) ( Real object) is recognized (S201). Note that the method for recognizing an object captured in an image is as described above as the processing of the image analysis unit 101.
  • the information processing apparatus 10 checks whether a single size is associated with the recognized object (that is, whether the size of the object is known) (S203).
  • the information processing apparatus 10 When a single size is associated with the recognized object (S203, YES), the information processing apparatus 10 recognizes that the size of the object is known. In this case, the information processing apparatus 10 calculates the distance from the terminal device 20 to the object based on the recognition result of the object and the size of the object (S213), and based on the calculation result of the distance, The relative position and posture of the terminal device 20 with respect to (S205) are estimated (recognized).
  • the information processing apparatus 10 (distance estimation unit 103) is sent from the distance measurement unit 205 to the imaging unit 203. Depth information indicating a measurement result of a distance to an object imaged as a subject is acquired. Then, the information processing apparatus 10 estimates the distance to the recognized object based on the information indicating the recognition result of the object and the acquired depth information (S205). The method for estimating the distance to the recognized object is as described above as the processing of the distance estimation unit 103.
  • the information processing apparatus 10 estimates the size of the object in real space based on the information indicating the recognition result of the object and the information indicating the estimation result of the distance to the object ( S207). In addition, the information processing apparatus 10 compares the estimated size of the recognized object with a candidate for the size of the object, and identifies a candidate closer to the estimated result of the size as the size of the object based on the comparison result. (S209).
  • the method for specifying the size of the recognized object in the real space is as described above as the processing of the size estimation unit 111.
  • the information processing apparatus 10 stores the recognized object and the identification result of the size of the object in association with each other (S211).
  • the information processing apparatus 10 may correct the estimation result of the distance to the object based on the identification result of the size of the object (S213). Thereby, the information processing apparatus 10 can estimate the distance to the recognized object more accurately.
  • the information processing apparatus 10 estimates (recognizes) the relative position and orientation of the terminal device 20 with respect to the object based on information indicating the recognition result of the object and information indicating the estimation result of the size of the object. ). At this time, the information processing apparatus 10 may estimate the relative position and orientation of the terminal device 20 with respect to the recognized object based on SLAM (S215). Note that the method for estimating the relative position and orientation of the terminal device 20 with respect to the object is as described above as the processing of the position and orientation estimation unit 107.
  • the information processing apparatus 10 can estimate the position and orientation of the terminal device 20 in real space. Thereby, the information processing apparatus 10 can also present the virtual object to the user via the output unit 201 so that the virtual object is superimposed on the real space based on the AR technology, for example.
  • the timing at which the information processing apparatus 10 executes the process related to the estimation of the position and orientation of the terminal device 20 described above is not particularly limited.
  • the information processing apparatus 10 executes the process related to the estimation of the position and orientation of the terminal device 20 described above when a symmetric object (for example, a marker) is captured in the image. Also good.
  • the information processing apparatus 10 is based on SLAM and predicts that a predetermined object is imaged by the imaging unit (in other words, the object may enter the angle of view of the imaging unit). When predicted, the processing related to the estimation of the position and orientation of the terminal device 20 described above may be executed.
  • the information processing apparatus 10 may execute the process related to the estimation of the position and orientation of the terminal device 20 described above based on the estimation result of the distance to the target object.
  • the information processing apparatus 10 determines the above-described terminal apparatus 20 when the estimation result of the distance between the target object and the terminal apparatus 20 is equal to or greater than a threshold (that is, when the distance is more distant). You may perform the process which concerns on estimation of the position and attitude
  • the information processing apparatus 10 can estimate the size of the target object with higher accuracy based on the processing described above.
  • processing related to the size estimation of the target object by the information processing device 10 and the processing related to the estimation of the position and orientation of the terminal device 20 based on the estimation result of the size are not limited to one execution, but desired It may be executed as appropriate according to the timing and predetermined conditions. This is the same as in the first embodiment described above.
  • the information processing apparatus 10 performs processing related to the estimation of the position and orientation of the terminal device 20 described in the present embodiment and processing related to estimation of the position and orientation of the terminal device 20 based on other methods. Depending on the case, it may be selectively switched and executed. As a specific example, the information processing apparatus 10 will be described in the present embodiment when the estimation result of the distance between the target object and the terminal apparatus 20 is equal to or greater than a threshold (that is, when the distance is further away). Based on the method, the position and orientation of the terminal device 20 may be estimated.
  • the information processing apparatus 10 uses another method (for example, the first The position and orientation of the terminal device 20 may be estimated based on the method described as the first embodiment.
  • the information processing apparatus 10 selectively performs the process related to the object size estimation described in the present embodiment and the process related to the object size estimation described in the first embodiment, depending on the situation. You may switch to and execute.
  • the information processing apparatus 10 has been described in the present embodiment when the estimation result of the distance between the target object and the terminal device 20 is equal to or greater than the threshold (that is, when the distance is further away). Based on the method, the size of the object used for self-position estimation may be estimated.
  • the estimation result of the distance between the target object and the terminal device 20 is less than the threshold value (that is, when located closer)
  • the information processing apparatus 10 is the first embodiment described above. The size of the object used for the self-position estimation may be estimated based on the method described in.
  • the information processing apparatus 10 measures the size of an object in a real image and the distance to the object for an object whose size candidates are known. Based on the result, the size of the object in the real space is estimated. Then, the information processing apparatus 10 compares the object size estimation result with the object size candidate, and specifies a candidate closer to the size estimation result as the size of the screen. With the above configuration, the information processing apparatus 10 according to the present embodiment estimates the size of an object (marker or the like) used for self-position estimation more accurately than the first embodiment described above. Is possible.
  • the information processing apparatus 10 estimates the size of the object even when the size of the object used for self-position estimation is unknown, so that the terminal for the object The position and orientation of the device 20 can be estimated (recognized) with higher accuracy.
  • FIG. 10 is a block diagram illustrating a hardware configuration example of the information processing apparatus 10 according to an embodiment of the present disclosure.
  • the information processing apparatus 10 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 10 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 10 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 10 may include a processing circuit called a DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 10 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may include a microphone that detects the user's voice.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 10.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901.
  • the user operates the input device 915 to input various data to the information processing device 10 or instruct a processing operation.
  • An imaging device 933 which will be described later, can also function as an input device by imaging a user's hand movement and the like.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 includes, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, a projector, a hologram display device, a sound output device such as a speaker and headphones, As well as a printer device.
  • the output device 917 outputs the result obtained by the processing of the information processing device 10 as video such as text or an image, or outputs audio or sound.
  • the output device 917 may include a light or the like to brighten the surroundings.
  • the output unit 201 described above can be realized by the output device 917, for example.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the object recognition dictionary 301 and the object size DB 302 described above can be realized by the storage device 919, for example.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 10.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.
  • the imaging device 933 uses various members such as an imaging element such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the imaging of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image. Note that the above-described imaging unit 203 can be realized by the imaging device 933, for example.
  • the sensor 935 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor. For example, the sensor 935 acquires information about the state of the information processing apparatus 10 itself, such as the attitude of the housing of the information processing apparatus 10, and information about the surrounding environment of the information processing apparatus 10, such as brightness and noise around the information processing apparatus 10. To do.
  • the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the apparatus.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • An acquisition unit that acquires an image of a real object in real space imaged by a predetermined imaging unit and a measurement result of a distance to the real object by a predetermined distance measurement unit; Based on the size of the real object in the image and the measurement result of the distance, the size of the real object in the real space is estimated, and the estimation result of the size is set as a plurality of preset size candidates.
  • an estimation unit that identifies the size of the real object in real space
  • An information processing apparatus comprising: (2) Based on the result of specifying the size of the real object in the real space, the positional relationship between the real object and the imaging unit is estimated, and at least one of the position and orientation of the imaging unit is determined based on the estimation result.
  • the information processing apparatus according to (1) further including a recognition unit that recognizes.
  • the recognition unit corrects a recognition result of at least one of the position and orientation of the imaging unit recognized in the past based on the estimation result of the positional relationship between a real object and the imaging unit.
  • the information processing apparatus according to 2).
  • a display control unit for displaying the virtual object so that the virtual object is superimposed on the real space;
  • the display control unit controls at least one of a display position and a display size of the virtual object based on a recognition result of at least one of the position and orientation of the imaging unit;
  • the information processing apparatus according to (2) or (3).
  • the information processing apparatus according to any one of (1) to (4), wherein the estimation unit corrects the measurement result of the distance based on a result of specifying the size of the real object.
  • the acquisition unit acquires the image of the real object on which a predetermined marker is presented,
  • the estimation unit estimates the size of the real object in real space based on the size of the marker in the image and the measurement result of the distance, Any one of (1) to (5)
  • the estimation unit performs processing related to estimation of the size of the real object in real space, when an image obtained by capturing the real object is acquired, any one of (1) to (6)
  • the information processing apparatus according to item.
  • the estimation unit estimates a change in at least one of the position and orientation of the imaging unit based on a detection result of a predetermined detection unit, and estimates the size of the real object in real space based on the estimation result
  • the information processing apparatus according to any one of (1) to (6), wherein the execution timing of the process related to the control is controlled.
  • the estimation unit is configured in real space when the real object is predicted to enter the angle of view of the imaging unit based on the estimation result of the change in at least one of the position and orientation of the imaging unit.
  • the information processing apparatus wherein the processing related to the estimation of the size of the real object is executed.
  • the estimation unit according to any one of (1) to (6), wherein the estimation unit controls execution timing of processing related to the estimation of the size of the real object in real space based on the measurement result of the distance.
  • Information processing device (11) The information processing apparatus according to (10), wherein when the measurement result of the distance is equal to or greater than a threshold, the estimation unit executes a process related to a process related to the estimation of the size of the real object in real space.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

【課題】実空間上におけるオブジェクトのサイズを推定可能とする。 【解決手段】所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得する取得部と、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定する推定部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、及び記録媒体
　本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。
　近年、画像認識技術の高度化に伴い、撮像装置により撮像された画像に含まれる実オブジェクト（即ち、実空間上の物体）の位置及び姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、拡張現実（ＡＲ：Augmented　Reality）と呼ばれる技術が知られている。ＡＲ技術を利用することで、実空間の画像に撮像された実オブジェクトに対して、テキスト、アイコン、またはアニメーション等の様々な態様の仮想的なコンテンツ（以降では、「仮想オブジェクト」とも称する）を重畳してユーザに提示することが可能となる。例えば、特許文献１には、ＡＲ技術の一例が開示されている。
　また、物体認識技術の応用により、オブジェクトの画像を撮像する撮像部（ひいては、当該撮像部を備える装置）の実空間上における位置を認識するための所謂自己位置推定を行うことも可能となる。このような自己位置推定を実現するための技術の一例として、ＳＬＡＭ（simultaneous　localization　and　mapping）と称される技術が挙げられる。
特開２０１３－９２９６４号公報
　自己位置推定を実現するための方法の一例として、既知のマーカ等のように、サイズや形状が既知の実オブジェクトを、撮像部により撮像された画像内で検出することで、当該実オブジェクトと当該撮像部との間の位置関係を推定する方法が挙げられる。
　一方で、自己位置推定の基準とする実オブジェクトのサイズが必ずしも既知とは限らない場合がある。例えば、ディスプレイに自己位置推定の基準となるマーカが表示された場合には、当該マーカのサイズは、当該ディスプレイのサイズに応じて変化する可能性がある。このように、自己位置推定の基準とする実オブジェクトのサイズが未知の状態においては、実オブジェクトと撮像部との間の位置関係をより正確に推定する（即ち、より正確に自己位置推定を行う）ことが困難となる場合がある。
　そこで、本開示では、実空間上におけるオブジェクトのサイズを推定することが可能な、情報処理装置、情報処理方法、及び記録媒体を提案する。
　本開示によれば、所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得する取得部と、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定する推定部と、を備える、情報処理装置が提供される。
　また、本開示によれば、所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、プロセッサが、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータに、所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、を実行させるためのプログラムが記録された記録媒体が提供される。
　以上説明したように本開示によれば、実空間上におけるオブジェクトのサイズを推定することが可能な、情報処理装置、情報処理方法、及び記録媒体が提供される。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る端末装置の概略的な構成の一例について説明するための説明図である。 自己位置推定の原理の一例について説明するための説明図である。 自己位置推定の結果を利用した処理の一例について説明するための説明図である。 同実施形態に係る情報処理システムの技術的課題について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。 本開示の第２の実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 同実施形態に係る情報処理システム１の一連の処理の流れの一例について示したフローチャートである。 本開示の一実施形態にかかる情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１．１．端末装置の構成
　　１．２．自己位置推定の原理
　　１．３．機能構成
　　１．４．処理
　　１．５．評価
　２．第２の実施形態
　　２．１．基本原理
　　２．２．機能構成
　　２．３．処理
　　２．４．評価
　３．ハードウェア構成例
　４．むすび
　＜１．第１の実施形態＞
　　＜１．１．端末装置の構成＞
　まず、図１を参照して本開示の第１の実施形態に係る端末装置の概略的な構成の一例について説明する。図１は、本実施形態に係る端末装置の概略的な構成の一例について説明するための説明図である。
　図１に示すように、本実施形態に係る端末装置２０は、出力部２０１と、撮像部２０３ａ及び２０３ｂとを含む。また、本実施形態に係る端末装置２０は、所謂頭部装着型の表示装置（ＨＭＤ：Head　Mounted　Display）として構成されている。即ち、端末装置２０は、ユーザの頭部に装着されることで、当該ユーザの眼前に、画像を表示するための出力部２０１（例えば、表示パネル）を保持するように構成されている。
　撮像部２０３ａ及び２０３ｂは、所謂ステレオカメラとして構成されており、端末装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、当該端末装置２０の互いに異なる位置に設けられている。このような構成に基づき、撮像部２０３ａ及び２０３ｂは、端末装置２０を装着したユーザの前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置（換言すると、異なる視点）から撮像する。これにより、端末装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、撮像部２０３ａ及び２０３ｂそれぞれに撮像された画像間の視差に基づき、当該端末装置２０から、当該被写体までの距離を算出することが可能となる。
　また、本実施形態に係る端末装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該端末装置２０を装着したユーザの頭部の動き（頭部の姿勢）を検出可能に構成されていてもよい。具体的な一例として、端末装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。
　以上のような構成に基づき、本実施形態に係る端末装置２０は、ユーザの頭部の動きにあわせて、当該ユーザの前方に位置する被写体の画像を、出力部２０１を介して当該ユーザに提示することが可能となる。また、このとき端末装置２０は、所謂ＡＲ技術に基づき、被写体（即ち、実空間に位置する実オブジェクト）に対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳された画像を、出力部２０１を介してユーザに提示することも可能となる。なお、端末装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための方法（即ち、自己位置推定）の一例については、詳細を別途後述する。
　なお、端末装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ）の一例としては、例えば、ビデオシースルー型ＨＭＤ、シースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。
　ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。例えば、図１に示した端末装置２０は、ビデオシースルー型ＨＭＤの一例に相当する。
　シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。
　網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。
　なお、参考として、上記に説明した例以外にも、没入型ＨＭＤと呼ばれるＨＭＤが挙げられる。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。
　以上、図１を参照して本実施形態に係る端末装置の概略的な構成の一例について説明した。なお、上記に説明した端末装置２０の構成はあくまで一例であり、端末装置２０を装着するユーザの前方の画像を撮像し、かつ、当該端末装置２０から撮像される被写体までの距離を算出することが可能であれば、その構成は特に限定されない。具体的な一例として、ステレオカメラとして構成された撮像部２０３ａ及び２０３ｂに替えて、単眼の撮像部と、被写体との間の距離を測定する測距部とを設けてもよい。
　なお、端末装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time　Of　Flight）、Structured　Light等の方式に基づき、端末装置２０と被写体との間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured　Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。
　　＜１．２．自己位置推定の原理＞
　次いで、端末装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明し、そのうえで、本実施形態の技術的課題について整理する。例えば、図２は、自己位置推定の原理の一例について説明するための説明図である。
　自己位置推定の具体的な一例として、端末装置２０は、実空間上の実オブジェクト上に提示されたサイズが既知のマーカＶ１０を、自身に設けられたカメラ等の撮像部により撮像する。そして、端末装置２０は、撮像された画像を解析することで、マーカＶ１０（ひいては、当該マーカＶ１０が提示された実オブジェクト）に対する自身の相対的な位置及び姿勢のうち少なくともいずれかを推定する。なお、以降の説明では、端末装置２０が自身の位置及び姿勢を推定する場合に着目して説明するが、当該端末装置２０は、自身の位置及び姿勢のうちいずれかのみを推定してもよいことは前述した通りである。
　具体的には、画像中に撮像されたマーカＶ１０の向き（例えば、マーカＶ１０の模様等の向き）に応じて、当該マーカＶ１０に対する撮像部（ひいては、当該撮像部を備える端末装置２０）の相対的な方向を推定することが可能である。また、マーカＶ１０のサイズが既知の場合には、画像中におけるマーカＶ１０のサイズに応じて、当該マーカＶ１０と撮像部（即ち、当該撮像部を備える端末装置２０）との間の距離を推定することが可能である。より具体的には、マーカＶ１０をより遠くから撮像すると、当該マーカＶ１０は、より小さく撮像されることとなる。また、このとき画像中に撮像される実空間上の範囲は、撮像部の画角に基づき推定することが可能である。以上の特性を利用することで、画像中に撮像されたマーカＶ１０の大きさ（換言すると、画角内においてマーカＶ１０が占める割合）に応じて、当該マーカＶ１０と撮像部との間の距離を逆算することが可能である。以上のような構成により、端末装置２０は、マーカＶ１０に対する自身の相対的な位置及び姿勢を推定することが可能となる。
　また、所謂ＳＬＡＭ（simultaneous　localization　and　mapping）と称される技術が、端末装置２０の自己位置推定に利用されてもよい。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ　ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の三次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、端末装置２０）の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、端末装置２０に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。
　以上のような構成のもとで、例えば、撮像部による既知のマーカＶ１０の撮像結果に基づく、当該マーカＶ１０に対する端末装置２０の相対的な位置及び姿勢の推定結果が、上述したＳＬＡＭにおける初期化処理や位置補正に利用されてもよい。このような構成により、端末装置２０は、マーカＶ１０が撮像部の画角内に含まれない状況下においても、従前に実行された初期化や位置補正の結果を受けたＳＬＡＭに基づく自己位置推定により、当該マーカＶ１０（ひいては、当該マーカＶ１０が提示された実オブジェクト）に対する自身の位置及び姿勢を推定することが可能となる。
　また、端末装置２０は、上述した自己位置推定の結果を利用することで、ＡＲ技術に基づき、実空間上の所望の位置（所望の実オブジェクト）に仮想オブジェクトが重畳するように、当該仮想オブジェクトをユーザに提示することも可能となる。
　一方で、ゲーム等の用途においては、例えば、図２に示すように、ディスプレイ等の表示装置５０に対してマーカＶ１０を表示させる場合が想定され得る。このような場合には、例えば、端末装置２０は、表示装置５０に表示されたマーカＶ１０を認識させる（例えば、撮像部に撮像させる）ことで、表示装置５０に対する自信の相対的な位置及び姿勢を推定する（即ち、自己位置推定を行う）。そして、端末装置２０は、表示装置５０に対する自身の位置及び姿勢の推定結果を、例えば、ＡＲ技術に基づく仮想オブジェクトの提示に利用する。
　例えば、図３は、自己位置推定の結果を利用した処理の一例について説明するための説明図であり、ＡＲ技術に基づき仮想オブジェクトを提示する場合の一例について示している。具体的には、端末装置２０は、表示装置５０に対する自身の相対的な位置及び姿勢の推定結果に基づき、表示装置５０が配置された実空間上の所望の位置に仮想オブジェクトＶ２０が重畳するように、出力部２０１を介して、当該仮想オブジェクトＶ２０をユーザに提示する。
　しかしながら、自己位置推定に利用されるマーカのサイズが必ずしも既知とは限らない。例えば、図２に示す例のように、表示装置５０にマーカＶ１０を表示させる場合には、当該表示装置５０のサイズ（例えば、インチ数）に応じて、実空間上におけるマーカＶ１０のサイズが異なる。
　例えば、図４は、本実施形態に係る情報処理システムの技術的課題について説明するための説明図であり、互いにサイズの異なる表示装置にマーカを表示させた場合の一例を示している。具体的には、図４に示す例では、互いにインチ数の異なる表示装置５０ａ及び５０ｂに対して、マーカＶ１０が提示された同じ画像を表示させている。図４に示すように、表示装置５０ａ及び５０ｂのそれぞれに同じようにマーカＶ１０を表示させたとしても、実空間上における、表示装置５０ａに表示されたマーカＶ１０ａのサイズと、表示装置５０ｂに表示されたマーカＶ１０ｂのサイズとは異なる。
　また、自己位置推定のためのマーカとして、必ずしも明示的に付されたシール等のマーカが利用されるとは限らない。具体的な一例として、本の表紙等をマーカとして利用する場合も想定され得る。このような場合においては、上製本や本製本のような所謂ハードカバーと、所謂文庫本との違いのように、本のサイズが多様であり、同様のタイトルに着目した場合においても、サイズの異なる本が存在する場合がある。
　このように、自己位置推定に利用されるマーカのサイズが未知の場合においては、端末装置２０は、実空間上における尺度を正確に推定することが困難となり、ひいては自己位置推定を正確に行うことが困難となる場合がある。そこで、本開示では、実オブジェクトのサイズが未知の場合においても、当該実オブジェクトのサイズを推定することで、当該実オブジェクトに対する撮像部（ひいては、端末装置２０）の位置及び姿勢を推定することが可能な仕組みの一例について提案する。そこで、以降では、本実施形態に係る情報処理システムの特徴についてより詳しく説明する。
　　＜１．３．機能構成＞
　まず、図５を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図５は、本実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。
　図５に示すように、本実施形態に係る情報処理システム１は、端末装置２０と、情報処理装置１０と、物体認識辞書３０１とを含む。端末装置２０と情報処理装置１０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、端末装置２０と情報処理装置１０との間を接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、例えば、Ｗｉ－Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local　Area　Network）、または、ＷＡＮ（Wide　Area　Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、一部が有線のネットワークとして構成されていてもよい。
　端末装置２０の具体的な一例としては、図１を参照して説明した端末装置２０が挙げられる。より具体的には、図５に示すように、端末装置２０は、出力部２０１と、撮像部２０３と、測距部２０５とを含む。出力部２０１は、図１に示す出力部２０１に相当する。なお、図５に示す例では、図１において、ステレオカメラとして構成された撮像部２０３ａ及び２０３ｂのうち、画像の撮像に係る部分を撮像部２０３として示し、被写体までの距離の測定に係る部分を測距部２０５として示している。
　即ち、撮像部２０３は、実空間上の物体（被写体）の画像を撮像し、撮像した当該画像を情報処理装置１０に出力する。また、測距部２０５は、実空間上の当該物体（被写体）までの距離を測定し、測定結果を示す深度情報を情報処理装置１０に出力する。
　次いで、情報処理装置１０の構成に着目する。図５に示すように、情報処理装置１０は、画像解析部１０１と、距離推定部１０３と、サイズ推定部１０５と、位置姿勢推定部１０７と、出力制御部１０９とを含む。
　画像解析部１０１は、撮像部２０３により撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像中に被写体として撮像された物体（実オブジェクト）を認識する。このとき、画像解析部１０１は、例えば、画像中に撮像された物体の特徴（例えば、形状、模様等の特徴）に基づき特徴量を算出し、既知の物体の特徴量を示す情報と照合することで、画像中に撮像された物体を認識してもよい。なお、既知の物体の特徴量を示す情報については、情報処理装置１０が読み出し可能な記憶領域にあらかじめ記憶させておけばよい。例えば、物体認識辞書３０１は、既知の物体の特徴量を示す情報を記憶させておくための記憶領域の一例を示している。
　以上により、画像解析部１０１は、画像中に撮像された物体を認識する。このような認識結果により、画像中における当該物体の位置やサイズを認識することが可能となる。そして、画像解析部１０１は、画像中に撮像された物体の認識結果（以降では、単に「物体の認識結果」と称する場合がある）を示す情報を、距離推定部１０３に出力する。なお、取得された画像（即ち、撮像部２０３により撮像された画像）については、例えば、後述する情報処理装置１０の各構成が参照可能な記憶領域（図示を省略する）に保持されているとよい。もちろん、情報処理装置１０の各構成が、取得された画像を参照することが可能であれば、その方法は特に限定されない。上記を踏まえ、以降の説明では、情報処理装置１０の各構成が、取得された画像を必要に応じて参照可能であるものとする。
　距離推定部１０３は、測距部２０５から、撮像部２０３により被写体として撮像された物体までの距離の測定結果を示す深度情報を取得する。具体的な一例として、端末装置２０が、測距部２０５に相当する構成として、図１に示す例のようにステレオカメラを利用している場合には、距離推定部１０３は、当該ステレオカメラによる撮像結果に基づく視差を示す情報を、深度情報として取得してもよい。また、測距部２０５が、ＴＯＦ方式に基づき被写体（物体）までの距離を測定する構成の場合には、距離推定部１０３は、画素ごとに測定された被写体までの距離（深度）を示す情報が含まれた所謂距離画像を、深度情報として取得してもよい。
　また、距離推定部１０３は、画像解析部１０１から、物体の認識結果を示す情報を取得する。そして、距離推定部１０３は、取得した物体の認識結果を示す情報と、深度情報とに基づき、認識された物体までの距離を推定する。より具体的な一例として、距離推定部１０３は、物体の認識結果に基づき、画像中の当該物体の位置を認識し、認識した画像中の位置に対応する距離の測定結果を、取得した深度情報から抽出することで、当該物体までの距離を認識（推定）する。
　そして、距離推定部１０３は、取得した物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とを、サイズ推定部１０５に出力する。
　サイズ推定部１０５は、距離推定部１０３から、物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とを取得し、取得した当該情報に基づき、実空間上における当該物体のサイズを推定する。具体的な一例として、サイズ推定部１０５は、画像中における物体のサイズと、当該物体までの距離の推定結果とに基づき、実空間上における当該物体のサイズを推定する。なお、前述したように、画像中に撮像される実空間上の範囲については、撮像部２０３の画角に基づき推定することが可能である。そのため、画像中に撮像された物体までの距離を推定することが可能であれば、画像中における物体のサイズ（即ち、画角内に占める当該物体の範囲）に基づき、実空間上における当該物体のサイズを推定することが可能となる。
　そして、サイズ推定部１０５は、取得した物体の認識結果を示す情報と、当該物体のサイズの推定結果を示す情報とを、位置姿勢推定部１０７に出力する。
　位置姿勢推定部１０７は、実空間上における端末装置２０の位置及び姿勢の推定に係る処理（所謂自己位置推定に係る処理）を実行するための構成である。位置姿勢推定部１０７は、サイズ推定部１０５から、物体の認識結果を示す情報と、当該物体のサイズの推定結果を示す情報とを取得し、取得した当該情報に基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定する。なお、認識された物体（即ち、画像中に撮像された物体）に対する端末装置２０の相対的な位置及び姿勢については、取得された物体のサイズの推定結果に基づき、当該物体のサイズが既知であるものと認識することで、前述した方法に基づき推定することが可能である。
　また、このとき位置姿勢推定部１０７は、ＳＬＡＭに基づき、認識された物体に対する端末装置２０の相対的な位置及び姿勢を推定してもよい。この場合には、位置姿勢推定部１０７は、図示しない所定の検知部（例えば、端末装置２０に設けられた加速度センサや角速度センサ等）から、端末装置２０の位置及び姿勢の変化を示す情報を取得し、当該情報をＳＬＡＭに基づく自己位置推定（即ち、物体に対する端末装置２０の位置及び姿勢の推定）に利用してもよい。
　そして、位置姿勢推定部１０７は、取得した物体の認識結果を示す情報と、実空間上における端末装置２０の位置及び姿勢の推定結果を示す情報とを、出力制御部１０９に出力する。
　出力制御部１０９は、ＡＲ技術に基づき、仮想オブジェクトが実空間上に重畳するように、当該仮想オブジェクトを、出力部２０１を介してユーザに提示するための構成である。なお、出力制御部１０９が、「表示制御部」の一例に相当する。
　具体的には、出力制御部１０９は、位置姿勢推定部１０７から、物体の認識結果を示す情報と、実空間上における端末装置２０の位置及び姿勢の推定結果を示す情報とを取得する。これにより、出力制御部１０９は、実空間上における端末装置２０と認識された物体との間の位置関係や、実空間上における当該物体の３次元的な位置及び姿勢を推定することが可能となる。
　そして、出力制御部１０９は、例えば、実空間上における端末装置２０と認識された物体との間の位置関係に応じて、実空間上の所望の位置に仮想オブジェクトが重畳するように、当該仮想オブジェクトを出力部２０１に表示させる。
　より具体的な一例として、端末装置２０がビデオシースルー型ＨＭＤとして構成されている場合に着目する。この場合には、出力制御部１０９は、実空間上における端末装置２０と認識された物体との間の位置関係に応じて、撮像部２０３により撮像された画像に対して仮想オブジェクトを重畳し、仮想オブジェクトが重畳された当該画像を出力部２０１に表示させる。このとき、出力制御部１０９は、実空間上における端末装置２０と認識された物体との間の位置関係に応じて、仮想オブジェクトの表示位置や、当該仮想オブジェクトのサイズを調整するとよい。これにより、ユーザは、自身の前方に、仮想オブジェクトがあたかも存在するような画像を視認することが可能となる。
　また、他の一例として、端末装置２０が、シースルー型ＨＭＤとして構成されている場合に着目する。この場合には、出力制御部１０９は、虚像光学系（出力部２０１に相当）の内側に仮想オブジェクトを表示する際に、実空間上における端末装置２０と認識された物体との間の位置関係に応じて、当該仮想オブジェクトの表示位置やサイズを制御すればよい。これにより、ユーザは、自身の前方に、仮想オブジェクトがあたかも存在するように、当該仮想オブジェクトを視認することが可能となる。
　なお、図５に示した構成はあくまで一例であり、情報処理システム１の構成は、必ずしも図５に示す例には限定されない。具体的な一例として、端末装置２０と情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、情報処理装置１０の構成のうち、一部の構成が、当該情報処理装置１０とは異なる装置（例えば、端末装置２０や外部のサーバ等）に設けられていてもよい。また、物体認識辞書３０１は、情報処理装置１０に内蔵されていてもよいし、外部のサーバに設けられていてもよい。
　以上、図５を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明した。
　　＜１．４．処理＞
　続いて、図６を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１０における端末装置２０の位置及び姿勢の推定に係る処理に着目して説明する。図６は、本実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。
　まず、情報処理装置１０（画像解析部１０１）は、撮像部２０３により撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像中に被写体として撮像された物体（実オブジェクト）を認識する（Ｓ１０１）。なお、画像中に撮像された物体の認識方法については、画像解析部１０１の処理として前述した通りである。
　次いで、情報処理装置１０（距離推定部１０３）は、測距部２０５から、撮像部２０３により被写体として撮像された物体までの距離の測定結果を示す深度情報を取得する。そして、情報処理装置１０は、物体の認識結果を示す情報と、取得した深度情報とに基づき、認識された物体までの距離を推定する（Ｓ１０３）。なお、認識された物体までの距離の推定方法については、距離推定部１０３の処理として前述した通りである。
　次いで、情報処理装置１０（サイズ推定部１０５）は、物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とに基づき、実空間上における当該物体のサイズを推定する（Ｓ１０５）。なお、実空間上における、認識された物体のサイズの推定方法については、サイズ推定部１０５の処理として前述した通りである。
　次いで、情報処理装置１０（位置姿勢推定部１０７）は、物体の認識結果を示す情報と、当該物体のサイズの推定結果を示す情報とに基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定する。このとき、情報処理装置１０は、取得された物体のサイズの推定結果に基づき、当該物体のサイズが既知であるものと認識することで、前述した方法に基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定することが可能となる。また、このとき情報処理装置１０は、ＳＬＡＭに基づき、認識された物体に対する端末装置２０の相対的な位置及び姿勢を推定してもよい（Ｓ１０７）。
　以上のような一連の処理に基づき、情報処理装置１０は、実空間上における端末装置２０の位置及び姿勢を推定することが可能となる。これにより、情報処理装置１０は、例えば、ＡＲ技術に基づき、仮想オブジェクトが実空間上に重畳するように、当該仮想オブジェクトを、出力部２０１を介してユーザに提示することも可能となる。
　なお、情報処理装置１０が、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行するタイミングは特に限定されない。具体的な一例として、情報処理装置１０は、画像中に対称となる物体（例えば、マーカ等）が撮像された場合に、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。また、他の一例として、情報処理装置１０は、ＳＬＡＭに基づき、所定の物体が撮像部により撮像されることが予測された場合（換言すると、撮像部の画角内に当該物体が入ることが予測された場合）に、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。
　また、情報処理装置１０による、対象となる物体のサイズ推定に係る処理や、当該サイズの推定結果に基づく端末装置２０の位置及び姿勢の推定に係る処理は、一度の実行のみに限らず、所望のタイミングや所定の条件に応じて適宜実行されてもよい。
　具体的な一例として、ＳＬＡＭに基づき端末装置２０の位置及び姿勢の推定を行う場合に着目すると、当該推定の基準となる物体（マーカ等）が撮像されていない状況下では、例えば、各種センサ（加速度センサや角速度センサ等）の検知結果に基づき端末装置２０の位置及び姿勢の変化を認識する。しかしながら、各種センサの検知結果に基づく端末装置２０の位置及び姿勢の変化の認識には誤差が生じる場合がある。このような誤差は、当該認識が実行されるごとに蓄積される傾向にあり、ひいては、端末装置２０の位置及び姿勢の推定結果に影響をおよぼす場合がある。一方で、このような状況下においても、本実施形態に係る情報処理装置１０は、例えば、対象となる物体が撮像された場合に、撮像された画像に基づき、端末装置２０の位置及び姿勢の推定に係る処理を実行することで、上述した誤差を補正することが可能となる。
　以上、図６を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１０における端末装置２０の位置及び姿勢の推定に係る処理に着目して説明した。
　　＜１．５．評価＞
　以上説明したように、本実施形態に係る情報処理システム１において、情報処理装置１０は、撮像部により撮像された実空間上に位置する物体（実オブジェクト）の画像と、当該物体までの距離の測定結果とを取得する。そして、情報処理装置１０は、画像中における物体のサイズと、当該物体までの距離の測定結果とに基づき、実空間上における当該物体のサイズを推定する。これにより、本実施形態に係る情報処理装置１０は、自己位置推定に利用される物体（マーカ等）のサイズが未知の場合においても、当該物体のサイズを推定することで、当該物体に対する端末装置２０の位置及び姿勢を推定する（認識する）ことが可能となる。
　＜２．第２の実施形態＞
　次いで、本開示の第２の実施形態に係る情報処理システムについて説明する。本実施形態では、所謂テレビジョン受像機、ディスプレイ、書籍等のように、サイズの候補が既知の物体を自己位置推定に利用する場合に、前述した第１の実施形態に比べて、当該物体のサイズをより精度良く推定するための仕組みの一例について説明する。
　　＜２．１．基本原理＞
　まず、本実施形態に係る情報処理システムにおいて、情報処理装置１０が、端末装置２０の位置及び姿勢を推定する処理の基本原理について説明する。
　本実施形態に係る情報処理装置１０は、まず、前述した第１の実施形態と同様に、撮像部により撮像された実空間上に位置する物体（実オブジェクト）の画像と、当該物体までの距離の測定結果とに基づき、実空間上における当該物体のサイズを推定する。一方で、第１の実施形態と同様の手法でサイズを推定する場合には、撮像部と、対象となる物体との間の距離が離れるほど、画像中における当該物体のサイズの測定に係る分解能が低下し、ひいては実空間上における当該物体のサイズの推定に係る精度が低下する。
　そこで、本実施形態に係る情報処理装置１０は、サイズの候補が既知の物体を対象として、実空間上における当該物体のサイズを推定し、当該サイズの推定結果を、当該物体のサイズの候補と比較することで、当該物体のサイズを特定する（換言すると、サイズの推定結果を補正する）。
　例えば、図７は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、テレビジョン受像機やディスプレイのサイズの候補の一例を示している。なお、図７において、高さ及び幅として示された数値の単位は、ｃｍ（センチメートル）である。図７に示すように、テレビジョン受像機やディスプレイは、画面のサイズとして、離散化された値の候補があらかじめ決められている。具体的には、図７に示すように、３２インチ～６５インチの間においては、画面のサイズの候補として、３２インチ、３７インチ、４２インチ、４６インチ、５０インチ、５５インチ、６０インチ、及び６５インチが設定されている。また、書籍では、所謂Ａ版（Ａ４版（２１０ｍｍ×２９７ｍｍ）、Ａ５版（１４８ｍｍ×２１０ｍｍ）、Ａ６版（１０５ｍｍ×１４８ｍｍ）等）やＢ版（Ｂ４版（２５７ｍｍ×３６４ｍｍ）、Ｂ５版（１８２ｍｍ×２５７ｍｍ）、Ｂ６版（１２８ｍｍ×１８２ｍｍ）、小Ｂ６版（１１２ｍｍ×１７４ｍｍ）等）として、サイズの候補が設定されている。同様に、ポスター等の紙媒体においても、所謂Ａ列（Ａ０、Ａ１、Ａ２、Ａ３、…等）やＢ列（Ｂ０、Ｂ１、Ｂ２、Ｂ３、…等）として、サイズの候補が設定されている。
　具体的な一例として、本実施形態に係る情報処理装置１０は、図２に示すように表示装置５０の画面に表示されたマーカＶ１０の実空間上におけるサイズを、第１の実施形態と同様の手法で推定し、当該推定結果に基づき、当該画面のサイズを推定する。そして、情報処理装置１０は、画面のサイズの推定結果を、図７に示すような当該画面のサイズの候補と比較し、当該サイズの推定結果により近い候補を、当該画面のサイズとして特定する。
　このような構成により、本実施形態に係る情報処理装置１０は、撮像部と、対象となる物体との間の距離が離れ、当該物体のサイズの推定に係る精度が低下するような状況下においても、実空間上における当該物体のサイズをより精度良く特定することが可能となる。
　以上、図７を参照して、本実施形態に係る情報処理システムにおいて、情報処理装置１０が、端末装置２０の位置及び姿勢を推定する処理の基本原理について説明した。
　　＜２．２．機能構成＞
　続いて、図８を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図８は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
　図８に示すように、本実施形態に係る情報処理システム２は、一部の構成が、前述した第１の実施形態に係る情報処理システム１（図５参照）と異なる。より具体的には、本実施形態に係る情報処理装置１０は、参照符号１１１で示された、前述した第１の実施形態に係る情報処理装置１０におけるサイズ推定部１０５に相当する構成が異なる。また、本実施形態に係る情報処理システム２は、物体サイズＤＢ３０２を含む。そこで、本説明では、本実施形態に係る情報処理システム２について、特に、前述した第１の実施形態に係る情報処理システム１と異なる、サイズ推定部１１１や物体サイズＤＢ３０２に着目して説明する。なお、前述した第１の実施形態に係る情報処理システム１と実質的に同様の部分については、詳細な説明は省略する。
　本実施形態に係る情報処理装置１０において、画像解析部１０１は、撮像部２０３により撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像中に被写体として撮像された物体を認識する。なお、このとき、画像解析部１０１は、特に、テレビジョン受像機、ディスプレイ、書籍等のように、サイズの候補が既知の物体を認識する。なお、物体の認識方法については、前述した第１の実施形態と同様である。そして、画像解析部１０１は、画像中に撮像された物体の認識結果を示す情報を、距離推定部１０３に出力する。なお、画像解析部１０１のうち撮像部２０３により撮像された画像を取得する部分が、「取得部」のうち実オブジェクトの画像を取得する部分に相当する。
　距離推定部１０３は、画像解析部１０１から取得した物体の認識結果を示す情報と、測距部２０５から取得した深度情報とに基づき、認識された物体までの距離を推定する。なお、本動作については、前述した第１の実施形態に係る距離推定部１０３と同様である。そして、距離推定部１０３は、取得した物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とを、サイズ推定部１１１に出力する。なお、距離推定部１０３のうち深度情報を取得する部分が、「取得部」のうち距離の測定結果を取得する部分に相当する。
　サイズ推定部１１１は、距離推定部１０３から、物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とを取得し、取得した当該情報に基づき、実空間上における当該物体のサイズを推定する。
　具体的な一例として、テレビジョン受像機やディスプレイ等のような表示装置５０の画面の実空間上におけるサイズを推定する場合に着目する。この場合には、例えば、サイズ推定部１１１は、図２に示すように、表示装置５０の画面に表示されたマーカＶ１０の実空間上におけるサイズを推定し、当該マーカＶ１０のサイズの推定結果に基づき、実空間上における表示装置５０の画面のサイズを推定すればよい。また、他の一例として、サイズ推定部１１１は、表示装置５０の画面自体を直接認識できている場合には、当該画面の実空間上におけるサイズを直接推定してもよい。なお、実空間上における、認識された物体のサイズの推定方法については、前述した第１の実施形態と同様である。
　次いで、サイズ推定部１１１は、認識された物体のサイズの推定結果を、当該物体のサイズの候補と比較し、比較結果に基づき、当該サイズの推定結果により近い候補を、当該物体のサイズとして特定する。なお、テレビジョン受像機、ディスプレイ、書籍等のような対象となる物体のサイズの候補を示す情報については、情報処理装置１０が読み出し可能な記憶領域にあらかじめ記憶させておけばよい。例えば、物体サイズＤＢ３０２は、テレビジョン受像機、ディスプレイ、書籍等のような対象となる物体のサイズの候補を示す情報を記憶させておくための記憶領域の一例を示している。
　そして、サイズ推定部１１１は、取得した物体の認識結果を示す情報と、当該物体のサイズの特定結果を示す情報とを、位置姿勢推定部１０７に出力する。
　なお、以降の処理については、前述した第１の実施形態に係る情報処理装置１０と同様である。即ち、位置姿勢推定部１０７は、物体の認識結果を示す情報と、当該物体のサイズの推定結果を示す情報とに基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定する。なお、このとき位置姿勢推定部１０７は、認識された物体までの距離の推定結果を、当該物体のサイズの特定結果に基づき補正し、当該補正結果に基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定してもよい。このような構成により、端末装置２０の位置及び姿勢をより精度良く推定することが可能となる。
　また、出力制御部１０９は、物体の認識結果を示す情報と、実空間上における端末装置２０の位置及び姿勢の推定結果を示す情報とに基づき、実空間上における端末装置２０と認識された物体との間の位置関係を認識する。そして、出力制御部１０９は、ＡＲ技術に基づき、例えば、実空間上における端末装置２０と認識された物体との間の位置関係に応じて、実空間上の所望の位置に仮想オブジェクトが重畳するように、当該仮想オブジェクトを出力部２０１に表示させる。
　以上、図８を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。
　　＜２．３．処理＞
　続いて、図９を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１０における端末装置２０の位置及び姿勢の推定に係る処理に着目して説明する。図９は、本実施形態に係る情報処理システム１の一連の処理の流れの一例について示したフローチャートである。
　まず、情報処理装置１０（画像解析部１０１）は、撮像部２０３により撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像中に被写体として撮像された物体（実オブジェクト）を認識する（Ｓ２０１）。なお、画像中に撮像された物体の認識方法については、画像解析部１０１の処理として前述した通りである。
　次いで、情報処理装置１０は、認識された物体に対して単一のサイズが紐付いているか（即ち、当該物体のサイズが既知か否か）を確認する（Ｓ２０３）。
　認識された物体に対して単一のサイズが紐付いている場合には（Ｓ２０３、ＹＥＳ）、情報処理装置１０は、当該物体のサイズが既知であるものと認識する。この場合には、情報処理装置１０は、物体の認識結果と、当該物体のサイズとに基づき、端末装置２０から当該物体までの距離を算出し（Ｓ２１３）、当該距離の算出結果に基づき、物体に対する端末装置２０の相対的な位置及び姿勢を推定する（認識する）（Ｓ２０５）。
　一方で、認識された物体に対して単一のサイズが紐付いていない場合には（Ｓ２０３、ＮＯ）、情報処理装置１０（距離推定部１０３）は、測距部２０５から、撮像部２０３により被写体として撮像された物体までの距離の測定結果を示す深度情報を取得する。そして、情報処理装置１０は、物体の認識結果を示す情報と、取得した深度情報とに基づき、認識された物体までの距離を推定する（Ｓ２０５）。なお、認識された物体までの距離の推定方法については、距離推定部１０３の処理として前述した通りである。
　次いで、情報処理装置１０（サイズ推定部１１１）は、物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とに基づき、実空間上における当該物体のサイズを推定する（Ｓ２０７）。また、情報処理装置１０は、認識された物体のサイズの推定結果を、当該物体のサイズの候補と比較し、比較結果に基づき、当該サイズの推定結果により近い候補を、当該物体のサイズとして特定する（Ｓ２０９）。なお、認識された物体の、実空間上におけるサイズの特定方法については、サイズ推定部１１１の処理として前述した通りである。
　そして、情報処理装置１０は、認識された物体と、当該物体のサイズの特定結果とを関連付けて記憶する（Ｓ２１１）。
　次いで、情報処理装置１０（位置姿勢推定部１０７）は、物体のサイズの特定結果に基づき、当該物体までの距離の推定結果を補正してもよい（Ｓ２１３）。これにより、情報処理装置１０は、認識された物体までの距離をより正確に推定することが可能となる。
　そして、情報処理装置１０は、物体の認識結果を示す情報と、当該物体のサイズの推定結果を示す情報とに基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定する（認識する）。また、このとき情報処理装置１０は、ＳＬＡＭに基づき、認識された物体に対する端末装置２０の相対的な位置及び姿勢を推定してもよい（Ｓ２１５）。なお、物体に対する端末装置２０の相対的な位置及び姿勢の推定方法については、位置姿勢推定部１０７の処理として前述した通りである。
　以上のような一連の処理に基づき、情報処理装置１０は、実空間上における端末装置２０の位置及び姿勢を推定することが可能となる。これにより、情報処理装置１０は、例えば、ＡＲ技術に基づき、仮想オブジェクトが実空間上に重畳するように、当該仮想オブジェクトを、出力部２０１を介してユーザに提示することも可能となる。
　なお、情報処理装置１０が、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行するタイミングは特に限定されない。具体的な一例として、情報処理装置１０は、画像中に対称となる物体（例えば、マーカ等）が撮像された場合に、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。また、他の一例として、情報処理装置１０は、ＳＬＡＭに基づき、所定の物体が撮像部により撮像されることが予測された場合（換言すると、撮像部の画角内に当該物体が入ることが予測された場合）に、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。
　また、他の一例として、情報処理装置１０は、対象となる物体との間の距離の推定結果に基づき、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。より具体的な一例として、情報処理装置１０は、対象となる物体と端末装置２０との間の距離の推定結果が閾値以上の場合（即ち、より離れている場合）に、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。前述したように、撮像部（即ち、端末装置２０）と、対象となる物体との間の距離が離れるほど、画像中における当該物体のサイズに基づく、実空間上における当該物体のサイズの推定に係る精度は低下する傾向にある。このような場合においても、本実施形態に係る情報処理装置１０は、上述した処理に基づき、対象となる物体のサイズをより精度良く推定することが可能となる。
　また、情報処理装置１０による、対象となる物体のサイズ推定に係る処理や、当該サイズの推定結果に基づく端末装置２０の位置及び姿勢の推定に係る処理は、一度の実行のみに限らず、所望のタイミングや所定の条件に応じて適宜実行されてもよい。この点は、前述した第１の実施形態と同様である。
　また、情報処理装置１０は、本実施形態において説明した端末装置２０の位置及び姿勢の推定に係る処理と、他の方法に基づく端末装置２０の位置及び姿勢の推定に係る処理とを、状況に応じて選択的に切り替えて実行してもよい。具体的な一例として、情報処理装置１０は、対象となる物体と端末装置２０との間の距離の推定結果が閾値以上の場合（即ち、より離れている場合）には、本実施形態において説明した方法に基づき、端末装置２０の位置及び姿勢を推定してもよい。一方で、対象となる物体と端末装置２０との間の距離の推定結果が閾値未満の場合（即ち、より近傍に位置する場合）においては、情報処理装置１０は、他の方法（例えば、第１の実施形態として説明した方法）に基づき、端末装置２０の位置及び姿勢を推定してもよい。
　同様に、情報処理装置１０は、本実施形態において説明した物体のサイズ推定に係る処理と、前述した第１の実施形態において説明した物体のサイズ推定に係る処理とを、状況に応じて選択的に切り替えて実行してもよい。具体的な一例として、情報処理装置１０は、対象となる物体と端末装置２０との間の距離の推定結果が閾値以上の場合（即ち、より離れている場合）に、本実施形態において説明した方法に基づき、自己位置推定に利用する物体のサイズを推定してもよい。一方で、対象となる物体と端末装置２０との間の距離の推定結果が閾値未満の場合（即ち、より近傍に位置する場合）においては、情報処理装置１０は、前述した第１の実施形態において説明した方法に基づき、自己位置推定に利用する物体のサイズを推定してもよい。
　以上、図９を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１０における端末装置２０の位置及び姿勢の推定に係る処理に着目して説明した。
　　＜２．４．評価＞
　以上説明したように、本実施形態に係る情報処理システム２において、情報処理装置１０は、サイズの候補が既知の物体を対象として、実画像中における物体のサイズと、当該物体までの距離の測定結果とに基づき、実空間上における当該物体のサイズを推定する。そして、情報処理装置１０は、物体のサイズの推定結果を、当該物体のサイズの候補と比較し、当該サイズの推定結果により近い候補を、当該画面のサイズとして特定する。以上のような構成により、本実施形態に係る情報処理装置１０は、前述した第１の実施形態に比べて、自己位置推定に利用される物体（マーカ等）のサイズをより精度良く推定することが可能となる。また、このような構成により、本実施形態に係る情報処理装置１０は、自己位置推定に利用される物体のサイズが未知の場合においても、当該物体のサイズを推定することで、当該物体に対する端末装置２０の位置及び姿勢を、より精度良く推定（認識）することが可能となる。
　＜３．ハードウェア構成例＞
　次に、図１０を参照して、本開示の一実施形態にかかる情報処理装置１０のハードウェア構成について説明する。図１０は、本開示の一実施形態にかかる情報処理装置１０のハードウェア構成例を示すブロック図である。
　図１０に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。なお、前述した画像解析部１０１と、距離推定部１０３と、サイズ推定部１０５及び１１１と、位置姿勢推定部１０７と、出力制御部１０９とは、例えば、ＣＰＵ９０１により実現され得る。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動きなどを撮像することによって、入力装置として機能し得る。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などを出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。なお、前述した出力部２０１は、例えば、出力装置９１７により実現され得る。
　ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。なお、前述した物体認識辞書３０１と、物体サイズＤＢ３０２とは、例えば、ストレージ装置９１９により実現され得る。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。なお、前述した撮像部２０３は、例えば、撮像装置９３３により実現され得る。
　センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　以上、情報処理装置１０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
　＜４．むすび＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得する取得部と、
　前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定する推定部と、
　を備える、情報処理装置。
（２）
　実空間上における前記実オブジェクトのサイズの特定結果に基づき、当該実オブジェクトと前記撮像部との間の位置関係を推定し、当該推定結果に基づき前記撮像部の位置及び向きのうち少なくともいずれかを認識する認識部を備える、前記（１）に記載の情報処理装置。
（３）
　前記認識部は、実オブジェクトと前記撮像部との間の前記位置関係の推定結果に基づき、過去に認識された前記撮像部の位置及び向きのうち少なくともいずれかの認識結果を補正する、前記（２）に記載の情報処理装置。
（４）
　実空間上に仮想オブジェクトが重畳するように当該仮想オブジェクトを表示させる表示制御部を備え、
　前記表示制御部は、前記撮像部の位置及び向きのうち少なくともいずれかの認識結果に基づき、前記仮想オブジェクトの表示位置及び表示サイズのうち少なくともいずれかを制御する、
　前記（２）または（３）に記載の情報処理装置。
（５）
　前記推定部は、前記実オブジェクトのサイズの特定結果に基づき、前記距離の測定結果を補正する、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記取得部は、所定のマーカが提示された前記実オブジェクトの前記画像を取得し、
　前記推定部は、前記画像中の前記マーカのサイズと、前記距離の測定結果とに基づき、実空間上における前記実オブジェクトのサイズを推定する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記推定部は、前記実オブジェクトが撮像された画像が取得された場合に、実空間上における当該実オブジェクトのサイズの推定に係る処理を実行する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記推定部は、所定の検知部の検知結果に基づき、前記撮像部の位置及び向きのうち少なくともいずれかの変化を推定し、当該推定結果に基づき、実空間上における前記実オブジェクトのサイズの推定に係る処理の実行タイミングを制御する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（９）
　前記推定部は、前記撮像部の位置及び向きのうち少なくともいずれかの変化の前記推定結果に基づき、当該撮像部の画角内に前記実オブジェクトが入ることが予測された場合に、実空間上における前記実オブジェクトのサイズの推定に係る処理を実行する、前記（８）に記載の情報処理装置。
（１０）
　前記推定部は、前記距離の測定結果に基づき、実空間上における前記実オブジェクトのサイズの推定に係る処理の実行タイミングを制御する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（１１）
　前記推定部は、前記距離の測定結果が閾値以上の場合に、実空間上における前記実オブジェクトのサイズの推定に係る処理に係る処理を実行する、前記（１０）に記載の情報処理装置。
（１２）
　所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、
　プロセッサが、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、
　を含む、情報処理方法。
（１３）
　コンピュータに、
　所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、
　前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、
　を実行させるためのプログラムが記録された記録媒体。
　１、２　情報処理システム
　１０　　情報処理装置
　１０１　画像解析部
　１０３　距離推定部
　１０５　サイズ推定部
　１０７　位置姿勢推定部
　１０９　出力制御部
　１１１　サイズ推定部
　２０　　端末装置
　２０１　出力部
　２０３　撮像部
　２０５　測距部
　５０　　表示装置
　３０１　物体認識辞書
　３０２　物体サイズＤＢ

Claims (13)

  1. 　所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得する取得部と、
    　前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定する推定部と、
    　を備える、情報処理装置。
  2. 　実空間上における前記実オブジェクトのサイズの特定結果に基づき、当該実オブジェクトと前記撮像部との間の位置関係を推定し、当該推定結果に基づき前記撮像部の位置及び向きのうち少なくともいずれかを認識する認識部を備える、請求項１に記載の情報処理装置。
  3. 　前記認識部は、実オブジェクトと前記撮像部との間の前記位置関係の推定結果に基づき、過去に認識された前記撮像部の位置及び向きのうち少なくともいずれかの認識結果を補正する、請求項２に記載の情報処理装置。
  4. 　実空間上に仮想オブジェクトが重畳するように当該仮想オブジェクトを表示させる表示制御部を備え、
    　前記表示制御部は、前記撮像部の位置及び向きのうち少なくともいずれかの認識結果に基づき、前記仮想オブジェクトの表示位置及び表示サイズのうち少なくともいずれかを制御する、
    　請求項２に記載の情報処理装置。
  5. 　前記推定部は、前記実オブジェクトのサイズの特定結果に基づき、前記距離の測定結果を補正する、請求項１に記載の情報処理装置。
  6. 　前記取得部は、所定のマーカが提示された前記実オブジェクトの前記画像を取得し、
    　前記推定部は、前記画像中の前記マーカのサイズと、前記距離の測定結果とに基づき、実空間上における前記実オブジェクトのサイズを推定する、請求項１に記載の情報処理装置。
  7. 　前記推定部は、前記実オブジェクトが撮像された画像が取得された場合に、実空間上における当該実オブジェクトのサイズの推定に係る処理を実行する、請求項１に記載の情報処理装置。
  8. 　前記推定部は、所定の検知部の検知結果に基づき、前記撮像部の位置及び向きのうち少なくともいずれかの変化を推定し、当該推定結果に基づき、実空間上における前記実オブジェクトのサイズの推定に係る処理の実行タイミングを制御する、請求項１に記載の情報処理装置。
  9. 　前記推定部は、前記撮像部の位置及び向きのうち少なくともいずれかの変化の前記推定結果に基づき、当該撮像部の画角内に前記実オブジェクトが入ることが予測された場合に、実空間上における前記実オブジェクトのサイズの推定に係る処理を実行する、請求項８に記載の情報処理装置。
  10. 　前記推定部は、前記距離の測定結果に基づき、実空間上における前記実オブジェクトのサイズの推定に係る処理の実行タイミングを制御する、請求項１に記載の情報処理装置。
  11. 　前記推定部は、前記距離の測定結果が閾値以上の場合に、実空間上における前記実オブジェクトのサイズの推定に係る処理に係る処理を実行する、請求項１０に記載の情報処理装置。
  12. 　所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、
    　プロセッサが、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、
    　を含む、情報処理方法。
  13. 　コンピュータに、
    　所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、
    　前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、
    　を実行させるためのプログラムが記録された記録媒体。
PCT/JP2016/080770 2016-01-18 2016-10-18 情報処理装置、情報処理方法、及び記録媒体 WO2017126172A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16886412.2A EP3407302B1 (en) 2016-01-18 2016-10-18 Information processing device, information processing method, and recording medium
CN201680078613.4A CN108463840B (zh) 2016-01-18 2016-10-18 信息处理设备、信息处理方法以及记录介质
US16/066,366 US10783654B2 (en) 2016-01-18 2016-10-18 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-006906 2016-01-18
JP2016006906A JP2017129904A (ja) 2016-01-18 2016-01-18 情報処理装置、情報処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2017126172A1 true WO2017126172A1 (ja) 2017-07-27

Family

ID=59362616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080770 WO2017126172A1 (ja) 2016-01-18 2016-10-18 情報処理装置、情報処理方法、及び記録媒体

Country Status (5)

Country Link
US (1) US10783654B2 (ja)
EP (1) EP3407302B1 (ja)
JP (1) JP2017129904A (ja)
CN (1) CN108463840B (ja)
WO (1) WO2017126172A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213555A1 (ja) * 2019-04-19 2020-10-22 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、ヘッドマウントディスプレイ、画像表示システム、画像解析装置、および画像データ出力方法
US11443540B2 (en) 2018-02-07 2022-09-13 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101734287B1 (ko) * 2015-08-04 2017-05-11 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어방법
US11468868B2 (en) * 2017-12-20 2022-10-11 Sony Corporation Information processing apparatus and information processing method to perform transition display control
AU2019270095B2 (en) * 2018-05-17 2024-06-27 Niantic, Inc. Self-supervised training of a depth estimation system
JP2020071543A (ja) * 2018-10-29 2020-05-07 大豊精機株式会社 複合現実感システム及び検査方法
US11309947B2 (en) * 2018-11-19 2022-04-19 Facebook Technologies, Llc Systems and methods for maintaining directional wireless links of motile devices
CN109769091B (zh) * 2019-02-22 2020-09-18 维沃移动通信有限公司 一种图像拍摄方法及移动终端
US11044462B2 (en) 2019-05-02 2021-06-22 Niantic, Inc. Self-supervised training of a depth estimation model using depth hints
JP7183449B2 (ja) 2019-11-28 2022-12-05 株式会社エビデント 工業用内視鏡画像処理装置、工業用内視鏡システム、工業用内視鏡画像処理装置の作動方法及びプログラム
EP4075393A4 (en) * 2020-01-14 2023-05-17 Ntt Docomo, Inc. IMAGE DISPLAY DEVICE
CN111932606A (zh) * 2020-10-12 2020-11-13 歌尔光学科技有限公司 物体边界尺寸检测方法、装置、头戴显示设备及存储介质
JP7354186B2 (ja) * 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244329A (ja) * 2005-03-07 2006-09-14 Hitachi Ltd 携帯端末および情報処理装置、システム
JP2012003328A (ja) * 2010-06-14 2012-01-05 Nintendo Co Ltd 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP2013092964A (ja) 2011-10-27 2013-05-16 Sony Corp 画像処理装置、画像処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
EP2395766B1 (en) 2010-06-14 2016-03-23 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP6196017B2 (ja) * 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244329A (ja) * 2005-03-07 2006-09-14 Hitachi Ltd 携帯端末および情報処理装置、システム
JP2012003328A (ja) * 2010-06-14 2012-01-05 Nintendo Co Ltd 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP2013092964A (ja) 2011-10-27 2013-05-16 Sony Corp 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3407302A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443540B2 (en) 2018-02-07 2022-09-13 Sony Corporation Information processing apparatus and information processing method
WO2020213555A1 (ja) * 2019-04-19 2020-10-22 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、ヘッドマウントディスプレイ、画像表示システム、画像解析装置、および画像データ出力方法

Also Published As

Publication number Publication date
US20190012799A1 (en) 2019-01-10
JP2017129904A (ja) 2017-07-27
CN108463840A (zh) 2018-08-28
EP3407302A4 (en) 2018-12-26
CN108463840B (zh) 2023-04-25
EP3407302A1 (en) 2018-11-28
US10783654B2 (en) 2020-09-22
EP3407302B1 (en) 2021-07-28

Similar Documents

Publication Publication Date Title
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
US9401050B2 (en) Recalibration of a flexible mixed reality device
JP5443134B2 (ja) シースルー・ディスプレイに現実世界の対象物の位置をマークする方法及び装置
US20130176337A1 (en) Device and Method For Information Processing
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US12010288B2 (en) Information processing device, information processing method, and program
CN110895676B (zh) 动态对象跟踪
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
US10771707B2 (en) Information processing device and information processing method
US11151804B2 (en) Information processing device, information processing method, and program
US20220036779A1 (en) Information processing apparatus, information processing method, and recording medium
US20190369807A1 (en) Information processing device, information processing method, and program
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US20200211275A1 (en) Information processing device, information processing method, and recording medium
US20210232219A1 (en) Information processing apparatus, information processing method, and program
US11282228B2 (en) Information processing device, information processing method, and program
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886412

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016886412

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016886412

Country of ref document: EP

Effective date: 20180820