WO2021241166A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2021241166A1
WO2021241166A1 PCT/JP2021/017497 JP2021017497W WO2021241166A1 WO 2021241166 A1 WO2021241166 A1 WO 2021241166A1 JP 2021017497 W JP2021017497 W JP 2021017497W WO 2021241166 A1 WO2021241166 A1 WO 2021241166A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
weight
feature point
feature
Prior art date
Application number
PCT/JP2021/017497
Other languages
English (en)
French (fr)
Inventor
学 川島
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180031830.9A priority Critical patent/CN115516512A/zh
Priority to US17/999,217 priority patent/US20230222686A1/en
Publication of WO2021241166A1 publication Critical patent/WO2021241166A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an information processing device, an information processing method and a program.
  • SLAM Simultaneus Localization and Mapping
  • the position and orientation are estimated by collating the captured image taken by the device with the environmental map.
  • the captured image includes a moving subject, the captured image cannot be accurately collated with the environmental map, and the estimation accuracy of the position and orientation may decrease.
  • weights are calculated for each feature point according to the probability that the feature points are points on a still subject forming the background of the captured image. Based on the background weight calculation unit and the calculation result that reflects the weight of each feature point, the captured image is compared with the information of the key frame image registered in the environment map, and the position and orientation of the device that captured the captured image is determined.
  • An information processing apparatus having a position / orientation estimation unit for estimation is provided. Further, according to the present disclosure, there is provided an information processing method in which the information processing of the information processing apparatus is executed by a computer, and a program for realizing the information processing of the information processing apparatus in the computer.
  • FIG. 1 is a schematic diagram of the information processing system 1 of the first embodiment.
  • FIG. 2 is a diagram illustrating an image search function and a position / orientation estimation function of the information processing system 1.
  • the information processing system 1 includes, for example, a processing unit 10, an IMU (Inertial Measurement Unit) 20, a camera 30, and a storage unit 40.
  • the processing unit 10 is an information processing device that estimates the position and orientation (position on the environment map MP and shooting posture) of the device on which the IMU 20 and the camera 30 are mounted using SLAM.
  • SLAM performs VIO (Visual odometry) processing for obtaining the amount of change in position and attitude (posture change amount) from the measurement information of the camera 30 and IMU 20, and the current image IMA (current frame) from the key frame image group captured and stored while moving. Includes a Localize process of searching for a keyframe image 41 similar to the captured image IM) to obtain a position and orientation.
  • VIO Visual odometry
  • the current position and posture are calculated by integrating the amount of posture change from the past to the present. With this method, errors are also accumulated, and the deviation from the correct trajectory increases with time.
  • the position and orientation of the device are calculated using the environment map MP stored in the storage unit 40.
  • the environment map MP is generated using a plurality of keyframe images 41 taken in the past.
  • the image information (key frame information) of the key frame image 41 is registered in the environment map MP in association with the shooting position and shooting posture of the key frame image 41.
  • the keyframe information includes, for example, the positions of a plurality of feature points (registered feature points) RFP included in the keyframe image 41, the local feature amount of each feature point RFP (registered local feature amount), and each feature point RFP. Information on the image feature amount (registered image feature amount) calculated based on the local feature amount is included.
  • the feature point RFP and the local feature amount are extracted by using a known method such as SIFT (Scale-Invariant Feature Transfer Transfer).
  • SIFT Scale-Invariant Feature Transfer Transfer
  • the image feature amount is calculated by using a known method such as BoVW (Bag of Visual Words) and VLAD (Vector of Locally Aggregated Descriptors) which is an advanced form of BoVW.
  • BoVW Bog of Visual Words
  • VLAD Vector of Locally Aggregated Descriptors
  • the current image IMA and the keyframe image 41 are compared, and the shooting position / orientation of the keyframe image 41 (the position / orientation of the device when shooting is performed) and the shooting position / orientation of the current image IMA are relative to each other.
  • the relationship (relative position / posture) is calculated.
  • the calculated relative position / orientation is added to the position / orientation associated with the keyframe image 41, so that the shooting position / orientation of the current image IMA is calculated. This cancels the error accumulated by the VIO processing.
  • the processing unit 10 determines whether the feature point FP has a high probability of belonging to the foreground (moving subject) or the background (still subject) for each of the plurality of feature point FPs currently included in the image IMA. do.
  • the processing unit 10 gives high priority to the information of the feature point FP having a high probability of belonging to the background so that the background information is strongly reflected in the calculation result of the position and orientation.
  • the processing unit 10 includes a local feature amount extraction unit 11, an integration processing unit 12, a background weight calculation unit 13, an image search unit 14, a feature amount matching unit 15, and a position / orientation estimation unit 16.
  • the local feature amount extraction unit 11 acquires time-series image data taken by the camera 30.
  • the time-series image data includes captured image IMs of a plurality of times captured in time series.
  • the local feature amount extraction unit 11 extracts a plurality of feature point FPs from the current image IMA.
  • the local feature amount extraction unit 11 extracts the local feature amount of each feature point FP.
  • the feature point FP is, for example, a corner point where image edges intersect in the current image IMA.
  • the local feature amount is, for example, a feature amount of an image (image patch) in a small area centered on the feature point FP.
  • a known method such as SIFT is adopted.
  • the local feature amount extraction unit 11 calculates the depth of each feature point FP currently included in the image IMA. For example, when the camera 30 is a stereo camera, the local feature amount extraction unit 11 calculates the parallax from the captured image IMs of a plurality of viewpoints taken by the stereo camera, and the feature point FP is based on the calculated parallax. Find the depth of. When the camera 30 is a monocular camera, the local feature amount extraction unit 11 calculates the moving parallax from a plurality of captured image IMs taken from different times (positions), and the feature points are based on the calculated moving parallax. Calculate the depth of FP.
  • the integration processing unit 12 acquires information on acceleration and angular velocity measured by the IMU 20.
  • the integration processing unit 12 calculates the amount of change in the position and orientation of the device based on the information on the acceleration and the angular velocity.
  • the integration processing unit 12 integrates the amount of change in the position / posture from the time of shooting the past image IMB to the time of shooting the current image IMA, and the relative position between the shooting position / posture of the past image IMB and the shooting position / posture of the current image IMA. Calculate the posture.
  • the background weight calculation unit 13 corresponds to the probability that the feature point FP is a point on the still subject forming the background of the current image IMA for each feature point FP for a plurality of feature point FPs included in the current image IMA. Calculate the weight. For example, the background weight calculation unit 13 extracts the current image IMA and the past image IMB (photographed image IM taken one frame or more before the current image IMA) from the time-series image data captured by the camera 30. The background weight calculation unit 13 is based on the comparison result between the difference information between the current image IMA and the past image IMB taken in time series and the difference information predicted based on the measurement information of the IMU. Calculate the weight of the point FP. The background weight calculation unit 13 is included in the current image IMA by using the image information of the past image IMB that is close in time to the current image IMA, in addition to the current image IMA used as a query for searching the keyframe image 41. Estimate background information.
  • FIG. 3 is a diagram showing an example of a weight calculation method.
  • the current image IMA is a photographed image IM taken at time t 0
  • the past image IMB is a photographed image IM taken at time t -1.
  • the background weight calculation unit 13 block-matches the current image IMA and the past image IMB based on the information acquired from the local feature amount extraction unit 11, and the past corresponding to the plurality of feature point FPs included in the current image IMA. A plurality of corresponding point CPs of the image IMB are detected. The background weight calculation unit 13 predicts the past (time t -1 ) positions of the plurality of feature point FPs of the current image IMA based on the measurement information of the IMU 20. The background weight calculation unit 13 is based on the result of comparison between the predicted positions of the plurality of feature points FP of the current image IMA and the positions of the plurality of corresponding points CP of the past image IMB, and the plurality of features of the current image IMA. Calculate the weight of each point FP.
  • the background weight calculation unit 13 predicts a point at a position where the feature point FP is predicted to exist in the past image IMB for each feature point FP based on the relative position / orientation information acquired from the integration processing unit 12. Extract as PP. If the position of the corresponding point CP is close to the position of the predicted point PP, the background weight calculation unit 13 determines that the probability that the feature point FP is a point on the stationary object is high. The background weight calculation unit 13 assigns a larger value weight to the feature point FP having a higher probability of belonging to the background.
  • the background weight calculation unit 13 sets the weight w of each feature point FP based on the following equations (1) to (6).
  • w indicates the weight of the feature point FP.
  • C is a constant.
  • u t represents the current position on image IMA feature point FP.
  • ut -1 indicates the position of the corresponding point CP on the past image IMB.
  • v t-1 indicates the position of the feature point FP on the past image IMB.
  • ⁇ indicates the deviation of the corresponding point CP from the predicted point PP (distance between the predicted point PP and the corresponding point CP).
  • z t indicates the depth of the feature point of the current image IMA.
  • z t-1 indicates the z coordinate of L.
  • ⁇ R indicates the change in the shooting posture from the time t -1 to the time t 0 , which is calculated based on the measurement information of the IMU 20.
  • K indicates an internal parameter of the camera.
  • ⁇ R' indicates the change in the shooting posture from time t 0 to time t -1 obtained by inversely transforming ⁇ R.
  • ⁇ p indicates the change in the shooting position from the time t -1 to the time t 0 , which is calculated based on the measurement information of the IMU 20.
  • ⁇ p' indicates the change in the shooting position from time t 0 to time t -1 obtained by inversely transforming ⁇ p.
  • the constant C is appropriately set according to the specifications of the device for which the position and orientation are to be estimated.
  • the image search unit 14 searches for a keyframe image 41 similar to the current image IMA using the image feature amount of the current image IMA corrected based on the weight w of each feature point FP.
  • the image search unit 14 has, for example, an image feature amount calculation unit 141 and an image feature amount collation unit 142.
  • the image feature amount calculation unit 141 calculates the image feature amount by weighting the local feature amount of each feature point FP with the weight w.
  • the image feature amount is calculated using known methods such as BoVW and VLAD, but the weight w for each feature point FP is added to the calculation.
  • the image feature amount calculation unit 141 calculates the image feature amount of the current image IMA based on the following formula (7).
  • the image feature amount calculation unit 141 increases the contribution rate of points on a stationary object by weighting the distance calculation between each local feature amount and the nearest centroid.
  • V ⁇ i w i a ( v i -c) ... (7)
  • V represents an image feature amount.
  • w i indicates the weight of the i-th feature point FP.
  • a indicates a cluster indicator.
  • v i indicates the local feature amount of the i-th feature point FP.
  • c indicates a centroid.
  • the image feature amount collation unit 142 collates the image feature amount with the information of the plurality of keyframe images 41 registered in the environment map MP, and the keyframe image 41 having the image feature amount closest to the image feature amount of the current image IMA. Information is extracted.
  • the feature amount matching unit 15 is based on the image information of the extracted key frame image 41 (information on the local feature amount of the feature point RFP) and the image information of the current image IMA (information on the local feature amount of the feature point FP). , A plurality of corresponding point pairs are extracted from the current image IMA and the key frame image 41. The corresponding point pair is a pair of feature points corresponding to each other of the current image IMA and the keyframe image 41.
  • the position / orientation estimation unit 16 compares the current image IMA with the information of the keyframe image 41 based on the calculation result reflecting the weight w of each feature point FP of the current image IMA, and based on the comparison result, the current image Estimate the position and orientation of the device that captured the IMA.
  • the position / attitude estimation unit 16 includes, for example, an outlier removing unit 161 and a posture calculation unit 162.
  • the outlier removing unit 161 selects a plurality of inlier pairs by robust estimation from the plurality of corresponding point pairs to which the priority is given according to the weight w among the plurality of corresponding point pairs extracted by the feature amount matching unit 15. Extract.
  • the outlier removal unit 161 performs hypothesis verification based on robust estimation using the information acquired from the local feature amount extraction unit 11.
  • the outlier removing unit 161 finds the most consistent positional relationship between each feature point FP of the current image IMA and each feature point RFP of the keyframe image 41.
  • the outlier removing unit 161 is a pair of corresponding points that do not make sense with respect to the positional relationship obtained by hypothesis testing (for example, when one of the feature points of the corresponding point pair is a point on a moving subject, or one of the features. Remove (for example, if the dots are hidden). As a result, a plurality of inliar pairs with high reliability as corresponding points are extracted. From the positional relationship obtained by the hypothesis verification, a tentative relative position and orientation between the shooting position and orientation of the current image IMA and the shooting position and orientation of the keyframe image 41 can be obtained.
  • the P3P algorithm is used.
  • a tentative relative position / orientation is obtained by three corresponding point pairs selected from all corresponding point pairs.
  • the three corresponding point pairs are not randomly selected as performed by RANSAC, but by using PROSAC (Progressive Simple Consensus), the priority is given to sampling by the weight w as in the equation (8). Granted.
  • PROSAC Processive Simple Consensus
  • u j and t indicate the position of the j-th feature point FP of the current image IMA.
  • u j and tx indicate the position of the j-th feature point RFP of the keyframe image 41.
  • w j indicates the weight of the j-th feature point FP.
  • sampling the corresponding point pairs for the number of all combinations is strict in terms of processing delay. Therefore, real-time performance may be maintained by stopping the number of samplings at a fixed number of times. At this time, by giving the above-mentioned priority to the sampling, even if the number of samplings is cut off at a fixed number of times, the point on the stationary object can be easily selected as the inlier pair.
  • the posture calculation unit 162 calculates the position and orientation of the device using a regression analysis model in which the contribution of each inlier pair is corrected based on the weight w of each feature point FP of the current image IMA. For example, the posture calculation unit 162 calculates the relative position / orientation between the shooting position / orientation of the current image IMA and the shooting position / orientation of the keyframe image 41 from the positional relationship of the plurality of corresponding point pairs extracted as the inlier pair. At this time, the posture calculation unit 162 adds the weight w for each feature point FP to the relative position so that the reprojection error between the corresponding point pairs having a high probability of being a point on a stationary object among the inlier pairs is reduced. Ask for posture. The posture calculation unit 162 adds the calculated relative position / posture to the shooting position / posture associated with the keyframe image 41, and calculates the current position / posture of the device (shooting position / posture of the current image IMA).
  • the PnP algorithm is used to calculate the relative position and orientation.
  • the posture calculation unit 162 obtains the relative position and posture based on all the align pairs. For example, the posture calculation unit 162 calculates the distance between the feature points for each inlier pair according to the following equation (9). The posture calculation unit 162 calculates the weighted sum of squares of the distance using the weight w calculated for each feature point FP. The posture calculation unit 162 calculates the position and posture of the device that minimizes the weighted sum of squares.
  • ⁇ T argmin ⁇ j w j
  • ⁇ T indicates a relative position and posture.
  • x j indicates a three-dimensional coordinate with respect to the feature u j.
  • proj shows a function that projects a 3D coordinate point onto the 2D coordinates of the camera screen. The function proj satisfies the following equation (10).
  • x indicates a three-dimensional coordinate point.
  • K indicates the internal parameters of the camera (3 ⁇ 3 matrix).
  • z indicates the depth (z coordinate) of Kx.
  • FIG. 4 is a flowchart showing the information processing method of the present embodiment.
  • step S1 the processing unit 10 acquires information on the acceleration and the angular velocity measured by the IMU 20. Further, the processing unit 10 acquires time-series image data including the current image IMA and the past image IMB.
  • step S2 the local feature amount extraction unit 11 extracts a plurality of feature point FPs from the current image IMA, and extracts the local feature amount for each feature point FP. Further, the local feature amount extraction unit 11 calculates the depth of each feature point FP.
  • step S3 the integration processing unit 12 integrates the amount of change in the position and orientation of the device from the time when the past image IMB is photographed to the time when the current image IMA is photographed, based on the acceleration and angular velocity information measured by the IMU 20.
  • the background weight calculation unit 13 blocks-matches the current image IMA and the past image IMB, and detects a plurality of corresponding point CPs of the past image IMB corresponding to the plurality of feature point FPs included in the current image IMA. ..
  • the background weight calculation unit 13 compares the feature point FP with the corresponding point CP based on the amount of change in position and posture calculated by the integration processing unit 12.
  • the background weight calculation unit 13 obtains the probability that the feature point FP is a point on the still subject forming the background of the current image IMA based on the comparison result between the feature point FP and the corresponding point CP, and the weight according to the probability. Allocate w to the feature point FP.
  • step S5 the image search unit 14 uses the image feature amount of the current image IMA corrected based on the weight w of each feature point FP from the plurality of key frame images 41 to the key frame image similar to the current image IMA. Search for 41.
  • the image search unit 14 extracts the position / orientation information associated with the key frame image 41 obtained by the search from the environment map MP.
  • step S6 the feature amount matching unit 15 is based on the image information of the key frame image 41 (information on the local feature amount of the feature point RFP) and the image information of the current image IMA (information on the local feature amount of the feature point FP). Then, a plurality of corresponding point pairs are extracted from the current image IMA and the key frame image 41.
  • step S7 the position / orientation estimation unit 16 provides information on the positional relationship between the plurality of feature point FPs of the current image IMA and the corresponding plurality of feature point RFPs of the keyframe image 41, and the key registered in the environment map MP. Based on the information regarding the shooting position / orientation of the frame image 41, the position / orientation of the current device (shooting position / orientation of the current image IMA) is estimated.
  • step S8 the processing unit 10 determines whether or not the processing is completed. Whether or not the process is completed is detected by operating the shooting button of the camera 30 or the like. If it is determined in step S8 that the process is completed (step S8: Yes), the process is terminated. If it is not determined in step S8 that the process is completed (step S8: No), the process returns to step S1 and the above steps are repeated until the process is completed.
  • the processing unit 10 has a background weight calculation unit 13 and a position / orientation estimation unit 16.
  • the background weight calculation unit 13 corresponds to the probability that the feature point FP is a point on the still subject forming the background of the current image IMA for each feature point FP for a plurality of feature point FPs included in the current image IMA. Calculate the weight w.
  • the position / orientation estimation unit 16 compares the current image IMA with the information of the key frame image 41 registered in the environment map MP based on the calculation result reflecting the weight w of each feature point FP, and captures the current image IMA. Estimate the position and orientation of the device.
  • the information processing of the processing unit 10 described above is executed by the computer.
  • the program of this embodiment makes the computer realize the information processing of the processing unit 10 described above.
  • the processing unit 10 has an image search unit 14.
  • the image search unit 14 searches for a keyframe image 41 similar to the current image IMA using the image feature amount of the current image IMA corrected based on the weight w of each feature point FP.
  • the image feature amount that strongly reflects the information of the still subject is calculated. Therefore, the position and orientation of the device can be estimated accurately.
  • the image search unit 14 has an image feature amount calculation unit 141 and an image feature amount collation unit 142.
  • the image feature amount calculation unit 141 calculates the image feature amount by weighting the local feature amount of each feature point FP with the weight w.
  • the image feature amount collation unit 142 collates the image feature amount with the information of the plurality of keyframe images 41 registered in the environment map MP, and the keyframe image 41 having the image feature amount closest to the image feature amount of the current image IMA. Information is extracted.
  • the position / orientation estimation unit 16 has an outlier removal unit 161.
  • the outlier removal unit 161 is robustly estimated from a pair of feature points given priority according to the weight w among a pair of feature points corresponding to each other in the current image IMA and the keyframe image 41. , Extract multiple inlier pairs.
  • the feature point FP on the still subject can be easily extracted as an inlier pair. Therefore, the estimation accuracy of the posture of the device is improved.
  • the position / attitude estimation unit 16 has a posture calculation unit 162.
  • the posture calculation unit 162 calculates the position and posture of the device by using the regression analysis model in which the contribution of each inlier pair is corrected based on the weight w of each feature point FP. For example, the posture calculation unit calculates the distance between feature points for each inlier pair, calculates the weighted sum of squares of the distance using the weight w calculated for each feature point FP, and the weighted sum of squares is the minimum. Calculate the position and orientation of the device.
  • the background weight calculation unit 13 is based on the comparison result between the difference information of the captured images IM taken at a plurality of times taken in time series and the difference information predicted based on the measurement information of the IMU 20.
  • the weight w of the point FP is calculated.
  • the weight w of each feature point FP is appropriately set based on the measurement information of the IMU 20.
  • FIG. 5 is a schematic diagram of the information processing system 2 of the second embodiment.
  • the difference from the first embodiment in this embodiment is that the weight w of each feature point FP is calculated based only on the image information of the current image IMA and the past image IMB by using a machine learning method.
  • the differences from the first embodiment will be mainly described.
  • the weight w of each feature point FP is calculated based only on the image information of the current image IMA and the past image IMB.
  • the processing unit 50 has a foreground background separation unit 51 that separates the foreground and the background using an analysis model using a DNN (Deep Neural Network).
  • the foreground background separation unit 51 extracts the probability that a pixel is a point on a still subject for each pixel for a plurality of pixels included in the current image IMA.
  • the foreground background separation unit 51 outputs information regarding the probability of each pixel as a point on a still subject as separation information.
  • the background weight calculation unit 52 calculates the weight w of each feature point FP included in the current image IMA based on the foreground and background separation information obtained by using DNN.
  • the foreground background separation unit 51 machine learning is performed so that separation information is output from the current image IMA and the past image IMB using supervised data. From the foreground background separation unit 51, information on a number of weights according to the image resolution (or down-converted image resolution) of the current image IMA is output as separation information. Therefore, the background weight calculation unit 52 extracts the weight information of each feature point FP of the current image IMA from the weight information of each pixel included in the separation information.
  • the weight w of each feature point FP is calculated based only on the image information of the current image IMA and the past image IMB by using the machine learning method. Therefore, the IMU 20 becomes unnecessary, and the device configuration is simplified.
  • the separation information is extracted based on the image information of the current image IMA and the past image IMB, but the extraction method of the separation information is not limited to this.
  • the separation information may be extracted based only on the image information of the current image IMA by using a technique such as semantic segmentation.
  • FIG. 6 is a schematic diagram of the information processing system 3 of the third embodiment.
  • the processing unit 60 uses a method in which the method shown in the first embodiment (first method) and the method shown in the second embodiment (second method) are mixed as a method for estimating the position and posture. Use.
  • the background weight calculation unit 61 uses the difference information of the captured image IMs (current image IMA and past image IMB) of a plurality of times captured in time series and the measurement information of the IMU 20.
  • the weight (first weight w1) of each feature point FP is calculated based on the information of the difference predicted based on and the comparison result.
  • the background weight calculation unit 61 calculates the weight (second weight w2) of each feature point FP based on the separation information of the foreground and the background obtained by using DNN, as in the second embodiment.
  • the background weight calculation unit 61 blends the first weight w1 and the second weight w2 at the blend ratio ⁇ based on the following equation (11), and calculates the weight w of each feature point FP.
  • the blend ratio ⁇ is determined according to the measurement information of the IMU 20. That is, in the first method, background information is estimated using the measured value of IMU20. Therefore, the accuracy of background estimation by the first method is higher than that of the second method using machine learning.
  • the IMU 20 has a range that can be expressed. Therefore, the measured value may be saturated when a large translational or rotational motion exceeding the range occurs. Therefore, the background weight calculation unit 61 defines the reliability of the measurement information of the IMU 20 as the blend rate ⁇ .
  • the background weight calculation unit 61 reduces the blend ratio ⁇ when a steep motion change is detected by the IMU 20, and increases the contribution ratio of the second weight w2 calculated using DNN. This improves robustness.
  • FIG. 7 is a diagram showing an example of a method for determining the blend ratio ⁇ .
  • the horizontal axis is time and the vertical axis is the measured value (acceleration or angular velocity) of IMU20.
  • data i indicates the measured value at time t i (the measured value).
  • the background weight calculator 61 based on the measurement values data i and the gradient of the time t i, determines a reliability r of the measurement value data i.
  • the background weight calculation unit 61 calculates the blend ratio ⁇ by the following equation (12) using the constant D.
  • the predicted value data i ' is the threshold value (e.g., IMU20 maximum range measurable) is greater than the background weight calculator 61, the difference between the reliability r the data i and the data i-1 (data It is calculated as i-data i-1).
  • the blend ratio alpha is calculated as D / (D + data i -data i-1).
  • the background weight calculation unit 61 calculates the reliability r as zero.
  • the blend ratio ⁇ is calculated as 1.
  • the reliability r and the blend ratio ⁇ continuously change according to the measured value data i.
  • the reliability r can be set to infinity and the blend ratio ⁇ can be fixed to zero.
  • the method for setting the weight w is switched between the first method and the second method according to the measurement information of the IMU 20.
  • the blend ratio ⁇ is adjusted according to the measurement information of the IMU 20. Therefore, the weight w is appropriately set according to the reliability of the measurement information of the IMU 20.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 8 is a block diagram showing a configuration example of computer IPS hardware that executes the above-mentioned series of processes by a program.
  • the computer IPS corresponds to the information processing system of each of the above-described embodiments.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input / output interface IF is further connected to the bus BU.
  • An input unit ID, an output unit DP, a storage unit ST, a communication unit CU, and a drive DU are connected to the input / output interface IF.
  • the storage unit 40 of the above-described embodiment is included in the storage unit ST.
  • the input unit ID consists of an input switch, a button, a microphone, an image sensor, and the like.
  • the IMU 20 and the camera 30 of the above-described embodiment are included in the input unit ID.
  • the output unit DP includes a display, a speaker, and the like.
  • the storage unit ST includes a hard disk, a non-volatile memory, and the like.
  • the communication unit CU includes a network interface and the like.
  • the drive DU drives a removable recording medium RM such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU PR loads the program stored in the storage unit ST into the RAM M2 via the input / output interface IF and the bus BU and executes the program as described above. A series of processes are performed.
  • the program executed by the computer IPS can be recorded and provided on a removable recording medium RM as a package medium or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit ST via the input / output interface IF by mounting the removable recording medium RM in the drive DU. Further, the program can be received by the communication unit CU via a wired or wireless transmission medium and installed in the storage unit ST. In addition, the program can be pre-installed in the ROM M1 or the storage unit ST.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can take a cloud computing configuration in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a background weight calculation unit that calculates weights for a plurality of feature points included in a captured image according to the probability that the feature points are points on a still subject forming the background of the captured image for each feature point.
  • a position / orientation estimation unit that estimates the position / orientation of the device that captured the captured image by comparing the captured image with the information of the key frame image registered in the environment map based on the calculation result that reflects the weight of each feature point.
  • the image search unit includes an image feature amount calculation unit that calculates the image feature amount by weighting the local feature amount of each feature point by the weight, and a plurality of keyframe images in which the image feature amount is registered in the environment map.
  • the information processing apparatus according to (2) above which has an image feature amount collating unit that collates with the information of the above and extracts the information of the keyframe image having the image feature amount closest to the image feature amount.
  • the position / orientation estimation unit is robustly estimated from a pair of feature points given priority according to the weight among a plurality of pairs of feature points corresponding to each other of the captured image and the key frame image.
  • the information processing apparatus according to (2) or (3) above which has an outlier removing unit for extracting a plurality of inlier pairs.
  • the position / orientation estimation unit has a posture calculation unit for calculating the position / orientation of the device by using a regression analysis model in which the contribution of each inlier pair is corrected based on the weight of each feature point in the above (4).
  • the posture calculation unit calculates the distance between the feature points for each inlier pair, calculates the weighted sum of squares of the distance using the weight calculated for each feature point, and the weighted sum of squares is the minimum.
  • the information processing apparatus according to (5) above, which calculates the position and orientation of the device.
  • the background weight calculation unit is based on a comparison result between information on differences between images taken at a plurality of times taken in time series and information on differences predicted based on measurement information of IMU (Inertial Measurement Unit).
  • the information processing device according to any one of (1) to (6) above, which calculates the weight of each feature point.
  • the background weight calculation unit calculates the weight of each feature point based on the separation information of the foreground and the background obtained by using DNN (Deep Neural Network).
  • DNN Deep Neural Network
  • the information processing device described in one. For a plurality of feature points included in the captured image, weights are calculated for each feature point according to the probability that the feature points are points on a still subject forming the background of the captured image. Based on the calculation result reflecting the weight of each feature point, the captured image is compared with the information of the key frame image registered in the environment map, and the position and orientation of the device that captured the captured image is estimated.
  • a method of information processing performed by a computer that has.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置（１０）は、背景重み算出部（１３）と位置姿勢推定部（１６）とを有する。背景重み算出部（１３）は、撮影画像（ＩＭ）に含まれる複数の特徴点（ＦＰ）に対して、特徴点（ＦＰ）ごとに、特徴点（ＦＰ）が撮影画像（ＩＭ）の背景をなす静止被写体上の点である確率に応じた重みを算出する。位置姿勢推定部（１６）は、各特徴点（ＦＰ）の重みを反映した演算結果に基づいて、撮影画像（ＩＭ）を環境地図（ＭＰ）に登録されたキーフレーム画像（４１）の情報と比較し、撮影画像（ＩＭ）を撮影した機器の位置姿勢を推定する。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）を用いて機器の位置姿勢を推定する技術が知られている。
特開２０１６－１７７３８８号公報
　位置姿勢の推定は、機器が撮影した撮影画像を環境地図と照合することにより行われる。しかし、撮影画像に動く被写体が含まれると、撮影画像を環境地図と精度よく照合することができず、位置姿勢の推定精度が低下する可能性がある。
　そこで、本開示では、位置姿勢の推定精度を高めることができる情報処理装置、情報処理方法およびプログラムを提案する。
　本開示によれば、撮影画像に含まれる複数の特徴点に対して、特徴点ごとに、前記特徴点が前記撮影画像の背景をなす静止被写体上の点である確率に応じた重みを算出する背景重み算出部と、各特徴点の重みを反映した演算結果に基づいて、前記撮影画像を環境地図に登録されたキーフレーム画像の情報と比較し、前記撮影画像を撮影した機器の位置姿勢を推定する位置姿勢推定部と、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。
第１実施形態の情報処理システムの概略図である。 情報処理システムの画像検索機能および位置姿勢推定機能を説明する図である。 重みの算出方法の一例を示す図である。 情報処理方法を示すフローチャートである。 第２実施形態の情報処理システムの概略図である。 第３実施形態の情報処理システムの概略図である。 ブレンド率の決定方法の一例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．第１実施形態］
　［１－１．情報処理システムの構成］
　［１－２．情報処理方法］
　［１－３．効果］
［２．第２実施形態］
［３．第３実施形態］
［４．コンピュータの構成例］
［１．第１実施形態］
［１－１．情報処理システムの構成］
　図１は、第１実施形態の情報処理システム１の概略図である。図２は、情報処理システム１の画像検索機能および位置姿勢推定機能を説明する図である。
　図１に示すように、情報処理システム１は、例えば、処理部１０と、ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）２０と、カメラ３０と、記憶部４０と、を有する。
　処理部１０は、ＳＬＡＭを用いて、ＩＭＵ２０およびカメラ３０が搭載された機器の位置姿勢（環境地図ＭＰ上の位置および撮影姿勢）を推定する情報処理装置である。ＳＬＡＭは、カメラ３０とＩＭＵ２０の計測情報から位置姿勢の変化量（姿勢変化量）を求めるＶＩＯ（Ｖｉｓｕａｌ　Ｉｎｅｒｔｉａｌ　Ｏｄｏｍｅｔｒｙ）処理と、移動中に撮り貯められたキーフレーム画像群から現在画ＩＭＡ（現在フレームの撮影画像ＩＭ）と似たキーフレーム画像４１を検索して位置姿勢を求めるＬｏｃａｌｉｚｅ処理と、を含む。
　ＶＩＯ処理では、過去から現在までの姿勢変化量を積算することによって現在の位置姿勢が算出される。この方法では誤差も積算されてしまい、時間とともに正解軌跡からのずれが大きくなる。
　Ｌｏｃａｌｉｚｅ処理では、記憶部４０に記憶された環境地図ＭＰを用いて機器の位置姿勢が算出される。環境地図ＭＰは、過去に撮影された複数のキーフレーム画像４１を用いて生成されている。環境地図ＭＰには、キーフレーム画像４１の画像情報（キーフレーム情報）がキーフレーム画像４１の撮影された位置および撮影姿勢に関連付けて登録されている。キーフレーム情報には、例えば、キーフレーム画像４１に含まれる複数の特徴点（登録特徴点）ＲＦＰの位置、各特徴点ＲＦＰの局所特徴量（登録局所特徴量）、および、各特徴点ＲＦＰの局所特徴量に基づいて算出された画像特徴量（登録画像特徴量）に関する情報が含まれる。
　特徴点ＲＦＰおよび局所特徴量は、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）などの公知の手法を用いて抽出される。画像特徴量は、ＢｏＶＷ（Ｂａｇ　ｏｆ　Ｖｉｓｕａｌ　Ｗｏｒｄｓ）、および、ＢｏＶＷの発展形であるＶＬＡＤ（Ｖｅｃｔｏｒ　ｏｆ　Ｌｏｃａｌｌｙ　Ａｇｇｒｅｇａｔｅｄ　Ｄｅｓｃｒｉｐｔｏｒｓ）などの公知の手法を用いて算出される。
　Ｌｏｃａｌｉｚｅ処理では、現在画ＩＭＡとキーフレーム画像４１とを比較して、キーフレーム画像４１の撮影位置姿勢（撮影が行われたときの機器の位置姿勢）と現在画ＩＭＡの撮影位置姿勢との相対関係（相対位置姿勢）が算出される。Ｌｏｃａｌｉｚｅ処理では、算出された相対位置姿勢が、キーフレーム画像４１に紐付けられた位置姿勢に付加されることにより、現在画ＩＭＡの撮影位置姿勢が算出される。これにより、ＶＩＯ処理によって蓄積された誤差がキャンセルされる。
　ただし、現在画ＩＭＡとキーフレーム画像４１の撮影時期は大きく離れているため、２つの画像から位置姿勢の推定に悪影響を及ぼす外乱（たとえば移動物体）の検出を行うことは難しい。従来、この外乱の影響を少なくするためにＲＡＮＳＡＣ（Ｒａｎｄｏｍ　Ｓａｍｐｌｅ　Ｃｏｎｓｅｎｓｕｓ）による仮説検証が行われる。しかし、画像内に外乱が多く存在すると検証試行回数を膨大に増やす必要がある。そのため、検証試行回数を固定回数で打ち切るなどの必要があり、外乱の影響が十分に排除されない。
　そのため、処理部１０は、現在画ＩＭＡに含まれる複数の特徴点ＦＰのそれぞれについて、特徴点ＦＰが前景（動く被写体）に属する確率が高いか背景（静止被写体）に属する確率が高いかを判定する。処理部１０は、背景に属する確率が高い特徴点ＦＰの情報に対して高い優先度を与え、背景の情報が位置姿勢の演算結果に強く反映されるようにする。
　処理部１０は、局所特徴量抽出部１１と、積分処理部１２と、背景重み算出部１３と、画像検索部１４と、特徴量マッチング部１５と、位置姿勢推定部１６と、を有する。
　局所特徴量抽出部１１は、カメラ３０によって撮影された時系列画像データを取得する。時系列画像データには、時系列で撮影された複数の時刻の撮影画像ＩＭが含まれる。局所特徴量抽出部１１は、現在画ＩＭＡから複数の特徴点ＦＰを抽出する。局所特徴量抽出部１１は、各特徴点ＦＰの局所特徴量を抽出する。特徴点ＦＰは、例えば、現在画ＩＭＡにおいて画像エッジが交差するコーナー点である。局所特徴量は、例えば、特徴点ＦＰを中心とした小領域の画像（画像パッチ）の特徴量である。特徴点ＦＰおよび局所特徴量の抽出方法としては、ＳＩＦＴなどの公知の手法が採用される。
　局所特徴量抽出部１１は、現在画ＩＭＡに含まれる各特徴点ＦＰの深度を算出する。例えば、カメラ３０がステレオカメラである場合には、局所特徴量抽出部１１は、ステレオカメラで撮影された複数の視点の撮影画像ＩＭから視差を算出し、算出された視差に基づいて特徴点ＦＰの深度を求める。カメラ３０が単眼カメラである場合には、局所特徴量抽出部１１は、異なる時刻（位置）から撮影された複数の撮影画像ＩＭから移動視差を算出し、算出された移動視差に基づいて特徴点ＦＰの深度を算出する。
　積分処理部１２は、ＩＭＵ２０によって計測された加速度および角速度の情報を取得する。積分処理部１２は、加速度および角速度の情報に基づいて、機器の位置姿勢の変化量を算出する。積分処理部１２は、過去画ＩＭＢの撮影時から現在画ＩＭＡの撮影時までの位置姿勢の変化量を積分して、過去画ＩＭＢの撮影位置姿勢と現在画ＩＭＡの撮影位置姿勢との相対位置姿勢を算出する。
　背景重み算出部１３は、現在画ＩＭＡに含まれる複数の特徴点ＦＰに対して、特徴点ＦＰごとに、特徴点ＦＰが現在画ＩＭＡの背景をなす静止被写体上の点である確率に応じた重みを算出する。例えば、背景重み算出部１３は、カメラ３０で撮影された時系列画像データから現在画ＩＭＡと過去画ＩＭＢ（現在画ＩＭＡよりも１フレーム以上前に撮影された撮影画像ＩＭ）とを抽出する。背景重み算出部１３は、時系列で撮影された現在画ＩＭＡと過去画ＩＭＢの差分の情報と、ＩＭＵの計測情報に基づいて予測された差分の情報と、の比較結果に基づいて、各特徴点ＦＰの重みを算出する。背景重み算出部１３は、キーフレーム画像４１の検索にクエリとして使用される現在画ＩＭＡ以外に、現在画ＩＭＡから時間的に近い過去画ＩＭＢの画像情報を使用して、現在画ＩＭＡに含まれる背景の情報を推定する。
　図３は、重みの算出方法の一例を示す図である。現在画ＩＭＡは時刻ｔ０に撮影された撮影画像ＩＭであり、過去画ＩＭＢは時刻ｔ－１に撮影された撮影画像ＩＭである。
　背景重み算出部１３は、局所特徴量抽出部１１から取得された情報に基づいて、現在画ＩＭＡと過去画ＩＭＢとをブロックマッチングし、現在画ＩＭＡに含まれる複数の特徴点ＦＰに対応する過去画ＩＭＢの複数の対応点ＣＰを検出する。背景重み算出部１３は、現在画ＩＭＡの複数の特徴点ＦＰの過去（時刻ｔ－１）の位置をＩＭＵ２０の計測情報に基づいて予測する。背景重み算出部１３は、予測された現在画ＩＭＡの複数の特徴点ＦＰの過去の位置と過去画ＩＭＢの複数の対応点ＣＰの位置との比較結果に基づいて、現在画ＩＭＡの複数の特徴点ＦＰのそれぞれの重みを算出する。
　例えば、背景重み算出部１３は、積分処理部１２から取得した相対位置姿勢の情報に基づいて、特徴点ＦＰごとに、特徴点ＦＰが過去画ＩＭＢにおいて存在すると予測される位置の点を予測点ＰＰとして抽出する。背景重み算出部１３は、対応点ＣＰの位置が予測点ＰＰの位置から近ければ、特徴点ＦＰが静止物体上の点である確率が高いと判定する。背景重み算出部１３は、背景に属する確率が高い特徴点ＦＰほど、大きな値の重みを割り当てる。
　例えば、背景重み算出部１３は、以下の式（１）ないし式（６）に基づいて各特徴点ＦＰの重みｗを設定する。
ｗ＝Ｃ／（Ｃ－ε）　…（１）
ε＝｜ｕｔ－１－ｖｔ－１｜　…（２）
ｖｔ－１＝（１／ｚｔ－１）Ｌ　…（３）
Ｌ＝Ｋ（ΔＲ′ｚｔＫ－１ｕｔ＋Δｐ′）　…（４）
ΔＲ′＝ΔＲＴ　…（５）
Δｐ′＝ΔｐＴ　…（６）
　式（１）ないし式（６）において、ｗは特徴点ＦＰの重みを示す。Ｃは定数である。ｕｔは特徴点ＦＰの現在画ＩＭＡ上の位置を示す。ｕｔ－１は対応点ＣＰの過去画ＩＭＢ上の位置を示す。ｖｔ－１は特徴点ＦＰの過去画ＩＭＢ上の位置を示す。εは、予測点ＰＰからの対応点ＣＰのずれ（予測点ＰＰと対応点ＣＰとの間の距離）を示す。ｚｔは、現在画ＩＭＡの特徴点の深度を示す。ｚｔ－１は、Ｌのｚ座標を示す。ΔＲは、ＩＭＵ２０の計測情報に基づいて算出される、時刻ｔ－１から時刻ｔ０への撮影姿勢の変化を示す。Ｋは、カメラの内部パラメータを示す。ΔＲ′は、ΔＲを逆変換して得られる、時刻ｔ０から時刻ｔ－１への撮影姿勢の変化を示す。Δｐは、ＩＭＵ２０の計測情報に基づいて算出される、時刻ｔ－１から時刻ｔ０への撮影位置の変化を示す。Δｐ′は、Δｐを逆変換して得られる、時刻ｔ０から時刻ｔ－１への撮影位置の変化を示す。定数Ｃは、位置姿勢の推定対象となる機器の仕様に応じて適切に設定される。
　図２に戻って、画像検索部１４は、各特徴点ＦＰの重みｗに基づいて補正された現在画ＩＭＡの画像特徴量を用いて現在画ＩＭＡに類似するキーフレーム画像４１を検索する。画像検索部１４は、例えば、画像特徴量算出部１４１と、画像特徴量照合部１４２と、を有する。
　画像特徴量算出部１４１は、各特徴点ＦＰの局所特徴量を重みｗによって重み付けして画像特徴量を算出する。画像特徴量は、ＢｏＶＷおよびＶＬＡＤなどの公知の手法を用いて算出されるが、演算に際しては、特徴点ＦＰごとの重みｗが加味される。例えば、画像特徴量算出部１４１は、以下の式（７）に基づいて現在画ＩＭＡの画像特徴量を算出する。画像特徴量算出部１４１は、各局所特徴量と最近傍のセントロイドとの距離計算に重み付けをすることで静止物体上の点の寄与率を上げる。
Ｖ＝Σｉｗｉａ（ｖｉ－ｃ）　…（７）
　式（７）において、Ｖは画像特徴量を示す。ｗｉはｉ番目の特徴点ＦＰの重みを示す。ａはクラスタ指示子を示す。ｖｉはｉ番目の特徴点ＦＰの局所特徴量を示す。ｃはセントロイドを示す。
　画像特徴量照合部１４２は、画像特徴量を環境地図ＭＰに登録された複数のキーフレーム画像４１の情報と照合し、現在画ＩＭＡの画像特徴量に最も近い画像特徴量を有するキーフレーム画像４１の情報を抽出する。
　特徴量マッチング部１５は、抽出されたキーフレーム画像４１の画像情報（特徴点ＲＦＰの局所特徴量の情報）と現在画ＩＭＡの画像情報（特徴点ＦＰの局所特徴量の情報）とに基づいて、現在画ＩＭＡとキーフレーム画像４１から複数の対応点ペアを抽出する。対応点ペアは現在画ＩＭＡとキーフレーム画像４１の互いに対応する特徴点のペアである。
　位置姿勢推定部１６は、現在画ＩＭＡの各特徴点ＦＰの重みｗを反映した演算結果に基づいて、現在画ＩＭＡをキーフレーム画像４１の情報と比較し、その比較結果に基づいて、現在画ＩＭＡを撮影した機器の位置姿勢を推定する。位置姿勢推定部１６は、例えば、アウトライア除去部１６１と、姿勢算出部１６２と、を含む。
　アウトライア除去部１６１は、特徴量マッチング部１５で抽出された複数の対応点ペアのうち、重みｗに応じて優先度が付与された複数の対応点ペアから、ロバスト推定により、複数のインライアペアを抽出する。
　例えば、アウトライア除去部１６１は、局所特徴量抽出部１１から取得した情報を用いて、ロバスト推定に基づく仮説検証を行う。アウトライア除去部１６１は、仮説検証により、現在画ＩＭＡの各特徴点ＦＰとキーフレーム画像４１の各特徴点ＲＦＰとの位置関係として最もつじつまの合うものを求める。アウトライア除去部１６１は、仮説検証によって求められた位置関係に対してつじつまの合わない対応点ペア（例えば、対応点ペアの一方の特徴点が動く被写体上の点である場合や、一方の特徴点が隠れてしまった場合など）を取り除く。これにより、対応点としての信頼度が高い複数のインライアペアが抽出される。仮説検証によって得られた位置関係からは、現在画ＩＭＡの撮影位置姿勢とキーフレーム画像４１の撮影位置姿勢との間の仮の相対位置姿勢が求められる。
　仮説検証には、例えば、Ｐ３Ｐアルゴリズムが用いられる。Ｐ３Ｐアルゴリズムでは、全対応点ペアから選択された３つの対応点ペアによって仮の相対位置姿勢が求められる。この際、３つの対応点ペアは、ＲＡＮＳＡＣで行われるようにランダムに選択されるのではなく、ＰＲＯＳＡＣ（Ｐｒｏｇｒｅｓｓｉｖｅ　Ｓａｍｐｌｅ　Ｃｏｎｓｅｎｓｕｓ）を用いて、式（８）のように重みｗによってサンプリングに優先度が付与される。これにより、静止物体上の点のみから仮の相対位置姿勢が求められる確率が高くなる。
｛ｕｊ，ｔ，ｕｊ，ｔ－ｘ｝＝ＰＲＯＳＡＣ（｛ｕｊ，ｔ，ｕｊ，ｔ－ｘ｝，｛ｗｊ｝）　…（８）
　式（８）において、ｕｊ，ｔは現在画ＩＭＡのｊ番目の特徴点ＦＰの位置を示す。ｕｊ，ｔ－ｘはキーフレーム画像４１のｊ番目の特徴点ＲＦＰの位置を示す。ｗｊはｊ番目の特徴点ＦＰの重みを示す。
　リアルタイムシステムでは、全ての組み合わせの数だけ対応点ペアをサンプリングすることは処理遅延的に厳しい。そのため、サンプリング数を固定回数で打ち切ることでリアルタイム性の維持を図る場合がある。この際、サンプリングに上述のような優先度を付与することで、サンプリング数を固定回数で打ち切った場合でも、静止物体上の点がインライアペアとして選ばれやすくなる。
　姿勢算出部１６２は、現在画ＩＭＡの各特徴点ＦＰの重みｗに基づいて各インライアペアの寄与度が補正された回帰分析モデルを用いて、機器の位置姿勢を算出する。例えば、姿勢算出部１６２は、インライアペアとして抽出された複数の対応点ペアの位置関係から、現在画ＩＭＡの撮影位置姿勢とキーフレーム画像４１の撮影位置姿勢との相対位置姿勢を算出する。この際、姿勢算出部１６２は、特徴点ＦＰごとの重みｗを加味することで、インライアペアの中でも静止物体上の点である確率の高い対応点ペア間のリプロジェクションエラーが小さくなるように相対位置姿勢を求める。姿勢算出部１６２は、算出された相対位置姿勢を、キーフレーム画像４１に紐付けられた撮影位置姿勢に付加して、現在の機器の位置姿勢（現在画ＩＭＡの撮影位置姿勢）を算出する。
　相対位置姿勢の演算には、例えば、ＰｎＰアルゴリズムが用いられる。姿勢算出部１６２は、全てのインライアペアに基づいて相対位置姿勢を求める。例えば、姿勢算出部１６２は、下記式（９）にしたがって、インライアペアごとに特徴点間の距離を算出する。姿勢算出部１６２は、各特徴点ＦＰについて算出された重みｗを用いて距離の重み付き２乗和を算出する。姿勢算出部１６２は、重み付き２乗和が最小となる機器の位置姿勢を算出する。
ΔＴ＝ａｒｇｍｉｎΣｊｗｊ｜ｕｊ，ｔ－ｐｒｏｊ（ΔＴｘｊ，ｔ－ｘ）｜２　…（９）
　式（９）において、ΔＴは相対位置姿勢を示す。ｘｊは特徴ｕｊに対する３次元座標を示す。ｐｒｏｊは、３次元座標点をカメラ画面の２次元座標上に投影する関数を示す。関数ｐｒｏｊは、次の式（１０）を満たす。
ｐｒｏｊ（ｘ）＝（１／ｚ）Ｋｘ　…（１０）
　式（１０）において、ｘは３次元座標点を示す。Ｋはカメラの内部パラメータ（３×３行列）を示す。ｚはＫｘの深度（ｚ座標）を示す。
［１－２．情報処理方法］
　図４は、本実施形態の情報処理方法を示すフローチャートである。
　ステップＳ１において、処理部１０は、ＩＭＵ２０によって計測された加速度および角速度の情報を取得する。また、処理部１０は、現在画ＩＭＡおよび過去画ＩＭＢを含む時系列画像データを取得する。
　ステップＳ２において、局所特徴量抽出部１１は、現在画ＩＭＡから複数の特徴点ＦＰを抽出し、特徴点ＦＰごとに局所特徴量を抽出する。また、局所特徴量抽出部１１は、各特徴点ＦＰの深度を算出する。
　ステップＳ３において、積分処理部１２は、ＩＭＵ２０によって計測された加速度および角速度の情報に基づいて、過去画ＩＭＢの撮影時から現在画ＩＭＡの撮影時までの機器の位置姿勢の変化量を積分する。
　ステップＳ４において、背景重み算出部１３は、現在画ＩＭＡと過去画ＩＭＢとをブロックマッチングし、現在画ＩＭＡに含まれる複数の特徴点ＦＰに対応する過去画ＩＭＢの複数の対応点ＣＰを検出する。背景重み算出部１３は、積分処理部１２によって算出された位置姿勢の変化量に基づいて、特徴点ＦＰと対応点ＣＰとの比較を行う。背景重み算出部１３は、特徴点ＦＰと対応点ＣＰとの比較結果に基づいて、特徴点ＦＰが現在画ＩＭＡの背景をなす静止被写体上の点である確率を求め、その確率に応じた重みｗを特徴点ＦＰに割り当てる。
　ステップＳ５において、画像検索部１４は、各特徴点ＦＰの重みｗに基づいて補正された現在画ＩＭＡの画像特徴量を用いて、複数のキーフレーム画像４１から現在画ＩＭＡに類似するキーフレーム画像４１を検索する。画像検索部１４は、検索によって得られたキーフレーム画像４１に紐づけられた位置姿勢の情報を環境地図ＭＰから抽出する。
　ステップＳ６において、特徴量マッチング部１５は、キーフレーム画像４１の画像情報（特徴点ＲＦＰの局所特徴量の情報）と現在画ＩＭＡの画像情報（特徴点ＦＰの局所特徴量の情報）とに基づいて、現在画ＩＭＡとキーフレーム画像４１から複数の対応点ペアを抽出する。
　ステップＳ７において、位置姿勢推定部１６は、現在画ＩＭＡの複数の特徴点ＦＰとキーフレーム画像４１の対応する複数の特徴点ＲＦＰとの位置関係に関する情報、ならびに、環境地図ＭＰに登録されたキーフレーム画像４１の撮影位置姿勢に関する情報に基づいて、現在の機器の位置姿勢（現在画ＩＭＡの撮影位置姿勢）を推定する。
　ステップＳ８において、処理部１０は、処理が終了したか否かを判定する。処理が終了したか否かは、カメラ３０の撮影ボタンの操作などによって検出される。ステップＳ８において、処理が終了したと判定された場合には（ステップＳ８：Ｙｅｓ）、処理が終了される。ステップＳ８において、処理が終了したと判定されない場合には（ステップＳ８：Ｎｏ）、ステップＳ１に戻り、処理が終了されるまで上述のステップが繰り返される。
［１－３．効果］
　処理部１０は、背景重み算出部１３と位置姿勢推定部１６とを有する。背景重み算出部１３は、現在画ＩＭＡに含まれる複数の特徴点ＦＰに対して、特徴点ＦＰごとに、特徴点ＦＰが現在画ＩＭＡの背景をなす静止被写体上の点である確率に応じた重みｗを算出する。位置姿勢推定部１６は、各特徴点ＦＰの重みｗを反映した演算結果に基づいて、現在画ＩＭＡを環境地図ＭＰに登録されたキーフレーム画像４１の情報と比較し、現在画ＩＭＡを撮影した機器の位置姿勢を推定する。本実施形態の情報処理方法は、上述した処理部１０の情報処理がコンピュータにより実行される。本実施形態のプログラムは、上述した処理部１０の情報処理をコンピュータに実現させる。
　この構成によれば、現在画ＩＭＡに含まれる特徴点ＦＰが背景（静止被写体）に属するのか前景（動く被写体）に属するのかに応じて、特徴点ＦＰの情報に異なる重みが付与される。そのため、移動物体などの外乱が現在画ＩＭＡに含まれていても、位置姿勢の推定精度が損なわれにくい。
　処理部１０は、画像検索部１４を有する。画像検索部１４は、各特徴点ＦＰの重みｗに基づいて補正された現在画ＩＭＡの画像特徴量を用いて現在画ＩＭＡに類似するキーフレーム画像４１を検索する。
　この構成によれば、静止被写体の情報を強く反映した画像特徴量が算出される。そのため、機器の位置姿勢が精度よく推定される。
　画像検索部１４は、画像特徴量算出部１４１と画像特徴量照合部１４２とを有する。画像特徴量算出部１４１は、各特徴点ＦＰの局所特徴量を重みｗによって重み付けして画像特徴量を算出する。画像特徴量照合部１４２は、画像特徴量を環境地図ＭＰに登録された複数のキーフレーム画像４１の情報と照合し、現在画ＩＭＡの画像特徴量に最も近い画像特徴量を有するキーフレーム画像４１の情報を抽出する。
　この構成によれば、現在画ＩＭＡに対する類似度が高い適切なキーフレーム画像４１の情報が抽出される。
　位置姿勢推定部１６は、アウトライア除去部１６１を有する。アウトライア除去部１６１は、現在画ＩＭＡとキーフレーム画像４１の互いに対応する複数の特徴点のペアのうち、重みｗに応じて優先度が付与された複数の特徴点のペアから、ロバスト推定により、複数のインライアペアを抽出する。
　この構成によれば、静止被写体上の特徴点ＦＰがインライアペアとして抽出されやすくなる。そのため、機器の姿勢の推定精度が高まる。
　位置姿勢推定部１６は、姿勢算出部１６２を有する。姿勢算出部１６２は、各特徴点ＦＰの重みｗに基づいて各インライアペアの寄与度が補正された回帰分析モデルを用いて、機器の位置姿勢を算出する。例えば、姿勢算出部は、インライアペアごとに特徴点間の距離を算出し、各特徴点ＦＰについて算出された重みｗを用いて距離の重み付き２乗和を算出し、重み付き２乗和が最小となる機器の位置姿勢を算出する。
　この構成によれば、静止被写体の情報を反映した位置姿勢の推定が可能となる。
　背景重み算出部１３は、時系列で撮影された複数の時刻の撮影画像ＩＭの差分の情報と、ＩＭＵ２０の計測情報に基づいて予測された差分の情報と、の比較結果に基づいて、各特徴点ＦＰの重みｗを算出する。
　この構成によれば、ＩＭＵ２０の計測情報に基づいて各特徴点ＦＰの重みｗが適切に設定される。
［２．第２実施形態］
　図５は、第２実施形態の情報処理システム２の概略図である。
　本実施形態において第１実施形態と異なる点は、各特徴点ＦＰの重みｗが機械学習の手法を用いて現在画ＩＭＡおよび過去画ＩＭＢの画像情報のみに基づいて算出される点である。以下、第１実施形態との相違点を中心に説明を行う。
　本実施形態では、各特徴点ＦＰの重みｗが現在画ＩＭＡおよび過去画ＩＭＢの画像情報のみに基づいて算出される。例えば、処理部５０は、ＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いた分析モデルを用いて前景と背景とを分離する前景背景分離部５１を有する。前景背景分離部５１は、現在画ＩＭＡに含まれる複数の画素に対して、画素ごとに、画素が静止被写体上の点である確率を抽出する。前景背景分離部５１は、各画素の静止被写体上の点としての確率に関する情報を分離情報として出力する。背景重み算出部５２は、ＤＮＮを用いて得られた前景と背景の分離情報に基づいて、現在画ＩＭＡに含まれる各特徴点ＦＰの重みｗを算出する。
　前景背景分離部５１では、教師ありデータを用いて、現在画ＩＭＡと過去画ＩＭＢとから分離情報が出力されるように機械学習が行われる。前景背景分離部５１からは、現在画ＩＭＡの画像解像度（またはダウンコンバート画像解像度）に応じた数の重みの情報が分離情報として出力される。そのため、背景重み算出部５２は、分離情報に含まれる各画素の重みの情報から、現在画ＩＭＡの各特徴点ＦＰの重みの情報を抽出する。
　本実施形態では、各特徴点ＦＰの重みｗが機械学習の手法を用いて現在画ＩＭＡおよび過去画ＩＭＢの画像情報のみに基づいて算出される。そのため、ＩＭＵ２０が不要になり、装置構成が簡略化される。
　なお、本実施形態では、現在画ＩＭＡと過去画ＩＭＢの画像情報に基づいて分離情報が抽出されるが、分離情報の抽出方法がこれに限られない。例えば、セマンティックセグメンテーションなどの手法を用いて現在画ＩＭＡの画像情報のみに基づいて分離情報が抽出されてもよい。
［３．第３実施形態］
　図６は、第３実施形態の情報処理システム３の概略図である。
　本実施形態では、処理部６０は、位置姿勢の推定手法として、第１実施形態に示した手法（第１手法）と第２実施形態に示した手法（第２手法）とを混合した手法を用いる。
　背景重み算出部６１は、まず、第１実施形態と同様に、時系列で撮影された複数の時刻の撮影画像ＩＭ（現在画ＩＭＡおよび過去画ＩＭＢ）の差分の情報と、ＩＭＵ２０の計測情報に基づいて予測された差分の情報と、の比較結果に基づいて、各特徴点ＦＰの重み（第１重みｗ１）を算出する。次に、背景重み算出部６１は、第２実施形態と同様に、ＤＮＮを用いて得られた前景と背景の分離情報に基づいて各特徴点ＦＰの重み（第２重みｗ２）を算出する。背景重み算出部６１は、下記式（１１）に基づいて、第１重みｗ１と第２重みｗ２とをブレンド率αでブレンドして、各特徴点ＦＰの重みｗを算出する。
ｗ＝α×ｗ１＋（１－α）×ｗ２　…（１１）
　ブレンド率αは、ＩＭＵ２０の計測情報に応じて決定される。すなわち、第１手法では、ＩＭＵ２０の実測値を用いて背景の情報が推定される。そのため、第１手法による背景の推定精度は、機械学習を用いる第２手法よりも高い。しかし、ＩＭＵ２０には表現できるレンジが存在する。そのため、レンジを超える大きな並進や回転運動が生じた場合に、計測値が飽和する可能性がある。そのため、背景重み算出部６１は、ＩＭＵ２０の計測情報の信頼度をブレンド率αとして定義する。背景重み算出部６１は、ＩＭＵ２０によって急峻な運動変化が検出された場合にブレンド率αを小さくし、ＤＮＮを用いて算出された第２重みｗ２の寄与率を大きくする。これにより、ロバスト性の向上が図られる。
　図７は、ブレンド率αの決定方法の一例を示す図である。図７のグラフにおいて、横軸は時刻であり、縦軸はＩＭＵ２０の計測値（加速度または角速度）である。ｄａｔａｉ（ｉは整数）は、時刻ｔｉの計測値（実測値）を示す。ｄａｔａｉ′は、時刻ｔｉの計測値の勾配に基づいて予測される時刻ｔｉ＋１の計測値の予測値を示す。
　例えば、背景重み算出部６１は、時刻ｔｉの計測値ｄａｔａｉおよび勾配に基づいて、計測値ｄａｔａｉの信頼度ｒを決定する。背景重み算出部６１は、ブレンド率αを、定数Ｄを用いて下記式（１２）により算出する。
α＝Ｄ／（Ｄ＋ｒ）　…（１２）
　例えば、予測値ｄａｔａｉ′が閾値（例えば、ＩＭＵ２０が計測可能な最大レンジ）よりも大きい場合には、背景重み算出部６１は、信頼度ｒをｄａｔａｉとｄａｔａｉ－１との差分（ｄａｔａｉ－ｄａｔａｉ－１）として算出する。この場合、ブレンド率αは、Ｄ／（Ｄ＋ｄａｔａｉ－ｄａｔａｉ－１）として算出される。予測値ｄａｔａｉ′が閾値以下である場合には、背景重み算出部６１は、信頼度ｒをゼロとして算出する。この場合、ブレンド率αは、１として算出される。
　上述の例では、予測値ｄａｔａｉ′が閾値を超える場合に信頼度ｒ及びブレンド率αが、計測値ｄａｔａｉに応じて連続的に変化する。しかし、予測値ｄａｔａｉ′が閾値を超える場合に信頼度ｒを無限大に設定し、ブレンド率αをゼロに固定することもできる。この場合、ＩＭＵ２０の計測情報に応じて、重みｗの設定手法が第１手法と第２手法との間で切り替えられる。
　以上のように、本実施形態では、ＩＭＵ２０の計測情報に応じてブレンド率αが調整される。そのため、ＩＭＵ２０の計測情報の信頼度に応じて重みｗが適切に設定される。
［４．コンピュータの構成例］
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図８は、上述した一連の処理をプログラムにより実行するコンピュータＩＰＳのハードウェアの構成例を示すブロック図である。コンピュータＩＰＳは、上述した各実施形態の情報処理システムに相当する。
　コンピュータＩＰＳにおいて、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）ＰＲ，ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）Ｍ１，ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）Ｍ２は、バスＢＵにより相互に接続されている。
　バスＢＵには、さらに、入出力インターフェースＩＦが接続されている。入出力インターフェースＩＦには、入力部ＩＤ、出力部ＤＰ、記憶部ＳＴ、通信部ＣＵ、およびドライブＤＵが接続されている。上述した実施形態の記憶部４０は、記憶部ＳＴに含まれる。
　入力部ＩＤは、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。上述した実施形態のＩＭＵ２０およびカメラ３０は、入力部ＩＤに含まれる。出力部ＤＰは、ディスプレイ、スピーカなどよりなる。記憶部ＳＴは、ハードディスクや不揮発性のメモリなどよりなる。通信部ＣＵは、ネットワークインターフェースなどよりなる。ドライブＤＵは、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体ＲＭを駆動する。
　以上のように構成されるコンピュータＩＰＳでは、ＣＰＵＰＲが、例えば、記憶部ＳＴに記憶されているプログラムを、入出力インターフェースＩＦおよびバスＢＵを介して、ＲＡＭＭ２にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータＩＰＳ（ＣＰＵＰＲ）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体ＲＭに記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータＩＰＳでは、プログラムは、リムーバブル記録媒体ＲＭをドライブＤＵに装着することにより、入出力インターフェースＩＦを介して、記憶部ＳＴにインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部ＣＵで受信し、記憶部ＳＴにインストールすることができる。その他、プログラムは、ＲＯＭＭ１や記憶部ＳＴに、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　撮影画像に含まれる複数の特徴点に対して、特徴点ごとに、前記特徴点が前記撮影画像の背景をなす静止被写体上の点である確率に応じた重みを算出する背景重み算出部と、
　各特徴点の重みを反映した演算結果に基づいて、前記撮影画像を環境地図に登録されたキーフレーム画像の情報と比較し、前記撮影画像を撮影した機器の位置姿勢を推定する位置姿勢推定部と、
　を有する情報処理装置。
（２）
　各特徴点の前記重みに基づいて補正された前記撮影画像の画像特徴量を用いて前記撮影画像に類似する前記キーフレーム画像を検索する画像検索部を有する
　上記（１）に記載の情報処理装置。
（３）
　前記画像検索部は、各特徴点の局所特徴量を前記重みによって重み付けして前記画像特徴量を算出する画像特徴量算出部と、前記画像特徴量を環境地図に登録された複数のキーフレーム画像の情報と照合し、前記画像特徴量に最も近い画像特徴量を有する前記キーフレーム画像の情報を抽出する画像特徴量照合部と、を有する
　上記（２）に記載の情報処理装置。
（４）
　前記位置姿勢推定部は、前記撮影画像と前記キーフレーム画像の互いに対応する複数の特徴点のペアのうち、前記重みに応じて優先度が付与された複数の特徴点のペアから、ロバスト推定により、複数のインライアペアを抽出するアウトライア除去部を有する
　上記（２）または（３）に記載の情報処理装置。
（５）
　前記位置姿勢推定部は、各特徴点の前記重みに基づいて各インライアペアの寄与度が補正された回帰分析モデルを用いて、前記機器の位置姿勢を算出する姿勢算出部を有する
　上記（４）に記載の情報処理装置。
（６）
　前記姿勢算出部は、インライアペアごとに特徴点間の距離を算出し、各特徴点について算出された前記重みを用いて前記距離の重み付き２乗和を算出し、前記重み付き２乗和が最小となる前記機器の位置姿勢を算出する
　上記（５）に記載の情報処理装置。
（７）
　前記背景重み算出部は、時系列で撮影された複数の時刻の撮影画像の差分の情報と、ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）の計測情報に基づいて予測された差分の情報と、の比較結果に基づいて、各特徴点の前記重みを算出する
　上記（１）ないし（６）のいずれか１つに記載の情報処理装置。
（８）
　前記背景重み算出部は、ＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて得られた前景と背景の分離情報に基づいて、各特徴点の前記重みを算出する
　上記（１）ないし（６）のいずれか１つに記載の情報処理装置。
（９）
　前記背景重み算出部は、時系列で撮影された複数の時刻の撮影画像の差分の情報と、ＩＭＵの計測情報に基づいて予測された差分の情報と、の比較結果に基づいて算出される前記重みと、ＤＮＮを用いて得られた前景と背景の分離情報に基づいて算出される前記重みと、を前記ＩＭＵの計測情報に応じたブレンド率でブレンドする
　上記（１）ないし（６）のいずれか１つに記載の情報処理装置。
（１０）
　撮影画像に含まれる複数の特徴点に対して、特徴点ごとに、前記特徴点が前記撮影画像の背景をなす静止被写体上の点である確率に応じた重みを算出し、
　各特徴点の重みを反映した演算結果に基づいて、前記撮影画像を環境地図に登録されたキーフレーム画像の情報と比較し、前記撮影画像を撮影した機器の位置姿勢を推定する、
　ことを有する、コンピュータにより実行される情報処理方法。
（１１）
　撮影画像に含まれる複数の特徴点に対して、特徴点ごとに、前記特徴点が前記撮影画像の背景をなす静止被写体上の点である確率に応じた重みを算出し、
　各特徴点の重みを反映した演算結果に基づいて、前記撮影画像を環境地図に登録されたキーフレーム画像の情報と比較し、前記撮影画像を撮影した機器の位置姿勢を推定する、
　ことをコンピュータに実現させるプログラム。
１，２，３　情報処理システム
１０，５０，６０　処理部（情報処理装置）
１３，５２，６１　背景重み算出部
１４　画像検索部
１６　位置姿勢推定部
２０　ＩＭＵ
４１　キーフレーム画像
１４１　画像特徴量算出部
１４２　画像特徴量照合部
１６１　アウトライア除去部
１６２　姿勢算出部
ＣＰ　対応点
ＦＰ　特徴点
ＩＭ　撮影画像
ＭＰ　環境地図
ｗ　重み
α　ブレンド率

Claims (11)

  1. 　撮影画像に含まれる複数の特徴点に対して、特徴点ごとに、前記特徴点が前記撮影画像の背景をなす静止被写体上の点である確率に応じた重みを算出する背景重み算出部と、
    　各特徴点の重みを反映した演算結果に基づいて、前記撮影画像を環境地図に登録されたキーフレーム画像の情報と比較し、前記撮影画像を撮影した機器の位置姿勢を推定する位置姿勢推定部と、
    　を有する情報処理装置。
  2. 　各特徴点の前記重みに基づいて補正された前記撮影画像の画像特徴量を用いて前記撮影画像に類似する前記キーフレーム画像を検索する画像検索部を有する
    　請求項１に記載の情報処理装置。
  3. 　前記画像検索部は、各特徴点の局所特徴量を前記重みによって重み付けして前記画像特徴量を算出する画像特徴量算出部と、前記画像特徴量を環境地図に登録された複数のキーフレーム画像の情報と照合し、前記画像特徴量に最も近い画像特徴量を有する前記キーフレーム画像の情報を抽出する画像特徴量照合部と、を有する
    　請求項２に記載の情報処理装置。
  4. 　前記位置姿勢推定部は、前記撮影画像と前記キーフレーム画像の互いに対応する複数の特徴点のペアのうち、前記重みに応じて優先度が付与された複数の特徴点のペアから、ロバスト推定により、複数のインライアペアを抽出するアウトライア除去部を有する
    　請求項２に記載の情報処理装置。
  5. 　前記位置姿勢推定部は、各特徴点の前記重みに基づいて各インライアペアの寄与度が補正された回帰分析モデルを用いて、前記機器の位置姿勢を算出する姿勢算出部を有する
    　請求項４に記載の情報処理装置。
  6. 　前記姿勢算出部は、インライアペアごとに特徴点間の距離を算出し、各特徴点について算出された前記重みを用いて前記距離の重み付き２乗和を算出し、前記重み付き２乗和が最小となる前記機器の位置姿勢を算出する
    　請求項５に記載の情報処理装置。
  7. 　前記背景重み算出部は、時系列で撮影された複数の時刻の撮影画像の差分の情報と、ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）の計測情報に基づいて予測された差分の情報と、の比較結果に基づいて、各特徴点の前記重みを算出する
    　請求項１に記載の情報処理装置。
  8. 　前記背景重み算出部は、ＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて得られた前景と背景の分離情報に基づいて、各特徴点の前記重みを算出する
    　請求項１に記載の情報処理装置。
  9. 　前記背景重み算出部は、時系列で撮影された複数の時刻の撮影画像の差分の情報と、ＩＭＵの計測情報に基づいて予測された差分の情報と、の比較結果に基づいて算出される前記重みと、ＤＮＮを用いて得られた前景と背景の分離情報に基づいて算出される前記重みと、を前記ＩＭＵの計測情報に応じたブレンド率でブレンドする
    　請求項１に記載の情報処理装置。
  10. 　撮影画像に含まれる複数の特徴点に対して、特徴点ごとに、前記特徴点が前記撮影画像の背景をなす静止被写体上の点である確率に応じた重みを算出し、
    　各特徴点の重みを反映した演算結果に基づいて、前記撮影画像を環境地図に登録されたキーフレーム画像の情報と比較し、前記撮影画像を撮影した機器の位置姿勢を推定する、
    　ことを有する、コンピュータにより実行される情報処理方法。
  11. 　撮影画像に含まれる複数の特徴点に対して、特徴点ごとに、前記特徴点が前記撮影画像の背景をなす静止被写体上の点である確率に応じた重みを算出し、
    　各特徴点の重みを反映した演算結果に基づいて、前記撮影画像を環境地図に登録されたキーフレーム画像の情報と比較し、前記撮影画像を撮影した機器の位置姿勢を推定する、
    　ことをコンピュータに実現させるプログラム。
PCT/JP2021/017497 2020-05-29 2021-05-07 情報処理装置、情報処理方法およびプログラム WO2021241166A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180031830.9A CN115516512A (zh) 2020-05-29 2021-05-07 信息处理装置、信息处理方法和程序
US17/999,217 US20230222686A1 (en) 2020-05-29 2021-05-07 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020093887 2020-05-29
JP2020-093887 2020-05-29

Publications (1)

Publication Number Publication Date
WO2021241166A1 true WO2021241166A1 (ja) 2021-12-02

Family

ID=78745329

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017497 WO2021241166A1 (ja) 2020-05-29 2021-05-07 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20230222686A1 (ja)
CN (1) CN115516512A (ja)
WO (1) WO2021241166A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018022247A (ja) * 2016-08-01 2018-02-08 キヤノン株式会社 情報処理装置およびその制御方法
JP2019011971A (ja) * 2017-06-29 2019-01-24 株式会社東芝 推定システムおよび自動車
JP2019204163A (ja) * 2018-05-21 2019-11-28 株式会社Ｇａｕｓｓ 画像処理装置、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018022247A (ja) * 2016-08-01 2018-02-08 キヤノン株式会社 情報処理装置およびその制御方法
JP2019011971A (ja) * 2017-06-29 2019-01-24 株式会社東芝 推定システムおよび自動車
JP2019204163A (ja) * 2018-05-21 2019-11-28 株式会社Ｇａｕｓｓ 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US20230222686A1 (en) 2023-07-13
CN115516512A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN107833236B (zh) 一种动态环境下结合语义的视觉定位系统和方法
US9183444B2 (en) Information processing apparatus, information processing method, and computer program
CN105590091B (zh) 一种面部识别方法及其系统
WO2018063608A1 (en) Place recognition algorithm
WO2019057197A1 (zh) 运动目标的视觉跟踪方法、装置、电子设备及存储介质
CN106650965B (zh) 一种远程视频处理方法及装置
US10636190B2 (en) Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
JP2012083855A (ja) 物体認識装置及び物体認識方法
Wang et al. A framework for moving target detection, recognition and tracking in UAV videos
CN106780567B (zh) 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
Saif et al. Motion analysis for moving object detection from UAV aerial images: A review
Saif et al. Adaptive motion pattern analysis for machine vision based moving detection from UAV aerial images
JP5848665B2 (ja) 移動物体上動きベクトル検出装置、移動物体上動きベクトル検出方法、およびプログラム
JP6558831B2 (ja) オブジェクト追跡装置、方法およびプログラム
WO2021241166A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN106406507B (zh) 图像处理方法以及电子设备
Chung et al. Low-complexity and reliable moving objects detection and tracking for aerial video surveillance with small uavs
JP2023065296A (ja) 平面検出装置及び方法
Saif et al. Adaptive long term motion pattern analysis for moving object detection using UAV aerial images
CN115761558A (zh) 一种视觉定位中关键帧确定方法及装置
WO2020054058A1 (ja) 識別システム、パラメータ値更新方法およびプログラム
CN108346158B (zh) 基于主块数据关联的多目标跟踪方法及系统
Shen et al. Enhanced visual odometry algorithm based on elite selection method and voting system
He et al. Dynamic Objects Detection Based on Stereo Visual Inertial System in Highly Dynamic Environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21812074

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21812074

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP