JP7258250B2 - 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム - Google Patents

位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム Download PDF

Info

Publication number
JP7258250B2
JP7258250B2 JP2022569662A JP2022569662A JP7258250B2 JP 7258250 B2 JP7258250 B2 JP 7258250B2 JP 2022569662 A JP2022569662 A JP 2022569662A JP 2022569662 A JP2022569662 A JP 2022569662A JP 7258250 B2 JP7258250 B2 JP 7258250B2
Authority
JP
Japan
Prior art keywords
orientation
unit
absolute
calculation
absolute position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022569662A
Other languages
English (en)
Other versions
JPWO2022130618A1 (ja
Inventor
健 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022130618A1 publication Critical patent/JPWO2022130618A1/ja
Application granted granted Critical
Publication of JP7258250B2 publication Critical patent/JP7258250B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/188—Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3844—Data obtained from position sensors only, e.g. from inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Description

本開示は、位置・姿勢推定装置、位置・姿勢推定方法、及びプログラムに関する。
Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）が適用された装置及びＡｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ（ＡＧＶ）が適用されたロボットなどにおいて、相対位置・姿勢の計算の結果と絶対位置・姿勢の計算の結果とを組み合わせることで位置・姿勢の計算（すなわち、推定）の精度を向上させる方法が提案されている。例えば、特許文献１を参照。
相対位置・姿勢の計算は、ある位置・姿勢からの相対的な移動量の計算であり、一定周期（一般には、短周期）ごとに繰り返し実行される処理である。例えば、相対位置・姿勢の計算には、カメラによって撮影された画像であるカメラ画像又は距離センサによって検出された距離に基づいて移動量を求めるＳｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）、ジャイロセンサ若しくは加速度センサなどが統合されたＩｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ（ＩＭＵ）を用いる方法、又は車輪の回転数に基づいて移動量を求める自律航法、などが使用される。これらの方法では、相対位置・姿勢の計算の度に誤差が加算されるため、長距離移動すると累積した誤差が大きくなる問題がある。そのため、相対位置・姿勢の計算の結果と絶対位置・姿勢の計算の結果とを組み合わせて、相対位置・姿勢の計算によって累積した誤差を、定期的に取り除く処理が行われる。
絶対位置・姿勢の計算は、予め用意した３次元地図を用いて行われ、例えば、３次元地図が示す物体の前で実行される。絶対位置・姿勢の計算は、例えば、３次元地図及びカメラ画像を使って行われる。
図１は、ＡＲが適用された端末１１１を携行するユーザ１１２が移動した場合に、端末１１１が相対位置・姿勢の計算と絶対位置・姿勢の計算とを用いて位置・姿勢を推定する例を示す図である。端末１１１は、例えば、タブレット端末又はＨｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ（ＨＭＤ）を用いた端末、などである。この場合、端末１１１は、相対位置・姿勢計算（１）を実行しながら移動し、３次元地図が示す物体１１３の前で実行した絶対位置・姿勢計算（２）の結果を用いて累積した誤差を取り除き、その後、相対位置・姿勢計算（３）を実行しながら移動する。これにより、３次元地図が示す物体１１３から離れても、位置・姿勢を精度良く推定でき、その結果、端末の画面に表示された現実の画像上の適切な位置にＡＲコンテンツを重畳表示し続けることができる。
図２は、ＡＧＶが適用されたロボット１２１が移動した場合に、ロボット１２１が相対位置・姿勢の計算と絶対位置・姿勢の計算とを用いて位置・姿勢を推定する例を示す図である。この場合、ロボット１２１は、相対位置・姿勢計算（４）を実行しながら移動し、３次元地図が示す物体１２３の前で実行された絶対位置・姿勢計算（５）の結果を用いて累積した誤差を取り除き、その後、相対位置・姿勢計算（６）を実行しながら移動する。これにより、３次元地図が示す物体１２３から離れても、ロボット１２１は、自己の位置・姿勢を精度良く推定でき、その結果、目標とする位置に正確に到達することができる。
特開２０１９－１６０１４７号公報
しかしながら、従来の絶対位置・姿勢の推定は、１フレーム（すなわち、１枚の画像フレーム）のみを使用して行われているため、計算の精度（すなわち、精度の推定）は１フレームに含まれる被写体に依存して大きく変動するという課題がある。
例えば、カメラ画像を用いる場合、被写体の模様に依存して絶対位置・姿勢の計算の精度が変動することがある。つまり、被写体の模様が特徴的である場合には、絶対位置・姿勢の計算を高い精度で行うことができるが、被写体の模様がストライプ若しくはボーダーなどの繰り返し模様である場合又は被写体が真っ白な壁などのように模様が無い物体である場合には、絶対位置・姿勢の計算の精度は低下する。
また、レーザ又は赤外線などを利用して得られた被写体までの距離情報を用いて絶対位置・姿勢を計算する場合、被写体の形状に依存して絶対位置・姿勢の計算の精度が大きく変動する。つまり、被写体の形状が特徴的である場合には、絶対位置・姿勢の計算を高い精度で行うことができるが、被写体の形状が特徴的ではない場合には、絶対位置・姿勢の計算の精度は低下する。
本開示は、上記した課題を解決するためになされたものであり、位置・姿勢の推定の精度を向上させることができる位置・姿勢推定装置、位置・姿勢推定方法、及びプログラムを提供することを目的とする。
本開示の位置・姿勢推定装置は、データベースから３次元地図のデータを読み込むデータベース読込部と、複数の異なる視点から撮影した画像のフレームの中から位置・姿勢の計算に使用するフレームを選択する処理を行うフレーム選択部と、前記フレーム選択部によって選択された複数のフレームについての複数の相対位置・姿勢を取得する処理を行う相対位置・姿勢取得部と、前記フレーム選択部によって選択された複数のフレームについての複数の絶対位置・姿勢を取得する処理を行う絶対位置・姿勢計算部と、前記相対位置・姿勢取得部によって取得された相対位置・姿勢と、前記絶対位置・姿勢計算部によって取得された絶対位置・姿勢と、を統合して、最終的な絶対位置・姿勢を取得する絶対位置・姿勢統合部と、を有することを特徴とする。
本開示の位置・姿勢推定方法は、位置・姿勢推定装置が実行する方法であって、位置データベースから３次元地図のデータを読み込むステップと、複数の異なる視点から撮影した画像のフレームの中から位置・姿勢の計算に使用するフレームを選択する処理を行うステップと、選択された複数のフレームについての複数の相対位置・姿勢を取得する処理を行うステップと、前記選択された複数のフレームについての複数の絶対位置・姿勢を取得する処理を行うステップと、取得された前記相対位置・姿勢と、取得された前記絶対位置・姿勢と、を統合して、最終的な絶対位置・姿勢を取得するステップと、を有することを特徴とする。
本開示の装置、方法、又はプログラムによれば、位置・姿勢の推定の精度を向上させることができる。
ＡＲが適用された端末を携行するユーザが移動した場合に、端末が相対位置・姿勢の計算と絶対位置・姿勢の計算とを用いて位置・姿勢を推定する例を示す図である。 ＡＧＶが適用されたロボットが移動した場合に、ロボットが相対位置・姿勢の計算と絶対位置・姿勢の計算とを用いて位置・姿勢を推定する例を示す図である。 実施の形態１に係る位置・姿勢推定装置及びそれを含む位置・姿勢推定システムのハードウェア構成の例を示す図である。 図３に示される位置・姿勢推定装置のハードウェア構成の例を示す図である。 実施の形態１に係る３次元地図作成装置の構成を概略的に示す機能ブロック図である。 画像にランダムパターンを付加する処理の一例を示す図である。 フロアマップに３次元地図を位置合わせして登録する処理を示す図である。 実施の形態１に係る位置・姿勢推定装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る３次元地図作成装置による３次元地図の作成のための処理の例を示すフローチャートである。 実施の形態１に係る位置・姿勢推定装置による位置・姿勢の推定のための処理の例を示すフローチャートである。 実施の形態１に係る位置・姿勢推定装置による位置・姿勢の推定のための処理の他の例を示すフローチャートである。 実施の形態２に係る３次元地図作成装置の構成を概略的に示す機能ブロック図である。 実施の形態２に係る３次元地図作成装置が使用する分散の計算方法を示す図である。 実施の形態２に係る位置・姿勢推定装置の構成を概略的に示す機能ブロック図である。 実施の形態２に係る３次元地図作成装置による３次元地図の作成のための処理の例を示すフローチャートである。 実施の形態２に係る位置・姿勢推定装置による位置・姿勢の推定のための処理の例を示すフローチャートである。 実施の形態３に係る位置・姿勢推定装置の構成を概略的に示す機能ブロック図である。 実施の形態３に係る位置・姿勢推定装置による位置・姿勢の推定のための処理の例を示すフローチャートである。 実施の形態４に係る位置・姿勢推定装置の構成を概略的に示す機能ブロック図である。 実施の形態４に係る位置・姿勢推定装置による位置・姿勢の推定のための処理の他の例を示すフローチャートである。
以下に、実施の形態に係る位置・姿勢推定装置、位置・姿勢推定方法、及びプログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び実施の形態を適宜変更することが可能である。なお、本出願において「位置・姿勢」は、位置及び姿勢を意味する。「位置」は、例えば、カメラを搭載した端末又はロボットの位置を意味する。「姿勢」は、例えば、カメラによる撮影方向又は距離センサによる測定方向を意味する。
《１》実施の形態１
《１－１》構成
《１－１－１》概要
実施の形態１では、カメラによって撮影された画像であるカメラ画像（すなわち、撮像画像）を用いた絶対位置・姿勢の計算の精度の向上について述べる。カメラ画像を用いて位置・姿勢を推定する方法として、第１の推定方法が知られている。例えば、非特許文献１を参照。
Ｐａｕｌ－Ｅｄｏｕａｒｄ Ｓａｒｌｉｎ、外３名著、 "Ｆｒｏｍ Ｃｏａｒｓｅ ｔｏ Ｆｉｎｅ： Ｒｏｂｕｓｔ Ｈｉｅｒａｒｃｈｉｃａｌ Ｌｏｃａｌｉｚａｔｉｏｎ ａｔ Ｌａｒｇｅ Ｓｃａｌｅ"、 ２０１９ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．
第１の推定方法では、直接的なマッチングを用いる。第１の推定方法では、画像の局所特徴の集合に基づいて、直接的にカメラの位置・姿勢を計算する。
また、カメラ画像を用いて位置・姿勢を推定する方法として、第２の推定方法が知られている。第２の推定方法では、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）で画像からカメラの位置・姿勢を推定する。例えば、非特許文献２を参照。
Ｓａｍａｒｔｈ Ｂｒａｈｍｂｈａｔｔ、外４名著、 "Ｇｅｏｍｅｔｒｙ－Ａｗａｒｅ Ｌｅａｒｎｉｎｇ ｏｆ Ｍａｐｓ ｆｏｒ Ｃａｍｅｒａ Ｌｏｃａｌｉｚａｔｉｏｎ"、 ２０１８ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．
第２の推定方法では、２段階のマッチングを用いる。第２の推定方法では、視点が異なる複数の画像を用意し、最初に、複数の画像の中から、撮影で得られたカメラ画像に最も類似した画像を類似画像として特定し、次に、類似画像から抽出した局所特徴とカメラ画像から抽出した局所特徴との対応関係に基づいて、カメラの位置・姿勢を求める。実施の形態１では、第２の推定方法に基づく方法を用いる。
図３は、実施の形態１に係る位置・姿勢推定装置１０１及びそれを含む位置・姿勢推定システム１００のハードウェア構成の例を示す図である。実施の形態１に係る位置・姿勢推定装置１０１は、位置・姿勢の推定のための計算を実行する計算機であるコンピュータを有している。図３の例では、実施の形態１に係る位置・姿勢推定システム１００は、位置・姿勢推定装置１０１と、記憶装置に格納された３次元地図データベース（３次元地図ＤＢ）１０２と、距離センサ１０３と、撮像装置としてのカメラ１０４と、液晶表示装置などのディスプレイ１０５とを有している。また、図３の例では、位置・姿勢推定システム１００は、ジャイロセンサ１０６と、加速度センサ１０７と、地磁気センサ１０８とを有している。ジャイロセンサ１０６、加速度センサ１０７、及び地磁気センサ１０８を有する装置は、「ＩＭＵ」とも称される。位置・姿勢推定装置１０１と、図３に示される他の構成とは、例えば、ネットワークで接続されている。３次元地図ＤＢ１０２は、位置・姿勢推定装置１０１の一部であってもよい。
３次元地図ＤＢ１０２は、絶対位置・姿勢の計算をするときに使用される、予め用意された３次元地図情報を含む。３次元地図ＤＢ１０２は、実施の形態１に係る位置・姿勢推定システム１００の一部である必要はなく、外部の記憶装置に格納された情報であってもよい。また、３次元地図ＤＢ１０２は、位置・姿勢推定装置１０１によって作成されてもよい。この場合、位置・姿勢推定装置１０１は、３次元地図作成装置としての機能を持つ。つまり、実施の形態１に係る３次元地図作成装置は、位置・姿勢推定装置１０１の一部である。ただし、実施の形態１に係る３次元地図作成装置は、位置・姿勢推定装置１０１と別個の装置であってもよい。
距離センサ１０３は、赤外線又はレーザなどを用いて距離を計測する機器である。カメラ１０４は、カメラ画像を取得する機器である。位置・姿勢推定システム１００は、カメラ１０４及び距離センサ１０３のうちの一方のみを有してもよい。
ディスプレイ１０５は、ＡＲコンテンツをカメラ画像に重畳表示する場合に必要な表示機器である。位置・姿勢推定システム１００は、ディスプレイ１０５を備えないことも可能である。
ジャイロセンサ１０６、加速度センサ１０７、及び地磁気センサ１０８は、自律航法により相対位置・姿勢の計算をするための機器であるＩＭＵを構成する。ただし、自律航法により相対位置・姿勢の計算を計算しない場合には、ＩＭＵを備えないことも可能である。また、ジャイロセンサ１０６、加速度センサ１０７、及び地磁気センサ１０８のうちの１つのみ又は２つのみを備えてもよい。なお、位置・姿勢推定装置１０１に接続される機器は、図３に示されるものの一部であってもよく、又は、図３に示されていない他の機器を備えてもよい。
図４は、位置・姿勢推定装置１０１のハードウェア構成の例を示す図である。位置・姿勢推定装置１０１は、情報処理部としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１１と、記憶装置であるメモリ１０１２と、インタフェース１０１３とを有する。３次元地図ＤＢ１０２、距離センサ１０３、カメラ１０４、ディスプレイ１０５、ジャイロセンサ１０６、加速度センサ１０７、及び地磁気センサ１０８は、インタフェース１０１３及びデータバスを介してＣＰＵ１０１１に接続される。
位置・姿勢推定装置１０１の各機能は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリ１０１２に格納されるソフトウェアであるプログラム（例えば、位置・姿勢推定プログラム）を実行するＣＰＵ１０１１であってもよい。ＣＰＵ１０１１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のいずれであってもよい。
処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらのうちのいずれかを組み合わせたものである。
処理回路がＣＰＵ１０１１の場合、位置・姿勢推定装置１０１の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ１０１２に格納される。処理回路は、メモリ１０１２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、位置・姿勢推定装置１０１は、処理回路により処理が実行されるときに、実施の形態１に係る位置・姿勢推定方法を実行するものである。
ここで、メモリ１０１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの、不揮発性又は揮発性の半導体メモリ、或いは、磁気ディスク、光ディスク、コンパクトディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのうちのいずれかである。
なお、位置・姿勢推定装置１０１の一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、各機能を実現することができる。
《１－１－２》３次元地図作成装置
図５は、実施の形態１に係る３次元地図作成装置の構成を概略的に示す機能ブロック図である。図５に示される３次元地図作成装置は、実施の形態１に係る３次元地図作成方法を実行することができる装置である。なお、以下の説明では、３次元地図作成装置が、位置・姿勢推定装置１０１の一部（すなわち、地図作成登録部）である例を説明する。ただし、３次元地図作成装置は、位置・姿勢推定装置１０１とは別個の装置であってもよい。この場合、３次元地図作成装置のハードウェア構成は、図４に示されるものと同様である。
図５に示されるように、実施の形態１に係る３次元地図作成装置は、キーフレーム検出部１０と、キーフレーム位置・姿勢計算部１１と、位置・姿勢分散計算部１２と、対応関係登録部１３と、データベース保存部（ＤＢ保存部）１４とを有している。これらの構成は、カメラ１０４（図３）によって撮影されたカメラ画像と、距離センサ１０３（図３）によって取得された距離情報と、ＩＭＵ（図３）によって取得されたセンサ値とを用いて３次元地図を構築する。実施の形態１で最低限必要なデータは、カメラ画像である。距離情報又はＩＭＵを備えない場合であっても、３次元地図を作成することが可能である。
キーフレーム検出部１０は、カメラ１０４の位置が予め定められた平行移動量の閾値以上動いた場合又はカメラ１０４の姿勢が予め定められた回転量の閾値以上動いた（すなわち、回転した）場合に取得した画像（例えば、カラー画像）及び検出された距離情報を、キーフレームとして検出する処理を実行する。
キーフレーム位置・姿勢計算部１１は、ＳＬＡＭなどのような画像を用いた相対位置・姿勢の計算方法により、キーフレーム検出部１０によって検出されたキーフレームを撮影したカメラ１０４又は距離センサ１０３の位置・姿勢を計算する処理を実行する。キーフレーム検出部１０及びキーフレーム位置・姿勢計算部１１は、従来のＳＬＡＭ技術の場合の処理（例えば、非特許文献３に記載の処理）と同様の処理を実行する。
Ｒａｕｌ Ｍｕｒ－Ａｒｔａｌ、外１名著、 "ＯＲＢ－ＳＬＡＭ２：Ａｎ Ｏｐｅｎ－Ｓｏｕｒｃｅ ＳＬＡＭ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｎｏｃｕｌａｒ， Ｓｔｅｒｅｏ， ａｎｄ ＲＧＢ－Ｄ Ｃａｍｅｒａｓ"、 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｒｏｂｏｔｉｃｓ、 Ｖｏｌ．３３、Ｎｏ．５、 ２０１７年１０月．
位置・姿勢分散計算部１２は、キーフレーム検出部１０によって検出されたキーフレームの各々について位置・姿勢の分散を求める処理を実行する。位置・姿勢の分散の計算方法としては、例えば、以下に示される第１の計算方法と第２の計算方法とがある。
第１の計算方法は、画像にノイズ（すなわち、ランダムパターン）を付加する方法である。図６は、キーフレームの画像にランダムパターンを付加する方法の一例を示す図である。第１の計算方法では、キーフレームの画像にランダムパターンを加えて位置・姿勢を計算する処理を複数回実行し、得られた位置・姿勢の複数の計算結果に基づいて位置・姿勢の分散を求める。
第２の計算方法は、乱数を用いる方法である。第２の計算方法では、例えば、絶対位置・姿勢の計算の処理では、外れ値を除外する目的でＲａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）が使用される。ＲＡＮＳＡＣの主目的は、観測されたデータのうちの、絶対位置・姿勢の計算に用いられるデータから外れた外れ値のデータを除外することである。しかし、ＲＡＮＳＡＣでは、ランダムに計算対象のサンプルが選択され、計算結果は、毎回、異なる値になるので、ＲＡＮＳＡＣを位置・姿勢の分散の計算に用いることができる。
Figure 0007258250000001
 は、それぞれ位置の分散（σｔｋ ２）及び姿勢の分散（σＲｋ ２）を示し、それぞれ式（１）及び式（２）で計算される。式（１）及び式（２）において、Ｎは、正の整数であり、分散を求めるときに使用される試行回数を示す。また、ｋは、正の整数を示す。
Figure 0007258250000002
 は、それぞれｎ回目の試行で求めた絶対的な位置（ｔｎ）及び絶対的な姿勢（Ｒｎ）を示す。なお、ｎは、１以上、Ｎ以下の整数である。
Figure 0007258250000003
 は、それぞれ位置の平均（μｔ）及び姿勢の平均（μＲ）を示し、それぞれ式（３）及び式（４）で計算される。
Figure 0007258250000004
図７は、フロアマップに３次元地図を位置合わせして登録する処理を示す図である。図７のフロアマップは、設備の配置を示すレイアウトが描かれたフロアレイアウトである。フロアマップにおいて、設備が配置されるべき領域である設置領域が破線の矩形で示されている。対応関係登録部１３は、他の３次元地図又は全体地図との関係性を定義する処理を行う。図７に示されるように、フロアマップのレイアウト上に３次元地図（実線の矩形で示される。）を登録すると、３次元地図間の位置関係と、作成中の３次元智頭と既に構築されている３次元地図との対応関係と、が得られる。フロアマップに対して、３次元地図を位置合わせして登録することで、全体地図と３次元地図との整合性又は複数の３次元地図間の位置関係が定義される。
データベース保存部１４は、上記の方法で作成された３次元地図（すなわち、例えば、ＳＬＡＭで得られるキーフレーム毎のデータ）を３次元地図ＤＢ１０２（図３）に保存する。３次元地図ＤＢ１０２には、キーフレーム毎に得られた位置・姿勢、カメラ画像、距離情報（すなわち、距離画像）、及び局所特徴の点群が、キーフレームの個数分保存される。
《１－１－３》位置・姿勢推定装置
図８は、実施の形態１に係る位置・姿勢推定装置１０１の構成を概略的に示す機能ブロック図である。位置・姿勢推定装置１０１は、異なる視点で撮影した複数のセンサデータに基づいて、位置・姿勢を計算する処理を行う。ここで、センサデータは、カメラ画像、距離センサの検出データを含む。図８に示されるように、位置・姿勢推定装置１０１は、データベース読込部１５と、フレーム選択部１６と、相対位置・姿勢取得部１７と、絶対位置・姿勢計算部１８と、絶対位置・姿勢統合部１９とを有している。
データベース読込部１５は、ＤＢ保存部１４に記憶されているデータベースに格納されている３次元地図（つまり、予め用意された３次元地図）を読み込む処理を行う。
フレーム選択部１６は、複数の異なる視点から撮影したカメラ画像のフレームの中から位置・姿勢の計算に使用するフレームを選択する処理を行う。フレーム選択方法としては、例えば、第１の選択方法、第２の選択方法、及び第３の選択方法がある。
第１の選択方法では、相対移動量が用いられる。第１の選択方法では、相対位置・姿勢の計算により得られた相対位置の変化が予め定められた位置の変化の閾値以上になるという条件及び相対姿勢の変化が予め定められた姿勢の変化の閾値以上になるという条件に基づいて、フレーム（キーフレーム）を選択するか否かを判定する。例えば、相対位置・姿勢の計算により得られた相対位置の変化が予め定められた位置の変化の閾値以上になるという条件及び相対姿勢の変化が予め定められた姿勢の変化の閾値以上になるという条件の少なくとも一方を満たすキーフレームを選択する。
第２の選択方法では、時間的に異なるフレームが用いられる。第２の選択方法では、時間的に隣接する視点のフレーム、又は、時間的に閾値以上の時間間隔で撮影したフレーム（キーフレーム）が選択される。
第３の選択方法では、分散が用いられる。第３の選択方法では、３次元地図作成時に求められ分散を元に、使用するデータを選択する。例えば、分散が予め決められた分散の閾値よりも小さい視点のフレーム（キーフレーム）が選択される。
相対位置・姿勢取得部１７は、フレームに対応する相対位置・姿勢を取得する処理を行う。相対位置・姿勢取得部１７は、図１の相対位置・姿勢の計算のいずれかの方法で相対位置・姿勢を計算した結果を取得する。
絶対位置・姿勢計算部１８は、選択した複数のフレームを用いて絶対位置・姿勢を計算する処理を行う。このとき、例えば、Ｐｅｒｓｐｅｃｔｉｖｅ ｎ Ｐｏｉｎｔｓ（ＰｎＰ）などを用いて位置・姿勢を計算する。
絶対位置・姿勢統合部１９は、複数の位置・姿勢の計算結果を統合して、最終的な絶対位置・姿勢を計算する処理を行う。絶対位置・姿勢統合部１９が行う統合方法としては、例えば、第１の統合方法、第２の統合方法、及び第３の統合方法がある。
第１の統合方法は、「Ｗｉｎｎｅｒ ｔａｋｅｓ ａｌｌ」方式を用いる。つまり、第１の統合方法では、分散が最も小さいキーフレームで推定した位置・姿勢を最終的な結果として採用する。
第２の統合方法は、重み付け線形和を用いる。つまり、第２の統合方法では、分散を元に重み付けする。
Figure 0007258250000005
 は、それぞれ最終的に得られる位置及び姿勢を示し、それぞれ式（５）及び式（６）で計算される。
Figure 0007258250000006
 は、それぞれフレーム選択部１６で得られたフレームのうち、ｋ番目のフレームの位置（ｔ´ｋ）とｋ番目のフレームの姿勢（Ｒ´ｋ）を示す。
Figure 0007258250000007
 は、それぞれｋ番目のフレームの位置に対する重み（ｗｔｋ）及びｋ番目のフレームの姿勢に対する重み（ｗＲｋ）を示し、それぞれ式（７）及び式（８）で計算される。
ｋ番目のフレームの位置に対する重みｗｔｋ及びｋ番目のフレームの姿勢に対する重みｗＲｋは、位置・姿勢の計算に用いたキーフレームの分散である位置の分散σｔｋ ２及び姿勢の分散σＲｋ ２を用いて計算される。また、位置の分散σｔｋ ２及び姿勢の分散σＲｋ ２と等価な統計指標とみなすことができる標準偏差、すなわち、位置の標準偏差σｔｋ及び姿勢の標準偏差σＲｋを用いて重みを計算してもよい。標準偏差を用いる場合、ｋ番目のフレームの位置に対する重みｗｔｋ及びｋ番目のフレームの姿勢に対する重みｗＲｋは、それぞれ式（９）及び式（１０）で計算される。
Figure 0007258250000008
式（５）及び式（６）において、ｋ番目のフレームの位置ｔ´ｋとｋ番目のフレームの姿勢Ｒ´ｋは、絶対位置・姿勢計算部１８で計算された位置・姿勢を直接入力するわけではない。絶対位置・姿勢計算部１８で計算された位置・姿勢から、任意のフレームに移動したときの位置・姿勢が用いられる。例えば、フレーム選択部１６でＫ枚（Ｋは、正の整数）のフレームを選択し、Ｋ番目のフレームに合わせて統合する場合、ｋ番目（ｋは、正の整数）のフレームの位置ｔ´ｋとｋ番目のフレームの姿勢Ｒ´ｋは、式（１１）で示される。式（１１）において、ｋ番目のフレームの位置ｔｋとｋ番目のフレームの姿勢Ｒｋは、絶対位置・姿勢計算部１８で求めた位置・姿勢である。
Figure 0007258250000009
 は、それぞれｋ番目のフレームからＫ番目のフレームへの相対的な姿勢の移動量及び相対的な位置の移動量を示し、相対位置・姿勢取得部１７で得られた位置・姿勢から導出される。式（１１）を用いれば、Ｋ番目のフレームの絶対位置・姿勢が求められる。
Figure 0007258250000010
第３の統合方法は、非線形最適化により、絶対位置・姿勢を求める方法である。例えば、式（１２）に示されるように、再投影誤差が最小になるように、ｋ番目のフレームの位置ｔｋとｋ番目のフレームの姿勢Ｒｋを求める。
Figure 0007258250000011
 は、カメラの内部パラメータ（Ｌ）を示す。
Figure 0007258250000012
 は、それぞれマッチングした局所特徴の３次元的な位置と画像上の点を示す。
Ｎｋは、ｋ番目のフレームのマッチングした局所特徴ペアの数を示す。ｗｋは、ｋ番目のフレームに対応する重みであり、重みｗｔｋ又はｗＲｋのいずれか、又は、これらを統合した重みが用いられる。
式（１２）を最急降下法などの非線形最適化手法で解くと、絶対位置・姿勢を得ることができる。
Figure 0007258250000013
《１－２》動作
《１－２－１》３次元地図の生成
図９は、実施の形態１に係る３次元地図作成装置による３次元地図の作成のための処理の例を示すフローチャートである。図９に示されるように、キーフレーム検出部１０及びキーフレーム位置・姿勢計算部１１は、３次元地図の作成を実行する（ステップＳ１０１）。３次元地図の作成は、例えば、ＳＬＡＭを用いて、キーフレームを検出しながら実行される。
位置・姿勢分散計算部１２は、キーフレーム毎（ステップＳ１０２）に位置・姿勢の分散を計算する（ステップＳ１０３）。次に、対応関係登録部１３は、図８に示されるように、対応関係の登録を行う（ステップＳ１０４）。対応関係登録部１３は、例えば、フロアマップ上に３次元地図を登録して、全体地図又は他の３次元地図との位置関係を定義する処理を実行する。データベース保存部１４は、上記の処理で作成した地図を３次元地図ＤＢ１０２に保存する処理を行う（ステップＳ１０５）。
《１－２－２》位置・姿勢の推定
図１０は、実施の形態１に係る位置・姿勢推定装置１０１による位置・姿勢の推定のための処理の例を示すフローチャートである。データベース読込部１５は、ＤＢ保存部１４からデータとして３次元地図を読み込む（ステップＳ１１１）。フレーム選択部１６は、フレームを選択する（ステップＳ１１２）。選択されるフレームは、予め決められたルールに基づいて処理するフレームである。
相対位置・姿勢取得部１７は、選択されたフレーム毎に（ステップＳ１１３）、フレームに対応する相対位置・姿勢を取得する処理を行う（ステップＳ１１４）。絶対位置・姿勢計算部１８は、選択されたフレームのデータに基づいて、絶対位置・姿勢を計算する（ステップＳ１１５）。選択されたフレームの数が、予め定められた枚数に達すると、処理は統合処理に進む。
絶対位置・姿勢統合部１９は、分散を元に絶対位置・姿勢の結果を統合する（ステップＳ１１６）。
図１１は、実施の形態１に係る位置・姿勢推定装置による位置・姿勢の推定のための処理の他の例を示すフローチャートである。データベース読込部１５は、データベース保存部１４からデータとして３次元地図を読み込む（ステップＳ１２１）。フレーム選択部１６は、フレームを選択するか否かを判断し（ステップＳ１２２、Ｓ１２３）、フレームを選択する場合に、フレームを選択する。選択されるフレームは、予め決められたルールに基づいて処理するフレームである。
相対位置・姿勢取得部１７は、選択されたフレームに対応する相対位置・姿勢を取得する処理を行う（ステップＳ１２４）。絶対位置・姿勢計算部１８は、選択された各データに対して、絶対位置・姿勢を計算する（ステップＳ１２５）。フレーム選択部１６は、充分なフレーム検出が完了したか否かを判断し（ステップＳ１２６）、充分なフレーム検出が完了した場合には統合処理を行い、充分なフレーム検出が完了していない場合には処理をステップＳ１２２に戻す。「充分なフレーム検出が完了した」とは、例えば、予め定められた個数のフレーム検出をしたとき、予め定められた数の絶対位置・姿勢が得られたとき、などである。
充分なフレーム検出が完了した場合には、絶対位置・姿勢統合部１９は、分散を元に絶対位置・姿勢の結果を統合する（ステップＳ１１６）。
《１－３》効果
以上に説明したように、実施の形態１に係る位置・姿勢推定装置又は位置姿勢推定方法によれば、複数の画像を用いて得られた位置・姿勢のデータに基づいて位置・姿勢の推定を行うので、位置・姿勢の推定の精度を向上させることができる。
また、位置・姿勢の計算の結果の分散が大きい画像から求めた位置・姿勢を使わないで統合処理を行う、若しくは、位置・姿勢の計算の結果の分散が大きい画像から求めた位置・姿勢についての重みを小さくして統合処理を行うことで、精度の高い絶対位置・姿勢を計算することができる。
また、画像内の被写体が特徴に乏しい場合であっても、絶対座標系における、精度の高い自己の位置・姿勢の推定が実現でき、かつ演算量をリアルタイム処理が可能な範囲に抑えることができる。
《２》実施の形態２
《２－１》構成
《２－１－１》
実施の形態１では、カメラ画像を使った絶対位置・姿勢の計算方法として、直接的なマッチングを用いる第１の計算方法と、２段階のマッチングを用いる第２の計算方法とがあることを説明した。また、実施の形態１では、第２の計算方法を用いる例を説明した。実施の形態２では、カメラ画像を使った直接的なマッチング方法で求めた位置・姿勢を統合する方法と、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などレーザセンサを使った位置・姿勢統合方法を説明する。
実施の形態２に係る位置・姿勢推定装置及び位置姿勢推定システムのハードウェア構成は、実施の形態１（図４及び図５）で説明したものと同じである。したがって、実施の形態２の説明に際しては、図４及び図５も参照する。
《２－１－２》３次元地図作成装置
図１２は、実施の形態２に係る３次元地図作成装置の構成を概略的に示す機能ブロック図である。図１２に示される３次元地図作成装置は、実施の形態２に係る３次元地図作成方法を実行することができる装置である。なお、以下の説明では、３次元地図作成装置が、位置・姿勢推定装置の一部（すなわち、地図作成登録部）である場合を説明するが、３次元地図作成装置は、位置・姿勢推定装置とは別個の装置であってもよい。
図１２に示されるように、実施の形態２に係る３次元地図作成装置は、３次元地図作成部２１と、位置・姿勢分散計算部２２と、対応関係登録部２３と、データベース保存部（ＤＢ保存部）２４とを有している。
実施の形態１では、キーフレーム毎に３次元データを管理していたが、実施の形態２では、点群を３次元地図として管理する。例えば、３次元地図作成部２１は、画像を用いる場合、画像から得られる局所特徴と、その位置を３次元地図として作成する。ＬｉＤＡＲなどレーザセンサを用いる場合、観測した点群（位置のみ）を３次元地図として作成する。図１２の３次元地図作成部２１は、上述の３次元地図データを作成する処理を行う。
図１３は、実施の形態２に係る３次元地図作成装置が使用する分散の計算方法を示す図である。図１３は、ＡＧＶが適用されたロボット１３１が移動した場合に、ロボットが相対位置・姿勢の計算と絶対位置・姿勢の計算とを用いて位置・姿勢を推定する例を示す。ロボット１３１は、分散を計算するが、分散の計算方法が、実施の形態１の場合の計算方法と異なる。図１３では、楕円で囲われた領域ごと（例えば、領域＃１、＃２、＃３）の分散σ１、σ２、σ３の計算について説明する。
具体的な分散の計算では、３次元地図を作るときに観測したデータの中から、領域ごとに任意の個数ずつデータを取得（すなわち、サンプリング）する。サンプリングしたデータに対して、複数回異なる方法でノイズを加えて絶対位置・姿勢の推定を行う。求める分散は、ある特定領域ごとの位置・姿勢の分散である。ノイズを加える方法は、実施の形態１と同様に画像の場合には、ランダムパターンを付加する方法である。ＬｉＤＡＲの場合も同様に、局所的な領域にランダムパターンを付加することでノイズを付加する。ここで「ランダムパターン」とは、その領域におけるデータを取り除くためのパターンも含まれる。
対応関係登録部２３は、実施の形態１の対応関係登録部１３と同様の方法で、全体地図又は他の３次元地図との関係性を定義する。
ＤＢ保存部２４は、３次元地図と、領域ごとの分散をデータベースに保存する。
《２－１－３》位置・姿勢推定装置
図１４は、実施の形態２に係る位置・姿勢推定装置の構成を概略的に示す機能ブロック図である。図１４に示される位置・姿勢推定装置は、実施の形態２に係る位置・姿勢推定方法を実行することができる装置である。位置・姿勢推定装置は、データベース読込部２５と、フレーム選択部２６と、相対位置・姿勢取得部２７と、絶対位置・姿勢計算部２８と、絶対位置・姿勢統合部２９とを有している。
データベース読込部２５は、データベースに格納されている３次元地図データを読み込む処理を行う。
フレーム選択部２６は、実施の形態１のフレーム選択部１６と同様に、又は、予め区分けした複数の領域から重複がないようにフレームを選択する。例えば、図１３に示されるように、３つの領域＃１、＃２、＃３に区分けして分散σ１、σ２、σ３を算出し、管理している例で説明する。位置・姿勢の計算結果が領域＃１、＃２、＃３の各々に含まれるフレームの数がＭ枚の例を説明する。
相対位置・姿勢取得部２７は、実施の形態１における相対位置・姿勢取得部１７と同じ方法で相対位置・姿勢を取得する。
絶対位置・姿勢計算部２８は、画像の場合は、画像の局所特徴を直接的にマッチングして位置・姿勢の計算する方法（例えば、非特許文献４を参照）などを用いて絶対位置・姿勢を計算する。ＬｉＤＡＲを用いた距離センサのデータを使用する場合、３次元地図と距離センサで観測した形状情報とのマッチングを行うことで、位置・姿勢を計算する。
Ｔｏｒｓｔｅｎ Ｓａｔｔｌｅｒ、外２名著、 "Ｅｆｆｉｃｉｅｎｔ ＆ Ｅｆｆｅｃｔｉｖｅ Ｐｒｉｏｒｉｔｉｚｅｄ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｍａｇｅ－Ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ"、 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、 Ｖｏｌ．３９、 Ｎｏ．９， ２０１７年９月．
絶対位置・姿勢統合部２９は、実施の形態１における絶対位置・姿勢統合部１９と同様の方法で、複数の位置・姿勢を統合する。絶対位置・姿勢統合部２９は、領域毎に設定された分散を元に、最終的位置・姿勢を求める。
《２－２》動作
《２－２－１》３次元地図の作成
図１５は、実施の形態２に係る３次元地図作成装置による３次元地図の作成のための処理の例を示すフローチャートである。３次元地図作成部２１及び位置・姿勢分散計算部２２は、３次元地図を作成し、画像を用いる場合には、局所特徴とその位置を示す地図、ＬｉＤＡＲを用いる場合には、点群（位置のみ）を示す地図を作成する（ステップＳ２０１）。対応関係登録部２３は、３次元地図作成部２１に対応する処理である対応関係の登録を行う（ステップＳ２０２）。データベース保存部２４は、対応関係をデータベースに保存する処理を行う（ステップＳ２０３）。
《２－２－２》位置・姿勢の推定
図１６は、実施の形態２に係る位置・姿勢推定装置による位置・姿勢の推定のための処理の例を示すフローチャートである。データベース読込部２５は、データベースからデータを読み込む処理を行う（ステップＳ２１１）。相対位置・姿勢取得部２７は、相対位置・姿勢を取得し、絶対位置・姿勢計算部２８は、絶対位置・姿勢の計算を行う（ステップＳ２１２～Ｓ２１４）。
フレーム選択部は、フレーム選択の要否を判断して（ステップＳ２１５）、必要な場合には、充分なフレーム検出が完了しているか否かを判断する（ステップＳ２１６）。充分なフレーム検出が完了している場合には、絶対位置・姿勢統合部２９は、絶対位置・姿勢の統合を行う（ステップＳ２１７）。
《２－３》効果
以上に説明したように、実施の形態２に係る位置・姿勢推定装置又は位置姿勢推定方法によれば、画像を使用しかつ直接的なマッチング方法を用いる場合、又は、ＬｉＤＡＲで観測した形状を用いて絶対位置・姿勢を計算する例において、複数のフレームを用いているので位置・姿勢の推定の精度を向上させることができる。
《３》実施の形態３
《３－１》構成
《３－１－１》
ＡＲで用いる端末又はロボットは、相対位置・姿勢を機器内で管理している場合がある。ＡＲの場合、絶対位置・姿勢で定義されたコンテンツの位置を端末で管理している相対位置・姿勢の座標系に変換することで、コンテンツを画像上に重畳表示する。ロボットの場合も同様で、ロボットの目的地が絶対位置で定義されている場合、この位置をロボットが管理する相対位置・姿勢の座標系に変換する必要がある。
実施の形態３は、絶対位置・姿勢の座標系から相対位置・姿勢の座標系に変換する行列である外部パラメータを、複数のフレームを用いて高精度に計算する方法を述べる。ここでは、実施の形態１を基本として、複数のフレームを用いて外部パラメータを高精度に求める方法を述べる。実施の形態３の構成は、実施の形態２又は４と組み合わせてもよい。
実施の形態２に係る位置・姿勢推定装置及び位置姿勢推定システムのハードウェア構成は、実施の形態１（図４及び図５）で説明したものと同じである。したがって、実施の形態２の説明に際しては、図４及び図５も参照する。
《３－１－２》３次元地図作成装置
実施の形態２に係る３次元地図作成装置は、実施の形態１のものと同じである。
《３－１－３》位置・姿勢推定装置
図１７は、実施の形態３に係る位置・姿勢推定装置の構成を概略的に示す機能ブロック図である。図１７に示される位置・姿勢推定装置は、実施の形態３に係る位置・姿勢推定方法を実行することができる装置である。位置・姿勢推定装置は、データベース読込部３５と、フレーム選択部３６と、相対位置・姿勢取得部３７と、絶対位置・姿勢計算部３８と、外部パラメータ計算部３８ａと、絶対位置・姿勢統合部としての外部パラメータ統合部３９とを有している。
実施の形態３が実施の形態１と異なる点は、選択したフレーム毎に外部パラメータを計算する外部パラメータ計算部３８ａと、複数の外部パラメータを統合する外部パラメータ統合部３９を有する点である。これら以外の処理に関し、実施の形態３の処理は、実施の形態１の処理と同じである。
外部パラメータ計算部３８ａは、同じフレームを元に相対位置・姿勢の計算と、絶対位置・姿勢の計算が行われている想定で外部パラメータを計算する。このとき、外部パラメータは、式（１３）で計算される。
Figure 0007258250000014
 は、ｋ番目のフレームを用いて求めた絶対位置及び絶対姿勢、を示す。
Figure 0007258250000015
 は、ｋ番目のフレームの相対位置及び相対姿勢を示す。
Figure 0007258250000016
 は、ｋ番目のフレームの外部パラメータ（ｔ´ｋ及びＲ´ｋ）を示し、式（１３）で計算される。
Figure 0007258250000017
外部パラメータ統合部３９の処理は、実施の形態１の絶対位置・姿勢統合部１９（図８）と概ね同じである。したがって、外部パラメータ統合部３９は、絶対位置・姿勢統合部とも称する。実施の形態１では、複数の絶対位置・姿勢を統合しているが、実施の形態３では、外部パラメータを統合する。具体的には、式（１３）で求めたｔ´ｋ及びＲ´ｋを用いて統合する。例えば、重みづけ線形和で統合する場合、式（１３）のｔ´ｋ、Ｒ´ｋを式（５）及び式（６）に代入して統合する。
《３－２》動作
《３－２－１》３次元地図の作成
３次元地図作成の処理の流れは、実施の形態１と同じであるため割愛する。外部パラメータを統合する方法の処理の流れを述べる。
《３－２－２》位置・姿勢の推定
図１８は、実施の形態３に係る位置・姿勢推定装置による位置・姿勢の推定のための処理の例を示すフローチャートである。データベース読込部３５は、データベースからデータを読み込む処理を行う（ステップＳ３０１）。相対位置・姿勢取得部３７は、装置位置・姿勢を取得する（ステップＳ３０２、Ｓ３０３）。絶対位置・姿勢計算部３８は、絶対位置・姿勢の計算を行う（ステップＳ３０４）。外部パラメータ計算部３８ａは、外部パラメータを計算する（ステップＳ３０５）。
フレーム選択部３６は、フレーム選択の要否を判断して（ステップＳ３０６）、必要な場合には、充分なフレーム検出が完了しているか否かを判断する（ステップＳ３０７）。充分なフレーム検出が完了している場合には、外部パラメータ統合部３９は、絶対位置・姿勢の統合を行う（ステップＳ３０８）。
《３－３》効果
以上に説明したように、実施の形態３に係る位置・姿勢推定装置又は位置姿勢推定方法によれば、絶対位置・姿勢の座標系から相対位置・姿勢の座標系への変換行列を高精度に求めることができるので、ＡＲに適用した端末にコンテンツを高精度に表示することができる。また、ロボットに適用した場合、ロボットの目的地を高精度に求めることができる。
《４》実施の形態４
《４－１》構成
《４－１－１》
実施の形態４では、実施の形態１における位置・姿勢推定方法に、複数のフレームを用いたエラー処理を加えた形態を述べる。画像を用いた絶対位置・姿勢の計算では、被写体に特徴的な模様が少ない場合、出力される位置・姿勢の値に大きな誤差が含まれる可能性がある。このような結果を除外するために、実施の形態４に係る位置・姿勢推定装置は、エラー処理を実行する。
実施の形態４に係る位置・姿勢推定装置及び位置姿勢推定システムのハードウェア構成は、基本的には、実施の形態１（図４及び図５）で説明したものと同じである。したがって、実施の形態４の説明に際しては、図４及び図５も参照する。
《４－１－２》３次元地図作成装置
実施の形態４に係る３次元地図作成装置の構成は、実施の形態１のものと同じである。
《４－１－３》位置・姿勢推定装置
図１９は、実施の形態４に係る位置・姿勢推定装置の構成を概略的に示す機能ブロック図である。図１９に示される位置・姿勢推定装置は、実施の形態４に係る位置・姿勢推定方法を実行することができる装置である。実施の形態４に係る位置・姿勢推定装置は、エラー処理部４８ａが追加された点で、実施の形態１のものと異なる。
図１９に示されるように、実施の形態４に係る位置・姿勢推定装置は、データベース読込部４５と、フレーム選択部４６と、相対位置・姿勢取得部４７と、絶対位置・姿勢計算部４８と、エラー処理部４８ａと、絶対位置・姿勢統合部４９とを有している。データベース読込部４５、フレーム選択部４６、相対位置・姿勢取得部４７、絶対位置・姿勢計算部４８、及び絶対位置・姿勢統合部４９は、図８に示されるデータベース読込部１５、フレーム選択部１６、相対位置・姿勢取得部１７、絶対位置・姿勢計算部１８、及び絶対位置・姿勢統合部１９と同様である。
エラー処理部４８ａは、エラー処理を行う。エラー処理では、複数のフレームで求めた絶対位置・姿勢の複数の計算結果を比較することで、誤差が予め決めされた閾値より大きい絶対位置・姿勢の計算結果を、統合処理から除外する。エラー処理の一例を式（１４）及び式（１５）に示す。ｊ番目（ｊはＫ以下の正の整数である。）のフレームは、フレーム選択部４６で選択されたＫ枚のフレームの中でｊ≠ｋを満たすフレームである。複数のフレームで求めた絶対位置・姿勢の複数の計算結果は、同じ位置・姿勢を指し示すはずである。したがって、エラー処理部４８ａは、あるフレームで求めた絶対位置・姿勢の計算結果を他のフレームで求めた絶対位置・姿勢の計算結果と比較する。エラー処理部４８ａは、計算した位置の差が予め決められた閾値ｔｈ＿ｔより大きい場合（すなわち、式（１４）を満たす場合）、又は計算した姿勢の差が予め決められた閾値ｔｈ＿ｒより大きい場合（すなわち、式（１５）を満たす場合）には、そのフレームの計算結果を除外する。
Figure 0007258250000018
《４－２》動作
《４－２－１》３次元地図の作成
実施の形態４に係る３次元地図作成装置の動作は、実施の形態１のものと同じである。
《４－２－２》位置・姿勢の推定
図２０は、実施の形態４に係る位置・姿勢推定装置による位置・姿勢の推定のための処理の他の例を示すフローチャートである。図２０に示される位置・姿勢推定装置の動作は、エラー処理（ステップＳ４０６ａ）が追加されている点で、図１１に示される実施の形態１に係る位置・姿勢推定装置の動作と相違する。図２０に示されるステップＳ４０１～Ｓ４０６の処理、及びステップＳ４０７の処理は、図１１に示される、ステップＳ１０１～Ｓ１０７の処理と同様である。
《４－３》効果
以上に説明したように、実施の形態４に係る位置・姿勢推定装置又は位置姿勢推定方法によれば、エラー処理が行われるので、実施の形態１の場合よりも耐環境性の高い絶対位置・姿勢の推定を実現できる（すなわち、各種の環境に対して絶対位置・姿勢の高い推定精度を実現できる）。
１０ キーフレーム検出部、 １１ キーフレーム位置・姿勢計算部、 １２、２２ 位置・姿勢分散計算部、 １３、２３ 対応関係登録部、 １４、２４ ＤＢ保存部、 １５、２５、３５、４５ データベース読込部、 １６、２６、３６、４６ フレーム選択部、 １７、２７、３７、４７ 相対位置・姿勢取得部、 １８、２８、３８、４８ 絶対位置・姿勢計算部、 １９、２９、４９ 絶対位置・姿勢統合部、 ２１ ３次元地図作成部、 ３８ａ 外部パラメータ計算部、 ３９ 外部パラメータ統合部（絶対位置・姿勢統合部）、 ４８ａ エラー処理部、 １００ 位置・姿勢推定システム、 １０１ 位置・姿勢推定装置、 １０２ ３次元地図ＤＢ、 １０３ 距離センサ、 １０４ カメラ、 １０５ ディスプレイ、 １０６ ジャイロセンサ、 １０７ 加速度センサ、 １０８ 地磁気センサ。

Claims (13)

  1. データベースから３次元地図のデータを読み込むデータベース読込部と、
    複数の異なる視点から撮影した画像のフレームの中から位置・姿勢の計算に使用するフレームを選択する処理を行うフレーム選択部と、
    前記フレーム選択部によって選択された複数のフレームについての複数の相対位置・姿勢を取得する処理を行う相対位置・姿勢取得部と、
    前記フレーム選択部によって選択された複数のフレームについての複数の絶対位置・姿勢を取得する処理を行う絶対位置・姿勢計算部と、
    前記相対位置・姿勢取得部によって取得された相対位置・姿勢と、前記絶対位置・姿勢計算部によって取得された絶対位置・姿勢と、を統合して、最終的な絶対位置・姿勢を取得する絶対位置・姿勢統合部と、
    を有する位置・姿勢推定装置。
  2. 地図作成登録部をさらに有し、
    前記地図作成登録部は、
    カメラで撮影されたカメラ画像からキーフレームを検出するキーフレーム検出部と、
    前記キーフレームを撮影した前記カメラの位置及び姿勢を計算するキーフレーム位置・姿勢計算部と、
    前記キーフレーム毎に位置・姿勢の分散を計算する処理を実行する位置・姿勢分散計算部と、
    フロアマップに３次元地図を位置合わせして登録データを作成する処理を行う対応関係登録部と、
    前記データベースに前記登録データを保存する処理を行うデータベース保存と、を有する
    請求項１に記載の位置・姿勢推定装置。
  3. 前記絶対位置・姿勢統合部は、前記キーフレーム毎に計算された前記位置・姿勢の分散に基づいて、前記複数の絶対位置・姿勢を統合する
    請求項２に記載の位置・姿勢推定装置。
  4. 前記絶対位置・姿勢統合部は、前記キーフレームのうちの、前記分散が最も小さいキーフレームで推定した位置・姿勢を前記最終的な絶対位置・姿勢として採用する
    請求項３に記載の位置・姿勢推定装置。
  5. 前記絶対位置・姿勢統合部は、前記キーフレーム毎に、前記分散に基づく重みを計算し、前記重みを用いる重み付け線形和に基づいて、前記複数の絶対位置・姿勢を統合する
    請求項３に記載の位置・姿勢推定装置。
  6. 前記絶対位置・姿勢統合部は、非線形最適化を用いて前記複数の絶対位置・姿勢を統合する
    請求項２に記載の位置・姿勢推定装置。
  7. 地図作成登録部をさらに有し、
    前記地図作成登録部は、
    カメラで撮影されたカメラ画像又は距離センサで測定された距離情報から局所的な領域毎に３次元地図を作成する３次元地図作成部と、
    前記カメラ画像又は前記距離情報から前記領域毎に位置・姿勢の分散を計算する処理を実行する位置・姿勢分散計算部と、
    フロアマップに３次元地図を位置合わせして登録データを作成する処理を行う対応関係登録部と、
    前記データベースに前記登録データを保存する処理を行うデータベース保存と、を有する
    請求項１に記載の位置・姿勢推定装置。
  8. 前記絶対位置・姿勢統合部は、前記領域毎の位置・姿勢の分散に基づいて、前記複数の絶対位置・姿勢を統合する
    請求項７に記載の位置・姿勢推定装置。
  9. 前記キーフレーム毎に外部パラメータを計算する外部パラメータ計算部をさらに有し、
    前記絶対位置・姿勢統合部は、前記外部パラメータ計算部で計算された複数の外部パラメータを統合することで前記複数の絶対位置・姿勢を統合する
    請求項２に記載の位置・姿勢推定装置。
  10. 前記絶対位置・姿勢統合部は、前記キーフレーム毎に計算された前記位置・姿勢の分散に基づいて、前記複数の外部パラメータを統合する
    請求項９に記載の位置・姿勢推定装置。
  11. 前記キーフレーム毎に計算された絶対位置・姿勢の誤差が予め決めされた閾値より大きい場合、前記閾値より大きい誤差の前記絶対位置・姿勢の計算結果を統合処理に使用させないエラー処理部をさらに有する
    請求項２、３、４、５、８、９、１０のいずれか１項に記載の位置・姿勢推定装置。
  12. 位置・姿勢推定装置が実行する位置・姿勢推定方法であって、
    位置データベースから３次元地図のデータを読み込むステップと、
    複数の異なる視点から撮影した画像のフレームの中から位置・姿勢の計算に使用するフレームを選択する処理を行うステップと、
    選択された複数のフレームについての複数の相対位置・姿勢を取得する処理を行うステップと、
    前記選択された複数のフレームについての複数の絶対位置・姿勢を取得する処理を行うステップと、
    取得された前記相対位置・姿勢と、取得された前記絶対位置・姿勢と、を統合して、最終的な絶対位置・姿勢を取得するステップと、
    を有する位置・姿勢推定方法。
  13. 位置データベースから３次元地図のデータを読み込むステップと、
    複数の異なる視点から撮影した画像のフレームの中から位置・姿勢の計算に使用するフレームを選択する処理を行うステップと、
    選択された複数のフレームについての複数の相対位置・姿勢を取得する処理を行うステップと、
    前記選択された複数のフレームについての複数の絶対位置・姿勢を取得する処理を行うステップと、
    取得された前記相対位置・姿勢と、取得された前記絶対位置・姿勢と、を統合して、最終的な絶対位置・姿勢を取得するステップと、
    をコンピュータに実行させるプログラム。
JP2022569662A 2020-12-18 2020-12-18 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム Active JP7258250B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/047417 WO2022130618A1 (ja) 2020-12-18 2020-12-18 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2022130618A1 JPWO2022130618A1 (ja) 2022-06-23
JP7258250B2 true JP7258250B2 (ja) 2023-04-14

Family

ID=82059339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022569662A Active JP7258250B2 (ja) 2020-12-18 2020-12-18 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム

Country Status (7)

Country Link
US (1) US20230260149A1 (ja)
JP (1) JP7258250B2 (ja)
KR (1) KR20230087613A (ja)
CN (1) CN116635891A (ja)
DE (1) DE112020007700T5 (ja)
TW (1) TWI817124B (ja)
WO (1) WO2022130618A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018142580A1 (ja) 2017-02-03 2018-08-09 三菱電機株式会社 表示制御装置および表示制御方法
JP2018147095A (ja) 2017-03-02 2018-09-20 富士通株式会社 カメラ位置姿勢推定装置、方法およびプログラム
WO2019098002A1 (ja) 2017-11-20 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体
WO2020137312A1 (ja) 2018-12-28 2020-07-02 パナソニックＩｐマネジメント株式会社 測位装置及び移動体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2803060A1 (en) * 2012-01-13 2014-11-19 Pulse Function F6 Limited Telematics system with 3d inertial sensors
JP7077691B2 (ja) 2018-03-16 2022-05-31 トヨタ自動車株式会社 自己位置検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018142580A1 (ja) 2017-02-03 2018-08-09 三菱電機株式会社 表示制御装置および表示制御方法
JP2018147095A (ja) 2017-03-02 2018-09-20 富士通株式会社 カメラ位置姿勢推定装置、方法およびプログラム
WO2019098002A1 (ja) 2017-11-20 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体
WO2020137312A1 (ja) 2018-12-28 2020-07-02 パナソニックＩｐマネジメント株式会社 測位装置及び移動体

Also Published As

Publication number Publication date
WO2022130618A1 (ja) 2022-06-23
CN116635891A (zh) 2023-08-22
JPWO2022130618A1 (ja) 2022-06-23
DE112020007700T5 (de) 2023-08-03
TW202226003A (zh) 2022-07-01
KR20230087613A (ko) 2023-06-16
US20230260149A1 (en) 2023-08-17
TWI817124B (zh) 2023-10-01

Similar Documents

Publication Publication Date Title
CN107862719B (zh) 相机外参的标定方法、装置、计算机设备和存储介质
US11830216B2 (en) Information processing apparatus, information processing method, and storage medium
JP6415066B2 (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
CN112567201A (zh) 距离测量方法以及设备
WO2018177159A1 (zh) 运动物体的位置确定方法及系统
US10895458B2 (en) Method, apparatus, and system for determining a movement of a mobile platform
WO2017077925A1 (en) Method and system for estimating three-dimensional pose of sensor
EP3236424B1 (en) Information processing apparatus and method of controlling the same
CN110211151B (zh) 一种运动物体的追踪方法和装置
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
JP7173471B2 (ja) ３次元位置推定装置及びプログラム
JP6817742B2 (ja) 情報処理装置およびその制御方法
JP2019211981A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP7258250B2 (ja) 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム
CN114842224A (zh) 一种基于地理底图的单目无人机绝对视觉匹配定位方案
GB2605621A (en) Monocular depth estimation
Cheng et al. Positioning method research for unmanned aerial vehicles based on meanshift tracking algorithm
JP2005063012A (ja) 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体
EP3610358B1 (en) Depth information based pose determination for mobile platforms, and associated systems and methods
Barron et al. Motion and structure from time-varying optical flow
CN114719759B (zh) 一种基于slam算法和图像实例分割技术的物体表面周长和面积测量方法
WO2022198603A1 (en) Real-time simultaneous localization and mapping using an event camera
CN114137247B (zh) 基于事件相机的速度感知方法、装置、设备和介质
CN114983302B (zh) 姿态的确定方法、装置、清洁设备、存储介质及电子装置
CN115683109B (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221115

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230404

R150 Certificate of patent or registration of utility model

Ref document number: 7258250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150