JP7286388B2 - 位置推定システム、位置推定装置、位置推定方法、及びプログラム - Google Patents
位置推定システム、位置推定装置、位置推定方法、及びプログラム Download PDFInfo
- Publication number
- JP7286388B2 JP7286388B2 JP2019075141A JP2019075141A JP7286388B2 JP 7286388 B2 JP7286388 B2 JP 7286388B2 JP 2019075141 A JP2019075141 A JP 2019075141A JP 2019075141 A JP2019075141 A JP 2019075141A JP 7286388 B2 JP7286388 B2 JP 7286388B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- position estimation
- feature amount
- imaging device
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
図1は、本実施形態の位置推定システム1の構成例を示している。同図の位置推定システム1は、撮像装置100、位置推定装置200、及び情報出力装置300を備える。
本実施形態の位置推定システムは、例えば車両やロボット等の移動体に備えられる。また、例えば移動体には撮像装置100と情報出力装置300が備えられ、位置推定装置200としての機能がクラウドサーバ等に備えられた構成であってもよい。この場合には、移動体の撮像装置100と情報出力装置300とを、無線経由でクラウドサーバと通信可能に接続して構成される。また、情報出力装置300を、移動体とは別の場所に備えるようにしてもよい。
位置推定装置200は、機能部として、入出力インターフェース部201、情報処理部202、及び記憶部203を備える。
また、情報処理部202が出力した画像、音声等の情報は、入出力インターフェース部201から情報出力装置300に出力される。
位置推定部221は、撮像装置100に対応する位置を推定する。つまり、位置推定部221は、撮像装置100が備えられる移動体の位置を推定する。
また、第2特徴量地図記憶部232は、第2実施形態に対応する記憶部であることから、ここでの説明は省略する。
同図においては、現実空間RWSが示されている。同図では、街区環境を現実空間RWSとした例が示されている。このような街区環境としての現実空間RWSにおいては、建造物BL、看板、標識等のランドマークLM、街路樹や植栽された草木などとしての植栽物PL等が存在する。
位置推定部221は、撮像画像PIについて画像認識処理を行うことで撮像画像PIにおける建造物BLを認識し、認識した建造物BLを対象にエッジ検出を行うことで、撮像画像PIにおける建造物BLのエッジが示される特徴量画像を生成することができる。位置推定部221は、このように生成される特徴量画像を参照画像(基準画像)PRFとして扱う。
同図には、第1特徴量地図が反映された特徴量空間VRSが示されている。特徴量空間VRSにおいては、第1特徴量地図において示される建造物BLのエッジにより形成される特徴量群GFTが存在する。
位置推定部221は、同図の特徴量空間VRSにおいて、座標(x,y)と角度(θ)との組み合わせごとに対応して投影中心C2を設定し、特徴量空間VRSにおいて、設定された投影中心C2ごとの投影面に対応する投影画像PPRを生成する。このような投影画像PPRには、投影中心C2の座標(x,y)と角度(θ)に応じて投影面内に収まる建造物BLのエッジが含まれることになる。なお、投影中心C2の座標はx軸座標、y軸座標、及びz軸座標による三次元座標として表されてもよい。
位置推定部221は、このように生成された複数の投影画像PPRを、参照画像PRFと比較する比較対象画像PCMとして扱う。
このため、例えば位置推定部221は、参照画像PRFと比較対象画像PCMの相関についての分布を求めるようにされてよい。具体的例として、位置推定部221は、参照画像PRFと比較対象画像PCMのそれぞれとを比較することにより、比較対象画像PCMごとに参照画像PRFとの類似度を求める。位置推定部221は、比較対象画像PCMごとの投影中心C2(x,y,θ)に対する類似度のヒストグラム(確率分布)を生成する。位置推定部221は、生成された確率分布に基づいて、参照画像PRFに最も近似する比較対象画像PCMが対応する投影中心C2(x,y,θ)を選択する。
選択された投影中心C2は、特徴量空間VRS内の座標と方向を示す。特徴量空間VRS内の座標と方向は、現実空間RWSにおける座標と方向とに対応付けられている。そこで、位置推定部221は、選択された投影中心C2(x,y,θ)を、現実空間RWSにおける位置に変換する。このようにして求められた位置は、現実空間RWSにおける撮像装置100の投影中心C2の位置である。投影中心C2は、撮像装置100が搭載された移動体に対応する位置となる。このようにして本実施形態の位置推定システムは、移動体の自己位置を推定することができる。
そのうえで、本実施形態の位置推定システム1では、特徴量地図を予め記憶しておき、撮像画像から生成した特徴量画像としての参照画像PRFと、特徴量地図から生成した投影画像による比較対象画像PCMとを比較するようにされている。即ち、本実施形態の位置推定システム1は、Visual SLAMのように三次元点群を用いない。単眼の撮像装置により撮像された画像から生成される三次元点群については精度が十分でないことから、位置推定の精度が低下する。これに対して、本実施形態の位置推定システム1は、特徴量地図を利用することで、三次元点群の利用を不要としている。これにより、本実施形態の位置推定システム1は、撮像装置100として単眼によるものを用いながらも、良好な精度で移動体の自己位置の推定を行うことが可能になる。
また、SLAM等の技術では、予め用意した三次元点群地図を用いるのであるが、三次元点群地図の作成、管理には相当のコストや手間を要する。本実施形態の位置推定システム1において予め用意される特徴量地図は、例えば建造物BLのエッジとしての特徴量を示すものであることから、三次元点群地図と比較して作成は容易であり、管理も簡易でよい。
ステップS101:位置推定装置200において、位置推定部221は、撮像装置100により撮像して得られた撮像画像PIを取得する。
ステップS102:位置推定部221は、ステップS101により取得した撮像画像PIから建造物BLのエッジを抽出して、参照画像PRFを生成する。
ステップS103:位置推定部221は、第1特徴量地図を利用して、所定の座標と角度による投影中心C2ごとに対応する投影画像PPRを生成し、生成された投影画像PPRを、比較対象画像PCMとする。
ステップS104:位置推定部221は、ステップS102により参照画像PRFと、ステップS103により生成された比較対象画像PCMとを比較する。
ステップS105:位置推定部221は、ステップS104による比較の結果に基づいて、現実空間RWSにおける投影中心C1を求め、求められた投影中心C1に応じた移動体の自己位置を決定する。
続いて、第2実施形態について説明する。先の第1実施形態においては、第1特徴量地図として、現実空間RWSにいて存在する建造物BLのエッジによる地図を用いた。本実施形態においては、第1特徴量地図に代えて、第2特徴量地図を用いる。
第2特徴量地図は、現実空間RWSにおいて存在するランドマークLMと植栽物PLの色を特徴量として表した特徴量空間(色空間)の情報である。
本実施形態の位置推定装置200の構成としては、記憶部203において第2特徴量地図記憶部232が備えられる。本実施形態においては、第1特徴量地図記憶部231は省略されてよい。
同図においては、図2と同じ現実空間RWSが示されている。同図では、街区環境を現実空間RWSとした例が示されている。同図の現実空間RWSにおいても、移動体に備えられる撮像装置100が、或る空間内の位置(座標)にて或る撮像方向により撮像を行うことで、投影中心C1を原点とする投影面に対応する撮像画像PIが得られている。
同図には、第2特徴量地図が反映された特徴量空間VRSが示されている。特徴量空間VRSにおいては、第2特徴量地図において示されるランドマークLMと植栽物PLの色情報により形成される特徴量群GFTが存在する。
位置推定部221は、同図の特徴量空間VRSにおいて、座標(x,y)と角度(θ)との組み合わせごとに対応して投影中心C2を設定し、特徴量空間VRSにおいて、設定された投影中心C2ごとの投影面に対応する投影画像PPRを生成する。このような投影画像PPRには、投影中心C2の座標(x,y)と角度(θ)に応じて投影面内に収まるランドマークLMと植栽物PLの色情報が含まれることになる。
位置推定部221は、このように生成された複数の投影画像PPRを、参照画像PRFと比較する比較対象画像PCMとして扱う。
本実施形態においても、位置推定部221は、第1実施形態と同様に参照画像PRFと比較対象画像PCMの相関についての分布を求めることで、移動体の自己位置を推定することができる。
続いて、第3実施形態について説明する。本実施形態においては、位置推定にあたり第1特徴量地図と第2特徴量地図とを併用する。
本実施形態の位置推定装置200の構成としては、記憶部203において第1特徴量地図記憶部231と第2特徴量地図記憶部232とが備えられる。
例えば、似たような形状の建造物BLが密集しているような場所では、第1特徴量地図を利用した位置推定精度が低下する場合がある。同様に、似たような植栽物PLが密集している場合には、第2特徴量地図を利用した位置推定精度が低下する場合がある。そこで、上記のような位置推定の手法とすることで、位置推定の精度の低下を抑止できる。
続いて、第4実施形態について説明する。本実施形態においても、第3実施形態と同様に、位置推定にあたり第1特徴量地図と第2特徴量地図とを併用する。
そのうえで、本実施形態においては、第1特徴量地図と第2特徴量地図とで、現実空間RWSにおいてそれぞれ異なる空間範囲を対応させたものを用意する。
そのうえで、位置推定部221は、第1特徴量地図から生成した比較対象画像PCMについては、建造物BLのエッジを特徴量とする参照画像PRFと比較する。また、位置推定部221は、第2特徴量地図から生成した比較対象画像PCMについては、ランドマークLMや植栽物PLの色情報を特徴量とする参照画像PRFと比較する。
この場合、位置推定部221は、第1特徴量地図に対応する比較結果により得られた分布確率と、第2特徴量地図に対応する比較結果により得られた分布確率とを統合した分布確率に基づいて、移動体の位置を決定してよい。
Claims (7)
- 単眼による撮像装置と、
現実空間を所定の特徴種別による特徴量で表した特徴量空間を示す特徴量地図を記憶する記憶部と、
前記撮像装置により撮像して得られた撮像画像の特徴量を示す参照画像と、前記特徴量地図の特徴量空間における座標と角度とにより設定した投影中心ごとに応じて生成される投影画像とを比較した結果に基づいて、前記撮像装置に対応する位置を推定する位置推定部とを備え、
前記記憶部は、それぞれ異なる現実空間の範囲をそれぞれ異なる所定の特徴種別による特徴量で表した特徴量空間を示す複数の特徴量地図を記憶し、
前記位置推定部は、前記複数の特徴量地図ごとに応じて生成される投影画像と、比較対象の投影画像と同じ特徴種別の特徴量による参照画像とをそれぞれ比較した結果に基づいて、前記撮像装置に対応する位置を推定する
位置推定システム。 - 前記特徴種別の1つは、画像から抽出した特定の物体についてのエッジの情報である
請求項1に記載の位置推定システム。 - 前記特徴種別の1つは、画像から抽出した特定の物体についての色の情報である
請求項1または2に記載の位置推定システム。 - 前記記憶部は、同じ現実空間をそれぞれ異なる所定の特徴種別による特徴量で表した複数の特徴量地図を記憶し、
前記位置推定部は、前記複数の特徴量地図ごとに応じて生成される投影画像と、比較対象の投影画像と同じ特徴種別の特徴量による参照画像とをそれぞれ比較した結果に基づいて、前記撮像装置に対応する位置を推定する
請求項1から3のいずれか一項に記載の位置推定システム。 - 単眼による撮像装置により撮像して得られた撮像画像の特徴量を示す参照画像と、現実空間を所定の特徴種別による特徴量で表した特徴量地図が示す特徴量空間において座標と角度とにより設定した投影中心ごとに応じて生成される投影画像とを比較した結果に基づいて、前記撮像装置に対応する位置を推定する位置推定部であって、
それぞれ異なる現実空間の範囲をそれぞれ異なる所定の特徴種別による特徴量で表した特徴量空間を示す複数の特徴量地図ごとに応じて生成される投影画像と、比較対象の投影画像と同じ特徴種別の特徴量による参照画像とをそれぞれ比較した結果に基づいて、前記撮像装置に対応する位置を推定する位置推定部
を備える位置推定装置。 - 単眼による撮像装置により撮像して得られた撮像画像の特徴量を示す参照画像と、現実空間を所定の特徴種別による特徴量で表した特徴量地図が示す特徴量空間において座標と角度とにより設定した投影中心ごとに応じて生成される投影画像とを比較した結果に基づいて、前記撮像装置に対応する位置を推定する位置推定ステップであって、
それぞれ異なる現実空間の範囲をそれぞれ異なる所定の特徴種別による特徴量で表した特徴量空間を示す複数の特徴量地図ごとに応じて生成される投影画像と、比較対象の投影画像と同じ特徴種別の特徴量による参照画像とをそれぞれ比較した結果に基づいて、前記撮像装置に対応する位置を推定する位置推定ステップ
を備える位置推定方法。 - コンピュータを、
単眼による撮像装置により撮像して得られた撮像画像の特徴量を示す参照画像と、現実空間を所定の特徴種別による特徴量で表した特徴量地図が示す特徴量空間において座標と角度とにより設定した投影中心ごとに応じて生成される投影画像とを比較した結果に基づいて、前記撮像装置に対応する位置を推定する位置推定部であって、
それぞれ異なる現実空間の範囲をそれぞれ異なる所定の特徴種別による特徴量で表した特徴量空間を示す複数の特徴量地図ごとに応じて生成される投影画像と、比較対象の投影画像と同じ特徴種別の特徴量による参照画像とをそれぞれ比較した結果に基づいて、前記撮像装置に対応する位置を推定する位置推定部
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075141A JP7286388B2 (ja) | 2019-04-10 | 2019-04-10 | 位置推定システム、位置推定装置、位置推定方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075141A JP7286388B2 (ja) | 2019-04-10 | 2019-04-10 | 位置推定システム、位置推定装置、位置推定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020173617A JP2020173617A (ja) | 2020-10-22 |
JP7286388B2 true JP7286388B2 (ja) | 2023-06-05 |
Family
ID=72831431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019075141A Active JP7286388B2 (ja) | 2019-04-10 | 2019-04-10 | 位置推定システム、位置推定装置、位置推定方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7286388B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184054A (ja) | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 同定装置、方法及びプログラム |
JP2017129567A (ja) | 2016-01-20 | 2017-07-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2019
- 2019-04-10 JP JP2019075141A patent/JP7286388B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184054A (ja) | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 同定装置、方法及びプログラム |
JP2017129567A (ja) | 2016-01-20 | 2017-07-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Non-Patent Citations (1)
Title |
---|
島岡 弘正 外,全方位カメラの色相情報を用いたLRFによるロボットの自己位置推定の拡張,映像情報メディア学会技術報告 ITE Technical Report,Vol. 35, No. 47,2011年11月18日,pp. 13-16 |
Also Published As
Publication number | Publication date |
---|---|
JP2020173617A (ja) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325796B (zh) | 用于确定视觉设备的位姿的方法和装置 | |
US11632536B2 (en) | Method and apparatus for generating three-dimensional (3D) road model | |
US11393173B2 (en) | Mobile augmented reality system | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
US9928656B2 (en) | Markerless multi-user, multi-object augmented reality on mobile devices | |
US11222471B2 (en) | Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data | |
US10846844B1 (en) | Collaborative disparity decomposition | |
US20210274358A1 (en) | Method, apparatus and computer program for performing three dimensional radio model construction | |
KR20190042187A (ko) | 깊이 값을 추정하는 방법 및 장치 | |
US20170337701A1 (en) | Method and system for 3d capture based on structure from motion with simplified pose detection | |
KR20180039013A (ko) | 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리 | |
Kuschk | Large scale urban reconstruction from remote sensing imagery | |
US20210019906A1 (en) | Method and apparatus for object detection integrating 2d image recognition and 3d scene reconstruction | |
CN114969221A (zh) | 一种更新地图的方法及相关设备 | |
KR20230049969A (ko) | 글로벌 측위 장치 및 방법 | |
JP5837404B2 (ja) | 画像処理装置、画像処理方法 | |
KR101725166B1 (ko) | 2차원 이미지들을 이용하여 3차원 이미지를 재구성하는 방법 및 이를 위한 장치 | |
JP7286388B2 (ja) | 位置推定システム、位置推定装置、位置推定方法、及びプログラム | |
CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
KR20210051002A (ko) | 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 | |
AU2022375768A1 (en) | Methods, storage media, and systems for generating a three-dimensional line segment | |
CN112215048B (zh) | 一种3d目标检测方法、装置和计算机可读存储介质 | |
JP5425045B2 (ja) | オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム | |
US20210385428A1 (en) | System and method for identifying a relative position and direction of a camera relative to an object | |
CN112070175B (zh) | 视觉里程计方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7286388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |