JP7483414B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7483414B2 JP7483414B2 JP2020038558A JP2020038558A JP7483414B2 JP 7483414 B2 JP7483414 B2 JP 7483414B2 JP 2020038558 A JP2020038558 A JP 2020038558A JP 2020038558 A JP2020038558 A JP 2020038558A JP 7483414 B2 JP7483414 B2 JP 7483414B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement information
- information
- time point
- processing device
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title claims 2
- 238000005259 measurement Methods 0.000 claims description 239
- 238000000034 method Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 20
- 238000012937 correction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Navigation (AREA)
Description
前記移動体が走行する経路において、前記センサが取得する画像と前記移動体の位置姿勢の情報とを含む計測情報を取得する取得手段と、
第1の時点で取得した前記計測情報である第1の計測情報と類似する計測情報を持つ、第1の時点より前の第2の時点で取得した前記計測情報である第2の計測情報を出力する出力手段と、
前記第1の時点における前記移動体の位置が前記第2の計測情報が示す位置と同じ位置か否かをユーザの入力によって決定する決定手段と、を有する。
ここでは、SLAMを自律的に走行可能な移動ロボットに適用した場合について説明する。一般的にSLAMでは、センサから連続的に画像や3次元点群のデータを取得し、現在のデータとその少し過去のデータとに基づいてセンサの位置姿勢を推定する。ここで、SLAMの課題として、センサの移動量に応じて、位置姿勢結果に含まれる誤差が増える現象が知られている(以降、誤差が増える現象をドリフトと呼ぶ)。この現象により、例えば、ある地点からSLAMによる位置姿勢の推定を開始し、しばらく移動しながらセンサの位置姿勢の推定を続けて、その後に最初の地点に戻ってきたとしても、ドリフトによる誤差分のズレを含む位置姿勢推定結果が出力される。
第1の実施形態の計測情報検索部530では、画像の類似度に基づいて、計測情報を検索する。この検索の処理において、さらに、計測情報に含まれる相対的な位置姿勢の情報を利用して検索の精度を高めることで、ユーザに通知する計測情報に間違った候補が含まれにくくなり、ユーザの負担を減らすことができる。以下に、その具体的な方法を説明する。なお、本実施形態において、計測情報はセンサまたは移動体の相対的な位置姿勢を示す情報である。センサまたは移動体の絶対的な位置姿勢(例えば、地図における三次元位置)についてはセンサまたは移動体の(絶対)位置と記載する。なお、移動体は移動ロボットのことである。センサの位置から移動体の位置を推定できるようにセンサと移動体との相対的な位置関係はキャリブレーション済みであるものとする。
計測情報検索部530で、ある計測情報Xについて物理的に近い(相対的な位置関係が近い)計測情報を検索する。まず、計測情報Xに含まれる移動体の相対的な位置姿勢をPとする。ここで、移動体の位置姿勢Pはドリフトによる誤差を含むため、必ずしも正確な値ではない。ただし、そのドリフトの誤差がある範囲内に収まっていると考えれば、その範囲に基づいて、検索の候補を絞ることができる。
第1の実施形態において、位置姿勢補正部570は、対応決定部560で決定した計測情報の対応に基づいてセンサの位置姿勢推定結果の一部を補正する。この補正処理はループクローズと呼ばれている。
計測情報検索部530にいて、計測情報を検索する方法は、類似する計測情報を検索できる方法であれば、どのような方法でも良い。第1の実施形態のように計測情報に含まれる画像の類似度に基づいて検索してもよいし、別途用意した3次元センサを利用して取得した距離画像や3次元点群のデータの類似度に基づいて検索してもよい。計測情報に含まれる位置姿勢の類似度に基づいて検索してもよい。例えば、センサの位置姿勢を利用する場合、位置姿勢の6自由度の成分の類似度に基づいて、視点の同一性を判断する。また、画像の類似度、位置姿勢の類似度、距離画像や3次元点群データの一致度を所定の比率で和を計算して類似度を計算しても良い。
出力部540において、表示装置に複数の計測情報を出力する場合、優先度の高い順から表示することにより、ユーザが優先度順に確認しやすくしても良い。優先度の設定方法としては、計測情報検索部530で計測情報を検索した時に利用した情報の類似度、すなわち画像や位置姿勢の類似度に応じて、類似度の高い候補ほど順序を上げて表示する。また、さらに各計測情報について、類似度の数値の情報を表示してもよい。その場合、類似度の数値は画面上の各計測情報との対応が分かるように表示する。
本実施形態において、計算した位置姿勢の情報は、移動ロボットを利用した自律移動のシステムに利用可能である。その場合、図6に示すように、制御装置700はセンサを有する移動ロボットを所定の経路を走行するように制御する。図7の情報処理システムは、情報処理装置500が出力する計測情報から推定される移動ロボットの位置姿勢を参照して、制御装置700によって移動ロボットを制御する。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供してもよい。
410 センサ
500 情報処理装置
700 制御装置
Claims (19)
- 移動体が有するセンサによって環境を計測した計測情報に基づいて該移動体の位置を推定する情報処理装置であって、
前記移動体が走行する経路において、前記センサが取得する画像と前記移動体の位置姿勢の情報とを含む計測情報を取得する取得手段と、
第1の時点で取得した前記計測情報である第1の計測情報と類似する計測情報を持つ、第1の時点より前の第2の時点で取得した前記計測情報である第2の計測情報を出力する出力手段と、
前記第1の時点における前記移動体の位置が前記第2の計測情報が示す位置と同じ位置か否かをユーザの入力によって決定する決定手段と、を有すること
を特徴とする情報処理装置。 - 前記出力手段は、前記第1の時点より前に取得された計測情報のうち、前記第1の計測情報に含まれる画像と位置姿勢の情報との類似度が所定の閾値以上である、前記第2の計測情報を出力すること
を特徴とする請求項1に記載の情報処理装置。 - 前記出力手段は、前記第2の計測情報によって推定された位置を表示装置に出力することを特徴とする請求項1または2に記載の情報処理装置。
- 前記出力手段は、前記第1の計測情報と前記第2の計測情報との類似度を前記表示装置に出力することを特徴とする請求項3に記載の情報処理装置。
- 前記出力手段は、前記第1の計測情報と前記第2の計測情報との類似度の大きさの順に前記第2の計測情報を並べて前記表示装置に出力することを特徴とする請求項4に記載の情報処理装置。
- 前記出力手段は、前記第2の計測情報を投影装置に出力することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 前記出力手段は、前記第1の計測情報と前記第2の計測情報との類似度が所定の閾値より大きい場合に、所定の音を音声出力装置に出力することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記出力手段は、前記第1の時点より前に取得された計測情報のうち、前記第1の計測情報とループクローズ処理を実施する対象となる計測情報から前記第2の計測情報を出力すること
を特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。 - 前記出力手段は、前記第1の時点から所定時間より前に計測された計測情報から前記第2の計測情報を出力することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
- 前記出力手段は、前記第1の計測情報が計測された位置から所定の範囲内にある計測情報から前記第2の計測情報を出力することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
- 前記出力手段は、前記第1の時点より前に取得された計測情報のうち、予め設定された第2の時点より前に計測された計測情報から前記第2の計測情報を出力することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
- 前記決定手段によって前記第1の時点における前記移動体の位置と前記第2の計測情報が示す位置とが同じ地点であると決定された場合、前記第1の計測情報と前記第2の計測情報とに基づいて、前記第1の時点より前に計測された計測情報から推定される前記移動体の位置の一部を更新する更新手段を更に有することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
- 前記決定手段によって前記第1の時点における前記移動体の位置と前記第2の計測情報が示す位置とが同じ地点ではないと決定された場合、前記更新手段は、前記第1の時点より前に計測された計測情報から推定される前記移動体の位置を更新しないこと
を特徴とする請求項12に記載の情報処理装置。 - 前記出力手段によって出力された前記第2の計測情報が複数ある場合、前記決定手段は、前記出力手段によって出力された複数の前記第2の計測情報のうち、前記第1の時点における前記移動体の位置と同じ位置で計測された注目計測情報をユーザの入力によって決定し、
前記決定された前記注目計測情報と前記第1の計測情報とに基づいて、前記第1の時点より前に計測された計測情報から推定される前記移動体の位置の一部を更新する更新手段を更に有することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。 - 前記移動体が走行する前記経路に対応付けた地図情報に基づいて、前記第2の時点における前記センサの位置を推定する推定手段をさらに有し、
前記出力手段は、前記推定手段によって推定された前記第2の時点における前記センサの位置を、前記地図情報の対応する位置に出力すること
を特徴とする請求項1乃至14のいずれか1項に記載の情報処理装置。 - 前記センサを有する移動体が前記経路を走行するように制御する制御手段を更に有することを特徴とする請求項1乃至15のいずれか1項に記載の情報処理装置。
- 前記制御手段は、前記出力手段によって前記第2の計測情報が少なくとも1つ出力された場合、前記移動体の移動を抑制することを特徴とする請求項16に記載の情報処理装置。
- コンピュータを、請求項1乃至17のいずれか1項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
- 移動体が有するセンサによって環境を計測した計測情報に基づいて該移動体の位置をCPUが推定する情報処理方法であって、
前記移動体が走行する経路において、前記センサが取得する画像と前記移動体の位置姿勢の情報とを含む計測情報を取得する取得工程と、
第1の時点で取得した前記計測情報である第1の計測情報と類似する計測情報を持つ、第1の時点より前の第2の時点で取得した前記計測情報である第2の計測情報を出力する出力工程と、
前記第1の時点における前記移動体の位置が前記第2の計測情報が示す位置と同じ位置か否かをユーザの入力によって決定する決定工程と、を有すること
を特徴とする情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038558A JP7483414B2 (ja) | 2020-03-06 | 2020-03-06 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038558A JP7483414B2 (ja) | 2020-03-06 | 2020-03-06 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021139785A JP2021139785A (ja) | 2021-09-16 |
JP7483414B2 true JP7483414B2 (ja) | 2024-05-15 |
Family
ID=77668395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020038558A Active JP7483414B2 (ja) | 2020-03-06 | 2020-03-06 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7483414B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018022215A (ja) | 2016-08-01 | 2018-02-08 | 村田機械株式会社 | 移動教示装置、及び、移動教示方法 |
JP2019196981A (ja) | 2018-05-10 | 2019-11-14 | 株式会社Soken | 走行支援装置 |
-
2020
- 2020-03-06 JP JP2020038558A patent/JP7483414B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018022215A (ja) | 2016-08-01 | 2018-02-08 | 村田機械株式会社 | 移動教示装置、及び、移動教示方法 |
JP2019196981A (ja) | 2018-05-10 | 2019-11-14 | 株式会社Soken | 走行支援装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021139785A (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11127203B2 (en) | Leveraging crowdsourced data for localization and mapping within an environment | |
US9846042B2 (en) | Gyroscope assisted scalable visual simultaneous localization and mapping | |
US11232583B2 (en) | Device for and method of determining a pose of a camera | |
US10509983B2 (en) | Operating device, operating system, operating method, and program therefor | |
JP2015532077A (ja) | 少なくとも1つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法 | |
KR20150144729A (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
US20170075348A1 (en) | System and method for mobile robot teleoperation | |
US11062475B2 (en) | Location estimating apparatus and method, learning apparatus and method, and computer program products | |
KR102075844B1 (ko) | 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법 | |
JP7133927B2 (ja) | 情報処理装置及びその制御方法及びプログラム | |
Tomažič et al. | Fusion of visual odometry and inertial navigation system on a smartphone | |
US10902610B2 (en) | Moving object controller, landmark, and moving object control method | |
US20200023523A1 (en) | Robot control system, robot apparatus, and non-transitory computer readable medium | |
JP5720292B2 (ja) | 推定位置評価システム及びプログラム | |
JP7483414B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2020195875A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR20220122287A (ko) | 증강 현실 제공 장치의 포즈 결정 방법 및 장치 | |
US10792817B2 (en) | System, method, and program for adjusting altitude of omnidirectional camera robot | |
KR20190068006A (ko) | 마커 인식을 통해 경로를 제공하는 방법 및 서버 | |
JP2022190173A (ja) | 位置推定装置 | |
JP2022075500A (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20210090286A1 (en) | Information processing device, method performed thereby, and non-transitory computer readable medium | |
JP2023054608A (ja) | 実スケール奥行算出装置、実スケール奥行算出方法、および実スケール奥行算出プログラム | |
US20220343536A1 (en) | Three-dimensional map estimation apparatus and obstacle detection apparatus | |
TW202123157A (zh) | 3維地圖作成裝置、3維地圖作成方法以及記錄媒體 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231117 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7483414 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |