JP7127651B2 - 情報処理装置と情報処理方法およびプログラム - Google Patents
情報処理装置と情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP7127651B2 JP7127651B2 JP2019549925A JP2019549925A JP7127651B2 JP 7127651 B2 JP7127651 B2 JP 7127651B2 JP 2019549925 A JP2019549925 A JP 2019549925A JP 2019549925 A JP2019549925 A JP 2019549925A JP 7127651 B2 JP7127651 B2 JP 7127651B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- appearance
- target object
- unit
- object model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Description
対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部
を備える情報処理装置にある。
対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成すること
を含む情報処理方法にある。
対象物体に関する情報処理をコンピュータで実行させるプログラムであって、
前記対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する手順
を前記コンピュータで実行させるプログラムにある。
1.システムの第1の構成
2.第1の構成の第1の動作
3.第1の構成の第2の動作
4.システムの第2の構成
5.第2の構成の動作
6.システムの他の動作
図1は、本技術の情報処理装置を用いたシステムの第1の構成を例示している。図1に示すシステムは、各種センサを搭載した移動体、例えば撮像部と測距部を備えるロボットである。システム10は、撮像部11、測距部12、物体検出部13、物体位置検出部14、情報記憶部15、見え情報生成部17、物体識別部18を有している。
次に、システムの第1の構成の第1の動作について説明する。なお、図2は物体モデルを例示しており、物体モデルOBmは「大きさを持った二次元の画像」と仮定している。また、撮像部11では、物体情報として対象物体の撮像画を取得している。
ステップST4で見え情報生成部は視野領域と設定した姿勢の物体モデルとの重複領域を検出する。見え情報生成部17は、撮像部11に対する物体モデルOBmの姿勢および撮像部11の視野領域に基づき、物体モデルと視野領域が重複する重複領域を検出してステップST5に進む。
次に、システムの第1の構成の第2の動作について説明する。撮像部11で取得される撮像画には、対象物体だけでなく自己の一部が写り込む場合がある。例えば、アクセサリ等を撮像部11に取り付けるための取付器具や操作性等を向上させるために撮像部11に取り付けられるリグ等の付属器具が視野領域内に含まれると、付属機器の一部が撮像画に写り込んでしまう。また、システムが可動機構を有する機器、例えばロボット等に適用された場合、可動するアーム等が撮像画に写り込んでしまう場合もある。そこで、見え情報生成部17は、撮像部11の視野領域と対象物体の位置に設けた物体モデルの重複部分に含まれており、対象物体よりも手前に位置する非対象物体である自己形状部分(付属機器やアーム等の部分)が除外された見え情報を生成する。
次に、システムの第2の構成について説明する。第2の構成では、物体情報を取得するセンサ部として測距部を用いて、対象物体上の各位置までの距離を示す点群測距データを、対象物体を表す物体情報として取得する場合について説明する。
次に、システムの第2の構成の動作について説明する。見え情報生成部27は、検出された対象物体の位置情報と測距部21の位置と姿勢に基づき、基準平面上に測距部21と物体モデルを配置する。物体モデルは、例えば基準平面に垂直であって測距部21に正対するように、対象物体の位置に配置する。この場合、座標系は統一されていればどのような座標系でもよい。なお、基準平面の座標系を基準とした測距部21と物体モデルOBmの配置は、第1の構成の動作と同様に行えばよい。
ところで、上述のシステムは、物体情報を取得するセンサ部の姿勢変化がピッチ方向とヨー方向である場合について例示したが、センサ部はロール方向の変化を生じる場合もある。そこで、システムの他の動作では、センサ部がロール方向の変化を生じる場合を含めて説明する。
姿勢検出部46は、磁気センサやIMU(Inertial Measurement Unit)センサ等を用いて構成されており、物体モデルを配置する基準面(地面)に対する撮像部41の姿勢を検出する。なお、撮像部41が無人飛行体40に固定されている場合、無人飛行体40の姿勢を利用して撮像部41の姿勢を検出してもよい。
(1) 対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部
を備える情報処理装置。
(2) 前記見え情報生成部は、前記物体情報を取得するセンサ部の視野領域と前記物体モデルの重なりから前記物体モデルの見えを判別して、前記見え情報を生成する(1)に記載の情報処理装置。
(3) 前記見え情報生成部は、前記視野領域と前記物体モデルが重なる領域に対して透視投影変換を行い、前記見え情報を生成する(2)に記載の情報処理装置。
(4) 前記見え情報生成部は、前記パラメータ情報で示された前記センサ部の位置と姿勢およびセンサパラメータに基づき前記視野領域を判別する(2)または(3)に記載の情報処理装置。
(5) 前記見え情報生成部は、前記視野領域と前記物体モデルの重複領域に含まれており、前記対象物体よりも手前に位置する非対象物体の領域を、前記見え情報から除外する(2)乃至(4)の何れかに記載の情報処理装置。
(6) 前記物体情報が示す前記対象物体の撮像画における前記対象物体の位置と、前記物体情報の取得位置から前記対象物体までの距離と前記パラメータ情報に基づいて、前記対象物体の位置を検出する物体位置検出部をさらに備える(1)乃至(5)の何れかに記載の情報処理装置。
(7) 前記対象物体の位置を示す位置情報は、前記物体情報が示す前記対象物体までの測距値を示す点群データを前記測距値に応じてクラスタリングして検出したクラスタの位置を示す情報である(1)乃至(6)の何れかに記載の情報処理装置。
(8) 前記見え情報生成部で生成された物体モデル毎の見え情報を用いて前記対象物体の識別を行う物体識別部をさらに備える(1)乃至(7)の何れかに記載の情報処理装置。
(9) 前記見え情報生成部は、前記物体モデルを配置する基準面に対する前記センサ部の姿勢に基づき、前記見え情報を生成する(1)に記載の情報処理装置。
(10) 前記物体モデルの位置情報と前記対象物体に一致する見え情報および前記センサ部の姿勢に基づき、前記センサ部の位置を算出する位置算出部をさらに備える(9)に記載の情報処理装置。
(11) 前記センサ部のロール方向の姿勢変化量を取得できない場合、前記物体モデルを前記ロール方向に異なる姿勢毎に設ける(9)または(10)に記載の情報処理装置。
(12) 前記センサ部は飛行体に設けられている(9)乃至(11)の何れかに記載の情報処理装置。
11,41・・・撮像部
12,21,42・・・測距部
13,43・・・物体検出部
14,44・・・物体位置検出部
15,25,45・・・情報記憶部
17,27,47・・・見え情報生成部
18,28・・・物体識別部
22・・・クラスタリング部
31・・・付属器具
40・・・無人飛行体
46・・・姿勢検出部
48・・・位置算出部
Claims (14)
- 対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部を備え、
前記見え情報生成部は、前記物体情報を取得するセンサ部の視野領域と前記物体モデルの重なりから前記物体モデルの見えを判別して、前記見え情報を生成する
情報処理装置。 - 前記見え情報生成部は、前記視野領域と前記物体モデルが重なる領域に対して透視投影変換を行い、前記見え情報を生成する
請求項1に記載の情報処理装置。 - 前記見え情報生成部は、前記パラメータ情報で示された前記センサ部の位置と姿勢およびセンサパラメータに基づき前記視野領域を判別する
請求項1に記載の情報処理装置。 - 前記見え情報生成部は、前記視野領域と前記物体モデルの重複領域に含まれており、前記対象物体よりも手前に位置する非対象物体の領域を、前記見え情報から除外する
請求項1に記載の情報処理装置。 - 前記物体情報が示す前記対象物体の撮像画における前記対象物体の位置と、前記物体情報の取得位置から前記対象物体までの距離と前記パラメータ情報に基づいて、前記対象物体の位置を検出する物体位置検出部をさらに備える
請求項1に記載の情報処理装置。 - 前記対象物体の位置を示す位置情報は、前記物体情報が示す前記対象物体までの測距値を示す点群データを前記測距値に応じてクラスタリングして検出したクラスタの位置を示す情報である
請求項1に記載の情報処理装置。 - 前記見え情報生成部で生成された物体モデル毎の見え情報を用いて前記対象物体の識別を行う物体識別部をさらに備える
請求項1に記載の情報処理装置。 - 対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部と、
前記物体情報を取得するセンサ部の位置を算出する位置算出部と、
を備え、
前記見え情報生成部は、前記物体モデルを配置する基準面に対する前記センサ部の姿勢に基づき、前記見え情報を生成し、
前記位置算出部は、前記物体モデルの位置情報と前記対象物体に一致する見え情報および前記センサ部の姿勢に基づき、前記センサ部の位置を算出する
情報処理装置。 - 前記センサ部のロール方向の姿勢変化量を取得できない場合、前記物体モデルを前記ロール方向に異なる姿勢毎に設ける
請求項8に記載の情報処理装置。 - 前記センサ部は飛行体に設けられている
請求項8に記載の情報処理装置。 - 対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成すること
を含み、
前記物体情報を取得するセンサ部の視野領域と前記物体モデルの重なりから前記物体モデルの見えを判別して、前記見え情報を生成する
情報処理方法。 - 対象物体に関する情報処理をコンピュータで実行させるプログラムであって、
前記対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する手順
を前記コンピュータで実行させ
前記手順では、前記物体情報を取得するセンサ部の視野領域と前記物体モデルの重なりから前記物体モデルの見えを判別して、前記見え情報を生成する
プログラム。 - 対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成すること、
前記物体情報を取得するセンサ部の位置を算出すること、
を含み、
前記物体モデルを配置する基準面に対する前記センサ部の姿勢に基づき、前記見え情報を生成し、
前記物体モデルの位置情報と前記対象物体に一致する見え情報および前記センサ部の姿勢に基づき、前記センサ部の位置を算出する
情報処理方法。 - 対象物体に関する情報処理をコンピュータで実行させるプログラムであって、
対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成手順、
前記物体情報を取得するセンサ部の位置を算出する位置算出手順、
を備え、
前記見え情報手順では、前記物体モデルを配置する基準面に対する前記センサ部の姿勢に基づき、前記見え情報を生成し、
前記位置算出手順では、前記物体モデルの位置情報と前記対象物体に一致する見え情報および前記センサ部の姿勢に基づき、前記センサ部の位置を算出する
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017213593 | 2017-11-06 | ||
JP2017213593 | 2017-11-06 | ||
PCT/JP2018/033801 WO2019087581A1 (ja) | 2017-11-06 | 2018-09-12 | 情報処理装置と情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019087581A1 JPWO2019087581A1 (ja) | 2020-11-12 |
JP7127651B2 true JP7127651B2 (ja) | 2022-08-30 |
Family
ID=66331629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019549925A Active JP7127651B2 (ja) | 2017-11-06 | 2018-09-12 | 情報処理装置と情報処理方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11282230B2 (ja) |
EP (1) | EP3709261A4 (ja) |
JP (1) | JP7127651B2 (ja) |
CN (1) | CN111295663A (ja) |
WO (1) | WO2019087581A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016074169A1 (zh) * | 2014-11-12 | 2016-05-19 | 深圳市大疆创新科技有限公司 | 一种对目标物体的检测方法、检测装置以及机器人 |
WO2022176732A1 (ja) * | 2021-02-22 | 2022-08-25 | パナソニックIpマネジメント株式会社 | 人検知システム、人検知方法およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005033319A (ja) | 2003-07-08 | 2005-02-03 | Canon Inc | 位置姿勢計測方法及び装置 |
WO2013008584A1 (ja) | 2011-07-14 | 2013-01-17 | 株式会社エヌ・ティ・ティ・ドコモ | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007072665A (ja) | 2005-09-06 | 2007-03-22 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
EP2711806B1 (en) * | 2012-07-13 | 2018-09-26 | Sony Interactive Entertainment Inc. | Input device, information processing system, information processing device and information processing method |
JP6314394B2 (ja) * | 2013-09-13 | 2018-04-25 | 富士通株式会社 | 情報処理装置、設定方法、設定プログラム、システムおよび管理装置 |
IL232853A (en) * | 2014-05-28 | 2015-11-30 | Elbit Systems Land & C4I Ltd | Imaging Georegistration System and Method |
JP2016136320A (ja) | 2015-01-23 | 2016-07-28 | トヨタ自動車株式会社 | ロボット |
US10282861B2 (en) * | 2016-12-12 | 2019-05-07 | Here Global B.V. | Pose error estimation and localization using static features |
US10410089B2 (en) * | 2018-01-19 | 2019-09-10 | Seiko Epson Corporation | Training assistance using synthetic images |
-
2018
- 2018-09-12 US US16/760,122 patent/US11282230B2/en active Active
- 2018-09-12 JP JP2019549925A patent/JP7127651B2/ja active Active
- 2018-09-12 CN CN201880070874.0A patent/CN111295663A/zh active Pending
- 2018-09-12 EP EP18872303.5A patent/EP3709261A4/en not_active Withdrawn
- 2018-09-12 WO PCT/JP2018/033801 patent/WO2019087581A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005033319A (ja) | 2003-07-08 | 2005-02-03 | Canon Inc | 位置姿勢計測方法及び装置 |
WO2013008584A1 (ja) | 2011-07-14 | 2013-01-17 | 株式会社エヌ・ティ・ティ・ドコモ | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN111295663A (zh) | 2020-06-16 |
US20200258253A1 (en) | 2020-08-13 |
EP3709261A1 (en) | 2020-09-16 |
WO2019087581A1 (ja) | 2019-05-09 |
EP3709261A4 (en) | 2020-12-09 |
US11282230B2 (en) | 2022-03-22 |
JPWO2019087581A1 (ja) | 2020-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112567201B (zh) | 距离测量方法以及设备 | |
KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
Held et al. | Precision tracking with sparse 3d and dense color 2d data | |
US8520931B2 (en) | Position and orientation measurement apparatus and method thereof | |
KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JP6658001B2 (ja) | 位置推定装置、プログラム、位置推定方法 | |
JP5990453B2 (ja) | 自律移動ロボット | |
CN108073167A (zh) | 一种基于深度相机与激光雷达的定位与导航方法 | |
TW202013251A (zh) | 在機器人設備上使用光流感測器進行vslam比例估計的系統和方法 | |
TW201925033A (zh) | 無人機、無人機控制系統及控制方法 | |
JP2001266160A (ja) | 周辺認識方法および周辺認識装置 | |
KR102006291B1 (ko) | 전자 장치의 이동체 포즈 추정 방법 | |
CN113568435B (zh) | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 | |
JP7127651B2 (ja) | 情報処理装置と情報処理方法およびプログラム | |
CN108603933A (zh) | 用于融合具有不同分辨率的传感器输出的系统和方法 | |
JP7372708B2 (ja) | 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法 | |
EP3088983B1 (en) | Moving object controller and program | |
Lekkala et al. | Accurate and augmented navigation for quadcopter based on multi-sensor fusion | |
Zaslavskiy et al. | Method for automated data collection for 3d reconstruction | |
JP2021047744A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
CN117649619B (zh) | 无人机视觉导航定位回收方法、系统、装置及可读存储介质 | |
JP2021103482A (ja) | 自己位置推定方法 | |
Weinmann et al. | A step towards dynamic scene analysis with active multi-view range imaging systems | |
JP7405607B2 (ja) | 三次元データを補間する三次元データ生成装置及びロボットシステム | |
US20220291009A1 (en) | Information processing apparatus, information processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220801 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7127651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |