JP6164319B2 - 情報処理装置、情報処理方法およびコンピュータプログラム - Google Patents
情報処理装置、情報処理方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP6164319B2 JP6164319B2 JP2016039874A JP2016039874A JP6164319B2 JP 6164319 B2 JP6164319 B2 JP 6164319B2 JP 2016039874 A JP2016039874 A JP 2016039874A JP 2016039874 A JP2016039874 A JP 2016039874A JP 6164319 B2 JP6164319 B2 JP 6164319B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- viewpoint
- correspondence
- robot
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
<1.本開示の一実施形態>
[ロボットの外観例]
[ロボットの機能構成例]
[ロボットの動作例]
<2.まとめ>
[ロボットの外観例]
まず、本開示の一実施形態にかかるロボットの外観例について説明する。図1は、本開示の一実施形態にかかるロボットの外観例を示す説明図である。以下、図1を参照して、本開示の一実施形態にかかるロボットの外観例について説明する。
図2は、本開示の一実施形態にかかるロボット100のハードウェア構成例を示す説明図である。以下、図2を用いて本開示の一実施形態にかかるロボット100のハードウェア構成例について説明する。
図3は、本開示の一実施形態にかかるロボット100の機能構成例を示す説明図である。図3に示したロボット100の機能構成は、画像入力装置121で撮影した物体について学習する際の構成を示したものである。以下、図3を用いて本開示の一実施形態にかかるロボット100の機能構成例について説明する。
図4は、本開示の一実施形態にかかるロボット100の動作を示す流れ図である。図4に示した流れ図は、ユーザの指示によりロボット100が物体を学習する場合について示したものである。以下、図4を用いて本開示の一実施形態にかかるロボット100の動作について説明する。
以上説明したように本開示の一実施形態によれば、ロボット100が学習した物体モデルの学習状況を視覚的に提示できる。ロボット100が学習した物体モデルの学習状況を視覚的に提示することで、ロボット100に物体の再学習が必要であるかどうかをユーザに判断させることが出来る。
(1)
所定の物体について複数の視点から撮影された画像を取得する画像取得部と、
前記画像取得部で取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出部と、
隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得部と、
前記対応関係取得部で取得された前記対応関係についての情報を量的に提示する情報提示部と、
を備える、情報処理装置。
(2)
前記情報提示部は、所定の視点と、該視点に隣接する視点との間における、前記対応関係についての情報を量的に提示する、前記(1)に記載の情報処理装置。
(3)
前記情報提示部は、前記対応関係についての情報として、前記特徴点間を結ぶ線を提示する、前記(2)に記載の情報処理装置。
(4)
前記情報提示部は、前記対応関係についての情報として、所定の視点と、該視点に隣接する視点との間の視点からの画像を仮想的に生成して提示する、前記(2)または(3)に記載の情報処理装置。
(5)
前記情報提示部は、前記対応関係についての情報として、所定の視点に隣接する視点との間において取得できた前記対応関係の数の大小に応じて、前記所定の視点における前記対応関係についての情報の表示を変化させて提示する、前記(2)から(4)のいずれかに記載の情報処理装置。
(6)
前記情報提示部は、前記所定の視点における前記対応関係についての情報を色の変化で提示する、前記(5)に記載の情報処理装置。
(7)
前記情報提示部は、前記所定の視点における前記対応関係についての情報を濃淡の変化で提示する、前記(5)に記載の情報処理装置。
(8)
前記情報提示部は、所定の視点と、該視点に隣接する視点との間における、前記対応関係についての情報を、球面を投影した図形上に提示する、前記(2)から(7)のいずれかに記載の情報処理装置。
(9)
前記対応関係取得部は、隣接視点間の画像で前記特徴点の対応関係を取得する際に、当該特徴点の特徴量の情報を用いる、前記(1)から(8)に記載の情報処理装置。
(10)
前記画像取得部は、前記情報提示部が提示した前記対応関係についての情報において選択された視点からの、前記所定の物体についての画像を取得する、前記(1)から(9)のいずれかに記載の情報処理装置。
(11)
所定の物体について複数の視点から撮影された画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出ステップと、
隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得ステップと、
前記対応関係取得ステップで取得された対応関係についての情報を量的に提示する情報提示ステップと、
を備える、情報処理方法。
(12)
コンピュータに、
所定の物体について複数の視点から撮影された画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出ステップと、
隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得ステップと、
前記対応関係取得ステップで取得された対応関係についての情報を量的に提示する情報提示ステップと、
を実行させる、コンピュータプログラム。
101 :頭部ユニット
102 :体幹部ユニット
103L,103R :腕部ユニット
104L,104R :脚部ユニット
105L,105R :手部
110 :思考制御モジュール
114 :外部記憶装置
121 :画像入力装置
122 :音声入力装置
130 :運動制御モジュール
134 :外部記憶装置
140 :アクチュエータ
141 :姿勢センサ
142L,142R :接地確認センサ
143 :電源制御装置
151 :画像認識部
152 :特徴点検出部
153 :特徴量抽出部
154 :画像マッチング部
155 :画像変換部
156 :学習状態提示部
157 :物体モデル登録部
200 :情報処理装置
Claims (15)
- 所定の物体について複数の視点から撮影された画像を取得する画像取得部と、
前記画像取得部で取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出部と、
隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得部と、
前記対応関係取得部で取得された前記対応関係についての情報を登録する物体モデル登録部と、
を備える、情報処理装置。 - 所定の視点と、該視点に隣接する視点との間における、前記対応関係についての情報を量的に提示する情報提示部を更に備える、請求項1に記載の情報処理装置。
- 前記情報提示部は、前記対応関係についての情報として、前記特徴点間を結ぶ線を提示する、請求項2に記載の情報処理装置。
- 前記情報提示部は、前記対応関係についての情報として、所定の視点と、該視点に隣接する視点との間の視点からの画像を仮想的に生成して提示する、請求項2または3に記載の情報処理装置。
- 前記情報提示部は、前記対応関係についての情報として、所定の視点に隣接する視点との間において取得できた前記対応関係の数の大小に応じて、前記所定の視点における前記対応関係についての情報の表示を変化させて提示する、請求項2〜4のいずれかに記載の情報処理装置。
- 前記情報提示部は、前記所定の視点における前記対応関係についての情報を色の変化で提示する、請求項5に記載の情報処理装置。
- 前記情報提示部は、前記所定の視点における前記対応関係についての情報を濃淡の変化で提示する、請求項5に記載の情報処理装置。
- 前記情報提示部は、所定の視点と、該視点に隣接する視点との間における、前記対応関係についての情報を、球面を投影した図形上に提示する、請求項2〜7のいずれかに記載の情報処理装置。
- 前記対応関係取得部は、隣接視点間の画像で前記特徴点の対応関係を取得する際に、当該特徴点の特徴量の情報を用いる、請求項1〜8のいずれかに記載の情報処理装置。
- 前記画像取得部は、前記物体モデル登録部が登録した前記対応関係についての情報において選択された視点からの、前記所定の物体についての画像を取得する、請求項1〜9のいずれかに記載の情報処理装置。
- 前記物体モデル登録部は、所定の視点における物体モデルとして登録する、請求項1に記載の情報処理装置。
- 前記画像取得部は、前記物体の形状に応じて、撮影間隔を制御する、請求項1に記載の情報処理装置。
- 前記物体モデル登録部は、各視点における物体モデルを統合して、前記物体のモデルとして学習する、請求項1に記載の情報処理装置。
- 所定の物体について複数の視点から撮影された画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出ステップと、
隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得ステップと、
前記対応関係取得ステップで取得された対応関係についての情報を登録する物体モデル登録ステップと、
を含む、情報処理方法。 - コンピュータに、
所定の物体について複数の視点から撮影された画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出ステップと、
隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得ステップと、
前記対応関係取得ステップで取得された対応関係についての情報を登録する物体モデル登録ステップと、
を実行させる、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016039874A JP6164319B2 (ja) | 2016-03-02 | 2016-03-02 | 情報処理装置、情報処理方法およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016039874A JP6164319B2 (ja) | 2016-03-02 | 2016-03-02 | 情報処理装置、情報処理方法およびコンピュータプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012024773A Division JP5895569B2 (ja) | 2012-02-08 | 2012-02-08 | 情報処理装置、情報処理方法およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016146188A JP2016146188A (ja) | 2016-08-12 |
JP6164319B2 true JP6164319B2 (ja) | 2017-07-19 |
Family
ID=56686505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016039874A Active JP6164319B2 (ja) | 2016-03-02 | 2016-03-02 | 情報処理装置、情報処理方法およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6164319B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11954240B2 (en) | 2018-04-27 | 2024-04-09 | Sony Corporation | Information processing device, information processing method, and program |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4292775A3 (en) * | 2017-02-25 | 2024-07-17 | Diligent Robotics, Inc. | Systems, apparatus, and methods for robotic learning and execution of skills |
US11833684B2 (en) | 2017-02-25 | 2023-12-05 | Diligent Robotics, Inc. | Systems, apparatus, and methods for robotic learning and execution of skills |
JP2024506611A (ja) | 2021-02-08 | 2024-02-14 | ディリジェント ロボティクス,インコーポレイテッド | ナビゲーション及び操作機能を含む技能をロボティック学習及び実行するシステム、装置、及び方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4164737B2 (ja) * | 2002-05-24 | 2008-10-15 | ソニー株式会社 | 物体認識装置及び方法並びにロボット装置 |
JP4238586B2 (ja) * | 2003-01-30 | 2009-03-18 | ソニー株式会社 | キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム |
JP4715539B2 (ja) * | 2006-02-15 | 2011-07-06 | トヨタ自動車株式会社 | 画像処理装置、その方法、および画像処理用プログラム |
JP2009238029A (ja) * | 2008-03-27 | 2009-10-15 | Nec System Technologies Ltd | 座標対応装置、座標対応方法およびプログラム |
JP5812599B2 (ja) * | 2010-02-25 | 2015-11-17 | キヤノン株式会社 | 情報処理方法及びその装置 |
-
2016
- 2016-03-02 JP JP2016039874A patent/JP6164319B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11954240B2 (en) | 2018-04-27 | 2024-04-09 | Sony Corporation | Information processing device, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2016146188A (ja) | 2016-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5895569B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
CN109255813B (zh) | 一种面向人机协作的手持物体位姿实时检测方法 | |
JP6942177B2 (ja) | ロボットが学習した経路を自律的に走行するように初期化するためのシステムおよび方法 | |
CN110480634B (zh) | 一种针对机械臂运动控制的手臂引导运动控制方法 | |
WO2023056670A1 (zh) | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 | |
CN106022213B (zh) | 一种基于三维骨骼信息的人体动作识别方法 | |
JP6164319B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
CN109299659A (zh) | 一种基于rgb相机和深度学习的人体姿态识别方法与系统 | |
CN113614784B (zh) | 利用稀疏rgb-d slam和交互感知对对象进行检测、跟踪和三维建模 | |
US10710244B2 (en) | Robot control using gestures | |
JP4479194B2 (ja) | 動作識別装置、及び対象物の姿勢識別装置 | |
Droeschel et al. | 3D body pose estimation using an adaptive person model for articulated ICP | |
JP6054831B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN107030692A (zh) | 一种基于感知增强的机械手遥操作方法及系统 | |
JP4765075B2 (ja) | ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム | |
CN109839827B (zh) | 一种基于全空间位置信息的手势识别智能家居控制系统 | |
KR101256046B1 (ko) | 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 | |
JP6919882B2 (ja) | 人推定システムおよび推定プログラム | |
KR20200113743A (ko) | 인체 자세 추정 및 보정을 하는 방법 및 장치 | |
Grewal et al. | Autonomous wheelchair navigation in unmapped indoor environments | |
Estevez et al. | Enabling garment-agnostic laundry tasks for a robot household companion | |
JP7171294B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6770208B2 (ja) | 情報処理装置 | |
Phan et al. | Towards 3D human posture estimation using multiple kinects despite self-contacts | |
CN115862074B (zh) | 人体指向确定、屏幕控制方法、装置及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170605 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6164319 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |