JP5515654B2 - ロボットシステム - Google Patents
ロボットシステム Download PDFInfo
- Publication number
- JP5515654B2 JP5515654B2 JP2009257142A JP2009257142A JP5515654B2 JP 5515654 B2 JP5515654 B2 JP 5515654B2 JP 2009257142 A JP2009257142 A JP 2009257142A JP 2009257142 A JP2009257142 A JP 2009257142A JP 5515654 B2 JP5515654 B2 JP 5515654B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- hand
- arm
- robot
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
Description
請求項1に記載の発明は、物品を把持するハンドと、前記ハンドを回転駆動させるアームと、前記ロボットの動作を制御するコントローラと、前記ハンドに内蔵され、少なくとも撮像方向が前記アームにより回転される前記ハンドの回転軸に対して所定のオフセット角度傾斜するように配設されたカメラと、前記カメラにより取得された画像情報を処理して前記コントローラに信号を送信する画像処理装置と、を有し、前記画像処理装置により処理された画像情報に把持対象物が含まれていない場合、前記カメラが内蔵された前記ハンドを前記回転軸周りに回転駆動させて前記カメラの視野を変更させることを特徴とするものである。
請求項2に記載の発明は、前記カメラは撮像方向が前記ハンドの回転軸に対して所定のオフセット量離間するように配設されるとともに、前記オフセット量が調整可能とされることを特徴とするものである。
請求項3に記載の発明は、前記画像処理装置により処理された画像情報を表示するとともに、入力手段を有する表示装置と、を有し、前記表示装置は、前記画像処理装置が前記カメラにより取得された前記画像情報に把持対象物を抽出する処理を実行し、抽出された前記画像情報中の対象物候補の領域を表示させ、前記表示装置の画面上での前記領域の選択にかかる入力に基づいて、前記コントローラが前記ロボットを制御することを特徴とするものである。
請求項4に記載の発明は、前記表示装置は、前記カメラにより撮像する領域を指定するためのキーを備え、その移動方向は前記アームのツール座標系に対応し、前記表示装置は、操作者が押下したキーの方向に基づいて、前記アームを動作させて前記カメラの視野を変更させることを特徴とするものである。
また、カメラ取り付け位置について、アームのハンドを回転させる軸からのオフセット量を調整できるため、アプリケーションに応じて最適なカメラ視野変化を得ることができる。
図1は、本発明のロボットシステムの構成を示す概略図である。本実施形態は、環境にある物品を把持して搬送するサービスロボットに本発明を適用した例について説明する。なお、本発明はサービスロボットに限定されるものではない。
図1にしめすように本実施形態は、ロボット10,ハンドアイユニット(画像処理装置)16,タッチパネルユニット(表示装置)17,システム制御アプリケーション(コントローラ)18を有している。
ロボット10は左右それぞれに図示省略の複数のアクチュエータを内蔵したアーム11を有しており、各アーム11にはそれぞれハンド12が取り付けられている。また、ロボット10は車輪を駆動させて自律移動する移動台車14(移動手段)を有しているから構成される。なお、移動台車14は、脚式の移動手段であっても良い。なお、ロボット10には、各部の駆動を制御するコントローラユニット(コントローラ)10Aが内蔵されている。
ハンドアイユニット16はカメラで撮像された画像情報の解析や対象物抽出などを行う。
タッチパネルユニット17は、ハンドアイユニット16から出力された画像情報をタッチパネルに表示するとともに入力手段としての機能を有し、操作者からの画面入力情報をシステム制御アプリケーション18、およびサービスロボット10に中継装置19を介して出力するようになっている。
なお、コントローラユニット10A、システム制御アプリケーション18、および、ハンドアイユニット16は同一のコンピュータであっても良く、また、サービスロボット10に内蔵させることも可能である。
図2(a)は、ハンドアイ13のカメラ中心をT軸に重なるように取り付けた様子を表している。図2(b)は、ハンドアイ視野26を変えるためにアーム11を動作させた結果、アーム11が環境物25と接触した様子を示している。
図6は、本発明の方法を実施するタッチパネルユニット17の画面構成を示す図である。図において符号40はタッチパネルであり、矢印方向移動キー41で上下左右方向への表示エリアの移動を、ズームキー42で前後方向への表示エリアの移動を、回転キー44で表示エリアの回転を行う。符号43はハンドアイユニット16が認識し抽出した対象物を示す対象物候補フレームである。
ステップ1:ハンドアイ13は、カメラで撮影したライブ画像をハンドアイユニット16へ送信する。
ステップ2:ハンドアイユニット16は、受信した画像情報から対象物抽出処理を実行する。
ステップ4:タッチパネルユニット17では、受信した画像をタッチパネル40上に表示し操作者の入力を待機する。図6は、ハンドアイ13の撮影範囲内に3つの対象物が抽出された例である。左から缶、人形、箱の順に抽出され、それぞれを囲い込む対象物候補フレーム43が表示されている。
また、ステップ1からステップ4までの処理は定周期で処理されているため、ステップ6でハンドアイ視野26を変更しても、操作者はハンドアイユニット16の処理結果を特別な操作なしで確認することがきる。
ステップ6:操作者は、タッチパネル40上で矢印方向移動キー41、ズームキー42、回転キー44に触れ、希望する把持対象物が対象物候補フレーム43付きでタッチパネル内に表示されるようハンドアイ視野26を操作する。
ステップ7:操作者は、タッチパネル40上で対象物候補フレーム43内部に触れ、把持する物品を指定する。
ステップ9:ハンドアイユニット16は、受信した対象物指定情報に基づき、対象物の位置および姿勢の算出処理を実行する。算出の方法としては例えば、複数の方向から対象物を撮影して算出するステレオ視を用いた方法などがある。算出後、ハンドアイユニット16は対象物の位置および姿勢情報を、システム制御アプリケーション18に送信する。
ステップ10:システム制御アプリケーション18は、受信した対象物の位置、姿勢情報から対象物位置への移動、および把持を行うモーション指令をサービスロボット10に送信する。
なお、前述のステレオ視を用いた算出方法を使用する場合、撮影位置が2箇所以上必要なため、アーム11の移動が必要となる。その場合は、システム制御アプリケーション18上であらかじめアームの移動を実行するようにプログラムを記述しておけばよい。
図9と図10を用いて、T軸を利用したアーム11の姿勢変化により、ハンドアイ視野26の方向を変えて、把持対象物を撮像領域内に調整する方法を説明する。図9は、撮像領域内に缶、人形、箱の計3つの対象物が写った状態を示しているが、箱に関してはその一部が撮像領域外であり、対象物抽出処理による切り出しに失敗し、対象物候補フレーム43が表示されていない。
11 アーム
12 ハンド
13 ハンドアイ(カメラ)
14 移動台車
16 ハンドアイユニット
17 タッチパネルユニット
18 システム制御アプリケーション
19 中継装置
20 モジュール管理部
21 アーム制御モジュール
22 グリッパ制御モジュール
23 移動台車制御モジュール
24 通信部
25 環境物
26 ハンドアイ視野
27 T軸
28 オフセット距離
29 オフセット角度
40 タッチパネル
41 矢印方向移動キー
42 ズームキー
43 対象物候補フレーム
44 回転キー
Claims (4)
- 物品を把持するハンドと、
前記ハンドを回転駆動させるアームと、
前記ロボットの動作を制御するコントローラと、
前記ハンドに内蔵され、少なくとも撮像方向が前記アームにより回転される前記ハンドの回転軸に対して所定のオフセット角度傾斜するように配設されたカメラと、
前記カメラにより取得された画像情報を処理して前記コントローラに信号を送信する画像処理装置と、を有し、
前記画像処理装置により処理された画像情報に把持対象物が含まれていない場合、前記カメラが内蔵された前記ハンドを前記回転軸周りに回転駆動させて前記カメラの視野を変更させる
ことを特徴とする、ロボットシステム。 - 前記カメラは撮像方向が前記ハンドの回転軸に対して所定のオフセット量離間するように配設されるとともに、前記オフセット量が調整可能とされる
ことを特徴とする、請求項1記載のロボットシステム。 - 前記画像処理装置により処理された画像情報を表示するとともに、入力手段を有する表示装置と、を有し、
前記表示装置は、前記画像処理装置が前記カメラにより取得された前記画像情報に把持対象物を抽出する処理を実行し、抽出された前記画像情報中の対象物候補の領域を表示させ、
前記表示装置の画面上での前記領域の選択にかかる入力に基づいて、前記コントローラが前記ロボットを制御する
ことを特徴とする、請求項1又は2記載のロボットシステム。 - 前記表示装置は、
前記カメラにより撮像する領域を指定するためのキーを備え、その移動方向は前記アームのツール座標系に対応し、前記表示装置は、操作者が押下したキーの方向に基づいて、前記アームを動作させて前記カメラの視野を変更させる
ことを特徴とする、請求項3記載のロボットシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009257142A JP5515654B2 (ja) | 2009-11-10 | 2009-11-10 | ロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009257142A JP5515654B2 (ja) | 2009-11-10 | 2009-11-10 | ロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011101915A JP2011101915A (ja) | 2011-05-26 |
JP5515654B2 true JP5515654B2 (ja) | 2014-06-11 |
Family
ID=44192500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009257142A Expired - Fee Related JP5515654B2 (ja) | 2009-11-10 | 2009-11-10 | ロボットシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5515654B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10933538B2 (en) | 2017-03-09 | 2021-03-02 | Honda Motor Co., Ltd. | End effector, hand device and robot equipped with the same |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5892361B2 (ja) | 2011-08-02 | 2016-03-23 | ソニー株式会社 | 制御装置、制御方法、プログラム、及びロボット制御システム |
JP6372730B2 (ja) * | 2017-06-23 | 2018-08-15 | ソニー株式会社 | 制御装置、制御方法、およびプログラム |
JP6922969B2 (ja) * | 2018-07-20 | 2021-08-18 | ソニーグループ株式会社 | 移動体、制御方法、およびプログラム |
JP6642644B2 (ja) * | 2018-07-20 | 2020-02-05 | ソニー株式会社 | 移動体、制御方法、およびプログラム |
JP7306871B2 (ja) * | 2019-05-14 | 2023-07-11 | ファナック株式会社 | ロボット操作装置、ロボット、ロボット操作方法、プログラムおよびロボット制御装置 |
JP7401250B2 (ja) * | 2019-10-09 | 2023-12-19 | キヤノン株式会社 | 画像処理装置、制御方法およびプログラム |
CN113093741A (zh) * | 2021-03-30 | 2021-07-09 | 上海图灵智造机器人有限公司 | 用于仓储搬运的复合机器人及局部动态障碍物规避方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0241882A (ja) * | 1988-08-03 | 1990-02-13 | Mitsubishi Heavy Ind Ltd | マニピュレータ及びそのカメラ搭載機構及びその腕機構 |
JP2890874B2 (ja) * | 1991-03-25 | 1999-05-17 | 三菱電機株式会社 | ロボットアーム相対姿勢補正方法 |
JPH0639382U (ja) * | 1992-11-06 | 1994-05-24 | 株式会社明電舎 | 画像処理における補正装置 |
JPH079373A (ja) * | 1993-06-30 | 1995-01-13 | Nippei Toyama Corp | 溶接ロボットおよびそのトラッキングセンサ |
-
2009
- 2009-11-10 JP JP2009257142A patent/JP5515654B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10933538B2 (en) | 2017-03-09 | 2021-03-02 | Honda Motor Co., Ltd. | End effector, hand device and robot equipped with the same |
Also Published As
Publication number | Publication date |
---|---|
JP2011101915A (ja) | 2011-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5515654B2 (ja) | ロボットシステム | |
JP6814735B2 (ja) | 遠隔操縦マニピュレータシステム及びその運転方法 | |
JP6361213B2 (ja) | ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム | |
JP5246672B2 (ja) | ロボットシステム | |
WO2020090809A1 (ja) | 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体 | |
US10807240B2 (en) | Robot control device for setting jog coordinate system | |
JP7066357B2 (ja) | ロボットシステム及びその運転方法 | |
JP2020055075A (ja) | 拡張現実と複合現実を用いたロボット制御装置及び表示装置 | |
JP7052652B2 (ja) | 移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラム | |
CA2647435A1 (en) | Intelligent interface device for grasping of an object by a manipulating robot and method of implementing this device | |
US20180345490A1 (en) | Robot system displaying information for teaching robot | |
EP3835002B1 (en) | Remote control system and remote control method | |
Shirwalkar et al. | Telemanipulation of an industrial robotic arm using gesture recognition with Kinect | |
CN114905487B (zh) | 示教装置、示教方法以及记录介质 | |
JP2018144228A (ja) | ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム | |
CN111633653A (zh) | 一种基于视觉定位的机械臂控制系统及方法 | |
RU124622U1 (ru) | Система управления мобильным роботом | |
JP2020082282A (ja) | 把持ロボットおよび把持ロボットの制御プログラム | |
US11618166B2 (en) | Robot operating device, robot, and robot operating method | |
JP2015114933A (ja) | 物体認識装置、ロボット及び物体認識方法 | |
CN107363831B (zh) | 基于视觉的遥操作机器人控制系统及方法 | |
JP7493816B2 (ja) | ロボット、システム、方法及びプログラム | |
JP2005205519A (ja) | ロボットハンド装置 | |
CN114905486B (zh) | 示教装置、示教方法及记录介质 | |
US20230333550A1 (en) | Remote operation system, remote operation method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120307 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130430 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5515654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |