JP6221224B2 - ロボットシステム、プログラム、生産システム及びロボット - Google Patents
ロボットシステム、プログラム、生産システム及びロボットInfo
- Publication number
- JP6221224B2 JP6221224B2 JP2012258233A JP2012258233A JP6221224B2 JP 6221224 B2 JP6221224 B2 JP 6221224B2 JP 2012258233 A JP2012258233 A JP 2012258233A JP 2012258233 A JP2012258233 A JP 2012258233A JP 6221224 B2 JP6221224 B2 JP 6221224B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- hand
- worker
- imaging information
- control command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
近年、消費者ニーズの変動や多様化の高まりに対応する必要性から、大量生産向きのいわゆるライン生産方式のシステムに代わって、多くの機種を少量ずつ生産して生産量の増減や多機種少量生産に柔軟に対応する、いわゆるセル生産システムが採用されることが多くなってきた。
次に、図1に本実施形態のロボットシステム300及びこれを含む生産システム600の構成例を示す。
次に、本実施形態の手法について説明する。
以下では、図3の生産システムの構成例及び図9のフローチャートを用いて、本実施形態の処理の流れについて説明する。
また、ステレオカメラを用いて、作業者WKの手の位置を検出する処理の流れを、図10のフローチャートを用いて説明する。なお、この処理は、図9のフローチャートのステップS2〜ステップS8に相当する。
また、ロボット制御部130は、取得された撮像情報に基づいて、作業者の手の甲の認識処理を行い、認識処理の結果に基づいて、ロボット制御コマンドの特定処理及び作業者の識別処理のうちの少なくとも一方を行ってもよい。
200 ロボット、210 アーム、220 ハンド、300 ロボットシステム、400 撮像部、
500 表示部、600 生産システム
Claims (22)
- 生産システムにおいて作業者と混在して生産作業を行うロボットと、
前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、
表示画像を表示する表示部の表示制御を行う表示制御部と、
を含み、
前記ロボット制御部は、
取得された前記撮像情報に基づいて前記作業者のジェスチャーを検出し、検出した前記ジェスチャーに関連付けられたロボット制御コマンドを特定し、
前記表示制御部は、
前記ロボット制御部が特定した前記ロボット制御コマンドの内容を表示する記号画像が、前記作業者の手に対応する位置に配置された通知画像を、前記表示部に表示する制御を行うことを特徴とするロボットシステム。 - 請求項1において、
前記ロボット制御部は、
取得された前記撮像情報に基づいて前記作業者のハンドパターンを検出し、検出した前記ハンドパターンに関連付けられた前記ロボット制御コマンドを特定することを特徴とするロボットシステム。 - 請求項2において、
前記ロボット制御部は、
取得された前記撮像情報に基づいて前記作業者の手の形状パターン、手の位置及び手の動きのうちの少なくとも一つを前記ハンドパターンとして検出し、検出した前記ハンドパターンに関連付けられた前記ロボット制御コマンドを特定することを特徴とするロボットシステム。 - 生産システムにおいて作業者と混在して生産作業を行うロボットと、
前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、
表示画像を表示する表示部の表示制御を行う表示制御部と、
を含み、
前記ロボット制御部は、
取得された前記撮像情報に基づいて、前記作業者の肩の上方領域に設定された検出領域内から前記作業者のジェスチャーを検出し、検出した前記ジェスチャーに関連付けられたロボット制御コマンドを特定し、
前記表示制御部は、
前記ロボット制御部が特定した前記ロボット制御コマンドを前記作業者へ通知する通知画像を前記表示部に表示する制御を行うことを特徴とするロボットシステム。 - 請求項4において、
前記表示制御部は、
前記ロボット制御部が特定した前記ロボット制御コマンドの内容を表す記号画像を含む前記通知画像を、前記表示部に表示する制御を行うことを特徴とするロボットシステム。 - 請求項4又は5において、
前記ロボット制御部は、
取得された前記撮像情報に基づいて前記作業者のハンドパターンを検出し、検出した前記ハンドパターンに関連付けられた前記ロボット制御コマンドを特定することを特徴とするロボットシステム。 - 請求項6において、
前記ロボット制御部は、
取得された前記撮像情報に基づいて前記作業者の手の形状パターン、手の位置及び手の動きのうちの少なくとも一つを前記ハンドパターンとして検出し、検出した前記ハンドパターンに関連付けられた前記ロボット制御コマンドを特定することを特徴とするロボットシステム。 - 請求項6又は7において、
前記表示制御部は、
前記ロボット制御部が特定した前記ロボット制御コマンドの内容を表示する記号画像が、前記作業者の手に対応する位置に配置された前記通知画像を、前記表示部に表示する制御を行うことを特徴とするロボットシステム。 - 請求項4乃至8のいずれかにおいて、
前記ロボット制御部は、
前記作業者と混在して生産作業を行う第1のロボットを第1のロボット制御コマンドにより制御し、前記第1のロボットと異なる第2のロボットを第2のロボット制御コマンドにより制御し、
前記ロボット制御部は、
取得された前記撮像情報に基づいて、前記作業者の肩の前記上方領域に設定された第1の検出領域内から前記作業者の前記ジェスチャーを検出した場合には、検出した前記ジェスチャーが前記第1の検出領域に関連付けられているか否かを判定し、検出した前記ジェスチャーが前記第1の検出領域に関連付けられていると判定した場合に、検出した前記ジェスチャーに関連付けられた前記第1のロボット制御コマンドにより前記第1のロボットを制御し、
取得された前記撮像情報に基づいて、前記作業者の肩の前記上方領域に設定され、前記第1の検出領域と異なる第2の検出領域内から前記作業者の前記ジェスチャーを検出した場合には、検出した前記ジェスチャーが前記第2の検出領域に関連付けられているか否かを判定し、検出した前記ジェスチャーが前記第2の検出領域に関連付けられていると判定した場合に、検出した前記ジェスチャーに関連付けられた前記第2のロボット制御コマンドにより前記第2のロボットを制御することを特徴とするロボットシステム。 - 請求項9において、
前記ロボット制御部は、
検出した前記ジェスチャーが緊急時用ジェスチャーであると判定した場合には、前記ジェスチャーを検出した前記検出領域が前記第1の検出領域及び前記第2の検出領域のいずれの前記検出領域であっても、検出した前記ジェスチャーに関連付けられた緊急ロボット制御コマンドに従って、前記第1のロボット及び前記第2のロボットを制御することを特徴とするロボットシステム。 - 請求項4乃至10のいずれかにおいて、
前記ロボット制御部は、
取得された前記撮像情報に基づいて、前記作業者の前記ジェスチャーを検出しない検出除外領域を設定し、前記検出除外領域以外の領域に前記検出領域を設定することを特徴とするロボットシステム。 - 請求項11において、
前記ロボット制御部は、
少なくとも前記作業者の顔領域を含む領域を前記検出除外領域として設定することを特徴とするロボットシステム。 - 請求項1乃至12のいずれかにおいて、
前記ロボット制御部は、
検出した前記ジェスチャーに基づいて命令開始時間を特定し、特定した前記命令開始時間に、前記ジェスチャーに関連付けられた前記ロボット制御コマンドに従って、前記ロボットを制御することを特徴とするロボットシステム。 - 請求項1乃至13のいずれかにおいて、
前記ロボット制御部は、
取得された前記撮像情報に基づいて、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記ロボット制御コマンドの特定処理及び前記作業者の識別処理のうちの少なくとも一方を行うことを特徴とするロボットシステム。 - 生産システムにおいて作業者と混在して生産作業を行うロボットと、
前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、
を含み、
前記ロボット制御部は、
取得された前記撮像情報の、前記作業者の手の甲の形状パターン又は前記作業者の手の甲に設けられた記号情報に基づいて、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記ロボットを制御するために用いるロボット制御コマンドの特定処理及び前記作業者の識別処理のうちの少なくとも一方を行うことを特徴とするロボットシステム。 - 生産システムにおいて作業者と混在して生産作業を行うロボットと、
前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、
表示画像を表示する表示部の表示制御を行う表示制御部として、
コンピューターを機能させ、
前記ロボット制御部は、
取得された前記撮像情報に基づいて前記作業者のジェスチャーを特定し、特定した前記ジェスチャーに関連付けられたロボット制御コマンドを特定し、
前記表示制御部は、
前記ロボット制御部が特定した前記ロボット制御コマンドの内容を表示する記号画像が、前記作業者の手に対応する位置に配置された通知画像を、前記表示部に表示する制御を行うことを特徴とするプログラム。 - 生産システムにおいて作業者と混在して生産作業を行うロボットと、
前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報に基づいて前記ロボットを制御するロボット制御部として、
コンピューターを機能させ、
前記ロボット制御部は、
取得された前記撮像情報の、前記作業者の手の甲の形状パターン又は前記作業者の手の甲に設けられた記号情報に基づいて、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記
ロボットを制御するために用いるロボット制御コマンドの特定処理及び前記作業者の識別処理のうちの少なくとも一方を行うことを特徴とするプログラム。 - 作業者と混在して生産作業を行うロボットと、
前記作業者を撮像する撮像部と、
前記撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、
表示画像を表示する表示部と、
前記表示部の表示制御を行う表示制御部と、
を含み、
前記ロボット制御部は、
取得された前記撮像情報に基づいて前記作業者のジェスチャーを検出し、検出した前記ジェスチャーに関連付けられたロボット制御コマンドを特定し、
前記表示制御部は、
前記ロボット制御部が特定した前記ロボット制御コマンドの内容を表示する記号画像が、前記作業者の手に対応する位置に配置された通知画像を、を前記作業者へ通知する通知画像を前記表示部に表示する制御を行うことを特徴とする生産システム。 - 作業者からの指示を含むロボット制御コマンドに基づいて動作するロボットであって、
前記作業者を撮像して撮像情報を取得し、
取得された前記撮像情報を前記ロボット制御コマンドに変換して動作し、
前記作業者が前記ロボット制御コマンドの内容を確認するための前記作業者の手に対応する位置に配置された通知画像を表示部に表示することを特徴とするロボット。 - 請求項19において、
取得された前記撮像情報から前記作業者の手の形状パターン、手の位置及び手の動きのうちの少なくとも一つを検出したパターンをハンドパターンとし、前記ハンドパターンを前記ロボット制御コマンドに変換することを特徴とするロボット。 - 請求項19又は20のいずれかにおいて、
取得された前記撮像情報から、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記ロボット制御コマンドへの変換及び前記作業者の識別のうちの少なくとも一方を行うことを特徴とするロボット。 - 請求項19乃至21のいずれかにおいて、
前記通知画像は、
前記ロボット制御コマンドの内容を表す記号画像を含むことを特徴とするロボット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012258233A JP6221224B2 (ja) | 2012-11-27 | 2012-11-27 | ロボットシステム、プログラム、生産システム及びロボット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012258233A JP6221224B2 (ja) | 2012-11-27 | 2012-11-27 | ロボットシステム、プログラム、生産システム及びロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014104527A JP2014104527A (ja) | 2014-06-09 |
JP6221224B2 true JP6221224B2 (ja) | 2017-11-01 |
Family
ID=51026454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012258233A Active JP6221224B2 (ja) | 2012-11-27 | 2012-11-27 | ロボットシステム、プログラム、生産システム及びロボット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6221224B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105334851A (zh) * | 2014-08-12 | 2016-02-17 | 深圳市银星智能科技股份有限公司 | 一种可感应手势的移动设备 |
DE102015209900A1 (de) * | 2015-05-29 | 2016-12-01 | Kuka Roboter Gmbh | Verfahren zum Bestimmen eines Bahnpunktes |
WO2017033353A1 (ja) * | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | 遠隔操作ロボットシステム |
JP6910628B2 (ja) * | 2016-07-26 | 2021-07-28 | 公立大学法人会津大学 | ロボットを操作する装置、その装置において実行される方法およびプログラム。 |
JP6883392B2 (ja) * | 2016-07-29 | 2021-06-09 | 川崎重工業株式会社 | ロボットシステム |
DE102016221861B4 (de) | 2016-11-08 | 2022-05-05 | Volkswagen Aktiengesellschaft | Einrichtung und Verfahren zur Einwirkung auf Gegenstände |
JP6851570B2 (ja) * | 2017-11-06 | 2021-03-31 | 邦夫 戸熊 | ロボット作業と人作業の相互交換可能な加工組立方法 |
CN108491767B (zh) * | 2018-03-06 | 2022-08-09 | 北京因时机器人科技有限公司 | 基于在线视频感知的自主滚动响应方法、系统和机械手 |
JP6625266B1 (ja) * | 2018-03-23 | 2019-12-25 | 三菱電機株式会社 | ロボット制御装置 |
JP6916157B2 (ja) * | 2018-10-23 | 2021-08-11 | ファナック株式会社 | 人と協働作業を行うロボットシステム、及びロボット制御方法 |
CN109732606A (zh) * | 2019-02-13 | 2019-05-10 | 深圳大学 | 机械臂的远程控制方法、装置、系统及存储介质 |
JP2020142344A (ja) * | 2019-03-08 | 2020-09-10 | トヨタ自動車株式会社 | 環境監視システム |
US20220203531A1 (en) * | 2019-04-17 | 2022-06-30 | Sony Group Corporation | Robot, transmission method, and transmission estimation method |
DE102019115763A1 (de) * | 2019-06-11 | 2020-12-17 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zum Betreiben eines Human Machine Interface |
CN112894820A (zh) * | 2021-01-29 | 2021-06-04 | 清华大学深圳国际研究生院 | 柔性机械臂遥操作人机交互装置及系统 |
CN117021117B (zh) * | 2023-10-08 | 2023-12-15 | 电子科技大学 | 一种基于混合现实的移动机器人人机交互与定位方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000202790A (ja) * | 1999-01-14 | 2000-07-25 | Sharp Corp | ロボット装置 |
JP2003080482A (ja) * | 2001-09-07 | 2003-03-18 | Yaskawa Electric Corp | ロボット教示装置 |
JP5464514B2 (ja) * | 2009-08-21 | 2014-04-09 | 公立大学法人首都大学東京 | ロボット制御装置、ロボット制御方法、ロボット制御プログラム、及びロボット |
JP2011221699A (ja) * | 2010-04-07 | 2011-11-04 | Yaskawa Electric Corp | 操作指示認識装置及びロボット |
-
2012
- 2012-11-27 JP JP2012258233A patent/JP6221224B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014104527A (ja) | 2014-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6221224B2 (ja) | ロボットシステム、プログラム、生産システム及びロボット | |
US9323343B2 (en) | Information processing method and information processing apparatus | |
JP6030430B2 (ja) | 制御装置、車両及び携帯端末 | |
US10678329B2 (en) | Line-of-sight input device, and method of line-of-sight input | |
ES2761248T3 (es) | Manejo sin contacto de estación de trabajo del instrumento de ablación mediante el uso de sensores de profundidad | |
KR101331655B1 (ko) | 전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체 | |
CN103207670A (zh) | 利用深度传感器进行无接触操作的装置 | |
US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
JP6498802B1 (ja) | 生体情報解析装置及びその顔型のシミュレーション方法 | |
JP2014134383A (ja) | 三次元測定装置、入力方法及びプログラム | |
US10133900B2 (en) | Controlling the output of contextual information using a computing device | |
JP2020019127A (ja) | 協調動作支援装置 | |
JP2018109557A (ja) | 位置検出装置、物体検知センサ、位置検出システム、位置検出方法及び位置検出プログラム | |
CN105228286B (zh) | 一种非接触式人体控制的灯具控制系统及方法 | |
JP6289655B2 (ja) | 画面操作装置及び画面操作方法 | |
JP2019202354A (ja) | ロボット制御装置、ロボット制御方法及びロボット制御プログラム | |
JP5631700B2 (ja) | 影画像表示システム、影画像表示方法、及び影画像表示プログラム | |
JP2019028968A (ja) | 頬紅領域を標示可能な生体情報解析装置 | |
JP4972013B2 (ja) | 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体 | |
JP7331462B2 (ja) | ロボットシステム、ロボット制御方法及び電子装置 | |
KR20170116554A (ko) | 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치 | |
JP7427937B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR20190084562A (ko) | 전자 장치 및 그 제어 방법 | |
JP6079418B2 (ja) | 入力装置および入力プログラム | |
Montanini et al. | Real time message composition through head movements on portable Android devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151119 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160609 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160921 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6221224 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |