JP7535968B2 - ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム - Google Patents
ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム Download PDFInfo
- Publication number
- JP7535968B2 JP7535968B2 JP2021061151A JP2021061151A JP7535968B2 JP 7535968 B2 JP7535968 B2 JP 7535968B2 JP 2021061151 A JP2021061151 A JP 2021061151A JP 2021061151 A JP2021061151 A JP 2021061151A JP 7535968 B2 JP7535968 B2 JP 7535968B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- operator
- unit
- manipulator
- reference position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000033001 locomotion Effects 0.000 claims description 36
- 230000007613 environmental effect Effects 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 24
- 230000037237 body shape Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000004886 head movement Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
(2)~(5)によれば、スケールの異なるロボットに対しても自然な動作で操作を行えるようになる。
(3)~(5)によれば、操作量に対する視覚情報の違和感を改善することができる。
(4)~(5)によれば、慎重な操作が可能となる。
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図1は、本実施形態に係るロボット遠隔操作制御システム1の概要と作業の概要を示す図である。図1のように、操作者Usは、例えばHMD(ヘッドマウントディスプレイ)(画像表示装置)5とコントローラー6を装着している。作業環境には、環境センサ7(7a、7b)が設置されている。なお、環境センサ7は、ロボット2に取り付けられていてもよい。また、ロボット2は、把持部222(222a、222b)を備える。環境センサ7(7a、7b)は、後述するように例えばRGBカメラと深度センサを備えている。操作者Usは、HMD5に表示された画像を見ながらコントローラー6を装着している手や指を動かすことで、ロボット2を遠隔操作する。本実施形態では、例えばロボットの起動時に操作者操作環境とロボット動作環境のキャリブレーションを行う。また、本実施形態では、例えばロボットの起動時に操作者の体形(例えば腕の長さ)を計測し、ロボットとの比率を求め、ロボットへの入力(操作デバイスの移動量)をスケーリングする。
次に、ロボット遠隔操作制御システム1の構成例を説明する。
図2は、本実施形態に係るロボット遠隔操作制御システム1の構成例を示すブロック図である。図2のように、ロボット遠隔操作制御システム1は、ロボット2、ロボット遠隔操作制御装置3、HMD5(画像表示装置)、コントローラー6、および環境センサ7を備える。
ロボット遠隔操作制御装置3は、例えば、情報取得部31、位置合わせ部33、意図推定部34、制御指令生成部35、画像作成部36、送信部37、および記憶部38を備える。
位置合わせ部33は、計測部331、比率算出部332、および座標合わせ部333を備える。
次に、本実施形態におけるロボット遠隔操作制御システムの機能例を、図2~図4を参照しつつ説明する。
HMD5は、ロボット遠隔操作制御装置3から受信したロボットの状態画像を表示する。HMD5は、操作者の視線の動き等を検出し、検出した視線情報(操作者センサ値)をロボット遠隔操作制御装置3に送信する。
本実施形態では、例えばロボット2の起動時に操作者操作環境とロボット動作環境のキャリブレーションを行う例を説明する。
次に、ロボット遠隔操作制御装置3の処理手順を説明する。
図5は、本実施形態に係るロボット遠隔操作制御装置3のキャリブレーション処理手順のフローチャートである。
本実施形態では、例えばロボット2の起動時に操作者の体形(例えば腕の長さ)を計測し、ロボットとの比率を求め、ロボット2への入力(操作デバイスの移動量)をスケーリングする例を説明する。
計測部331は、例えば、ロボット2の起動時に、環境センサ7が計測した位置情報を用いて、操作者の体形(例えば、身長h1、腕の長さIU、手の長さAU等)を計測する。なお、腕の長さIUは、例えば、上腕と前腕の長さの合計である。腕の長さIUは、手の長さAUを含んでいてもよい。
計測部331が計測する箇所は、少なくとも操作者の腕の長さであり、身長h1や手の長さAUも測定するようにしてもよい。計測部331は、他に腕の幅、頭部の大きさ等も計測するようにしてもよい。
次に、ロボット遠隔操作制御装置3の処理手順を説明する。
図8は、本実施形態に係るロボット遠隔操作制御装置3の処理手順のフローチャートである。
なお、ロボット2への入力のみスケーリングを行うと視覚的に操作の違和感を感じる(自分が伸ばした以上にロボットの腕が伸びるので感覚がずれる)。このため、本実施形態では、視覚情報(例えば視線情報)も同様にスケーリングするようにした。すなわち、本実施形態では、制御指令に対する比率と、HMD5に表示させる画像に対する比率を同じにした。
また、本実施形態によれば、操作量に対する視覚情報の違和感を改善することができる。
Claims (8)
- 操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
前記操作者が装着しているデバイスの中心を操作の基準位置とし、前記操作者の見ている操作画面方向を操作の基準姿勢とし、前記ロボットのマニピュレータの中心をロボット動作の基準位置とする位置合わせ部と、
前記操作の基準位置と前記ロボット動作の基準位置とに基づく前記ロボットのマニピュレータの相対位置姿勢を前記ロボットへの入力とし、前記操作の基準位置と前記操作の基準姿勢とに基づく前記デバイスの相対位置姿勢を前記操作者の視点とするキャリブレーション処理後に、前記デバイスに取り付けられているセンサが検出する第1センサ値と前記ロボットの作業環境に設置される環境センサが検出する物体位置情報とによって推定される前記操作者の意図と、前記マニピュレータに取り付けられているセンサが検出する第2センサ値と、前記物体位置情報とに基づいて、前記ロボットへの制御指令を生成する制御指令生成部と、を備え、
前記位置合わせ部は、計測部と、座標合わせ部とを備え、
前記計測部は、前記キャリブレーション処理を行う際に、前記第1センサ値と前記第2センサ値とを用いて、前記操作者が装着しているデバイスに対する座標系の原点と、前記マニピュレータに対する座標系の原点とを検出し、
前記座標合わせ部は、前記計測部が検出した結果を用いて、前記操作者が装着しているデバイスに対する座標系と前記マニピュレータに対する座標系との位置合わせを行い、前記デバイスの中心を前記操作の基準位置とし、前記操作画面方向を前記操作の基準姿勢とし、前記マニピュレータの中心を前記ロボット動作の基準位置とする、
ロボット遠隔操作制御装置。 - 前記位置合わせ部は、前記操作者の少なくとも腕の長さを含む体形を計測し、前記ロボットの体型との比率を算出し、
前記制御指令生成部は、前記比率を用いて前記ロボットへの前記制御指令をスケーリングする、
請求項1に記載のロボット遠隔操作制御装置。 - 前記操作者が装着する画像表示装置に表示させる表示画像を生成する画像作成部を更に備え、
前記制御指令生成部は、前記制御指令に対する比率と同じ比率を用いて、前記表示画像をスケーリングする、
請求項2に記載のロボット遠隔操作制御装置。 - 前記制御指令生成部は、前記比率を前記操作者の指示に応じて変更する、
請求項2に記載のロボット遠隔操作制御装置。 - 前記制御指令生成部は、前記比率を操作状況に応じて変更する、
請求項2に記載のロボット遠隔操作制御装置。 - 操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
請求項1から請求項5のうちのいずれか1つに記載の前記ロボット遠隔操作制御装置と、
物体を把持する把持部と、
前記操作者の視界にあるロボット環境の画像を表示する画像表示装置と、
を備えるロボット遠隔操作制御システム。 - 操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
位置合わせ部が、前記操作者が装着しているデバイスの中心を操作の基準位置とし、前記操作者の見ている操作画面方向を操作の基準姿勢とし、前記ロボットのマニピュレータの中心をロボット動作の基準位置とし、
制御指令生成部が、前記操作の基準位置と前記ロボット動作の基準位置とに基づく前記ロボットのマニピュレータの相対位置姿勢を前記ロボットへの入力とし、前記操作の基準位置と前記操作の基準姿勢とに基づく前記デバイスの相対位置姿勢を前記操作者の視点とするキャリブレーション処理後に、前記デバイスに取り付けられているセンサが検出する第1センサ値と前記ロボットの作業環境に設置される環境センサが検出する物体位置情報とによって推定される前記操作者の意図と、前記マニピュレータに取り付けられているセンサが検出する第2センサ値と、前記物体位置情報とに基づいて、前記ロボットへの制御指令を生成し、
前記位置合わせ部が有する計測部が、前記キャリブレーション処理を行う際に、前記第1センサ値と前記第2センサ値とを用いて、前記操作者が装着しているデバイスに対する座標系の原点と、前記マニピュレータに対する座標系の原点とを検出し、
前記位置合わせ部が有する座標合わせ部が、前記計測部が検出した結果を用いて、前記操作者が装着しているデバイスに対する座標系と前記マニピュレータに対する座標系との位置合わせを行い、前記デバイスの中心を前記操作の基準位置とし、前記操作画面方向を前記操作の基準姿勢とし、前記マニピュレータの中心を前記ロボット動作の基準位置とする、
ロボット遠隔操作制御方法。 - 操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
コンピュータに、
前記操作者が装着しているデバイスの中心を操作の基準位置とさせ、
前記操作者の見ている操作画面方向を操作の基準姿勢とさせ、
前記ロボットのマニピュレータの中心をロボット動作の基準位置とさせ、
前記操作の基準位置と前記ロボット動作の基準位置とに基づく前記ロボットのマニピュレータの相対位置姿勢を前記ロボットへの入力とさせ、
前記操作の基準位置と前記操作の基準姿勢とに基づく前記デバイスの相対位置姿勢を前記操作者の視点とするキャリブレーション処理後に、前記デバイスに取り付けられているセンサが検出する第1センサ値と前記ロボットの作業環境に設置される環境センサが検出する物体位置情報とによって推定される前記操作者の意図と、前記マニピュレータに取り付けられているセンサが検出する第2センサ値と、前記物体位置情報とに基づいて、前記ロボットへの制御指令を生成させ、
前記キャリブレーション処理を行う際に、前記第1センサ値と前記第2センサ値とを用いて、前記操作者が装着しているデバイスに対する座標系の原点と、前記マニピュレータに対する座標系の原点とを検出させ、
検出された結果を用いて、前記操作者が装着しているデバイスに対する座標系と前記マニピュレータに対する座標系との位置合わせを行い、前記デバイスの中心を前記操作の基準位置とし、前記操作画面方向を前記操作の基準姿勢とし、前記マニピュレータの中心を前記ロボット動作の基準位置とさせる、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021061151A JP7535968B2 (ja) | 2021-03-31 | 2021-03-31 | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021061151A JP7535968B2 (ja) | 2021-03-31 | 2021-03-31 | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022157110A JP2022157110A (ja) | 2022-10-14 |
JP7535968B2 true JP7535968B2 (ja) | 2024-08-19 |
Family
ID=83558510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021061151A Active JP7535968B2 (ja) | 2021-03-31 | 2021-03-31 | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7535968B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017196678A (ja) | 2016-04-25 | 2017-11-02 | 国立大学法人 千葉大学 | ロボット動作制御装置 |
-
2021
- 2021-03-31 JP JP2021061151A patent/JP7535968B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017196678A (ja) | 2016-04-25 | 2017-11-02 | 国立大学法人 千葉大学 | ロボット動作制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022157110A (ja) | 2022-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10327849B2 (en) | Robotic system and method for backdriving the same | |
JP6678832B2 (ja) | 遠隔制御マニピュレータシステムおよび制御装置 | |
US11344374B2 (en) | Detection of unintentional movement of a user interface device | |
US9052710B1 (en) | Manipulation control based upon mimic of human gestures | |
JP5904635B2 (ja) | 制御装置、制御方法及びロボット装置 | |
US11701770B2 (en) | Robot system and method of controlling robot system | |
JP2013510672A (ja) | 遠隔操作される低侵襲スレーブ手術器具の手による制御のための方法およびシステム | |
JP7535968B2 (ja) | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム | |
EP4316747A1 (en) | Robot remote operation control device, robot remote operation control system, robot remote operation control method, and program | |
JP3884249B2 (ja) | 人間型ハンドロボット用教示システム | |
JP2013043250A (ja) | ロボットアームの制御装置及び制御方法、ロボット、制御プログラム、並びに、集積電子回路 | |
JP2022164028A (ja) | 遠隔操作制御システム、遠隔操作制御方法、およびプログラム | |
JP2022157127A (ja) | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム | |
JP2003211377A (ja) | マニピュレーション動作支援装置及びその支援方法 | |
JP2022155623A (ja) | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム | |
US20220314449A1 (en) | Robot remote operation control device, robot remote operation control system, robot remote operation control method, and non-transitory computer readable medium | |
JP2022157119A (ja) | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム | |
JP7185749B2 (ja) | ロボットシステム及びロボットシステムの制御方法 | |
Fadhilah et al. | Wearable Control Using Feedforward Neural Networks has Been used to Control the Manipulator Arm of Field and Service Robots | |
US20230286139A1 (en) | Remote control system | |
US20240100692A1 (en) | Object gripping method, storage medium, and object gripping control device | |
JP2022157101A (ja) | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム | |
JP2022157123A (ja) | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム | |
JP3424392B2 (ja) | 操縦装置、操縦方法、内視鏡の操縦装置、仮想イメージの操縦装置 | |
WO2020054268A1 (ja) | 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7535968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |