JP7239916B2 - 遠隔操作システム、情報処理方法、及びプログラム - Google Patents
遠隔操作システム、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7239916B2 JP7239916B2 JP2020521223A JP2020521223A JP7239916B2 JP 7239916 B2 JP7239916 B2 JP 7239916B2 JP 2020521223 A JP2020521223 A JP 2020521223A JP 2020521223 A JP2020521223 A JP 2020521223A JP 7239916 B2 JP7239916 B2 JP 7239916B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- slave robot
- posture
- motion
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B25J13/084—Tactile sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、遠隔操作システムSの構成要素の外観を模式的に示す図である。また、図2は、遠隔操作システムSの構成要素と、各構成要素間でやり取りされる情報の流れを模式的に示す図である。以下、図1及び図2を参照して、遠隔操作システムSの概要についてまず説明する。
以上を踏まえ、実施の形態に係る制御装置1について説明する。
図3は、実施の形態に係る制御装置1の機能構成を模式的に示す図である。制御装置1は、通信部10、記憶部11、及び制御部12を備える。
図8は、実施の形態に係る制御装置1が実行する同期開始時の処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えばキャプチャ装置4が起動したことを示す情報を制御装置1が受信したときに開始する。
以上説明したように、実施の形態に係る制御装置1によれば、遠隔操作システムSのスレーブロボットRの動作と操作者Uの動作との同期を開始する際に操作者Uが感じる感覚の不一致を低減することができる。
上記では、映像制御部124が、スレーブロボットRの動作と操作者Uの動作との同期開始時に連結用マーカをヘッドマウントディスプレイ2aに表示させる場合について説明した。これに替えて、あるいはこれに加えて、例えば操作者Uが同期開始のために取るべき姿勢を記載した文章やイラストをヘッドマウントディスプレイに表示させてり、矢印等のアイコンによるガイダンス映像をヘッドマウントディスプレイに表示させたりしてもよい。
上記では、スレーブロボットRの動作と操作者Uの動作との同期開始時及び同期終了時に、連結情報提示部126が音声又は映像でガイダンス情報を操作者Uに提示する場合について説明した。これに替えて、あるいはこれに加えて、連結情報提示部126は、触覚によるガイダンスを操作者Uに提示してもよい。この場合、連結情報提示部126は、例えば操作者Uの姿勢がスレーブロボットRの姿勢と操作者Uの姿勢とを合わせるために操作者が取るべき姿勢に近づくほど、操作者Uに提示する触覚が小さくなるような信号を触覚信号生成部125に生成させればよい。
上記では、映像制御部124が、スレーブロボットRの動作と操作者Uの動作との同期終了時に、切断用マーカをヘッドマウントディスプレイ2aに表示させる場合について説明した。これに替えて、あるいはこれに加えて、制御装置1が操作者Uの発話による切断指示を受信することを契機として、スレーブロボットRの動作と操作者Uの動作との同期を終了するようにしてもよい。
1台のスレーブロボットRを複数の操作者Uで順番に操作するような場合には、スレーブロボットRを操作中の操作者Uに代わって、別の操作者UがスレーブロボットRの操作権を受け継ぐことがある。この場合、操作権を受け継ぐ操作者UがスレーブロボットRと同期しようとするとき、スレーブロボットRは前の操作者Uの動作に同期して動いていることもあり得る。
上記では、操作者Uの身体の動きを取得するためのキャプチャ装置4が、例えば赤外線又は可視光を用いたカメラで操作者Uの身体に取り付けられたトラッキング用のマーカを撮像する「outside-in」タイプのモーションキャプチャ装置である場合について説明した。これに替えて、あるいはこれに加えて、キャプチャ装置4は、操作者Uに取り付けられたカメラ(例えばヘッドマウントディスプレイ2aが備えるカメラ)が撮像した映像を解析して操作者Uの身体の動きを取得する「inside-out」タイプのモーションキャプチャ装置であってもよい。
上記では、姿勢比較部122が、スレーブロボットRと操作者Uとを仮想的に重ね合わせたときに、少なくともスレーブロボットRの頭部の位置と操作者Uの頭部の位置との差異Eと、スレーブロボットRの手部の位置と操作者Uの手部の位置との差異Eとの和を、姿勢誤差として取得する場合について説明した。ここで、姿勢比較部122は、操作者Uの身体の姿勢を示す信号に基づいて操作者Uの姿勢モデルをシミュレーションによって生成し、姿勢モデルとスレーブロボットRの姿勢とを比較して姿勢誤差を取得してもよい。
上記では、操作者Uの動きとスレーブロボットRの動きとの同期を開始する前に、操作者Uが動くことによって操作者Uの姿勢とスレーブロボットRの姿勢との間の姿勢誤差を小さくすることについて主に説明した。これに替えて、あるいはこれに加えて、操作者Uの動きとスレーブロボットRの動きとの同期を開始する前に、スレーブロボットRが動くことによって姿勢誤差を小さくしてもよい。
10・・・通信部
11・・・記憶部
12・・・制御部
120・・・受信制御部
121・・・送信制御部
122・・・姿勢比較部
123・・・動作連結部
124・・・映像制御部
125・・・触覚信号生成部
126・・・連結情報提示部
127・・・音声制御部
2・・・提示装置
2a・・・ヘッドマウントディスプレイ
2b・・・触覚提示装置
2c・・・ヘッドフォン
2d・・・撮像素子
3・・・センサ
3a・・・撮像素子
3b・・・触覚センサ
3c・・・マイクロフォン
4・・・キャプチャ装置
N・・・通信ネットワーク
R・・・スレーブロボット
S・・・遠隔操作システム
Claims (11)
- 操作者の姿勢の変化に連動して動作するスレーブロボットと、
前記操作者の身体の姿勢を示す信号を取得するキャプチャ装置と、
制御装置と、を備え、
前記制御装置は、
前記スレーブロボットから当該スレーブロボットの姿勢を示す信号を受信するとともに、前記キャプチャ装置から前記操作者の身体の姿勢を示す信号を受信する受信制御部と、
前記スレーブロボットの姿勢と前記操作者の姿勢との差異を示す姿勢誤差を取得する姿勢比較部と、
前記姿勢誤差が所定の閾範囲内となることを条件として、前記操作者の姿勢の変化に基づいて生成された前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信する動作連結部と、
前記操作者の動きと前記スレーブロボットの動きとの同期を開始する前に前記姿勢誤差を小さくするために前記スレーブロボットが動いている間、前記操作者に姿勢を静止していることを促すための情報を前記操作者に提示する連結情報提示部と、を備える、
遠隔操作システム。 - 前記遠隔操作システムは、前記操作者の頭部に取り付けられたとき映像を前記操作者に提示するためのヘッドマウントディスプレイをさらに備え、
前記制御装置は、前記ヘッドマウントディスプレイに表示させる映像を制御する映像制御部をさらに備え、
前記映像制御部は、前記動作連結部が前記動作信号を前記スレーブロボットに送信する前に、前記スレーブロボットの姿勢と前記操作者の姿勢とを合わせるために前記操作者が取るべき姿勢に誘導するためのガイド映像を生成する、
請求項1に記載の遠隔操作システム。 - 前記映像制御部は、前記動作連結部が前記スレーブロボットに前記動作信号を送信している間は、前記スレーブロボットが備える撮像素子が撮像した映像を前記ヘッドマウントディスプレイに表示させる、
請求項2に記載の遠隔操作システム。 - 前記映像制御部は、前記スレーブロボットの頭部に備えられた撮像素子が撮像する映像が前記ヘッドマウントディスプレイに表示された場合に前記操作者によって前記スレーブロボットの手部が知覚される位置に仮想的な連結用マーカが表示されるように、前記ガイド映像を生成する、
請求項2又は3に記載の遠隔操作システム。 - 前記遠隔操作システムは、前記操作者の手部に取り付けられたとき、前記スレーブロボットの手部に備えられた触覚センサが取得した触覚情報を前記操作者の手部に提示するための触覚提示装置をさらに備え、
前記制御装置は、前記触覚提示装置を動作させるための触覚提示信号を生成する触覚信号生成部をさらに備え、
前記触覚信号生成部は、前記映像における前記操作者の手部の位置と前記連結用マーカの表面の位置とが重なることを条件として、前記触覚提示信号を生成する、
請求項4に記載の遠隔操作システム。 - 前記映像制御部は、前記操作者の動作と前記スレーブロボットの動作との同期を切断するための仮想的な切断用マーカを生成し、
前記動作連結部は、前記映像における前記操作者の手部の位置と前記切断用マーカの表面の位置とが重なることを条件として、前記スレーブロボットへの前記動作信号の送信を停止する、
請求項2から5のいずれか一項に記載の遠隔操作システム。 - 前記動作連結部は、前記姿勢誤差が所定の閾範囲内となる状態が所定の期間経過することを条件として、前記動作信号を前記スレーブロボットに送信する、
請求項1から6のいずれか一項に記載の遠隔操作システム。 - 前記動作連結部は、前記姿勢比較部が取得した姿勢誤差が所定の閾範囲内となるように、前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信する、
請求項1に記載の遠隔操作システム。 - 前記スレーブロボットは、前記操作者の頭部及び手部にそれぞれ対応する頭部及び手部を少なくとも備える人型ロボットであり、
前記姿勢比較部は、前記スレーブロボットと前記操作者とを仮想的に重ね合わせたときに、前記スレーブロボットの頭部の位置と前記操作者の頭部の位置との差異と前記スレーブロボットの手部の位置と前記操作者の手部の位置との差異との和を、前記姿勢誤差として取得する、
請求項1から8のいずれか一項に記載の遠隔操作システム。 - 操作者の姿勢の変化に連動して動作するスレーブロボットと、前記操作者の身体の姿勢を示す信号を取得するキャプチャ装置と、制御装置と、を備える遠隔操作システムにおける前記制御装置が備えるプロセッサが、
前記スレーブロボットから当該スレーブロボットの姿勢を示す信号を受信するステップと、
前記キャプチャ装置から前記操作者の身体の姿勢を示す信号を受信するステップと、
前記スレーブロボットの姿勢と前記操作者の姿勢との差異を示す姿勢誤差を取得するステップと、
前記姿勢誤差が所定の閾範囲内となることを条件として、前記操作者の姿勢の変化に基づいて生成された前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信するステップと、
前記操作者の動きと前記スレーブロボットの動きとの同期を開始する前に前記姿勢誤差を小さくするために前記スレーブロボットが動いている間、前記操作者に姿勢を静止していることを促すための情報を前記操作者に提示するステップと、
を実行する情報処理方法。 - 操作者の姿勢の変化に連動して動作するスレーブロボットと、前記操作者の身体の姿勢を示す信号を取得するキャプチャ装置と、制御装置と、を備える遠隔操作システムにおける前記制御装置に、
前記スレーブロボットから当該スレーブロボットの姿勢を示す信号を受信する機能と、
前記キャプチャ装置から前記操作者の身体の姿勢を示す信号を受信する機能と、
前記スレーブロボットの姿勢と前記操作者の姿勢との差異を示す姿勢誤差を取得する機能と、
前記姿勢誤差が所定の閾範囲内となることを条件として、前記操作者の姿勢の変化に基づいて生成された前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信する機能と、
前記操作者の動きと前記スレーブロボットの動きとの同期を開始する前に前記姿勢誤差を小さくするために前記スレーブロボットが動いている間、前記操作者に姿勢を静止していることを促すための情報を前記操作者に提示する機能と、
を実現させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097145 | 2018-05-21 | ||
JP2018097145 | 2018-05-21 | ||
PCT/JP2019/019930 WO2019225548A1 (ja) | 2018-05-21 | 2019-05-20 | 遠隔操作システム、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019225548A1 JPWO2019225548A1 (ja) | 2021-06-17 |
JP7239916B2 true JP7239916B2 (ja) | 2023-03-15 |
Family
ID=68616945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020521223A Active JP7239916B2 (ja) | 2018-05-21 | 2019-05-20 | 遠隔操作システム、情報処理方法、及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US12017351B2 (ja) |
EP (1) | EP3797931B1 (ja) |
JP (1) | JP7239916B2 (ja) |
KR (1) | KR102678682B1 (ja) |
CN (1) | CN112154047A (ja) |
WO (1) | WO2019225548A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11420331B2 (en) * | 2019-07-03 | 2022-08-23 | Honda Motor Co., Ltd. | Motion retargeting control for human-robot interaction |
US20210252699A1 (en) * | 2019-09-18 | 2021-08-19 | Purdue Research Foundation | System and method for embodied authoring of human-robot collaborative tasks with augmented reality |
CN112936269B (zh) * | 2021-02-04 | 2022-07-08 | 珠海一微半导体股份有限公司 | 一种基于智能终端的机器人控制方法 |
EP4319145A1 (en) * | 2021-03-23 | 2024-02-07 | JVCKenwood Corporation | Remotely controlled device, image display device, and video display control method |
CN114227679B (zh) * | 2021-12-17 | 2023-07-25 | 深圳市金大智能创新科技有限公司 | 一种基于数字化虚拟人驱动的远程机器人控制方法及系统 |
JPWO2023188104A1 (ja) * | 2022-03-30 | 2023-10-05 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003053685A (ja) | 2001-08-10 | 2003-02-26 | Toshiba Corp | 医療用マニピュレータ |
US20130211592A1 (en) | 2012-02-15 | 2013-08-15 | Samsung Electronics Co., Ltd. | Tele-operation system and control method thereof |
WO2018061683A1 (ja) | 2016-09-30 | 2018-04-05 | ソニー株式会社 | 力覚提示装置 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60126985A (ja) * | 1983-12-13 | 1985-07-06 | Agency Of Ind Science & Technol | 遠隔操作における作業状況表示装置 |
JPH0550382A (ja) * | 1991-08-23 | 1993-03-02 | Fuji Electric Co Ltd | マスタ・スレーブマニピユレータの起動方法 |
JPH08117238A (ja) * | 1994-10-25 | 1996-05-14 | Olympus Optical Co Ltd | 手術用マニピュレータ |
US6120433A (en) | 1994-09-01 | 2000-09-19 | Olympus Optical Co., Ltd. | Surgical manipulator system |
JPH08257948A (ja) * | 1995-03-20 | 1996-10-08 | Yaskawa Electric Corp | ロボットの遠隔操作装置 |
JPH0966476A (ja) * | 1995-08-29 | 1997-03-11 | Hitachi Ltd | 感触再現装置及びこれを用いたマニピュレータシステム |
JP2001198865A (ja) * | 2000-01-20 | 2001-07-24 | Toshiba Corp | 2足歩行ロボット装置およびその運用方法 |
US20070233318A1 (en) * | 2006-03-29 | 2007-10-04 | Tianmo Lei | Follow Robot |
US8517834B2 (en) | 2009-02-17 | 2013-08-27 | Softkinetic Studios Sa | Computer videogame system with body position detector that requires user to assume various body positions |
WO2012029227A1 (ja) * | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、制御プログラム、並びに、集積電子回路 |
JP2012171088A (ja) * | 2011-02-24 | 2012-09-10 | Olympus Corp | マスタ操作入力装置及びマスタスレーブマニピュレータ |
US9259289B2 (en) * | 2011-05-13 | 2016-02-16 | Intuitive Surgical Operations, Inc. | Estimation of a position and orientation of a frame used in controlling movement of a tool |
US9770828B2 (en) * | 2011-09-28 | 2017-09-26 | The Johns Hopkins University | Teleoperative-cooperative robotic system |
US9573276B2 (en) | 2012-02-15 | 2017-02-21 | Kenneth Dean Stephens, Jr. | Space exploration with human proxy robots |
US9975248B2 (en) | 2012-03-21 | 2018-05-22 | Kenneth Dean Stephens, Jr. | Replicating the remote environment of a proxy robot |
EP3242774B1 (en) * | 2015-01-09 | 2019-03-13 | Titan Medical Inc. | Alignment difference safety in a master-slave robotic system |
US9852546B2 (en) * | 2015-01-28 | 2017-12-26 | CCP hf. | Method and system for receiving gesture input via virtual control objects |
US9643314B2 (en) * | 2015-03-04 | 2017-05-09 | The Johns Hopkins University | Robot control, training and collaboration in an immersive virtual reality environment |
WO2016194539A1 (ja) | 2015-05-29 | 2016-12-08 | オリンパス株式会社 | 医療用マニピュレータシステム |
JP6206854B2 (ja) * | 2015-12-29 | 2017-10-04 | 株式会社コナミデジタルエンタテインメント | ゲーム制御装置及びプログラム |
WO2017192829A1 (en) * | 2016-05-04 | 2017-11-09 | Worcester Polytechnic Institute | Haptic gloves as a wearable force feedback user interface |
JP6931585B2 (ja) * | 2017-10-02 | 2021-09-08 | 株式会社オカムラ | 作業システム、作業システムの制御方法及びプログラム |
KR102239469B1 (ko) * | 2018-01-19 | 2021-04-13 | 한국과학기술원 | 객체 제어 방법 및 객체 제어 장치 |
-
2019
- 2019-05-20 CN CN201980034293.6A patent/CN112154047A/zh active Pending
- 2019-05-20 JP JP2020521223A patent/JP7239916B2/ja active Active
- 2019-05-20 WO PCT/JP2019/019930 patent/WO2019225548A1/ja unknown
- 2019-05-20 KR KR1020207032490A patent/KR102678682B1/ko active IP Right Grant
- 2019-05-20 EP EP19808432.9A patent/EP3797931B1/en active Active
-
2020
- 2020-11-19 US US16/953,013 patent/US12017351B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003053685A (ja) | 2001-08-10 | 2003-02-26 | Toshiba Corp | 医療用マニピュレータ |
US20130211592A1 (en) | 2012-02-15 | 2013-08-15 | Samsung Electronics Co., Ltd. | Tele-operation system and control method thereof |
WO2018061683A1 (ja) | 2016-09-30 | 2018-04-05 | ソニー株式会社 | 力覚提示装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112154047A (zh) | 2020-12-29 |
EP3797931A4 (en) | 2021-07-28 |
KR20210013042A (ko) | 2021-02-03 |
EP3797931A1 (en) | 2021-03-31 |
US12017351B2 (en) | 2024-06-25 |
JPWO2019225548A1 (ja) | 2021-06-17 |
US20210069894A1 (en) | 2021-03-11 |
KR102678682B1 (ko) | 2024-06-25 |
EP3797931B1 (en) | 2023-08-02 |
WO2019225548A1 (ja) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7239916B2 (ja) | 遠隔操作システム、情報処理方法、及びプログラム | |
JP7190434B2 (ja) | 外部条件に基づくウェアラブルディスプレイデバイスの自動制御 | |
JP7095602B2 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
JP6538961B2 (ja) | 制御装置 | |
JP2022549853A (ja) | 共有空間内の個々の視認 | |
US11086392B1 (en) | Devices, systems, and methods for virtual representation of user interface devices | |
JP6601402B2 (ja) | 制御装置、制御方法およびプログラム | |
Tachi | Telexistence: Enabling humans to be virtually ubiquitous | |
US20190384404A1 (en) | Virtual reality | |
JP6822410B2 (ja) | 情報処理システム及び情報処理方法 | |
CN113892075A (zh) | 用于人工现实系统的拐角识别手势驱动的用户界面元素选通 | |
JP6822413B2 (ja) | サーバ装置及び情報処理方法、並びにコンピュータ・プログラム | |
WO2021246134A1 (ja) | デバイス、制御方法及びプログラム | |
Tachi | From 3D to VR and further to telexistence | |
JPWO2021059359A1 (ja) | アニメーション制作システム | |
KR102152595B1 (ko) | 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템 | |
US20230359422A1 (en) | Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques | |
US20230325002A1 (en) | Techniques for neuromuscular-signal-based detection of in-air hand gestures for text production and modification, and systems, wearable devices, and methods for using these techniques | |
WO2021145068A1 (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム | |
CN111258482B (zh) | 信息分享方法、头戴式设备及介质 | |
KR20170045678A (ko) | Hmd를 이용한 아바타 장치 | |
JP2017199085A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2018216327A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Inoue et al. | Enhancing bodily expression and communication capacity of telexistence robot with augmented reality | |
US20240192766A1 (en) | Controlling locomotion within an artificial-reality application using hand gestures, and methods and systems of use thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220325 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7239916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |