JP7035309B2 - Master-slave system - Google Patents

Master-slave system Download PDF

Info

Publication number
JP7035309B2
JP7035309B2 JP2016234503A JP2016234503A JP7035309B2 JP 7035309 B2 JP7035309 B2 JP 7035309B2 JP 2016234503 A JP2016234503 A JP 2016234503A JP 2016234503 A JP2016234503 A JP 2016234503A JP 7035309 B2 JP7035309 B2 JP 7035309B2
Authority
JP
Japan
Prior art keywords
master
slave robot
weight amount
slave
voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016234503A
Other languages
Japanese (ja)
Other versions
JP2018089736A (en
Inventor
智久 森平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016234503A priority Critical patent/JP7035309B2/en
Publication of JP2018089736A publication Critical patent/JP2018089736A/en
Application granted granted Critical
Publication of JP7035309B2 publication Critical patent/JP7035309B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、バイラテラル制御を行うマスタスレーブシステムに関する。 The present invention relates to a master-slave system that performs bilateral control.

操作者が操作を行うマスタ操作手段と、マスタ操作手段と離れた位置に配置されたスレーブロボットと、マスタ操作手段の動作に応じてスレーブロボットを動作させるバイラテラル制御を行う制御手段と、を備えるマスタスレーブシステムが知られている(例えば、特許文献1参照)。 It includes a master operating means for the operator to operate, a slave robot located at a position away from the master operating means, and a control means for performing bilateral control to operate the slave robot according to the operation of the master operating means. Master-slave systems are known (see, for example, Patent Document 1).

特開2016-022559号公報Japanese Unexamined Patent Publication No. 2016-022559

ところで、上述したバイラテラル制御では、操作者は、高い操作自由度で直感的にスレーブロボットを操作できる。しかし、未熟な操作者は、そのバイラテラル制御の高い操作自由度によって、スレーブロボットを誤操作する虞がある。 By the way, in the above-mentioned bilateral control, the operator can intuitively operate the slave robot with a high degree of freedom of operation. However, an inexperienced operator may erroneously operate the slave robot due to the high degree of freedom of operation of the bilateral control.

本発明は、かかる課題を解決するためになされたものであり、未熟な操作者でも、スレーブロボットを正確に操作することができるマスタスレーブシステムを提供することを主たる目的とする。 The present invention has been made to solve such a problem, and it is a main object of the present invention to provide a master-slave system capable of accurately operating a slave robot even by an inexperienced operator.

上記目的を達成するための本発明の一態様は、
操作者が操作を行うマスタ操作手段と、
前記マスタ操作手段と離れた位置に配置されたスレーブロボットと、
前記マスタ操作手段の動作に応じて前記スレーブロボットを動作させるバイラテラル制御を行う制御手段と、を備えるマスタスレーブシステムであって、
前記スレーブロボットが動作する際の目標となる目標軌道を記憶する記憶手段を備え、
前記制御手段は、前記スレーブロボットが前記記憶手段に記憶された目標軌道から逸脱すると、前記マスタ操作手段の操作に対し抵抗力が生じるように、該マスタ操作手段の動作を制御する、
ことを特徴とするマスタスレーブシステム
である。
One aspect of the present invention for achieving the above object is
The master operation means that the operator operates and
A slave robot located at a position away from the master operating means,
A master-slave system including a control means for performing bilateral control for operating the slave robot according to the operation of the master operation means.
A storage means for storing a target trajectory that is a target when the slave robot operates is provided.
The control means controls the operation of the master operation means so that when the slave robot deviates from the target trajectory stored in the storage means, a resistance force is generated against the operation of the master operation means.
It is a master-slave system characterized by this.

本発明によれば、未熟な操作者でも、スレーブロボットを正確に操作することができるマスタスレーブシステムを提供することができる。 According to the present invention, it is possible to provide a master-slave system capable of accurately operating a slave robot even by an inexperienced operator.

本発明の一実施形態に係るマスタスレーブシステムの概略的なシステム構成を示すブロック図である。It is a block diagram which shows the schematic system configuration of the master-slave system which concerns on one Embodiment of this invention. スレーブロボットの一例を示す図である。It is a figure which shows an example of a slave robot. スレーブロボットの把持部が行う動作の一例を示す図である。It is a figure which shows an example of the operation performed by the grip part of a slave robot. 目標軌道のボクセルの重み量を球の大きさで模擬的に表した図である。It is the figure which represented the weight amount of the voxel of a target trajectory by the size of a sphere simulated. ボクセルを球状体で表現した図である。It is the figure which expressed the voxel by a spherical body. 把持部の形状をカプセル形状あるいは角丸直方体で表現した図である。It is a figure which expressed the shape of the grip part by a capsule shape or a rectangular parallelepiped with rounded corners. カプセル型形状の把持部と球状体のボクセルとの距離を示す図である。It is a figure which shows the distance between a capsule-shaped grip part and a spherical voxel. (a)カプセル状把持部及び球状ボクセルの一例を示す図である。(b)図8(a)に示すカプセル状把持部及び球状ボクセルに対して算出した、各球状ボクセルの重み量の一例を示す図である。(A) It is a figure which shows an example of a capsule-shaped grip part and a spherical voxel. (B) It is a figure which shows an example of the weight amount of each spherical voxel calculated for the capsule-shaped grip portion and the spherical voxel shown in FIG. 8 (a). 本発明の一実施形態に係るマスタスレーブ制御処理のフローの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the master-slave control processing which concerns on one Embodiment of this invention. ベースが移動した場合のダンピング処理を説明するための図である。It is a figure for demonstrating the damping process when a base moves. 肘部近傍に障害物が存在する環境下でのダンピング処理を示す図である。It is a figure which shows the damping process in the environment where the obstacle exists in the vicinity of the elbow part. (a)ダンピング処理により目標軌道を生成する方法を示す図である。(b)ダンピング処理により目標軌道を生成する方法を示す図である。(c)ダンピング処理により目標軌道を生成する方法を示す図である。(A) It is a figure which shows the method of generating the target trajectory by the damping process. (B) It is a figure which shows the method of generating the target trajectory by the damping process. (C) It is a figure which shows the method of generating the target trajectory by the damping process.

以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の一実施形態に係るマスタスレーブシステムの概略的なシステム構成を示すブロック図である。本実施形態に係るマスタスレーブシステム1は、操作者が操作を行うマスタ操作部2と、マスタ操作部2と離れた位置に配置されたスレーブロボット3と、マスタ操作部2の動作に応じてスレーブロボット3を動作させるバイラテラル制御を行うバイラテラル制御部4と、記憶部5と、を備えている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic system configuration of a master-slave system according to an embodiment of the present invention. The master-slave system 1 according to the present embodiment is a master operation unit 2 operated by an operator, a slave robot 3 arranged at a position away from the master operation unit 2, and a slave according to the operation of the master operation unit 2. It includes a bilateral control unit 4 that performs bilateral control for operating the robot 3 and a storage unit 5.

スレーブロボット3は、例えば、図2に示す如く、6つ以上の関節部(手首関節、肘関節、肩関節など)を有し、先端位置姿勢(手先位置姿勢など)を6自由度以上操作可能な多関節型のアームロボットとして構成されている。スレーブロボット3は、例えば、ベース部31と、複数のリンク32と、各リンク32を回転可能に連結する関節部33と、リンク32に先端に設けられ対象物を把持操作する把持部34と、を有している。 As shown in FIG. 2, the slave robot 3 has six or more joints (wrist joint, elbow joint, shoulder joint, etc.) and can operate the tip position posture (hand position posture, etc.) with six or more degrees of freedom. It is configured as an articulated arm robot. The slave robot 3 includes, for example, a base portion 31, a plurality of links 32, a joint portion 33 that rotatably connects each link 32, and a grip portion 34 provided at the tip of the link 32 to grip an object. have.

各関節部33には、各関節部33を駆動させるアクチュエータが設けられている。アクチュエータは、例えば、モータ駆動、油圧駆動、空気圧駆動などである。各関節部33には、各関節部33の回転角(以下、関節角)を検出する角度センサが設けられている。各関節部33には、各関節部33のトルク(以下、関節トルク)を検出するトルクセンサが設けられている。なお、スレーブロボット3は、複数の関節部(股関節、膝関節、足首関節など)を有する脚ロボットであってもよい。 Each joint portion 33 is provided with an actuator for driving each joint portion 33. The actuator may be, for example, a motor drive, a hydraulic drive, a pneumatic drive, or the like. Each joint portion 33 is provided with an angle sensor that detects the rotation angle (hereinafter, joint angle) of each joint portion 33. Each joint portion 33 is provided with a torque sensor that detects the torque of each joint portion 33 (hereinafter referred to as joint torque). The slave robot 3 may be a leg robot having a plurality of joints (hip joint, knee joint, ankle joint, etc.).

スレーブロボット3には、ステレオカメラ、デプスカメラなどの環境認識センサ35が設けられている。環境認識センサ35は、例えば、スレーブロボット3のタスク遂行状態などのスレーブロボット3の周囲の環境情報を取得する。 The slave robot 3 is provided with an environment recognition sensor 35 such as a stereo camera and a depth camera. The environment recognition sensor 35 acquires environment information around the slave robot 3, such as the task execution state of the slave robot 3.

マスタ操作部2は、マスタ操作手段の一具体例である。マスタ操作部2は、操作者がアームなどを介して操作情報を入力する操作部を有している。スレーブロボット3は、マスタ操作部2に入力された操作情報に応じて動作する。マスタ操作部2は、スレーブロボット3とは離れた位置に配置されている。マスタ操作部2は、スレーブロボット3の先端位置での力やモーメント、あるいは、各関節トルクなどの力情報を、マスタ操作部2の操作部を操作する操作者に対し、フィードバックする。 The master operation unit 2 is a specific example of the master operation means. The master operation unit 2 has an operation unit in which an operator inputs operation information via an arm or the like. The slave robot 3 operates according to the operation information input to the master operation unit 2. The master operation unit 2 is arranged at a position away from the slave robot 3. The master operation unit 2 feeds back force information such as a force or moment at the tip position of the slave robot 3 or each joint torque to an operator who operates the operation unit of the master operation unit 2.

マスタ操作部2は、例えば、操作者がスレーブロボット3の手先位置を指示する手先指示装置、あるいは、操作者が装着する多関節型のマスタロボットである。マスタ操作部2は、例えば、複数のリンクと、各リンクを回転可能に連結する関節部と、リンクに先端に設けられ、操作者が把持操作する操作部と、を有する。各関節部には、各関節部を駆動させるアクチュエータが設けられている。アクチュエータは、例えば、モータ駆動、油圧駆動、空気圧駆動などである。各関節部には、各関節角を検出する角度センサが設けられている。各関節部には、各関節トルクを検出するトルクセンサが設けられている。 The master operation unit 2 is, for example, a hand instruction device in which the operator instructs the hand position of the slave robot 3, or an articulated master robot worn by the operator. The master operation unit 2 has, for example, a plurality of links, a joint unit that rotatably connects each link, and an operation unit provided at the tip of the link and operated by an operator. Each joint is provided with an actuator that drives each joint. The actuator may be, for example, a motor drive, a hydraulic drive, a pneumatic drive, or the like. Each joint is provided with an angle sensor that detects each joint angle. Each joint is provided with a torque sensor that detects each joint torque.

バイラテラル制御部4は、制御手段の一具体例である。バイラテラル制御部4は、マスタ操作部2の動作に倣ってスレーブロボット3を動作させるバイラテラル制御を実行する。バイラテラル制御部4は、バイラテラル制御において、操作者がマスタ操作部2を操作した際のマスタ操作部2の動作と同様に、スレーブロボット3を動作させる制御を行う。このとき、バイラテラル制御部4は、スレーブロボット3にかかる力情報を操作者にフィードバックする。すなわち、バイラテラル制御部4は、スレーブロボット3にかかる力と同様の力がマスタ操作部2に発生するように、マスタ操作部2を制御する。 The bilateral control unit 4 is a specific example of the control means. The bilateral control unit 4 executes bilateral control for operating the slave robot 3 in accordance with the operation of the master operation unit 2. In the bilateral control, the bilateral control unit 4 controls the slave robot 3 to operate in the same manner as the operation of the master operation unit 2 when the operator operates the master operation unit 2. At this time, the bilateral control unit 4 feeds back the force information applied to the slave robot 3 to the operator. That is, the bilateral control unit 4 controls the master operation unit 2 so that a force similar to the force applied to the slave robot 3 is generated in the master operation unit 2.

例えば、バイラテラル制御部4は、マスタ操作部2の角度センサにより検出された各関節角に基づき、順運動学を用いて、目標とするスレーブロボット3の先端位置姿勢を算出する。バイラテラル制御部4は、算出した先端位置姿勢に基づき、逆運動学を用いて、スレーブロボット3の各関節部33の目標関節角を算出する。バイラテラル制御部4は、算出した目標関節角に応じた指令信号をスレーブロボット3の各関節部33のアクチュエータに出力してPID制御などを行う。 For example, the bilateral control unit 4 calculates the tip position / posture of the target slave robot 3 by using forward kinematics based on each joint angle detected by the angle sensor of the master operation unit 2. The bilateral control unit 4 calculates the target joint angle of each joint unit 33 of the slave robot 3 by using inverse kinematics based on the calculated tip position posture. The bilateral control unit 4 outputs a command signal corresponding to the calculated target joint angle to the actuator of each joint unit 33 of the slave robot 3 to perform PID control and the like.

同時に、バイラテラル制御部4は、スレーブロボット3の各関節部33のトルクセンサにより検出された関節トルクに基づいて、スレーブロボット3の先端(手先など)にかかる先端力(荷重、モーメントなど)を算出する。バイラテラル制御部4は、算出した先端力に基づいて、マスタ操作部2の操作部にスレーブロボット3の先端力と同一の力が発生するように、マスタ操作部2の各関節部のアクチュエータを制御してPID制御などを行う。 At the same time, the bilateral control unit 4 applies a tip force (load, moment, etc.) to the tip (hand, etc.) of the slave robot 3 based on the joint torque detected by the torque sensor of each joint 33 of the slave robot 3. calculate. Based on the calculated tip force, the bilateral control unit 4 sets the actuator of each joint of the master operation unit 2 so that the same force as the tip force of the slave robot 3 is generated in the operation unit of the master operation unit 2. It controls and performs PID control and the like.

このようにして、バイラテラル制御部4は、バイラテラル制御において、操作者がマスタ操作部2を操作した際のマスタ操作部2の動作と同様に、スレーブロボット3を動作させつつ、スレーブロボット3にかかる力情報を、マスタ操作部2の操作部を介して操作者にフィードバックすることができる。なお、上記バイラテラル制御方法は一例であり、これに限定されない。 In this way, in the bilateral control, the bilateral control unit 4 operates the slave robot 3 and the slave robot 3 in the same manner as the operation of the master operation unit 2 when the operator operates the master operation unit 2. It is possible to feed back the force information applied to the operator to the operator via the operation unit of the master operation unit 2. The above bilateral control method is an example, and is not limited thereto.

例えば、マスタ操作部2が、スレーブロボット3と類似の構成(関節部、リンクなどの構成)を有するマスタロボットとして構成されていてもよい。この場合、バイラテラル制御部4は、マスタロボットの各関節部と、対応するスレーブロボット3の各関節部33と、を同期させるようなバイラテラル制御を行ってもよい。具体的には、バイラテラル制御部4は、マスタロボットの各関節部の角度センサにより検出された関節角及びトルクセンサにより検出された関節トルクを、スレーブロボット3の各関節部33の目標関節角及び目標関節トルクに設定する。バイラテラル制御部4は、設定した目標関節角度及び目標関節トルクに応じた指令信号をスレーブロボット3の各関節部33のアクチュエータに出力する。 For example, the master operation unit 2 may be configured as a master robot having a configuration similar to that of the slave robot 3 (configuration of joints, links, etc.). In this case, the bilateral control unit 4 may perform bilateral control so as to synchronize each joint portion of the master robot with each joint portion 33 of the corresponding slave robot 3. Specifically, the bilateral control unit 4 uses the joint angle detected by the angle sensor of each joint portion of the master robot and the joint torque detected by the torque sensor as the target joint angle of each joint portion 33 of the slave robot 3. And set to the target joint torque. The bilateral control unit 4 outputs a command signal corresponding to the set target joint angle and target joint torque to the actuator of each joint unit 33 of the slave robot 3.

同時に、バイラテラル制御部4は、スレーブロボット3の各関節部33の角度センサにより検出された関節角及びトルクセンサにより検出された関節トルクを、マスタロボットの各関節部の目標関節角及び目標関節トルクに設定する。バイラテラル制御部4は、設定した目標関節角度及び目標関節トルクに応じた指令信号をマスタロボットの各関節部のアクチュエータに出力する。 At the same time, the bilateral control unit 4 uses the joint angle detected by the angle sensor of each joint 33 of the slave robot 3 and the joint torque detected by the torque sensor as the target joint angle and the target joint of each joint of the master robot. Set to torque. The bilateral control unit 4 outputs a command signal corresponding to the set target joint angle and target joint torque to the actuators of each joint portion of the master robot.

以上により、操作者は、例えば、認識センサにより取得された環境情報(スレーブロボット3周囲の画像情報など)を参照し、マスタ操作部2を操作することで、スレーブロボット3をあたかも自らが直接操作しているかのような臨場感で、遠隔操作できる。同時に、操作者は、実際のスレーブロボット3に生じている反力を自ら感知することができる。 As described above, the operator, for example, refers to the environmental information (image information around the slave robot 3, etc.) acquired by the recognition sensor and operates the master operation unit 2, as if he / she directly operates the slave robot 3. It can be operated remotely with a sense of realism as if you were doing it. At the same time, the operator can sense the reaction force generated in the actual slave robot 3 by himself / herself.

なお、バイラテラル制御部4は、は、例えば、演算処理等と行うCPU(Central Processing Unit)41、CPU41によって実行される演算プログラム等が記憶されたROM(Read Only Memory)やRAM(Random Access Memory)からなるメモリ42、外部と信号の入出力を行うインターフェイス部(I/F)43、などからなるマイクロコンピュータを中心にして、それぞれ、ハードウェア構成されている。CPU41、メモリ42、及びインターフェイス部43は、データバスなどを介して相互に接続されている。 The bilateral control unit 4 is, for example, a CPU (Central Processing Unit) 41 that performs arithmetic processing or the like, a ROM (Read Only Memory) or a RAM (Random Access Memory) in which an arithmetic program executed by the CPU 41 is stored. ), A memory 42, and an interface unit (I / F) 43 for inputting / outputting signals to / from the outside, and the like, each of which is composed of hardware. The CPU 41, the memory 42, and the interface unit 43 are connected to each other via a data bus or the like.

ところで、上述したバイラテラル制御では、操作者は、高い操作自由度で直感的にスレーブロボットを操作できるというメリットを有している。しかしながら、スレーブロボット自体が高い自由度が動作できても、対象物が一定方向にしか動作しない場合も多く存在する。例えば、ドア、冷蔵庫、棚などの扉、タンスやロッカーなどの引出し、窓やシャッター、ペットボトルや瓶などの蓋、などの対象物は、一定方向にしか動作しない。 By the way, the above-mentioned bilateral control has an advantage that the operator can intuitively operate the slave robot with a high degree of freedom of operation. However, even if the slave robot itself can operate with a high degree of freedom, there are many cases where the object operates only in a certain direction. For example, objects such as doors, refrigerators, doors such as shelves, drawers such as tons and lockers, windows and shutters, and lids such as PET bottles and bottles move only in a certain direction.

スレーブロボットが上記のような動作範囲に制約のある対象物を操作する場合、熟練した操作者は、バイラテラル制御の高い操作自由度を利用してスレーブロボットを動作範囲の制約内でより繊細に操作できる。しかし、未熟な操作者は、そのバイラテラル制御の高い操作自由度によって、その動作範囲の制約から外れてスレーブロボットを誤操作する虞がある。 When the slave robot operates an object with a limited range of motion as described above, a skilled operator can use the high degree of freedom of operation of bilateral control to make the slave robot more delicate within the constraint of the range of motion. Can be operated. However, an inexperienced operator may erroneously operate the slave robot out of the limitation of the operating range due to the high degree of freedom of operation of the bilateral control.

これに対し、本実施形態に係るマスタスレーブシステム1は、スレーブロボット3が動作する際の目標となる目標軌道を記憶する記憶部5を備える。バイラテラル制御部4は、スレーブロボット3が記憶部5に記憶された目標軌道から逸脱すると、マスタ操作部2の操作に抵抗力が生じるようにマスタ操作部2の動作を制御する。 On the other hand, the master-slave system 1 according to the present embodiment includes a storage unit 5 that stores a target trajectory that is a target when the slave robot 3 operates. The bilateral control unit 4 controls the operation of the master operation unit 2 so that when the slave robot 3 deviates from the target trajectory stored in the storage unit 5, resistance is generated in the operation of the master operation unit 2.

これにより、未熟な操作者がマスタ操作部2の操作を行い、スレーブロボット3が目標軌道から逸脱してもマスタ操作部2の操作に抵抗力が生じるため、スレーブロボット3が自ずと目標軌道へ戻るように、マスタ操作部の操作は修正される。したがって、未熟な操作者でも、目標軌道に従ってスレーブロボット3を正確に操作することができる。 As a result, even if an inexperienced operator operates the master operation unit 2 and the slave robot 3 deviates from the target trajectory, resistance is generated in the operation of the master operation unit 2, so that the slave robot 3 naturally returns to the target trajectory. As such, the operation of the master operation unit is modified. Therefore, even an inexperienced operator can accurately operate the slave robot 3 according to the target trajectory.

本実施形態に係るマスタスレーブシステム1において、まず、スレーブロボット3が動作する際の目標となる目標軌道を記憶部5に記憶させる。記憶部5は、記憶手段の一具体例である。 In the master-slave system 1 according to the present embodiment, first, a target trajectory, which is a target when the slave robot 3 operates, is stored in the storage unit 5. The storage unit 5 is a specific example of the storage means.

例えば、熟練した操作者がマスタ操作部2を操作して、スレーブロボット3により対象物を移動させる。熟練した操作者がマスタ操作部2を操作することで、スレーブロボット3の理想的な軌道が生成される。このときのスレーブロボット3の把持部34の軌道(以下、手先軌道)を目標軌道とする。 For example, a skilled operator operates the master operation unit 2 to move the object by the slave robot 3. By operating the master operation unit 2 by a skilled operator, an ideal trajectory of the slave robot 3 is generated. The trajectory of the grip portion 34 of the slave robot 3 at this time (hereinafter referred to as the hand trajectory) is set as the target trajectory.

より具体的には、図3に示す如く、環境認識センサ35は、スレーブロボット3の把持部34がドアの取手(対象物)を把持し、ドアを開けるまでの把持部34の動作を撮影する。バイラテラル制御部4は、環境認識センサ35からの撮影画像に基づいて、把持部34の特徴量を算出する。バイラテラル制御部4は、該算出した特徴量に基づいて、手先軌道を算出し、算出した手先軌道を目標軌道として記憶部5に記憶させる。 More specifically, as shown in FIG. 3, the environment recognition sensor 35 captures the operation of the grip portion 34 until the grip portion 34 of the slave robot 3 grips the handle (object) of the door and opens the door. .. The bilateral control unit 4 calculates the feature amount of the grip unit 34 based on the captured image from the environment recognition sensor 35. The bilateral control unit 4 calculates a hand trajectory based on the calculated feature amount, and stores the calculated hand trajectory as a target trajectory in the storage unit 5.

次に、スレーブロボット3が記憶部5に記憶された目標軌道から逸脱すると、マスタ操作部2に抵抗力が生じるように、マスタ操作部2の動作を制御する方法について説明する。 Next, a method of controlling the operation of the master operation unit 2 so that a resistance force is generated in the master operation unit 2 when the slave robot 3 deviates from the target trajectory stored in the storage unit 5 will be described.

まず、記憶部5に記憶される目標軌道の設定方法について説明する。
上述のように記憶部5に記憶された目標軌道は、例えば、把持部34が3次元的に通過する位置をボクセル形式で表現している。各ボクセルは、マスタ操作部2の操作に対する抵抗力を示す重み情報(重み量)を有している。その重み量は、把持部34が各ボクセルを通過したときの接触度合に応じた値(例えば、0~1)で正規化されている。ボクセルの粒度は、目標軌道を精度よく再現するために把持部形状に対して十分密に設定されている。また、以降の処理では時間情報を用いないため、ボクセルに対する時間情報は無視できる。図4は、目標軌道のボクセルの重み量を球の大きさで模擬的に表した図である。ボクセルの重み量は、スレーブロボット3の動作のし易さ、若しくは、動作制限(上述の抵抗力)を表している。
First, a method of setting a target trajectory stored in the storage unit 5 will be described.
As described above, the target trajectory stored in the storage unit 5 represents, for example, the position where the gripping unit 34 passes three-dimensionally in a voxel format. Each voxel has weight information (weight amount) indicating resistance to the operation of the master operation unit 2. The weight amount is normalized by a value (for example, 0 to 1) according to the degree of contact when the grip portion 34 passes through each voxel. The voxel particle size is set sufficiently close to the grip shape in order to accurately reproduce the target trajectory. Moreover, since the time information is not used in the subsequent processing, the time information for the voxel can be ignored. FIG. 4 is a diagram simulating the weight of a voxel in a target orbit with the size of a sphere. The weight amount of the voxel represents the ease of operation of the slave robot 3 or the operation limitation (the above-mentioned resistance force).

続いて、ボクセルの重み量の設定方法について詳細に説明する。
バイラテラル制御部4は、例えば、ボクセルを敷き詰めたマップ上を目標軌道に沿って把持部34を移動させ、把持部34と各ボクセルとの接触度合に応じて各ボクセルの重み量を算出する。
Next, a method of setting the weight amount of voxels will be described in detail.
For example, the bilateral control unit 4 moves the grip portion 34 along a target trajectory on a map covered with voxels, and calculates the weight amount of each voxel according to the degree of contact between the grip portion 34 and each voxel.

ここで、把持部34と各ボクセルとの接触度合の計算を簡略化するため、例えば、図5に示す如く、ボクセルを立方体ではなく、該立方体を内包する球状体で表現してもよい。同様に、把持部34の形状を、例えば、図6に示す如く、実際の形状を内包するような、カプセル形状あるいは角丸直方体(直方体の四方をカプセル形状で囲った形状)などの簡易形状で表現してもよい。 Here, in order to simplify the calculation of the degree of contact between the grip portion 34 and each voxel, for example, as shown in FIG. 5, the voxel may be represented not as a cube but as a sphere containing the cube. Similarly, the shape of the grip portion 34 may be a simple shape such as a capsule shape or a rectangular parallelepiped (a shape in which all four sides of the rectangular parallelepiped are surrounded by a capsule shape) so as to include the actual shape, for example, as shown in FIG. It may be expressed.

例えば、図7に示す如く、把持部34の形状をカプセル形状とすれば、カプセル形状の把持部34と球状体のボクセルとの距離は、線分と点との距離で算出でき、この距離を用いて把持部34と各ボクセルとの接触度合を容易に表示できる。さらに、把持部34の形状を角丸直方体とすれば、カプセル形状とOBB(Orient Bounding Box)という接触判定が容易な形状の組合せで、実際の把持部34の形状に近い形でより正確に接触判定を行うことができる。 For example, as shown in FIG. 7, if the shape of the grip portion 34 is a capsule shape, the distance between the capsule-shaped grip portion 34 and the spherical voxel can be calculated by the distance between the line segment and the point, and this distance can be calculated. By using this, the degree of contact between the grip portion 34 and each voxel can be easily displayed. Further, if the shape of the grip portion 34 is a rectangular parallelepiped with rounded corners, a combination of a capsule shape and an OBB (Orient Bounding Box) shape that facilitates contact determination makes contact more accurately in a shape close to the shape of the actual grip portion 34. Judgment can be made.

バイラテラル制御部4は、上記のように設定した簡易形状の把持部34とその周囲の球状体のボクセルとの接触度合に応じて、各ボクセルの重み量wを、以下(1)-(4)のように算出する。本説明では、例えば、ボクセルと簡易形状をカプセル形状とする。 The bilateral control unit 4 sets the weight amount w of each voxel to the following (1)-(4) according to the degree of contact between the grip portion 34 having a simple shape set as described above and the voxels of the spherical body around the grip portion 34. ). In this description, for example, voxels and simple shapes are defined as capsule shapes.

(1)バイラテラル制御部4は、カプセル形状の把持部34(以下、カプセル状把持部34)の2つの端点を結ぶ線分と、対象とする球状体のボクセル(以下、球状ボクセル)の中心との最近傍距離lを算出する。 (1) The bilateral control unit 4 is a line segment connecting two end points of a capsule-shaped grip portion 34 (hereinafter, capsule-shaped grip portion 34) and a center of a target spherical voxel (hereinafter, spherical voxel). The nearest neighbor distance l with and is calculated.

(2)バイラテラル制御部4は、下記接触判定式(A)-(C)を用いて、各球状ボクセルの重み量wを算出する。但し、球状ボクセルの半径をr、カプセル状把持部34の両端の球の半径をrとする。
(A)l>r+r(カプセル状把持部34と球状ボクセルが接触しない場合)
:w=0
(B)r>l+r(カプセル状把持部34内に球状ボクセルが含まれる場合)
:w=1
(C)上記(A)及び(B)以外(例えば、図7のように、カプセル状把持部34と球状ボクセルが交わる場合)
:w=(r+r-l)/2r
(2) The bilateral control unit 4 calculates the weight amount w of each spherical voxel using the following contact determination formulas (A)-(C). However, the radius of the spherical voxel is r b , and the radius of the spheres at both ends of the capsule-shaped grip portion 34 is r c .
(A) l> r b + r c (when the capsule-shaped grip portion 34 and the spherical voxel do not contact)
: W = 0
(B) r c > l + r c (when a spherical voxel is contained in the capsule-shaped grip portion 34)
: W = 1
(C) Other than the above (A) and (B) (for example, when the capsule-shaped grip portion 34 and the spherical voxel intersect as shown in FIG. 7).
: W = (r b + r c -l) / 2r b

図8(a)は、カプセル状把持部34及び球状ボクセルの一例を示す図である。図8(b)は、図8(a)に示すカプセル状把持部34及び球状ボクセルに対して算出した、各球状ボクセルの重み量の一例を示す図である。なお、上記各球状ボクセルの重み量wの算出方法は一例であり、これに限定されない。例えば、カプセル状把持部34と各球状ボクセルとが接触する体積比などの他の指標に応じて、各球状ボクセルの重み量wを設定してもよい。 FIG. 8A is a diagram showing an example of a capsule-shaped grip portion 34 and a spherical voxel. FIG. 8B is a diagram showing an example of the weight amount of each spherical voxel calculated for the capsule-shaped grip portion 34 and the spherical voxels shown in FIG. 8A. The method for calculating the weight amount w of each spherical voxel is an example, and the method is not limited to this. For example, the weight amount w of each spherical voxel may be set according to another index such as the volume ratio at which the capsule-shaped grip portion 34 and each spherical voxel are in contact with each other.

(3)バイラテラル制御部4は、カプセル状把持部34を目標軌道に沿って移動させつつ、上記(1)及び(2)を繰返し、目標軌道及びその周辺の各球状ボクセルの重み量wを設定する。 (3) The bilateral control unit 4 repeats the above (1) and (2) while moving the capsule-shaped grip portion 34 along the target trajectory, and determines the weight amount w of each spherical voxel in and around the target trajectory. Set.

(4)バイラテラル制御部4は、各球状ボクセル(x、y、z)において、最大の重み量wをその球状ボクセルの重み量して、w(x、y、z)とし、記憶部5に記憶させる。これにより、全球状ボクセルに、0~1に正規化された重み量w(x、y、z)が設定される。なお、バイラテラル制御部4は、後段処理での不連続を抑制するために、近傍の球状ボクセル間で平均値を取ってフィルタをかける処理を行ってもよい。 (4) The bilateral control unit 4 sets the maximum weight amount w in each spherical voxel (x, y, z) by the weight amount of the spherical voxel to obtain w (x, y, z), and the storage unit 5 To memorize. As a result, the weight amount w (x, y, z) normalized to 0 to 1 is set in the global voxel. In addition, the bilateral control unit 4 may perform a process of taking an average value among neighboring spherical voxels and applying a filter in order to suppress the discontinuity in the post-stage process.

以上のようにして、図4に示すような目標軌道のボクセルに対して重み量w(x、y、z)を設定することができる。 As described above, the weight amount w (x, y, z) can be set for the voxel of the target trajectory as shown in FIG.

次に、上記のように球状ボクセルに重み量w(x、y、z)を設定した目標軌道を用いて、スレーブロボット3が目標軌道から逸脱すると、マスタ操作部2に抵抗力が生じるように、マスタ操作部2の動作を制御する方法について説明する。 Next, using the target trajectory in which the weight amount w (x, y, z) is set for the spherical voxel as described above, when the slave robot 3 deviates from the target trajectory, a resistance force is generated in the master operation unit 2. , The method of controlling the operation of the master operation unit 2 will be described.

例えば、1制御周期の微小時間において、操作者が、マスタ操作部2の操作部に対して、位置pn-1(xn-1、yn-1、zn-1)、姿勢(クォータニオン:Quaternion)qn-1(sn-1、un-1、vn-1、wn-1)から、位置p(x、y、z)、姿勢q(s、u、v、w)となるような操作入力を行った場合の処理を以下に説明する。 For example, in a minute time of one control cycle, the operator has a position pn-1 (x n-1 , y n-1 , z n-1 ) and a posture (quaternion) with respect to the operation unit of the master operation unit 2. : Quaternion) q n-1 (s n-1 , un -1 , v n-1 , w n-1 ), position pr (x r , y r , z r ), posture q r (s r ) , Ur , vr , wr )) will be described below.

バイラテラル制御部4は、マスタ操作部2の各関節部の角度センサにより検出された関節角に基づいて、位置p及び姿勢qに対応するスレーブロボット3の把持部34の候補位置を算出する。 The bilateral control unit 4 calculates the candidate position of the grip portion 34 of the slave robot 3 corresponding to the position pr and the posture qr based on the joint angle detected by the angle sensor of each joint portion of the master operation unit 2. do.

バイラテラル制御部4は、記憶部5の球状ボクセルに重み量w(x、y、z)を設定した目標軌道と、算出したスレーブロボット3の把持部34の候補位置と、に基づいて、上記接触判定式(A)-(C)を用いて、把持部34と球状ボクセルとの接触判定を行う。バイラテラル制御部4は、上記接触判定により、把持部34と接触する球状ボクセル群を抽出する。 The bilateral control unit 4 describes the above based on the target trajectory in which the weight amount w (x, y, z) is set in the spherical voxel of the storage unit 5 and the calculated candidate position of the grip unit 34 of the slave robot 3. The contact determination formula (A)-(C) is used to determine the contact between the grip portion 34 and the spherical voxel. The bilateral control unit 4 extracts a group of spherical voxels that come into contact with the grip portion 34 based on the contact determination.

バイラテラル制御部4は、抽出した球状ボクセル群の重み量w(x、y、z)の中から、最小の重み量をwとして算出する。 The bilateral control unit 4 calculates the minimum weight amount as w n from the weight amounts w (x, y, z) of the extracted spherical voxels.

バイラテラル制御部4は、把持部34が重み量の小さい球状ボクセルに接触するとダンピングが強く作用しマスタ操作部2の動作が抑制されるダンピング処理を行う。例えば、目標軌道上の球状ボクセルには、最大の重み量(w=1)が設定され、球状ボクセルが目標軌道から外れに従って、その球状ボクセルには徐々に小さな重み量(0<w<1)が設定され、球状ボクセルが完全に目標軌道から外れると、球状ボクセルには、最小の重み量(w=0)が設定される。これにより、操作者は、把持部34が目標軌道上にあるときは、マスタ操作部2の操作部に抵抗力をほとんど感じないが、把持部34が目標軌道上から外れるに従がって、マスタ操作部2の操作部により強い抵抗力を感じ、把持部34が目標軌道上から完全に外れると、マスタ操作部2の操作部に最大の抵抗力を感じる。 When the grip portion 34 comes into contact with a spherical voxel having a small weight, the bilateral control unit 4 performs a damping process in which damping acts strongly and the operation of the master operation unit 2 is suppressed. For example, a maximum weight amount (w = 1) is set for a spherical voxel on a target orbit, and as the spherical voxel deviates from the target orbit, a gradually smaller weight amount (0 <w <1) is set on the spherical voxel. Is set, and when the spherical voxel completely deviates from the target trajectory, the minimum weight amount (w = 0) is set for the spherical voxel. As a result, when the grip portion 34 is on the target trajectory, the operator feels almost no resistance to the operation unit of the master operation unit 2, but as the grip portion 34 deviates from the target trajectory, the operator feels little resistance. A stronger resistance force is felt by the operation unit of the master operation unit 2, and when the grip portion 34 is completely off the target trajectory, the maximum resistance force is felt by the operation unit of the master operation unit 2.

ここで、操作者が未熟であっても、あるい程度経験を積むと、操作ミスが減少する。このため、バイラテラル制御部4は、その経験度合に応じて重み量wを増加させることで、上記ダンピング処理の抵抗力を減少させる処理を行ってもよい。これにより、操作者の現状のスキルにより適合した調整を行うことができる。例えば、抵抗力を半分にする場合、重み量wのレンジが[0~1]ではなく[0.5~1]となるように、バイラテラル制御部4は、式(w=0.5w+0.5)を用いて重み量wを補正してよい。
バイラテラル制御部4は、上述のように算出した重み量をwに基づいて、下記式1及び式2を用いて、スレーブロボット3の把持部34の目標位置p及び目標姿勢qを算出する。
Here, even if the operator is inexperienced, if he / she gains some experience, the number of operation mistakes will decrease. Therefore, the bilateral control unit 4 may perform a process of reducing the resistance of the damping process by increasing the weight amount wr according to the degree of experience. This makes it possible to make adjustments that are more suitable for the current skill of the operator. For example, when the resistance force is halved, the bilateral control unit 4 has the equation (w n = 0. The weight amount w n may be corrected using 5 w n + 0.5).
The bilateral control unit 4 sets the target position pn and the target posture q n of the grip portion 34 of the slave robot 3 by using the following equations 1 and 2 based on the weight amount calculated as described above. calculate.

Figure 0007035309000001
なお、上記式1及び式2において、クォータニオンが用いられているが、これに限定されず、例えば、オイラー角などを用いてもよい。
Figure 0007035309000001
Although quaternions are used in the above formulas 1 and 2, Euler angles and the like may be used without limitation.

バイラテラル制御部4は、算出した目標位置p及び目標姿勢qとなるように、スレーブロボット3の各関節部33のアクチュエータを制御しつつ、スレーブロボット3の手先位置及び姿勢に対応させて、マスタ操作部2の操作部の位置及び姿勢をバイラテラル制御する。 The bilateral control unit 4 controls the actuators of the joints 33 of the slave robot 3 so as to have the calculated target position pn and the target posture q n , and corresponds to the hand position and posture of the slave robot 3. , Bilaterally control the position and posture of the operation unit of the master operation unit 2.

なお、重み量wからwn-1に急激に変化すると操作者が感じる抵抗力も不連続に変化することとなり、操作感が悪い。このため、バイラテラル制御部4は、重み量wに時間的なローパスフィルタを掛ける処理や、近傍の球状ボクセル間の重み量との空間的なフィルタを掛ける処理、などを行い、この急激な変化を抑制してもよい。 If the weight amount w n suddenly changes to w n-1 , the resistance felt by the operator also changes discontinuously, resulting in a poor operational feeling. Therefore, the bilateral control unit 4 performs a process of applying a temporal low-pass filter to the weight amount wn , a process of applying a spatial filter to the weight amount between neighboring spherical voxels, and the like, and this rapid process is performed. The change may be suppressed.

バイラテラル制御部4は、上記ダンピング処理において、把持部34が目標軌道上にある場合、操作者がマスタ操作部2の操作部を操作し易くし(抵抗力を低くし)、把持部34が目標軌道上から外れるに従がって、操作者がマスタ操作部2の操作部を操作し難くなる(抵抗力が高くなる)ような制御を行っている。 In the damping process, the bilateral control unit 4 makes it easier for the operator to operate the operation unit of the master operation unit 2 (lowers the resistance force) when the grip unit 34 is on the target trajectory, and the grip unit 34 makes it easier for the operator to operate the operation unit. As the vehicle deviates from the target trajectory, the control is performed so that the operator becomes difficult to operate the operation unit of the master operation unit 2 (the resistance becomes high).

さらに、バイラテラル制御部4は、把持部34が目標軌道上から外れた場合に、把持部34が目標軌道により戻り易くする制御を行ってもよい。これにより、操作者は、把持部34が目標軌道上から外れた場合でも、その軌道を容易に修正し目標軌道へ戻すことができる。 Further, the bilateral control unit 4 may perform control to make it easier for the grip portion 34 to return to the target trajectory when the grip portion 34 deviates from the target trajectory. As a result, even if the grip portion 34 deviates from the target trajectory, the operator can easily correct the trajectory and return it to the target trajectory.

例えば、バイラテラル制御部4は、w′>0の場合(wがwn-1より増加している場合)、下記式を用いて、wを算出する。w′は、w′の微分値である。下記式において、βは、β>0の定数とし、予めメモリなどに設定されている。
=w(1+βw′
For example, when w'n> 0 (when w n is larger than w n -1 ), the bilateral control unit 4 calculates w d using the following equation. w'n is a derivative value of w'n . In the following equation, β is a constant β> 0 and is set in advance in a memory or the like.
w d = w n (1 + βw'n )

バイラテラル制御部4は、算出したwを上記式1及び式2のwに代入して、スレーブロボット3の把持部34の目標位置p及び目標姿勢qを算出する。 The bilateral control unit 4 substitutes the calculated w d into the w n of the above equations 1 and 2, and calculates the target position pn and the target posture q n of the grip portion 34 of the slave robot 3.

なお、バイラテラル制御部4は、慣性項を導入した上記式1及び式2を用いて、目標軌道との偏差量に仮想バネ定数を乗じることで目標軌道に引き戻すように、スレーブロボット3の把持部34の目標位置p及び目標姿勢qを算出してもよい。 The bilateral control unit 4 grips the slave robot 3 so as to return to the target trajectory by multiplying the deviation amount from the target trajectory by the virtual spring constant using the above equations 1 and 2 in which the inertial term is introduced. The target position pn and the target posture q n of the unit 34 may be calculated.

バイラテラル制御部4は、上記把持部34と球状ボクセルとの接触判定において接触すると判定された記憶部5の球状ボクセルの重み量w(x、y、z)を増加させて更新を行ってもよい。これにより、単に熟練者などの目標軌道から逸脱し難くなるだけでなく、逸脱方向に繰返し操作すると次第にダンピング(抵抗力)が減少し、意図的に、熟練者などの目標軌道とは違う軌道を生成することができる。 Even if the bilateral control unit 4 is updated by increasing the weight amount w (x, y, z) of the spherical voxel of the storage unit 5 determined to be in contact in the contact determination between the grip portion 34 and the spherical voxel. good. This not only makes it difficult for a skilled person to deviate from the target trajectory, but also reduces damping (resistance) gradually when repeatedly operated in the deviation direction, intentionally making a trajectory different from the target trajectory of a skilled person or the like. Can be generated.

例えば、バイラテラル制御部4は、上記把持部34と球状ボクセルとの接触判定において接触すると判定された記憶部5の球状ボクセルの重み量w(x、y、z)に、所定係数を加算あるいは乗算することで、その重み量w(x、y、z)を増加させてもよい。 For example, the bilateral control unit 4 adds a predetermined coefficient to or adds a predetermined coefficient to the weight amount w (x, y, z) of the spherical voxel of the storage unit 5 determined to be in contact in the contact determination between the grip portion 34 and the spherical voxel. The weight amount w (x, y, z) may be increased by multiplying.

さらに、バイラテラル制御部4は、記憶部5の球状ボクセルの重み量w(x、y、z)に、その接触度合に応じた所定係数を加算あるいは乗算することで、その重み量w(x、y、z)を増加させてもよい。例えば、接触度合が大きくなるに従がって、所定係数を減少させてもよい。なお、増加後の重み量w(x、y、z)は1以下とする。所定係数は、メモリなどに予め設定され、操作者などが適宜設定変更できる。 Further, the bilateral control unit 4 adds or multiplies a predetermined coefficient according to the degree of contact to the weight amount w (x, y, z) of the spherical voxel of the storage unit 5, so that the weight amount w (x). , Y, z) may be increased. For example, the predetermined coefficient may be decreased as the degree of contact increases. The weight amount w (x, y, z) after the increase is 1 or less. The predetermined coefficient is set in advance in a memory or the like, and the operator or the like can appropriately change the setting.

上述したように、ダンピングを可変させることで、熟練者などによる目標軌道をある程度踏襲して安全性を確保しつつ、現在の操作者による臨機応変な操作も反映でき、マスタスレーブ操作法が持つ優位性を生かしたより柔軟な操作が実現できる。 As mentioned above, by making the damping variable, it is possible to reflect the flexible operation by the current operator while following the target trajectory by a skilled person to some extent and ensuring safety, which is an advantage of the master-slave operation method. More flexible operation can be realized by taking advantage of the nature.

例えば、熟練者などによる目標軌道の生成時におけるドアの大きさと、操作者による現在の操作時におけるドアの大きさとが異なる場合などの、目標軌道の生成時の環境と現在の環境とが異なる場合が想定される。このような場合でも、上記ダンピングを可変させ、目標軌道からの逸脱を効果的に緩和することで、操作者は操作遂行できる。 For example, when the size of the door at the time of generating the target trajectory by an expert and the size of the door at the time of the current operation by the operator are different, and the environment at the time of generating the target trajectory is different from the current environment. Is assumed. Even in such a case, the operator can perform the operation by varying the damping and effectively mitigating the deviation from the target trajectory.

さらに、上記ダンピングの可変処理を繰り返すと、各球状ボクセルの重み量が熟練者などにより設定された初期値から徐々に大きく外れていく。したがって、バイラテラル制御部4は、記憶部5の球状ボクセルの重み量w(x、y、z)に、例えば、時間係数を乗算するなどを行うことで、該重み量を時間経過と共に元の初期値に戻す処理を行ってもよい。これにより、上記ダンピングの可変処理を繰り返しても、各球状ボクセルの重み量が熟練者などにより設定された初期値から大きく外れるのを抑制できる。 Further, when the variable damping process is repeated, the weight amount of each spherical voxel gradually deviates greatly from the initial value set by an expert or the like. Therefore, the bilateral control unit 4 multiplies the weight amount w (x, y, z) of the spherical voxel of the storage unit 5, for example, by a time coefficient, so that the weight amount is restored with the passage of time. You may perform the process of returning to the initial value. As a result, even if the variable damping process is repeated, it is possible to prevent the weight amount of each spherical voxel from deviating significantly from the initial value set by an expert or the like.

図9は、本実施形態に係るマスタスレーブ制御処理のフローの一例を示すフローチャートである。 FIG. 9 is a flowchart showing an example of the flow of the master-slave control process according to the present embodiment.

例えば、マスタスレーブシステム1に対し、次の初期設定が行われる(ステップS101)。スレーブロボット3が動作する際の目標となる目標軌道を記憶部5に記憶させる。バイラテラル制御部4は、記憶部5に記憶された目標軌道の各球状ボクセルの重み量wを設定する。バイラテラル制御部4には、上記ダンピング処理の開始及び終了のトリガが設定される。より具体的には、バイラテラル制御部4は、操作者の視線入力、ジェスチャ、音声コマンドなどの所定の物理入力を受けると、その物理入力を上記ダンピング処理の開始のトリガ(以下、開始トリガ)、あるいは、上記ダンピング処理の終了のトリガ(以下、終了トリガ)として、該ダンピング処理を開始あるいは終了する。さらに、バイラテラル制御部4は、ドアを検出及びスレーブロボット3の把持部34がドアノブを把持したことを検出すると、その検出を上記ダンピング処理の開始トリガとして、該ダンピング処理を自動的に開始してもよい。バイラテラル制御部4は、ドアの開状態を検出及びスレーブロボット3の把持部34がドアノブを離したことを検出すると、その検出を上記ダンピング処理の終了トリガとして、該ダンピング処理を自動的に終了してもよい。 For example, the following initial settings are made for the master-slave system 1 (step S101). The storage unit 5 stores the target trajectory that is the target when the slave robot 3 operates. The bilateral control unit 4 sets the weight amount w of each spherical voxel of the target trajectory stored in the storage unit 5. A trigger for starting and ending the damping process is set in the bilateral control unit 4. More specifically, when the bilateral control unit 4 receives a predetermined physical input such as an operator's line-of-sight input, gesture, or voice command, the physical input is used as a trigger for starting the damping process (hereinafter referred to as a start trigger). Alternatively, the damping process is started or terminated as a trigger for the end of the damping process (hereinafter referred to as an end trigger). Further, when the bilateral control unit 4 detects the door and the gripping unit 34 of the slave robot 3 grips the door knob, the damping process is automatically started by using the detection as a trigger for starting the damping process. You may. When the bilateral control unit 4 detects the open state of the door and detects that the grip portion 34 of the slave robot 3 has released the door knob, the detection is used as an end trigger of the damping process, and the damping process is automatically terminated. You may.

バイラテラル制御部4は、操作者によるマスタ操作部2の操作部の操作に応じて、次の暫定のスレーブロボット3の把持部34の目標位置p及び目標姿勢qを算出する(ステップS102)。 The bilateral control unit 4 calculates the target position pr and the target posture qr of the grip unit 34 of the next provisional slave robot 3 in response to the operation of the operation unit of the master operation unit 2 by the operator (step S102). ).

バイラテラル制御部4は、ダンピング処理中であるか否かを判定する(ステップS103)。 The bilateral control unit 4 determines whether or not the damping process is in progress (step S103).

バイラテラル制御部4は、ダンピング処理中であると判定したとき、所定の物理入力などに基づいて、本ダンピング処理を解除(終了)するか否かを判定する(ステップS104)。 When the bilateral control unit 4 determines that the damping process is in progress, the bilateral control unit 4 determines whether or not to cancel (end) the damping process based on a predetermined physical input or the like (step S104).

バイラテラル制御部4は、本ダンピング処理を解除しないと判定すると(ステップS104のNO)、ダンピング処理を継続する。バイラテラル制御部4は、記憶部5の目標軌道と、算出したスレーブロボット3の把持部34の候補位置と、に基づいて、把持部34と球状ボクセルとの接触判定を行い、把持部34と接触する球状ボクセル群を抽出する(ステップS105)。一方、バイラテラル制御部4は、本ダンピング処理を解除すると判定すると(ステップS104のYES)、下記の(ステップS111)に移行する。 When the bilateral control unit 4 determines that the damping process is not canceled (NO in step S104), the damping process is continued. The bilateral control unit 4 determines the contact between the grip unit 34 and the spherical voxel based on the target trajectory of the storage unit 5 and the calculated candidate position of the grip unit 34 of the slave robot 3, and the grip unit 34 and A group of spherical voxels in contact is extracted (step S105). On the other hand, when the bilateral control unit 4 determines that the damping process is canceled (YES in step S104), the process proceeds to the following (step S111).

バイラテラル制御部4は、抽出した球状ボクセル群の重み量w(x、y、z)の中から、最小の重み量をwとして算出する(ステップS106)。 The bilateral control unit 4 calculates the minimum weight amount as w n from the weight amount w (x, y, z) of the extracted spherical voxels group (step S106).

バイラテラル制御部4は、算出した重み量をwに基づいて、上記式1及び式2を用いて、スレーブロボット3の把持部34の目標位置p及び目標姿勢qを算出する(ステップS107)。 The bilateral control unit 4 calculates the target position pn and the target posture q n of the grip portion 34 of the slave robot 3 using the above equations 1 and 2 based on the calculated weight amount w n (step). S107).

バイラテラル制御部4は、上記把持部34と球状ボクセルとの接触判定において接触すると判定された記憶部5の球状ボクセルの重み量w(x、y、z)の更新を行う(ステップS108)。 The bilateral control unit 4 updates the weight amount w (x, y, z) of the spherical voxel of the storage unit 5 determined to be in contact in the contact determination between the grip portion 34 and the spherical voxel (step S108).

バイラテラル制御部4は、記憶部5の球状ボクセルの重み量w(x、y、z)を時間経過と共に元の初期値に戻す処理を行い(ステップS108)、後述の処理(ステップS112)に移行する。 The bilateral control unit 4 performs a process of returning the weight amount w (x, y, z) of the spherical voxel of the storage unit 5 to the original initial value with the passage of time (step S108), and in a process described later (step S112). Transition.

バイラテラル制御部4は、ダンピング処理中でないと判定したとき(ステップS103のNO)、上記ダンピング処理の開始トリガに基づいて、本ダンピング処理を開始するか否かを判定する(ステップS110)。バイラテラル制御部4は、上記ダンピング処理の開始トリガに基づいて、本ダンピング処理を開始すると判定すると(ステップS110のYES)、上記(ステップS105)に移行する。一方、バイラテラル制御部4は、上記ダンピング処理の開始トリガに基づいて、本ダンピング処理を開始しないと判定すると(ステップS110のNO)、目標位置p=p及び目標姿勢q=qに設定する(ステップS111)。 When the bilateral control unit 4 determines that the damping process is not in progress (NO in step S103), the bilateral control unit 4 determines whether or not to start the damping process based on the trigger for starting the damping process (step S110). When the bilateral control unit 4 determines that the damping process is to be started based on the damping process start trigger (YES in step S110), the process proceeds to the above (step S105). On the other hand, when the bilateral control unit 4 determines that the damping process is not started based on the trigger for starting the damping process (NO in step S110), the target position pn = pr and the target posture q n = q r. (Step S111).

バイラテラル制御部4は、算出した目標位置p及び目標姿勢qとなるように、スレーブロボット3の各関節部33のアクチュエータを制御しつつ、スレーブロボット3の手先位置及び姿勢に対応させて、マスタ操作部2の操作部の位置及び姿勢をバイラテラル制御する(ステップS112)。 The bilateral control unit 4 controls the actuators of the joints 33 of the slave robot 3 so as to have the calculated target position pn and the target posture q n , and corresponds to the hand position and posture of the slave robot 3. , Bilaterally control the position and posture of the operation unit of the master operation unit 2 (step S112).

バイラテラル制御部4は、nをインクリメントし(ステップS113)、上記(ステップS102)に移行する。 The bilateral control unit 4 increments n (step S113) and proceeds to the above (step S102).

以上、本実施形態に係るマスタスレーブシステム1は、スレーブロボット3が動作する際の目標となる目標軌道を記憶する記憶部5を備える。バイラテラル制御部4は、スレーブロボット3が記憶部5に記憶された目標軌道から逸脱すると、マスタ操作部2の操作に抵抗力が生じるようにマスタ操作部2の動作を制御する。これにより、スレーブロボット3が目標軌道から逸脱してもマスタ操作部2の操作に抵抗力が生じるため、スレーブロボット3が自ずと目標軌道へ戻るように、マスタ操作部の操作は修正される。したがって、未熟な操作者でも、目標軌道に従ってスレーブロボット3を正確に操作することができる。 As described above, the master-slave system 1 according to the present embodiment includes a storage unit 5 that stores a target trajectory that is a target when the slave robot 3 operates. The bilateral control unit 4 controls the operation of the master operation unit 2 so that when the slave robot 3 deviates from the target trajectory stored in the storage unit 5, resistance is generated in the operation of the master operation unit 2. As a result, even if the slave robot 3 deviates from the target trajectory, resistance is generated in the operation of the master operation unit 2. Therefore, the operation of the master operation unit is corrected so that the slave robot 3 naturally returns to the target trajectory. Therefore, even an inexperienced operator can accurately operate the slave robot 3 according to the target trajectory.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記実施形態において、スレーブロボット3は、ベースなどに固定されているが、これに限定されない。例えば、スレーブロボット3は車輪や脚部を有し、移動する構成であってもよい。図10に示す如く、ベースが移動しても、ベースと対象物との相対位置関係から、上記ベースが固定された場合と同様に、ダンピング処理を行い、同様の効果を得ることができる。
The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit.
In the above embodiment, the slave robot 3 is fixed to a base or the like, but is not limited thereto. For example, the slave robot 3 may have wheels and legs and may be configured to move. As shown in FIG. 10, even if the base moves, the damping process can be performed in the same manner as when the base is fixed due to the relative positional relationship between the base and the object, and the same effect can be obtained.

上記実施形態において、バイラテラル制御部4は、スレーブロボット3の把持部34(手先)と球状ボクセルとの接触判定を行い重み量wを算出して、把持部34の目標位置p及び目標姿勢qを算出しているが、これに限定されない。バイラテラル制御部4は、スレーブロット把持部34と同様に、肘部と球状ボクセルとの接触判定も行い重み量を算出して、肘部の目標位置p及び目標姿勢qも算出してもよい。これにより、例えば、図11に示すような肘部近傍に障害物が存在する環境下においても、予め熟練者がバイラテラル制御の冗長自由度を利用してその障害物を回避するような操作を行った目標軌道に沿って、未熟者も安全かつ正確に複雑環境下でのスレーブロボット3の遠隔操作を実現できる。 In the above embodiment, the bilateral control unit 4 determines the contact between the grip portion 34 (hand) of the slave robot 3 and the spherical voxel, calculates the weight amount w n , and obtains the target position pn and the target of the grip portion 34. The posture q n is calculated, but the present invention is not limited to this. Similar to the slave lot gripping unit 34, the bilateral control unit 4 also determines the contact between the elbow portion and the spherical voxel, calculates the weight amount, and calculates the target position pn and the target posture q n of the elbow portion. May be good. As a result, for example, even in an environment where an obstacle exists in the vicinity of the elbow as shown in FIG. 11, an expert can use the redundancy degree of freedom of bilateral control in advance to avoid the obstacle. Along the target trajectory, even an inexperienced person can safely and accurately realize remote control of the slave robot 3 in a complicated environment.

上記実施形態において、バイラテラル制御部4は、上記ダンピング処理を行って、目標軌道を生成してもよい。
ここで、熟練者にとっても、未経験の環境下でスレーブロボット3を遠隔操作するのが困難となる場合がある。そこで、図12(a)に示す如く、初めに、バイラテラル制御部4は、僅かな重み量の球状ボクセルが設定された目標軌道に基づいて、把持部34と球状ボクセルとの接触判定を行い、把持部34の目標位置p及び目標姿勢qを算出して、バイラテラル制御を行う。このとき、ダンピング処理効果によって、マスタ操作部2の操作は低速度となるが、誤操作が減少し正確な動作が期待できる。そして、バイラテラル制御部4は、ダンピング処理を繰り返すことで、各球状ボクセルの重み量を増加させ更新する。これにより、図12(b)に示す如く、把持部34の軌道上及び周辺の各球状ボクセルの重み量が増加し、最終的に、図12(c)に示す如く、目標軌道が生成される。このように、バイラテラル制御部4は、僅かな重み量の球状ボクセルの目標軌道から、上記ダンピング処理及び各球状ボクセルの重み量の更新を繰返し、目標軌道を生成する。
In the above embodiment, the bilateral control unit 4 may perform the damping process to generate a target trajectory.
Here, even a skilled person may find it difficult to remotely control the slave robot 3 in an inexperienced environment. Therefore, as shown in FIG. 12A, first, the bilateral control unit 4 determines the contact between the grip portion 34 and the spherical voxel based on the target trajectory in which the spherical voxel having a small weight amount is set. , The target position pn and the target posture q n of the grip portion 34 are calculated, and bilateral control is performed. At this time, due to the damping processing effect, the operation of the master operation unit 2 becomes low speed, but erroneous operation is reduced and accurate operation can be expected. Then, the bilateral control unit 4 increases and updates the weight amount of each spherical voxel by repeating the damping process. As a result, as shown in FIG. 12 (b), the weight amount of each spherical voxel on and around the orbit of the grip portion 34 increases, and finally, as shown in FIG. 12 (c), a target orbit is generated. .. In this way, the bilateral control unit 4 repeats the damping process and the update of the weight amount of each spherical voxel from the target trajectory of the spherical voxel having a small weight amount to generate the target trajectory.

本発明は、例えば、図9に示す処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。 The present invention can also be realized, for example, by causing the CPU to execute a computer program for the process shown in FIG.

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。 Programs can be stored and supplied to a computer using various types of non-transitory computer readable medium. Non-temporary computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs. Includes CD-R / W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)).

プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program may be supplied to the computer by various types of transient computer readable medium. Examples of temporary computer readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

1 マスタスレーブシステム、2 マスタ操作部、3 スレーブロボット、4 バイラテラル制御部、5 記憶部、31 ベース部、32 リンク、33 関節部、34 把持部、35 環境認識センサ 1 Master-slave system, 2 Master operation unit, 3 Slave robot, 4 Bilateral control unit, 5 Storage unit, 31 Base unit, 32 Link, 33 Joint unit, 34 Grip unit, 35 Environment recognition sensor

Claims (2)

操作者が操作を行うマスタ操作手段と、
前記マスタ操作手段と離れた位置に配置され、対象物を把持操作する把持部を有するスレーブロボットと、
前記マスタ操作手段の動作に応じて前記スレーブロボットを動作させるバイラテラル制御を行う制御手段と、を備えるマスタスレーブシステムであって、
前記スレーブロボットが動作する際の目標となる目標軌道を記憶する記憶手段を備え、
前記制御手段は、前記スレーブロボットが前記記憶手段に記憶された目標軌道から逸脱すると、前記マスタ操作手段の操作に対し抵抗力が生じるように、該マスタ操作手段の動作を制御し、
前記記憶手段に記憶された目標軌道は、前記スレーブロボットの把持部が通過する通過位置に対応付けて、前記マスタ操作手段の操作に対する抵抗力が設定されており、
前記制御手段は、前記把持部と前記通過位置との接触判定において接触すると判定された前記通過位置の抵抗力を減少させて更新し、
前記スレーブロボットの把持部が通過する位置をボクセル形式で表現されており、各ボクセルは、前記マスタ操作手段の操作に対する抵抗力を示す重み量を有しており、
前記制御手段は、前記記憶手段のボクセルの重み量に、前記接触の度合に応じた所定係数を加算あるいは乗算することで、前記重み量を増加させる
ことを特徴とするマスタスレーブシステム。
The master operation means that the operator operates and
A slave robot that is arranged at a position away from the master operating means and has a gripping portion that grips and operates an object.
A master-slave system including a control means for performing bilateral control for operating the slave robot according to the operation of the master operation means.
A storage means for storing a target trajectory that is a target when the slave robot operates is provided.
The control means controls the operation of the master operation means so that when the slave robot deviates from the target trajectory stored in the storage means, a resistance force is generated against the operation of the master operation means.
The target trajectory stored in the storage means is associated with a passing position through which the grip portion of the slave robot passes, and a resistance force against the operation of the master operating means is set.
The control means reduces and updates the resistance force of the passing position determined to be in contact in the contact determination between the grip portion and the passing position.
The position through which the grip portion of the slave robot passes is expressed in a voxel format, and each voxel has a weight amount indicating resistance to the operation of the master operating means.
The control means increases the weight amount by adding or multiplying the weight amount of the voxels of the storage means by a predetermined coefficient according to the degree of contact .
A master-slave system characterized by that.
請求項記載のマスタスレーブシステムであって、
前記制御手段は、前記記憶手段のボクセルの重み量に、時間係数を乗算することで、該重み量を時間経過と共に元の初期値に戻す処理を行う、
ことを特徴とするマスタスレーブシステム。
The master-slave system according to claim 1 .
The control means performs a process of returning the weight amount to the original initial value with the passage of time by multiplying the weight amount of the voxel of the storage means by a time coefficient.
A master-slave system characterized by that.
JP2016234503A 2016-12-01 2016-12-01 Master-slave system Active JP7035309B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016234503A JP7035309B2 (en) 2016-12-01 2016-12-01 Master-slave system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016234503A JP7035309B2 (en) 2016-12-01 2016-12-01 Master-slave system

Publications (2)

Publication Number Publication Date
JP2018089736A JP2018089736A (en) 2018-06-14
JP7035309B2 true JP7035309B2 (en) 2022-03-15

Family

ID=62564926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016234503A Active JP7035309B2 (en) 2016-12-01 2016-12-01 Master-slave system

Country Status (1)

Country Link
JP (1) JP7035309B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7257816B2 (en) * 2019-02-26 2023-04-14 住友重機械工業株式会社 robot control system
US11179850B2 (en) 2019-04-24 2021-11-23 Intrinsic Innovation Llc Robot motion planning
JP7385373B2 (en) 2019-05-10 2023-11-22 川崎重工業株式会社 Robot system and its control method
US20230038804A1 (en) * 2019-12-13 2023-02-09 Kawasaki Jukogyo Kabushiki Kaisha Master-slave system and controlling method
JP7351539B2 (en) * 2021-09-13 2023-09-27 株式会社メルティンMmi Programs, methods, and systems for controlling robot movements based on operator movements

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150569A (en) 2001-11-09 2003-05-23 Sony Corp Information processing system, information processing method, program, recording medium and information processor
JP2009018380A (en) 2007-07-12 2009-01-29 Toyota Motor Corp Robot, control method of the robot, and control system of the robot
WO2016109887A1 (en) 2015-01-09 2016-07-14 Titan Medical Inc. Alignment difference safety in a master-slave robotic system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08118262A (en) * 1994-10-20 1996-05-14 Komatsu Ltd Master-slave manipulator

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150569A (en) 2001-11-09 2003-05-23 Sony Corp Information processing system, information processing method, program, recording medium and information processor
JP2009018380A (en) 2007-07-12 2009-01-29 Toyota Motor Corp Robot, control method of the robot, and control system of the robot
WO2016109887A1 (en) 2015-01-09 2016-07-14 Titan Medical Inc. Alignment difference safety in a master-slave robotic system

Also Published As

Publication number Publication date
JP2018089736A (en) 2018-06-14

Similar Documents

Publication Publication Date Title
JP7035309B2 (en) Master-slave system
US20210205986A1 (en) Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose
Koenemann et al. Real-time imitation of human whole-body motions by humanoids
JP6940879B2 (en) Robot control systems, machine control systems, robot control methods, machine control methods, and computer programs
CN108883533B (en) Robot control
Rakita et al. A motion retargeting method for effective mimicry-based teleoperation of robot arms
Fritsche et al. First-person tele-operation of a humanoid robot
US11762369B2 (en) Robotic control via a virtual world simulation
US20180348744A1 (en) Robot trajectory learning by demonstration with probe sensor
JP7295421B2 (en) Control device and control method
JP7117237B2 (en) ROBOT CONTROL DEVICE, ROBOT SYSTEM AND ROBOT CONTROL METHOD
CN111085996B (en) Control method, device and system of live working robot
CN113103230A (en) Human-computer interaction system and method based on remote operation of treatment robot
Schultz et al. Goal-predictive robotic teleoperation from noisy sensors
Hirschmanner et al. Virtual reality teleoperation of a humanoid robot using markerless human upper body pose imitation
Chen et al. Development of a user experience enhanced teleoperation approach
CN114516060A (en) Apparatus and method for controlling a robotic device
JP5948914B2 (en) Robot control apparatus, robot control method, robot control program, and robot system
US9193070B2 (en) Robot, control system for controlling motion of a controlled object, and recording medium for control program for controlling motion of a controlled object
JP6567998B2 (en) Control method
KR102131097B1 (en) Robot control system and robot control method using the same
CN111152220A (en) Mechanical arm control method based on man-machine fusion
Vogel et al. Flexible, semi-autonomous grasping for assistive robotics
Liu et al. Virtual reality based tactile sensing enhancements for bilateral teleoperation system with in-hand manipulation
Otaran et al. Walking-in-place foot interface for locomotion control and telepresence of humanoid robots

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R151 Written notification of patent or utility model registration

Ref document number: 7035309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151