JP5974666B2

JP5974666B2 - Manipulation system

Info

Publication number: JP5974666B2
Application number: JP2012142014A
Authority: JP
Inventors: 海嘉之山
Original assignee: Cyberdyne Inc
Current assignee: Cyberdyne Inc
Priority date: 2012-06-25
Filing date: 2012-06-25
Publication date: 2016-08-23
Anticipated expiration: 2032-06-25
Also published as: JP2014004655A

Description

本発明は、マスタスレーブ型のマニピュレーションシステムに関する。 The present invention relates to a master-slave type manipulation system.

ロボット工学やバーチャルリアリティの分野において、システムに人間を組み込んだマスタスレーブ型マニピュレーションシステムに関する様々な研究が行われている。例えば、マスタ側のオペレータの技能的な操作をスレーブ側のロボットアームに伝達し、あたかもオペレータが遠隔地にいるような高度な臨場感をもってスレーブ部を操作するテレイグジスタンスに関する研究が挙げられる（例えば非特許文献１参照）。 In the field of robotics and virtual reality, various studies have been conducted on master-slave manipulation systems that incorporate humans into the system. For example, there is research related to tele-existence in which the master side operator's technical operations are transmitted to the slave side robot arm and the slave unit is operated with a high degree of realism as if the operator is in a remote place (for example, Non-patent document 1).

従来のマスタスレーブ型マニピュレーションシステムでは、マスタアームが人間の運動意思を腕の変位として読み取る。人間の運動意思は、神経を伝わり、筋を収縮させ、関節トルクを発生した後に、腕の変位となる。従って、マスタアームに人間の運動意思が伝わるまでに時間のずれが発生し、また、変位として出力されない動作には適応できなかった。このことにより、オペレータはスレーブアームを自分の腕と同じように思い通りに動かすことができず、操作に違和感をおぼえるという問題があった。 In a conventional master-slave type manipulation system, a master arm reads a person's intention to move as an arm displacement. Human willingness to move is transmitted through nerves, contracts muscles, generates joint torque, and then becomes arm displacement. Therefore, a time lag occurs until the human arm's intention to exercise is transmitted to the master arm, and it cannot be adapted to an operation that is not output as a displacement. As a result, the operator cannot move the slave arm in the same way as his / her arm, and there is a problem that the operation is uncomfortable.

S.Tachi, T.Sakai, “Impedance controlled master-slave manipulation system. Part1. Basic concept and application to the system with a time delay”, Advanced Robotics, Vol.6, No.4, 1992, pp483-503S.Tachi, T.Sakai, “Impedance controlled master-slave manipulation system. Part 1. Basic concept and application to the system with a time delay”, Advanced Robotics, Vol.6, No.4, 1992, pp483-503

本発明はこのような点を考慮してなされたものであり、操作性の良いマニピュレーションシステムを提供することを目的とする。 The present invention has been made in consideration of such points, and an object thereof is to provide a manipulation system with good operability.

本発明の一態様によるマニピュレーションシステムは、装着者に装着されるマスタアーム装置と、スレーブアーム装置とを備えるマニピュレーションシステムであって、前記マスタアーム装置は、前記装着者の肩関節及び肘関節の動作に対応する筋活動に伴う生体電位信号を検出する生体電位センサと、前記装着者の肩関節及び肘関節の角度を検出する第１角度センサと、前記装着者に対して動力を付与する第１駆動源と、前記生体電位信号に基づいて前記駆動源を制御し、前記第１角度センサの検出結果からマスタアームの位置情報を算出する第１制御部と、前記マスタアームの位置情報及び前記生体電位信号に基づくインピーダンス情報を送信する第１通信部と、を有し、前記スレーブアーム装置は、スレーブアームに加わる力を検出する力覚センサと、前記スレーブアームを動作させる第２駆動源と、前記スレーブアームの関節角度を検出する第２角度センサと、前記第１通信部から受信した前記位置情報、前記インピーダンス情報、及び前記力覚センサの検出結果に基づいて前記第２駆動源を制御し、前記第２角度センサの検出結果から前記スレーブアームの位置情報を算出する第２制御部と、前記スレーブアームの位置情報及び前記力覚センサの検出結果を前記第１通信部へ送信する第２通信部と、を有し、前記第１制御部は前記第２通信部から受信した前記力覚センサの検出結果に基づいて前記第１駆動源を制御することを特徴とするものである。 A manipulation system according to an aspect of the present invention is a manipulation system including a master arm device to be worn by a wearer and a slave arm device, and the master arm device moves the shoulder joint and elbow joint of the wearer. A biopotential sensor that detects a biopotential signal associated with muscle activity corresponding to the first, a first angle sensor that detects angles of the shoulder and elbow joints of the wearer, and a first that applies power to the wearer. A driving source; a first control unit that controls the driving source based on the bioelectric potential signal; and calculates position information of the master arm from a detection result of the first angle sensor; position information of the master arm; and the living body A first communication unit that transmits impedance information based on a potential signal, and the slave arm device detects a force applied to the slave arm. A force sensor, a second drive source for operating the slave arm, a second angle sensor for detecting a joint angle of the slave arm, the position information received from the first communication unit, the impedance information, and the A second control unit configured to control the second drive source based on a detection result of the force sensor and calculate position information of the slave arm from a detection result of the second angle sensor; position information of the slave arm; and A second communication unit that transmits a detection result of the force sensor to the first communication unit, and the first control unit is based on the detection result of the force sensor received from the second communication unit. The first drive source is controlled.

本発明の一態様によるマニピュレーションシステムにおいては、前記第１通信部が送信する前記マスタアームの位置情報は、前記マスタアームの手先位置の移動量であることを特徴とすることが好ましい。 In the manipulation system according to the aspect of the present invention, it is preferable that the position information of the master arm transmitted by the first communication unit is a movement amount of the hand position of the master arm.

本発明の一態様によるマニピュレーションシステムにおいては、前記第１通信部及び前記第２通信部は、ＵＤＰにより通信を行うことが好ましい。 In the manipulation system according to one aspect of the present invention, it is preferable that the first communication unit and the second communication unit communicate by UDP.

本発明の一態様によるマニピュレーションシステムにおいては、前記マスタアームの関節自由度と前記スレーブアームの関節自由度とが異なることが好ましい。 In the manipulation system according to one aspect of the present invention, it is preferable that a joint freedom degree of the master arm and a joint freedom degree of the slave arm are different.

本発明によれば、オペレータの生体電位情報を用いてロボットアームのインピーダンスを動的に変化させることで、マニピュレーションシステムの操作性を向上させることができる。 According to the present invention, the operability of the manipulation system can be improved by dynamically changing the impedance of the robot arm using the biopotential information of the operator.

本実施形態に係るマニピュレーションシステムの外観斜視図である。It is an external appearance perspective view of the manipulation system concerning this embodiment. 同実施形態に係るマスタアーム装置の概略構成図である。It is a schematic block diagram of the master arm apparatus concerning the embodiment. 同実施形態に係るスレーブアーム装置の概略構成図である。It is a schematic block diagram of the slave arm apparatus concerning the embodiment. 同実施形態に係るマニピュレーションシステムのブロック構成図である。It is a block block diagram of the manipulation system which concerns on the same embodiment. 同実施形態による生体電位可変インピーダンス制御を導入したバイラテラル制御手法におけるブロック図である。It is a block diagram in the bilateral control method which introduced the bioelectric potential variable impedance control by the same embodiment.

以下、本発明の実施の形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は本実施形態に係るマニピュレーションシステムの外観斜視図である。このマニピュレーションシステムはマスタスレーブ型のマニピュレーションシステムであり、オペレータ（装着者）０が装着して操作を行うマスタアーム装置１と、実際に作業を行うスレーブアーム装置２とを備えている。マスタアーム装置１とスレーブアーム装置２は双方向に通信を行い、装着者０のマスタアーム操作がスレーブアームの動作に反映されるようになっている。 FIG. 1 is an external perspective view of a manipulation system according to the present embodiment. This manipulation system is a master-slave type manipulation system, and includes a master arm device 1 that an operator (wearer) 0 wears and operates, and a slave arm device 2 that actually performs work. The master arm device 1 and the slave arm device 2 communicate bidirectionally so that the master arm operation of the wearer 0 is reflected in the operation of the slave arm.

図２は、マスタアーム装置１が装着者０に装着された状態を示している。図２では、装着者０の右腕部分に対応するマスタアーム装置１の右上半部が示されている。マスタアーム装置１は、その左上半部にも右上半部と同様の構成を有する。 FIG. 2 shows a state where the master arm device 1 is worn by the wearer 0. In FIG. 2, the upper right half of the master arm device 1 corresponding to the right arm portion of the wearer 0 is shown. The master arm device 1 has the same configuration in the upper left half as in the upper right half.

図２に示すように、マスタアーム装置１は、体幹部材１３１と、上腕部材１３２と、前腕部材１３３とを有している。体幹部材１３１は、装着者０の胴体に装着される。上腕部材１３２は、装着者０の上腕部に沿って延び、装着者０の上腕部に装着される。また、前腕部材１３３は、装着者０の前腕部に沿って延び、装着者０の前腕部に装着される。 As shown in FIG. 2, the master arm device 1 includes a trunk member 131, an upper arm member 132, and a forearm member 133. The trunk member 131 is attached to the body of the wearer 0. The upper arm member 132 extends along the upper arm portion of the wearer 0 and is attached to the upper arm portion of the wearer 0. The forearm member 133 extends along the forearm portion of the wearer 0 and is worn on the forearm portion of the wearer 0.

体幹部材１３１と上腕部材１３２との間に第１肩関節機構１３４が設けられており、体幹部材１３１と上腕部材１３２とは第１肩関節機構１３４を介して互いに回動可能に連結されている。また、上腕部材１３２と前腕部材１３３との間に肘関節機構１３５が設けられており、上腕部材１３２と前腕部材１３３とは肘関節機構１３５を介して互いに回動可能に連結されている。また、体幹部材１３１に覆われているため図２には示されていないが、装着者０の肩の部分には第２肩関節機構が設けられている。第１肩関節機構１３４が垂直方向に沿って回動するのに対し、第２肩関節機構は水平方向に沿って回動する。このように、マスタアーム装置１は、肩関節２自由度、肘関節１自由度を有している。 A first shoulder joint mechanism 134 is provided between the trunk member 131 and the upper arm member 132, and the trunk member 131 and the upper arm member 132 are rotatably connected to each other via the first shoulder joint mechanism 134. ing. Further, an elbow joint mechanism 135 is provided between the upper arm member 132 and the forearm member 133, and the upper arm member 132 and the forearm member 133 are connected to each other via the elbow joint mechanism 135 so as to be rotatable. Although not shown in FIG. 2 because it is covered with the trunk member 131, a second shoulder joint mechanism is provided on the shoulder portion of the wearer 0. The first shoulder joint mechanism 134 rotates along the vertical direction, while the second shoulder joint mechanism rotates along the horizontal direction. Thus, the master arm device 1 has a shoulder joint 2 degrees of freedom and an elbow joint 1 degrees of freedom.

図２に示すように、マスタアーム装置１には、屈曲側生体電位センサ１３６と、伸展側生体電位センサ１３７とが設けられている。上腕部材１３２は、上腕骨に沿って配置され、肘関節に近い側及び遠い側に２箇所に設けられたバンド等で上腕部に固定されている。前腕部材１３３は、尺骨又は橈骨に沿って配置され、肘関節に近い側及び遠い側の２箇所に設けられたバンド等で前腕部に固定されている。 As shown in FIG. 2, the master arm device 1 is provided with a bending side biopotential sensor 136 and an extension side biopotential sensor 137. The upper arm member 132 is disposed along the humerus, and is fixed to the upper arm portion with bands or the like provided at two locations near the elbow joint and on the far side. The forearm member 133 is disposed along the ulna or the rib, and is fixed to the forearm with bands or the like provided at two locations near the elbow joint and far from the elbow joint.

また、上腕部材１３２と前腕部材１３３とを連結する駆動ユニット１３８は、角度センサ、アクチュエータ（駆動源）、及びトルクセンサが内蔵されている。このトルクセンサには、例えば、アクチュエータに供給される電流値を検出し、この電流値をアクチュエータに固有となるトルク定数に乗じることによって駆動トルクの検出を行うもの等を適用することができる。また、角度センサにはロータリーエンコーダ等を適用することができる。 The drive unit 138 that connects the upper arm member 132 and the forearm member 133 includes an angle sensor, an actuator (drive source), and a torque sensor. As this torque sensor, for example, a sensor that detects a drive torque by detecting a current value supplied to the actuator and multiplying this current value by a torque constant inherent to the actuator can be applied. A rotary encoder or the like can be applied to the angle sensor.

屈曲側生体電位センサ１３６は、図２に示すように肘関節の屈曲動作のときに随意筋として主に働く上腕二頭筋及び上腕筋に対応する体表面に貼り付けられ、筋電位を検出する。また、伸展側生体電位センサ１３７は、図２にしめすように肘関節の伸展動作のときに随意筋として主に働く上腕三頭筋に対応する体表面に貼り付けられ、筋電位を検出する。 As shown in FIG. 2, the bending-side bioelectric potential sensor 136 is affixed to the surface of the body corresponding to the biceps brachii and humerus muscles that mainly work as voluntary muscles during the elbow joint bending operation, and detects the myoelectric potential. Further, as shown in FIG. 2, the extension-side bioelectric potential sensor 137 is attached to the body surface corresponding to the triceps surae mainly acting as a voluntary muscle during the extension operation of the elbow joint, and detects the myoelectric potential.

上述した駆動ユニット１３８は、第１肩関節機構１３４及び第２関節機構にも設けられている。また、マスタアーム装置１は、肩関節の屈曲・伸展動作、外転・内転動作のときに随意筋として主に働く三角筋及び大胸筋に対応する体表面に貼り付けられる生体電位センサ（図示せず）を有している。 The drive unit 138 described above is also provided in the first shoulder joint mechanism 134 and the second joint mechanism. In addition, the master arm device 1 is a bioelectric potential sensor (see FIG. 5) that is attached to the body surface corresponding to the deltoid and greater pectoralis muscles that mainly act as voluntary muscles during shoulder joint flexion / extension motion, abduction / addition motion Not shown).

また、マスタアーム装置１は、装着者０の背中に装着される制御ユニット１１９を有し、例えばホストコントローラ、モータドライバ、計測装置、電源回路、通信装置等の機器が収納される。ホストコントローラへは、外部のコンピュータからＴＣＰ／ＩＰを用いて操作が可能となっている。生体電位センサにより計測された情報は、計測装置のＡ／Ｄコンバータによりデジタル化され、ホストコントローラへ送られる。ホストコントローラは、送られた情報に基づいて駆動ユニット１３８の出力を決定し、駆動ユニット１３８を駆動させる。通信装置は、ＴＣＰ／ＩＰを用いて、スレーブアーム装置２と通信を行うことができる。 In addition, the master arm device 1 has a control unit 119 that is worn on the back of the wearer 0, and stores devices such as a host controller, a motor driver, a measuring device, a power supply circuit, and a communication device. The host controller can be operated from an external computer using TCP / IP. Information measured by the biopotential sensor is digitized by the A / D converter of the measuring device and sent to the host controller. The host controller determines the output of the drive unit 138 based on the sent information, and drives the drive unit 138. The communication device can communicate with the slave arm device 2 using TCP / IP.

図３は、スレーブアーム装置２の概略構成を示している。本実施形態では、スレーブアーム装置２として７軸ロボットアームを用いるが、スレーブアーム装置２に適用できるロボットアームはこれに限定されない。スレーブアーム装置２には８つのアクチュエータが設けられ、第１〜第３アクチュエータが旋回動作を行い、第４〜第７アクチュエータが屈曲・伸展動作を行う。また、第８アクチュエータは、スレーブアーム装置２のアーム先端に取り付けられている把持動作用グリッパ２０１の開閉動作を行う。スレーブアーム装置２の各関節には関節角度センサが設けられており、各関節の関節角度、角速度、及び角加速度が取得できるようになっている。また、アームの先端部には６軸力覚センサ２０２が設けられており、先端部に加わる並進及び回転力が検出されるようになっている。 FIG. 3 shows a schematic configuration of the slave arm device 2. In this embodiment, a 7-axis robot arm is used as the slave arm device 2, but the robot arm applicable to the slave arm device 2 is not limited to this. The slave arm device 2 is provided with eight actuators, the first to third actuators perform a turning operation, and the fourth to seventh actuators perform a bending / extending operation. The eighth actuator opens and closes the gripper gripper 201 attached to the arm tip of the slave arm device 2. Each joint of the slave arm device 2 is provided with a joint angle sensor so that the joint angle, angular velocity, and angular acceleration of each joint can be acquired. A 6-axis force sensor 202 is provided at the tip of the arm so that translational and rotational force applied to the tip can be detected.

スレーブアーム装置２は図示しない制御ユニットを備えている。制御ユニットは、関節角度センサの検出結果や、６軸力覚センサの検出結果を取得する。また、制御ユニットは、第１〜第８アクチュエータを制御して、スレーブアーム装置２の動作を制御する。また、制御ユニットは通信装置を有しており、マスタアーム装置１とデータ通信することができる。 The slave arm device 2 includes a control unit (not shown). The control unit acquires the detection result of the joint angle sensor and the detection result of the six-axis force sensor. The control unit controls the operation of the slave arm device 2 by controlling the first to eighth actuators. Further, the control unit has a communication device and can perform data communication with the master arm device 1.

次に、マスタアーム装置１とスレーブアーム装置２との通信方式及び通信データの内容について説明する。本実施形態ではプロトコルとしてＴＣＰ／ＩＰを使用する。ＴＣＰ／ＩＰには、ＴＣＰとＵＤＰの２種類のトランスポートプロトコルがある。ＴＣＰを用いた通信では、パケット毎に送信、応答確認が行われるため、送信パケット又は応答確認パケットの消失により通信が一時停止し得る。特に、サイズが大きいデータは再送手続きが複数回行われることがあり、この間は、データが届かず制御が停止する。データ転送サイクルは、ネットワーク上でパケットが往復する時間が限界となる。 Next, the communication method and the content of communication data between the master arm device 1 and the slave arm device 2 will be described. In this embodiment, TCP / IP is used as a protocol. TCP / IP has two types of transport protocols, TCP and UDP. In communication using TCP, transmission and response confirmation are performed for each packet. Therefore, communication can be temporarily stopped due to loss of a transmission packet or a response confirmation packet. In particular, retransmission processing may be performed a plurality of times for data with a large size. During this time, data does not reach and control is stopped. The data transfer cycle is limited in the time required for the packet to reciprocate on the network.

一方、ＵＤＰでは、送信側は単にデータを送信し、受信側は届いたデータを受信するのみである。すなわち、応答確認を行われないため、パケットの損失やデータの順序が保証されない代わりに、ネットワーク上での転送時間に制限されない。ＵＤＰを用いた通信は、ＴＣＰを用いた通信と比較して、転送停止期間を短くできるため、本実施形態では、ＵＤＰを用いて通信を行うものとする。 On the other hand, in UDP, the transmitting side simply transmits data, and the receiving side only receives the received data. That is, since response confirmation is not performed, packet loss and data order are not guaranteed, and the transfer time on the network is not limited. Since communication using UDP can shorten the transfer stop period compared to communication using TCP, in this embodiment, communication is performed using UDP.

本実施形態によるマスタスレーブ型のマニピュレーションシステムにおける通信データ配列は以下のようになっている。 The communication data array in the master-slave type manipulation system according to the present embodiment is as follows.

｛シンクロ用データ；Ｘ移動量；Ｙ移動量；Ｚ移動量；Ｘ回転量；Ｙ回転量；Ｚ回転量；グリッパ開閉データ；ｉインピーダンスデータ；エラーチェック検算用データ｝
Ｘ移動量、Ｙ移動量、Ｚ移動量はそれぞれＸ軸方向、Ｙ軸方向、Ｚ軸方向の移動量を示している。また、Ｘ回転量、Ｙ回転量、Ｚ回転量は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の回転量を示している。グリッパ開閉データは、把持動作用グリッパ２０１の開閉動作に対応している。 {Synchronization data; X movement amount; Y movement amount; Z movement amount; X rotation amount; Y rotation amount; Z rotation amount; gripper open / close data; i impedance data; error check calculation data}
The X movement amount, the Y movement amount, and the Z movement amount indicate the movement amounts in the X axis direction, the Y axis direction, and the Z axis direction, respectively. Further, the X rotation amount, the Y rotation amount, and the Z rotation amount indicate rotation amounts in the X axis direction, the Y axis direction, and the Z axis direction. The gripper opening / closing data corresponds to the opening / closing operation of the gripper 201 for gripping operation.

本実施形態では、関節角度データではなく、手先位置座標データを用いてアームの制御が行われる。マスタアーム装置１とスレーブアーム装置２とが相似形（同じ自由度）であれば、各関節が１対１対応する。しかし、マスタアーム装置１とスレーブアーム装置２のタイプが異なる（自由度が異なる）場合、各関節の対応付けが困難となる。そのため、本実施形態では、手先位置座標データを用いてアームの制御を行う。このことにより、作業に応じてスレーブアームを自由に選択し、スレーブアームの自由度が変わった場合であっても、アームの制御を行うことができる。 In this embodiment, the arm is controlled using hand position coordinate data instead of joint angle data. If the master arm device 1 and the slave arm device 2 are similar (same degrees of freedom), each joint has a one-to-one correspondence. However, when the types of the master arm device 1 and the slave arm device 2 are different (the degrees of freedom are different), it is difficult to associate each joint. Therefore, in this embodiment, the arm is controlled using the hand position coordinate data. Thus, the slave arm can be freely selected according to the work, and the arm can be controlled even when the degree of freedom of the slave arm changes.

また、手先位置座標データは、絶対座標におけるデータではなく、手先位置移動量のデータとする。マスタアーム装置１からスレーブアーム装置２へ送信するデータは絶対座標値データではなく、手先位置の移動量を送信データとして用いることで、データの欠損等により受信側でエラー処理が出来ない場合であっても、大きな移動量とはならないため、スレーブアーム装置２の異常動作を防止することができる。また、マスタアーム装置１及びスレーブアーム装置２の移動量対応関係の比率を１：１ではなく、１：２や２：１に変化させることで、細かな作業や大きな移動を伴う作業にも柔軟に対応でき、操作性を確保することができる。 The hand position coordinate data is not data in absolute coordinates but data on the hand position movement amount. The data to be transmitted from the master arm device 1 to the slave arm device 2 is not absolute coordinate value data, but the error amount cannot be processed on the receiving side due to data loss or the like by using the movement amount of the hand position as transmission data. However, since the amount of movement is not large, abnormal operation of the slave arm device 2 can be prevented. Also, by changing the ratio of the movement amount correspondence relationship between the master arm device 1 and the slave arm device 2 to 1: 1 or 2: 1 instead of 1: 1, it is flexible even for work that involves fine work or large movements. It is possible to ensure operability.

図４は、上述したマスタアーム装置１及びスレーブアーム装置２のブロック構成図である。マスタアーム装置１の生体電位センサ１１は、図２の生体電位センサ１３６、１３７に対応しており、角度センサ１２及びアクチュエータ１３は、図２の駆動ユニット１３８に設けられている。また、コントローラ１４及び通信装置１５は、図２の制御ユニット１１９に設けられている。 FIG. 4 is a block diagram of the master arm device 1 and the slave arm device 2 described above. The biopotential sensor 11 of the master arm device 1 corresponds to the biopotential sensors 136 and 137 in FIG. 2, and the angle sensor 12 and the actuator 13 are provided in the drive unit 138 in FIG. Further, the controller 14 and the communication device 15 are provided in the control unit 119 of FIG.

スレーブアーム装置２１の力覚センサは、図３の６軸力覚センサ２０２に対応している。関節角度センサ２２は、図３に示すスレーブアーム装置２のアームの各関節に設けられている。アクチュエータ２３は、図３に示すスレーブアーム装置２のアームの旋回動作、屈曲・伸展動作、把持動作用グリッパ２０１の開閉動作を行う。コントローラ２４及び通信装置２５は、上述したスレーブアーム装置２の制御ユニットに設けられている。 The force sensor of the slave arm device 21 corresponds to the 6-axis force sensor 202 of FIG. The joint angle sensor 22 is provided at each joint of the arm of the slave arm device 2 shown in FIG. The actuator 23 performs the turning operation of the arm of the slave arm device 2 shown in FIG. 3, the bending / extending operation, and the opening / closing operation of the gripper 201 for gripping operation. The controller 24 and the communication device 25 are provided in the control unit of the slave arm device 2 described above.

装着者０の腕は、体調、環境、筋肉の筋張力によって動的にインピーダンスが変化している。従って、ロボットアームを自分の腕のように動かすためには、ロボットアームのインピーダンスを動的に変化させる必要がある。本実施形態では、装着者０の生体電位情報に着目して、装着者０の直感動作が随意的にロボットのインピーダンスとして表現できる生体電位可変インピーダンス制御が行われる。 The arm of the wearer 0 dynamically changes impedance depending on physical condition, environment, and muscle tension. Therefore, in order to move the robot arm like its own arm, it is necessary to dynamically change the impedance of the robot arm. In this embodiment, paying attention to the bioelectric potential information of the wearer 0, biopotential variable impedance control is performed in which the intuitive action of the wearer 0 can be arbitrarily expressed as the impedance of the robot.

生体電位可変インピーダンス制御では、装着者０の生体電位情報に着目して、ロボットアームの特性を随意に制御できるようにアーム剛性の仮想インピーダンスを算出する。インピーダンス制御における手先位置での方程式は以下の数式１で示される。

In the bioelectric potential variable impedance control, paying attention to the bioelectric potential information of the wearer 0, the virtual impedance of the arm stiffness is calculated so that the characteristics of the robot arm can be controlled arbitrarily. The equation at the hand position in the impedance control is expressed by the following Equation 1.

ここで、Ｆは外力、Ｍは慣性項、Ｄは粘性項、Ｋは剛性項といったインピーダンスである。また、Ｐは位置、Δｔはサンプリングタイムを示す。 Here, F is an external force, M is an inertia term, D is a viscosity term, and K is an impedance term such as a stiffness term. P represents a position, and Δt represents a sampling time.

以下の数式２は、数式１の剛性項を、生体電位情報に基づいたものに変更した生体電位可変インピーダンス制御式を示す。

Equation 2 below shows a biopotential variable impedance control equation in which the stiffness term of Equation 1 is changed to that based on biopotential information.

生体可変剛性マトリクスＫ_ＢＥＳは以下の数式３で算出される。

The bio-variable stiffness matrix K _BES is calculated by the following formula 3.

数式３において、Ｆ_ＢＥＳ０〜Ｆ_ＢＥＳ２は生体電位情報、ｋ_０〜ｋ_２は調整用ゲイン、Ｋ_０〜Ｋ_２はオフセット調整項である。本実施形態では、図２に示すように３関節（肩２、肘１）における生体電位情報を用いているため、生体可変剛性マトリクスＫ_ＢＥＳは３×３マトリクスとなっている。また、生体電位情報Ｆ_ＢＥＳは以下の数式４で求められる。

In Equation 3, F _{BES0 to} F _BES2 are biopotential information, k _{0 to} k ₂ are adjustment gains, and K _{0 to} K ₂ are offset adjustment terms. In the present embodiment, as shown in FIG. 2, the bioelectric potential information at the three joints (shoulder 2 and elbow 1) is used, and thus the biovariable stiffness matrix K _BES is a 3 × 3 matrix. Further, the biopotential information F _BES is obtained by the following mathematical formula 4.

数式４において、ｗはバランスゲイン、Ｅ_ｆは屈曲時の生体電位信号、Ｅ_ｅは伸展時の生体電位信号である。 In Equation 4, w is a balance gain, E _f is a biopotential signal at the time of bending, and E _e is a biopotential signal at the time of extension.

このような生体電位可変インピーダンス制御を取り入れたマスタスレーブ型マニピュレーションシステムの動作を、図４を用いて説明する。 The operation of the master-slave manipulation system incorporating such biopotential variable impedance control will be described with reference to FIG.

マスタアーム装置１の生体電位センサ１１は、装着者０の生体電位信号を検出し、コントローラ１４に渡す。コントローラ１４は、受け取った生体電位信号から関節トルク情報を取得し（関節トルクを推定し）、アクチュエータ１３を制御してマスタアーム装置１を動作させる。角度センサ１２は、この動作によるマスタアーム装置１のアームの各関節の変位を検出する。コントローラ１４は、各関節の変位からアームの手先位置情報（手先位置の移動量）を算出する。また、コントローラ１４は、数式３、４に基づいて、生体電位信号から生体可変剛性マトリクスＫ_ＢＥＳを算出する。通信装置１５は、算出された手先位置情報及びインピーダンス情報（生体可変剛性マトリクスＫ_ＢＥＳ等）をスレーブアーム装置２の通信装置２５へ送信する。 The biopotential sensor 11 of the master arm device 1 detects the biopotential signal of the wearer 0 and passes it to the controller 14. The controller 14 acquires joint torque information from the received biopotential signal (estimates the joint torque), and controls the actuator 13 to operate the master arm device 1. The angle sensor 12 detects the displacement of each joint of the arm of the master arm device 1 due to this operation. The controller 14 calculates arm hand position information (movement amount of the hand position) from the displacement of each joint. Further, the controller 14 calculates a bio-variable stiffness matrix K _BES from the bio-potential signal based on Expressions 3 and 4. The communication device 15 transmits the calculated hand position information and impedance information (biologically variable stiffness matrix K _BES or the like) to the communication device 25 of the slave arm device 2.

通信装置２５は、通信装置１５から受信した手先位置情報及びインピーダンス情報をコントローラ２４に渡す。コントローラ２４は、受け取ったインピーダンス情報をスレーブアーム装置２に適用し、手先位置の移動量及び力覚センサ２１により得られた力情報に基づいて、アクチュエータ２３を制御し、スレーブアームの手先位置の追従を行う。コントローラ２４は、関節角度センサ２２の検出結果からスレーブアームの手先位置情報（手先位置の移動量）を算出する。そして、通信装置２５が、力情報及び手先位置情報（手先位置の移動量）をマスタアーム装置１の通信装置１５へ送信する。 The communication device 25 passes the hand position information and impedance information received from the communication device 15 to the controller 24. The controller 24 applies the received impedance information to the slave arm device 2, controls the actuator 23 based on the movement amount of the hand position and the force information obtained by the force sensor 21, and follows the hand position of the slave arm. I do. The controller 24 calculates the hand position information (movement amount of the hand position) of the slave arm from the detection result of the joint angle sensor 22. Then, the communication device 25 transmits force information and hand position information (a movement amount of the hand position) to the communication device 15 of the master arm device 1.

マスタアーム装置１のコントローラ１４は、通信装置１５を介して受信した力情報からヤコビアンを用いて、手先力を各関節トルクに変換し、さらに位置偏差を用いて、アクチュエータ１３を制御し、装着者０に力覚フィードバックを行う。また、このマニピュレーションシステムでは、装着者０の視覚フィードバックにより、アームの手先位置の絶対座標のフィードバック制御が行われる。 The controller 14 of the master arm device 1 converts the hand force into each joint torque using the Jacobian from the force information received via the communication device 15, and further controls the actuator 13 using the position deviation to Force feedback to zero. In this manipulation system, feedback control of the absolute coordinates of the hand position of the arm is performed by visual feedback of the wearer 0.

図５は、本実施形態による生体電位可変インピーダンス制御を導入したバイラテラル制御手法におけるブロック図である。図５におけるＢＥＳ可変インピーダンスコントロールモデルが、生体電位可変インピーダンス制御における仮想インピーダンスを実現する物理モデルとなる。このモデルにおけるインピーダンスを制御することで、マスタアーム装置１の各アーム特性を自由に設定できるようになる。 FIG. 5 is a block diagram of the bilateral control method in which the biopotential variable impedance control according to the present embodiment is introduced. The BES variable impedance control model in FIG. 5 is a physical model that realizes virtual impedance in biopotential variable impedance control. By controlling the impedance in this model, each arm characteristic of the master arm device 1 can be freely set.

このように、生体電位信号を検出して関節トルクを推定しマスタアームを動作させることで、マスタアームに装着者０の腕・筋肉の特性をリアルタイムに反映することができる。また、マスタアーム装置１とスレーブアーム装置２との間で送受信するデータを、関節角度データでなく、手先位置座標の移動量とすることで、マスタアーム装置１とスレーブアーム装置２とでタイプ（自由度）が異なる場合でも、容易に制御を行うことができ、汎用性・操作性を高めることができる。 Thus, by detecting the bioelectric potential signal, estimating the joint torque and operating the master arm, the characteristics of the arm / muscle of the wearer 0 can be reflected in real time on the master arm. In addition, the data transmitted and received between the master arm device 1 and the slave arm device 2 is not the joint angle data but the movement amount of the hand position coordinates, so that the master arm device 1 and the slave arm device 2 can type ( Even when the degree of freedom is different, control can be easily performed, and versatility and operability can be improved.

また、生体電位情報に基づく生体電位可変インピーダンス制御により、変位出力がない関節剛性を高めるといった動作の制御が可能となり、直感的でしなやかな動作を行うことができる。また、ロボットのインピーダンス調整を装着者０自身が、意識や特別な操作を必要とすることなく、直感的に行うことができ、マスタアーム装置１と装着者０をよりシームレスに接続することができる。装着者０は、ロボットアームを自分の腕のように動かすことができる。 In addition, the biopotential variable impedance control based on the biopotential information makes it possible to control the operation such as increasing the joint stiffness without displacement output, and to perform an intuitive and supple operation. Moreover, the impedance adjustment of the robot can be performed intuitively by the wearer 0 without requiring consciousness or special operation, and the master arm device 1 and the wearer 0 can be more seamlessly connected. . The wearer 0 can move the robot arm like his / her arm.

このように本実施形態によれば、オペレータの生体電位情報を用いてロボットアームのインピーダンスを動的に変化させることで、マニピュレーションシステムの操作性を向上させることができる。 Thus, according to this embodiment, the operability of the manipulation system can be improved by dynamically changing the impedance of the robot arm using the biopotential information of the operator.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

１マスタアーム装置
２スレーブアーム装置
１１生体電位センサ
１２角度センサ
１３アクチュエータ
１４コントローラ
１５通信装置
２１力覚センサ
２２関節角度センサ
２３アクチュエータ
２４コントローラ
２５通信装置 DESCRIPTION OF SYMBOLS 1 Master arm apparatus 2 Slave arm apparatus 11 Bioelectric potential sensor 12 Angle sensor 13 Actuator 14 Controller 15 Communication apparatus 21 Force sensor 22 Joint angle sensor 23 Actuator 24 Controller 25 Communication apparatus

Claims

A manipulation system comprising a master arm device worn by a wearer and a slave arm device,
The master arm device is
A biopotential sensor that detects a biopotential signal associated with muscle activity corresponding to the movement of the shoulder joint and elbow joint of the wearer;
A first angle sensor for detecting angles of the shoulder joint and elbow joint of the wearer;
A first drive source for applying power to the wearer;
A first controller that controls the drive source based on the biopotential signal and calculates position information of the master arm from the detection result of the first angle sensor;
A first communication unit for transmitting impedance information based on the position information of the master arm and the biopotential signal;
Have
The slave arm device is
A force sensor that detects the force applied to the slave arm;
A second drive source for operating the slave arm;
A second angle sensor for detecting a joint angle of the slave arm;
The second drive source is controlled based on the position information received from the first communication unit, the impedance information, and the detection result of the force sensor, and the position of the slave arm is determined from the detection result of the second angle sensor. A second control unit for calculating information;
A second communication unit for transmitting the position information of the slave arm and the detection result of the force sensor to the first communication unit;
Have
The first control unit controls the first drive source based on a detection result of the force sensor received from the second communication unit.

The manipulation system according to claim 1, wherein the position information of the master arm transmitted by the first communication unit is a movement amount of a hand position of the master arm.

The manipulation system according to claim 1 or 2, wherein the first communication unit and the second communication unit perform communication by UDP.

The manipulation system according to any one of claims 1 to 3, wherein a joint freedom degree of the master arm and a joint freedom degree of the slave arm are different.