JP7185749B2

JP7185749B2 - ROBOT SYSTEM AND ROBOT SYSTEM CONTROL METHOD

Info

Publication number: JP7185749B2
Application number: JP2021199225A
Authority: JP
Inventors: 康彦橋本; 信恭下村; 雅幸掃部; 潤藤森; 博貴木下; 拓哉志鷹; 大樹 ▲高▼橋
Original assignee: Kawasaki Jukogyo KK
Current assignee: Kawasaki Motors Ltd
Priority date: 2017-05-19
Filing date: 2021-12-08
Publication date: 2022-12-07
Anticipated expiration: 2037-05-19
Also published as: JP2022033934A

Description

本発明は、ロボットシステム及びロボットシステムの制御方法に関する。 The present invention relates to a robot system and a control method for the robot system.

危険作業や微細作業などで、操作者が直接作業を行うことなく、操作者がマスタアームを操作してスレーブアームによって作業を行うマスタ・スレーブ型のロボットシステムが開発されている。例えば特許文献１には、スレーブアームが作業対象物や作業環境から受ける反力情報を、マスタアームを介して操作者に伝達し、作業効率を高めるバイラテラル制御方式のロボットシステムが開示されている。一般に、バイラテラル制御とは、マスタアームからスレーブアームへの姿勢制御とスレーブアームからマスタアームへの力制御を同時に行う制御方法である。 2. Description of the Related Art A master-slave type robot system has been developed in which an operator operates a master arm and a slave arm performs work without the operator directly performing the work, such as dangerous work or fine work. For example, Patent Literature 1 discloses a bilateral control type robot system that transmits reaction force information received by a slave arm from a work object or work environment to an operator via a master arm to improve work efficiency. . In general, bilateral control is a control method that simultaneously performs attitude control from a master arm to a slave arm and force control from the slave arm to the master arm.

特開平１０－２０２５５８号公報JP-A-10-202558

しかし、上記従来のバイラテラル制御方式によるロボットシステムにおいて、反力に対する応答性を上げた場合、感覚が操作者に伝わりやすいが、制御系が不安定になる。このため、実際の用途では反力に対する応答性を下げざるを得ない。この場合、ロボットの動作が安定になり、操作し易いが、例えば当たった感覚や、押付ながら探る感覚が操作者に伝わり難くなる。また、触覚を再現しようとすると感覚検出用のセンサが別途必要になる。このような課題は、少なくともスレーブアームの先端に力覚センサを備えたマスタ・スレーブ型のロボットシステムに共通する。 However, in the conventional robot system based on the bilateral control method, if the responsiveness to the reaction force is increased, the operator can easily feel the sensation, but the control system becomes unstable. Therefore, in actual use, the responsiveness to the reaction force must be lowered. In this case, the motion of the robot becomes stable and it is easy to operate, but it is difficult for the operator to feel the sensation of being hit or the sensation of searching while pressing. Also, if you try to reproduce the sense of touch, you will need a separate sensor for sensation detection. Such a problem is common to master-slave type robot systems that include a force sensor at least at the tip of a slave arm.

本発明は上記のような課題を解決するためになされたもので、マスタ・スレーブ型のロボットシステムにおいて感覚検出用のセンサを別途設けること無く、操作感覚を向上させることを目的としている。 SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to improve the sense of operation in a master-slave type robot system without separately providing a sensor for sense detection.

上記目的を達成するために、本発明のある形態に係るロボットシステムは、操作端を有するマスタアームと、作業端を有するスレーブアームと、操作者によって前記操作端に付与される操作力を検出する操作力検出部と、前記作業端又は当該作業端によって保持されたワークに付与される反力を検出する反力検出部と、前記操作力と前記反力に基づいて、マスタアームの動作指令を生成するとともに、スレーブアームの動作指令を生成するシステム制御部と、前記システム制御部によって生成されたマスタアームの動作指令に基づいて、マスタアームを制御するように構成されたマスタ側制御部と、前記システム制御部によって生成されたスレーブアームの動作指令に基づいて、スレーブアームを制御するように構成されたスレーブ側制御部と、を備えるロボットシステムであって、前記システム制御部は、前記反力が急激に時間変化した状態である反力急変状態において、前記操作端を操作する操作者に対し、操作感覚を誇張して提示するための誇張表現部を有する。 To achieve the above object, a robot system according to one aspect of the present invention includes a master arm having an operating end, a slave arm having a working end, and detecting an operating force applied to the operating ends by an operator. an operation force detection unit; a reaction force detection unit that detects a reaction force applied to the working end or a workpiece held by the working end; and based on the operation force and the reaction force, issue a master arm operation command a system control unit configured to generate and generate an operation command for the slave arm; a master-side control unit configured to control the master arm based on the operation command for the master arm generated by the system control unit; a slave-side controller configured to control the slave arm based on a slave-arm motion command generated by the system controller, wherein the system controller controls the reaction force has an exaggerated expression part for exaggerating and presenting an operational feeling to the operator who operates the operating terminal in a reaction force abrupt change state in which is a state in which the is abruptly changed with time.

上記構成によれば、マスタ・スレーブ型のロボットシステムにおいて、作業端（又は当該作業端によって保持されたワーク）に付与される反力が急激に時間変化した反力急変状態において、操作端を操作する操作者に対し、操作感覚が誇張して提示される。これにより、例えば操作者はスレーブアームの作業端が対象物に接触したことを認識することができる。 According to the above configuration, in the master-slave type robot system, the operating end is operated in a reaction force sudden change state in which the reaction force applied to the working end (or the workpiece held by the working end) changes abruptly with time. An exaggerated sense of operation is presented to the operator. Thereby, for example, the operator can recognize that the working end of the slave arm has come into contact with the object.

前記誇張表現部は、前記反力急変状態では、前記反力に基づいて、前記システム制御部によって生成されたマスタアームの動作指令を修正するための修正成分を生成するようにしてもよい。 In the reaction force sudden change state, the exaggeration expression unit may generate a correction component for correcting the operation command for the master arm generated by the system control unit based on the reaction force.

上記構成によれば、操作力及び反力に基づいて、マスタアームの動作指令およびスレーブアームの動作指令を生成するバイラテラル制御において、上記反力急変状態では、スレーブアームの反力に基づいて、マスタアームの動作指令を修正するための修正成分が生成される。これにより、反力がマスタアームの動作指令に反映されるので、操作者はスレーブアームの作業端が対象物に接触したことを認識できる。これにより、バイラテラル制御において、高周波の細かい感覚を提示することができる。 According to the above configuration, in the bilateral control that generates the operation command for the master arm and the operation command for the slave arm based on the operation force and the reaction force, in the reaction force sudden change state, based on the reaction force of the slave arm, A correction component is generated for correcting the motion command of the master arm. As a result, the reaction force is reflected in the operation command of the master arm, so that the operator can recognize that the working end of the slave arm has come into contact with the object. Thereby, in bilateral control, it is possible to present a fine sensation of high frequencies.

尚、前記修正成分は、三角波成分であってもよい。マスタアームを操作する操作者に対し、スレーブアームの作業端が固い対象物に当たった感覚を誇張表現することができる。 Incidentally, the correction component may be a triangular wave component. For the operator manipulating the master arm, the sensation of the working end of the slave arm hitting a hard object can be exaggerated.

また、前記修正成分は、サイン波成分であってもよい。マスタアームを操作する操作者に対し、スレーブアームの作業端が軟らかい対象物に当たった感覚を誇張表現することができる。 Also, the correction component may be a sine wave component. For the operator manipulating the master arm, the sensation of the working end of the slave arm hitting a soft object can be exaggerated.

また、前記修正成分は、前記反力の時間の二階微分値であってもよい。マスタアームを操作する操作者に対し、スレーブアームの作業端が実際に対象物に当たった感覚を誇張表現することができる。 Further, the correction component may be a second derivative of the reaction force with respect to time. For the operator who operates the master arm, it is possible to exaggerate the feeling that the working end of the slave arm has actually hit the object.

上記ロボットシステムにおける動作指令は、位置指令であってもよい。上記構成によれば、操作力及び反力に基づいて、マスタアームの動作指令およびスレーブアームの動作指令を生成する並列型バイラテラル制御において、操作者に対し、操作感覚を誇張して提示することができる。 The motion command in the robot system may be a position command. According to the above configuration, in parallel bilateral control that generates an operation command for the master arm and an operation command for the slave arm based on the operation force and the reaction force, an exaggerated sense of operation is presented to the operator. can be done.

上記ロボットシステムの前記システム制御部は、前記スレーブアームの位置情報と、前記修正成分を加味したマスタアームの位置情報に基づいて、マスタアームの前記位置指令を補正するための補正成分を生成する位置ずれ補正部を更に備えるようにしてもよい。 The system control unit of the robot system generates a correction component for correcting the position command of the master arm based on the position information of the slave arm and the position information of the master arm to which the correction component is added. You may make it further provide a deviation correction|amendment part.

上記構成によれば、並列型バイラテラル制御において、上記誇張表現部により生じたマスタアームとスレーブアームの位置関係のずれを徐々に補正することができる。操作者に違和感がないように、操作感覚を誇張表現した後に、マスタアームがゆっくりと動いて補正されるので、マスタアームの操作に影響を与えることは無い。 According to the above configuration, in the parallel bilateral control, it is possible to gradually correct the displacement of the positional relationship between the master arm and the slave arm caused by the exaggerated expression section. After exaggerating the sense of operation so that the operator does not feel uncomfortable, the master arm is moved slowly for correction, so there is no influence on the operation of the master arm.

上記ロボットシステムは、予め、ロボットシステムの特定の作業における、スレーブアームの位置情報、前記操作力、および、前記反力をデータとして収集し、収集したデータに応じて一以上の作業状態を分類し、分類した作業状態を記憶しておく記憶部を更に備え、前記誇張表現部は、ロボットシステムの動作中において、スレーブアームの位置情報、前記操作力、および、前記反力のうち少なくとも一つの値に基づいて、前記記憶部に記憶された前記作業状態のいずれの作業状態に分類されるかを判定する作業状態判定部を更に備えるようにしてもよい。
The robot system previously collects position information of the slave arm, the operation force, and the reaction force in a specific work of the robot system as data, and classifies one or more work states according to the collected data. , a storage unit for storing the classified work states, and the exaggeration expression unit stores at least one value of position information of the slave arm, the operation force, and the reaction force during operation of the robot system. A work state determination unit may be further provided which determines to which work state of the work states stored in the storage unit the work state is classified, based on the above.

上記構成によれば、操作者はスレーブアームの作業端が対象物に接触したことを認識するだけでなく、接触後に開始される作業の状態を正確に認識することができる。例えば上記反力急変状態を作業が開始された状態であるとみなしてもよい。 According to the above configuration, the operator can not only recognize that the working end of the slave arm has come into contact with the object, but also can accurately recognize the state of work to be started after the contact. For example, the reaction force sudden change state may be regarded as a state in which work is started.

前記作業状態判定部は、ロボットシステムの動作中において、前記反力が所定の方向に発生し、かつ、前記操作力が前記所定の方向に直交する方向に発生している作業状態を、対象物を探っている状態（searching）であると判定するようにしてもよい。 The work state determination unit determines a work state in which the reaction force is generated in a predetermined direction and the operation force is generated in a direction orthogonal to the predetermined direction during operation of the robot system. may be determined to be in a searching state (searching).

前記作業状態判定部は、ロボットシステムの動作中において、スレーブアームの位置情報が所定位置よりも所定の方向に位置し、かつ、前記反力が変化した作業状態を、前記作業端によって保持されたワークが対象物に挿入された状態(inserted)であると判定するようにしてもよい。 The work state determination unit determines a work state in which the position information of the slave arm is located in a predetermined direction from a predetermined position and the reaction force is changed during operation of the robot system. It may be determined that the workpiece is inserted into the object.

前記誇張表現部は、前記作業状態を、音、マスタアームの振動および光のうち、少なくとも一つによって操作者に提示する作業状態提示部を更に備えるようにしてもよい。 The exaggeration representation unit may further include a work state presentation unit that presents the work state to the operator by at least one of sound, vibration of the master arm, and light.

本発明は、以上に説明した構成を有し、マスタ・スレーブ型のロボットシステムにおいて感覚検出用のセンサを別途設けること無く、操作感覚を向上させることができる。 INDUSTRIAL APPLICABILITY The present invention has the configuration described above, and can improve the sense of operation in a master-slave robot system without separately providing a sensor for sense detection.

図１は、本発明の第１実施形態に係るロボットシステムの全体の構成を示す図である。FIG. 1 is a diagram showing the overall configuration of a robot system according to the first embodiment of the present invention. 図２は、図１のロボットシステムの制御系の構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of the control system of the robot system of FIG. 図３は、反力、及び、誇張表現部により生成される修正成分の時間変化を例示するグラフである。FIG. 3 is a graph illustrating temporal changes in the reaction force and the correction component generated by the exaggerated expression unit. 図４は、本発明の第２実施形態に係るロボットシステムの制御系の構成を示すブロック図である。FIG. 4 is a block diagram showing the configuration of the control system of the robot system according to the second embodiment of the present invention. 図５は、本発明の第３実施形態に係るロボットシステムの制御系の構成を示すブロック図である。FIG. 5 is a block diagram showing the configuration of the control system of the robot system according to the third embodiment of the invention. 図６は、ロボットシステムの動作の一例を示す模式図である。FIG. 6 is a schematic diagram showing an example of the operation of the robot system.

以下、好ましい実施形態を、図面を参照しながら説明する。なお、以下では全ての図面を通じて同一または相当する要素には同一の参照符号を付して、その重複する説明を省略する。また、図面は理解しやすくするために、それぞれの構成要素を模式的に示したものである。 Preferred embodiments are described below with reference to the drawings. In the following description, the same reference numerals are given to the same or corresponding elements throughout all the drawings, and duplicate descriptions thereof will be omitted. Also, the drawings schematically show each component for easy understanding.

（第１実施形態）
図１は、本発明の第１実施形態に係るロボットシステムの構成例を示す模式図である。図１に示すように、本実施形態のロボットシステム１００は、スレーブアーム１がマスタアーム２により遠隔操作されるマスタ・スレーブ式の遠隔操作システムで構成される。 (First embodiment)
FIG. 1 is a schematic diagram showing a configuration example of a robot system according to the first embodiment of the present invention. As shown in FIG. 1, a robot system 100 of the present embodiment is configured as a master-slave remote control system in which a slave arm 1 is remotely controlled by a master arm 2 .

ロボットシステム１００（以下、遠隔操作システムともいう）は、第１のロボットで構成されるスレーブアーム１と、第２のロボットで構成されるマスタアーム２と、制御装置３と、力覚センサ４と、カメラ５と、モニタ６と、を備える。スレーブアーム１は、任意のタイプのロボットで構成され得る。スレーブアーム１は、本実施形態では、例えば、周知の多関節ロボットで構成され、基台１ａと、基台１ａに設けられた多関節のアーム１ｂと、アーム１ｂの先端に設けられた手首１ｃとを備える。基台１ａの上面を基準とした座標系をスレーブアーム１のベース座標系と呼ぶ。多関節のアーム１ｂの各関節は駆動用のサーボモータ、及び、サーボモータの回転角度位置を検出するエンコーダ、サーボモータに流れる電流を検出する電流センサを備える（いずれも図示せず）。手首１ｃにはエンドエフェクタ７が取り付けられる。エンドエフェクタ７は、本発明の「作業端」に相当する。エンドエフェクタ７はワークを把持可能なロボットハンドである。エンドエフェクタ７は、手首１ｃ先端に取り付けられたハンド本体（図示せず）と、例えばモータで構成されたアクチュエータ（図示せず）で駆動される２本の指部とを備える。アクチュエータが動作すると２本の指部がハンド本体に対して移動する。ハンドの２本の指部は、マスタアーム２の操作によって、互いに近接又は離隔するように移動可能であり、２本の指部で嵌合部品Ｗ１を把持することができる。エンドエフェクタ７には力覚センサ４が取り付けられる。 A robot system 100 (hereinafter also referred to as a remote control system) includes a slave arm 1 configured by a first robot, a master arm 2 configured by a second robot, a controller 3, and a force sensor 4. , a camera 5 and a monitor 6 . The slave arm 1 can consist of any type of robot. In this embodiment, the slave arm 1 is composed of, for example, a well-known multi-joint robot, and includes a base 1a, a multi-joint arm 1b provided on the base 1a, and a wrist 1c provided at the tip of the arm 1b. and A coordinate system based on the upper surface of the base 1a is called a base coordinate system of the slave arm 1. FIG. Each joint of the multi-joint arm 1b is provided with a driving servomotor, an encoder for detecting the rotational angular position of the servomotor, and a current sensor for detecting the current flowing through the servomotor (none of them are shown). An end effector 7 is attached to the wrist 1c. The end effector 7 corresponds to the "working end" of the present invention. The end effector 7 is a robot hand capable of gripping a work. The end effector 7 includes a hand body (not shown) attached to the tip of the wrist 1c and two fingers driven by an actuator (not shown) configured by a motor, for example. When the actuator operates, the two fingers move relative to the hand body. The two fingers of the hand can be moved toward or away from each other by operating the master arm 2, and can grip the fitting part W1 with the two fingers. A force sensor 4 is attached to the end effector 7 .

力覚センサ４は、スレーブアーム１の手首１ｃに取り付けられる。力覚センサ４は、エンドエフェクタ７によって保持されたワークに付与される反力を検出する。力覚センサ４は、本発明の「反力検出部」に相当する。力覚センサ４は、本実施形態ではエンドエフェクタ７の基端に取付けられ、エンドエフェクタ７の先端に加わる力を検知するように構成される。力覚センサ４は、例えば手首座標系で定義されるＸＹＺ軸方向の力と、各軸回りに作用するモーメントとを検出することが可能な六軸力覚センサである。ここで手首座標系とは手首１ｃを基準とした座標系である。力覚センサ４は、本実施形態では、エンドエフェクタ７によって保持されたワークである嵌合部品Ｗ１が、対象物である被嵌合部品Ｗ２に接触したときに、スレーブアーム１のベース座標系における嵌合部品Ｗ１に作用する反力の方向およびその大きさを検出し、検出信号を無線又は有線により制御装置３に送信するように構成される。 A force sensor 4 is attached to the wrist 1 c of the slave arm 1 . The force sensor 4 detects reaction force applied to the work held by the end effector 7 . The force sensor 4 corresponds to the "reaction force detector" of the present invention. The force sensor 4 is attached to the proximal end of the end effector 7 in this embodiment and configured to detect the force applied to the distal end of the end effector 7 . The force sensor 4 is, for example, a six-axis force sensor capable of detecting forces in the XYZ-axis directions defined by the wrist coordinate system and moments acting around the respective axes. Here, the wrist coordinate system is a coordinate system based on the wrist 1c. In the present embodiment, the force sensor 4 is positioned in the base coordinate system of the slave arm 1 when the fitting part W1, which is a workpiece held by the end effector 7, contacts the fitted part W2, which is an object. It is configured to detect the direction and magnitude of the reaction force acting on the fitting part W1 and transmit the detection signal to the control device 3 wirelessly or by wire.

マスタアーム２は、任意のタイプのロボットで構成され得る。マスタアーム２は、本実施形態では、スレーブアーム１と相似構造を有する。すなわち、マスタアーム２も、スレーブアーム１と同様に多関節ロボットで構成され、マスタアーム２の基台の上面を基準としてマスタアーム２のベース座標系が定義される。多関節のアームの各関節は駆動用のサーボモータ、及び、サーボモータの回転角度位置を検出するエンコーダ、サーボモータに流れる電流を検出する電流センサを備える（いずれも図示せず）。マスタアーム２の先端には、スレーブアーム１先端のエンドエフェクタ７の形状を模した操作レバー２１が取り付けられる。操作レバー２１は、本発明の「操作端」に相当する。尚、「操作端」は、操作者によって操作することによりスレーブアーム１を操作可能な構成であれば、例えばスイッチ、調整ツマミ又はタブレットなどの携帯端末でもよいし、操縦桿のような簡易なものであってもよい。操作レバー２１には力覚センサ２０が取り付けられる。力覚センサ２０は、操作者によって操作レバー２１に付与される操作力を検出する。力覚センサ２０は、本発明の「操作力検出部」に相当する。力覚センサ２０は、本実施形態ではマスタアーム２の先端の操作レバー２１に取付けられ、操作レバー２１に加わる力を検知するように構成される。力覚センサ２０は、例えばマスタアーム２の手首座標系で定義されるＸＹＺ軸方向の力と、各軸回りに作用するモーメントとを検出することが可能な六軸力覚センサである。ここで手首座標系とはマスタアーム２の手首を基準とした座標系である。本実施形態では、操作者がスレーブアーム１を操作すべく操作レバー２１を操作すると、力覚センサ２０は、マスタアーム２のベース座標系において、操作レバー２１に操作者が加えた操作力の方向および大きさを検出し、検出信号を操作情報として、無線又は有線により制御装置３に送信する。 The master arm 2 can consist of any type of robot. The master arm 2 has a structure similar to that of the slave arm 1 in this embodiment. That is, like the slave arm 1, the master arm 2 is also composed of an articulated robot, and the base coordinate system of the master arm 2 is defined with the upper surface of the base of the master arm 2 as a reference. Each joint of the multi-joint arm is provided with a driving servomotor, an encoder for detecting the rotational angular position of the servomotor, and a current sensor for detecting current flowing through the servomotor (none of which is shown). At the tip of the master arm 2, an operation lever 21 having the shape of the end effector 7 at the tip of the slave arm 1 is attached. The operating lever 21 corresponds to the "operating end" of the present invention. The "operating end" may be a mobile terminal such as a switch, an adjustment knob, or a tablet, or a simple device such as a control stick, as long as the slave arm 1 can be operated by the operator. may be A force sensor 20 is attached to the operating lever 21 . The force sensor 20 detects the operating force applied to the operating lever 21 by the operator. The force sensor 20 corresponds to the "operation force detection section" of the present invention. The force sensor 20 is attached to the operating lever 21 at the tip of the master arm 2 in this embodiment, and configured to detect the force applied to the operating lever 21 . The force sensor 20 is, for example, a six-axis force sensor capable of detecting forces in the XYZ-axis directions defined by the wrist coordinate system of the master arm 2 and moments acting around the respective axes. Here, the wrist coordinate system is a coordinate system based on the wrist of the master arm 2 . In this embodiment, when the operator operates the operating lever 21 to operate the slave arm 1 , the force sensor 20 detects the direction of the operating force applied to the operating lever 21 by the operator in the base coordinate system of the master arm 2 . and size, and transmits a detection signal as operation information to the control device 3 wirelessly or by wire.

カメラ５は、スレーブアーム１の可動範囲の全部又は一部における当該スレーブアーム１の動作を撮像可能なように設けられる。カメラ５が撮像した画像情報は制御装置３に送信され、制御装置３は、この画像情報に対応する画像を表示するようモニタ６を制御する。 The camera 5 is provided so as to be able to capture the motion of the slave arm 1 in all or part of the movable range of the slave arm 1 . Image information captured by the camera 5 is transmitted to the control device 3, and the control device 3 controls the monitor 6 to display an image corresponding to this image information.

ロボットシステム１００では、スレーブアーム１の作業領域から離れた位置（作業エリア外）にいる操作者は、操作情報の入力として、モニタ６に映し出されたカメラ５の映像を見ながらマスタアーム２の操作レバー２１に所望の操作力を付与する。操作力に従って、マスタアーム２とともにスレーブアーム１が動作を行い、特定の作業を行うことができる。特定作業は、例えばエンドエフェクタ７によって保持されたワークである嵌合部品Ｗ１を、対象物である被嵌合部品Ｗ２の穴に挿入する作業である。この作業は組立作業のなかでも操作者の熟練を要する。 In the robot system 100, an operator at a position away from the work area (outside the work area) of the slave arm 1 operates the master arm 2 while watching the image of the camera 5 displayed on the monitor 6 as input of operation information. A desired operating force is applied to the lever 21 . According to the operating force, the slave arm 1 can operate together with the master arm 2 to perform a specific task. The specific work is, for example, a work of inserting the fitting component W1, which is a work held by the end effector 7, into the hole of the fitted component W2, which is an object. This work requires skill of the operator among the assembly work.

また、ロボットシステム１００では、スレーブアーム１は、操作者によるマスタアーム２の操作なしに、所定の作業を自動的に行うこともできる。本明細書では、マスタアーム２を介して入力された操作情報に従って、スレーブアーム１を動作させる運転モードを「手動モード」と称する。なお、上述の「手動モード」には、操作者がマスタアーム２を操作することによって入力された操作情報に基づいて動作中のスレーブアーム１の動作の一部が自動で動作補正される場合も含む。また、予め設定された所定のプログラムに従ってスレーブアーム１を動作させる運転モードを「自動モード」と称する。更に、本実施形態のロボットシステム１００では、スレーブアーム１が自動で動作している途中に、マスタアーム２の操作をスレーブアーム１の自動の動作に反映させて、自動で行うことになっていた動作を修正することができるように構成されている。本明細書では、マスタアーム２を介して入力された操作情報を反映可能な状態で、予め設定された所定のプログラムに従ってスレーブアーム１を動作させる運転モードを「修正自動モード」と称する。なお、上述の「自動モード」は、スレーブアーム１を動作させる運転モードが自動モードであるときはマスタアーム２の操作がスレーブアーム１の動作に反映されないという点で、「修正自動モード」と区別される。以下では、本実施形態のロボットシステム１００は、特に断りが無い限り、「手動モード」として動作する。 Moreover, in the robot system 100, the slave arm 1 can automatically perform a predetermined work without the operator's operation of the master arm 2. FIG. In this specification, the operation mode in which the slave arm 1 is operated according to the operation information input via the master arm 2 is called "manual mode". In the "manual mode" described above, there is also a case where a part of the motion of the slave arm 1 in operation is automatically corrected based on the operation information input by the operator operating the master arm 2. include. An operation mode in which the slave arm 1 is operated according to a preset program is called an "automatic mode". Furthermore, in the robot system 100 of the present embodiment, while the slave arm 1 is automatically operating, the operation of the master arm 2 is reflected in the automatic operation of the slave arm 1, and is automatically performed. It is configured so that its behavior can be modified. In this specification, an operation mode in which the slave arm 1 is operated according to a predetermined program in a state in which operation information input via the master arm 2 can be reflected is referred to as a "correction automatic mode". The "automatic mode" described above is distinguished from the "corrected automatic mode" in that when the operation mode for operating the slave arm 1 is the automatic mode, the operation of the master arm 2 is not reflected in the operation of the slave arm 1. be done. Below, the robot system 100 of the present embodiment operates in "manual mode" unless otherwise specified.

図２は、ロボットシステム１００の制御系の構成を示すブロック図である。図２に示すように、制御装置３は、動作指令生成部８と、誇張表現部９と、インターフェース部（図示しない）を含む。本実施形態では、制御装置３は、入力装置（図示せず）に接続されている。入力装置は、タッチパネル、キーボード等のマン－マシンインターフェースで構成され、主に、スレーブアーム１の「自動モード」、「修正動作モード」、及び「手動モード」のモード切り替え、各種データ等を入力するために用いられる。制御装置３は、コンピュータ、マイクロコントローラ、マイクロプロセッサ等の演算処理機能およびメモリを有する装置で構成される。動作指令生成部８および誇張表現部９の各機能は、制御装置３のメモリに格納された所定のプログラムが制御装置３の演算処理部（図示せず）によって実行されることによって実現される。また、本実施形態の制御装置３は、カメラ５で撮像された画像情報に対応する画像を表示するモニタ制御部の機能も有する。制御装置３のハードウェア上の構成は任意であり、制御装置３は、スレーブアーム１等の他の装置から独立して設けられてもよく、他の装置と一体的に設けられてもよい。本実施形態のロボットシステム１００は、並列型バイラテラル制御方式によるマスタ・スレーブ型のロボットシステムである。マスタアーム２の力覚センサ２０によって検出された操作力ｆ_ｍと、スレーブアーム１の力覚センサ４によって検出された反力ｆ_ｓが制御装置３に入力される。 FIG. 2 is a block diagram showing the configuration of the control system of the robot system 100. As shown in FIG. As shown in FIG. 2, the control device 3 includes an action command generation unit 8, an exaggeration expression unit 9, and an interface unit (not shown). In this embodiment, the control device 3 is connected to an input device (not shown). The input device consists of a man-machine interface such as a touch panel, keyboard, etc., and is mainly used for mode switching between "automatic mode", "correction operation mode", and "manual mode" of the slave arm 1, and for inputting various data. used for The control device 3 is composed of a device having an arithmetic processing function and a memory such as a computer, a microcontroller, or a microprocessor. Each function of the action command generation unit 8 and the exaggerated expression unit 9 is realized by executing a predetermined program stored in the memory of the control device 3 by an arithmetic processing unit (not shown) of the control device 3 . The control device 3 of this embodiment also has a function of a monitor control section that displays an image corresponding to image information captured by the camera 5 . The hardware configuration of the control device 3 is arbitrary, and the control device 3 may be provided independently of other devices such as the slave arm 1, or may be provided integrally with other devices. The robot system 100 of this embodiment is a master-slave robot system based on a parallel bilateral control method. An operation force _fm detected by the force sensor 20 of the master arm 2 and a reaction force _fs detected by the force sensor 4 of the slave arm 1 are input to the controller 3 .

動作指令生成部８は、マスタアーム２の力覚センサ２０によって検出された操作力ｆ_ｍと、スレーブアーム１の力覚センサ４によって検出された反力ｆ_ｓに基づいて、スレーブアーム１の動作指令（以下、スレーブ動作指令ともいう）を生成するとともに、マスタアーム２の動作指令（以下、マスタ動作指令ともいう）を生成する。本実施形態では、スレーブ動作指令は、スレーブアーム１のベース座標系で規定された、スレーブアーム１の各関節軸を駆動するサーボモータの位置指令である。マスタ動作指令は、マスタアーム２のベース座標系で規定された、マスタアーム２の各関節軸を駆動するサーボモータの位置指令である。マスタ動作指令は、スレーブ動作指令によるエンドエフェクタ７の移動方向と同じ方向に操作レバー２１を移動させるように生成される。つまり、スレーブアーム１とマスタアーム２は同じような動作をする。 The motion command generator 8 operates the slave arm 1 based on the operation force _fm detected by the force sensor 20 of the master arm 2 and the reaction force _fs detected by the force sensor 4 of the slave arm 1. A command (hereinafter also referred to as a slave operation command) is generated, and an operation command for the master arm 2 (hereinafter also referred to as a master operation command) is generated. In the present embodiment, the slave motion command is a position command for the servo motors that drive each joint axis of the slave arm 1 defined by the base coordinate system of the slave arm 1 . A master motion command is a position command for a servomotor that drives each joint axis of the master arm 2 , defined by the base coordinate system of the master arm 2 . The master operation command is generated so as to move the operating lever 21 in the same direction as the moving direction of the end effector 7 according to the slave operation command. That is, the slave arm 1 and the master arm 2 operate similarly.

動作指令生成部８は、具体的には、加減算部８１と、力・速度変換部８２と、速度・位置変換部８３（スレーブ側）と、速度・位置変換部８４（マスタ側）と、加減算部８５と、を備える。各部８１～８５は、制御装置３のメモリ（図示せず）に格納された所定のプログラムが制御装置３の演算処理部（図示せず）によって実行されることによって実現される。 Specifically, the motion command generation unit 8 includes an addition/subtraction unit 81, a force/velocity conversion unit 82, a speed/position conversion unit 83 (slave side), a speed/position conversion unit 84 (master side), and an addition/subtraction unit 81. a portion 85; Each unit 81 to 85 is realized by executing a predetermined program stored in a memory (not shown) of the control device 3 by an arithmetic processing unit (not shown) of the control device 3 .

加減算部８１は、マスタアーム２の力覚センサ２０で検知された操作力ｆ_ｍからスレーブアーム１の力覚センサ４で検知された反力ｆ_ｓを減算し、これを力・速度変換部８２に出力するように構成される。 The addition/subtraction unit 81 subtracts the reaction force _fs detected by the force sensor 4 of the slave arm 1 from the operation force _fm detected by the force sensor 20 of the master arm 2, and converts the result into a force/velocity conversion unit 82. configured to output to

力・速度変換部８２は、加減算部８１から入力される操作力ｆ_ｍと反力ｆ_ｓとの差分に基づいて、速度指令値ｖ_ｄを生成し、これを速度・位置変換部８３（スレーブ側）、および、加減算部８５にそれぞれ出力する。 The force/velocity conversion unit 82 generates a speed command value _vd based on the difference between the operation force _fm and the reaction force _fs input from the addition/subtraction unit 81, and sends it to the speed/position conversion unit 83 (slave side), and the addition/subtraction unit 85, respectively.

速度・位置変換部８３（スレーブ側）は、速度指令値ｖ_ｄに基づいてスレーブアーム１の位置指令値ｘ_ｄｓを生成し、これをスレーブ側制御部３０に出力する。スレーブ側制御部３０は、例えばスレーブアーム１を位置制御するように構成されたロボットコントローラである。スレーブ側制御部３０は、スレーブアーム１の各関節軸の位置指令値とエンコーダ（図示せず）の検出値（実際値）の偏差に基づいて速度指令値を生成する。そして、生成した速度指令値と速度現在値の偏差に基づいてトルク指令値（電流指令値）を生成し、生成した電流指令値と電流センサの検出値（実際値）の偏差に基づいてサーボモータを制御する。 The speed/position conversion unit 83 (slave side) generates a position command value _xds for the slave arm 1 based on the speed command value _vd , and outputs it to the slave side control unit 30 . The slave-side controller 30 is, for example, a robot controller configured to position-control the slave arm 1 . The slave-side control unit 30 generates a speed command value based on the deviation between the position command value of each joint axis of the slave arm 1 and the detection value (actual value) of an encoder (not shown). Then, a torque command value (current command value) is generated based on the deviation between the generated speed command value and the current speed value, and the servo motor is controlled based on the deviation between the generated current command value and the current sensor detection value (actual value). to control.

速度・位置変換部８４（マスタ側）は、速度指令値ｖ_ｄに基づいてマスタアーム２の位置指令値ｘ_ｄｍを生成し、これをマスタ側制御部１２に出力する。マスタ側制御部１２は、例えばマスタアーム２を位置制御するように構成されたロボットコントローラである。マスタ側制御部１２は、マスタアーム２の各関節軸の位置指令値とエンコーダ（図示せず）の検出値（実際値）の偏差に基づいて速度指令値を生成する。そして、生成した速度指令値と速度現在値の偏差に基づいてトルク指令値（電流指令値）を生成し、生成した電流指令値と電流センサの検出値（実際値）の偏差に基づいてサーボモータを制御する。 The speed/position conversion unit 84 (master side) generates a position command value _xdm for the master arm 2 based on the speed command value _vd , and outputs it to the master side control unit 12 . The master-side control unit 12 is, for example, a robot controller configured to position-control the master arm 2 . The master-side control unit 12 generates a speed command value based on the deviation between the position command value of each joint axis of the master arm 2 and the detection value (actual value) of an encoder (not shown). Then, a torque command value (current command value) is generated based on the deviation between the generated speed command value and the current speed value, and the servo motor is controlled based on the deviation between the generated current command value and the current sensor detection value (actual value). to control.

誇張表現部９は、スレーブアーム１の力覚センサ４によって検出された反力ｆ_ｓが急激に時間変化した反力急変状態において、操作レバー２１を操作する操作者に対し、操作感覚を誇張して提示するように構成されている。本実施形態では、誇張表現部９は、反力急変状態では、反力ｆ_ｓに基づいて、マスタアーム２の位置指令値ｘ_ｄｍを修正するための修正成分を生成し、これを加減算部８５に出力する。 The exaggeration expression unit 9 exaggerates the operation feeling for the operator who operates the operation lever 21 in a reaction force sudden change state in which the reaction force _fs detected by the force sensor 4 of the slave arm 1 changes abruptly with time. is configured to present In the present embodiment, the exaggeration expression unit 9 generates a correction component for correcting the position command value _xdm of the master arm 2 based on the reaction force _fs in the reaction force sudden change state, and the addition/subtraction unit 85 output to

加減算部８５は、力・速度変換部８２によって生成された速度指令値ｖ_ｄと、誇張表現部９によって生成された修正成分を加算し、これを速度・位置変換部８４に出力する。速度・位置変換部８４（マスタ側）は、修正された速度指令値ｖ_ｄに基づいてマスタアーム２の位置指令値ｘ_ｄｍを更新し、これをマスタ側制御部１２に出力する。このように、スレーブアーム１の反力ｆ_ｓがマスタアーム２の位置指令値ｘ_ｄｍに反映される。 The addition/subtraction unit 85 adds the speed command value _vd generated by the force/velocity conversion unit 82 and the correction component generated by the exaggeration expression unit 9 and outputs the result to the speed/position conversion unit 84 . The speed/position conversion unit 84 (master side) updates the position command value _xdm of the master arm 2 based on the corrected speed command value _vd , and outputs this to the master side control unit 12 . Thus, the reaction force _fs of the slave arm 1 is reflected in the position command value _xdm of the master arm 2.

次に、ロボットシステムの動作について説明する。ロボットシステム１００では、操作者は、操作情報の入力として、モニタ６に映し出されたカメラ５の映像を見ながらマスタアーム２の操作レバー２１に所望の操作力を付与する。操作力に従って、マスタアーム２とともにスレーブアーム１が動作を行う。つまり、操作者は、モニタ６を見ながら操作レバー２１を操作することにより、マスタアーム２とスレーブアーム１を操作者が意図するように操作する。そして、スレーブアーム１のエンドエフェクタ７によって保持されたワークである嵌合部品Ｗ１が、被嵌合部品Ｗ２である対象物に接触した場合を想定する。図３（ａ）は、スレーブアーム１の力覚センサ４によって検出された反力ｆ_ｓの時間変化を模式的に示すグラフである。時刻ｔ０において、スレーブアーム１の力覚センサ４によって検出された反力ｆ_ｓは急激に上昇している。誇張表現部９は、スレーブアーム１の力覚センサ４によって検出された反力ｆ_ｓが急激に時間変化した反力急変状態において、操作レバー２１を操作する操作者に対し、操作感覚を誇張して提示する。誇張表現部９は、例えば反力ｆ_ｓが予めメモリに記憶された所定値以上である場合に反力急変状態であると判定してもよいし、反力ｆ_ｓの微小時間Δｔにおける変化量が正である場合に反力急変状態であると判定してもよい。誇張表現部９は、反力急変状態では、反力ｆ_ｓに基づいて、マスタアーム２の位置指令値ｘ_ｄｍを修正するための修正成分を生成し、これを加減算部８５に出力する。加減算部８５は、力・速度変換部８２によって生成された速度指令値ｖ_ｄと、誇張表現部９によって生成された修正成分を加算し、これを速度・位置変換部８４に出力する。速度・位置変換部８４（マスタ側）は、修正された速度指令値ｖ_ｄに基づいてマスタアーム２の位置指令値ｘ_ｄｍを更新し、これをマスタ側制御部１２に出力する。このように、スレーブアーム１の反力ｆ_ｓがマスタアーム２の位置指令値ｘ_ｄｍに反映されるので、操作者はスレーブアーム１のエンドエフェクタ７が対象物に接触したことを認識できる。これにより、並列型バイラテラル制御において、高周波の細かい感覚を提示することができる。
Next, the operation of the robot system will be explained. In the robot system 100 , the operator applies a desired operating force to the operating lever 21 of the master arm 2 while watching the image of the camera 5 displayed on the monitor 6 as an input of operation information. The slave arm 1 operates together with the master arm 2 according to the operating force. In other words, the operator operates the master arm 2 and the slave arm 1 as intended by operating the operating lever 21 while looking at the monitor 6 . Assume that the fitting component W1, which is a workpiece held by the end effector 7 of the slave arm 1, comes into contact with an object, which is a fitted component W2. FIG. 3(a) is a graph schematically showing temporal changes in the reaction force _fs detected by the force sensor 4 of the slave arm 1. FIG. At time t0, the reaction force _fs detected by the force sensor 4 of the slave arm 1 rises sharply. The exaggeration expression unit 9 exaggerates the operation feeling for the operator who operates the operation lever 21 in a reaction force sudden change state in which the reaction force _fs detected by the force sensor 4 of the slave arm 1 changes abruptly with time. present. For example, the exaggeration expression unit 9 may determine that the reaction force is in a sudden change state when the reaction force _fs is equal to or greater than a predetermined value stored in advance in the memory, or may determine that the reaction force _fs If the amount of change is positive, it may be determined that the reaction force has suddenly changed. The exaggeration representation unit 9 generates a correction component for correcting the position command value _xdm of the master arm 2 based on the reaction force _fs in the reaction force sudden change state, and outputs the correction component to the addition/subtraction unit 85 . The addition/subtraction unit 85 adds the speed command value _vd generated by the force/velocity conversion unit 82 and the correction component generated by the exaggeration expression unit 9 and outputs the result to the speed/position conversion unit 84 . The speed/position conversion unit 84 (master side) updates the position command value _xdm of the master arm 2 based on the corrected speed command value _vd , and outputs this to the master side control unit 12 . Since the reaction force _fs of the slave arm 1 is reflected in the position command value _xdm of the master arm 2 in this way, the operator can recognize that the end effector 7 of the slave arm 1 has come into contact with the object. This makes it possible to present a detailed sense of high frequencies in parallel bilateral control.

本実施形態では、誇張表現部９は、作業対象物の性質に応じて様々な修正成分を生成することができる。図３（ｂ）～図３（ｄ）は、修正成分の時間変化を例示するグラフである。図３（ｂ）は、修正成分が三角波成分である場合を示している。図３（ｂ）に示すように、誇張表現部９は、反力急変状態において、１周期分の三角波成分を修正成分として生成する。尚、三角波成分の１周期分に相当する期間は、例えば４０ｍｓｅｃであるが、操作者が知覚できる程度の長さであればよい。加減算部８５は、力・速度変換部８２によって生成された速度指令値ｖ_ｄに、誇張表現部９によって生成された修正成分を加算し、これを速度・位置変換部８４に出力する。速度・位置変換部８４（マスタ側）は、修正された速度指令値ｖ_ｄに基づいてマスタアーム２の位置指令値ｘ_ｄｍを更新し、これをマスタ側制御部１２に出力する。修正成分として三角波成分を使用することにより、マスタアーム２を操作する操作者に対し、スレーブアーム１が固い対象物に当たった感覚を誇張表現することができる。 In this embodiment, the exaggeration expression unit 9 can generate various correction components according to the properties of the work object. FIGS. 3(b) to 3(d) are graphs illustrating temporal changes in correction components. FIG. 3(b) shows a case where the correction component is a triangular wave component. As shown in FIG. 3(b), the exaggeration representation unit 9 generates one cycle of the triangular wave component as the correction component in the reaction force sudden change state. The period corresponding to one cycle of the triangular wave component is, for example, 40 msec, but it may be as long as the operator can perceive it. The addition/subtraction unit 85 adds the correction component generated by the exaggeration expression unit 9 to the speed command value _vd generated by the force/velocity conversion unit 82 and outputs the result to the speed/position conversion unit 84 . The speed/position conversion unit 84 (master side) updates the position command value _xdm of the master arm 2 based on the corrected speed command value _vd , and outputs this to the master side control unit 12 . By using the triangular wave component as the correction component, it is possible to exaggerate the sensation of the slave arm 1 hitting a hard object to the operator operating the master arm 2 .

図３（ｃ）は、修正成分がサイン波成分である場合を示している。図３（ｃ）に示すように、誇張表現部９は、反力急変状態において、１周期分のサイン波成分を修正成分として生成する。加減算部８５は、力・速度変換部８２によって生成された速度指令値ｖ_ｄに、誇張表現部９によって生成された修正成分を加算し、これを速度・位置変換部８４に出力する。速度・位置変換部８４（マスタ側）は、修正された速度指令値ｖ_ｄに基づいてマスタアーム２の位置指令値ｘ_ｄｍを更新し、これをマスタ側制御部１２に出力する。修正成分としてサイン波成分を使用することにより、マスタアーム２を操作する操作者に対し、スレーブアーム１が軟らかい対象物に当たった感覚を誇張表現することができる。 FIG. 3(c) shows a case where the correction component is a sine wave component. As shown in FIG. 3(c), the exaggeration representation unit 9 generates a sine wave component for one cycle as a correction component in the reaction force sudden change state. The addition/subtraction unit 85 adds the correction component generated by the exaggeration expression unit 9 to the speed command value _vd generated by the force/velocity conversion unit 82 and outputs the result to the speed/position conversion unit 84 . The speed/position conversion unit 84 (master side) updates the position command value _xdm of the master arm 2 based on the corrected speed command value _vd , and outputs this to the master side control unit 12 . By using the sine wave component as the correction component, it is possible to exaggerate the sensation of the slave arm 1 hitting a soft object to the operator operating the master arm 2 .

図３（ｄ）は、修正成分が反力ｆ_ｓの時間ｔの二階微分値である場合を示している。図３（ｄ）に示すように、誇張表現部９は、反力急変状態において、三角波成分やサイン波成分の１周期に相当する成分を修正成分として生成する。加減算部８５は、力・速度変換部８２によって生成された速度指令値ｖ_ｄに、誇張表現部９によって生成された修正成分を加算し、これを速度・位置変換部８４に出力する。速度・位置変換部８４（マスタ側）は、修正された速度指令値ｖ_ｄに基づいてマスタアーム２の位置指令値ｘ_ｄｍを更新し、これをマスタ側制御部１２に出力する。修正成分として反力ｆ_ｓの時間ｔの二階微分値を使用することにより、マスタアーム２を操作する操作者に対し、スレーブアーム１が実際に対象物に当たった感覚を誇張表現することができる。 FIG. 3(d) shows the case where the correction component is the second derivative of the reaction force _fs with respect to time t. As shown in FIG. 3(d), the exaggeration expression unit 9 generates a component corresponding to one cycle of the triangular wave component or the sine wave component as the correction component in the reaction force sudden change state. The addition/subtraction unit 85 adds the correction component generated by the exaggeration expression unit 9 to the speed command value _vd generated by the force/velocity conversion unit 82 and outputs the result to the speed/position conversion unit 84 . The speed/position conversion unit 84 (master side) updates the position command value _xdm of the master arm 2 based on the corrected speed command value _vd , and outputs this to the master side control unit 12 . By using the second-order differential value of the reaction force _fs with respect to time t as the correction component, it is possible to exaggerate the sense that the slave arm 1 actually hits the object for the operator who operates the master arm 2. .

（第２実施形態）
次に、第２実施形態について説明する。本実施形態のロボットシステムの基本的な構成は、第１実施形態と同様である。以下では、第１実施形態と共通する構成の説明は省略し、相違する構成についてのみ説明する。 (Second embodiment)
Next, a second embodiment will be described. The basic configuration of the robot system of this embodiment is the same as that of the first embodiment. Below, the description of the configuration common to the first embodiment will be omitted, and only the configuration that is different will be described.

図４は、本発明の第２実施形態に係るロボットシステムの制御系の構成を示すブロック図である。図４に示すように、本実施形態のロボットシステム１００Ａでは、第１実施形態と比較すると、制御装置３Ａがスレーブアーム１の位置情報と、修正成分を加味したマスタアーム２の位置情報に基づいて、スレーブアーム１とマスタアーム２の位置関係のずれを補正するための補正成分を生成する位置ずれ補正部９２および加減算部９１を更に備える点が異なる。 FIG. 4 is a block diagram showing the configuration of the control system of the robot system according to the second embodiment of the present invention. As shown in FIG. 4, in the robot system 100A of the present embodiment, compared with the first embodiment, the control device 3A controls the position information of the slave arm 1 and the position information of the master arm 2 with correction components. , further includes a positional deviation corrector 92 and an adder/subtractor 91 for generating a correction component for correcting the deviation of the positional relationship between the slave arm 1 and the master arm 2 .

位置ずれ補正部９２は、スレーブアームの位置指令値ｘ_ｄｓと、修正成分を加味したマスタアームの位置指令値ｘ_ｄｍとの偏差の積算値を算出し、マスタアーム２の位置指令値ｘ_ｄｍを補正するための補正成分を生成する。 The positional deviation correction unit 92 calculates the integrated value of the deviation between the position command value _xds for the slave arm and the position command value _xdm for the master arm with the correction component added, and calculates the position command value _xdm for the master arm 2 as Generate a correction component for correction.

加減算部９１は、位置ずれ補正部９２で生成された補正成分と誇張表現部９で生成された修正成分を加算し、これを加減算部８５に出力する。加減算部８５は、力・速度変換部８２によって生成された速度指令値ｖ_ｄと、誇張表現部９によって生成された修正成分に位置ずれの補正成分が加味されたものを加算し、これを速度・位置変換部８４に出力する。速度・位置変換部８４（マスタ側）は、修正および補正された速度指令値ｖ_ｄに基づいてマスタアーム２の位置指令値ｘ_ｄｍを更新し、これをマスタ側制御部１２に出力する。これにより、並列型バイラテラル制御において、誇張表現部９により生じたマスタアーム２とスレーブアーム１の位置関係のずれを徐々に補正することができる。操作者に違和感がないように、操作感覚を誇張表現した後に、マスタアーム２がゆっくりと動いて補正されるので、マスタアーム２の操作に影響を与えることは無い。 The addition/subtraction unit 91 adds the correction component generated by the positional deviation correction unit 92 and the correction component generated by the exaggeration expression unit 9 and outputs the result to the addition/subtraction unit 85 . The addition/subtraction unit 85 adds the speed command value _vd generated by the force/velocity conversion unit 82 and the correction component generated by the exaggeration expression unit 9 to which the position deviation correction component is added, and converts this to the speed • Output to the position conversion unit 84 . The velocity/position converter 84 (master side) updates the position command value _xdm of the master arm 2 based on the modified and corrected velocity command value _vd , and outputs it to the master side controller 12 . As a result, in the parallel bilateral control, the deviation in the positional relationship between the master arm 2 and the slave arm 1 caused by the exaggerated expression section 9 can be gradually corrected. Since the master arm 2 moves slowly after exaggerating the sense of operation so that the operator does not feel uncomfortable, the operation of the master arm 2 is not affected.

尚、本実施形態では、位置ずれ補正部９２は、スレーブアーム１の位置指令値ｘ_ｄｓと、修正成分を加味したマスタアーム２の位置指令値ｘ_ｄｍに基づいて、これらの偏差の積算値を算出するように構成されたが、スレーブアーム１とマスタアーム２の位置情報であれば、各関節に設けられたサーボモータの回転角度位置を検出するエンコーダの検出値（実際値）を用いてもよい。 In the present embodiment, the positional deviation correction unit 92 calculates the integrated value of the deviation based on the positional command value _xds of the slave arm 1 and the positional command value _xdm of the master arm 2 with the correction component added. However, if it is the position information of the slave arm 1 and the master arm 2, the detection value (actual value) of the encoder that detects the rotation angle position of the servo motor provided at each joint may be used. good.

（第３実施形態）
次に、第３実施形態について説明する。本実施形態のロボットシステムの基本的な構成は、上記実施形態と同様である。以下では、上記実施形態と共通する構成の説明は省略し、相違する構成についてのみ説明する。 (Third Embodiment)
Next, a third embodiment will be described. The basic configuration of the robot system of this embodiment is the same as that of the above embodiment. Below, the description of the configuration common to the above embodiment is omitted, and only the configuration that is different will be described.

図５は、本発明の第３実施形態に係るロボットシステムの制御系の構成を示すブロック図である。図５に示すように、本実施形態のロボットシステム１００Ｂは、第２実施形態（図４）と比較すると、制御装置３Ｂの第２誇張表現部１９が作業状態判定部９３および作業状態提示部１３を更に備える点が異なる。
FIG. 5 is a block diagram showing the configuration of the control system of the robot system according to the third embodiment of the invention. As shown in FIG. 5, in the robot system 100B of the present embodiment, when compared with the second embodiment (FIG. 4), the second exaggerated representation section 19 of the control device 3B is the work state determination section 93 and the work state presentation section 13. is further provided.

本実施形態では、メモリ９４には、予め、特定の作業における、スレーブアーム１の位置指令値ｘ_ｄｓ、マスタアーム２の操作力ｆ_ｍ、および、スレーブアーム１の反力ｆ_ｓがデータとして収集され、収集したデータに応じて少なくとも一以上の作業状態が分類され、分類された作業状態が記憶されている。特定作業は、エンドエフェクタ７によって保持されたワークである嵌合部品Ｗ１を、対象物である被嵌合部品Ｗ２の穴に挿入する作業である。作業状態として、作業が開始された状態、対象物を探っている状態、および、ワークが対象物に挿入された状態が例示される。
In this embodiment, the position command value x _ds of the slave arm 1, the operating force f _m of the master arm 2, and the reaction force f _s of the slave arm 1 in a specific work are stored in advance in the memory 94 as data. At least one work state is classified according to the collected data, and the classified work states are stored. The specific work is a work of inserting the fitting component W1, which is a work held by the end effector 7, into the hole of the fitted component W2, which is an object. Examples of work states include a state in which work has started, a state in which an object is being searched for, and a state in which a workpiece is inserted into the object.

作業状態判定部９３は、ロボットシステム１００Ｂの動作中において、スレーブアーム１の位置指令値ｘ_ｄｓ、マスタアーム２の操作力ｆ_ｍ、および、スレーブアーム１の反力ｆ_ｓのうち少なくとも一つの値に基づいて、メモリ９４に記憶された作業状態のいずれの作業状態に分類されるかを判定する。本実施形態では、作業状態判定部９３は、作業が開始された状態、対象物を探っている状態、および、ワークが対象物に挿入された状態のいずれの作業状態であるかを判定する。作業状態提示部１３は、作業状態を、音、マスタアームの振動および光のうち、少なくとも一つによって操作者に提示するように構成されている。
During operation of the robot system 100B, the work state determination unit 93 determines at least one of the position command value _xds of the slave arm 1, the operation force _fm of the master arm 2, and the reaction force _fs of the slave arm 1. Based on the value, it is determined which of the work states stored in memory 94 is classified. In this embodiment, the work state determination unit 93 determines which work state is the state where the work is started, the state where the object is being searched, or the state where the work is inserted into the object. do. The work state presentation unit 13 is configured to present the work state to the operator by at least one of sound, vibration of the master arm, and light.

次に、本実施形態のロボットシステム１００Ｂの動作について図６を用いて説明する。図６に示すように、スレーブアーム１の手首座標系は手首１ｃの取り付け面に平行にＸ軸及びＹ軸が定義され、取り付け面に垂直な方向にＺ軸が定義される。マスタアーム２の手首座標系は手首２ｃの取り付け面に平行にＸ軸及びＹ軸が定義され、取り付け面に垂直な方向にＺ軸が定義される。図６（ａ）に示すように、ロボットシステム１００では、操作者は、操作情報の入力として、モニタ６に映し出されたカメラ５の映像を見ながらマスタアーム２の操作レバー２１に所望の操作力を付与する。操作力に従って、マスタアーム２とともにスレーブアーム１が動作を行う。操作者は、モニタ６を見ながらエンドエフェクタ７によって保持されたワークである嵌合部品Ｗ１が、対象物である被嵌合部品Ｗ２の穴Ｈに挿入されるように、操作レバー２１を操作する。 Next, the operation of the robot system 100B of this embodiment will be described with reference to FIG. As shown in FIG. 6, the wrist coordinate system of the slave arm 1 defines the X-axis and Y-axis parallel to the mounting surface of the wrist 1c, and defines the Z-axis perpendicular to the mounting surface. In the wrist coordinate system of the master arm 2, the X-axis and Y-axis are defined parallel to the mounting surface of the wrist 2c, and the Z-axis is defined in the direction perpendicular to the mounting surface. As shown in FIG. 6( a ), in the robot system 100 , the operator applies a desired operating force to the control lever 21 of the master arm 2 while watching the image of the camera 5 displayed on the monitor 6 as input of operation information. to give The slave arm 1 operates together with the master arm 2 according to the operating force. While watching the monitor 6, the operator operates the operation lever 21 so that the fitting part W1, which is a work held by the end effector 7, is inserted into the hole H of the fitted part W2, which is an object. .

まず、スレーブアーム１のエンドエフェクタ７によって保持されたワークである嵌合部品Ｗ１が、被嵌合部品Ｗ２である対象物に接触した場合を想定する。誇張表現部９は、例えば反力ｆ_ｓが予めメモリに記憶された所定値以上である場合に反力急変状態であると判定してもよいし、反力ｆ_ｓの微小時間Δｔにおける変化量が正である場合に反力急変状態であると判定してもよい。誇張表現部９は、スレーブアーム１の力覚センサ４によって検出された反力ｆ_ｓが急激に時間変化した状態である反力急変状態において、操作レバー２１を操作する操作者に対し、操作感覚を誇張して提示する。誇張表現部９は、反力急変状態では、反力ｆ_ｓに基づいて、マスタアーム２の位置指令値ｘ_ｄｍを修正するための修正成分を生成することにより、スレーブアーム１の反力ｆ_ｓがマスタアーム２の位置指令値ｘ_ｄｍに反映されるので、操作者はスレーブアーム１のエンドエフェクタ７が対象物に接触したことを認識できる。
First, it is assumed that the fitting component W1, which is a work held by the end effector 7 of the slave arm 1, contacts the target object, which is the fitted component W2. For example, the exaggeration expression unit 9 may determine that the reaction force is in a sudden change state when the reaction force _fs is equal to or greater than a predetermined value stored in advance in the memory, or may determine that the reaction force _fs If the amount of change is positive, it may be determined that the reaction force has suddenly changed. The exaggeration representation unit 9 gives the operator who operates the operation lever 21 a sense of operation in a reaction force sudden change state in which the reaction force _fs detected by the force sensor 4 of the slave arm 1 changes abruptly with time. are presented in an exaggerated manner. In the reaction force sudden change state, the exaggeration expression unit 9 generates a correction component for correcting the position command value _xdm of the master arm 2 based on the reaction force _fs , so that the reaction force _fs is reflected in the position command value _xdm of the master arm 2, the operator can recognize that the end effector 7 of the slave arm 1 has come into contact with the object.

また、本実施形態では、作業状態判定部９３は、反力急変状態を作業が開始された状態であるとみなす。そして、作業状態提示部１３は、この状態を、振動モータの振動によってマスタアームを操作する操作者に提示する。または光によって視覚的に操作者に認識させてもよい。これにより、マスタの応答性では対応できない、高周波の細かい感覚を提示することができる。 Further, in the present embodiment, the work state determination unit 93 regards the state of sudden change in reaction force as a state in which work is started. Then, the work state presentation unit 13 presents this state to the operator who operates the master arm by vibration of the vibration motor. Alternatively, the operator may be visually recognized by light. This makes it possible to present a detailed sense of high frequencies that cannot be handled by the responsiveness of the master.

操作者は、作業を進める。操作者は、図６（ｂ）に示すように操作レバー２１を横向きに操作することにより、マスタアーム２の手首座標系においてＸＹ平面に平行な横向きの操作力ｆ_ｍが操作レバー２１に付与される。これにより、エンドエフェクタ７に保持された嵌合部品Ｗ１は、被嵌合部品Ｗ２と接触した状態を維持しながら、被嵌合部品Ｗ２の嵌合穴Ｈの方向に移動する。このとき、嵌合部品Ｗ１を把持したスレーブアーム１の反力ｆ_ｓは上方向（図ではＺ軸の正の方向）に発生し、かつ、マスタアーム２の操作力ｆ_ｍは横方向（図ではＹ軸の正の方向）に発生する。作業状態判定部９３は、スレーブアーム１の反力ｆ_ｓおよびマスタアーム２の操作力ｆ_ｍに基づいて、このような作業状態を、嵌合部品Ｗ１が対象物を探っている状態（searching）であると判定する。そして、作業状態提示部１３は、この状態を、ガリガリという音によって操作者に提示する。これにより、マスタの応答性では対応できない、高周波の細かい感覚を提示することができる。 The operator proceeds with the work. The operator laterally operates the operating lever 21 as shown in FIG. 6(b), so that a lateral operating force _fm parallel to the XY plane in the wrist coordinate system of the master arm 2 is applied to the operating lever 21. be. As a result, the fitting part W1 held by the end effector 7 moves toward the fitting hole H of the fitting part W2 while maintaining contact with the fitting part W2. At this time, the reaction force _fs of the slave arm 1 gripping the fitting part W1 is generated in the upward direction (the positive direction of the Z axis in the figure), and the operating force _fm of the master arm 2 is generated in the lateral direction (the positive direction of the Z axis in the figure). in the positive direction of the Y-axis). Based on the reaction force _fs of the slave arm 1 and the operating force _fm of the master arm 2, the work state determination unit 93 determines such a work state as a state in which the fitting part W1 is searching for an object (searching). It is determined that Then, the work state presentation unit 13 presents this state to the operator with a rattling sound. This makes it possible to present a detailed sense of high frequencies that cannot be handled by the responsiveness of the master.

操作者は、図６（ｃ）に示すように、操作レバー２１の横向きの操作を継続する。その後、エンドエフェクタ７に保持された嵌合部品Ｗ１が被嵌合部品Ｗ２の嵌合穴Ｈに挿入される。このとき、ワークを把持したスレーブアーム１の位置は所定位置（図では被嵌合部品Ｗ２の表面）よりも下方向（図ではＺ軸の負の方向）に位置し、かつ、スレーブアーム１の反力ｆ_ｓが変化する。スレーブアーム１の反力ｆ_ｓの大きさは、探っている状態と比べて減少する。作業状態判定部９３は、スレーブアーム１の位置指令値ｘ_ｄｓおよびスレーブアームの反力ｆ_ｓに基づいて、このような作業状態を、ワークが対象物に挿入された状態(inserted)であると判定する。そして、作業状態提示部１３は、ワークが対象物に挿入された状態を、音によって操作者に提示する。作業状態提示部１３は、この状態を、例えばスピーカからのスッという音によって操作者に提示する。これにより、マスタの応答性では対応できない、高周波の細かい感覚を提示することができる。
The operator continues to operate the operating lever 21 sideways as shown in FIG. 6(c). After that, the fitting component W1 held by the end effector 7 is inserted into the fitting hole H of the fitted component W2. At this time, the position of the slave arm 1 that grips the workpiece is located below the predetermined position (the surface of the fitted part W2 in the figure) (negative direction of the Z-axis in the figure), and the position of the slave arm 1 The reaction force _fs changes. The magnitude of the reaction force _fs of the slave arm 1 decreases compared to the probing condition. Based on the position command value _xds of the slave arm 1 and the reaction force _fs of the slave arm, the work state determination unit 93 determines such a work state as a state in which the work is inserted into the object. judge. Then, the work state presentation unit 13 presents the state in which the workpiece is inserted into the object to the operator by sound. The work state presenting unit 13 presents this state to the operator by, for example, a sudden sound from a speaker. This makes it possible to present a detailed sense of high frequencies that cannot be handled by the responsiveness of the master.

本実施形態によれば、操作者はスレーブアーム１のエンドエフェクタ７に保持されたワークが対象物に接触したことを認識するだけでなく、接触後に開始される作業の状態を正確に認識することができる。 According to this embodiment, the operator not only recognizes that the workpiece held by the end effector 7 of the slave arm 1 has come into contact with the object, but also accurately recognizes the state of the work started after the contact. can be done.

（その他の実施形態）
尚、上記各実施形態のロボットシステムによる特定作業は、エンドエフェクタ７によって保持されたワークである嵌合部品Ｗ１を、対象物である被嵌合部品Ｗ２の穴に挿入する作業としたが、これに限られるものではない。例えば、ロボットシステムは外科手術システムであってエンドエフェクタは手術器具であってもよい。このようなシステムでは、施術者は、内視鏡画像を見ながらマスタアーム２を操作する。スレーブアーム１先端に取り付けられた手術器具は若干の反力を受けながらゲル状の人体の内部を進行し、対象物である骨に接触した状態で施術を行うような特定作業が想定される。 (Other embodiments)
The specified work by the robot system of each of the above-described embodiments is the work of inserting the fitting component W1, which is a workpiece held by the end effector 7, into the hole of the fitted component W2, which is an object. is not limited to For example, the robotic system may be a surgical system and the end effector may be a surgical instrument. In such a system, the practitioner operates the master arm 2 while viewing endoscopic images. The surgical instrument attached to the tip of the slave arm 1 advances inside the gel-like human body while receiving a slight reaction force, and a specific operation is assumed in which the surgical instrument is performed while in contact with the target bone.

また、作業状態判定部９３によって判定される作業状態は、作業が開始された状態、対象物を探っている状態、および、ワークが対象物に挿入された状態が例示されたが、これに限られることはなく、特定作業に応じてその他の作業状態を判定してもよい。 Moreover, although the work state determined by the work state determination unit 93 has been exemplified by the state in which the work is started, the state in which the object is being explored, and the state in which the work is inserted into the object, the work state is limited to this. Other work states may be determined according to the specific work.

尚、上記各実施形態では、マスタ動作指令およびスレーブ動作指令は、各アームの各関節軸を駆動するサーボモータの位置指令であったが、これに限られず、各関節軸を駆動するサーボモータのトルク指令であってもよい。 In each of the above-described embodiments, the master motion command and the slave motion command are position commands for the servo motors that drive the joint axes of each arm. It may be a torque command.

上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造および／または機能の詳細を実質的に変更できる。 From the above description many modifications and other embodiments of the invention will be apparent to those skilled in the art. Accordingly, the above description is to be construed as illustrative only and is provided for the purpose of teaching those skilled in the art the best mode of carrying out the invention. Substantial details of construction and/or function may be changed without departing from the spirit of the invention.

本発明は、マスタ・スレーブ型のロボットシステムに有用である。 INDUSTRIAL APPLICABILITY The present invention is useful for a master-slave robot system.

１スレーブアーム
２マスタアーム
３，３Ａ，３Ｂ制御装置
４力覚センサ（スレーブ側）
５カメラ
６モニタ
７エンドエフェクタ
８動作指令生成部
９誇張表現部
１２マスタ側制御部（マスタ側）
２０力覚センサ（マスタ側）
３０スレーブ側制御部（スレーブ側）
１００，１００Ａ，１００Ｂロボットシステム 1 slave arm 2 master arm 3, 3A, 3B control device 4 force sensor (slave side)
5 camera 6 monitor 7 end effector 8 motion command generator 9 exaggerated expression unit 12 master side control unit (master side)
20 force sensor (master side)
30 Slave side control unit (slave side)
100, 100A, 100B robot system

Claims

a master arm having an operating end;
a slave arm having a working end;
an operating force detection unit that detects an operating force applied to the operating end by an operator;
a reaction force detection unit that detects a reaction force applied to the working end or a work held by the working end;
a system control unit that generates an operation command for the master arm and an operation command for the slave arm based on the operating force and the reaction force;
a master -side control unit configured to control the master arm based on an operation command for the master arm generated by the system control unit;
a slave -side control unit configured to control the slave arm based on an operation command for the slave arm generated by the system control unit;
with
The system control unit
an exaggeration expression unit for exaggerating and presenting an operational feeling to an operator who operates the operating terminal in a reaction force sudden change state in which the reaction force changes rapidly over time ;
a positional relationship between the slave arm and the master arm based on the positional information of the slave arm and the positional information of the master arm that takes into account a correction component for correcting an operation command of the master arm based on the reaction force; and a positional deviation corrector that generates a correction component for correcting the deviation of the robot.

a storage unit that stores in advance one or more work states classified according to the position information of the slave arm, the operation force, and the reaction force in a specific work of the robot system ;
During operation of the robot system, any one of the working states stored in the storage unit is selected based on at least one value of position information of the slave arm, the operating force, and the reaction force. 2. The robot system according to claim 1 , further comprising a work state determination unit that determines whether the work is classified.

The work state determination unit
The working state in which the reaction force is generated in a predetermined direction and the operating force is generated in a direction orthogonal to the predetermined direction during operation of the robot system is a state of searching for an object. 3. The robot system according to claim 2 , which determines that (searching).

The work state determination unit
During the operation of the robot system, the work held by the working end is set to the work state in which the position information of the slave arm is positioned in a predetermined direction from the predetermined position and the reaction force is changed. 3. The robot system according to claim 2 , wherein the robot system determines that it is inserted into the.

5. The robot system according to any one of claims 2 to 4 , further comprising a work state presentation unit that presents the work state to the operator by at least one of sound, vibration of the master arm, and light.

a master arm having an operating end;
a slave arm having a working end;
an operating force detection unit that detects an operating force applied to the operating end by an operator;
a reaction force detection unit that detects a reaction force applied to the working end or a work held by the working end;
a system control unit that generates an operation command for the master arm and an operation command for the slave arm based on the operating force and the reaction force;
a master -side control unit configured to control the master arm based on an operation command for the master arm generated by the system control unit;
a slave -side control unit configured to control the slave arm based on an operation command for the slave arm generated by the system control unit;
a storage unit that stores in advance one or more work states classified according to the position information of the slave arm, the operation force, and the reaction force in a specific work of the robot system;
During operation of the robot system, any one of the working states stored in the storage unit is selected based on at least one value of position information of the slave arm, the operating force, and the reaction force. A work state determination unit that determines whether it is classified ,
The system control unit has an exaggeration expression unit for exaggerating and presenting an operational feeling to an operator who operates the operation terminal in a reaction force sudden change state in which the reaction force changes rapidly over time. , robotic system.

7. The exaggeration representation unit generates a correction component for correcting the operation command for the master arm generated by the system control unit based on the reaction force in the reaction force sudden change state. The robot system according to any one of Claims 1 to 3 .

8. The robotic system of claim 7 , wherein the correction component is a triangular wave component.

8. The robotic system of claim 7 , wherein the correction component is a sine wave component.

8. The robot system according to claim 7 , wherein said correction component is a second derivative of said reaction force with respect to time.

11. The robot system according to any one of claims 1 to 10 , wherein said motion command includes a position command.

A control method for a robot system comprising a master arm having an operating end and a slave arm having a working end, comprising:
Acquiring a detection result of an operating force applied to the operating end by an operator;
Acquiring a detection result of a reaction force applied to the working end or a work held by the working end;
generating an operation command for the master arm based on the operating force and the reaction force;
generating an operation command for the slave arm based on the operating force and the reaction force;
controlling the master arm based on the operation command of the master arm;
controlling the slave arm based on an operation command for the slave arm;
presenting an exaggerated sense of operation to an operator who operates the operating end in a reaction force sudden change state in which the reaction force changes rapidly over time;
Positions of the slave arm and the master arm based on the position information of the slave arm and the position information of the master arm to which a correction component for correcting the operation command of the master arm based on the reaction force is added. and compensating for relationship deviations.

A control method for a robot system comprising a master arm having an operating end and a slave arm having a working end, comprising:
Acquiring a detection result of an operating force applied to the operating end by an operator;
Acquiring a detection result of a reaction force applied to the working end or a work held by the working end;
generating an operation command for the master arm based on the operating force and the reaction force;
generating an operation command for the slave arm based on the operating force and the reaction force;
controlling the master arm based on the operation command of the master arm;
controlling the slave arm based on an operation command for the slave arm;
presenting an exaggerated sense of operation to an operator who operates the operating end in a reaction force sudden change state in which the reaction force changes rapidly over time;
storing in advance one or more work states classified according to the position information of the slave arm, the operation force, and the reaction force in a specific work of the robot system;
During operation of the robot system, it is classified into one of the stored working states based on at least one value of position information of the slave arm, the operating force, and the reaction force. and determining whether the robot system is controlled.